如何读取Kubernetes存储在etcd上的数据

字数 2165阅读 9454评论 0赞 3

etcd是一个分布式KV存储系统，在分布式系统中被广泛使用，Kubernetes就是使用了etcd存储持久化数据，包括创建的所有Pod、Deployment、Service等资源。

接下来我们看下如何读取Kubernetes存的数据。

首先如果使用kubeadm部署Kubernetes，默认会把CA根证书和签发的Server证书放在 /etc/ kubernetes / pki / etcd目录下，并且etcd Pod使用的是host网络:

因此可以直接在Master节点使用etcdctl命令:

![](/home/attachment/201912/03/1218247_157535467039878.png)

由于新版本Kubernetes默认使用了etcd v3 API，v3版本的数据存储没有目录层级关系了，而是采用平展（flat)模式，换句话说 / a与 /a/ b并没有嵌套关系，而只是key的名称差别而已，这个和AWS S3以及OpenStack Swift对象存储一样，没有目录的概念，但是key名称支持 /字符，从而实现看起来像目录的伪目录，但是存储结构上不存在层级关系。

也就是说etcdctl无法使用类似v2的 ls命令。但是我还是习惯使用v2版本的 etcdctl ls查看etcdctl存储的内容，于是写了个性能不怎么好但是可以用的shell脚本 etcd_ls . sh:

![](/home/attachment/201912/03/1218247_157535479845739.png)![](/home/attachment/201912/03/1218247_157535485676193.png)

由于Kubernetes的所有数据都以 / registry为前缀，因此首先查看 / registry:

![](/home/attachment/201912/03/1218247_157535491971092.png)

我们发现除了 minions、 range等大多数资源都可以通过 kubectl get xxx获取，组织格式为 /registry/ { resource_name }/{ namespace }/{ resource_instance }，而 minions其实就是node信息，Kubernetes之前节点叫 minion，应该还没有改过来，因此还是使用的 /registry/ minions。

range对应Service网段以及NodePort端口范围:

![](/home/attachment/201912/03/1218247_157535496953886.png)

如上为什么需要使用 strings命令，那是因为除了 /registry/ apiregistration . k8s . io是直接存储JSON格式的，其他资源默认都不是使用JSON格式直接存储，而是通过protobuf格式存储，当然这么做的原因是为了性能，除非手动配置 -- storage - media - type = application / json，参考etcdctl v3: k8s changes its internal format to proto, and the etcdctl result is unreadable。

如果我们直接读会得到部分乱码:

![](/home/attachment/201912/03/1218247_157535498993575.png)

使用proto提高了性能，但也导致有时排查问题时不方便直接使用etcdctl读取内容，可幸的是openshift项目已经开发了一个强大的辅助工具etcdhelper可以读取etcd内容并解码proto。

不过编译有坑，需要做如下修改:

![](/home/attachment/201912/03/1218247_157535500675674.png)

通过如下命令进行编译安装:

![](/home/attachment/201912/03/1218247_157535506655229.png)

编译完后就可以读取etcd解码内容了，比如读取namespace default信息:

![](/home/attachment/201912/03/1218247_157535510573512.png)

值得注意的是存储在etcd的secret默认仅仅使用了base64编码而并没有加密:

![](/home/attachment/201912/03/1218247_157535458231902.png)

可见 kubectl get secret一样，secret是base64编码的，secret保存着私钥证书、Docker登录信息、密码等敏感数据，因此需要严格控制etcd的访问权限，避免其他人读取。

当然更安全起见，建议配置etcd数据存储加密，参考https://kubernetes.io/docs/tasks/administer-cluster/encrypt-data/.

Kubernetes存储数据读取 Etcd Kubernetes

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论0 条评论

Ctrl+Enter 发表

匿名评论

如何读取Kubernetes存储在etcd上的数据

添加新评论0 条评论

作者其他文章

相关文章

相关问题

相关资料