附025.kubeadm部署Kubernetes更新证书
一 查看证书
1.1 查看过期时间-方式一
1 [root@master01 ~]# tree /etc/kubernetes/pki/
2 [root@master01 ~]# for tls in `find /etc/kubernetes/pki -maxdepth 2 -name "*.crt"`;
3 do echo ===============$tls===============;
4 openssl x509 -in $tls -text| grep Not;
5 done
1.1 查看过期时间-方式二
1 [root@master01 ~]# tree /etc/kubernetes/pki/
1 [root@master01 ~]# kubeadm alpha certs check-expiration
提示:由上可知,根证书有效期为10年,其他所有证书有效期为1年。
二 证书类别
2.1 集群根证书
1 [root@master01 ~]# ll /etc/kubernetes/pki/ca*
2 -rw-r--r-- 1 root root 1.1K Jun 15 21:08 /etc/kubernetes/pki/ca.crt
3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/ca.key
由此集群根证书签发的证书有:
- kube-apiserver 组件持有的服务端证书
1 [root@master01 ~]# ll /etc/kubernetes/pki/apiserver.*
2 -rw-r--r-- 1 root root 1.3K Jun 15 21:08 /etc/kubernetes/pki/apiserver.crt
3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/apiserver.key
- kubelet 组件持有的客户端证书
1 [root@master01 ~]# ll /etc/kubernetes/pki/apiserver-kubelet-client.*
2 -rw-r--r-- 1 root root 1.1K Jun 15 21:08 /etc/kubernetes/pki/apiserver-kubelet-client.crt
3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/apiserver-kubelet-client.key
提示:kubelet的/var/lib/kubelet/config.yaml配置文件中一般不会明确指定服务端证书,而是只指定 ca 根证书, 让 kubelet 根据本地主机信息自动生成服务端证书并保存到配置的cert-dir文件夹中。
2.2 汇聚层证书
1 [root@master01 ~]# ll /etc/kubernetes/pki/front-proxy-ca.*
2 -rw-r--r-- 1 root root 1.1K Jun 15 21:08 /etc/kubernetes/pki/front-proxy-ca.crt
3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/front-proxy-ca.key
由此汇聚层根证书签发的证书有:
1 [root@master01 ~]# ll /etc/kubernetes/pki/front-proxy-client.*
2 -rw-r--r-- 1 root root 1.1K Jun 15 21:08 /etc/kubernetes/pki/front-proxy-client.crt
3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/front-proxy-client.key
2.3 etcd集群根证书
1 [root@master01 ~]# ll /etc/kubernetes/pki/etcd/ca.*
2 -rw-r--r-- 1 root root 1017 Jun 15 21:08 /etc/kubernetes/pki/etcd/ca.crt
3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/etcd/ca.key
由此etcd根证书签发的证书有:
- etcd server服务端证书
1 [root@master01 ~]# ll /etc/kubernetes/pki/etcd/server.*
2 -rw-r--r-- 1 root root 1.2K Jun 15 21:08 /etc/kubernetes/pki/etcd/server.crt
3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/etcd/server.key
- etcd 集群中peer节点互相通信使用的客户端证书
1 [root@master01 ~]# ll /etc/kubernetes/pki/etcd/peer.*
2 -rw-r--r-- 1 root root 1.2K Jun 15 21:08 /etc/kubernetes/pki/etcd/peer.crt
3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/etcd/peer.key
- pod 中定义 Liveness 探针使用的客户端证书
1 [root@master01 ~]# ll /etc/kubernetes/pki/etcd/healthcheck-client.*
2 -rw-r--r-- 1 root root 1.1K Jun 15 21:08 /etc/kubernetes/pki/etcd/healthcheck-client.crt
3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/etcd/healthcheck-client.key
- 配置在 kube-apiserver 中用来与 etcd server 做双向认证的客户端证书
1 [root@master01 ~]# ll /etc/kubernetes/pki/apiserver-etcd-client.*
2 -rw-r--r-- 1 root root 1.1K Jun 15 21:08 /etc/kubernetes/pki/apiserver-etcd-client.crt
3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/apiserver-etcd-client.key
2.4 Serveice Account密钥
1 [root@master01 ~]# ll /etc/kubernetes/pki/sa.*
2 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/sa.key
3 -rw------- 1 root root 451 Jun 15 21:08 /etc/kubernetes/pki/sa.pub
Serveice Account密钥对仅提供给 kube-controller-manager 使用. kube-controller-manager 通过 sa.key 对 token 进行签名, master 节点通过公钥 sa.pub 进行签名的验证。
延伸:API Server身份验证过程:
API Server的authenticating环节支持多种身份校验方式:client cert、bearer token、static password auth等,这些方式中只要有一种方式通过authenticating(Kubernetes API Server会逐个方式尝试),那么身份校验就会通过。
一旦API Server发现client发起的request使用的是service account token的方式,API Server就会自动采用signed bearer token方式进行身份校验。而request则使用携带的service account token参与验证。该token是API Server在创建service account时用API server启动参数:–service-account-key-file的值签署(sign)生成的。如果–service-account-key-file未传入任何值,那么将默认使用–tls-private-key-file的值,即API Server的私钥(server.key)。
通过authenticating后,API Server将根据Pod username所在的group:system:serviceaccounts和system:serviceaccounts:(NAMESPACE)的权限对其进行authority 和admission control两个环节的处理。在这两个环节中,cluster管理员可以对service account的权限进行细化设置。
kubeadm 创建的集群,kube-proxy、flannel、coreDNS是以 pod 形式运行的,在 pod 中,直接使用 service account 与 kube-apiserver 进行认证,此时就不需要再单独为 kube-proxy 创建证书。
三 更新证书方法一
提示:此方式采用kubeadm默认延期1年时间的策略,若要自定义更长时间,如100年,参考开步骤四。
3.1 备份集群配置
1 [root@master01 ~]# kubeadm config view > kubeadm-cluster.yaml
3.2 更新证书
1 [root@master01 ~]# kubeadm alpha certs renew --help #查看帮助
提示:由help可知,证书更新可针对单个证书更新。
1 [root@master01 ~]# kubeadm alpha certs renew all --config=kubeadm-cluster.yaml #更新所有证书
1 [root@master01 ~]# kubeadm alpha certs check-expiration #确认验证
1 [root@master01 ~]# scp -rp kubeadm-cluster.yaml root@master02:/root/
2 [root@master01 ~]# scp -rp kubeadm-cluster.yaml root@master03:/root/
3 [root@master02 ~]# kubeadm alpha certs renew all --config=kubeadm-cluster.yaml
4 [root@master03 ~]# kubeadm alpha certs renew all --config=kubeadm-cluster.yaml
提示:更新操作需要在所有master节点执行。
3.3 启用证书
在三台Master上执行重启kube-apiserver、kube-controller、kube-scheduler、etcd这4个容器,以便使证书生效。
1 [root@master01 ~]# docker ps |grep -E 'k8s_kube-apiserver|k8s_kube-controller-manager|k8s_kube-scheduler|k8s_etcd_etcd' | awk -F ' ' '{print $1}' |xargs docker restart
2 [root@master02 ~]# docker ps |grep -E 'k8s_kube-apiserver|k8s_kube-controller-manager|k8s_kube-scheduler|k8s_etcd_etcd' | awk -F ' ' '{print $1}' |xargs docker restart
3 [root@master03 ~]# docker ps |grep -E 'k8s_kube-apiserver|k8s_kube-controller-manager|k8s_kube-scheduler|k8s_etcd_etcd' | awk -F ' ' '{print $1}' |xargs docker restart
提示:启用操作需要在所有master节点执行。
四 更新证书方法二
提示:此方式采用编译kubeadm源码,源码中自定义证书时间,如100年。
4.1 备份集群配置
1 [root@master01 ~]# kubeadm config view > kubeadm-cluster.yaml
4.2 查看当前版本
1 [root@master01 ~]# kubectl version
4.3 获取源码
1 [root@master01 ~]# wget https://github.com/kubernetes/kubernetes/archive/v1.18.3.tar.gz
2 [root@master01 ~]# tar -zxvf v1.18.3.tar.gz
3
4.4 修改CA证书时间
1 [root@master01 ~]# vi kubernetes-1.18.3/staging/src/k8s.io/client-go/util/cert/cert.go
2 ……
3 57 func NewSelfSignedCACert(cfg Config, key crypto.Signer) (*x509.Certificate, error) {
4 ……
5 65 NotBefore: now.UTC(),
6 66 NotAfter: now.Add(duration365d * 100).UTC(),
7 ……
提示:ca证书最大时间限定为100年,若要将最大时限也延长,可在cert.go中修改如下maxAge值:
maxAge := time.Hour * 24 * 365 * 10
4.5 修改其他证书时间
1 [root@master01 ~]# vi kubernetes-1.18.3/cmd/kubeadm/app/constants/constants.go
2 ……
3 39 const (
4 48 // CertificateValidity defines the validity for all the signed certificates generated by kubeadm
5 49 CertificateValidity = time.Hour * 24 * 365 * 100
6 ……
7 [root@master01 kubernetes-1.18.3]# cat build/build-image/cross/VERSION
8 v1.13.9-5 #使用官方corss版本
4.6 编译kubeadm方式一
1 [root@master01 kubernetes-1.18.3]# docker pull us.gcr.io/k8s-artifacts-prod/build-image/kube-cross:v1.13.9-5
2 [root@master01 ~]# docker run --rm -v /root/kubernetes-1.18.3/:/go/src/k8s.io/kubernetes -it us.gcr.io/k8s-artifacts-prod/build-image/kube-cross:v1.13.9-5 bash
3 root@51e96585ea73:/go# cd /go/src/k8s.io/kubernetes
4 root@51e96585ea73:/go/src/k8s.io/kubernetes# make all WHAT=cmd/kubeadm GOFLAGS=-v
提示:若要编译其他命令,可参考如下:
# 编译kubelet # make all WHAT=cmd/kubelet GOFLAGS=-v # 编译kubectl # make all WHAT=cmd/kubectl GOFLAGS=-v
#编译完命令在 _output/bin/kubeadm 目录下,
#其中bin是使用了软连接
#真实路径是_output/local/bin/linux/amd64/kubeadm
1 root@51e96585ea73:/go/src/k8s.io/kubernetes# exit #退出容器
2 [root@master01 ~]# mv /usr/bin/kubeadm /usr/bin/kubeadm_backup #备份原kubeadm
3 [root@master01 ~]# cp kubernetes-1.18.3/_output/local/bin/linux/amd64/kubeadm /usr/bin/kubeadm
4 [root@master01 ~]# kubeadm version #查看版本
4.7 编译kubeadm方式二
1 [root@master01 ~]# yum -y install gcc make rsync jq
2 [root@master01 ~]# wget https://dl.google.com/go/go1.13.9.linux-amd64.tar.gz
3 [root@master01 ~]# tar zxvf go1.13.9.linux-amd64.tar.gz -C /usr/local/
4 [root@master01 ~]# vi /etc/profile.d/goenv.sh
5 #go setting
6 export GOROOT=/usr/local/go
7 export GOPATH=/usr/local/gopath
8 export PATH=$PATH:$GOROOT/bin
9 [root@master01 ~]# source /etc/profile
10 [root@master01 ~]# go version
11 go version go1.13.9 linux/amd64
12 [root@master01 ~]# cd kubernetes-1.18.3/
13 [root@master01 kubernetes-1.18.3]# make all WHAT=cmd/kubeadm GOFLAGS=-v
14 [root@master01 kubernetes-1.18.3]# mv /usr/bin/kubeadm /usr/bin/kubeadm_backup #备份原kubeadm
15 [root@master01 kubernetes-1.18.3]# cp _output/local/bin/linux/amd64/kubeadm /usr/bin/kubeadm
4.8 备份集群配置
1 [root@master01 ~]# kubeadm config view > kubeadm-cluster.yaml
4.8 更新证书
1 [root@master01 ~]# ssh root@master02 "mv /usr/bin/kubeadm /usr/bin/kubeadm_backup"
2 [root@master01 ~]# ssh root@master03 "mv /usr/bin/kubeadm /usr/bin/kubeadm_backup"
3 [root@master01 ~]# scp -rp kubeadm-cluster.yaml root@master02:/root/
4 [root@master01 ~]# scp -rp kubeadm-cluster.yaml root@master03:/root/
5 [root@master01 ~]# kubeadm alpha certs renew all --config=kubeadm-cluster.yaml
6 [root@master02 ~]# kubeadm alpha certs renew all --config=kubeadm-cluster.yaml
7 [root@master03 ~]# kubeadm alpha certs renew all --config=kubeadm-cluster.yaml
8 [root@master01 ~]# kubeadm alpha certs check-expiration #确认验证
提示:更新操作需要在所有master节点执行。
所有根证书:ca、etcd-ca、front-proxy-ca只有在init初始化的时候才会更新时间,因此建议对于kubeadm部署Kubernetes,可以在初始化之前使用编译的方式将证书设置为更长时间,如100年。
4.9 启用证书
在三台Master上执行重启kube-apiserver、kube-controller、kube-scheduler、etcd这4个容器,以便使证书生效。
参考3.3即可。
- java cpu高达100%问题 排查
- (43) 剖析TreeMap / 计算机程序的思维逻辑
- Spring Cloud第一篇 Eureka简介及原理
- 华为面试题——约瑟夫问题的C++简单实现(循环链表)
- (49) 剖析LinkedHashMap / 计算机程序的思维逻辑
- Python多进程并行编程实践-mpi4py的使用
- 华为面试题——一道关于指针方面的编程题(C/C++)
- Spring Cloud第二篇 创建一个Eureka Server
- 数据挖掘实战(一):Kaggle竞赛经典案例剖析
- 华为面试题——单向链表倒转(一次遍历)
- Flask一步步搭建web应用
- (44) 剖析TreeSet / 计算机程序的思维逻辑
- (46) 剖析PriorityQueue / 计算机程序的思维逻辑
- (48) 剖析ArrayDeque / 计算机程序的思维逻辑
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 前端成神之路-CSS(选择器、背景、特性)
- 前端成神之路-列表和表单
- 前端成神之路-HTML
- Windows下如何查看某个端口被占用,以及如何杀死某个进程
- VSCode插件Todo Tree如何忽略某些文件夹?
- Express新建项目与配置项目热加载
- selenium控制已打开的页面
- 盘点一下lua脚本和python的区别(基础)
- python识别视频黑屏或者低清晰度
- python在linux环境下安装skimage
- python3异步爬虫 ——aiohttp模板使用
- [PHP] 抽象工厂设计模式-创建型设计模式
- [javascript] 支付宝小程序网络GET请求
- [PHP] 生成器模式-创建型设计模式
- [PHP] 工厂方法设计模式-创建型设计模式