K8s之Helm工具详解 - 码农教程

一、helm介绍在Kubernetes中部署容器云的应用也是一项有挑战性的工作，Helm就是为了简化在Kubernetes中安装部署容器云应用的一个客户端工具。通过helm能够帮助开发者定义、安装和升级Kubernetes中的容器云应用，同时，也可以通过helm进行容器云应用的分享。在Kubeapps Hub中提供了包括Redis、MySQL和Jenkins等常见的应用，通过helm可以使用一条命令就能够将其部署安装在自己的Kubernetes集群中。

Helm是一个用于kubernetes的包管理器。每个包称为一个Chart，一个Chart是一个目录（一般情况下会将目录进行打包压缩，形成name-version.tgz格式的单一文件，方便传输和存储）。我们可以将Helm看作Kubernetes下的apt-get/yum。

对于应用发布者而言，可以通过Helm打包应用，管理应用依赖关系，管理应用版本并发布应用到软件仓库。

对于使用者而言，使用Helm后无须了解Kubernetes的yaml文件语法、应用部署文件。直接使用Helm下载即可在Kubernetes上安装需要的应用。 Helm组件及相关术语

1）Helm Helm是一个命令行下的客户端工具。主要用于Kubernetes应用程序Chart的创建、打包、发布及创建和管理本地和远程的Chart仓库。

2）Tiller Tiller是Helm的服务端，部署在Kubernetes集群中，Tiller用于接收Helm的请求，并根据Chart生成Kubernete s的部署文件，然后提交给Kubernetes创建应用，Tiller还提供和了Release的升级、删除、回滚等一系列功能。

3）Chart Chart是一个Helm的程序包，包含了运行一个Kubernetes应用程序所需的镜像、依赖关系和资源定义等。

4）Repoistory Repoistory是Helm的软件仓库，Repository本质上是一个Web服务器，该服务器保存了一系列的Chart软件包以供用户下载，并且提供了该Repository的Chart包的清单文件便于查询。Helm可以同时管理多个不同的Repository。

5）Release Release是应用程序运行Chart之后，得到的一个实例。 elm架构 helm的整体架构如下图所示，Helm架构由Helm客户端、Tiller服务器端和Chart仓库所组成；Tiller部署在Kubernetes中，Helm客户端从Chart仓库中获取Chart安装包，并将其安装部署到Kubernetes集群中。 K8s之Helm工具详解

Chart install过程： 1）Helm从指定的目录或者tgz文件中解析出Chart结构信息； 2）Helm将指定的Chart结构和Values信息通过gRPC传递给Tiller； 3）Tiller根据Chart和Values生成一个Release；

4）Tiller将Release发送给Kubernetes用于生成Release；

Chart update过程： 1）Helm从指定的目录或者tgz文件中解析出Chart结构信息； 2）Helm将要更新的Release的名称和Chart结构、Values信息传递给Tiller； 3）Tiller生成Release并更新指定名称的Release的history；

4）Tiller将Release发送给Kubernetes用于更新Release；

Chart Rollback过程： 1）Helm将要回滚的Release的名称传递给Tiller； 2）Tiller根据Release的名称查找history； 3）Tiller从history中获取上一个Release； 4）Tiller将上一个Release发送给Kubernetes用于替换当前的Release；二、部署Helm 1）安装Helm客户端

[root@master ~]# wget https://get.helm.sh/helm-v2.14.3-linux-amd64.tar.gz //从Github上下载Helm软件包 [root@master ~]# tar zxf helm-v2.14.3-linux-amd64.tar.gz [root@master ~]# mv linux-amd64/helm /usr/local/bin/ [root@master ~]# chmod +x /usr/local/bin/helm //获取这个软件包只是为了获取这个helm文件 [root@master ~]# echo 'source <(helm completion bash)' >> /etc/profile [root@master ~]# source /etc/profile //设置helm命令可以自动补全并且写入环境变量文件中 2）安装Tiller server（需要创建授权用户）

[root@master ~]# vim tiller-rbac.yaml //编写yaml文件并创建授权用户 apiVersion: v1 kind: ServiceAccount metadata: name: tiller

namespace: kube-system

apiVersion: rbac.authorization.k8s.io/v1beta1 kind: ClusterRoleBinding metadata: name: tiller roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: cluster-admin subjects:

kind: ServiceAccount name: tiller namespace: kube-system [root@master ~]# kubectl apply -f tiller-rbac.yaml

[root@master ~]# helm init --service-account=tiller //Tiller server的环境初始化 //helm的服务端就是Tiller //指定刚才创建的授权用户初始化helm

[root@master ~]# kubectl get pod -n kube-system | grep tiller //查看tiller的pod名称 tiller-deploy-8557598fbc-mlr6c 0/1 ContainerCreating 0 6s //编辑pod的yaml文件，将其使用的镜像改为国内阿里云的，默认是Google的镜像，下载不下来 //修改spec字段的image指定的镜像，如下：

[root@master ~]# kubectl edit pod -n kube-system tiller-deploy-8557598fbc-mlr6c //修改spec字段的image指定的镜像，如下：

image: gcr.io/kubernetes-helm/tiller:v2.14.3

//修改后如下：

image: registry.cn-hangzhou.aliyuncs.com/google_containers/tiller:v2.14.3

//修改后，保存退出即可，它会去自动下载新镜像（如果没有自动下载，就想办法吧，比如说在tiller容器所在的节点手动下载下来镜像，然后重启该节点的kubelet，或重启该容器）

[root@master ~]# kubectl get pod -n kube-system | grep tiller //必须保证tiller的Pod正常运行 tiller-deploy-8557598fbc-mlr6c 1/1 Running 0 5m16s 注：避免出错附加一张图片如下： K8s之Helm工具详解

3）配置Helm仓库

[root@master ~]# helm repo list //查看仓库的详细信息 NAME URL stable https://kubernetes-charts.storage.googleapis.com //默认是Google，在国外，速度特别慢 local http://127.0.0.1:8879/charts

[root@master ~]# helm repo add stable https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts //更改为国内阿里云的地址

[root@master ~]# helm repo list //再次查看仓库的详细信息，可以发现地址已经换成了阿里云的仓库地址 NAME URL stable https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts local http://127.0.0.1:8879/charts

[root@master ~]# helm repo update //更新一下helm仓库 [root@master ~]# helm version //查看helm版本信息 Client: &version.Version{SemVer:"v2.14.3", GitCommit:"0e7f3b6637f7af8fcfddb3d2941fcc7cbebb0085", GitTreeState:"clean"} Server: &version.Version{SemVer:"v2.14.3", GitCommit:"0e7f3b6637f7af8fcfddb3d2941fcc7cbebb0085", GitTreeState:"clean"} //必须保证可以查看出来client和server，才可正常使用helm 注：就此Helm就已经表示部署成功，可以正常使用！

三、使用helm安装mysql+Storage Class 创建Storage Class 1）部署nfs

[root@master ~]# yum -y install nfs-utils rpcbind [root@master ~]# mkdir /nfsdata [root@master ~]# echo "/nfsdata *(rw,no_root_squash,sync)" > /etc/exports [root@master ~]# systemctl start nfs-server && systemctl start rpcbind [root@master ~]# showmount -e Export list for master: /nfsdata * 2）创建rbac授权

[root@master ~]# vim rbac-rolebind.yaml //编辑yaml文件 apiVersion: v1 //创建一个用于认证的服务账号 kind: ServiceAccount metadata:

name: nfs-provisioner

apiVersion: rbac.authorization.k8s.io/v1 //创建群集规则 kind: ClusterRole metadata: name: nfs-provisioner-runner rules:

apiGroups: [""] resources: ["persistentvolumes"] verbs: ["get", "list", "watch", "create", "delete"]
apiGroups: [""] resources: ["persistentvolumeclaims"] verbs: ["get", "list", "watch", "update"]
apiGroups: ["storage.k8s.io"] resources: ["storageclasses"] verbs: ["get", "list", "watch"]
apiGroups: [""] resources: ["events"] verbs: ["watch", "create", "update", "patch"]
apiGroups: [""] resources: ["services", "endpoints"] verbs: ["get","create","list", "watch","update"]
apiGroups: ["extensions"] resources: ["podsecuritypolicies"] resourceNames: ["nfs-provisioner"] verbs: ["use"]

kind: ClusterRoleBinding //将服务认证用户与群集规则进行绑定 apiVersion: rbac.authorization.k8s.io/v1 metadata: name: run-nfs-provisioner subjects:

kind: ServiceAccount name: nfs-provisioner namespace: default roleRef:

kind: ClusterRole name: nfs-provisioner-runner apiGroup: rbac.authorization.k8s.io

[root@master ~]# kubectl apply -f rbac-rolebind.yaml //执行yaml文件 3）创建nfs-deployment.资源

[root@master ~]# vim nfs-deployment.yaml apiVersion: extensions/v1beta1 kind: Deployment metadata: name: nfs-client-provisioner spec: replicas: 1 //指定副本数量为1 strategy:

type: Recreate                      //指定策略类型为重置

template:

metadata:
  labels:
    app: nfs-client-provisioner
spec:
  serviceAccount: nfs-provisioner            //指定rbac yaml文件中创建的认证用户账号
  containers:
    - name: nfs-client-provisioner
      image: registry.cn-hangzhou.aliyuncs.com/open-ali/nfs-client-provisioner  //使用的镜像 
      volumeMounts:
        - name: nfs-client-root
          mountPath:  /persistentvolumes             //指定容器内挂载的目录
      env:
        - name: PROVISIONER_NAME           //容器内的变量用于指定提供存储的名称
          value: bjq-test
        - name: NFS_SERVER                      //容器内的变量用于指定nfs服务的IP地址
          value: 192.168.45.129
        - name: NFS_PATH                       //容器内的变量指定nfs服务器对应的目录
          value: /nfsdata
  volumes:                                                //指定挂载到容器内的nfs的路径及IP
    - name: nfs-client-root
      nfs:
        server: 192.168.45.129
        path: /nfsdata
    //编辑完成保存退出即可

[root@master ~]# kubectl apply -f nfs-deployment.yaml //执行yaml文件 [root@master ~]# kubectl get pod | grep nfs //确认pod是否正常运行 nfs-client-provisioner-8844fb875-prjhq 1/1 Running 0 14s 4）创建Storage Class

[root@master ~]# vim storage-class.yaml //编辑yaml文件 apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: stateful-nfs provisioner: bjq-test //这个要和nfs-client-provisioner的env环境变量中的PROVISIONER_NAME的value值对应。 reclaimPolicy: Retain //指定回收策略为Retain（手动释放）

[root@master ~]# kubectl apply -f storage-class.yaml //执行yaml文件 [root@master ~]# kubectl get sc //确认Storage Class创建成功 NAME PROVISIONER AGE stateful-nfs bjq-test 8s 5）helm部署mysql

[root@master ~]# helm fetch stable/mysql //将mysql的软件包下载到本地 [root@master ~]# tar zxf mysql-0.3.5.tgz

[root@master ~]# vim mysql/values.yaml +55 storageClass: "stateful-nfs" //去除注释，并指定刚才创建的Storage Class名称

[root@master ~]# vim mysql/values.yaml +79 type: NodePort //默认是ClusterIP，可更改为NodePort

[root@master ~]# helm install stable/mysql -f mysql/values.yaml --set mysqlRootPassword=123.com -n test-mysql //如果修改了values.yaml文件的数据，创建时应该指定values.yaml文件 //安装mysql，并设置mysql的root密码为123.com，-n表示指定名称

root@master ~]# helm list //查看已安装的软件包 NAME REVISION UPDATED STATUS CHART APP VERSION NAMESPACE test-mysql 1 Tue Sep 1 13:26:01 2020 DEPLOYED mysql-0.3.5 default 避免出错附加一张图片： K8s之Helm工具详解

[root@master ~]# kubectl get svc | grep test-mysql //确认service类型 test-mysql-mysql NodePort 10.98.129.4 <none> 3306:30083/TCP 4m56s

[root@master ~]# kubectl get pv,pvc //查看PV、PVC是否绑定成功 NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE persistentvolume/pvc-4ebb3a43-b192-4e2d-884a-2b75308f63dd 8Gi RWO Delete Bound default/test-mysql-mysql stateful-nfs 5m5s

NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE persistentvolumeclaim/test-mysql-mysql Bound pvc-4ebb3a43-b192-4e2d-884a-2b75308f63dd 8Gi RWO stateful-nfs 5m5s

[root@master ~]# kubectl exec -it test-mysql-mysql-dfb9b6944-q7tcd -- mysql -u root -p123.com //登录到刚才创建的mysql数据库中 mysql> 6）使用helm对mysql进行升级操作

[root@master ~]# kubectl describe pod test-mysql-mysql-dfb9b6944-q7tcd //查看pod的详细信息以下可以看出，该pod所用镜像为mysql:5.7.14 Events: Type Reason Age From Message ---- ------ ---- ---- ------- Warning FailedScheduling 8m57s (x2 over 8m57s) default-scheduler pod has unbound immediate PersistentVolumeClaims (repeated 2 times) Normal Scheduled 8m56s default-scheduler Successfully assigned default/test-mysql-mysql-dfb9b6944-q7tcd to node02 Normal Pulling 8m55s kubelet, node02 Pulling image "busybox:1.25.0" Normal Pulled 8m46s kubelet, node02 Successfully pulled image "busybox:1.25.0" Normal Created 8m46s kubelet, node02 Created container remove-lost-found Normal Started 8m46s kubelet, node02 Started container remove-lost-found Normal Pulling 8m46s kubelet, node02 Pulling image "mysql:5.7.14" Normal Pulled 8m24s kubelet, node02 Successfully pulled image "mysql:5.7.14" Normal Created 8m24s kubelet, node02 Created container test-mysql-mysql Normal Started 8m24s kubelet, node02 Started container test-mysql-mysql

[root@master ~]# kubectl get pod | grep test-mysql //注意升级之后，pod名称会发生变化 test-mysql-mysql-54c7bfdd77-8jlpj 1/1 Running 0 2m54s

[root@master ~]# kubectl describe pod test-mysql-mysql-54c7bfdd77-8jlpj //再次查看pod详细信息，可以看出，镜像升级为mysql:5.7.15 Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal Scheduled 4m1s default-scheduler Successfully assigned default/test-mysql-mysql-54c7bfdd77-8jlpj to node01 Normal Pulling 4m1s kubelet, node01 Pulling image "busybox:1.25.0" Normal Pulled 3m50s kubelet, node01 Successfully pulled image "busybox:1.25.0" Normal Created 3m50s kubelet, node01 Created container remove-lost-found Normal Started 3m50s kubelet, node01 Started container remove-lost-found Normal Pulling 3m50s kubelet, node01 Pulling image "mysql:5.7.15" Normal Pulled 3m25s kubelet, node01 Successfully pulled image "mysql:5.7.15" Normal Created 3m25s kubelet, node01 Created container test-mysql-mysql Normal Started 3m25s kubelet, node01 Started container test-mysql-mysql 7）使用helm对mysql进行回滚操作

[root@master ~]# helm list //再次查看实例，可以发现“REVISION”字段为2，而初次创建实例时，该列为1，只要对该实例进行升级回滚一次，数值便会加1 NAME REVISION UPDATED STATUS CHART APP VERSION NAMESPACE test-mysql 2 Tue Sep 1 13:37:45 2020 DEPLOYED mysql-0.3.5 default

[root@master ~]# helm history test-mysql //查看该实例的历史版本 REVISION UPDATED STATUS CHART DESCRIPTION 1 Tue Sep 1 13:26:01 2020 SUPERSEDED mysql-0.3.5 Install complete 2 Tue Sep 1 13:37:45 2020 DEPLOYED mysql-0.3.5 Upgrade complete

[root@master ~]# helm rollback test-mysql 1 //将该实例回滚到版本1 [root@master ~]# helm list //再次查看，可以看到“REVISION”的值变成了3 NAME REVISION UPDATED STATUS CHART APP VERSION NAMESPACE test-mysql 3 Tue Sep 1 13:55:57 2020 DEPLOYED mysql-0.3.5 default

[root@master ~]# kubectl get pod | grep test-mysql //确认pod是正常状态 test-mysql-mysql-dfb9b6944-fd6l9 1/1 Running 0 67s

[root@master ~]# kubectl describe pod test-mysql-mysql-dfb9b6944-fd6l9 //查看pod的详细信息，可以看出，该pod使用的镜像已经回滚到mysql:5.7.14版本 Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal Scheduled 2m4s default-scheduler Successfully assigned default/test-mysql-mysql-dfb9b6944-fd6l9 to node02 Normal Pulled 2m3s kubelet, node02 Container image "busybox:1.25.0" already present on machine Normal Created 2m3s kubelet, node02 Created container remove-lost-found Normal Started 2m3s kubelet, node02 Started container remove-lost-found Normal Pulled 2m1s kubelet, node02 Container image "mysql:5.7.14" already present on machine Normal Created 2m1s kubelet, node02 Created container test-mysql-mysql Normal Started 2m1s kubelet, node02 Started container test-mysql-mysql 四、部署helm私有仓库 1）node01节点运行web容器作为私有仓库

[root@node01 ~]# mkdir -p /var/www/charts //创建目录，用于存放charts包 [root@node01 ~]# docker run -d -p 8080:80 -v /var/www:/usr/local/apache2/htdocs httpd 2）master节点上，创建chart包并打包

[root@master ~]# helm create testchart //创建chart包（生成的是目录），名称为testchart [root@master ~]# helm package testchart //将刚才生成的目录进行打包，会在当前目录下生成名为testchart-0.1.0.tgz的包 3）master节点生成仓库的index文件

[root@master ~]# mkdir myrepo [root@master ~]# mv testchart-0.1.0.tgz myrepo/ //创建用于存放chart包的目录，并将chart包移动到该目录

[root@master ~]# helm repo index myrepo/ --url http://192.168.45.141:8080/charts //url路径表示运行web容器的节点IP+端口，也就是指定的是node01节点 [root@master ~]# ls myrepo/ index.yaml testchart-0.1.0.tgz //确认已经生成index.yaml文件

[root@master ~]# scp myrepo/* node01:/var/www/charts //将生成的index.yaml文件及charts包复制到web容器所在节点映射的本地目录 4）将新repo仓库添加到helm

[root@master ~]# helm repo add newrepo http://192.168.45.141:8080/charts //url是web容器所在的节点的IP+端口+存放chart包的目录，并指定仓库的名称为newrepo

[root@master ~]# helm repo list NAME URL stable https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts local http://127.0.0.1:8879/charts newrepo http://192.168.45.141:8080/charts //stable是刚创建helm添加的阿里云的仓库 //local是本地的缓存 //newrepo是刚刚添加的仓库名称（确认该仓库已经存在）注：配置至此，已经可以正常供内网环境使用这个charts包的私有仓库了，下面是一些验证。 5）搜索可用的chart包并部署

[root@master ~]# helm search testchart NAME CHART VERSION APP VERSION DESCRIPTION local/testchart 0.1.0 1.0 A Helm chart for Kubernetes newrepo/testchart 0.1.0 1.0 A Helm chart for Kubernetes //local是本地的缓存，不用理会，可以查看到newrepo提供的testchart包

[root@master ~]# helm install newrepo/testchart -n test-nginx //既然可以搜索到就表示可以使用chart包创建实例 [root@master ~]# kubectl get pod | grep test-nginx //确认pod运行成功 test-nginx-testchart-64d8585997-jxtv7 1/1 Running 0 33s [root@master ~]# kubectl describe pod test-nginx-testchart-64d8585997-jxtv7 //查看这个pod的详细信息，并确认pod所使用的镜像 Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal Scheduled 2m28s default-scheduler Successfully assigned default/test-nginx-testchart-64d8585997-jxtv7 to node01 Normal Pulling 2m28s kubelet, node01 Pulling image "nginx:stable" Normal Pulled 2m10s kubelet, node01 Successfully pulled image "nginx:stable" Normal Created 2m10s kubelet, node01 Created container testchart Normal Started 2m9s kubelet, node01 Started container testchart 6）更新chart包中所运行服务的镜像其实就是一个服务版本升级的操作，大概思路如下：修改解压后的charts包目录下的values.yaml文件为所需的值（values.yaml文件包含的是这个服务的值，可以在里面指定镜像及标签、数据持久化的类型等等），修改完成后，再使用下面的命令进行升级操作。

[root@master ~]# helm upgrade -f testchart/values.yaml test-nginx newrepo/testchart //my-nginx是之前实例的名称，可以通过“helm list”查看实例名称 //newrepo/testchart ：为自定义仓库中的chart包

[root@master ~]# kubectl describe pod test-nginx-testchart-6d6984ddd9-gn9sw //确认pod所使用的镜像已经更新注：如果使用命令的方式直接进行升级，命令执行完成不会报错，但是镜像并不会更新，推荐使用更改values.yaml的方式进行升级！

7）再次向newrepo仓库上传chart包

[root@master ~]# helm create mychart [root@master ~]# helm package mychart/ [root@master ~]# mv mychart-0.1.0.tgz myrepo/ [root@master ~]# helm repo index myrepo/ --url http://192.168.45.141:8080/charts //当有新的chart包时，需更新index.yaml文件 [root@master ~]# scp myrepo/* node01:/var/www/charts [root@master ~]# helm repo update //如果需要使用则需更新一下本地的仓库

[root@master ~]# helm search mychart NAME CHART VERSION APP VERSION DESCRIPTION local/mychart 0.1.0 1.0 A Helm chart for Kubernetes newrepo/mychart 0.1.0 1.0 A Helm chart for Kubernetes //确保新添加的chart包可以被搜索到五、Helm常用命令 [root@master ~]# helm version //查看helm版本信息 [root@master ~]# helm list /查看当前安装的Chart包 [root@master ~]# helm search mysql //查看与mysql相关的chart包 [root@master ~]# helm fetch stable/mysql //将mysql软件包下载到本地 [root@master ~]# helm inspect stable/mysql //查看该软件包的详细信息 [root@master ~]# helm install stable/mysql -n mysql //安装指定的mysql软件包，并命名为mysql [root@master ~]# helm status mysql //查看mysql的状态信息 [root@master ~]# helm delete --purge mysql //删除mysql，并将本地的缓存也进行删除 [root@master ~]# helm repo add stable https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts //添加阿里云的repo源 [root@master ~]# helm repo update //更新repo仓库资源 [root@master ~]# helm create helm_charts //创建一个chart，名称为helm_charts [root@master ~]# cd helm_charts/ && helm lint //测试charts语法 [root@master ~]# helm package helm_charts //打包charts [root@master helm_charts]# helm template helm_charts-0.1.0.tgz //查看该软件包生成的yaml文件