IT范儿

程序员改变世界

0%

Kubernetes入门 -- 一使用kubeadm部署Kubernetes集群v1.14.1

发表于 更新于 分类于
使用kubeadm快速安装Kubernetes集群 v1.14.1

上一次通过kubeadm来配置Kubernetes的环境使用的还是 v1.13 的版本，最近看到Kubernetes的稳定版本已经更新到了 v1.14.1 ，所以决定重新安装一次，并把配置过程和遇到的问题同时整理一下。

kubeadm是Kubernetes官方提供的用于快速安装Kubernetes集群的工具，伴随Kubernetes每个版本的发布都会同步更新，kubeadm会对集群配置方面的一些实践做调整，通过实验kubeadm可以学习到Kubernetes官方在集群配置上一些新的最佳实践。

系统信息

  • master ip : 192.168.5.28
  • node1 ip : 192.168.5.29
  • 配置均为：2核2G

系统环境配置

注意：在 Master 和 Node 节点均操作

切换到 root 权限
1
$ su - root
更改hostname
master
1
2
3
# hostname
# hostnamectl set-hostname master
# hostname
node1
1
2
3
# hostname
# hostnamectl set-hostname node1
# hostname
修改 hosts
master

编辑 /etc/hosts 文件，在底部新增下面两行，然后重启系统：

1
2
3
4
5
6
# vim /etc/hosts

192.168.5.28 master
192.168.5.29 node1

reboot
禁用防火墙
1
2
# systemctl disable firewalld && systemctl stop firewalld
# systemctl status firewalld
禁用SELinux
1
2
3
4
5
# setenforce 0

# vim /etc/selinux/config
#SELINUX=enforcing
SELINUX=disabled
禁用swap

查看当前swap状态：

1
2
3
4
# free -m
              total        used        free      shared  buff/cache   available
Mem:           1466         142        1063           8         260        1151
Swap:          3071           0        3071

禁用swap:

1
# swapoff -a

编辑 /etc/fstab 文件，注释掉带有 swap 的那一行：

1
2
3
# vim /etc/fstab

#/dev/mapper/centos-swap swap                    swap    defaults        0 0

查看：

1
2
3
4
# free -m
              total        used        free      shared  buff/cache   available
Mem:           1466         142        1063           8         260        1152
Swap:             0           0           0
修改iptables配置

创建 /etc/sysctl.d/k8s.conf 文件，加入如下内容：

1
2
3
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1

执行命令使修改生效:

1
2
# modprobe br_netfilter
# sysctl -p /etc/sysctl.d/k8s.conf
kube-proxy开启ipvs的前置条件

由于ipvs已经加入到了内核的主干，所以为kube-proxy开启ipvs的前提需要加载以下的内核模块：

1
2
3
4
5
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
nf_conntrack_ipv4

执行以下脚本来配置：

1
2
3
4
5
6
7
8
9
10
11
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF


chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

保证 ipset 已安装，同时要管理ipvs，需要安装ipvsadm:

1
# yum install ipset ipvsadm
安装docker

省略。

修改docker cgroup driver为systemd

根据文档CRI installation中的内容，对于使用systemd作为init system的Linux的发行版，使用systemd作为docker的cgroup driver可以确保服务器节点在资源紧张的情况更加稳定，因此这里修改各个节点上docker的cgroup driver为systemd。

查看docer的cgroup:

1
2
# docker info |grep -i cgroup
Cgroup Driver: cgroupfs

创建或修改 /etc/docker/daemon.json

1
2
3
{
    "exec-opts":["native.cgroupdriver=systemd"]
}

重启docker:

1
# systemctl restart docker

再次查看cgroup:

1
2
# docker info |grep -i cgroup
Cgroup Driver: systemd

使用kubeadm部署Kubernetes

安装kubeadm和kubelet
需要在各个节点分别配置地址源
1
2
3
4
5
6
7
8
9
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

更新缓存：

1
# yum makecache fast
Master节点安装

在 Master 节点上安装 kubelet kubeadm kubectl:

1
2
3
4
5
6
# yum install -y kubelet kubeadm kubectl

Installing:
 kubeadm              1.14.1-0  
 kubectl              1.14.1-0
 kubelet              1.14.1-0
Node节点安装

在 Node1 节点上安装 kubelet kubeadm:

1
# yum install -y kubelet kubeadm

kubectl 在 node 节点上是非必需的。

设置 kubelet 开机启动
1
# systemctl enable kubelet && systemctl start kubelet

此时如果查看 kubelet 的状态，会发现 处于 loaded 状态，错误码是 255:

1
2
3
4
5
6
7
8
9
# systemctl status kubelet
● kubelet.service - kubelet: The Kubernetes Node Agent
   Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; vendor preset: disabled)
  Drop-In: /usr/lib/systemd/system/kubelet.service.d
           └─10-kubeadm.conf
   Active: activating (auto-restart) (Result: exit-code) since Thu 2019-05-16 23:51:36 CST; 808ms ago
     Docs: https://kubernetes.io/docs/
  Process: 4317 ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS (code=exited, status=255)
 Main PID: 4317 (code=exited, status=255)
提前获取镜像

可以通过命令 kubeadm config images list 查看当前可用的最新镜像版本信息。

Kubernetes启动时默认会从 k8s.gcr.io 去拉取所需的镜像，但该地址在国内无法访问，需要更换为国内可用的地址。

Azure 中国 提供了 gcr.io 及 k8s.gcr.io 容器仓库的镜像代理服务。

镜像地址：docker pull gcr.azk8s.cn/google_containers/<imagename>:<version>

默认情况下无法访问获取最新的版本，会根据使用的 kubeadm 的版本给出相应版本：

1
2
3
4
5
6
7
8
9
10
# kubeadm config images list
I0517 00:03:01.427109    4857 version.go:96] could not fetch a Kubernetes version from the internet: unable to get URL "https://dl.k8s.io/release/stable-1.txt": Get https://dl.k8s.io/release/stable-1.txt: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)
I0517 00:03:01.427382    4857 version.go:97] falling back to the local client version: v1.14.1
k8s.gcr.io/kube-apiserver:v1.14.1
k8s.gcr.io/kube-controller-manager:v1.14.1
k8s.gcr.io/kube-scheduler:v1.14.1
k8s.gcr.io/kube-proxy:v1.14.1
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd:3.3.10
k8s.gcr.io/coredns:1.3.1

也可以直接指定版本：

1
kubeadm config images list --kubernetes-version=v1.14.1
下载镜像

在 Master 和 Node 节点均执行

创建一个名为 kubeadm_pull.sh 脚本文件:

1
2
3
4
5
6
7
8
# kubeadm_pull.sh

for i in `kubeadm config images list`; do 
  imageName=${i#k8s.gcr.io/}
  docker pull gcr.azk8s.cn/google_containers/$imageName
  docker tag gcr.azk8s.cn/google_containers/$imageName k8s.gcr.io/$imageName
  docker rmi gcr.azk8s.cn/google_containers/$imageName
done;

在网上也找到一个阿里云的地址源 registry.aliyuncs.com/google_containers，替换脚本中的 gcr.azk8s.cn/google_containers 部分即可。

另外，如果想下载指定版本，可以将第一行改为 kubeadm config images list --kubernetes-version=v1.14.1 即加上版本的限制:

1
--kubernetes-version=v1.14.1

然后执行，等待下载：

1
2
3
4
# vim ./kubeadm_pull.sh

# chmod +x ./kubeadm_pull.sh
# ./kubeadm_pull.sh

使用kubeadm init初始化集群

kubeadm init

在 Master 节点执行

1
# kubeadm init --kubernetes-version=v1.14.1 --apiserver-advertise-address=192.168.5.28 --pod-network-cidr=10.244.0.0/16

其中，–apiserver-advertise-address
这是 API server 用来告知集群中其它成员的地址，这也是在 init 流程的时候用来构建 kubeadm join 命令行的地址。

更多的配置参数说明可见：kubeadm 设置工具参考指南 | Kubernetes

当看到输出信息中的 Your Kubernetes control-plane has initialized successfully! 说明Kubernetes初始化成功了。

后面的几段输出比较重要。

要管理集群，我们需要执行如下命令：

1
2
3
4
5
To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

安装支持的Pod网站组件：

1
2
3
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

要将其他Node节点加入到当前Master节点的集群中，需要执行如下命令：

1
2
3
4
Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.5.28:6443 --token runell.pdp1y28g1dsayy1o \
    --discovery-token-ca-cert-hash sha256:349ee7b8a8f8a255065ebdbd1de2a98127f45fd190716af6a7a780e025f8cdfd

上面的三步，也就是我们初始化集群要做的。

授权管理集群

如果需要使用Kubernetes集群，则首先要执行上面的授权操作，否则你看到的就是下面这样：

1
2
# kubectl get nodes
The connection to the server localhost:8080 was refused - did you specify the right host or port?

在 Master 节点上操作

因为我常用的是非root用户，所以这里我退出root用户权限来操作。当然，你也可以在其他的系统上来管理集群，只需要将 /etc/kubernetes/admin.conf 拷贝到 $HOME/.kube/config 目录中即可。

1
2
3
4
5
6
7
8
9
[root@master ~]# exit
logout
➜  ~ pwd
/home/tiger

➜  ~ mkdir -p $HOME/.kube
➜  ~ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[sudo] tiger 的密码：
➜  ~ sudo chown $(id -u):$(id -g) $HOME/.kube/config

我们可以通过 kubectl get nodes 查看节点的状态:

1
2
3
➜  ~ kubectl get nodes
NAME     STATUS     ROLES    AGE   VERSION
master   NotReady   master   14m   v1.14.1

master 节点 处于 NotReady 状态，还需要配置网络。

安装网络组件

Kubernetes系统上Pod网络的实现依赖于第三方插件进行，简单易用的实现是为CoreOS提供的flannel项目。

安装文档 Creating a single master cluster with kubeadm - Kubernetes 中的介绍，直接执行如下命令：

1
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml

由于上面我是在 tiger 用户下设置了授权，所以这里安装 flannel 就需要在 tiger 用户下来操作（不需要sudo），执行结果：

1
2
3
4
5
6
7
8
9
10
➜  ~ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml
clusterrole.rbac.authorization.k8s.io/flannel created
clusterrolebinding.rbac.authorization.k8s.io/flannel created
serviceaccount/flannel created
configmap/kube-flannel-cfg created
daemonset.extensions/kube-flannel-ds-amd64 created
daemonset.extensions/kube-flannel-ds-arm64 created
daemonset.extensions/kube-flannel-ds-arm created
daemonset.extensions/kube-flannel-ds-ppc64le created
daemonset.extensions/kube-flannel-ds-s390x created

之后，再次查看节点状态：

1
2
3
➜  ~ kubectl get nodes
NAME     STATUS   ROLES    AGE   VERSION
master   Ready    master   35m   v1.14.1

现在是 Ready 状态了。

如果是用root权限操作，由于上面没有为root账户授权，会报如下错误：

1
2
unable to recognize "https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml": Get http://localhost:8080/api?timeout=32s: dial tcp [::1]:8080: connect: connection refused
unable to recognize "https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml": Get http://localhost:8080/api?timeout=32s: dial tcp [::1]:8080: connect: connection refused

检查 Flannel 的pod状态：

1
2
3
➜  ~ kubectl get pods -n kube-system -l app=flannel
NAME                          READY   STATUS    RESTARTS   AGE
kube-flannel-ds-amd64-2rzqc   1/1     Running   0          6m51s
验证Master节点上相关Pod是否正常

通过命令 kubectl get pods --all-namespaces 验证master节点上kubernetes集群的相关Pod是否都正常创建并运行：

1
2
3
4
5
6
7
8
9
10
➜  ~ kubectl get pods --all-namespaces
NAMESPACE     NAME                             READY   STATUS    RESTARTS   AGE
kube-system   coredns-fb8b8dccf-cm28l          1/1     Running   0          40m
kube-system   coredns-fb8b8dccf-lqh8n          1/1     Running   0          40m
kube-system   etcd-master                      1/1     Running   0          39m
kube-system   kube-apiserver-master            1/1     Running   0          39m
kube-system   kube-controller-manager-master   1/1     Running   0          39m
kube-system   kube-flannel-ds-amd64-2rzqc      1/1     Running   0          8m10s
kube-system   kube-proxy-mb87m                 1/1     Running   0          40m
kube-system   kube-scheduler-master            1/1     Running   0          40m

如果发现有状态错误的Pod，可以通过命令 kubectl --namespace=kube-system describe pod <pod_name> 来查看具体错误原因。

查看集群中各个组件的状态：

1
2
3
4
5
➜  ~ kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
scheduler            Healthy   ok
controller-manager   Healthy   ok
etcd-0               Healthy   {"health":"true"}
设置Master节点调度Pod

Kubeadm 在 master节点上也安装了 kubelet，出于安全考虑Pod不会被调度到Master Node上，也就是说Master Node不参与工作负载。这是因为master节点被打上了 node-role.kubernetes.io/master:NoSchedule 的标记：

查看Master节点的 Taint kubectl describe node <host_name> | grep Taint:

1
2
➜  ~ kubectl describe node master | grep Taint
Taints:             node-role.kubernetes.io/master:NoSchedule

如果希望在 Master 节点上也可以运行 Pod，可以执行如下命令（删除 Node 的 Label “node-role.kubernetes.io/master”，让Master节点成为Node节点）：

1
2
3
4
# 当前只有一个master节点，可以使用 --all 来执行
kubectl taint nodes --all node-role.kubernetes.io/master-
# 或者指定节点名称
kubectl taint nodes <host_name> node-role.kubernetes.io/master-

结果：

1
2
➜  ~ kubectl taint nodes --all node-role.kubernetes.io/master-
node/master untainted

另外，如果要恢复禁止master部署Pod，可以执行：

1
kubectl taint nodes <host_name> node-role.kubernetes.io/master:NoSchedule
向Kubernetes集群中添加Node节点

注意：在 Node 节点上操作

按照上面的第三步操作，直接在 Node 节点上执行，这里需要注意的是必须以root权限来执行：

1
2
kubeadm join 192.168.5.28:6443 --token runell.pdp1y28g1dsayy1o \
    --discovery-token-ca-cert-hash sha256:349ee7b8a8f8a255065ebdbd1de2a98127f45fd190716af6a7a780e025f8cdfd

输出结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[root@node1 ~]# kubeadm join 192.168.5.28:6443 --token runell.pdp1y28g1dsayy1o \
>     --discovery-token-ca-cert-hash sha256:349ee7b8a8f8a255065ebdbd1de2a98127f45fd190716af6a7a780e025f8cdfd
[preflight] Running pre-flight checks
[preflight] Reading configuration from the cluster...
[preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml'
[kubelet-start] Downloading configuration for the kubelet from the "kubelet-config-1.14" ConfigMap in the kube-system namespace
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Activating the kubelet service
[kubelet-start] Waiting for the kubelet to perform the TLS Bootstrap...

This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.

Run 'kubectl get nodes' on the control-plane to see this node join the cluster.
查看集群节点状态

回到主节点master上，查看集群节点状态：

1
2
3
4
➜  ~ kubectl get nodes
NAME     STATUS   ROLES    AGE   VERSION
master   Ready    master   65m   v1.14.1
node1    Ready    <none>   77s   v1.14.1

至此，node1 节点顺利添加到了集群中。

kube-proxy开启ipvs

注意：在 Master 节点下操作

通过命令 ipvsadm -L -n 查看当前ipvs状态：

1
2
3
4
➜  ~ sudo ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

发现并没有使用ipvs。

修改 ConfigMap的kube-system/kube-proxy 中的 config.conf，执行命令：

1
➜  ~ kubectl edit cm kube-proxy -n kube-system

找到其中的如下部分：

1
2
3
4
5
...
    kind: KubeProxyConfiguration
    metricsBindAddress: 127.0.0.1:10249
    mode: ""
...

将 mode: "" 改为 mode: "ipvs"。

之后重启各个节点上的kube-proxy Pod:

1
kubectl get pod -n kube-system | grep kube-proxy | awk '{system("kubectl delete pod "$1" -n kube-system")}'

上面的命令是将原有 kube-proxy 的 Pod 删除，然后重新创建的。执行结果：

1
2
3
4
5
6
7
8
9
10
➜  ~ kubectl get pod -n kube-system | grep kube-proxy
kube-proxy-d78m2                 1/1     Running   0          55m
kube-proxy-mb87m                 1/1     Running   0          119m
➜  ~ kubectl get pod -n kube-system | grep kube-proxy | awk '{system("kubectl delete pod "$1" -n kube-system")}'
pod "kube-proxy-d78m2" deleted
pod "kube-proxy-mb87m" deleted
➜  ~ kubectl get pod -n kube-system | grep kube-proxy
kube-proxy-8x8f6                 1/1     Running   0          10s
kube-proxy-k54d5                 1/1     Running   0          3s
➜  ~

查看其中一个 kube-proxy Pod 的日志输出：

1
2
3
4
5
6
7
8
9
10
11
12
➜  ~ kubectl logs kube-proxy-k54d5 -n kube-system
I0517 02:04:00.609209       1 server_others.go:177] Using ipvs Proxier.
W0517 02:04:00.609514       1 proxier.go:381] IPVS scheduler not specified, use rr by default
I0517 02:04:00.609660       1 server.go:555] Version: v1.14.1
I0517 02:04:00.619582       1 conntrack.go:52] Setting nf_conntrack_max to 131072
I0517 02:04:00.620296       1 config.go:202] Starting service config controller
I0517 02:04:00.620318       1 controller_utils.go:1027] Waiting for caches to sync for service config controller
I0517 02:04:00.620338       1 config.go:102] Starting endpoints config controller
I0517 02:04:00.621083       1 controller_utils.go:1027] Waiting for caches to sync for endpoints config controller
I0517 02:04:00.720469       1 controller_utils.go:1034] Caches are synced for service config controller
I0517 02:04:00.721541       1 controller_utils.go:1034] Caches are synced for endpoints config controller
➜  ~

日志中打印出了 Using ipvs Proxier ，说明ipvs模式已经开启。

再次通过 ipvsadm -L -n 命令查看：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
➜  ~ sudo ipvsadm -L -n
[sudo] password for tiger:
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.96.0.1:443 rr
  -> 192.168.5.28:6443            Masq    1      0          0
TCP  10.96.0.10:53 rr
  -> 10.244.0.2:53                Masq    1      0          0
  -> 10.244.0.3:53                Masq    1      0          0
TCP  10.96.0.10:9153 rr
  -> 10.244.0.2:9153              Masq    1      0          0
  -> 10.244.0.3:9153              Masq    1      0          0
UDP  10.96.0.10:53 rr
  -> 10.244.0.2:53                Masq    1      0          0
  -> 10.244.0.3:53                Masq    1      0          0
➜  ~

也显示出了相应的配置信息。

至此，kubeadm配置Kubernetes集群的操作就完成了。

相关参考

如有疑问或需要技术讨论，请留言或发邮件到 service@itfanr.cc