文章基于CentOS 7.8系统使用Containerdr作为容器运行时通过kubeadm指导搭建k8s单机master集群，使用calico作为k8s集群的网络插件。K8S官方在1.24版本彻底弃用docker。
需要服务器可以联网。
环境
节点说明
| 主机名 | IP地址 | 操作系统 |
| c_master01.lvan | 192.168.100.200 | CentOS Linux release 7.8 |
| c_node01.lvan | 192.168.100.201 | CentOS Linux release 7.8 |
| c_node02.lvan | 192.168.100.202 | CentOS Linux release 7.8 |
软件环境
| 软件名 | 软件版本 | 作用 |
| CentOS Linux release | 7.8 | 操作系统 |
| containerd.io | 1.6.14-3.1 | 容器运行时 |
| cri-tools | 1.25.0-0 | containerd客户端 |
| nerdctl | 1.1.0 | containerd客户端 |
| cni-plugins | v1.1.1 | cni插件 |
| metrics-server | v0.6.2 | k8s集群性能监控插件 |
| kubectl | 1.26.0-0 | k8s控制工具 |
| kubeadm | 1.26.0-0 | k8s服务端 |
| kubelet | 1.26.0-0 | k8s客户端 |
| calico | v3.24.5 | K8S网络插件 |
| pause | 3.7 | 编车容器 |
ip地址规划
| ip地址 | 作用 |
| 192.168.100.200 | k8s主节点 |
| 192.168.100.201 | k8s子节点1 |
| 192.168.100.202 | k8s子节点2 |
| 10.244.0.0/16 | Pod网段地址 |
表 2 ip地址规划
步骤预览
- 操作系统配置：配置IP地址、配置主机名、关闭防火墙、关闭selinux、关闭swap、修改/etc/hosts文件、配置yum源
- 安装配置docker
- 修改系统内核参数
- 安装kubelet软件
- 初始化K8S集群
- 子节点加入k8s集群
- 安装网络插件
- 安装metrics-server监控集群性能数据
操作过程
一、操作系统配置
该章节的所有操作所有节点上均要执行。
设置主机名
按照规划文件中的名称依次设置每个节点的主机名。
# hostnamectl set-hostname 规划的主机名
IP地址配置
按照规划文件中的IP地址依次配置每个节点的IP地址。
# systemctl stop NetworkManager;systemctl disabled NetworkManager;systemctl mask NetworkManager # cat /etc/sysconfig/network-scripts/ifcfg-修改为你的网卡名 TYPE=Ethernet BOOTPROTO=none NAME=修改为你的网卡名 DEVICE=修改为你的网卡名 ONBOOT=yes IPADDR=修改为你需要设置的ip地址 NETMASK=255.255.255.0 GATEWAY=修改为你需要设置的ip地址网关 DNS1=修改为你需要设置的ip地址DNS EOF # systemctl restart network # ip a
关闭selinux
在/etc/selinux/config中设置SELINUX=为disabled
# sed -i 's/SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config # setenforce 0
关闭swap
在/etc/fstab文件中删除swap的挂载信息行，系统中执行swaoff -a临时关闭swap。
# swapoff -a # sed -i '/swap/d' /etc/fstab
关闭防火墙
关闭防火墙，并设置防火墙为开机不启动
# systemctl stop firewalld;systemctl disable firewalld;systemctl mask firewalld
# systemctl status firewalld
设置/etc/hosts文件
在/etc/hosts文件中添加所有节点的信息。
# cat >> /etc/hosts EOF 192.168.100.200 cmaster01.lvan master01 192.168.100.201 cnode01.lvan node01 192.168.100.202 cnode02.lvan node02 EOF
配置yum源
备份当前的yun配置文件，并创建新的yum源文件。
# mkdir -p /etc/yum.repos.d/bak/ # mv /etc/yum.repos.d/CentOS* /etc/yum.repos.d/bak/ # 在/etc/yum.repos.d/目录中创建k8s.repo、epel.repo、docker.repo、CentOS-Base.repo 四个repo源文件，具体内容如下所示。 # yum clean all # yum repolist
k8s.repo
[kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
View Code
epel.repo
[epel] name=Extra Packages for Enterprise Linux 7 – $basearch baseurl=http://mirrors.aliyun.com/epel/7/$basearch #mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-7&arch=$basearch failovermethod=priority enabled=1 gpgcheck=0 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
View Code
docker.repo
[docker-ce-stable] name=Docker CE Stable – $basearch baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/$basearch/stable enabled=1 gpgcheck=1 gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
View Code
CentOS-Base.repo
[base] name=CentOS-$releasever – Base – mirrors.aliyun.com failovermethod=priority baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/ #mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=os gpgcheck=1 gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7 #released updates [updates] name=CentOS-$releasever – Updates – mirrors.aliyun.com failovermethod=priority baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/ #mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=updates gpgcheck=1 gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7 #additional packages that may be useful [extras] name=CentOS-$releasever – Extras – mirrors.aliyun.com failovermethod=priority baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/ #mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=extras gpgcheck=1 gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
View Code
安装常用工具
安装vim、net-tools、bash-completion、wget常用的工具软件。
# yum install vim net-tools bash-completion wget -y # source /etc/profile.d/bash_completion.sh # echo 'set paste' >> ~/.vimrc
二、安装配置containerd
该章节的所有操作所有节点上均要执行。
安装containerd
# yum install containerd.io-1.6.14 cri-tools -y # crictl config runtime-endpoint unix:///var/run/containerd/containerd.sock # systemctl restart containerd ; systemctl enable containerd
设置containerd镜像加速
containerd 运行时配置加速：在[plugins.”io.containerd.grpc.v1.cri”.registry.mirrors]行下添加内容：[plugins.”io.containerd.grpc.v1.cri”.registry.mirrors.”docker.io”] 换行再添加 endpoint = [“https://frz7i079.mirror.aliyuncs.com”]。蓝色字体及为需要添加的内容。
# containerd config default > /etc/containerd/config.toml # vim /etc/containerd/config.toml [plugins."io.containerd.grpc.v1.cri".registry.mirrors] [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"] endpoint = ["https://sdmy9bft.mirror.aliyuncs.com"]
设置cgroup驱动及sandbox_image地址
在/etc/containerd/config.toml文件修改runc.options选项SystemdCgroup = true。设置sandbox_image镜像下载地址为阿里云的地址。
# sed -i 's/SystemdCgroup.*/SystemdCgroup = true/g' /etc/containerd/config.toml # sed -i 's#sandbox_image.*#sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.7"#g' /etc/containerd/config.toml # systemctl restart containerd
三、安装容器工具
该章节的所有操作所有节点上均要执行。
安装cni插件
在网址：https://github.com/containernetworking/plugins/releases/ 中下载软件包。
# wget https://github.com/containernetworking/plugins/releases/download/v1.1.1/cni-plugins-linux-amd64-v1.1.1.tgz # mkdir -p /opt/cni/bin/ # tar -zxf cni-plugins-linux-amd64-v1.1.1.tgz -C /opt/cni/bin/
安装nerdctl工具
nerdctl工具是操作containerd的客户端，可以实现操作containerd和docker一样命令集操作。
在网址：https://github.com/containerd/nerdctl/releases 中下载软件包只需下载精简包即可（不带full字样的）。
# wget https://github.com/containerd/nerdctl/releases/download/v1.1.0/nerdctl-1.1.0-linux-amd64.tar.gz # tar -zxvf nerdctl-1.1.0-linux-amd64.tar.gz # mv nerdctl /bin/ # echo 'source ' >> /etc/profile # echo 'export CONTAINERD_NAMESPACE=k8s.io' >> /etc/profile # source /etc/profile # nerdctl images
四、修改系统内核配置
该章节的所有操作所有节点上均要执行。
设置系统允许转发，加载k8s所需的内核模块。
# cat > /etc/modules-load.d/containerd.conf EOF overlay br_netfilter EOF # modprobe overlay # modprobe br_netfilter # cat /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward = 1 EOF # sysctl -p /etc/sysctl.d/k8s.conf
五、安装kubelet软件
该章节的所有操作所有节点上均要执行。
# yum install -y kubelet-1.26.0-0 kubeadm-1.26.0-0 kubectl-1.26.0-0 --disableexcludes=kubernetes # systemctl restart kubelet ; systemctl enable kubelet
六、初始化K8S集群
初始化k8s环境
该操作只在master节点上执行。命令执行完成过后记录下结果。
# kubeadm init --apiserver-advertise-address=192.168.100.200 --image-repository registry.aliyuncs.com/google_containers --kubernetes-version=v1.26.0 --pod-network-cidr=10.244.0.0/16
环境初始完成过后根据提示执行命令# mkdir -p $HOME/.kube # sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config # sudo chown $(id -u):$(id -g) $HOME/.kube/config # kubectl get nodes
命令执行完成过后会有如下输出，最好复制出来保存。
Your Kubernetes control-plane has initialized successfully! To start using your cluster, you need to run the following as a regular user: mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config Alternatively, if you are the root user, you can run: export KUBECONFIG=/etc/kubernetes/admin.conf You should now deploy a pod network to the cluster. Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at: https://kubernetes.io/docs/concepts/cluster-administration/addons/ Then you can join any number of worker nodes by running the following on each as root: kubeadm join 192.168.100.200:6443 --token lskbcb.y1d3ch2a2in75y8x --discovery-token-ca-cert-hash sha256:0894894ba4f405f44499b71002c762bebfd9533be6a7d17fc6d56d77db645f84
配置kubectl命令自动补齐
该操作所有节点上均要执行。
# echo 'source ' >> /etc/profile # source /etc/profile
六、子节点加入k8s集群
获取加入集群的命令
该操作只在master节点上执行。
master节点环境初始化过后会自动生成一个命令。使用这个命令直接复制到子节点上实现子节点加入集群。
如果忘记了使用命令如下获取。
# kubeadm token create --print-join-command
加入集群
该操作只在子节点上执行。
通过之前记录的命令或者上一步获取的命令，在子节点中复制执行。
# kubeadm join 192.168.100.200:6443 --token q6qmz0.wq7l7iavpqr6rd5b --discovery-token-ca-cert-hash sha256:0894894ba4f405f44499b71002c762bebfd9533be6a7d17fc6d56d77db645f84
七、安装网络插件calico
该章节操作只在master节点上执行。
下载calico配置文件
执行wget命令下载calico的yaml文件。
# wget https://docs.projectcalico.org/manifests/calico.yaml --no-check-certificate
修改calico配置文件
把calico.yaml文件中的CALICO_IPV4POOL_CIDR行和其下一行前的#删除掉，并CALICO_IPV4POOL_CIDR其下行的IP地址段改为规划文件中的网段。并在calico.yaml文件中增加蓝色字体内容，指定ens33为通信网卡（多网卡环境中必须要使用,请根据自己实际情况选择正确的网卡），格式要和CALICO_IPV4POOL_CIDR对齐。
# vim calico.yaml - name: CALICO_IPV4POOL_CIDR value: "10.244.0.0/16" - name: IP_AUTODETECTION_METHOD value: "interface=ens33"
下载caclio所需镜像（可选）
该操作只在master节点上执行。
手动下载calico所需镜像并上传到所有节点中，执行了kubectl apply -f calico.yaml命令后系统会自东下载，但是会有点慢。我们可以提前下载好传到所有节点中。
# grep image calico.yaml | grep -i calico | awk -F'/' '{print $2"/"$3 }' | uniq # docker pull calico/cni:v3.24.5 # docker pull calico/node:v3.24.5 # docker pull calico/kube-controllers:v3.24.5 # docker save -o calico_image_3_24_5.tar.gz calico/cni:v3.24.5 calico/node:v3.24.5 calico/kube-controllers:v3.24.5 # scp calico_image_3_24_5.tar.gz root@node01:/root/ # scp calico_image_3_24_5.tar.gz root@node02:/root/
该操作所有节点上均要执行。
加载docker镜像到系统中。
# docker load -i /root/calico_image_3_24_5.tar.gz
安装calico插件
# kubectl apply -f calico.yaml # kubectl get nodes -o wide -A # kubectl get pod -o wide -A
图 1-1 最终结果
八、安装metrics-server
metrics-server可用于k8s集群资源使用监控。
访问网址：https://github.com/kubernetes-sigs/metrics-server 在页面中下拉找到 Installation 章节，找到如下的信息： kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml ，截取蓝色高亮部分内容，在Master节点上执行命令下载conponents.yaml文件。
下载metrics-server软件
# wget https://github.com/kubernetes-sigs/metrics-server/releases/download/v0.6.1/components.yaml # #查看components.yaml所需要镜像及版本，提前下载 # grep image components.yaml image: k8s.gcr.io/metrics-server/metrics-server:v0.6.2 imagePullPolicy: IfNotPresent # #该k8s.gcr.io/metrics-server/metrics-server:v0.6.2镜像由于不可描述的原因下载起来有点麻烦。在https://hub.docker.com/中去下载。 # nerdctl pull k8simage/metrics-server:v0.6.2 # nerdctl tag k8simage/metrics-server:v0.6.2 k8s.gcr.io/metrics-server/metrics-server:v0.6.2 # #把metrics-server镜像打包并复制到所有节点上去。 # nerdctl save -o metrics-server.tar.gz k8s.gcr.io/metrics-server/metrics-server:v0.6.2 # scp metrics-server.tar.gz root@x.x.x.x:/root/ # #在其他节点上读取加载metrics-server镜像包。 # nerdctl load -i metrics-server.tar.gz # #确认镜像包导入正常。 # nerdctl images
修改metrics-server.yaml文件
在下载metrics-server的配置文件中修改添加蓝色字体内容。
# sed -i -e 's/kubelet-preferred-address-types.*/kubelet-preferred-address-types=InternalIP/g' -e 's/metric-resolution.*/metric-resolution=30s/g' -e '/metric-resolution/a - --kubelet-insecure-tls' components.yaml
创建metrics-server pod
执行命令创建pod,并确认metrics-server pod运行正常，可以正常获取到k8s资源性能数据。
# kubectl apply -f components.yaml # kubectl get pods -A # kubectl top nodes
