Kubernetes(二)——Kubernetes部署

前言

本文使用containerd部署k8s，围绕 Kubernetes 集群搭建全流程，梳理环境规划、组件部署及功能验证步骤，为高效构建稳定 k8s 集群提供标准化操作指引。

一、环境规划

1、服务器规划

master（2C/4G，cpu核心数要求大于2）192.168.10.111
docker、kubelet-1.20.11 kubeadm-1.20.11 kubectl-1.20.11、flannel
node01 192.168.10.112
docker、kubelet-1.20.11 kubeadm-1.20.11 kubectl-1.20.11、flannel
node02 192.168.10.113
docker、kubelet-1.20.11 kubeadm-1.20.11 kubectl-1.20.11、flannel

为什么部署这些组件的原因：
K8s 集群中，没有 “纯管控” 或 “纯运行” 的节点—— 主节点也要运行控制平面 Pod，工作节点也要接入集群并通信，因此所有节点必须具备：

1. 容器运行能力（Docker）；
2. 集群接入 / Pod 管理能力（kubelet）；
3. 集群部署 / 接入工具（kubeadm）；
4. 集群操作能力（kubectl，实操必装）；
5. 跨节点网络通信能力（flannel）。
   

2、系统设置（所有节点执行）

# 关闭防火墙。基于iptables的服务 systemctl stop firewalld systemctl disable firewalld setenforce 0 sed -i 's/enforcing/disabled/' /etc/selinux/config # 关闭iptables防火墙。基于内核 iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X # 关闭交换分区 swapoff -a sed -ri 's/.*swap.*/#&/' /etc/fstab # 加载ip_vs模块， 优化 K8s Service 的流量转发效率 for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done

# 修改主机名 （三个节点分开执行） hostnamectl set-hostname master01 hostnamectl set-hostname node01 hostnamectl set-hostname node02 # 所有节点修改hosts文件 vim /etc/hosts 192.168.10.111 master01 192.168.10.112 node01 192.168.10.113 node02 # 调整内核参数 cat > /etc/sysctl.d/kubernetes.conf << EOF #开启网桥模式，可将网桥的流量传递给iptables链 net.bridge.bridge-nf-call-ip6tables=1 net.bridge.bridge-nf-call-iptables=1 #关闭ipv6协议 net.ipv6.conf.all.disable_ipv6=1 net.ipv4.ip_forward=1 EOF # 生效参数 sysctl --system

二、k8s集群部署

1、部署docker

yum install -y yum-utils device-mapper-persistent-data lvm2 yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum install -y docker-ce-20.10.18 docker-ce-cli-20.10.18 containerd.io # 配置国内加速器（就是镜像仓，从国外抓取的） mkdir /etc/docker cat > /etc/docker/daemon.json <<EOF { "registry-mirrors": ["https://0a40cefd360026b40f39c00627fa6f20.mirror.swr.myhuaweicloud.com"], "exec-opts": ["native.cgroupdriver=systemd"], "log-driver": "json-file", "log-opts": { "max-size": "100m" } } EOF # 重新加载加速器，启动docker systemctl daemon-reload systemctl restart docker.service systemctl enable docker.service ##核心是保证 K8s 的 kubelet 与 Docker 的 Cgroup 驱动一致—— 两者驱动不匹配会 ##导致容器资源管控失效、Pod 启动失败甚至集群崩溃，这是 K8s 与容器运行时（Docker）集成的核心前提。 docker info | grep "Cgroup Driver" 输出显示>> Cgroup Driver: systemd

2、部署kubeadm，kubelet和kubectl（所有节点执行）

# 定义kubernetes源 cat > /etc/yum.repos.d/kubernetes.repo << EOF [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF # 下载 kubelet-1.20.11 kubeadm-1.20.11 kubectl-1.20.11 yum install -y kubelet-1.20.11 kubeadm-1.20.11 kubectl-1.20.11 # 开机自启kubelet # K8S通过kubeadm安装出来以后都是以Pod方式存在，即底层是以容器方式运行，所以kubelet必须设置开机自启 systemctl enable kubelet.service

3、部署k8s集群（主节点执行）

包含：导入k8s所需镜像、初始化kubeadm、配置kubectl

# 查看初始化需要的镜像 kubeadm config images list #在 master 节点上传 v1.20.11.zip 压缩包（包含所需所有镜像）至 /opt 目录 unzip v1.20.11.zip -d /opt/k8s cd /opt/k8s/v1.20.11 #将所有tar包加载成镜像 for i in $(ls *.tar); do docker load -i $i; done # 复制镜像和脚本到 node 节点，并在 node 节点上执行脚本加载镜像文件 scp -r /opt/k8s root@node01:/opt scp -r /opt/k8s root@node02:/opt ## 从节点执行 cd /opt/k8s/v1.20.11 for i in $(ls *.tar); do docker load -i $i; done # 初始化kubeadm kubeadm config print init-defaults > /opt/kubeadm-config.yaml cd /opt/ vim kubeadm-config.yaml ...... 11 localAPIEndpoint: 12 advertiseAddress: 192.168.10.19 #指定master节点的IP地址 13 bindPort: 6443 ...... 34 kubernetesVersion: v1.20.11 #指定kubernetes版本号 35 networking: 36 dnsDomain: cluster.local 37 podSubnet: "10.244.0.0/16" #指定pod网段，10.244.0.0/16用于匹配flannel默认网段 38 serviceSubnet: 10.96.0.0/16 #指定service网段 39 scheduler: {} #末尾再添加以下内容 # 注意一定要加“---”，yml文件表示分隔服务，否则会报错 --- apiVersion: kubeproxy.config.k8s.io/v1alpha1 kind: KubeProxyConfiguration mode: ipvs

查看k8s所需的组件镜像：

配置kubectl
kubectl需经由API server认证及授权后方能执行相应的管理操作，kubeadm 部署的集群为其生成了一个具有管理员权限的认证配置文件 /etc/kubernetes/admin.conf，它可由 kubectl 通过默认的 “$HOME/.k

mkdir -p $HOME/.kube cp -i /etc/kubernetes/admin.conf $HOME/.kube/config chown $(id -u):$(id -g) $HOME/.kube/config # 如果 kubectl get cs 发现集群不健康，更改以下两个文件 vim /etc/kubernetes/manifests/kube-scheduler.yaml vim /etc/kubernetes/manifests/kube-controller-manager.yaml # 修改如下内容 # #修改成k8s的控制节点master01的ip 把--bind-address=127.0.0.1变成--bind-address=192.168.10.19 把httpGet:字段下的hosts由127.0.0.1变成192.168.10.19 把- --port=0 # 搜索port=0，把这一行注释掉 # 重启Kubelet systemctl restart kubelet

4、部署flannel(所有节点)

# 上传镜像 在master节点执行 cd /opt unzip kuadmin.zip docker load < flannel-cni-v1.2.0.tar docker load < flannel-v0.22.2.tar scp -r flannel-cni-v1.2.0.tar flannel-v0.22.2.tar root@node01:/opt scp -r flannel-cni-v1.2.0.tar flannel-v0.22.2.tar root@node01:/opt ## node节点执行，上传kuadmin.zip，解压 cd /opt docker load < flannel-cni-v1.2.0.tar docker load < flannel-v0.22.2.tar # 在master节点执行, 创建flannel资源 kubectl apply -f kube-flannel.yml # 方法二：创建flannel资源（可忽略） # kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml # kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml # 在master节点获取token，给node节点直接在终端执行，加入到k8s集群 cd /opt cat kubeadm-init.log # 在 node 节点上执行 kubeadm join 命令加入群集 kubeadm join 192.168.10.19:6443 --token rc0kfs.a1sfe3gl4dvopck5 \ --discovery-token-ca-cert-hash sha256:864fe553c812df2af262b406b707db68b0fd450dc08b34efb73dd5a4771d37a2 # 在master节点查看节点状态 kubectl get nodes kubectl get pods -n kube-system

master查看节点信息：

5、测试pod资源创建

# 创建pod kubectl create deployment nginx --image=nginx kubectl get pods -o wide # 暴露端口提供服务 仅测试 kubectl expose deployment nginx --port=80 --type=NodePort # 查看节点信息 kubectl get pods -l app=nginx -o wide #可以看到节点信息 kubectl get svc # 测试联通性 curl http://node01:32404 # 创建3个副本 kubectl scale deployment nginx --replicas=3 kubectl get pods -o wide

创建nginx的pod:

三、部署Dashboard（主节点）

Dashboard是k8s的可视化软件

# 解压dashboard.zip 资源 cd /opt unzip dashboard.zip mv dashboard/* k8s # 在 master01 节点上操作 cd /opt/k8s vim recommended.yaml #默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部： kind: Service apiVersion: v1 metadata: labels: k8s-app: kubernetes-dashboard name: kubernetes-dashboard namespace: kubernetes-dashboard spec: ports: - port: 443 targetPort: 8443 nodePort: 30001 #添加 type: NodePort #添加 selector: k8s-app: kubernetes-dashboard # 加载配置文件 kubectl apply -f recommended.yaml # 访问k8s都要有相应的权限 #创建service account并绑定默认cluster-admin管理员集群角色 kubectl create serviceaccount dashboard-admin -n kube-system kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}') # 获取token kubectl -n kube-system get secret kubectl describe secrets dashboard-admin-token-x4s89 -n kube-system #使用输出的token登录Dashboard https://NodeIP:30001 https://192.168.10.111:30001/ #只有火狐浏览器可以访问

获取token的文件名称：

浏览器访问Dashboard：

访问成功！！！

总结

本方案涵盖环境配置、集群搭建、网络部署及可视化配置全环节，步骤清晰可落地，助力快速完成 k8s 集群构建与运维。