暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

领导让我部署一套Kubernetes集群,我咔咔咔给他搞定(1.32无坑版)

分享如何搭建一个1主2从的Kuberntes集群,我这里使用1.32版本,后续会基于该版本升级到1.33,下面我们先将该集群搭建起来。

由于过程比较详细,篇幅较长,建议先收藏,若部署有问题,记得留言区告诉我,谢谢!

1 系统初始化配置

所有节点同步操作

1.1 部署环境(1主2从)

名称
IP地址
操作系统
配置
k8s-master
10.0.0.210
RockyLinux9.5
2核4G
k8s-node1
10.0.0.211
RockyLinux9.5
2核2G
k8s-node2
10.0.0.212
RockyLinux9.5
2核2G

1.2 关闭防火墙和SELinux

# 关闭防火墙并设置为开机自动关闭
systemctl disable --now firewalld

# 关闭SELinux
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
# 临时关闭SELinux
setenforce 0

1.3 修改主机名

master节点:
hostnamectl set-hostname k8s-master

node1节点:
hostnamectl set-hostname k8s-node1

node2节点:
hostnamectl set-hostname k8s-node2

1.4 配置hosts文件

cat >> etc/hosts <<EOF
10.0.0.210   k8s-master 
10.0.0.211   k8s-node1
10.0.0.212   k8s-node2
EOF

1.5 时间同步

可选步骤,主要是让三个节点的时间同步。

yum install -y chrony
sed -ri 's/^pool.*/#&/' /etc/chrony.conf
cat >> etc/chrony.conf << EOF
pool ntp1.aliyun.com iburst
EOF
systemctl restart chronyd
chronyc sources
# 修改时区,如果之前是这个时区就不用修改
ln -sf usr/share/zoneinfo/Asia/Shanghai etc/localtime
echo 'Asia/Shanghai' > etc/timezone

1.6 关闭交换分区

kubernetes强制要求禁止

# 关闭当前交换分区
swapoff -a
# 禁止开机自动启动交换分区
sed -ri 's/.*swap.*/#&/' /etc/fstab

1.7 内核参数优化

将桥接的IPv4流量传递到iptables的链

# 加载内核模块
cat << EOF > etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF

# 加载
modprobe overlay
modprobe br_netfilter



cat >> etc/sysctl.d/kubernetes.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

# 加载生效
sysctl -p etc/sysctl.d/kubernetes.conf
sysctl --system

lsmod | grep br_netfilter  # 查看是否加载完成

1.8 配置免密登录

可选操作,主要便于批量管理

ssh-keygen  # 连续回车三次
ssh-copy-id -i ~/.ssh/id_rsa.pub root@10.0.0.210
ssh-copy-id -i ~/.ssh/id_rsa.pub root@10.0.0.211
ssh-copy-id -i ~/.ssh/id_rsa.pub root@10.0.0.212

测试登录
ssh root@10.0.0.211
无需密码登录即成功

1.9 安装ipvs转发支持

在kubernetes中Service有两种代理模型,一种是基于iptables的,一种是基于ipvs,两者对比ipvs的性能要高。默认使用iptables,所以要手动加载ipvs。

# 安装依赖包
yum install -y conntrack ipvsadm libseccomp 

cat > etc/sysconfig/modules/ipvs.modules <<EOF
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4  
EOF

chmod +x etc/sysconfig/modules/ipvs.modules 
# 执行脚本
/etc/sysconfig/modules/ipvs.modules
# 验证ipvs模块
lsmod | grep -e ip_vs -e nf_conntrack_ipv4

1.10 安装docker,containerd

# 获取阿里云YUM源
wget -O etc/yum.repos.d/docker-ce.repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 安装yum-config-manager配置工具
yum -y install yum-utils

# 设置yum源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 安装docker-ce版本
yum install -y docker-ce
# 启动并设置开机自启动
systemctl enable --now docker

# 查看版本号
docker --version
# 查看版本具体信息
docker version

# Docker镜像源设置
# 修改文件 etc/docker/daemon.json,没有这个文件就创建
# 添加以下内容后,重启docker服务:
cat >/etc/docker/daemon.json<<EOF
{
"registry-mirrors": [
"https://registry.cn-hangzhou.aliyuncs.com",
"https://docker.mirrors.ustc.edu.cn",
"http://hub-mirror.c.163.com",
"https://docker.1panel.live",
"https://hub.littlediary.cn",
"https://docker.kejilion.pro",
"https://docker.1ms.run",
"https://lispy.org",
"https://docker.xiaogenban1993.com",
"https://docker.xuanyuan.me",
"https://docker.mybacc.com",
"https://docker-0.unsee.tech",
"https://dockerpull.cn"
 ]
}
EOF

# 加载启动Docker
systemctl enable --now docker

# 查看
systemctl status docker containerd

说明:

  • 1、dockerd实际真实调用的还是containerd的api接口,containerd是dockerd和runC之间的一个中间交流组件。所以启动docker服务的时候,也会启动containerd服务的。

  • 2、kubernets自v1.24.0后,就不再使用docker.shim,替换采用containerd作为容器运行时端点。因此需要安装containerd(在docker的基础下安装),上面安装docker的时候就自动安装了containerd了。这里的docker只是作为客户端而已。容器引擎还是containerd。

  • 3、其实也可以直接安装container.io,而不用安装docker

1.11 配置containerd

# containerd生成配置文件
containerd config default > etc/containerd/config.toml

# 配置containerd cgroup 驱动程序为systemd
sed -i 's#SystemdCgroup = false#SystemdCgroup = true#g' /etc/containerd/config.toml

# 将 sandbox_image 镜像源设置为阿里云google_containers镜像源
sed -i "s#registry.k8s.io/pause:3.8#registry.aliyuncs.com/google_containers/pause:3.10#g"       /etc/containerd/config.toml

# 配置crictl连接containerd
cat >> etc/crictl.yaml <<EOF
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 10
debug: false
EOF

# 启动containerd并设置开机自启动
systemctl enable --now containerd
# 查看containerd状态
systemctl status containerd

2 安装kubernetes集群

2.1 配置阿里云上k8s的yum源

在所有节点上执行:

cat > etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.32/rpm/
enabled=1
gpgcheck=0
EOF

## 查看所有的可用版本
yum list kubelet --showduplicates | sort -r |grep 1.32

2.2 安装kubectl,kubelet和kubeadm

所有节点执行:

# 若不指定版本默认安装最高版本
yum install -y kubectl-1.32.9 kubelet-1.32.9 kubeadm-1.32.9

# kubectl是命令行工具。kubeadm仅是一个集群搭建工具,不涉及启动。kubelet是一个守护进程程序,由kubeadm在搭建过程中自动启动,这里仅设置开机启动即可。

systemctl enable kubelet

# 准备k8s-1.32.9 所需要的镜像
kubeadm config images list --kubernetes-version=v1.32.9

# 可以提前把镜像下载好,这样安装快(可选步骤)
crictl pull registry.aliyuncs.com/google_containers/kube-apiserver:v1.32.9
crictl pull registry.aliyuncs.com/google_containers/kube-controller-manager:v1.32.9
crictl pull registry.aliyuncs.com/google_containers/kube-scheduler:v1.32.9
crictl pull registry.aliyuncs.com/google_containers/kube-proxy:v1.32.9
crictl pull registry.aliyuncs.com/google_containers/pause:3.10
crictl pull registry.aliyuncs.com/google_containers/etcd:3.5.16-0
crictl pull registry.aliyuncs.com/google_containers/coredns:v1.11.3

2.3 集群初始化(在master上执行)

kubeadm init --kubernetes-version=v1.32.9 \
--pod-network-cidr=192.168.0.0/16  \
--apiserver-advertise-address=10.0.0.210 \
--service-cidr=10.224.0.0/16 \
--image-repository=registry.aliyuncs.com/google_containers

--apiserver-advertise-address 集群apiServer地址(master节点IP即可) --image-repository 由于默认拉取镜像地址k8s.gcr.io国内无法访问,这里指定阿里云镜像仓库地址 --kubernetes-version K8s版本,与上面安装的一致 --service-cidr 集群内部虚拟网络,Pod统一访问入口 --pod-network-cidr Pod网络,,与下面部署的CNI网络组件yaml中保持一致

安装成功会输出以下内容:

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 10.0.0.210:6443 --token 8nlzcn.iq9ohzqjcfefdp0g \
 --discovery-token-ca-cert-hash sha256:6c1d9a8cd03ac34de32226f78316f0d3b3b30322704d7845365e94f63f27eff1

2.4 重置后再初始化(可选)

若集群初始化失败,可以通过排障后重新初始化

kubeadm reset -f
rm -fr ~/.kube/  /etc/kubernetes/* var/lib/etcd/*

2.5 配置环境变量

这里是从上面初始化时输出的信息,直接复制过来就行,在master节点上操作

mkdir -p $HOME/.kube
sudo cp -i etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
# 临时生效(退出当前窗口重连环境变量失效)
export KUBECONFIG=/etc/kubernetes/admin.conf
# 永久生效(推荐)
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source  ~/.bash_profile


2.6 node工作节点加入k8s集群

根据master节点最后输出的内容,【切记不要复制我下面的】直接在node节点上执行

kubeadm join 10.0.0.210:6443 --token 8nlzcn.iq9ohzqjcfefdp0g \
 --discovery-token-ca-cert-hash sha256:6c1d9a8cd03ac34de32226f78316f0d3b3b30322704d7845365e94f63f27eff1

如果没有令牌,可以通过在控制平面节点上运行以下命令来获取令牌:

kubeadm token list

默认情况下, 令牌会在24小时后过期。如果要在当前令牌过期后将节点加入集群, 则可以通过在控制平面节点上运行以下命令来创建新令牌:

kubeadm token create --print-join-command

2.7 查看节点状态

[root@k8s-master ~]# kubectl get node
NAME         STATUS      ROLES           AGE   VERSION
k8s-master   NotReady    control-plane   45m   v1.32.9
k8s-node1    NotReady    <none>          22s   v1.32.9
k8s-node2    NotReady    <none>          16s   v1.32.9

发现节点是NotReady状态,说明集群还不可以使用,还需要安装网络插件。

2.8 安装网络插件(master节点操作)

网络组件有很多种,只需要部署其中一个即可,推荐Calico。

Calico是一个纯三层的数据中心网络方案,Calico支持广泛的平台,包括Kubernetes、OpenStack等。

Calico 在每一个计算节点利用 Linux Kernel 实现了一个高效的虚拟路由器( vRouter) 来负责数据转发,而每个 vRouter 通过 BGP 协议负责把自己上运行的 workload 的路由信息向整个 Calico 网络内传播。

此外,Calico 项目还实现了 Kubernetes 网络策略,提供ACL功能。

(1)下载calico的yaml文件

curl -o /root/calico.yaml https://raw.githubusercontent.com/projectcalico/calico/v3.30.3/manifests/calico.yaml


(2)修改calico.yaml

下载完后还需要修改里面定义Pod网络(CALICO_IPV4POOL_CIDR),与前面kubeadm init的 --pod-network-cidr指定的一样。

# (3)修改仓库
将docker.io修改为quay.io

安装calico

kubectl apply -f calico.yaml

2.9 给node节点打标签(可选)

kubectl label nodes k8s-node1 node-role.kubernetes.io/worker=worker
kubectl label nodes k8s-node2 node-role.kubernetes.io/worker=worker

2.10 验证集群

(1)查看集群信息

[root@k8s-master ~]# kubectl cluster-info
Kubernetes control plane is running at https://10.0.0.210:6443
CoreDNS is running at https://10.0.0.210:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.


(2)查看节点信息

[root@k8s-master ~]# kubectl get node
NAME         STATUS   ROLES           AGE     VERSION
k8s-master   Ready    control-plane   48m     v1.32.9
k8s-node1    Ready    worker          3m51s   v1.32.9
k8s-node2    Ready    worker          3m45s   v1.32.9

(3)查看pod运行状态

[root@k8s-master ~]# kubectl get pods -A

至此,集群已搭建完成,后期会分享3master高可用集群部署,敬请期待。


如果有错漏,敬请斧正!如果觉得有用,别忘了点赞和关注!

非常有价值的交流群,期待你的加入!


如果需要提供技术支持或添加交流群,加V:lige_linux

文章转载自小周的数据库进阶之路,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论