记一次由于外部K8S集群证书到期导致Jenkins无法生成动态agent节点错误解决（入坑出坑）

全栈工程师修炼指南 2023-02-07

253

欢迎关注「WeiyiGeek」公众号

点击 👇 下方卡片 即可关注我哟!

设为「星标⭐」每天带你 基础入门 到 进阶实践 再到 放弃学习！

涉及 网络安全运维、应用开发、物联网IOT、学习路径、个人感悟 等知识

“ 花开堪折直须折，莫待无花空折枝。 ”

作者主页：[ https://www.weiyigeek.top ]

作者博客：[ https://blog.weiyigeek.top ]

作者答疑学习交流群：请关注公众号后回复【学习交流群】

问题.记一次由于外部K8S集群证书到期导致Jenkins无法生成动态agent节点错误解决

错误信息:

[Pipeline] node
Still waiting to schedule task
All nodes of label ‘Jenkins项目名称-_50-m4dq2’ are offline
Aborted by Jenkins 管理员

问题原因: 由于外部K8S集群相关组件证书更新，导致Jenkins Clouds 的 Kubernetes 链接证书过期无法正常使用，需重新生成新的 cert.pfx 并上传到凭据中心。

解决办法: 可参照此篇文章进行【 https://blog.weiyigeek.top/2020/12-30-531.html#独立Jenkins-Master节点接入外部K8s集群】进行更新Jenkins上连接K8S集群的APIServer证书，或者按照如下方法进行。

步骤 01.K8S外部集群证书提取与生成 Kubernetes 的 server certificate key 和Client P12 Certificate File。

点击 Jenkins Dashboard -> 凭据 -> 系统 -> 全局凭据 (unrestricted) -> 选择【旧凭据项目】-> 更新 -> 选择上传上面生成的 cert.pfx 到 jenkins 中 -> 输入其凭据密码。

步骤 02.重新生成新的 cert.pfx Jenkins 所用的证书。

# 在Kubenates的上创建devops命名空间，用于Jenkins使用 （若已创建可跳过）
kubectl create namespace devops


# 在Kubernetes上为Jenkins构建创建有Cluster Admin权限的Service Account jenkins（若已创建可跳过）
kubectl create clusterrolebinding jenkins --clusterrole cluster-admin --serviceaccount=devops:jenkins


# 在最新 ~/.kube/config 配置文件, 运行以下命令分别生成生成 ca.crt, client.crt, client.key
cat ~/.kube/config | grep "certificate-authority-data" | sed s/[[:space:]]//g | cut -d ':' -f 2 | base64 -d > ca.crt
cat ~/.kube/config | grep "client-certificate-data" | sed s/[[:space:]]//g | cut -d ':' -f 2 | base64 -d > client.crt
cat ~/.kube/config | grep "client-key-data" | sed s/[[:space:]]//g | cut -d ':' -f 2 | base64 -d > client.key


# 根据前面步骤生成的 ca.crt, client.crt 和 client.key 来生成 PKCS12 格式的 cert.pfx
openssl pkcs12 -export -out cert.pfx -inkey client.key -in client.crt -certfile ca.crt
  # Enter Export Password: weiyigeek
  # Verifying - Enter Export Password: weiyigeek