社区编辑申请
注册/登录
为什么Kubernetes从节点会Join失败
云计算
有段时间没有鼓捣Kubernetes了,今天重置Kubernetes集群后,slave节点不能加入master节点了,我把问题和解决方案分享给大家。

 

本文转载自微信公众号「程序员jinjunzhu」,作者jinjunzhu 。转载本文请联系程序员jinjunzhu公众号。

有段时间没有鼓捣Kubernetes了,今天重置Kubernetes集群后,slave节点不能加入master节点了,我把问题和解决方案分享给大家。

我本地的Kubernetes集群包括一个主节点和一个从节点,如下图:

问题

主节点启动后,从节点加入,命令如下:

  1. kubeadm join 192.168.59.149:6443 --token nf2hbm.h1d67djxey0jv90h --discovery-token-ca-cert-hash sha256:12e71102d6f44c85c1717079f26c36a706cb11894c36af6d055fa39036e805ae 

等了一段时间后,报了下面的错误:

  1. error execution phase preflight: couldn't validate the identity of the API Server: abort connecting to API servers after timeout of 5m0s 

日志不够完整,在命令后面加 --v=5,重新执行来查看详细日志,发现下面这个失败日志反复打印:

  1. Failed to request cluster info: [Get https://192.168.59.149:6443/api/v1/namespaces/kube-public/configmaps/cluster-info?timeout=10s: x509: certificate has expired or is not yet valid。 

问题排查

token过期

首先想到的是token过期,查看token,命令和输出如下:

  1. [root@master ~]# kubeadm token list 
  2. failed to list bootstrap tokens: Get https://192.168.59.149:6443/api/v1/namespaces/kube-system/secrets?fieldSelector=type%3Dbootstrap.kubernetes.io%2Ftoken: x509: certificate signed by unknown authority (possibly because of "crypto/rsa: verification error" while trying to verify candidate authority certificate "kubernetes"

这个输出有点诡异,网上说是内存不够了,我查看了内存,并不紧张:

  1. [root@master ~]# free -h 
  2.               total        used        free      shared  buff/cache   available 
  3. Mem:           3.7G        1.1G        132M         30M        2.4G        2.1G 
  4. Swap:            0B          0B          0B 

仔细查看了输出,有个x509,想起了以前的解决方法,执行下面三个命令:

  1. mkdir -p $HOME/.kube 
  2. sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config 
  3. sudo chown $(id -u):$(id -g) $HOME/.kube/config 

再次查看token,可以了,输出如下:

  1. kubeadm token list 
  2. TOKEN                     TTL       EXPIRES                     USAGES                   DESCRIPTION                                                EXTRA GROUPS 
  3. o898hy.0y2s6cqsidpwmbkh   23h       2021-05-10T23:26:55+08:00   authentication,signing   The default bootstrap token generated by 'kubeadm init'.   system:bootstrappers:kubeadm:default-node-token 

重新生成token和秘钥,命令和输出如下:

  1. [root@master ~]# kubeadm token create 
  2. nf2hbm.h1d67djxey0jv90h 
  3. [root@master ~]# openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //' 
  4. 12e71102d6f44c85c1717079f26c36a706cb11894c36af6d055fa39036e805ae 

生成后,在从节点上用新的token和秘钥继续执行加入命令,问题依旧。

时间问题

Kubernetes的token有效期是24小时,但是秘钥是新生成的,不可能过期。

那是不是系统时间有问题?查看了一下系统时间,果然找到了猫腻。系统时间如下:

主节点系统时间:

  1. [root@master ~]# date 
  2. 2021年 05月 10日 星期一 07:22:42 CST 

2021年 05月 10日 星期一 07:22:42 CST

从节点系统时间:

  1. [root@worker1 ~]# date 
  2. Sun May  9 11:22:28 EDT 2021 

主节点的时间晚于从节点,这就是问题所在。

解决问题

在主节点和从节点执行如下命令:

  1. [root@master ~]# ntpdate ntp1.aliyun.com 
  2.  9 May 23:23:00 ntpdate[39100]: step time server 120.25.115.20 offset -28801.403856 sec 
  3.  
  4. [root@worker1 ~]# ntpdate ntp1.aliyun.com 
  5.  9 May 11:23:18 ntpdate[22420]: adjust time server 120.25.115.20 offset -0.001241 sec 

这下时间一致了。

重新生成token和秘钥,问题解决。

 

责任编辑:武晓燕 来源: 程序员jinjunzhu
相关推荐

2022-04-15 09:23:29

Kubernetes面试题

2022-03-10 08:24:17

Docker容器SaaS

2022-02-23 20:20:48

Kubernetes网络模型

2022-02-21 10:17:33

Rancher开源云原生

2022-04-20 20:28:40

HDF 驱动框架鸿蒙操作系统

2022-03-29 09:21:21

DevOps开发

2022-03-28 18:27:07

容器容器云PaaS

2022-05-12 14:44:38

数据中心IT云计算

2022-05-11 14:05:11

区块链网络安全存储

2022-04-11 07:34:46

OAuth2UAA节点

2022-04-15 15:56:30

云原生容器

2022-05-09 15:08:56

存储厂商NFV领域华为

2022-05-16 08:27:20

KubernetePodLinux

2021-11-08 07:48:48

2022-04-19 16:16:35

DevOps云原生容器

2022-03-19 12:16:49

Redis高并发系统集群部署

2022-04-14 09:30:22

深度学习激活函数人工神经

2022-04-27 18:06:12

数字安全数据安全网络安全

2021-12-22 07:47:42

2022-04-14 09:00:22

开源数据存储Ignite

同话题下的热门内容

容器江湖的爱恨情仇混合云、多租户大数据平台的容量和合规性思考青云QKE 托管版发布,让容器化应用上云获得更高性价比2022 年八种云计算趋势:超支、安全和工作负载容器云平台运维学习思路和方法云原生数仓如何破解大规模集群的关联查询性能问题?边缘计算和边缘AI是什么?两者有什么区别?云计算的未来:在2022年占据主导地位的发展趋势

编辑推荐

一文让你看懂IaaS、PaaS和SaaS看完小白也能懂什么是公有云、私有云、混合云陌陌基于K8s和Docker容器管理平台的架构实践科技公司创始人谈MySQL的未来AWS公布AWS媒体服务家族,专为完整视频工作流提供支持
我收藏的内容
点赞
收藏

51CTO技术栈公众号