机器 reboot 后 kubelet 目录凭空消失的灾难恢复

事故背景

因为一些情况,需要 reboot 服务器,结果 reboot 机器后,kubeadm init 节点的 kubelet 目录消失了,整个 /var/lib/kubelet 目录没有了,导致 kubelet 启动失败,etcd 和 apiserver 也没法启动

报错内容

kubelet[23415]: F0616 02:29:06.942780   23415 server.go:198] failed to load Kubelet config file /var/lib/kubelet/config.yaml, error failed to read kubelet config file "/var/lib/kubelet/config.yaml", error: open /var/lib/kubelet/config.yaml: no such file or directory

修复过程

参考 当 Kubernetes 集群证书被全部删除后,你该如何修复它? 这篇文章做了 kubelet 的修复,目前集群是正常了,后期暂时不知道是否会有其他异常,若有异常,后续会继续更新博客

停止 kubelet 服务

systemctl stop kubelet

发现没法停止 kubelet 服务,不影响后面的操作

Failed to stop kubelet.service: Connection timed out
See system logs and 'systemctl status kubelet.service' for details.
Failed to get load state of kubelet.service: Connection timed out

备份 kubelet.config

一般来说,删了就行

mv /etc/kubernetes/kubelet.conf{,.bak}

重新生成 kubelet.config

kubeadm init phase kubeconfig kubelet

重新生成 kubelet 配置文件

kubeadm init phase kubelet-start

对比 kubeadm-flags.env

可能之前有一些 kubeadm config 不同的地方,比如镜像的仓库什么的,可以和其他 worker 节点的对照一下,然后修改一下后,重启 kubelet

cat /var/lib/kubelet/kubeadm-flags.env

相关推荐

  1. 机器 reboot kubelet 目录凭空消失灾难恢复

    2024-06-16 07:06:02       10 阅读
  2. MYSQL主从灾难恢复

    2024-06-16 07:06:02       9 阅读
  3. idea 切换分支 Project目录树小消失

    2024-06-16 07:06:02       13 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-06-16 07:06:02       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-06-16 07:06:02       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-06-16 07:06:02       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-06-16 07:06:02       18 阅读

热门阅读

  1. Python 测试用例

    2024-06-16 07:06:02       7 阅读
  2. 从零开始! jupyter notebook的安装教程

    2024-06-16 07:06:02       7 阅读
  3. Jetson.GPIO 使用教程

    2024-06-16 07:06:02       12 阅读
  4. 19C之前恢复drop 掉的PDB 创建另一个实例

    2024-06-16 07:06:02       8 阅读
  5. 从零开始!如何安装和配置Jupyter Notebook

    2024-06-16 07:06:02       6 阅读
  6. 网站开发常规安全规范(持续更新)

    2024-06-16 07:06:02       8 阅读
  7. 大数据开发语言Scala入门

    2024-06-16 07:06:02       9 阅读
  8. 71、最长上升子序列II

    2024-06-16 07:06:02       9 阅读
  9. HTML5应用程序缓存:构建离线可用的Web应用

    2024-06-16 07:06:02       8 阅读
  10. 数据仓库数据集成开源工具

    2024-06-16 07:06:02       9 阅读
  11. 神经网络-文本-图像-音频-视频基础知识

    2024-06-16 07:06:02       10 阅读
  12. flinksql BUG : flink hologres-cdc source FINISHED

    2024-06-16 07:06:02       10 阅读