kafka连接zookeeper失败导致无法启动

1.背景

Linux服务器磁盘使用率100%导致kafka服务挂掉,推测是别的生产者往kafka服务器不停的塞数据把服务器塞爆了,服务器总空间60g,然后进到服务器查看kafka默认数据存储路径/tmp/kafka_logs就占了37g特别是目标topic,由于这个kafka服务器是我们组内自建的,kafka历史数据不是很重要,所以决定把目标topic删掉释放一些空间。

2.问题

在释放一些服务器空间后,就开始重启zookeeper(kafka解压包自带的zookeeper),然后重启kafka,这时候就报错提示连接zookeeper异常导致无法正常启动kafka服务,后面经过学习发现是我们上面删除分片消息日志不干净导致,因为kafka的消息存储机制,zookeeper会记录topic的partition和offset,所以我们需要手动同步删除/tmp/kafka_logs和/tmp/zookeeper的日志文件。

3.解决

上面我说过这个kafka服务器的背景,所以我们决定干脆把/tmp/kafka_logs和/tmp/zookeeper全部空间释放掉,然后重新启动zookeeper和kafka,kafka能正常启动成功,第三方团队往我们kafka收发数据正常

相关推荐

  1. kafka连接zookeeper失败导致无法启动

    2024-06-08 03:58:03       11 阅读
  2. kafka连接失败时springboot项目启动停机问题

    2024-06-08 03:58:03       37 阅读
  3. kafka node3 连接异常导致应用无法消费、生产数据

    2024-06-08 03:58:03       37 阅读
  4. 宝塔Nginx无法启动启动失败的原因

    2024-06-08 03:58:03       33 阅读
  5. Zookeeper+Kafka

    2024-06-08 03:58:03       14 阅读
  6. 机器视觉系统-相机无法拍照或者连接失败

    2024-06-08 03:58:03       19 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-06-08 03:58:03       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-06-08 03:58:03       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-06-08 03:58:03       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-06-08 03:58:03       20 阅读

热门阅读

  1. 机器学习 - 常见问题与解决方案

    2024-06-08 03:58:03       10 阅读
  2. 机器学习目录

    2024-06-08 03:58:03       12 阅读
  3. 网络安全现状

    2024-06-08 03:58:03       10 阅读
  4. 人脸识别系统代码--预测年龄

    2024-06-08 03:58:03       9 阅读
  5. C# 语言类型(三)—数组/枚举类型/结构体

    2024-06-08 03:58:03       10 阅读
  6. AI初识--LLM、ollama、llama都是些个啥?

    2024-06-08 03:58:03       9 阅读
  7. 富格林:总结阻挠欺诈解决措施

    2024-06-08 03:58:03       9 阅读
  8. 【加密与解密】【01】网络安全体系

    2024-06-08 03:58:03       9 阅读
  9. 007.卷积网络-FashionMNIST-正确率90.180

    2024-06-08 03:58:03       12 阅读
  10. C#面:解释什么是扩展方法

    2024-06-08 03:58:03       8 阅读