【总结】hbase master重启恢复失败问题修复

问题现象

最近hbase master 莫名其妙宕机了,查看最后输出日志,也没有发现有效信息。

于是想着先重启一把,在hbase master 选主成active状态的过程中,发现重启多次都很漫长,且最终因重启时间过长,被hbase-daemon.sh 强杀掉。

从hbase-master.out 可查看到hbase master 被强杀,如下图:
在这里插入图片描述
以前也出现过类似情况,当时解决的办法是加大hbase master jvm 内存。
但最近再次宕机,一直加大jvm内存也不现实。只能想办法,从根本上解决。

原因分析

再次查看hbase master log,发现hbase 在恢复过程中,先是一直不断刷如下日志:
INFOorg.apache.hadoop.hbase.util.FSHDFSUtils: Recover lease on dfs filehdfs://nameservice1/hbase/MasterProcWALs/pv-00000000000000011601.log

然后开始不断刷gc回收暂停时间过长
2024-04-24 10:01:47,315 WARN [master/ark-73:16000] util.Sleeper: We slept 15775ms instead of 3000ms, this is likely due to a long garbage collecting pause and it’s usually bad, see http://hbase.apache.org/book.html#trouble.rs.runtime.zkexpired
在这里插入图片描述
再次查看gc 日志,gc.log-202404240937 发现如下日志:

2024-04-24T10:04:47.890+0800: 1630.478: [Full GC (Allocation Failure) 2024-04-24T10:04:47.890+0800: 1630.478: [CMS: 5183936K->5183935K(5183936K), 13.3839186 secs] 6180735K->6180727K(6180736K), [Metaspace: 52023K->52023K(1095680K)], 13.3840933 secs] [Times: user=13.39 sys=0.00, real=13.39 secs]

2024-04-24T10:05:01.275+0800: 1643.863: [Full GC (Allocation Failure) 2024-04-24T10:05:01.276+0800: 1643.863: [CMS

在这里插入图片描述
种种迹象表明,hbase已经因为内存爆了,导致垃圾回收也无法释放内存。

查阅了一番资料,最终定位到是MasterProcWals pv日志过多,在重启HBase Master 的过程中,HBase Master进入活动状态需要读取并实例化所有正在运行的程序当前记录在/apps/hbase/data/MasterProcWALs/目录下对应的文件。此文件夹太大,HBase Master将在完全变为活动状态之前超时并崩溃。

解决方法

查阅了相关资料,MasterProcWALs 目录下的文件是可以删除的,在删除之前,先备份。

于是执行了以下命令:

 # 查看MasterProcWALs 目录下文件存储总大小
 hdfs dfs -du -s -h /apps/hbase/data/MasterProcWALs
# 将该文件备份
hdfs dfs -mv /apps/hbase/data/MasterProcWALs /apps/hbase/data/bakMasterProcWALs
# 重新创建空文件夹
hdfs dfs -mkdir /apps/hbase/data/MasterProcWALs

最后重启hbase master,几乎很快hbase master就启动成功,并成功变成active 活跃状态。

至此,成功解决该问题。

参考资料:https://www.yisu.com/jc/564592.html

相关推荐

  1. 手误修改了spfile导致实例失败

    2024-04-25 07:06:01       10 阅读
  2. 华纳云:ubuntu中mysql失败怎么解决

    2024-04-25 07:06:01       36 阅读
  3. Docker服务启动失败请求频繁被拒绝

    2024-04-25 07:06:01       39 阅读
  4. IDEA异常退出后项目启动失败解决

    2024-04-25 07:06:01       33 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-04-25 07:06:01       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-04-25 07:06:01       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-04-25 07:06:01       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-04-25 07:06:01       20 阅读

热门阅读

  1. 富格林:正确曝光做单欺诈套路

    2024-04-25 07:06:01       17 阅读
  2. AIGC:机器人也有“成长的烦恼”

    2024-04-25 07:06:01       17 阅读
  3. 区块链 | ERC721 标准

    2024-04-25 07:06:01       26 阅读
  4. react/vue跳转到文章指定位置简单demo

    2024-04-25 07:06:01       38 阅读