zookeeper数据迁移至clickhouse-keeper

1)找到zookeeper主节点

zkServer.sh status
查看返回结果:
ZooKeeper JMX enabled by default
Using config: /conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader

Mode说明:
值为leader 代表当前节点为zookeeper的领导节点

2)停3个zookeeper的节点,生成zookeeper快照


3)(建议)启动 后再停止 zookeeper的领导节点,强制生成一致快照


4)使用clickhouse keeper-converter转换zookeeper快照

clickhouse keeper-converter --zookeeper-logs-dir /var/log/zklog/version-2 --zookeeper-snapshots-dir /var/log/zkdata/version-2 --output-dir /var/log/temp/keeper/snapshots

docker容器部署的话:
docker exec -it  $(docker ps|grep clickhouse-node|awk '{print $1}') clickhouse keeper-converter --zookeeper-logs-dir /var/log/zklog/version-2 --zookeeper-snapshots-dir /var/log/zkdata/version-2 --output-dir /var/log/temp/keeper/snapshots
参数说明:

         --zookeeper-logs-dir 后跟zookeeper的日志目录
         --zookeeper-snapshots-dir  后跟zookeeper的快照目录

         --output-dir 后跟转换后的快照所在目录     
备注:keeper-converter 是clickhouse中的一个转换工具
最新版本的 做了软链接,可以直接使用clickhouse-keeper-converter 命令
低版本clickhouse(例如:22.3.3.44 ,版本查看命令:clickhouse-client --version),keeper-converter工具未做软连接,需要使用clickhouse keeper-converter

5)将转换后的快照,复制到clickhouse的几台节点上

例如:/var/lib/clickhouse/coordination/snapshots   如果是docker部署,copy到对应的宿主机挂载目录下

6)启动clickhouse(配置好clickhouse-keeper)

clickhouse-keeper直接嵌入到clickhouse中
将以下配置 放到clickhouse的配置文件中

其中:<server_id>1</server_id> 为Keeper集群的每个节点唯一ID,因此每个节点的配置应该不同,可分别为1,2,3

<keeper_server>
    <tcp_port>9181</tcp_port>
    <server_id>1</server_id>
    <log_storage_path>/var/lib/clickhouse/coordination/log</log_storage_path>
    <snapshot_storage_path>/var/lib/clickhouse/coordination/snapshots</snapshot_storage_path>

    <coordination_settings>
        <operation_timeout_ms>10000</operation_timeout_ms>
        <session_timeout_ms>30000</session_timeout_ms>
        <raft_logs_level>warning</raft_logs_level>
    </coordination_settings>

    <raft_configuration>
        <server>
            <id>1</id>
            <hostname>chnode1.domain.com</hostname>
            <port>9234</port>
        </server>
        <server>
            <id>2</id>
            <hostname>chnode2.domain.com</hostname>
            <port>9234</port>
        </server>
        <server>
            <id>3</id>
            <hostname>chnode3.domain.com</hostname>
            <port>9234</port>
        </server>
    </raft_configuration>
</keeper_server>
<!-- 启用clickhouse-keeper -->
<zookeeper>
    <node>
        <host>chnode1.domain.com</host>
        <port>9181</port>
    </node>
    <node>
        <host>chnode2.domain.com</host>
        <port>9181</port>
    </node>
    <node>
        <host>chnode3.domain.com</host>
        <port>9181</port>
    </node>
</zookeeper>

官网参考文档:https://clickhouse.com/docs/en/guides/sre/keeper/clickhouse-keeper
 

相关推荐

  1. zookeeper数据迁移clickhouse-keeper

    2024-05-01 06:12:03       14 阅读
  2. sqlserver->clickhouse迁移数据

    2024-05-01 06:12:03       34 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-05-01 06:12:03       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-05-01 06:12:03       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-05-01 06:12:03       19 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-05-01 06:12:03       20 阅读

热门阅读

  1. 【QT教程】QT6_QML与硬件交互编程

    2024-05-01 06:12:03       9 阅读
  2. mysqlbinlog恢复delete的数据

    2024-05-01 06:12:03       6 阅读
  3. Mysql:事务

    2024-05-01 06:12:03       10 阅读
  4. MySQL的GTID

    2024-05-01 06:12:03       11 阅读
  5. 如何使用dlib库进行目标跟踪

    2024-05-01 06:12:03       12 阅读
  6. MATLAB初学者入门(28)—— 有监督学习神经网络

    2024-05-01 06:12:03       10 阅读
  7. 深入探索HTML与CSS:构建网页的基础

    2024-05-01 06:12:03       10 阅读
  8. MATLAB初学者入门(27)—— 无监督学习神经网络

    2024-05-01 06:12:03       11 阅读
  9. 云原生周刊:K8s 中的服务和网络 | 2024.4.29

    2024-05-01 06:12:03       19 阅读
  10. Mysql MVVC

    2024-05-01 06:12:03       11 阅读
  11. CSS三个标题及对应内容的tab切换

    2024-05-01 06:12:03       10 阅读