作者：俊达
1 说明
上一篇文章中，我们介绍了clickhouse-backup工具。除了备份恢复，我们也可以使用该工具来迁移数据。
这篇文章中，我们提供一个使用clickhouse-backup做集群迁移的方案。
2 前置条件
1、源端和目标端网络联通，主机之间开启ssh免密登录
2、Clickhouse配置保持一致。
- 集群名称一致
- 节点配置参数保持一致
- clickhouse版本一致
3、迁移后库表结构和源端保持一致
3 CK集群架构
1、源和目标集群的shard数量一样，shard对shard迁移。各个shard可并行进行备份恢复操作。
2、备份在源端每一个shard的第一个replica上执行。
3、表结构需要在目标shard的每一个节点上恢复。
4、数据只需要在目标shard的第一个节点上恢复。
3 操作步骤
全量
1、源端全量备份
clickhouse-backup --config config.yml create full_back_shard_i
2、将备份文件同步到目标服务器
同步到目标shard第一个节点
rsync -av /data/clickhouse/data/backup/full_back_shard_i root@remote:/data/clickhouse/data/backup
同步到目标shard其他节点
其他节点只需要同步metadata，不需要同步shadow目录下的数据文件。
rsync --exlude shadow -av /data/clickhouse/data/backup/full_back_shard_i root@remote:/data/clickhouse/data/backup
3、目标服务器恢复数据
（1）目标shard所有节点执行
加上–schema参数，建立表结构。
clickhouse-backup --config config.yml restore --rm --schema full_back_shard_i
（2）目标shard第一个节点执行
加上–data参数，加载数据。集群中的其他副本会从该节点同步数据。
clickhouse-backup --config config.yml restore --rm --data full_back_shard_i
增量
1、源端备份数据
指定create_remote，将增量数据上传到sftp
clickhouse-backup --config config.yml create_remote --diff-from=full_back_shard_i inc_backup_1
2、目标端恢复数据
通过restore_remote恢复数据
（1）目标shard所有节点执行
(如果表结构没有变化，这一个步骤可以忽略）
clickhouse-backup --config config.yml restore_remote --rm --schema inc_backup_1
clickhouse-backup --config config.yml delete local inc_backup_1
（2）目标shard第一个节点执行
增量恢复时也需要添加–rm参数，删除历史数据再做恢复。
clickhouse-backup --config config.yml restore_remote --rm --data inc_backup_1
关于rm选项
如果不加–rm，表中又有数据，默认情况下会忽略该表的恢复。从日志中可以看到类似信息：
2022/11/14 07:09:55.879763 warn local_15507.oracle_sql_stat2 skipped cause system.replicas entry already exists and replication in progress from another replica logger=clickhouse
如果恢复时不想先清空原有的数据（比如恢复某一个分区的数据），需要在config.yml中配置参数。
# config.yml
check_replicas_before_attach: false
# restore without rm option
clickhouse-backup --config config.yml restore --data partition_backup_i
这种情况下，如果restore命令执行多次，会导致数据重复。
4 基于分区的增量迁移
前置条件
若满足以下条件，可以使用基于分区的增量迁移
- 全量数据已经恢复到目标shard
- 表结构没有发生变化
- 明确只存在部分分区存在数据变化
若选定的分区数据量相对所有数据占比不高，基于分区的增量迁移能提高迁移效率。
具体步骤如下：
1、源端备份分区数据
在源端shard第一个replica执行
clickhouse-backup --config config.yml create --partitions=xxx partition_backup_i
2、将备份文件rsync到目标shard第一个节点
rsync -av /data/clickhouse/data/backup/partition_backup_i root@remote:/data/clickhouse/data/backup
3、目标shard清空对应分区的数据
在目标分区第一个replica执行
for tab in tabs
do
clickhouse-client --password=xx --database=xx --query="alter table $tab drop partition 'partion-xx'";
done
4、恢复数据
在目标shard的第一个replica上执行
clickhouse-backup --config config.yml restore --partitions=xxx --data partition_backup_i
加上–data参数
不能加–rm参数
注意config.yml需要配置check_replicas_before_attach: false。
#config.yml
clickhouse:
username: default
password: "hello123"
host: localhost
port: 9000
...
check_replicas_before_attach: false
恢复命令不能重复执行。若要执行，需要先清空partition内已有的数据。
更多技术信息请查看云掣官网https://yunche.pro/?t=yrgw
