ES同步失败维护步骤(适用于修改了部分主键值导致同步失败)

维护步骤:

  1. 登录到ES服务器:192.168.111.141。
  2. 停止 Canal 和 Canal-Adapter 服务:
    cd /home/xiangtan/canal/bin
    ./stop.sh
    
    cd /home/xiangtan/canal-adapter/bin
    ./stop.sh
    
  3. 确定修改了主键值的表,例如 tbl_sparking,使用 Logstash 手动同步数据:
    cd /home/xiangtan/canal-adapter/elk
    sudo /usr/share/logstash/bin/logstash -f 8-tbl_sparking.conf
    
  4. 同步完成后,启动 Canal 服务,查看日志以确保启动成功:
    cd /home/xiangtan/canal/bin
    ./start.sh
    tail -f /home/xiangtan/canal/logs/example/example.log
    
    如果出现错误,需要先停止 Canal,然后删除 /home/xiangtan/canal/conf/example 下的 meta.dat 文件,再启动 Canal。
  5. 当 Canal 服务正常后,启动 Canal-Adapter 服务,并查看日志:
    cd /home/xiangtan/canal-adapter/bin
    ./start.sh
    tail -f /home/xiangtan/canal-adapter/logs/adapter/adapter.log
    
  6. 数据可能仍然不完整,需要使用 Logstash 手动同步全部数据:
    cd /home/xiangtan/canal-adapter/elk
    sudo /usr/share/logstash/bin/logstash -f 1-tbl_ps_device_info.conf 
    sudo /usr/share/logstash/bin/logstash -f 2-tbl_video_device_info.conf 
    sudo /usr/share/logstash/bin/logstash -f 3-tbl_ps_order_in.conf 
    sudo /usr/share/logstash/bin/logstash -f 4-tbl_ps_order_out.conf 
    sudo /usr/share/logstash/bin/logstash -f 5-tbl_user_info.conf 
    sudo /usr/share/logstash/bin/logstash -f 6-tbl_order_in_pay_log.conf 
    sudo /usr/share/logstash/bin/logstash -f 7-tbl_order_out_pay_log.conf 
    sudo /usr/share/logstash/bin/logstash -f 8-tbl_sparking.conf 
    sudo /usr/share/logstash/bin/logstash -f 9-tbl_account_payment_log.conf 
    sudo /usr/share/logstash/bin/logstash -f 10-tbl_parking_manager.conf 
    sudo /usr/share/logstash/bin/logstash -f 11-tbl_bat_txn.conf
    sudo /usr/share/logstash/bin/logstash -f 12-tbl_bat_pay_txn.conf 
    sudo /usr/share/logstash/bin/logstash -f 13-tbl_bse_info_mchnt.conf
    

这些步骤可帮助您维护服务器,确保 Canal 和 Canal-Adapter 服务正常运行,并手动同步数据以确保数据完整性。

最后把监控加上

cd /home/xiangtan/canal-adapter/logs/adapter
nohup ./monitor.sh &

相关推荐

  1. 手误修改spfile导致实例重启失败

    2024-03-21 22:12:05       30 阅读
  2. RocketMQ同步消息发送失败重试DEMO

    2024-03-21 22:12:05       37 阅读
  3. 单体架构 synchronized 同步失效

    2024-03-21 22:12:05       47 阅读
  4. es索引同步

    2024-03-21 22:12:05       29 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-21 22:12:05       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-21 22:12:05       100 阅读
  3. 在Django里面运行非项目文件

    2024-03-21 22:12:05       82 阅读
  4. Python语言-面向对象

    2024-03-21 22:12:05       91 阅读

热门阅读

  1. 每日一题 第二十期 洛谷 烤鸡

    2024-03-21 22:12:05       45 阅读
  2. 如何让自己的前端知识更全面

    2024-03-21 22:12:05       38 阅读
  3. DAY6 作业 串口控制三盏灯亮灭

    2024-03-21 22:12:05       40 阅读
  4. 多数据源 - dynamic-datasource | 进阶 - 数据库加密

    2024-03-21 22:12:05       42 阅读
  5. shader学习记录——几何着色器

    2024-03-21 22:12:05       45 阅读
  6. c++简介

    2024-03-21 22:12:05       44 阅读