clickhouse去重复数据解决方案

原因出现问题

因为我们的maxwell对接rabbitmq rabbitmq监听的是mysql的belog日志文件,所以mysql数据的实时操作都会同步数据到maxwell中
从而导致新增插入一条,修改插入一条,删除插入一条,导致同一条数据有大量的重复数据。

解决方案

在仪表板调用统计相关接口之前,先将重复数据处理掉
OPTIMIZE TABLE table_name FINAL
这样就可以根据order by (uuid) 的uuid去掉重复数据,保留最新的一条数据

相关推荐

  1. clickhouse重复数据解决方案

    2024-06-08 20:06:05       33 阅读
  2. Spark发送到Kafka的数据出现重复问题解决方案

    2024-06-08 20:06:05       62 阅读
  3. AntDesignReact提示key重复解决方案

    2024-06-08 20:06:05       27 阅读
  4. PDF加粗内容重复读取解决方案

    2024-06-08 20:06:05       49 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-08 20:06:05       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-08 20:06:05       106 阅读
  3. 在Django里面运行非项目文件

    2024-06-08 20:06:05       87 阅读
  4. Python语言-面向对象

    2024-06-08 20:06:05       96 阅读

热门阅读

  1. 零基础入门学习Python第二阶05MySQL详解01

    2024-06-08 20:06:05       37 阅读
  2. 360数字安全:2024年1月勒索软件流行态势分析报告

    2024-06-08 20:06:05       31 阅读
  3. 【名词解释】Unity中的Toggle组件及其使用示例

    2024-06-08 20:06:05       30 阅读
  4. mac m1使用docker安装mysql5.7,并且开启binlog

    2024-06-08 20:06:05       29 阅读
  5. 代码随想录35期总结

    2024-06-08 20:06:05       41 阅读
  6. break、continue、return

    2024-06-08 20:06:05       32 阅读
  7. nginx location正则表达式+案例解析

    2024-06-08 20:06:05       39 阅读
  8. 设计模式-外观模式

    2024-06-08 20:06:05       34 阅读