streampark+flink一键整库或多表同步mysql到doris实战

streampark+flink一键整库或多表同步mysql到doris实战,此应用一旦推广起来,那么数据实时异构时,不仅可以减少对数据库的查询压力,还可以减少数据同步时的至少50%的成本,还可以减少30%的存储成本;

streampark搭建

二进制包编译构建

编译构建二进制可执行包,使用自己构建的二进制包构建Docker镜像,需要准备一台Linux的服务或者是虚拟机,可以正常上网即可,在该台机子上需要事先安装Git(拉取源码文件),Maven和java环境(JDK1.8),我采用的是是上传的源码包:incubator-streampark-2.1.0.tar.gz,然后解压源码包:

tar -zxvf incubator-streampark-2.1.0.tar.gz

解压到服务器上,然后进入到解压路径里面

执行:

到此streampark已经搭建完成,可以在web页面验证应用是否可以访问,

登录账号;

是否能创建

flink 搭建

执行:

到此flink特搭建完毕;

web是否可以访问:

上述两个应用搭建成功之后,一定要检查对应的应用的涉及到的端口网络权限是否都开启,如果没有开启的话,那么后续执行的任务的时候,不会成功;

创建同步mysql到doris任务:

此任务是mysql表数据自动同步到doris的任务,首先需要mysql和doris数据库的相关配置都知道,其次是配置任务中的相关jar都有,在同步过程中,doris中对应的mysql表ddl是会自动创建的,不需要人工介入,可以节约同步几十上百张表时人工建表的字段映射的大量时间;

streampark中创建任务

创建完任务,执行启动

服务中指令启动同步任务

在flink目录执行此脚本,

bin/flink run -Dexecution.checkpointing.interval=10s -Dparallelism.default=1 -c org.apache.doris.flink.tools.cdc.CdcTools /opt/streampark_workspace/workspace/100003/streampark-flinkjob_wuhuabiun.jar mysql-sync-database --database jd_carmax --mysql-conf hostname= … --mysql-conf port=3306 --mysql-conf username=… --mysql-conf password=… --mysql-conf database-name=jd_carmax --including-tables “.*” --sink-conf fenodes=…:2004 --sink-conf username=wuhuabin --sink-conf password=… --sink-conf jdbc-url=jdbc:… :2000 --sink-conf sink.label-prefix=label --table-conf replication_num=3

执行完之后,在flink ui中能看到对应的任务:

doris数据验证

表ddl验证

登录doris数据库;

mysql表的ddl:

查询doris是否把表ddl都同步成功,

mysql表ddl和doris中的表ddl一致;

表数据量验证

doris表数据量

mysql表数据量:

至此,自运维mysql一键同步到doris的实战到此;

作者:京东零售 吴化斌

来源:京东云开发者社区 转载请注明来源

相关推荐

  1. Flink CDC / 同步至 Kafka 方案(附源码)

    2024-02-01 09:02:04       31 阅读
  2. flink-cdc同步mysqldoris建设数据仓储最佳实践

    2024-02-01 09:02:04       64 阅读
  3. 【flink】基于flink全量同步postgresdoris

    2024-02-01 09:02:04       58 阅读
  4. shell获取个oraclemysql所有的

    2024-02-01 09:02:04       40 阅读
  5. MySQLDoris的StreamingETL实现(Flink CDC 3.0)

    2024-02-01 09:02:04       36 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-02-01 09:02:04       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-02-01 09:02:04       106 阅读
  3. 在Django里面运行非项目文件

    2024-02-01 09:02:04       87 阅读
  4. Python语言-面向对象

    2024-02-01 09:02:04       96 阅读

热门阅读

  1. Flink Native Library xxx is being loaded in another classloader

    2024-02-01 09:02:04       52 阅读
  2. sql注入之字符型注入

    2024-02-01 09:02:04       39 阅读
  3. kylin启动memcached缓存

    2024-02-01 09:02:04       51 阅读
  4. 倒计时68天

    2024-02-01 09:02:04       65 阅读
  5. Django如何调用机器学习模型进行预测

    2024-02-01 09:02:04       51 阅读
  6. linux系统ansible工具中的剧本playbook基础内容

    2024-02-01 09:02:04       46 阅读
  7. vim 编辑器 查找和替换文本 命令

    2024-02-01 09:02:04       49 阅读
  8. 5种改进生产 Web 应用服务器设置的方法

    2024-02-01 09:02:04       51 阅读