Pulsar集成Debezium监听MySQL日志

Pulsar集成Debezium source connector的详情可参考:链接
以下数据库都可:
MySQL
PostgreSQL
MongoDB

此处为docker部署方式

一.准备镜像和插件

pulsar镜像:这里使用最新版本apachepulsar/pulsar:latest,这里最新版是3.2.1,自己拉
插件:pulsar-io-debezium-mysql-3.2.1.nar,这里使用3.2.1版本的,也是最新版本的,保持一直。

pulsar-io-debezium-xxx-xxx.nar,这个是在Apache pulsar离线下载包里面找到,具体为:https://archive.apache.org/dist/pulsar/pulsar-3.2.1/connectors/,此处是pulsar与debezium集成的插件,具体的数据库找对应的。

二.准备文件

1.MySQL开启binlog(MySQL如果docker启动不用开启,不知道为啥)

subo vim /etc/my.cnf

[mysqld]  // 添加下面三行
server_id=1
log-bin=mysql-bin
binlog_format=row

2.配置source-config.yaml(文件名可自定义)

示例:

tenant: "public" # 租户,可自定义
namespace: "default" # 命名空间,可自定义
name: "debezium-mysql-source" # source名,可自定义
topicName: "debezium-mysql-topic" # topic名,可自定义
archive: "data/pulsar-io-debezium-mysql-2.9.1.nar" # 上传的nar文件的存放位置,data目录,名字可自定义,位置在plusar目录下第一层,与bin目录平齐
 
parallelism: 1 # 不用改
 
configs:
  database.hostname: "118.195.***.***" # 数据库ip
  database.port: "3306" # 数据库port
  database.serverTimezone: "GMT+8" # # 数据库市区,可以没有这一条
  database.user: "root" # 数据库用户名
  database.password: "123456" # 数据库密码
  database.server.id: "1" # 唯一值,可自定义
  database.server.name: "dbserver1" # 服务名,可自定义,对应查询topic的第一截
  database.include.list:"demo_esb" # 需要访问的数据库
  ## database.exclude.list: "demo_dap" # 不需要访问的数据库,可以没有这一条
  table.include.list:"demo_esb.ack_sample,demo_esb.aac_sample" # 需要访问的数据表,可以没有这一条
  ## table.exclude.list:"demo_esb.ack sample_test" # 不需要访问的数据表,可以没有这一条
  column.include.list:"demo_esb.ack_sample.s_ID,demo_esb.ack_sample.s_coDE" # 需要访问的列,可以没有这一条
  ##column.exclude.list:"demo_esb.ack_sample.s TEsri # 不需要访问的列,可以没有这一条
  ## include.schema.changes:true" # 包含schema的改变,可以没有这一条
 
  database.history: "org.apache.pulsar.io.debezium.PulsarDatabaseHistory" # 不用改
  database.history.pulsar.topic: "my-history-topic" # topic名,可自定义
  database.history.pulsar.service.url: "pulsar://118.195.***.***:6651,118.195.***.***:6652,118.195.***.***:6653" # pulsar集群服务地址,自己修改
 
  key.converter: "org.apache.kafka.connect.json.JsonConverter" # 不用改
  value.converter: "org.apache.kafka.connect.json.JsonConverter" # 不用改
  
  pulsar.service.url: "pulsar://118.195.***.***:6651,118.195.***.***:6652,118.195.***.***:6653" # pulsar集群服务地址,自己修改,同上
  
  offset.storage.topic: "offset-topic" # topic名,可自定义

实际使用:

tenant: "public"
namespace: "default"
name: "debezium-mysql-source"
topicName: "debezium-mysql-topic"
archive: "data/pulsar-io-debezium-mysql-3.2.1.nar" # 上传的nar文件的存放位置
 
parallelism: 1
 
configs:
  database.hostname: "192.168.8.112"
  database.port: "3306"
  database.serverTimezone: "GMT+8"
  database.user: "root"
  database.password: "root"
  database.server.id: "2"
  database.server.name: "b"
  database.include.list: "a"
 
  database.history: "org.apache.pulsar.io.debezium.PulsarDatabaseHistory"
  database.history.pulsar.topic: "my-history-topic"
  database.history.pulsar.service.url: "pulsar://localhost:6650"
 
  key.converter: "org.apache.kafka.connect.json.JsonConverter"
  value.converter: "org.apache.kafka.connect.json.JsonConverter"
  
  pulsar.service.url: "pulsar://localhost:6650"
  
  offset.storage.topic: "offset-mysql-topic"

source运行之后,监控的topic,共由三截构成:
第一截:database.server.name的值
第二截:database.include.list的值,即数据库名
第三截:该数据库中表名
即:topicserver_name.database_name.table_name

三、启动

1.MySQL启动

docker run --name mysql -d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=root mysql:8.0.36

此处docker启动,数据卷自己挂载。外部服务(开启binlog)的话,自己启动即可。

2.pulsar启动

docker run --name pulsar -d -p 6650:6650 -p 8080:8080 apachepulsar/pulsar:latest bin/pulsar standalone

此处单机版启动,集群启动,自己配置。

3.debezium插件启动

a.pulsar-io-debezium文件放在data下(其他目录下也可以)

docker cp ./pulsar-io-debezium-mysql-3.2.1.nar 981c770b0f87:/pulsar/data/pulsar-io-debezium-mysql-3.2.1.nar

需要用数据卷挂载方式,自己整

b.source-config.yaml文件放在conf下(其他目录下也可以)

docker cp ./source-config.yaml 981c770b0f87:/pulsar/conf/source-config.yaml

需要用数据卷挂载方式,自己整

c.启动连接器

进入pulsar目录下

./bin/pulsar-admin source localrun --source-config-file conf/source-config.yaml

四、测试

1.查看 pulsar topic

./bin/pulsar-admin topics list public/default

2.消费设置的topic消息

./bin/pulsar-client consume -s "first-subscription" persistent://public/default/b.a.t_user -n 0

3.MySQL中增改删数据,观察消费输出

相关推荐

  1. Pulsar集成Debezium监听MySQL

    2024-03-22 22:58:01       39 阅读
  2. ELK架构监控MySQL

    2024-03-22 22:58:01       60 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-22 22:58:01       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-22 22:58:01       100 阅读
  3. 在Django里面运行非项目文件

    2024-03-22 22:58:01       82 阅读
  4. Python语言-面向对象

    2024-03-22 22:58:01       91 阅读

热门阅读

  1. AKShare 快速入门

    2024-03-22 22:58:01       35 阅读
  2. 前端面试题

    2024-03-22 22:58:01       38 阅读
  3. 大数据,或称巨量资料

    2024-03-22 22:58:01       41 阅读
  4. 与AI机器共存的三个层次

    2024-03-22 22:58:01       37 阅读
  5. Android 锁屏界面启动流程

    2024-03-22 22:58:01       43 阅读
  6. 【Leetcode】top 100 多维动态规划

    2024-03-22 22:58:01       40 阅读
  7. ChatGPT:从智能对话到高效论文写作

    2024-03-22 22:58:01       44 阅读
  8. VPN技术

    2024-03-22 22:58:01       37 阅读
  9. WebRtc实时音波

    2024-03-22 22:58:01       42 阅读
  10. ChatGPT:用AI聊天引擎编写卓越学术论文的秘诀

    2024-03-22 22:58:01       41 阅读
  11. MyBatis进阶应用

    2024-03-22 22:58:01       35 阅读