【Flink】FlinkSQL实现数据从Kafka到MySQL

简介

       未来Flink通用化,代码可能就会转换为sql进行执行,大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台,去提交FlinkSQL实现任务,学习Flinksql势在必行。

       本博客在sql-client中模拟大数据平台的sql编辑器执行FlinkSQL,使用Flink实现数据从Kafka传输到MySQL具体操作,这个在生产开发中比较常用,通常生产用kafka作为数据的输入,本例子Flink版本1.13.6,具体操作如下:

创建mysql测试目标表

下面是创建mysql测试目标表的例子

CREATE TABLE `kafka_target` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '自增ID',
`name` varchar(64) DEFAULT NULL COMMENT '姓名',
`create_time` datetime  COMMENT '创建时间',
PRIMARY KEY (`id`)

ENGINE = InnoDB;

创建kafka的topic

 /opt/kafka/bin/kafka-topics.sh --create --bootstrap-server 192.168.0.1:9092 --replication-factor 1 --partitions 1 --topic mysqlsource

 可执行FlinkSQL(sql-client中执行)

注意在执行Fli

相关推荐

  1. 【Flink】FlinkSQL实现数据KafkaMySQL

    2024-02-07 05:58:05       33 阅读
  2. 【Flink】FlinkSQL实现数据MySQLMySQL

    2024-02-07 05:58:05       39 阅读
  3. 使用maxwell实时同步mysql数据kafka

    2024-02-07 05:58:05       16 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-02-07 05:58:05       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-02-07 05:58:05       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-02-07 05:58:05       19 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-02-07 05:58:05       20 阅读

热门阅读

  1. 2.6作业

    2024-02-07 05:58:05       27 阅读
  2. 安装nodejs2011并配置npm仓库

    2024-02-07 05:58:05       34 阅读
  3. VOL_常用记录!!

    2024-02-07 05:58:05       30 阅读
  4. 嵌入式硬件工程师与嵌入式软件工程师

    2024-02-07 05:58:05       41 阅读
  5. Lua可变参数函数

    2024-02-07 05:58:05       35 阅读
  6. 【计算机视觉】浅谈计算机视觉中的Transformer

    2024-02-07 05:58:05       29 阅读