flink sink多个topic

flink stream数据 动态写入多个topic

flink1.15之前

import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.connectors.kafka.{FlinkKafkaProducer, KafkaSerializationSchema}
import org.apache.kafka.clients.producer.ProducerRecord

object DynamicKafkaProducer {
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment

    // 数据流中的元素类型为 (topic: String, message: String)
    val stream: DataStream[(String, String)] = ...

    // 定义 Kafka 序列化器
    val kafkaSerializationSchema = new KafkaSerializationSchema[(String, String)] {
      override def serialize(element: (String, String), timestamp: java.lang.Long): ProducerRecord[Array[Byte], Array[Byte]] = {
        new ProducerRecord(element._1, element._2.getBytes("UTF-8"))
      }
    }

    // 创建 FlinkKafkaProducer 实例
    val kafkaProducer = new FlinkKafkaProducer[(String, String)](
      "localh

相关推荐

  1. flink sinktopic

    2023-12-08 12:20:02       50 阅读
  2. Docker中Kafka容器创建/更新Topic支持分区

    2023-12-08 12:20:02       34 阅读
  3. Shell脚本转发activemg topic消息到另activemg服务器

    2023-12-08 12:20:02       57 阅读
  4. nginx配置服务

    2023-12-08 12:20:02       189 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-08 12:20:02       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-08 12:20:02       100 阅读
  3. 在Django里面运行非项目文件

    2023-12-08 12:20:02       82 阅读
  4. Python语言-面向对象

    2023-12-08 12:20:02       91 阅读

热门阅读

  1. PTA 7-237 特殊排序

    2023-12-08 12:20:02       53 阅读
  2. Metasploit的提权和后渗透

    2023-12-08 12:20:02       46 阅读
  3. Ubuntu 修改当前用户的名称

    2023-12-08 12:20:02       54 阅读
  4. PostgreSQL创建数据库、用户并进行权限分配

    2023-12-08 12:20:02       45 阅读
  5. MySQL--InnoDB(B-Tree)索引

    2023-12-08 12:20:02       48 阅读
  6. Docker 简介及其常用命令详解

    2023-12-08 12:20:02       45 阅读
  7. angular新版本未生成app.module.ts

    2023-12-08 12:20:02       65 阅读
  8. github代码大纲

    2023-12-08 12:20:02       53 阅读
  9. sed 只用来替换文本?一文掌握 sed 更多用法

    2023-12-08 12:20:02       48 阅读