Chunjun纯钧(Flinkx)同步任务开发通用配置参数详解

Chunjun纯钧(Flinkx)是一款稳定、易用、高效、批流一体的数据集成框架,目前基于实时计算引擎Flink实现多种异构数据源之间的数据同步与计算,支持JSON模版配置任务,兼容FlinkSQL语法。本文对chunjun同步任务的配置文件进行详细的介绍和总结。

配置文件结构详解

一个完整的ChunJun任务脚本配置包含contentsetting两个部分。content用于配置任务的输入源与输出源,其中包含readerwriter。而setting则配置任务整体的环境设定,其中包含speederrorLimitmetricPluginConfrestorelogdirty。总体结构如下所示:

{
   
   
  "job": {
   
   
    "content": [
      {
   
   
        "reader": {
   
   },
        "writer": {
   
   }
      }
    ],
    "setting": {
   
   
      "speed": {
   
   },
      "errorLimit": {
   
   },
      "metricPluginConf": {
   
   },
      "restore": {
   
   },
      "log": {
   
   },
      "dirty": {
   
   }

相关推荐

  1. Chunjun(Flinkx)同步任务开发通用配置参数详解

    2024-01-08 07:28:07       170 阅读
  2. 【大数据开发心得】合理使用Flink参数配置

    2024-01-08 07:28:07       48 阅读
  3. Flink 任务调度策略:Eager 模式详解

    2024-01-08 07:28:07       31 阅读
  4. 笔记本选购配置参数详解

    2024-01-08 07:28:07       48 阅读
  5. 通过UDP实现参数配置

    2024-01-08 07:28:07       34 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-08 07:28:07       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-08 07:28:07       100 阅读
  3. 在Django里面运行非项目文件

    2024-01-08 07:28:07       82 阅读
  4. Python语言-面向对象

    2024-01-08 07:28:07       91 阅读

热门阅读

  1. LeetCode每日一题 | 2397. 被列覆盖的最多行数

    2024-01-08 07:28:07       58 阅读
  2. Linux-rsync 服务器客户端模式同步

    2024-01-08 07:28:07       56 阅读
  3. SpringBoot-Dubbo-Zookeeper

    2024-01-08 07:28:07       59 阅读
  4. Python代码篇-小白必会(猜数字游戏)

    2024-01-08 07:28:07       56 阅读
  5. php加减乘除函数

    2024-01-08 07:28:07       64 阅读
  6. php将文本内容写入一个文件(面向过程写法)

    2024-01-08 07:28:07       61 阅读
  7. 03 详细的Git命令使用大全

    2024-01-08 07:28:07       56 阅读
  8. 利用Podman构建基于Fission env/builder的镜像

    2024-01-08 07:28:07       89 阅读
  9. 【2023年度总结】蜕变与挑战

    2024-01-08 07:28:07       158 阅读
  10. vue3学习记录

    2024-01-08 07:28:07       54 阅读