flink写入es的参数解析

        ElasticsearchSink内部使用BulkProcessor一次将一批动作(ActionRequest)发送到ES集群。在发送批量动作前,BulkProcessor先缓存,再刷新。缓存刷新的间隔,支持基于Action数量、基于Action大小、基于时间间隔3种策略。BulkProcessor支持在同一次Bulk中有多种ActionRequest(如: IndexRequest、DeleteRequest、UpdateRequest)等等。

bulk.flush.max.actions: 默认1000。每个Bulk请求,最大缓冲Action个数。
bulk.flush.max.size.mb: 默认5mb。每个Bulk请求,最大缓冲的Action大小。
bulk.flush.interval.ms: 默认为空,单位毫秒。Bulk刷新间隔。不论Action个数或Action大小如何设置,到刷新间隔了,就会刷新缓冲,发起Bulk请求。

延迟重试策略: 默认启用指数级间隔重试策略,初始等待50ms,8次重试。如需自定义延迟重试策略,可通过以下参数配置。
bulk.flush.backoff.enable: 延迟重试是否启用。
bulk.flush.backoff.type: 延迟重试类型,CONSTANT(固定间隔)或EXPONENTIAL(指数级间隔)。
bulk.flush.backoff.delay: 延迟重试间隔。对于CONSTANT类型,此值为每次重试间的间隔;对于EXPONENTIAL,此值为初始延迟。
bulk.flush.backoff.retries: 延迟重试次数。

相关推荐

  1. flink写入es参数

    2024-02-05 06:06:03       50 阅读
  2. flink如何写入es

    2024-02-05 06:06:03       62 阅读
  3. flink实战--flinkjob_listener使用

    2024-02-05 06:06:03       49 阅读
  4. Flink 架构深度

    2024-02-05 06:06:03       41 阅读
  5. 0x002 sqlmap参数

    2024-02-05 06:06:03       33 阅读
  6. curl_opt参数

    2024-02-05 06:06:03       28 阅读
  7. springboot请求参数

    2024-02-05 06:06:03       29 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-02-05 06:06:03       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-02-05 06:06:03       100 阅读
  3. 在Django里面运行非项目文件

    2024-02-05 06:06:03       82 阅读
  4. Python语言-面向对象

    2024-02-05 06:06:03       91 阅读

热门阅读

  1. Unity 开发注意事项

    2024-02-05 06:06:03       46 阅读
  2. Elasticsearch的使用场景深入详解

    2024-02-05 06:06:03       47 阅读
  3. Leetcode 3031. Minimum Time to Revert Word to Initial State II

    2024-02-05 06:06:03       49 阅读
  4. JUnit5单元测试框架提供的注解

    2024-02-05 06:06:03       82 阅读
  5. 基础算法bfs -剪枝问题

    2024-02-05 06:06:03       48 阅读
  6. WPF DispatcherTimer用法

    2024-02-05 06:06:03       51 阅读
  7. 常用的正则表达式

    2024-02-05 06:06:03       52 阅读
  8. 力扣:17. 电话号码的字母组合

    2024-02-05 06:06:03       52 阅读
  9. Vivado Tri-MAC IP端口说明

    2024-02-05 06:06:03       59 阅读
  10. Objective-C中的“description“方法

    2024-02-05 06:06:03       49 阅读
  11. Objective-C 中的SEL

    2024-02-05 06:06:03       45 阅读