python写入kafka数据时报错解决方案

报错如下:

Traceback (most recent call last):
  File "/mnt/disk1/cdp/icu/icu_reades2kafka_v4_bigdata_v4_shuashu.py", line 23, in send_topic_msg
    record_metadata = result.get(timeout=10)
  File "/home/airflow/anaconda3/envs/airflow_env/lib/python3.7/site-packages/kafka/producer/future.py", line 65, in get
    raise self.exception # pylint: disable-msg=raising-bad-type
kafka.errors.MessageSizeTooLargeError: [Error 10] MessageSizeTooLargeError

解决方案:

如果有kafka manager的话,

可以在kafka manager上修改单个topic的配置

修改这个配置即可解决:max.message.bytes = 10485760

相关推荐

  1. python写入kafka数据时报解决方案

    2024-01-09 13:42:02       38 阅读
  2. spark写入数据

    2024-01-09 13:42:02       36 阅读
  3. 阿里云git clone超时报解决方法

    2024-01-09 13:42:02       47 阅读
  4. Python数据写入Mysql

    2024-01-09 13:42:02       20 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-01-09 13:42:02       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-01-09 13:42:02       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-01-09 13:42:02       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-01-09 13:42:02       20 阅读

热门阅读

  1. SpringBoot Actuator敏感接口未授权访问漏洞

    2024-01-09 13:42:02       38 阅读
  2. echarts - datasetIndex 多个数据集

    2024-01-09 13:42:02       38 阅读
  3. WPF常用技巧-多线程处理

    2024-01-09 13:42:02       35 阅读
  4. WPF ComboBox限制输入长度

    2024-01-09 13:42:02       37 阅读
  5. PTA——闰年判断

    2024-01-09 13:42:02       33 阅读
  6. 贪心算法的“左最优“与“右最优“

    2024-01-09 13:42:02       33 阅读
  7. 白话编程-概述

    2024-01-09 13:42:02       28 阅读
  8. Android系列:四大组件、五大存储、六大布局

    2024-01-09 13:42:02       26 阅读
  9. ARM CCA机密计算架构软件栈(下)

    2024-01-09 13:42:02       37 阅读