kafka---broker相关配置

一、Broker 相关配置

1、一般配置

broker.id

当前kafka服务的sid(server id),在kafka集群中,该值是唯一的(unique),如果未设置此值,kafka会自动生成一个int值;为了防止自动生成的值与用户设置的值冲突,自动生成的逻辑是从reserved.broker.max.id + 1这个值开始。

Type: int
Default: -1
Valid Values:
Importance: high
Update Mode: read-only

reserved.broker.max.id

用户可以设置broker.id的最大值,自动生成的broker.id从reserved.broker.max.id + 1这个值开始

Type: int
Default: 1000
Valid Values: [0,…]
Importance: medium
Update Mode: read-only

broker.id.generation.enable

开启自动生成brokerid的功能

Type: boolean
Default: true
Valid Values:
Importance: medium
Update Mode: read-only

注意 1000以上的Broker ID现在默认保留为自动分配的Broker ID。如果集群的现有broker id高于该阈值,请确保相应地增加reserved.broker.max.id broker配置属性。

advertised.listeners

kafka会将该监听地址注册到zk上,同时该地址也是客户端访问地址,如果该值未设置,则将同listeners,与listeners不同的是,advertised.listeners无法使用0.0.0.0地址

Type: string
Default: null
Valid Values:
Importance: high
Update Mode: per-broker

2、 日志数据相关配置

log.dir

存储数据的目录
Type: string
Default: /tmp/kafka-logs
Valid Values:
Importance: high
Update Mode: read-only

log.dirs

逗号分隔的路径列表,用于存放数据,如果未设置,则使用log.dir
Type: string
Default: null
Valid Values:
Importance: high
Update Mode: read-only

log.flush.interval.messages

在一个日志分区( log partition)上需要达到多少个消息,才会将这些消息持久化(刷新)到磁盘上

Type: long
Default: 9223372036854775807
Valid Values: [1,…]
Importance: high
Update Mode: cluster-wide

log.flush.interval.ms

topic中的消息存放在内存中的最大时间,超过这个时间就会被刷新到磁盘上,如果未设置,就使用
log.flush.scheduler.interval.ms

Type: long
Default: null
Valid Values:
Importance: high
Update Mode: cluster-wide

log.flush.scheduler.interval.ms

log flusher检查日志是否需要刷新到磁盘的频率

3、ZK相关配置

zookeeper.connect

指定ZK服务器的连接串,格式hostname:port,为了保障高可用,一般要指定多个地址,即hostname:port,hostname1:port1,hostname2:port2;也可以在配置连接串的时候指定根路径(chroot path),即hostname1:port1,hostname2:port2,hostname3:port3/chroot/path

Type: string
Default: null
Valid Values:
Importance: high
Update Mode: read-only

zookeeper.connection.timeout.ms

kafka连接zk的超时时长,如果未设置,将会使用zookeeper.session.timeout.ms值

Type: int
Default: null
Valid Values:
Importance: high
Update Mode: read-only

zookeeper.session.timeout.ms

kafka连接zk的一个session的超时时间

Type: int
Default: 18000 (18 seconds)
Valid Values:
Importance: high
Update Mode: read-only

二、如何更新broker相关配置

broker的配置有三种更新模式:read-only、per-broker、cluster-wide;

  • read-only:需要重启才能生效
  • per-broker: 可以针对每一个broker动态更新
  • cluster-wide:在集群范围内更新,或者针对每一个broker更新(只为了测试)

对于read-only模式配置,只能通过修改config/server.properties配置文件然后重启生效;
对于 per-broker模式的,可以使用命令行进行修改

## 修改
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-name 0 --alter --add-config log.cleaner.threads=2
## 查询
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-name 0 --describe
##删除
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-name 0 --alter --delete-config log.cleaner.threads

对于这些被修改的per-broker模式的配置,会被存储在zk 的==/config/brokers/id==中;
对于 cluster-wide模式的,可以使用命令行进行修改

## 新增
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-default --alter --add-config log.cleaner.threads=2
## 查询
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-default --describe

对于这些被修改的cluster-wide模式的配置,会被存储在zk 的==/config/brokers/<default>==中;

注意 在(cluster-wide)集群级别可配置的所有配置也可以在(per-broker)级别进行配置,如果在不同级别定义配置值,则使用以下优先顺序:

  • Dynamic per-broker config stored in ZooKeeper(存储在zk中的 per-broker配置)
  • Dynamic cluster-wide default config stored in ZooKeeper(存储在zk中的 cluster-wide配置)
  • Static broker config from server.properties
    对于一个新启动的kafka,在zk中是没有per-broker和 cluster-wide 动态配置存储的,所以这个时候是以配置文件为主,当对某些动态配置进行配置之后,对应的ZK node中就会有相应数据了,使用顺序如上。

三、kafka-configs.sh 命令详解

kafka-configs.sh 命令必须包含 --alter 或者 --describe 其中一个
kafka-configs.sh --help
kafka-configs.sh --version
–bootstrap-server <lStrng ocalhost:9092> 指定kafka的地址;
–entity-type <String> 指定要修改的实体类型,topics、clients、users、brokers、broker-loggers、ips;
–entity-name String 指定上述实体类型的名;
–entity-default 在上述类型中的cluster-wide范围内更新配置
–alter 修改相应配置
–add-config ’k1=v1‘ 修改或者更新相应配置 log.cleaner.threads=2,多个值,需要用引号引住,并用逗号分隔开,即’k1=v1,k2=v2,k3=[v1,v2,v3]‘
–describe 列出相应配置
–all 列出所有配置
–delete-config String 删除相应配置
–broker id 指定要配置的brokerid
–broker-defaults 更新所有的broker,即cluster-wide模式

相关推荐

  1. kafka---broker相关配置

    2024-04-15 10:04:06       36 阅读
  2. kafka broker

    2024-04-15 10:04:06       36 阅读
  3. RocketMQ:broker配置说明

    2024-04-15 10:04:06       27 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-04-15 10:04:06       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-04-15 10:04:06       100 阅读
  3. 在Django里面运行非项目文件

    2024-04-15 10:04:06       82 阅读
  4. Python语言-面向对象

    2024-04-15 10:04:06       91 阅读

热门阅读

  1. WPF中Binding的原理和应用

    2024-04-15 10:04:06       37 阅读
  2. data_process11

    2024-04-15 10:04:06       32 阅读
  3. 解决 assemble 长时间卡死并失败问题

    2024-04-15 10:04:06       36 阅读
  4. 设计模式-单一职责原则

    2024-04-15 10:04:06       44 阅读
  5. 基于springboot的大学生入学审核系统源码数据库

    2024-04-15 10:04:06       34 阅读
  6. 【C++学习】C++特殊类的设计

    2024-04-15 10:04:06       33 阅读
  7. Python 题解 牛客 OJ在线编程常见输入输出练习

    2024-04-15 10:04:06       37 阅读
  8. oracle 删除用户名

    2024-04-15 10:04:06       38 阅读
  9. 浅谈-“位运算”

    2024-04-15 10:04:06       37 阅读
  10. 【趣味学算法】16_递归练习

    2024-04-15 10:04:06       30 阅读
  11. vue3从精通到入门21:自定义指令directive

    2024-04-15 10:04:06       29 阅读
  12. 跨域问题CORS

    2024-04-15 10:04:06       35 阅读