Kafka集群搭建

Kafka集群搭建

1. 将master节点的/data目录下的Kafka安装包解压到/opt/software目录下

   tar -zxvf kafka_2.12-2.4.1.tgz -C /opt/software/
   mv kafka_2.12-2.4.1 kafka
   

2. 进入Kafka安装目录的config目录修改server.properties配置文件，将“broker.id”改为“0”，“log.dirs”改为“/opt/logs/kafka-logs”，“zookeeper.connect”改为“master:2181,slave1:2181,slave2:2181”

   cd /opt/software/kafka/config
   

   参数名	参数值
   broker.id	0
   log.dirs	/opt/logs/kafka-logs
   zookeeper.connect	master:2181,slave1:2181,slave2:2181

   参数名	参数值
   broker.id	1
   log.dirs	/opt/logs/kafka-logs
   zookeeper.connect	master:2181,slave1:2181,slave2:2181

   参数名	参数值
   broker.id	2
   log.dirs	/opt/logs/kafka-logs
   zookeeper.connect	master:2181,slave1:2181,slave2:2181

3. 将master节点配置好的Kafka文件远程发送至slave1、slave2节点相同目录下，并将slave1、slave2节点的server.properties配置文件中的broker.id分别修改为1、2。

   scp -r kafka slave1:$pwd
   scp -r kafka slave2:$pwd
   

4. 在master节点的/etc/profile文件中配置Kafka环境变量KAFKA_HOME和PATH的值，并使配置文件立即生效。再将master节点配置好的/etc/profile文件远程发送至slave1、slave2节点，同样使配置文件立即生效

   vi /etc/profile
   
   export KAFKA_HOME=/root/software/kafka
   export PATH=$PATH:$KAFKA/bin
   
   scoure /etc/profile
   
   scp /etc/profile slave1:/etc/
   scp /etc/profile slave2:/etc/
   

5. 分别在各节点启动ZooKeeper集群，确保ZooKeeper集群启动后再在各节点启动Kafka集群，并查看各节点进程