生产者生产数据的速度超过消费者处理数据的速度,会造成kafka中积压大量未处理的数据
2-1 使用Kafka Eagle查看消费积压
Kafka Eagle是一个用于监控和管理kafka的开源组件，可以同时监控多个kafka集群,
通过Kafka Eagle可以看到当前的消费者组，对于每个组，他们正在使用的主题以及该组在每个主题中的偏移量，消费积压等等
JMX（Java Management Extensions，即 Java 管理扩展）是一个为应用程序、设备、系统等植入管理功能的框架。
它提供了对Java应用程序和JVM的监控和管理功能。通过JMX，我们可以监控服务器中的各种资源的使用情况，CPU、内存,JVM内存的使用情况.
安装kafka-eagle 参考安装文件，只需要在一台服务器上安装即可,版本是1.4.6
- 启动服务
ke.sh start
- 测试数据写入
kafka-producer-perf-test.sh --topic user --num-records 1000000 --throughput -1 --record-size 1024 --producer-props bootstrap.servers=node1.itcast.cn:9092,node2.itcast.cn:9092,node3.itcast.cn:9092
- 限流
- 限制数据的写入速度
- 写入速度的限制要根据实际情况调整
kafka-configs.sh --zookeeper node1.itcast.cn:2181 --alter --add-config 'producer_byte_rate=1048576' --entity-type clients --entity-default
