1.consumer导致kafka积压了大量消息
方法：
1.增大partion数量，
2.消费者加了并发，服务， 扩大消费线程
3.增加消费组服务数量
4.kafka单机升级成了集群
5.避免消费者消费消息时间过长，导致超时
6.使Kafka分区之间的数据均匀分布
场景：
1.如果是Kafka消费能力不足，则可以考虑增加 topic 的 partition 的个数，
同时提升消费者组的消费者数量，消费数 = 分区数 （二者缺一不可）
2.若是下游数据处理不及时，则提高每批次拉取的数量。批次拉取数量过少
（拉取数据/处理时间 < 生产速度），使处理的数据小于生产的数据，也会造成数据积压。
2.消息过期失效
产生消息堆积，消费不及时，kafka数据有过期时间，一些数据就丢失了，主要是消费不及时
经验
1.消费kafka消息时，应该尽量减少每次消费时间，可通过减少调用三方接口、读库等操作，
从而减少消息堆积的可能性。
2.如果消息来不及消费，可以先存在数据库中，然后逐条消费
（还可以保存消费记录，方便定位问题）
3.每次接受kafka消息时，先打印出日志，包括消息产生的时间戳。
4.kafka消息保留时间（修改kafka配置文件， 默认一周）
5.任务启动从上次提交offset处开始消费处理
3.综上使用kafka注意事项
1.由于Kafka消息key设置,在Kafka producer处，给key加随机后缀，使其均衡
2.数据量很大，合理的增加Kafka分区数是关键。
Kafka分区数是Kafka并行度调优的最小单元，如果Kafka分区数设置的太少，
会影响Kafka consumer消费的吞吐量. 如果利用的是Spark流和Kafka direct approach方式，
也可以对KafkaRDD进行repartition重分区，增加并行度处理。