频道栏目
首页 > 网络 > 云计算 > 正文

kafka消费能力较弱抛异常:org.apache.kafka.clients.consumer.internals.AbstractCoordinator

2018-01-06 03:08:05      个评论    来源:黎杰的博客  
收藏   我要投稿

今天遇到一个问题,就是kafka生产端生产的数据很快,消费的时候也很快,但是处理业务的时候比较慢,导致了程序抛异常:

org.apache.kafka.clients.consumer.internals.AbstractCoordinator

这个是因为,kafka消费端 poll数据的时候一次poll数据太多,在做逻辑处理的时候在很长时间都没有处理完成,导致下一次poll的时间太长,超出了消费者和broker联系的心跳时间(消费端调用poll方法的时候回进行一次心跳),超出这个心跳时间,broker就会认为这个消费者挂了,所以就会抛出上面的异常,并且对消费者通过算法重新rebalance。

解决方法:

1.可以将消费者和broker的session时间调长一点,就是调节session.timeout.ms(默认10秒)这个属性,一般这个属性和heartbeat.interval.ms(默认3秒)这个属性一起调节,其中heartbeat.interval.ms一般是session.timeout.ms的三分之一,并且session.timeout.ms在group.min.session.timeout.ms(默认6秒)和group.max.session.timeout.ms(默认30秒)范围之间。

2.将max.partition.fetch.bytes( 1048576bytes 就是1M)和max.poll.records(500条)调节小一点,max.partition.fetch.bytes就是poll拉取的消息最大容量,max.poll.records(默认10秒)这个就是一次消费者端poll最大数据量(条数),如果不设置默认会造成单次拉取数据过多,造成业务处理延迟,心跳时间过长,导致抛异常,其中这个配置在 0.10版本后才有效。

3.用consumer.pause() 和 consumer.resume() 来控制,当调用pause之后 poll的时候就不会返回值,当调用resume之后 poll才会返回值,不过没去测试。

上一篇:Yarn简单介绍及内存配置
下一篇:简单解释MapReduce的原理与设计思想
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站