简单来说Kafka就是一个分布式的消息系统,由Scala语言编写,初始代码七千多行左右
1、producer:消息生产者;
2、consumer:消息消费者;
3、consumer group:消费者组;
4、broker:kafka集群的节点,起到缓存的作用;
5、topic:数据的不同分类,类似于关系型数据库中的表;
6、partition:topic分组,一个topic可以分为多个partition(调优)
7、message:即数据,通信的基本单位
类似于QQ聊天
1、订阅模式:即一对多(群聊),简单记为ps(publish-subscribe)模式;
2、点对点模式:即一对一(私聊),记为p2p(point-to-point)模式;
注:p2p模式的时候,当一个消费者消费了之后,其他消费者就不能再消费了
分类 | hadoop01 | hadoop02 | hadoop03 |
zookeeper | 是 | 是 | 是 |
broker | 是 | 是 | 是 |
- | - | - |
kafka.apach.org
0.8.2.2