首页 > 程序开发 > 综合编程 > 其他综合 > 正文
kafka0.8.2集群的环境搭建并实现基本的生产消费
2017-07-17 10:40:33       个评论    来源:lijinqi1987的专栏  
收藏    我要投稿

Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。

此处采用kafka_2.10-0.8.2.2版本进行安装部署,机器环境为ubuntu1404

1、下载kafka安装包并解压

此处解压到/usr/local目录下

> tar -zxvf kafka_2.10-0.8.2.2.tgz -C /usr/local/
> cd /usr/local/kafka_2.10-0.8.2.2/

2、开启kafka服务

Kafka依赖zookeeper,所以首先要开启zookeeper,如果机器没有安装zookeeper,可以使用kafka安装包内的自带的脚本来启动一个单节点的zookeeper

> bin/zookeeper-server-start.sh config/zookeeper.properties

启动kafka server:

> bin/kafka-server-start.sh config/server.properties

3、创建topic

创建一个名为”test”的topic,只有一个partition和一个replica

> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

使用topic命令可以查看当前的topic

> bin/kafka-topics.sh --list --zookeeper localhost:2181

相对于此处的手动创建topic,你还可以在brokers上配置当没有topic的时候自动创建topic


4、发送消息

Kafka自带一个命令行客户端,它从文件或标准输入中获取输入,并将其作为消息发送到kafka集群,默认每行作为单独的消息发送

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 
This is a message
This is another message

5、开启consumer

Kafka还有一个命令行consumer,可以把消息转储到标准输出。

> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
This is a message
This is another message

6、设置multi-broker集群

对kafka来说,单个broker只是一个大小为1的集群,现在把集群增加到3个(仍然在单台机器上实现)

> cp config/server.properties config/server-1.properties 
> cp config/server.properties config/server-2.properties
> cp config/server.properties config/server-3.properties

编辑这3个配置文件

config/server-1.properties:
    broker.id=1
    port=9093
    log.dir=/tmp/kafka-logs-1
 
config/server-2.properties:
    broker.id=2
    port=9094
    log.dir=/tmp/kafka-logs-2

config/server-3.properties:
    broker.id=3
    port=9095
    log.dir=/tmp/kafka-logs-3

broker.id 是集群中每个节点的唯一和永久名称,zookeeper已经启动,我们需要开启3个节点

> bin/kafka-server-start.sh config/server-1.properties &
...
> bin/kafka-server-start.sh config/server-2.properties &
...
> bin/kafka-server-start.sh config/server-3.properties &
...

创建一个replication为3 的新topic

> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

如果想要知道哪个broker在做什么事情,需要运行"describe topics"命令

> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic	PartitionCount:1	ReplicationFactor:3	Configs:
Topic: my-replicated-topic	Partition: 0	Leader: 3	Replicas: 3,0,1	Isr: 3,0,1

第一行给出所有partitions的概览,每个附加行给出一个分区的信息,由于我们只有一个分区,所以此处只有一行

“leader”是负责给定分区的所有读写操作的节点,每个节点将成为随机选择的分区部分的引导者。

“replicas” 是复制此分区的日志的节点列表,无论这些节点是否是leader或者是否还存在。

"isr"是一组in-sync"副本,这是副本列表的子集,该列表目前正在生效并被领导者所追踪

此处,node 3是该topic唯一partition的leader

对之前的”test” topic运行同样的命令,结果如下:

> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
Topic:test	PartitionCount:1	ReplicationFactor:1	Configs:
Topic: test	Partition: 0	Leader: 0	Replicas: 0	Isr: 0 

显然,”test” topic没有replicas

发送几条数据到新的topic

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic
...
my new message 1
my new message 2

消费这几条信息:

> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic
...
my new message 1
my new message 2

接下来测试一下容错,Broker 3 作为leader,我们将其kill掉

> ps -ef | grep server-3.properties
root       8322   6862  1 16:21 pts/19   00:00:35 /usr/lib/jvm/java-8-oracle/bin/java -Xmx1G -Xms1G –server………………….
> kill -9 8322

Leader切换到了之前的某一个slave,node 3 不再处于同步复制集

> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic	PartitionCount:1	ReplicationFactor:3	Configs:
Topic: my-replicated-topic	Partition: 0	Leader: 0	Replicas: 3,0,1	Isr: 0,1

但是消息依然可以被消费,即使之前负责写的leader已经挂了

> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic
...
My new test message 1
my new test message 2







点击复制链接 与好友分享!回本站首页
上一篇:nginx实现高并发的原理
下一篇:FTP命令字和响应码解释
相关文章
图文推荐
文章
推荐
点击排行

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训
版权所有: 红黑联盟--致力于做实用的IT技术学习网站