kafka基础知识详解 深度解析Kafka的基础知识(4)

kafka基础知识详解

通过分区，一个 topic 的消息可以放在不同的分区上，好处是：

• 分离存储：解决一个分区上日志存储文件过大的问题；
• 提高性能：读和写可以同时在多个分区上进行，方便扩展和提升并发。

创建多分区的主题

以下命令创建一个名称为 hello-world 的 topic，指定 zookeeper 内网节点地址为：172.16.30.34:2181（注意：如果在自己的内网机器上部署，这个地址需要改成自己的服务器 IP）。

--partitions 3：指定分区数量为 3

# 创建topic，replication-factor副本数为3，partitions分区数为1
./kafka-topics.sh --create --zookeeper 172.16.30.34:2181 --replication-factor 1 --partitions 3 --topic hello-world

3）Replication 副本

副本，就是主题中分区创建的多个备份，多个备份在 kafka 集群的多个 broker 中，会有一个 leader，多个 follower。

副本类似于冗余的意思，是保障系统高可用的有效应对方案。

指定副本数量

当新建主题时，除了可指定分区数，还可以指定副本数。

--replication-factor 3：指定副本数量为 3

# 创建topic，replication-factor副本数为3，partitions分区数为1
./kafka-topics.sh --create --zookeeper 172.16.30.34:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

5. 在Kafka中收发消息

5.1 发送消息

当创建完 topic 之后，我们可以通过 kafka 安装后自带的客户端工具 kafka-console-producer.sh，向已创建的主题中发消息：

# 打开hello-world主题的消息发送窗口
./kafka-console-producer.sh --bootstrap-server 172.16.30.34:49092 --topic hello-world

消息发送窗口打开后，向 hello-world 主题中发送消息：

5.2 消费消息

当消息发送成功后，我们新开一个窗口，通过 kafka 安装后自带的客户端工具 kafka-console-consumer.sh 创建一个消费者，并监听 hello-world 这个 topic，以消费消息：

# 打开hello-world主题的消息消费窗口
./kafka-console-consumer.sh --bootstrap-server 172.16.30.34:49092 --topic hello-world

在 kafka 中，消费者默认从当前主题的最后一条消息的 offset（偏移量位置）+1 位置开始监听，所以当消费者开始监听时，只能收到 topic 之后发送的消息：