kafka基础知识详解 深度解析Kafka的基础知识

kafka基础知识详解

正文核心导读：kafka基础知识详解IT技巧方面的经验，下面IT袋网为您详细介绍

1. 引言

1.1 背景

和 RabbitMQ 类似，Kafka（全称 Apache Kafka）是一个分布式发布-订阅消息系统。

自 Apache 2010 年开源这个顶级实用项目以来，至今已有十数年，Kafka 仍然是非常热门的一个消息中间件，在互联网应用里占据着举足轻重的地位。

甚至，技术圈一度将 Kafka 评为消息队列大数据领域中的最强王者！

Kafka 以其速度快（ms 级的顺序写入和零拷贝）、性能高（TB级的高吞吐量）、高可靠（有热扩展，副本容错机制能力）和高可用（依赖Zookeeper作分布式协调）等特点闻名于世，它非常适合消息、日志和大数据业务的存储和通信。

本文接下来将会从下载安装，配置修改，收发消息等理论和实践入手，带大家一起探索 kafka 的核心组件，以及业务中常见的数据消费问题。

2. kafka下载与安装

2.1 安装准备

1）前提条件

由于 kafka 需要 JDK 环境来收发消息，并通过 ZooKeeper 协调服务，将 Producer，Consumer，Broker 等结合在一起，建立起生产者和消费者的订阅关系，实现负载均衡。

所以安装 kafka 之前，我们需要先：

• 安装 JDK
• 安装 Zookeeper

网上安装教程很多，而本文主要探讨 kafka，所以就不再这里给出 JDK 和 zk 的详细安装步骤了。

2）下载安装

安装 Kafka 时，主要有以下两种方式（更推荐使用 docker 安装）：

1. 虚机安装官网下载 kafka 压缩包 [https://kafka.apache.org/downloads]，或者使用 docker 下载解压缩至如下路径 /opt/usr/kafka 目录下。
2. docker安装（需先在虚机上安装 docker）：

# 拉取镜像，默认最新版本
docker pull bitnami/kafka
# 创建网络环境，保证zk和kafka在同一个网络中
docker network create kafka-network
# 运行zookeper
docker run -d --name zookeeper --network kafka-network bitnami/zookeeper:latest
#运行kafka，其中：环境变量KAFKA_CFG_ZOOKEEPER_CONNECT指定ZooKeeper的连接信息，KAFKA_CFG_ADVERTISED_LISTENERS是Kafka对外的访问地址
docker run -d --name kafka --network kafka-network \
 -e KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181 \
 -e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
 -p 9092:9092 \
bitnami/kafka:latest

3）修改配置文件

进入目录 /opt/usr/kafka/config，如果是 docker 安装方式，需先用命令 docker exec -it containerID bash 进入容器，修改 server.properties 文件：

#broker.id属性在kafka集群中必须要是唯⼀
broker.id=0
#kafka部署的机器ip和提供服务的端⼝号，根据自己服务器的网段修改IP
listeners=PLAINTEXT://192.168.65.60:9092
#kafka的消息存储⽂件
log.dir=/opt/usr/data
#kafka连接zookeeper的地址，根据自己服务器的网段修改IP
zookeeper.connect=192.168.65.60:2181

3. 启动Kafka

3.1 启动 kafka 服务器

进入 /opt/kafka/bin 目录下，使用命令启动：

./kafka-server-start.sh -daemon ../config/server.properties

使用 ps -ef |grep server.properties 命令查看是否启动成功

3.2 启动 Zookeeper

查看 zookeeper 是否正常添加好节点，首先，进入 zookeeper 的某一个容器内【这里进的是 zookeeper:zoo1 节点】

进入 bin 目录下，使用 zkCli.sh 命令，启动客户端

3.3 判断是否正常启动

使用 ls /brokers/ids 命令查询对应的 kafka broker：