linux系统下安装kafka（Linux环境下kafka2.7.0安装和使用）

1.下载

kafka目前最稳定的版本是2.7，下面让我们来高效率学习下，

官方下载地址http://kafka.apache.org/downloads

使用镜像地址下载：https://archive.apache.org/dist/kafka/2.7.0/kafka_2.12-2.7.0.tgz

2.安装

2.1上传到指定目录，比如我的linux目录/var/opt，输入解压命令：tar -zxvf kafka_2.12-2.7.0.tgz

2.2修改配置文件，设置ip和端口号

进入到配置文件目录：cd /var/opt/kafka_2.12-2.7.0/config

找到并修改server.properties，放开注释修改listensrs 配置ip和端口号

3.启动

3.1先启动zookeeper：

./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

如图提示启动成功

3.2启动kafka:

./bin/kafka-server-start.sh -daemon config/server.properties

查看启动成功

4.使用

4.1创建topic

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

所有和主题相关的操作基本./bin/kafka-topics.sh这个脚本,--create创建操作,--zookeeper localhost:2181指定zookeeper,--replication-factor指定主题副本数,--partitions 1指定主题分区数,--topic指定主题名称

4.2 查看topic列表

./bin/kafka-topics.sh --list --zookeeper localhost:2181

4.3 生产者发送消息

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

./bin/kafka-console-producer.sh生产者相关的操作由此脚本执行,--broker-list参数指定了所使用的broker,--topic指定要往哪个主题发送消息

4.4 消费者接收消息

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

--topic指定消费的主题,--from-beginning表示从分区开头进行消费,即重新消费全部消息

4.5查看多少消费组

./bin/kafka-consumer-groups.sh --list --bootstrap-server localhost:9092

4.6查看某个消费组的详细信息：

./bin/kafka-consumer-groups.sh --describe --bootstrap-server localhost:9092 --group console-consumer-36998

TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID test 0 3 3 0 consumer-1-190d55fb-0b97-462c-bf1b-0d46e8d4fcb9 /10.2.1.1 consumer-1

TOPIC是指主题，PARTITION是分区，CURRENT-OFFSET是指当前消息所消费到的游标位置，LOG-END-OFFSET是指游标总的位置，LAG是指尚未消费的数据大小

4.7修改主题偏移量

有时候需要按指定位置从新消费下数据，这时候就需要修改下偏移量，修改前需要暂停消费改消息的应用，

./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group yourgroup --reset-offsets --topic yourtop --to-earliest --execute

--group 是指消费组，--topic是指修改的消息主题，--to-earliest 是指从头消费，也可以是具体数字

4.8查看和删除主题

./bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test

删除主题需要修改配置文件，否则会提示修改失败

vim config/server.properties

添加如下内容并重新动启动kafka

#是否允许删除主题

delete.topic.enable=true

关闭和重启

./bin/kafka-server-stop.sh config/server.properties

./bin/kafka-server-start.sh -daemon config/server.properties

删除主题：

./bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

,