本系列文章主要阐述大数据计算平台相关框架的搭建，包括如下内容：

• 基础环境安装

• zookeeper集群的搭建

• kafka集群的搭建

• hadoop/hbase集群的搭建

• spark集群的搭建

• flink集群的搭建

• elasticsearch集群的搭建

• alluxio集群的搭建

1.kafak简介

Kafka是一个分布式、分区的、多副本的、多订阅者的消息队列,以高吞吐量著称，主要用于实时数据的传输和处理，总体架构如下

更多内容请阅读官网 http://kafka.apache.org/documentation.html#introduction

2.kafka安装

• 下载

地址：http://kafka.apache.org/downloads，选择kafka_2.11-0.10.2.1.tgz版本

• 解压安装

本文环境列表

直接在服务器10.20.112.59上解压

•  配置更改

编辑kafka server配置文件
vi /wls/oracle/kafka/config/server.properties
主要是如下几项：

kafka集群
修改server.properties
不同集群broker.id 和host.name 不一样，根据实际情况配置。
修改默认配置文件中的
broker.id(每台服务器均不同)
port(如果是伪集群，则端口号需要改变)
host.name
advertised.host.name
zookeeper.connect(所有集群的ip均需要说明)
log.dirs

以服务器SZB-L0045546，则其server.properties需更改的配置如下：

broker.id=1port=9092host.name=SZB-L0045546
advertised.host.name=10.20.112.59zookeeper.connection=SZB-L0045546:2181,SZB-L0045551:2181,SZB-L0045552:2181/kafka
log.dirs=/wls/oracle/bigdata/kafka/kafka-logs-1,/wls/oracle/bigdata/kafka/kafka-logs-2,/wls/oracle/bigdata/kafka/kafka-logs-3

而集群另外4台服务器中的broker.id、host.name,advertised.host.name和SZB-L0045546的保持不同即可。同时集群中的服务器需要为kafka日志建立相关目录

mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-1mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-2mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-3

• 启动和验证

依次启动集群中的kafka，执行脚本如下： 

cd wls/oracle/bigdata/kafka/logs
nohup /wls/oracle/kafka/bin/kafka-server-start.sh /wls/oracle/kafka/config/server.properties >> /wls/oracle/bigdata/kafka/logs/kafka.out 2&1 &

创建topic

/wls/oracle/kafka/bin/kafka-topics.sh --zookeeper 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka --create --topic TEST --replication-factor 2 --partitions 3

显示创建的topic

/wls/oracle/kafka/bin/kafka-topics.sh --zookeeper 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka --list

向TEST中写入消息

/wls/oracle/kafka/bin/kafka-console-producer.sh --broker-list 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka --topic TEST

从topic TEST中消费数据

/wls/oracle/kafka/bin/kafka-console-consumer.sh --bootstrap-server 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka --topic TEST --from-beginning

http://www.cnblogs.com/molyeo/p/7151949.html

延伸阅读

• 游戏交易平台 2023-04-15 09:25:04.647
• 惠购网电商平台 2023-04-11 10:10:03.513
• 过而能改，善莫大眼 2022-09-20 16:10:01.653
• 企业日程管理平台项目感言 2022-07-13 15:10:16.93
• 万码学堂2020级学员赵*匀【山东大语信息技术有限公司】 2021-05-19 14:03:04.917
• 万码学堂学员牛*森[青岛容大高科软件股份有限公司] 2020-06-19 09:28:34.567
• 这次项目有了很大的进步——马*飞 2019-07-05 10:27:52.823
• 带着梦想砥砺前行——丁*璐 2018-11-11 14:59:03.777
• 万码学堂学员丁*璐 [青岛一笔一画信息科技有限公司] 2018-11-11 15:22:47.117
• 万码学堂学员李*增 [青岛高校信息产业有限公司] 2018-08-26 16:12:38.727

游戏交易平台