1.概述

　　在开发工作当中，消费 Kafka 集群中的消息时，数据的变动是我们所关心的，当业务并不复杂的前提下，我们可以使用 Kafka 提供的命令工具，配合 Zookeeper 客户端工具，可以很方便的完成我们的工作。随着业务的复杂化，Group 和 Topic 的增加，此时我们使用 Kafka 提供的命令工具，已预感到力不从心，这时候 Kafka 的监控系统此刻便尤为显得重要，我们需要观察消费应用的详情。 监控系统业界有很多杰出的开源监控系统。我们在早期，有使用 KafkaMonitor 和 Kafka Manager 等，不过随着业务的快速发展，以及互联网公司特有的一些需求，现有的开源的监控系统在性能、扩展性、和 DEVS 的使用效率方面，已经无法满足了。 因此，我们在过去的时间里，从互联网公司的一些需求出发，从各位 DEVS 的使用经验和反馈出发，结合业界的一些开源的 Kafka 消息监控，用监控的一些思考出发，设计开发了现在 Kafka 集群消息监控系统：Kafka Eagle。

　　Kafka Eagle 用于监控 Kafka 集群中 Topic 被消费的情况。包含 Lag 的产生，Offset 的变动，Partition 的分布，Owner ，Topic 被创建的时间和修改的时间等信息。下载地址如下所示：

• ［Kafka Eagle 下载地址］

2.内容

　　Kafka Eagle 涉及以下内容模块：

• Dashboard

• Topic（Create & List）

• Consumers

• Cluster Info

2.1 Dashboard

　　我们通过在浏览器中输入 http://host:port/ke，访问 Kafka Eagle 的 Dashboard 页面。该页面包含以下内容：

• Brokers

• Topics

• Zookeepers

• Consumers

• Kafka Brokers Graph

　　展示 Kafka 集群的 Topic 数量，消费者数量，Kafka 的 Brokers 数，以及所属的 Zookeeper 集群信息。Dashboard 信息展示截图如下：

2.2 Topic

　　在 Topic 模块下，包含创建 Topic 和展示 Topic 信息详情。

2.2.1 Create

　　通过创建模块可以创建一个自定义分区和备份数的 Topic。如下图所示：

网友评论