基于Kubernetes在AWS上部署Kafka时遇到的一些问题

转载请保留作者和原文出处

欢迎关注我的微信公众账号程序员杰克，两边的文章会同步，也可以添加我的RSS订阅源。

交代一下背景：我们的后台系统是一套使用Kafka消息队列的数据处理管线：Kafka->Logstash->Elasticsearch。这些组件都跑在Docker的容器环境里，我们是基于Kubernetes来编排整个后端的数据处理管线上的容器。Kafka需要暴露在外网里，接收Kafka Producer(filebeat, collectd)发过来的消息。本文是记录基于Kubernetes在AWS上部署Kafka 0.9.x版本时遇到的问题和排查思路。

为了能够在外网也能访问Kafka，Kafka组件对应的Kubernetes ServiceType选用的是NodePort，Kafka集群有三个节点，即Kafka Server有三个Broker。对外暴露的端口是39092，三个Broker对应的外网IP分别是 59.64.11.21，59.64.11.22，59.64.11.23。Kafka组件部署完成后，使用Kafka producer连接Server，配置的kafka bootstrap_servers是 59.64.11.22:39092。这里之所以端口使用的是 39092,而非9092，是因为Kubernetes对外暴露的端口，分配的是39092。接着往下看，你会发现这样会有问题。

connection refused

Kafka client的日志里报错：

2016-11-22T07:23:33.312102145Z 2016-11-22T07:23:33Z WARN Failed to connect to broker 59.64.11.21:30791: dial tcp 52.198.148
        		
网友评论