转载请保留作者和原文出处
欢迎关注我的微信公众账号程序员杰克，两边的文章会同步，也可以添加我的RSS订阅源。
交代一下背景：我们的后台系统是一套使用Kafka消息队列的数据处理管线：Kafka->Logstash->Elasticsearch。这些组件都跑在Docker的容器环境里，我们是基于Kubernetes来编排整个后端的数据处理管线上的容器。Kafka需要暴露在外网里，接收Kafka Producer(filebeat, collectd)发过来的消息。本文是记录基于Kubernetes在AWS上部署Kafka 0.9.x版本时遇到的问题和排查思路。
为了能够在外网也能访问Kafka，Kafka组件对应的Kubernetes ServiceType选用的是NodePort，Kafka集群有三个节点，即Kafka Server有三个Broker。对外暴露的端口是39092，三个Broker对应的外网IP分别是 59.64.11.21，59.64.11.22，59.64.11.23。Kafka组件部署完成后，使用Kafka producer连接Server，配置的kafka bootstrap_servers是 59.64.11.22:39092。这里之所以端口使用的是 39092,而非9092，是因为Kubernetes对外暴露的端口，分配的是39092。接着往下看，你会发现这样会有问题。
connection refused
Kafka client的日志里报错：
2016-11-22T07:23:33.312102145Z 2016-11-22T07:23:33Z WARN Failed to connect to broker 59.64.11.21:30791: dial tcp 52.198.148
延伸阅读
- ssh框架
2016-09-30
- 阿里移动安全 [无线安全]玩转无线电——不安全的蓝牙锁
2017-07-26
- 消息队列NetMQ 原理分析4-Socket、Session、Option和Pipe
2024-03-26
- Selective Search for Object Recognition 论文笔记【图片目标分割】
2017-07-26
- 词向量-LRWE模型-更好地识别反义词同义词
2017-07-26
- 从栈不平衡问题 理解 calling convention
2017-07-26
- php imagemagick 处理 图片剪切、压缩、合并、插入文本、背景色透明
2017-07-26
- Swift实现JSON转Model - HandyJSON使用讲解
2017-07-26
- 阿里移动安全 Android端恶意锁屏勒索应用分析
2017-07-26
- 集合结合数据结构来看看(二)
2017-07-26
学习是年轻人改变自己的最好方式