Kafka Connect 是一个可以在Kafka与其他系统之间提供可靠的、易于扩展的数据流处理工具。使用它能够使得数据进出Kafka变得很简单。Kafka Connect有如下特性:
·是一个通用的构造kafka connector的框架
·有单机、分布式两种模式。开发时建议使用单机模式,生产环境下使用分布式模式。
·提供restful的管理connector的API。
·自动化的offset管理。Kafka Connect自动的管理offset提交。
·分布式、可扩展。采用与concumer group中对partition rebalance同样的机制来管理在worker group中的connector、task。
·流/批处理的集成。
接下来会对Kafka Connect做一个全面的分析,来帮助了解上述特性。
- 1、Kafka Connect 组件说明
- 2、Rebalance
-
延伸阅读
- ssh框架 2016-09-30
- 阿里移动安全 [无线安全]玩转无线电——不安全的蓝牙锁 2017-07-26
- 消息队列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 论文笔记【图片目标分割】 2017-07-26
- 词向量-LRWE模型-更好地识别反义词同义词 2017-07-26
- 从栈不平衡问题 理解 calling convention 2017-07-26
- php imagemagick 处理 图片剪切、压缩、合并、插入文本、背景色透明 2017-07-26
- Swift实现JSON转Model - HandyJSON使用讲解 2017-07-26
- 阿里移动安全 Android端恶意锁屏勒索应用分析 2017-07-26
- 集合结合数据结构来看看(二) 2017-07-26
学习是年轻人改变自己的最好方式