继续上一篇 (空学Kafka之一)[https://www.atatech.org/articles/145913]

构建数据通道

考量点

及时性，可靠性，吞吐量，安全性（通道安全，审计等），数据格式的上线兼容，ETL or ELT，统一还是专属（比如GoldenGate是oracle私有的，有很强的耦合性），优先选择Kafka Connect

深入浅出Connect

连接器插件实现了 Connector API，API 包含了两部分内容。大致上是分而治之的思想，连接器相当于分拆器splittor，任务相当于拆分后的具体执行器executer。

  1. 连接器：负责以下三件事。

    • 决定需要运行多少个任务。
    • 按照任务来拆分数据复制。
    • 从 worker 进程获取任务配置并将其传递下去。
  2. 任务：负责将数据移入或移出 Kafka。

相比较直接采用Kafka的publis

继续阅读与本文标签相同的文章

None
最新文章 最热文章
收藏 打印

特别推荐 2026年05月22日 星期五

精彩发现

热门标签

阻止表单提交 窗口 关闭浏览器 清除 CDATA css文件 光标位置 坐标 javascrpt !important 超链接 数字

相关文章

1
用于Linux和windows简单实用小工具
1396人阅读
2
数据库敏捷版本控制之3个数据库策略
1311人阅读
3
超百家中国网贷App泄漏逾百万用户资料
1168人阅读