kafka数据同步Elasticsearch深入详解

1、kafka同步到Elasticsearch方式？

目前已知常用的方式有四种：
1）logstash_input_kafka插件；
缺点：不稳定（ES中文社区讨论）
2）spark stream同步；
缺点：太庞大
3）kafka connector同步；
4）自写程序读取、解析、写入

本文主要基于kafka connector实现kafka到Elasticsearch全量、增量同步。

2、从confluenct说起

edIn有个三人小组出来创业了—正是当时开发出Apache Kafka实时信息列队技术的团队成员，基于这项技术Jay Kreps带头创立了新公司Confluent。Confluent的产品围绕着Kafka做的。
Confluent Platform简化了连接数据源到Kafka，用Kafka构建应用程序，以及安全，