探究 | kafka-connector 同步 Elasticsearch速度慢根因分析？

1、kafka同步Elasticsearch的方式

之前博文中也有介绍：

• 方式一：logstash_input_kafka
• 方式二：kafka_connector
• 方式三：spark stream
• 方式四：java程序读写自己实现

2、kafka-connector同步kafka到ES

场景一：kafka实时数据流直接通过kafka-connector同步到ES。
场景二：kafka实时数据流需要中间数据处理后再同步到ES。

3、同步慢问题分析？

3.1 针对场景一：

可能的原因：kafka-connector写入ES速度慢？
可能的应对策略核心：提升ES的写入速度。
分解策略：

• 1）ES副本数设置为0
  待写入完毕后再改成实际副本值。
• 2）调整 bulk 线程池和队列
  结合物理机的线程大小配置与之匹配的线程池和队列大小。
• 3）增加refresh间隔
  默认的