干货 | 你是不是也有多进程管理的困惑呢？

1、问题引出——多进程应用场景

场景一：
将关系型、非关系型数据的数据同步到ES中。
但是数据库中的表有多个，
一种方案是：一个配置文件中 if else 的方式配置多个表；
另外一种方案是：多个配置文件，多个进程并行执行。
如下图所示：

场景二：
kafka多个通道的数据借助kafka_connector 或者logstash_input_kafka同步到ES中，
如下图所示：

这时候，根据通道的处理分成如下1,2两部分：
1、kafka stream对实时数据流的数据清洗、转换操作，有几个通道就至少有几个进程；
2、kafka_connector对处理后的数据实时同步，有几个通道至少有几个进程；
3、为了提高同步的时效性，通用的方案是增加kafka的topic的分片数，这时对应的进程数有会增多。

2、多进程困惑

困惑1：需要大量重复