1、应用场景

实时数据流通过kafka后,根据业务需求,一部分直接借助kafka-connector入Elasticsearch不同的索引中。

另外一部分,则需要先做聚类、分类处理,将聚合出的分类结果存入ES集群的聚类索引中。如下图所示:

业务系统的分层结构可分为:接入层、数据处理层、数据存储层、接口层。
那么问题来了?

我们需要基于聚合(数据处理层)的结果实现检索和聚合分析操作,如何实现更快的检索和更高效的聚合分析效果呢?

image.png

2、方案选型

方案一:
只建立一个索引,aggs_index。
数据处理层的聚合结果存入ES中的指定索引,同时将每个聚合主题相关的数据存入每个document下面的某个field下。如下示意图所示:

image.png

方案二:
新建两个索引:aggs_index以及aggs_detail_index。
其中:
1)aggs_ind


收藏 打印