0、需求

针对凤凰网财经版块的新闻数据和评论数据, 1个索引存储采集凤凰网财经版块的新闻数据;1个索引存储相关的财经数据评论结果。
统计:

1)某条新闻的评论数的多少?
2)某条评论属于哪条新闻?
3)当前已采集数据的所有评论、评论数汇总,按照评论数逆序排序,以便于图形化展示。

1、问题分解

1.1 数据如何存储,方案选型?

方案一:类似需求,1个索引ifeng_index存储新闻数据;1个索引ifeng_comm_index存储评论数据。
二者之间通过唯一值建立关联:评论数据中其来源新闻的唯一id值。
优点:数据分开存储,不存在交叉问题;
缺点:如果实现需求3),会非常复杂,做全局两通道的遍历和统计。

方案二:借助2.X-5.X版本ES中特有的父子文档实现。
注意:由于6.X版本以后,一个索引下只能存储一个type,所以父子文档也就不再可以


收藏 打印