题记

产品开发需要,我们需要将互联网采集的数据存储到ES中,以实现数据的全文检索。

互联网采集的数据,往往格式杂乱,需要先进行数据清洗操作。

而ES支持的入库格式,json格式数据会相对方便些。

本文主要介绍,如何将格式化的Json文件批量插入到ES中。

1、需提前做的工作

1)设计好索引以及Mapping;

Mapping的目的主要是——设定字段名称、字段类型,哪些字段需要进行全文检索等。

2)Java程序中封装好类,和Mapping设定的字段一一对应。

2、批量导入步骤分解

步骤1:本地文件格式化,统一为Json格式。
一个待导入的数据串,存成一个Json文件。

步骤2:放置在统一./data路径下。 目录结构如下示意:

     ./data                a_01.json                a_02.json 

收藏 打印