简介:

本文向您详细介绍如何通过DataWorks数据同步功能,将Hadoop数据同步到阿里云Elasticsearch上,并进行搜索分析。

本文字数:2673
阅读时间:预计10分钟

目录

背景信息

环境准备
数据准备
数据同步
结果验证
数据搜索与分析

以下是正文


背景信息

您也可以使用Java代码进行同步,具体请参考通过ES-Hadoop将Hadoop数据写入阿里云Elasticsearch和在E-MapReduce中使用ES-Hadoop

环境准备

  1. 搭建Hadoop集群。在进行数据同步前,您需要保证自己的Hadoop集群环境正常。本文使用阿里云EMR服务自动化搭建Hadoop集群,详细过程请参见步骤三:创建集群。EMR Hadoop的版本信息如下。
  • EMR版本:EMR-3.11.0
  • 集群类型:HADOOP
  • 软件信息:HAFS2.7.2/YARN2.7.
收藏 打印