Hadoop之hive工具的安装配置详解

操作截图
链接：http://note.youdao.com/noteshare?id=6eba0fcdf355ddf660b2edfa5608f9ae

如此文章对您有所帮助，请帮我点个赞，如有不足请留言给我，看到后会及时回复，谢谢。

实验目的
要求 hive是基于Hadoop的-一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sq|语句转换为MapReduce任务进行运行。
其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

☛掌握数据库工具Hive的安装和配置
☛Hive工具能够正常启动运行
☛HIve控制台命令能够正常使用
☛能够正常操作数据库、表、数据
实验环境
☛五台CentOS系统均安装
☛已完成Hadoop平台的搭建
☛已完成MYSQL数据局平台搭建

软件版本：
★apache-hive-2.1.1-bin.tar.gz
依赖软件：
Hive工具使用JDBC方式连接MySQL数据库，需要用到MySQL数据库连接工具软件，选用该软件的5.1.42版本，软件包名mysqI-connector-java-5.1.42-bin.jar

实验内容与完成情况

Hive工具安装配置
★Hive安装过程所有操作步骤在admin用户下进行
★本项步骤只在集群中cgt-01主机上进行操作
首先，我们把相关软件包apache-hive-2.1.1-bin.tar.gz和mysqI-connector-java-5.1.42-bin.jar上传到admin用户家目录的新建“setups”目录下。
2、创建用于存放Hive相关文件的目录
$mkdir ~/hive
进入Hive目录
$cd ~/hive
创建Hive的本地临时文件目录“tmp”
$mkdir tmp
将软件包解压解包到“hive”目录下
tar -xvf ~/setups/apache-hive-2.1.1-bin.tar.gz

3、配置Hive相关的环境变量
$vi ~/.bash_profile

$source ~/.bash_profile

查看新添加和修改的环境变量是否设置成功，值是否正确。
$echo $HIVE_HOME
$echo $PATH

4、进入Hive的配置文件目录
$cd ~/hive/apache-hive-2.1.1-bin/conf
$cp hive-env.sh.template hive-env.sh
$cp hive-log4j2.properties.template hive-log4j2.properties
$cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
$cp hive-default. .template hive-site.

5、对配置文件进行修改，找到相关配置项并对其值进行修改
$vi hive-env.sh

启动Zookeeper服务，Hadoop集群和h 集群
★该项所有操作步骤在admin用户下进行
★启动H 集群前首先确保Zookeeper集群已被开启状态，分别在每台节点上手动启动。
★启动H 前需确保Hadoop集群已被开启状态
$zkServer.sh status
$zkServer.sh start
$jps
$start-all.sh

$yarn-daemon.sh start resourcemanager

$start-h .sh
$jps

在HDFS中分别创建Hive的临时文件目录“tmp”
$hadoop fs -mkdir -p /user/hive/tmp
在HDFS中分别创建Hive的数据存储目录“warehouse”
$hadoop fs -mkdir -p /user/hive/warehouse
在HDFS中分别创建Hive的日志文件目录“log”
$hadoop fs -mkdir -p /user/hive/log
添加三个目录的用户组写权限
$hadoop fs -chmod 777 /user/hive/tmp
$hadoop fs -chmod 777 /user/hive/warehouse
$hadoop fs -chmod 777 /user/hive/log

对配置文件进行修改
$vi ~/hive/apache-hive-2.1.1-bin/conf/hive-site.
★该文档内容较多，可以在编辑器内使用命令“/关键字”直接进行搜索。

创建hive元数据数据库
在MYSQL数据库SQL服务节点cgt-04中创建个数据库用于存放Hive的元数据，该数据库的用户名和密码均为“hive”数据库名、用户名、密码均可以自行设定，但需要与Hive文件中的内容相对应、连接MSQL数据库:
注：在此先启动集群中的mysql数据库
$mysql -hcgt-04 -uroot -p123456

$CREATE DATA hive;
$USE hive;
$CREATE user ‘hive’@’%‘IDENTIFIED BY ‘hive’;
$GRANT ALL ON hive.* TO ‘hive’@’%’;
$FLUSH PRIVILEGES;
$show data s;
$quit;

10、添加MYSQL连接的相关配置信息
$vi ~/hive/apache-hive-2.1.1-bin/conf/hive-site.

11、MySQL的数据库连接工具包“mysql-connector-java-5.1.42-bin.jar\" 我们已经上传到admin用户家目录的“setups”目录下，该目录为事先自行创建并将实训相关软件包从优盘拷贝至该目录下。
将MySQL的数据库连接工具包添加到Hive的“lib\"目录下
$cp-v_{/setups/mysql-connecter-java-5.1.42-bin.jar}/hive/apache-hive-2.1.1-bin/lib

添加MYSQL连接的相关配置信息
$vi ~/hive/apache-hive-2.1.1-bin/conf/hive-site.

对Hive进行初始化
$schematool -initSchema -dbType mysql

Hive工具启动和验证
★Hive安装过程所有操作步骤在admin用户下进行
★本项步骤只在集群中cgt-01主机上进行操作
使用命令“hive”启动Hive,启动成功后能够进入Hive的控制台。
2、在控制台中使用命令“show data s;\"查看当前的数据库列表。
3、在控制台中使用命令“show functions;\"查看Hive的功能函数。

4、在控制台中使用命令“desc function sum;\"或“desc functionextended sum;“查看Hive的功能函数的详细信息。
5、在控制台中使用命令“quit;” 或“exit;\"退出Hive的控制台，