通过本地yum源安装impala

通过本地yum源安装impala

impala的环境准备

需要提前安装好Hadoop和hive这两个框架(可在我的博客中找到CDH版本的hive和hadoop的安装详解)并且hive需要在所有的impala安装的节点上面都要有，因为impala需要引用hive的依赖包，hadoop的框架需要支持C程序访问接口，只要在hadoop的安装目录下的lib目录有libhadoop.so.1.0.0这类文件，就说明支持C接口。

下载impala的所有依赖包

由于impala没有提供tar包供我们进行安装，只提供了rpm包，所以我们在安装impala的时候，需要使用rpm包来进行安装，rpm包只有cloudera公司提供了，所以我们去cloudera公司网站进行下载rpm包即可。

各个版本的下载：

http://archive.cloudera.com/cdh5/repo-as-tarball/5.14.0/

我这里使用的下载地址如下
http://archive.cloudera.com/cdh5/repo-as-tarball/5.14.0/cdh5.14.0-centos6.tar.gz

上传并解压

mkidr /data02
cd /data02/
tar -zxvf cdh5.14.0-centos6.tar.gz

制作本地的yum源

镜像源是centos当中下载相关软件的地址，我们可以通过制作我们自己的镜像源指定我们去哪里下载impala的rpm包，这里我们使用httpd这个软件来作为服务端，启动httpd的服务来作为我们镜像源的下载地址

这里我们选用第三台机器作为镜像源的服务端
node03机器上执行以下命令

#安装httpd
yum  -y install httpd
#开启服务
service httpd start
#修改yum源配置文件
cd /etc/yum.repos.d
vim localimp.repo 
#添加如下内容
[localimp]
name=localimp
baseurl=http://node03/cdh5.14.0/
gpgcheck=0
enabled=1

创建httpd的读取链接

ln -s /data02/cdh/5.14.0 /var/www/html/cdh5.14.0

页面访问本地yum源，出现页面说明制作成功

将制作好的localimp配置文件发放到所有需要安装impala的节点上

cd /etc/yum.repos.d/
scp localimp.repo  node02:$PWD
scp localimp.repo  node01:$PWD

开始安装impala

安装规划

主节点node03执行以下命令进行安装

yum  install  impala -y
yum install impala-server -y
yum install impala-state-store  -y
yum install impala-catalog  -y
yum  install  impala-shell -y

从节点node01和node02安装如下服务

yum install impala-server -y

节点配置

1、修改hive-site.xml

vim /export/servers/hive-1.1.0-cdh5.14.0/conf/hive-site.xml
#添加如下配置
 <property>
                <name>hive.metastore.uris</name>
                <value>thrift://node03.hadoop.com:9083</value>
        </property>
	 <property>
                <name>hive.metastore.client.socket.timeout</name>
                <value>3600</value>
        </property>

2、将hive的安装包发送到其他机器

cd /export/servers/
scp -r hive-1.1.0-cdh5.14.0/ node02:$PWD
scp -r hive-1.1.0-cdh5.14.0/ node01:$PWD

3、node03启动hive的metastore服务

cd  /export/servers/hive-1.1.0-cdh5.14.0
nohup bin/hive --service metastore &
nohup bin/hive -- service hiveserver2 &

注意：一定要保证mysql的服务正常启动，否则metastore的服务不能够启动

4、所有节点修改hdfs-site.xml添加以下内容

所有节点创建文件夹

mkdir -p /var/run/hdfs-sockets

修改所有节点的hdfs-site.xml添加以下配置，修改完之后重启hdfs集群生效

vim  /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml
#添加内容
<property>
		<name>dfs.client.read.shortcircuit</name>
		<value>true</value>
	</property>
	<property>
		<name>dfs.domain.socket.path</name>
		<value>/var/run/hdfs-sockets/dn</value>
	</property>
	<property>
		<name>dfs.client.file-block-storage-locations.timeout.millis</name>
		<value>10000</value>
	</property>
<property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>

5、重启hdfs

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/stop-dfs.sh
sbin/start-dfs.sh

6、创建hadoop和hive的配置文件的连接

impala的配置目录为 /etc/impala/conf
这个路径下面需要把core-site.xml，hdfs-site.xml以及hive-site.xml拷贝到这里来，但是我们这里使用软连接的方式会更好
所有节点执行以下命令创建链接到impala配置目录下来

ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /etc/impala/conf/core-site.xml
ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /etc/impala/conf/hdfs-site.xml
ln -s /export/servers/hive-1.1.0-cdh5.14.0/conf/hive-site.xml /etc/impala/conf/hive-site.xml

7、修改impala的配置文件

所有节点更改impala默认配置文件以及添加mysql的连接驱动包

vim /etc/default/impala
IMPALA_CATALOG_SERVICE_HOST=node03
IMPALA_STATE_STORE_HOST=node03

所有节点创建mysql的驱动包的软连接

ln -s /export/servers/hive-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar /usr/share/java/mysql-connector-java.jar

所有节点修改bigtop的java路径

vim /etc/default/bigtop-utils
export JAVA_HOME=/export/servers/jdk1.8.0_141

8、启动impala服务

启动impala服务
主节点node03启动以下三个服务进程

service impala-state-store start
service impala-catalog start
service impala-server start

从节点启动node01与node02启动impala-server

service impala-server start

查看进程是否存在

ps -ef | grep impala

注意：启动之后所有关于impala的日志默认都在/var/log/impala 这个路径下，node03机器上面应该有三个进程，node02与node01机器上面只有一个进程，如果进程个数不对，去对应目录下查看报错日志
浏览器页面访问：
访问impalad的管理界面
http://node03:25000/
访问statestored的管理界面
http://node03:25010/