Hadoop伪分布式安装及部署

JDK版本：1.7 ——1.8

Hadoop版本：hadoop-2.7.2

安装JDK

1）将jdk安装包放在家目录下

2）解压到opt目录下

sudo tar zxvf jdk-8u144-linux-x64.tar.gz -C /app

　　　　此时在/opt目录下：会有一个jdk1.8.0_131

sudo ln -snf /opt/jdk1.8.0_131 /opt/jdk

3）配置环境变量　　　

　　　　全局环境变量：vi /etc/profile

export JAVA_HOME=/opt/jdk

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

4）保存环境变量

source  /etc/profile

5）查看是否安装成功

java、javac、java -version

查看JDK： which  java

ls  -lrt  /usr/bin/java

ls  -lrt  /etc/alternatives/java

2）安装ssh

        安装ssh：yum install openssh-server

        配置ssh免密码登陆：

            ssh-keygen -t rsa （全部回车）

            密钥将安装到/home/hadoop/.ssh下

            进入目录，执行cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

            验证：ssh localhost/hadoop001

修改/etc/hosts

    增加一行  ： IP地址  主机名

3）安装hadoop

        下载地址：官网   

        解压：sudo  tar zxvf hadoop-2.7.2.tar.gz -C /app

建立软连接：n -snf /app/hadoop-2.7.2   /app/hadoop　

        配置环境变量：vim /etc/profile

export HADOOP_HOME=\"/app/hadoop\"

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

环境搭建     

修改配置：在cd /app/hadoop/etc/hadoop/

1:修改hadoop-env.sh          

2：修改etc/hadoop/core-site. :

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop001:8020</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/app/tmp</value>

    </property>

（指定临时文件存放目录）

备注：Hadoop001为主机名字

3：修改etc/hadoop/hdfs-site. （设置副本系数为1）:

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

<property>

<name>dfs.permissions.enable</name>

    <value>false</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

slaves ：（配置DN节点的hostname）

4）启动HDFS

        1)格式化文件系统（仅第一次执行，不要重复执行）：进入/app/hadoop

          bin/hdfs namenode -format

           2)启动NN进程和DN进程:

          sbin/start-dfs.sh

        3)验证：

         访问：http://hadoop001:50070

5）停止HDFS

         sbin/stop-dfs.sh

YARN环境搭建

1. mapred-site. （将mapred-site. .template复制一份得到）

  命令：cp etc/hadoop/mapred-site. .template etc/hadoop/mapred-site.

<property>

    <name>mapreduce. work.name</name>

    <value>yarn</value>

</property>

<!-- 配置 MapReduce JobHistory Server 地址 ，默认端口10020 -->

<property>

<name>mapreduce.jobhistory.address</name>

<value>hadoop01:10020</value>

</property>

<!-- 配置 MapReduce JobHistory Server web ui 地址， 默认端口19888 -->

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>hadoop01:19888</value>

</property>

2）yarn-site.

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>86400</value>

</property>

<property>

<name>yarn.log.server.url</name>

<value>http://hadoop01:19888/jobhistory/logs/</value>

</property>

3) 启动YARN相关的进程

sbin/start-yarn.sh

启动JobHistoryServer：

sbin/mr-jobhistory-daemon.sh start historyserver

4）验证

访问：http://hadoop01:8088

5）停止YARN相关的进程

        sbin/stop-yarn.sh