Spark分布式集群环境搭建

安装spark

1. 在MASTER节点上访问Spark官网下载地址：
   http://spark.apache.org/downloads.html
2. 解压至指定文件夹，/usr/local/

配置环境变量

修改环境变量文件

vim ~/.bashrc

添加

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

生效修改

source ~/.bashrc

Spark配置

1. 将slaves.template 文件重命名为slaves
   修改内容，添加子节点名称
   
2. 将spark-env.sh.template 文件重命名为spark-env.sh
   修改内容，添加

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF=/usr/local/hadoop/etc/hadoop
export SPARK_WORKER_MEMORY=2g
export SPRK_WORKER_CORES=1
export SPARK_MASTER_IP=Master
export SPARK_DIST_CLSSPATH=$(/usr/local/hadoop/etc/hadoop classpath)
export SPARK_WORKER_INSTANCES=1

注： SPARK_MASTER_IP是绑定主节点ip地址，本文中的master就是主节点的地址，可在/etc/hosts 文件中添加

完成配置 分发给子节点

在启动好HADOOP集群后

cd /usr/local/spark
sbin/start-all.sh