首页 > 程序开发 > 软件开发 > 其他 > 正文
CentOS7 基于Hadoop2.7 的Spark2.0集群搭建
2017-01-11 11:11:00       个评论    来源:qq_28743951的博客  
收藏    我要投稿

序言

Hadoop 2.7 集群已搭建完毕. 参考“CentOS7 从零开始搭建 Hadoop2.7集群‘’。(node 192.168.169.131, node1 192.168.169.133, node2 192.168.169.132, node3 192.168.169.134)

本地下载 scala-2.11.8.tgz:

本地下载 spark-2.0.0-bin-hadoop2.7.tgz

上传文件到各服务器。

上传文件

pscp.exe -pw 12345678 scala-2.11.8.tgz root@192.168.169.131:/usr/local

pscp.exe -pw 12345678 spark-2.0.0-bin-hadoop2.7.tgz root@192.168.169.131:/usr/local 123123

安装配置Scala

设置临时变量

scalaFolder='/usr/lib/scala-2.11.8'

1212

解压文件夹

tar -zxvf /usr/local/scala-2.11.8.tgz

mv /usr/lib/scala-2.11.8 ${scalaFolder}1212

设置环境变量

echo export SCALA_HOME=${scalaFolder} >> /etc/profile

echo export 'PATH=$PATH:$SCALA_HOME/bin' >> /etc/profile1212

安装配置Spark

设置临时变量

sparkFolder='/home/hadoop/spark2.0'11

解压文件并修改文件属性

tar -zxvf /usr/local/spark-2.0.0-bin-hadoop2.7.tgz

mv /usr/local/spark-2.0.0-bin-hadoop2.7 ${sparkFolder}

chown -R hadoop:hadoop ${sparkFolder}

chmod -R g=rwx ${sparkFolder}12341234

设置环境变量

echo export SPARK_HOME=${sparkFolder} >> /etc/profile

source /etc/profile1212

配置集群

创建文件 /home/Hadoop/spark2.0/conf/slaves

node1

node2

node3123123

创建文件/home/Hadoop/spark2.0/conf/Spark-env.sh

#!/usr/bin/env bash

export SCALA_HOME=/usr/lib/scala-2.11.8

export JAVA_HOME=/usr/local/jdk1.812341234

启动集群

启动hadoop 集群

$HADOOP_HOME/sbin/start-all.sh11

启动Spark集群

$SPARK_HOME/sbin/start-all.sh11

验证集群状态

192.168.169.131:8080 #spark

192.168.169.131:50070 #hdfs

测试Spark集群

运行测试例子

MASTER=spark://node:7077 ./bin/run-example SparkPi11

点击复制链接 与好友分享!回本站首页
上一篇:linux内核锁的几点理解
下一篇:万能游戏框架(一)——设计模式、工厂模式
相关文章
图文推荐
文章
推荐
点击排行

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训
版权所有: 红黑联盟--致力于做实用的IT技术学习网站