频道栏目
首页 > 程序开发 > 综合编程 > 其他综合 > 正文
Spark编译与部署
2017-02-08 09:23:00         来源:生命奇迹泉的专栏  
收藏   我要投稿
Spark编译与部署:Spark可以通过SBT和Maven两种方式进行编译,再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具,而Maven安装则需要maven工具,两种方式均需要
在联网下进行。maven主要是编译java程序的,sbt主要是编译scala程序的。
1. 编译Spark(SBT)
1.1 安装git并编译安装
若为ubuntu,则直接执行命令

sudo apt-get install git

1.2 配置环境

打开/etc/profile把git所在路径加入到PATH参数中

export GIT_HOME=/app/git-2.9.3

export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin:$GIT_HOME/bin

1.3下载Spark源代码

点我下载

1.4在主节点上解压缩,解压在路径app/complied/spark-2.0.0下

1.5编译代码

编译spark源代码的时候,需要从网上下载依赖包,所以整个编译过程机器必须保证在联网状态。

点击复制链接 与好友分享!回本站首页
上一篇:关于图像语义分割的总结和感悟
下一篇:基于led框架的驱动分析
相关文章
图文推荐
文章
推荐
点击排行

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站