频道栏目
首页 > 程序开发 > 综合编程 > 其他综合 > 正文
spark2.0下实现IPYTHON3.5开发 兼配置jupyter、notebook
2016-11-28 09:41:00         来源:pardy原创  
收藏   我要投稿

1、spark2.0安装就不说了,网上有很多,不会的话给我留言。
2、我们在spark2.0下用python开发的话,不需要安装python了,直接安装anaconda就可以!
3、anaconda下载地址:https://www.continuum.io/downloads,这里提供3.5和2.7的,考虑到以后学习,我下载最新的3.5,界面如下:

4、通过scp将其拷贝到linux系统里面,我把它拷贝到了home目录下的Downloads下,大家可以根据自己喜好放置:界面如下:

5、输入安装命令安装命令,如下图所示:

6、回车,如下图所示:

7、输入yes,如下图所示:

8、输入回车,默认安装即可,当然也可以修改,这里默认安装,如下图所示:

9、这时候大家看到,anaconda已经还有python3.5了,所以不需要安装,如下图所示:


10、稍等一会,安装完成如下图所示:

11、anaconda默认的环境变量大家看到上一张图是在home目录下的./bashrc里面,我们vim 一下这个文件,发现环境变量已经配置完成,如下图所示:

12、这时候我们先运行一下pyspark,看下效果,我们发现是2.6.6,不是python3.5,但是还是可以启动的,如下图所示:



13、我们为了使用anaconda,所以这里在.bashrc文件里面配置一下,命令如下:
export PYSPARK_PYTHON=/root/anaconda3/bin
export IPYTHON=”1”
界面如下图所示:

14、这时候我们进入spark的bin目录执行./pyspark,看下界面,如下图所示:

15、我们发现报错了,IPYTHON和IPYTHON_OPTS已经在spark2.0+以上不使用了,所以我们删除IPYTHON=”1”,source一下.bashrc,重新reboot一下虚拟机,这个时候我们在执行./pyspark,界面如下图所示:

16、配置成功!
17、anaconda集成了IPYTHON为的是方便我们开发,大家还记得刚才报错的那个地方,新的版本已经把IPYTHON更名了,好那我们就把刚才报错提示要配置的那两个参数配置一下PYSPARK_DRIVER_PYTHON和PYSPARK_DRIVER_PYTHON_OPTS,命令如下:
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS=”notebook –NotebookApp.open_browser=False –NotebookApp.ip=’*’ –NotebookApp.port=8880”
界面如下:

这个时候在重新启动./pyspark,发现启动界面变了,如下图所示:

我们这时候可以在浏览器里面可以按红色框提示的信息输入,例如我输入:192.168.85.100:8880,界面如下图所示:

哇塞,一不小心我们把Jupyter配置好了,关于Jupyter的使用,大家可以上官网查阅,我这里就不解释了,这样基于python学习spark是不是方便一些了。
总结:spark2.0整合python开发主要是安装一下anaconda,然后配置一下PYSPARK_DRIVER_PYTHON和PYSPARK_DRIVER_PYTHON_OPTS参数,接下来我们就开始学习spark的开发吧。

点击复制链接 与好友分享!回本站首页
上一篇:MyEclipse快捷键大全
下一篇:卷积神经网络CNNs的理解
相关文章
图文推荐
文章
推荐
点击排行

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站