频道栏目
首页 > 网络 > 云计算 > 正文
用IntelliJIDEA提交pyspark程序
2017-04-18 09:46:00         来源:每天get√新知识  
收藏   我要投稿

用IntelliJIDEA提交pyspark程序,最近要用python写spark程序。因为idea如此强大,因此要写一个如何在idea上提交pyspark程序。

安装python组件

不管怎么样,想要在idea编写python需要安装组件。如图:

安装python插件

新建Python工程

插件安装好之后,你就可以新建一个python工程了:

新建python工程

可能很多小朋友找不到这个页面,其实在打开工程的时候,左上角file->close project就可以了。然后Create New Project:

创建

next之后取个名字HelloPython之后finishi就获得了一个Python工程。

之后右键new一个Python工程。

配置环境

这里的pi.py文件是从$SPARK_HOME/examples/src/main/python中复制的,有需要的小伙伴可以从这里找样例程序

首先你的~/.bashrc或者/etc/profile里要设置好如下的内容:

export SPARK_HOME=/home/fish/workspace/spark_compile/spark

export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH

然后在idea中 run->Edit Configurations->Environment->Environment Variables

添加如下设置:

添加环境变量

其中PYTHONPATH填入的是spark目录下的python目录。

关联源码

这样虽然可以运行程序,但是无法进入到源码中实际看看到底是什么原理,因此要关联源码。

首先file->project structure->modules,点击最右侧加号:

\

选择第一个jars or directories.找到你的PYTHONPATH下的lib文件夹,直接添加进来就可以了。

至此,就可以用idea写pyspark的程序并查看源码了,但是发现pyspark的源码都特别简单,而且有很多都省略的,至于它们是怎么转化成scala语言与spark关联的需要日后研究。以上。

点击复制链接 与好友分享!回本站首页
上一篇:kafka简介
下一篇:docker中安装nginx服务
相关文章
图文推荐
点击排行

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站