频道栏目
首页 > 网络 > 云计算 > 正文

Eclipse+maven+scala+spark环境搭建

2016-08-10 09:21:36           
收藏   我要投稿

我用的是Eclipse for Java EE, 这个和Eclipse 是一样的

最好是用高版本的Eclipse,版本太低的话不支持Scala-IDE

1.安装Scala-IDE

在Eclipse中开发Scala程序需要有scala插件,我们现在安装scala插件

下面是安装过程截图

Scala IDE用于提供scala语言的开发环境。直接在Marketplace下载安装,安装后如下图所示

 

\

 

 

\

 

2.安装m2e-scala插件

m2e-scala用来支持scala开发中对maven的一些定制功能。通过eclipse的Install New Software安装。

安装过程

1.Help->Install New Software

 

\
\

 

2.输入m2e-scala下载的url

这一步我是跳过的,之前每次进行完这一步,我的Eclipse的maven插件反而找不到了,这个Eclipse自带的是

m2e-eclipse插件,每次一安装m2e-scala插件后就找不到maven了,索性我就没进行这一步,用Eclipse自带的 m2e-eclipse.

如下图

 

\
\

 

url为:http://alchim31.free.fr/m2e-scala/update-site/

这里可以仅勾选第三项(图中红框所示)

 

\
\

 

3.安装完成后,可在Help->Installation Details中查看

 

\
\

 

3.新建Eclipse+scala+maven工程

新建maven工程

 

\
\

 

此时的maven的Archetype需要设置为 org.scala-tools.archetypes

如果没有安装Scala-IDE的话,会找不到org.scala-tools.archetypes这个类别

然后Finish

 

\
\

 

此时创建的工程还不是scala的工程,在项目名称上点击右键

 

\

 

 

\

 

点击 Add Scala Nature后项目才转换为scala-maven项目

然后pom.xml报下图中的错误,解决办法

在 plugins 的外层加标签

 

\
\

 

解决方法:

 

\
\

 

此时又报错

 

\

 

 

\

 

意思是我有多个scala-library库的构建路径

一个是scala-IDE插件带的,一个是maven库中的

并且maven中自动设置的是scala版本是2.7.0的

 

\
\

 

解决方法:

把pox.xml中的scala-version改成和scala-IDE的版本一样

这时候还是提示有多个scala-library的构建路径,但是不报错了

 

\

 

 

\

 

我们用一个构建路径,把其余的一个去掉

这里我把pom.xml中的scala-library 注释掉,只用scala-IDE的库

 

\
\

 

最后把自带的‘App.scala中的代码删除

这样maven+scala的项目就成功搭建了。

4. Eclipse+maven+scala+spark

在pom.xml中加入spark的依赖

我的spark的版本是

 

\
\

 

这个版本的依赖

org.apache.spark

spark-core_2.11

1.2.1

 

 

我刚开始用的是 spark-core_2.10 ,结果报错,后来换成spark-core_2.11才合适,2.11是对应的scala版本

然后一阵狂下在spark的依赖,最后是这个样子滴

 

\

 

 

\

 

终于把scala+maven+spark的环境搭建成功了,之前被maven那一步折腾的快疯了,最后索性没使用maven-for-scalaIDE

相关TAG标签 环境
上一篇:elasticsearch性能测试工具rally深入详解
下一篇:Hadoop2.0HA高可用集群配置详解
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站