Spark+scala+Idea wordcount 示例

Spark+scala+Idea wordcount 示例

scala语言会让spark程序很简洁，能在很大程度上提高开发效率，所以下面给出scala版本的WordCount。

idea项目搭建

首先用idea搭建一个maven工程。
在main文件夹下创建scala文件夹，然后将scala文件夹设置成源码文件夹。右键工程名->open model setting ->Modules
选中scala将其设置为Sources
此处若不进行设置，在运行程序的时候将找不到我们的主函数，因为idea并没有编译这个文件。


maven文件

        
        
            org.scala-lang
            scala-library
            2.11.11
        
        
        
            org.apache.spark
            spark-core_2.11
            2.1.1
        
        
        
            org.apache.spark
            spark-mllib_2.11
            2.1.0
        
        
        
            org.apache.spark
            spark-sql_2.11
            2.1.0
        
        
        
            org.apache.spark
            spark-hive_2.11
            2.1.1
        

scala代码：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object WordCount {
  def main(args: Array[String]) {

    val conf = new SparkConf()
    conf.setAppName("wordcount")
    //conf.setMaster("local")
    val sc = new SparkContext(conf)
    val line = sc.textFile("/usr/local/hadoop/input")
    line.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).saveAsTextFile("/usr/local/hadoop/output")
    sc.stop()
  }

}

运行代码

在Edit Configurations设置为本地运行，VM options设置如下：

-Dspark.master=local

然后直接运行main函数即可。在结果输出的路径可以查看到相关文件。

总结

相比java代码，scala代码更是简洁，java30行的代码scala调用几个函数就完成了，由此可见scala在spark工程中的优势！