首页 > 网络 > 云计算 > 正文
scalawordcount
2017-04-27       个评论    来源:qq236237606的博客  
收藏    我要投稿

scalawordcount。

import org.apache.spark.SparkConf

import org.apache.spark.SparkContext

import org.apache.spark.rdd.RDD.rddToOrderedRDDFunctions

import org.apache.spark.rdd.RDD.rddToPairRDDFunctions

object WordCount {

def main(args: Array[String]): Unit = {

val conf = new SparkConf().setAppName("WordCount").setMaster("local")

val sc = new SparkContext(conf)

val lines = sc.textFile("D:\\BigData\\mockData\\mockData.txt")

val words = lines.flatMap { _.split(" ") }

val pairs = words.map { (_, 1) }

val results = pairs.reduceByKey(_+_)

// val sorted = results.sortBy(pair=>pair._2, true)

val sorted = results.sortByKey(false)

sorted.foreach(println(_))

}

}

点击复制链接 与好友分享!回本站首页
上一篇:如何在Ubuntu14.04上利用HAProxy实现SSL终端
下一篇:zookeeper简单命令
相关文章
图文推荐
文章
推荐
点击排行

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训
版权所有: 红黑联盟--致力于做实用的IT技术学习网站