博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Spark word count 实例
阅读量:4636 次
发布时间:2019-06-09

本文共 691 字,大约阅读时间需要 2 分钟。

利用中午休息时间配置了个环境,写个Word count 本地模式测试下 环境 , 环境Okay

Scala 2.10.4

Java  1.7.08
Spark 1.6.0

package com.ib.e3import org.apache.spark.{SparkConf, SparkContext}/**  * Created by xxxooo on 8/29/2016.  */object WordCount {  def main(args: Array[String]) {    val conf = new SparkConf().setAppName("Myapp").setMaster("local")    val sc = new SparkContext(conf)    val linesRDD = sc.textFile("C:\\workplacebus\\business\\xxxooo\\xxxooo\\workspace\\spark\\lib\\wordcount.txt")    val wordRDD = linesRDD.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey((a,b) => a+b)    wordRDD.foreach(word => println(word))  }}

每一个坚持大汗淋漓的人都不会太简单

转载于:https://www.cnblogs.com/TendToBigData/p/10501385.html

你可能感兴趣的文章
模块三
查看>>
字符串处理函数
查看>>
腾讯文档使用记录
查看>>
JAVA图片处理--缩放,切割,类型转换
查看>>
2016寒假训练3
查看>>
vue 给组件绑定原生事件
查看>>
python时间日期字符串各种
查看>>
儿子和女儿——解释器和编译器的区别与联系
查看>>
第一阶段冲刺3
查看>>
2014百度面试题目---“求比指定整数大且最小的不重复数”解答
查看>>
父类引用指向子类对象
查看>>
linux epoll用法
查看>>
viewport使用 html5
查看>>
网页如何实现下载功能
查看>>
IT男专用表白程序
查看>>
maven转gradle ,windows错误重定向
查看>>
jenkins+ant+jmeter接口测试
查看>>
【BZOJ】2120: 数颜色
查看>>
Html_div圆角
查看>>
WPF——OXY绘图
查看>>