type
status
date
slug
summary
tags
category
icon
password
comments
1.建立与Spark框架的连接
2.按行读取文件目录
3.扁平化操作,将一行数据拆分形成一个一个的单词
4.单词分组
一、聚合
第一种方法使用.size没有体现聚合的过程 本方法则是聚合的过程
二、代码实现
第二种方式实现wordCount代码
代码如下(示例):
因为笔者才开始接触这方面的技术,没有大数据相关的基础,所以还有许多不理解的地方,接下来会先进性scala和lambda的学习
- 作者:于淼
- 链接:https://yumiao1.com/article/bigData03
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。