type
Post
status
Published
date
Jan 12, 2024
slug
bigData03
summary
关于大Spark的学习笔记
tags
推荐
开发
实用教程
热门文章
必看精选
category
大数据学习
icon
password
comments
1.建立与Spark框架的连接
2.按行读取文件目录
3.扁平化操作，将一行数据拆分形成一个一个的单词
4.单词分组
一、聚合
第一种方法使用.size没有体现聚合的过程 本方法则是聚合的过程
二、代码实现
第二种方式实现wordCount代码
代码如下（示例）：
因为笔者才开始接触这方面的技术，没有大数据相关的基础，所以还有许多不理解的地方，接下来会先进性scala和lambda的学习
- 作者:于淼
- 链接:https://yumiao1.com/article/bigData03
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
