Lazy loaded image
🗒️大数据学习03 Spark入门项目 wordCount 不同的实现
字数 318阅读时长 1 分钟
2024-1-12
2025-2-26
type
status
date
slug
summary
tags
category
icon
password
comments
1.建立与Spark框架的连接
2.按行读取文件目录
3.扁平化操作,将一行数据拆分形成一个一个的单词
4.单词分组

一、聚合

第一种方法使用.size没有体现聚合的过程 本方法则是聚合的过程

二、代码实现

第二种方式实现wordCount代码

代码如下(示例):
💡
因为笔者才开始接触这方面的技术,没有大数据相关的基础,所以还有许多不理解的地方,接下来会先进性scala和lambda的学习
 
上一篇
大数据学习02 Spark入门项目 快速上手
下一篇
大数据学习04 Scala的学习

评论
Loading...