本阶段主要内容
- 宽依赖和窄依赖
- Stage的理解
- Spark任务的三种提交模式
- Shuffle介绍
- 三种Shuffle机制分析
- checkpoint概述
- checkpoint和持久化的区别
- checkpoint代码开发和执行分析
- checkpoint源码分析之写操作和读操作
- Spark程序性能优化分析
- 高性能序列化类库Kryo的使用
- 持久化或者checkpoint
- JVM垃圾回收调忧
- 提高并行度
- 数据本地化
- 算子优化
- SparkSql快速上手使用
- 实战：SparkSQL实现TopN主播统计
欢迎加入QQ群聊人生、谈理想、解决各种大数据疑难问题！
QQ群号：938632081
