本阶段主要内容
- Spark 3.0.0版本介绍
- 基于Spark 3.x版本开发代码
- 在已有的大数据集群中集成Spark 3.x环境
- 向YARN中同时提交Spark 2.x和Spark 3.x的代码
- Spark 1.x~3.x的演变历史
- 自适应查询执行之自适应调整Shuffle分区数量
- 自适应查询执行之动态调整Join策略
- 自适应查询执行之动态优化倾斜的 Join
- Spark 3.x新特性之动态分区裁剪
- Spark 3.x新特性之加速器感知调度
- Spark 3.x新特性之Catalog 插件 API
- Spark 3.x新特性之更好的 ANSI SQL 兼容性
- 在SparkSQL 命令行中集成Hive
- 在SparkSQL 代码中集成Hive
- SparkSQL写入Hive表的几种方式