特牛网址导航

spark作业升级到spark3 scala 2.12 踩坑和解决方法_spark3不兼容spark2的语法-CSDN博客

网友收藏
文章浏览阅读5.4k次,点赞2次,收藏6次。前言因为spark集群的换代升级, 需要从scala 2.11 升级到scala 2.12 spark2升级到spark 3。本篇博客主要讲述南国在将spark 作业升级时遇到的问题和解决办法。具体步骤1.升级spark相关依赖针对于pom文件中类似<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId>_spark3不兼容spark2的语法