文章浏览阅读129次。Spark 调优开发调优1、 提高RDD 的使用效率对于同一份数据，应该只创建一个 RDD尽可能复用RDD对多次使用的RDD 持久化cache算法进行缓存，但是同时也要 unPersist进行释放2、 合理使用数据结构 对应 Java 提供的一些高级数据结构或者Scala提供的一些高级数据结构，其内部都是按照对象进行存储和实现的，每个对象都有对象头、引用等额外信息，比较占用空间。 如 HashMap, String 等。 避免使用这些高级数据结构浪费内存。使用原始类型(int 、 L_spark repartitiion使用