- 链接地址:https://blog.csdn.net/qq_40383147/article/details/109026954
- 链接标题:spark相关优化_spark.locality.wait.rack-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:768
文章浏览阅读144次。标题 spark开发调优1.高性能序列化类库在Spark中,默认是使用Java自带的序列化机制——基于ObjectInputStream和ObjectOutputStream的序列化机制,这是为了提高便捷性和适用性,毕竟是Java原生的嘛。然鹅,自带的东西往往考虑的东西比较多,没法做到样样俱全,比如内序列化后占据的内存还是较大,但是Spark是基于内存的大数据框架,对内存的要求很高。所以,在Spark应用程序中,Java自带的序列化库的效率有点差强人意。需求是从实际出发的嘛,最终Spark也提供了另外一_spark.locality.wait.rack
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除