- 链接地址:https://blog.csdn.net/Fresh_man888/article/details/110672281
- 链接标题:Spark-Core性能调优之用Spark实现KRYO序列化_spark kryo序列化例子-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:7035
文章浏览阅读252次。1.实现kryo序列化的目的:为了降低driver端,到executor之间网络传输压力,可以使用spark自带的,kryo序列化方式,而不使用java的序列化,kryo序列化不仅可以节约内存空间,在网络传输上也可以节省网络资源,java的序列方式,不仅占用较大的内存空间,而且网络传输也比较慢.2.官方文档为我们提供的序列化优化方式Data SerializationSerialization plays an important role in the performance of an_spark kryo序列化例子
版权声明:本文发布于特牛生活网 内容均来源于互联网 如有侵权联系删除