- 链接地址:https://blog.csdn.net/WuBoooo/article/details/108836766
- 链接标题:大数据之spark_spark中的序列化问题详解_spark 序列化java bean-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:1879
文章浏览阅读789次。Task序列化问题问题现象本质原因1.封装数据的bean没有实现序列化(报错图1)封装数据的bean需要写入本地磁盘和在网络中传输,没有实现序列化出出错2.rdd的算子中传入的函数用到了外部引用类型(闭包),且没有实现序列化(报错图2)本质原因的Task是在Driver端生成的,函数也是在Driver端定义的,但是真正执行是需要将Task和Task中引用都序列化,如果有没法序列化的,就会出现Task没有序列化异常Task在底层有实现序列化接口的,所以Task可以被传输到Executor端,_spark 序列化java bean
版权声明:本文发布于特牛生活网 内容均来源于互联网 如有侵权联系删除