特牛生活网

spark中处理dataframe往往遇到”...cannot be cast to ...”这种数据不匹配的问题_org.apache.spark.sql.types.stringtype$ cannot be c-CSDN博客

网友收藏
  • 链接地址:https://blog.csdn.net/qq_35022142/article/details/79800394
  • 链接标题:spark中处理dataframe往往遇到”...cannot be cast to ...”这种数据不匹配的问题_org.apache.spark.sql.types.stringtype$ cannot be c-CSDN博客
  • 所属网站:blog.csdn.net
  • 被收藏次数:4502
文章浏览阅读3.7w次,点赞3次,收藏6次。 spark处理dataframe数据时,往往遇到"...cannot be cast to ..."这种数据不匹配的问题,主要是因为我们代码中spark指定的数据类型和数据源类型不一致。这里以MySQL为数据源为例。一、读取数据格式匹配MySQL表的创建语句指定的数据类型有decimal、varchar、datetime等。CREATE TABLE `customfieldvalue` (..._org.apache.spark.sql.types.stringtype$ cannot be cast to org.apache.spark.sq