日常用到的spark调优_spark write repartition-CSDN博客

网友收藏2024-01-23 20:02

链接地址：https://blog.csdn.net/reddy_Hu/article/details/110632125
链接标题：日常用到的spark调优_spark write repartition-CSDN博客
所属网站：blog.csdn.net
被收藏次数：3625

文章浏览阅读136次。日常用到的spark调优1.如果使用spark读取mysql中的表格写进数仓中，可以先将限制条件或者整个sql先写进jdbc连接参数中。如果是将mysql整个表读入内存中再建立临时表，如果mysql的表过大，反而会占用更多内存，所以可以提前先将结果的数据读进来直接write进数仓中。val callmysql = s" select '会议' as module,'正常通话率' as metrics_type,'ads_voip_sample' as original_table,avg(metr_spark write repartition

本文地址：https://tebull.com/detail/524508.html

标签：spark write repartition