特牛生活网

【spark】on yarn的模式下,如何上传files并在程序中读取到?_spark on yarn hadoop文件放到re-CSDN博客

网友收藏
文章浏览阅读3.7k次,点赞6次,收藏11次。在使用spark的时候,往往我们需要外部传入文件,来配合程序做数据处理那么这就涉及到,如何传入,如何获取(本文讨论的是spark on yarn)?讲实话,我觉得这个问题挺烦的,我百度了好久(可能我姿势不对?),各种博客,stackoverflow,community.cloudera.com都找过,我觉得回答方都停留在理论基础,并没有show me code,我实际测试的时候,好像又和他们说的不太一样,哎,要是能有统一的入口,统一的出口就好了1、client模式client模式下._spark on yarn hadoop文件放到re