特牛网址导航

本地模式调试Spark程序(IDEA)_spark idea 本地调试-CSDN博客

网友收藏
文章浏览阅读1.6k次。0、安装好jdk环境1、下载hadoop对应的压缩包,解压至本地磁盘目录,并配置好环境变量添加到Path中2、需要注意的是,需要将本地JAVA_HOME在hadoop解压缩的目录D:\hadoop-2.9.2\etc\hadoop 下的文件 hadoop-env.cmd进行修改原JAVA_HOME路径中有(Program File)包含了空格,需要将其修改为(Progra~1),修改后的效果如下3、最后下载本地执行程序时需要用到的一些脚本文件 winutils,选择对应的_spark idea 本地调试