特牛网址导航

本地调试spark程序_python本地调试spark程序-CSDN博客

网友收藏
文章浏览阅读2.1k次。用IDEA编写spark程序,每次运行都要先打成jar包,然后再提交到集群上运行,这样很麻烦,不方便调试。我们可以直接在Idea中调试spark程序。例如下面的WordCount程序:package cn.edu360.sparkimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext..._python本地调试spark程序