特牛网址导航

Spark学习笔记(2)——Spark运行环境部署_spark集群环境有哪些-CSDN博客

网友收藏
文章浏览阅读2.5k次。Spark只是一个数据处理框架和计算引擎,它必须要在一个特定的环境中才能运行。常用的运行环境有如下三种一、 Local模式Local模式是指不需要任何其它节点资源就可以在本地执行Spark代码的环境,不需要额外的进程进行资源管理,所有程序都运行在本地的一个进程环境中(如jvm),一般用于教学,调试,演示等。在 IDEA 中运行代码的环境我们称之为开发环境,不太一样。spark-3.0.0-bin-hadoop3.2.tgz表示的是基于3.2版本的Hadoop编译的spark,所以还需要安装配置had_spark集群环境有哪些