文章浏览阅读3.9k次。版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.csdn.net/qq_21439395/article/details/82779266交流QQ: 824203453 执行Spark程序使用spark-shell命令和spark-submit命令来提交spark任务。当执行测试程......
admin
文章浏览阅读3.9k次，点赞2次，收藏6次。为什么转载：怕自己忘啊首先将鼠标定位到ubuntu上，然后插上U盘，这时候先用指令： fidsk -l查看一下U盘，（这是应该有一个盘符了）（1）有的话就可以跳过此步骤： 在虚拟机的VM->snap......
admin
文章浏览阅读1.3w次，点赞2次，收藏14次。1.安装hive 如果想创建一个数据库用户，并且为数据库赋值权限，可以参考：http://blog.csdn.net/tototuzuoquan/article/details/527855042.将配置好的hive-site.xml、core-site.xml、hdfs-site.xml放入$SPARK_HOME/conf......
admin
文章浏览阅读3.6k次。 版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.csdn.net/qq_21439395/article/details/81951173交流QQ: 824203453 Linux简介 UNIX与Linux发展史Unix在1969年，美国贝尔实验室的肯汤普森在DEC PDP-7机......
admin
文章浏览阅读279次。目录使用场景集群规划zookeeper安装1.下载zookeeper安装包2.解压3.修改配置文件4.添加myid配置5.安装包分发到其他机器并修改myid的值6.启动zookeeper集群zookeeper的shell客户端操作1.登录zookeeper客户端2.zookeeper客户端操......
admin
文章浏览阅读7.1k次。所遇问题：由于在IDEA下可以方便快捷地运行scala程序，所以先前并没有在终端下使用spark-submit提交打包好的jar任务包的习惯，但是其只能在local下执行，在网上搜了好多帖子都不能启动spark集群，由于实验任......
admin
文章浏览阅读1.7k次。一、错误描述：Exception in thread "main" org.apache.spark.SparkException: Application application_1479132065716_00原因：我的是JDK版本过高，使用spark2.0.1+hadoop2.5.2+hive0.13+JDK1.7没问题二、错误描述：Exception in thread_"xcept......
admin
文章浏览阅读370次。文章目录1 开始使用Scala1.1 在Linux下使用Scala1.2 在IDEA中配置Scala1 开始使用Scala1.1 在Linux下使用Scala在官网下载安装包，这里下载的是tgz包，如果是下载在本地，想上传到服务器，则使用如下指令。$ scp scala-2.13.......
admin
文章浏览阅读1w次，点赞3次，收藏2次。【CDH6.1 spark-shell启动报错】Cluster deploy mode is not applicable to Spark shells前言报错信息：解决方案前言在正常的CDH6.1后台运行spark-shell进入scala交互界面报错。报错信息：报错信息如下：Exception i......
admin
不多说，直接上干货！ 最近，开始，进一步学习spark的最新版本。由原来经常使用的spark-1.6.1，现在来使用spark-2.2.0-bin-hadoop2.6.tgz。 前期博客 Spark on YARN模式的安装（spark-1.6.1-bin-hadoop2.6.tgz + hadoo...
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
