文章浏览阅读3.9k次。版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.csdn.net/qq_21439395/article/details/82779266交流QQ: 824203453 执行Spark程序使用spark-shell命令和spark-submit命令来提交spark任务。当执行测试程......
admin
Founded in 1989 and with two subsidiaries, Sichuan Meishan Shanbao machinery mould co., ltd is one large and professional feed machinery spare parts manufacturer with integration of production, sales and service.The headquarter is located at the new zone of Meishan industrial park Sichuan province ,......
admin
文章浏览阅读3.9k次，点赞2次，收藏6次。为什么转载：怕自己忘啊首先将鼠标定位到ubuntu上，然后插上U盘，这时候先用指令： fidsk -l查看一下U盘，（这是应该有一个盘符了）（1）有的话就可以跳过此步骤： 在虚拟机的VM->snap......
admin
0x01 主从复制说明reids 虽然读取速度特别快，但也会产生读压力的，为了分担这个压力，redis支持主从复制，redis的主从结构可以采用一主多从或者级联结构，redis组从复制根据是否全量可以分为全量同步和增量同步全量同步Redis......
admin
文章浏览阅读1.3w次，点赞2次，收藏14次。1.安装hive 如果想创建一个数据库用户，并且为数据库赋值权限，可以参考：http://blog.csdn.net/tototuzuoquan/article/details/527855042.将配置好的hive-site.xml、core-site.xml、hdfs-site.xml放入$SPARK_HOME/conf......
admin
文章浏览阅读2.4k次。文章目录Shell学习向一个sh文件写入内容并执行本次学习最终效果描述最终代码代码描述第一段第二段第三段知识补充上述if语法说明补充for循环补充while循环补充case语句Shell学习向一个sh文件写入内容并执行......
admin
文章浏览阅读3.6k次。 版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.csdn.net/qq_21439395/article/details/81951173交流QQ: 824203453 Linux简介 UNIX与Linux发展史Unix在1969年，美国贝尔实验室的肯汤普森在DEC PDP-7机......
admin
文章浏览阅读2.5k次。前言使用CDH5.13 集成 apche spark2.4.2 使用spark-shell命令报错。spark配置spark-defaults.conf文件如下：spark.master yarnspark.deploy.mode clusterspark.submit.deployMode clusterspark.eventLog.enabled t......
admin
文章浏览阅读306次。⼯作流调度系统Azkaban第 1 节 概述1.1 ⼯作流调度系统⼀个完整的数据分析系统通常都是由⼤量任务单元组成：shell脚本程序 java程序 mapreduce程序 hive脚本等各任务单元之间存在时间先后及前后依赖关系,为了很......
admin
文章浏览阅读279次。目录使用场景集群规划zookeeper安装1.下载zookeeper安装包2.解压3.修改配置文件4.添加myid配置5.安装包分发到其他机器并修改myid的值6.启动zookeeper集群zookeeper的shell客户端操作1.登录zookeeper客户端2.zookeeper客户端操......
admin
文章浏览阅读7.1k次。所遇问题：由于在IDEA下可以方便快捷地运行scala程序，所以先前并没有在终端下使用spark-submit提交打包好的jar任务包的习惯，但是其只能在local下执行，在网上搜了好多帖子都不能启动spark集群，由于实验任......
admin
文章浏览阅读1.3k次。目录交互式查询⼯具Impala第 1 部分 Impala概述1.1 Impala是什么1.2 Impala优势Impala与Hive对⽐1.3 Impala的缺点1.4 适⽤场景第 2 部分 Impala 安装与⼊⻔案例2.1 集群准备2.1.1 安装Hadoop,Hive2.1.2 准备Impala的所有依赖包2.2 安......
admin
文章浏览阅读1.7k次。一、错误描述：Exception in thread "main" org.apache.spark.SparkException: Application application_1479132065716_00原因：我的是JDK版本过高，使用spark2.0.1+hadoop2.5.2+hive0.13+JDK1.7没问题二、错误描述：Exception in thread_"xcept......
admin
文章浏览阅读370次。文章目录1 开始使用Scala1.1 在Linux下使用Scala1.2 在IDEA中配置Scala1 开始使用Scala1.1 在Linux下使用Scala在官网下载安装包，这里下载的是tgz包，如果是下载在本地，想上传到服务器，则使用如下指令。$ scp scala-2.13.......
admin
资源浏览查阅129次。系泊系统matlab代码-cgsn-parsers:编写用于收集、解析和绘制CGSN数据以进行集成和验证测试的Python和shell脚本,系泊系统matlab代码CGSN解析器简单的python和shell实用程序，用于收集和解析由自定义构建的CGSN数据记录......
admin
转载，原文链接最近经常在bash脚本文件中看到类似于如下所示的语句： DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"cd "${DIR}/.."刚开始真弄不明白这是什么含义，通过深入学习bash脚本知识，终于......
admin
文章浏览阅读7.5k次。第⼀部分 初识 HBase第 1 节 HBase 简介1.1 HBase是什么HBase 基于 Google的BigTable论⽂⽽来，是⼀个分布式海量列式⾮关系型数据库系统，可以提供超⼤规模数据集的实时随机读写。接下来，通过⼀个场景初步认识HBa......
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
