文章浏览阅读1.7k次，点赞4次，收藏10次。一.简介Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。现在形成一个高速发展应用广泛的生态系统。Spark 是一个用来实现快速而通用的集群计算的平台。Spark 的一个主要......
admin
文章浏览阅读2.5k次。先看问题提示：[root@data ~]# start-dfs.shStarting namenodes on [data]root@data's password: data: starting namenode, logging to /opt/software/hadoop260/logs /hadoop-root-namenode-data.out root@localhost's password: localhost: starting datanode, logging t_为什么vi......
admin
文章浏览阅读4.8k次，点赞2次，收藏11次。概况区块链是一个分布式的记账系统，在一个区块链系统中可以有成千上万的节点，他们各自独立保存一份相同的账本，而新的交易数据想要被写入帐本，需要获得这些节点的认可。在......
admin
文章浏览阅读1w次，点赞3次，收藏25次。1、spark on yarn两种模式： client模式（测试） cluster模式（生产常用） 区别： client模式的driver是运行在客户端。 cluster模式的driver运行在NodeManager的MRApplicationMaster中。2、client模式......
admin
文章浏览阅读98次。XML解析可扩展标记语言，XML文档内容由一系列标签元素组成#必须有唯一的根标签<tagName attr="attrValue"...> text <subTag>...</subTag></tagName><tagName attr="attrValue".../>读XML文档private SAX......
admin
文章浏览阅读175次。Centos7 - 之presto-0.252安装1 前提条件-jdk的安装，并且配置环境变量# java必须是jdk8_151以上，这里选用jdk1.8.0_291export JAVA_HOME=/opt/module/jdk1.8.0_291export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexpor......
admin
问题描述 打开hadoop 集群地址,hostname:8088 选择任何一个已经FINISHED或者FAILED的任务,然后点击 appplicationID ,比如:application_1439618500064_1100 进去ApplicationMaster 信息页面 点击logs链接就报错如下 求助 目前 感觉这个问题很......
admin
问题描述 打开hadoop 集群地址,hostname:8088 选择任何一个已经FINISHED或者FAILED的任务,然后点击 appplicationID ,比如:application_1439618500064_1100 进去ApplicationMaster 信息页面 点击logs链接就报错如下 求助 目前 感觉这个问题很......
admin
文章浏览阅读82次。*便捷操作div.content#wrapper*3：<div class="content" id="wrapper"></div><div class="content" id="wrapper"></div><div class="content" id="wrapper"></div>ul>li{$*a}*10：&l......
admin
文章浏览阅读323次。 前言 本人呕心沥血所写，经过好一段时间反复锤炼和整理修改。感谢所参考的博友们！同时，欢迎前来查阅赏脸的博友们收藏和转载，附上本人的链接。http://www.cnblogs.com/zlslch/p/5847528.html 关于几......
admin
文章浏览阅读9.3k次，点赞29次，收藏185次。文章目录C语言链表详解链表基础链表的优点基本概念创建链表定义一个结构体创建一个链表插入节点删除节点修改节点输出节点完整代码C语言链表详解链表基础链表的优点n个节点离散......
admin
文章浏览阅读117次。hive分布式搭建首先hive单机搭建注： 现在master机器上搭建，并初始化生成mysql中hive数据库参考博主的单机搭建博客试一试（里面包含了安装包无需寻找对应安装包）hive单机安装教程，简单实用hive集群搭建在s......
admin
文章浏览阅读1.5k次，点赞11次，收藏16次。DOM中的node(节点)有关的三个属性–nodeType、nodeName、nodeValue上篇博文我们讲到了如何通过DOM获取HTML文档中的元素，在这里要明白一点，当我们获取到具体的某一个元素的时候这个元素就......
admin
文章浏览阅读388次。本文就分享两个比较常用的Shell脚本1、查询类在哪个jar包在开发当中，我们经常会遇到NoClassDefFoundError或者ClassNotfoundException或者NoSuchMethodError，一般是类缺失，或者类的版本不对这时候我们就需要知道报错的......
admin
文章浏览阅读1.1k次。文章目录场景创建企业微信机器人CentOS7安装curlPython实现curl功能Zabbix监控DolphinScheduler节点并告警1、创建模板2、模板里创建监控项3、模板里创建触发器4、动作5、批量主机添加模板6、测试7、自动重启DS服务......
admin
文章浏览阅读1.3k次。RDD和共享变量是Spark中的两个重要抽象。RDD弹性分布式数据集， 是分布式内存的一个抽象概念，RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操......
admin
文章浏览阅读4w次，点赞23次，收藏154次。一、平台环境虚拟机：VMware Workstation Pro 64位操作系统：Ubuntu16.04 64位二、 软件包Jdk-8u171-linux-x64.tar(java version 1.8.0_171)Hadoop 2.9.1.tarScala-2.11.6Spark-2.3.1-bin-hadoop2.7三、Spark分布式集群环境搭建......
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
