文章浏览阅读5.5k次，点赞3次，收藏4次。很久之前总结的，数据挖掘流程方法论，标准流程是：数据准备-->数据分布探索-->数据预处理-->特征工程-->模型的构建-->模型的优化和调参-->模型的发布，不论采用什么框架......
admin
文章浏览阅读1.9k次。一、HDFS文件系统（重要）1、namenode:接收用户操作请求；维护文件系统的目录结构；管理文件与block之间的关系、block与datanode的关系，只存储元数据。 namenode管理：namenode支持对HDFS中的目录、文件和块b......
admin
文章浏览阅读377次。文章目录一、新建Zabbix用户二、编译环境准备三、去官网下载编译安装的Zabbix四、修改zabbix-agent配置文件五、启动Zabbix-Agent一、新建Zabbix用户[root@zabbix ~]# groupadd zabbix[root@zabbix ~]# useradd zabbix -g zabbix -s /sbin/nolo......
admin
文章浏览阅读4.1k次，点赞7次，收藏7次。Python+selenium 自动化-chrome页面静止、冻结技术，获取web动态页面的Xpath方法，查看浏览器动态dom节点。很多时候根据需要，我们要取动态界面某些元素的Xpath。如图所示，动态的界面静止了......
admin
文章浏览阅读655次。Hadoop原理篇前言IT技术的学习就像武侠中练武功一样，练武不练功到老一场空。阳哥教育我们，不要单纯的做API调用工程师，学一些不易变的原理，做一个有内涵的程序员。正文什么是Hadoop？Hadoop是一个由Apac......
admin
文章浏览阅读152次。ZooKeeper 概述 Zookeeper 是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题，例如怎样避免同时操作同一数据造成脏读的问题。 ZooKeeper 本质上是一个分布式的小文件存......
admin
文章浏览阅读1.6w次，点赞9次，收藏18次。刚部署好的spark,启动时报异常,JAVA_HOME is not set.排查后发现,在sbin目录下的spark-config.sh文件下未添加JAVA_HOME的索引.在该文件下添加jdk的路径,再分发到各个节点上就可以了 ..._starrocks部署brok......
admin
文章浏览阅读1.6w次，点赞9次，收藏18次。刚部署好的spark,启动时报异常,JAVA_HOME is not set.排查后发现,在sbin目录下的spark-config.sh文件下未添加JAVA_HOME的索引.在该文件下添加jdk的路径,再分发到各个节点上就可以了 ..._starrocks部署brok......
admin
文章浏览阅读360次。1．Hive安装及配置（1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下（2）解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面[test@hadoop102 software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/mod..._提供hiveserver2服务......
admin
文章浏览阅读372次。看一下对应的 hfile 文件内容命令hbase Hfile -e -p -f /hbase/data/hbase/meta/1588230740/info/5660f2774e0d41d985ac3758ee1db9e3由于 master 节点一直初始化导致的问题:查看 namespace 元数据是否正常echo 'scan "hbase:meta"' | hbase shell......
admin
文章浏览阅读426次。错误原因：Exception in thread “main” java.lang.NullPointerException（空指针异常）按照指示，跳到代码146行，发现是在进行递归时没有判断左儿子和右儿子是否为空，如果为空，则会出现空指针异常。解决方法：此......
admin
文章浏览阅读858次。Spark（一）前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学......
admin
文章浏览阅读76次。题目描述在一个排序的链表中，存在重复的结点，请删除该链表中重复的结点，重复的结点不保留，返回链表头指针。 例如，链表1->2->3->3->4->4->5 处理后为 1->2->5。解题思路设置两个根节点p1......
admin
文章浏览阅读279次。目录使用场景集群规划zookeeper安装1.下载zookeeper安装包2.解压3.修改配置文件4.添加myid配置5.安装包分发到其他机器并修改myid的值6.启动zookeeper集群zookeeper的shell客户端操作1.登录zookeeper客户端2.zookeeper客户端操......
admin
距离2021注会报名还剩下五天的时间，天地培训特地整理了大家关于注会报名都关心的问题，以保障考生们注会报名顺利进行。值得注意的是今年注会报名时间和缴费时间是分开的，避免一些考生盲目报名后期缺考的现象。有关......
admin
文章浏览阅读9k次。系统提示且namenode一直无法启动如果是这种情况就去看虚拟机的hostname的名称 是否和 虚拟机的vi /etc/hosts中的ip是否配的一致，如果没有的话，就修改下名称或者ip然后重启网络 namenode的配置文件重新hdfs namenode ......
admin
文章浏览阅读1.1k次。今天值班由于hdfs的日志满了导致磁盘爆了100%，zk和journal都挂了删日志文件的时候，不知道删错哪个地方了。该目录下一直报错，这个日志文件增长很快，/home/bigdata/hadoop/logs/ hadoop-hdfs-journalnode-xx.log 先备份jo......
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
