文章浏览阅读5.2k次，点赞2次，收藏12次。1.SummingMergeTree引擎:SummingMergeTree(参数:字段):这个引擎会将指定的字段,在合并数据片段的时候对指定的字段,主键相同的进行一个累加;2.Memory引擎:数据不会持久化到磁盘 临时数据,当我们重......
admin
（一）Hive 概述（二）Hive在Hadoop生态圈中的位置（三）Hive 架构设计（四）Hive 的优点及应用场景（五）Hive 的下载和安装部署1.Hive 下载Apache版本的Hive。Cloudera版本的Hive。这里选择下载Apache稳定版本apache-hive-0.13.1-bin.tar.gz，并上......
admin
文章浏览阅读482次。使用Vue+Echert集成实现数据可视化前言办法一办法二总结前言这些年随着互联网的发展，越来越多的人对传统数字型的数据进行图表化，应运而生了很多可视化工具以及图标库，其中echarts 应该是国内做的最好......
admin
文章浏览阅读685次，点赞2次，收藏5次。一、背景随着公司业务规模的扩大，需求的不断提升，数据量级也在不停的增长，公司其他兄弟部门也需要越来越多的数据需求。为此，我们部门有如下任务需要完成：1.找到客户尽量多......
admin
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难......
admin
文章浏览阅读10w+次，点赞50次，收藏482次。单选题1. 某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？(A)A. 关联规则发现B. 聚类C. 分类D. 自然语言处理2. 以下两种描述分别对应......
admin
雄安新区位于太行山以东平原区，100 m以浅地层以冲洪积冲湖积砂层和黏土层为主，工程地质条件良好。中国地质调查局组织实施了工程地质勘查工作，获取了百余个钻孔的地层、标贯、测试等地质数据，形成了雄安新区工程地......
admin
文章浏览阅读6.3k次，点赞11次，收藏9次。本节继续探讨集成学习算法，上一节介绍的是LGB的使用和调参，这里使用datasets自带的鸢尾花数据集介绍XGB，关于集成学习算法的介绍可以参考：数据挖掘算法和实践（十八）：集成学习......
admin
文章浏览阅读300次。文章目录1.分布式文件系统HDFS1.HDFS的来源2.HDFS的架构图之基础架构2.1 master/slave 架构2.2 名字空间（NameSpace）2.3 文件操作2.4副本机制2.5心跳机制2.6 一次写入，多次读出3.NameNode与Datanode的总结概述3.1namenode 元数......
admin
1、下载解压Flume2、修改Flume配置文件监测目录下是否有新文件，如果有就解析出来，发给kafka3、启动kafka的消费者4、启动Flume进行测试_hadoop+kafka+flume...
admin
米德高斯大数据科技（上海）股份有限公司（https://mrchip.gys.cn）主营产品包括连接器、集成电路IC、二三极管、容阻器等,米德高斯大数据科技（上海）股份有限公司负责人HANK先生,米德高斯大数据科技（上海）股份有限公司希望......
admin
文章浏览阅读319次。PySpark入口架构及Jupyter Notebook集成环境搭建在Linux上安装Anaconda集成PySpark-Installation集成PySpark-Configuration集成PySparkPySpark简介PySpark包介绍使用PySpark处理数据PySpark中使用匿名函数SparkContext.addPyFile在PySpark中使用Spa......
admin
文章浏览阅读1.2k次。1.项目工程结构2.pom依赖配置<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://mav......
admin
文章浏览阅读9k次，点赞8次，收藏21次。本节使用datasets数据集中的癌症数据集使用LightGBM进行建模的简单案列，关于集成学习的学习可以参考：数据挖掘算法和实践（十八）：集成学习算法（Boosting、Bagging），LGBM是一个非常常......
admin
文章浏览阅读745次。完成效果图：项目准备提要：<!-- 分页插件 --><dependency> <groupId>com.github.pagehelper</groupId> <artifactId>pagehelper-spring-boot-starter</artifactId> <version>1.2.5</version></dependency><!-- ......
admin
文章浏览阅读2.1k次。MySQL使用MySQL Connector/J 用Java编程语言开发的客户端应用程序提供连接，Connector/J实现了Java数据库连接（JDBC）API，以及它的许多增值扩展。它还支持新的 X DevAPI。是一个 JDBC Type 4 驱动程序，实现了 JDBC 4.2 规......
admin
文章浏览阅读732次，点赞2次，收藏4次。仅仅为了学习记录，有错误请指出先在mysql中创建student表，并插入两条数据mysql> show databases;+--------------------+| Database |+--------------------+| information_schema || flume || hive ......
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
