文章浏览阅读596次。1 引入背景：目前我们实时接入binlog，用的是kudu，但kudu对大事务支持不好，关键成本比较高，大数据加胜同学建议尝试数据湖，从而开始了数据湖的探索。后续与培殿同学一直配合跟进数据湖，发掘出数据......
admin
文章浏览阅读1.5w次，点赞8次，收藏51次。转载自https://mp.weixin.qq.com/s/321mkZsuxqXOme5hw_83mQ网管产品需要从数据仓库的角度来看，才能获得完整的视图。数据集成真正从大数据的角度来看，才能明白其中的挑战。一个运行了20多年的......
admin
文章浏览阅读757次。我们都知道，进行数据分析工作的时候会用到很多的工具，比如说数据湖和数据仓库，不过这两者之间的差异和区别，可能会让人困惑。那么大家知道不知道数据湖和数据仓库的区别是什么呢？下面我们就给......
admin
文章浏览阅读657次，点赞2次，收藏2次。数据湖调研文档_数据调研文档...
admin
文章浏览阅读2.2k次。数据湖2018.2.21版权声明：本文为博主chszs的原创文章，未经博主允许不得转载。我们生活在数据时代，根据Gartner的报告，全球信息数据量每年以59％的速度递增。管理海量数据是一个重大挑战，数据的品种和......
admin
数据湖 - 学习笔记（一）,数据湖...
admin
文章浏览阅读550次。数据湖是数据仓库的补充,是为了解决数据仓库漫长的开发周期，高昂的开发、维护成本，细节数据丢失等问题出现的。数据湖大多是相对于传统基于RDBMS的数据仓库，而从2011年前..._datalack分层...
admin
文章浏览阅读257次。前言随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据..._横向的数据共享和分析......
admin
flink SQL报错java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLj,Flink + Hudi demo 环境,SparkSQL查询Apache Hudi表进入命令,apache,hudi...
admin
CDC一键入湖：当 Apache Hudi DeltaStreamer 遇见 Serverless Spark,探索Apache Hudi核心概念（系列文章）,探索Apache Hudi核心概念 (4) - Clustering,hudi,datalake,增量处理...
admin
文章浏览阅读2.2k次。来源：知乎 作者：十叶心全文共14108个字，建议阅读 20分钟一、基本概念1.1数仓发展历史数据湖是以集中方式存储各种类型数据，提供弹性的 容量和吞吐能力，能够覆盖广泛的数据源，支持多种计算与处理......
admin
文章浏览阅读1.6k次。前言 元数据管理是企业数据治理的基础，是数据仓库的提升。作为一名数据人，首要任务就是理解元数据管理。本篇文章将为大家梳理元数据的概念，介绍元数据管理在数据仓库的地位、场景及工具......
admin
数据湖及湖仓一体化项目学习框架,湖仓一体电商项目（二十四）：合并Iceberg小文件,湖仓一体电商项目（二十三）：离线业务 统计每天用户商品浏览所获积分,big data,数据仓库,hadoop...
admin
文章浏览阅读3.3k次。什么是数据湖？数据湖是一个集中式存储库，允许以任意规模存储所有结构化和非结构化数据。您可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析 – 从控制面板和可视化到大......
admin
文章浏览阅读1.6k次，点赞4次，收藏10次。本书描述了数据湖基础知识，如基本架构、与数仓的对比、数据存储、元数据处理、数据访问控制等，读完能够让你对数据湖技术有一个概述性的认知。笔记按章节整理如下：一 数据湖......
admin
百度智能云对象存储BOS提供稳定、安全、高效、高可扩展的云存储服务。您可以将任意数量和形式的非结构化数据存入对象存储BOS，BOS支持标准、低频、冷和归档存储等多种存储类型，适用于数据迁移、企业数据管理、数据处理......
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
