我想看在大数据计算MaxCompute ods层生产环境有多少表正在使用 应该怎么看呢?在数据地图里不能直接看吗?...
admin
文章浏览阅读623次。01. 架构演进离线数据仓库到实时数据仓库,从lambda架构到kappa架构、再到混合架构。本文不再多再介绍,之前文章已有深入介绍,如有兴趣可看这篇文章:02. 逻辑分层数仓分层,一般按ods->dw->dm整体架构......
admin
文章浏览阅读237次。建表-- 订单表(增量及更新)-- hive (gmall)>drop table if exists ods_order_info;create external table ods_order_info ( `id` string COMMENT '订单号', `final_total_amount` decimal(16,2) COMMENT '订单金额', `order_status` string COMMENT '订单......
admin
哪 吒擅长华为OD机试(JAVA)真题(A卷+B卷),搬砖工逆袭Java架构师,Java SE,等方面的知识...
admin
文章浏览阅读4.4w次,点赞93次,收藏554次。数仓数据分层简介1. 背景数仓是什么, 其实就是存储数据,体现历史变化的一个数据仓库. 因为互联网时代到来,基于数据量的大小,分为了传统数仓和现代数仓.传统数仓,使用传统的关系型......
admin
文章浏览阅读502次。1.hadoop安装1.修改hadoop配置文件 hadoop-env.sh export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91 core-site.xml <!--hdfs namenode的地址+端口--> <property> <name>fs.default.name</name> <value>hdfs://hadoop000:8020</value> _......
admin
1 DQL操作单表1.1 创建数据表,复制表(1)创建一个新的数据库 db2CREATE DATABASE db2 CHARACTER SET utf8;(2)将db1数据库中的emp表复制到当前db2数据库DQL_排序查询:/* 排序 使用order by字句 语法结构:select 字段名 from 表名 [where 字段名 = ......
admin
文章浏览阅读550次。1 DWS层和DWM层的设计1.1 DWS层 前面的总结DWS层的定位是什么呢?轻度聚合,因为DWS层要应对很多实时查询,如果是完全的明细那么查询的压力非常大。将更多的实时数据以主题的形式组合起来便于管理,同时......
admin
文章浏览阅读2k次,点赞2次,收藏10次。数据中心的整体架构和数据流向:DB:是现有的数据来源,可以为mysql、sqlServer、文件日志等,为数据仓库提供数据来源的一般存在于现有的业务系统之中。ETL(Extract-Transform-Load):用来描述......
admin
友情链接申请要求: 不违法不降权 权重相当 请联系QQ:737597453