特牛网址导航

Flink电商实时数仓项目02-DWD层_flink实时数仓宽表-CSDN博客

网友收藏
文章浏览阅读437次。1 需求分析及实现思路1.1 分层需求分析1.1.1 实时数仓为什么要分层?建设实时数仓的目的,主要是为了增加数据计算的复用性。每次新增加统计需求时,不至于从原始数据进行计算,而是从半成品继续加工而成。比如直接从dwd、dim、dwm、dws取数据。1.2 每层的职能分层数据描述生成计算工具存储媒介ODS原始数据,日志和业务数据日志服务器,maxwellkafkaDWD根据数据对象为单位进行分流,比如订单、页面访问等等。FLINKkafkaD_flink实时数仓宽表