特牛生活网

大数据智慧数字电商第一课 实时数仓技术选型和架构设计_大数据数仓技术选型-CSDN博客

网友收藏
文章浏览阅读2k次。实时数仓第1天讲义学习目标理解实时数仓项目的基本需求、整体架构了解常用实施方案能够编写Canal客户端采集binlog消息理解google ProtoBuf序列化方式理解Canal采集原理实时计算应用场景及技术选型实时计算在公司的用处公司内已经采用MR与spark之类的技术,做离线计算,为什么用实时计算?离线的伤痛就是数据出的太慢有对实时数据要求高的场景比如:滴滴的风控、淘宝双十一营销大屏、电商购物推荐、春晚的观众数统计实时计算技术选型Spark streaming_大数据数仓技术选型