【精选】3.4.3 Azkaban 工作流调度系统, 概述, 安装部署, 使用(shell调度, job依赖, HDFS调度, MR调度, HIVE脚本调度)_CH_ENN的博客-CSDN博客

网友收藏2023-11-11 18:11

链接地址：https://blog.csdn.net/chengh1993/article/details/112390515
链接标题：【精选】3.4.3 Azkaban 工作流调度系统, 概述, 安装部署, 使用(shell调度, job依赖, HDFS调度, MR调度, HIVE脚本调度)_CH_ENN的博客-CSDN博客
所属网站：blog.csdn.net
被收藏次数：4860

文章浏览阅读306次。⼯作流调度系统Azkaban第 1 节概述1.1 ⼯作流调度系统⼀个完整的数据分析系统通常都是由⼤量任务单元组成：shell脚本程序 java程序 mapreduce程序 hive脚本等各任务单元之间存在时间先后及前后依赖关系,为了很好地组织起这样的复杂执⾏计划，需要⼀个⼯作流调度系统来调度任务的执⾏。假如，我有这样⼀个需求，某个业务系统每天产⽣20G原始数据，每天都要对其进⾏处理，处理步骤如下所示：通过Hadoop先将原始数据同步到HDFS上；借助MapR...

本文地址：https://tebull.com/detail/151367.html

标签：3.4.3 Azkaban 工作流调度系统概述安装部署使用(shell调度 job依赖 HDFS调度 MR调度 HIVE脚本调度)