特牛生活网

大数据之Azkaban 概论完整使用(第一章)_一个完整的数据分析系统通常都是由大量任务单元组成shell 脚本程序,java 程序-CSDN博客

网友收藏
  • 链接地址:https://blog.csdn.net/qq_42082701/article/details/122085452
  • 链接标题:大数据之Azkaban 概论完整使用(第一章)_一个完整的数据分析系统通常都是由大量任务单元组成shell 脚本程序,java 程序-CSDN博客
  • 所属网站:blog.csdn.net
  • 被收藏次数:6157
文章浏览阅读905次。大数据之Azkaban 概论一、为什么需要工作流调度系统二、常见工作流调度系统三 、Azkaban 与 Oozie 对比一、为什么需要工作流调度系统1)一个完整的数据分析系统通常都是由大量任务单元组成:Shell 脚本程序,Java 程序,MapReduce 程序、Hive 脚本等2)各任务单元之间存在时间先后及前后依赖关系3)为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行;为什么需要工作流调度系统二、常见工作流调度系统1)简单的任务调度:直接使用 Li_一个完整的数据分析系统通常都是由大量任务单元组成shell 脚本程序,java 程序