特牛生活网

【Flink】Flink的系统架构、作业提交以及一些重要概念_flink 会把每条 dml sql 解析为一个 job 执行,所以存在执行一次作业有多条任务记-CSDN博客

网友收藏
  • 链接地址:https://blog.csdn.net/m0_65025800/article/details/123906986
  • 链接标题:【Flink】Flink的系统架构、作业提交以及一些重要概念_flink 会把每条 dml sql 解析为一个 job 执行,所以存在执行一次作业有多条任务记-CSDN博客
  • 所属网站:blog.csdn.net
  • 被收藏次数:4261
文章浏览阅读1.6k次。一、系统架构1、整体构成客户端并不是处理系统的一部分,它只负责作业的提交。具体来说,就是调用程序的 main 方法,将代码转换成“数据流图”(Dataflow Graph),并最终生成作业图(JobGraph),一并发送给 JobManager。JobManager 和 TaskManagers 可以以不同的方式启动: (1)作为独立(Standalone)集群的进程,直接在机器上启动 (2)在容器中启动 (3)由资源管理平台调度启动,比如 YARN、K8S 2、JobM_flink 会把每条 dml sql 解析为一个 job 执行,所以存在执行一次作业有多条任务记