特牛网址导航

大半年来做的计算这点事_pipeline dag-CSDN博客

网友收藏
文章浏览阅读4.3k次,点赞5次,收藏3次。写一篇随笔,谈谈大半年来做的一些事情。简单地说,从去年三月份到现在,一直在做一个计算框架:BH,一个core。我对自己的要求是,掌握Spark(和Flink),然后忘了它。所以层面core基本和spark core的层次是一致的,核心是pipeline和DAG。开始做这件事的时候,Flink当时的两层runtime还没统一成pipeline,所以当时与spark core实现思想的主要区分之一就在于_pipeline dag
标签:pipeline dag