特牛网址导航

【大数据】flink保证Exactly_Once的理解_flink excelty once的控制-CSDN博客

网友收藏
文章浏览阅读3.8k次,点赞14次,收藏12次。满足三点,可以保证端到端的Exactly_Once1.开启checkpoint2.source支持数据重发3.sink端幂等性写入、事务性写入。我们常使用事务性写入sink 事务性写入分为两种方式1、WAL(预写日志的方式):先将数据当作状态保存,当收到checkpoint完成通知后,一次性sink到下游系统2、2pc(两阶段提交):大致的实现的过程就是:* 开始事务(beginTransaction)创建一个临时文件夹,来写把数据写入到这个文件夹里面。* 预提交(preCommit)将内存_flink excelty once的控制