- 链接地址:https://blog.csdn.net/Chenftli/article/details/123934752
- 链接标题:【大数据】flink保证Exactly_Once的理解_flink excelty once的控制-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:4975
文章浏览阅读3.8k次,点赞14次,收藏12次。满足三点,可以保证端到端的Exactly_Once1.开启checkpoint2.source支持数据重发3.sink端幂等性写入、事务性写入。我们常使用事务性写入sink 事务性写入分为两种方式1、WAL(预写日志的方式):先将数据当作状态保存,当收到checkpoint完成通知后,一次性sink到下游系统2、2pc(两阶段提交):大致的实现的过程就是:* 开始事务(beginTransaction)创建一个临时文件夹,来写把数据写入到这个文件夹里面。* 预提交(preCommit)将内存_flink excelty once的控制
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除