湖仓一体电商项目（二十四）：合并Iceberg小文件_flink iceberg 合并小文件删除合并前的文件-CSDN博客

网友收藏2024-01-22 16:35

链接地址：https://lansonli.blog.csdn.net/article/details/127128355
链接标题：湖仓一体电商项目（二十四）：合并Iceberg小文件_flink iceberg 合并小文件删除合并前的文件-CSDN博客
所属网站：lansonli.blog.csdn.net
被收藏次数：780

文章浏览阅读1.8k次，点赞8次，收藏11次。随着不断删除snapshot，在Iceberg表不再有manifest文件对应的parquet文件也会被删除。Iceberg表每次commit都会生成一个parquet数据文件，有可能一张Iceberg表对应的数据文件非常多，那么我们通过Java Api 方式对Iceberg表可以进行数据文件合并，数据文件合并之后，会生成新的Snapshot且原有Snap快照数据并不会被删除，如果要删除对应的数据文件需要通过“Expire Snapshots来实现”。每次表提交后是否删除旧的元数据文件。_flink iceberg 合并小文件删除合并前的文件

本文地址：https://tebull.com/detail/478506.html

标签：flink iceberg 合并小文件删除合并前的文件