特牛网址导航

Apache Hudi在AWS Glue和AWS EMR上同步元数据的异同_awscatalogmetastoreclient-CSDN博客

网友收藏
文章浏览阅读837次,点赞2次,收藏3次。继我们上篇文章《在AWS Glue中使用Apache Hudi》介绍了如何在Glue中同步Hudi元数据之后,本文我们再简短截说一下Hudi在EMR上的元数据同步。首先,EMR对于元数据的存储提供两种方案:一是标准的Hive Metastore ,即使用一个关系型数据库村存储元数据;二是使用是Glue Catalog。显然,在使用标准Hive Metastore时,我们不必担心Hudi有同步元数据上有任何问题,需要我们确认的是在EMR使用Glue Catalog时,应该如何配置元数据同步。先说结论:当E_awscatalogmetastoreclient