特牛网址导航

Flink 批处理——多文件写入hdfs(Java)_flink写hdfs小文件过多处理-CSDN博客

网友收藏
文章浏览阅读1.9k次。@羲凡——只为了更好的活着Flink 批处理——多文件写入hdfs(Java)0.本文解决哪种问题假如你有5000个门店甚至更多,产品需要你将每个门店的数据都写成一个文件且以门店命名,这意味着你要写5000或更多的文件,如果你直接用flink批处理writeAsText算子要么报错,要么特别慢,如果报错 Cannot currently handle nodes with more tha..._flink写hdfs小文件过多处理