特牛生活网

大数据学习——实现多agent的串联,收集数据到HDFS中-CSDN博客

网友收藏
采集需求:比如业务系统使用log4j生成的日志,日志内容不断增加,需要把追加到日志文件中的数据实时采集到hdfs,使用agent串联根据需求,首先定义以下3大要素第一台flume agentl 采集源,即source——监控文件内容更新 : exec ‘tail -F file’l 下沉目标,即sink——数据的发送者,实现序列化 : avro sink..._hdfs agent\
标签:hdfs agent\