特牛生活网

大数据-Flume(一):日志收集系统【将应用产生的日志数据发送到Kafka/HDFS/HBase】【Source(上游)--Channel(缓冲区)-->Sink(下游)】【基于CentOS6】_使用flume软件从linux主机的特定目录中采集日志文件,汇总到指定的服务器并存入had_u013250861的博客-CSDN博客

网友收藏
  • 链接地址:https://blog.csdn.net/u013250861/article/details/112549713
  • 链接标题:大数据-Flume(一):日志收集系统【将应用产生的日志数据发送到Kafka/HDFS/HBase】【Source(上游)--Channel(缓冲区)-->Sink(下游)】【基于CentOS6】_使用flume软件从linux主机的特定目录中采集日志文件,汇总到指定的服务器并存入had_u013250861的博客-CSDN博客
  • 所属网站:blog.csdn.net
  • 被收藏次数:9535
一、Flume安装1、在hadoop102服务器上安装2、将Flume目录、环境变量文件分发到hadoop101、hadoop103上二、编写Agent的配置文件三、Flume的使用1、Agent01(netcatsource):监听某个tcp端口手动的数据,然后将数据输出到控制台1.1 Agent01配置文件:netcatsource-loggersink.conf1.2 启动 Agent012、Agent02(execsource):实时监控单个本机文件的内容,将内容写入到HDFS2._使用flume软件从linux主机的特定目录中采集日志文件,汇总到指定的服务器并存入had