Flume 环境搭建

复制和安装 flume

  1. 将本地apache-flume-1.9.0-bin.tar.gz复制进master容器中root目录中
1
docker cp /path/to/apache-flume-1.9.0-bin.tar.gz master:/root
  1. 将flume解压进/opt/module目录下
1
tar zxvf /root/apache-flume-1.9.0-bin.tar.gz -C /opt/module/
  1. 将解压后的目录改名为flume
1
mv /opt/module/apache-flume-1.9.0-bin /opt/module/flume

配置 flume

  1. flume的配置文件都存放在${FLUME_HOME}/conf中
1
cd /opt/module/flume/conf
  1. 将配置文件模板复制成配置文件
1
cp flume-env.sh.template flume-env.sh
  1. 配置flume-env.sh
  • 添加 java 环境变量
1
export JAVA_HOME=/opt/module/jdk

启动 flume

  • 启动 Flume agent 并加载配置文件
1
/opt/module/flume/bin/flume-ng agent -c conf -f /opt/module/flume/conf/flume-conf.properties -n a1 -Dflume.root.logger=INFO,console
  • 若能够正常启动代表搭建成功

若要与 hadoop 进行交互（可选）

  1. 从 hadoop 中复制必要的jar包
1
2
3
cp $HADOOP_HOME/share/hadoop/common/hadoop-common-3.1.3.jar  /opt/module/flume/lib
cp $HADOOP_HOME/share/hadoop/common/lib/hadoop-auth-3.1.3.jar /opt/module/flume/lib
cp $HADOOP_HOME/share/hadoop/common/lib/commons-configuration2-2.1.1.jar /opt/module/flume/lib
  1. 将 hadoop 的配置文件复制到 flume 的配置文件
1
2
cp $HADOOP_HOME/etc/hadoop/core-site.xml /opt/module/flume/conf
cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml /opt/module/flume/conf
  1. 删除冲突的 jar 包
1
rm /opt/module/flume/lib/guava-11.0.2.jar

参考文章

flume环境配置-传输Hadoop日志（namenode或datanode日志）