Flink 集群环境搭建

  1. 将本地flink-1.14.0-bin-scala_2.11.tgz复制进master容器中root目录中
1
docker cp /path/to/flink-1.14.0-bin-scala_2.11.tgz master:/root
  1. 在/etc/profile中添加如下环境变量
1
export HADOOP_CLASSPATH = `hadoop classpath`
  1. 将flink解压进/opt/module目录下
1
tar zxvf /root/flink-1.14.0-bin-scala_2.11.tgz -C /opt/module/
  1. 将解压后的目录改名为flink
1
mv /opt/module/flink-1.14.0-bin-scala_2.11 /opt/module/flink
  1. flink的配置文件都存放在${FLINK_HOME}/conf中
1
cd /opt/module/flink/conf
  1. 配置flink-conf.yaml
  • 该文件是 Flink 的基本配置，用于配置JobManager、内存大小等
1
2
jobmanager.rpc.address: master
taskmanager.numberOfTaskSlots: 2
  • 指定JobManager为master
  • 设置TaskManager的插槽数量为 2（根据你的需要进行调整）
  1. 配置workers
  • 该文件用于指定TaskManager节点
1
2
3
master
slave1
slave2
  1. 配置masters
  • 该文件用于指定JobManager节点和端口
1
master:8081
  1. 分发flink
1
2
scp -r /opt/module/flink/ slave1:/opt/module/
scp -r /opt/module/flink/ slave2:/opt/module/

启动群集

  1. 在容器 master 中执行
1
/opt/module/flink/bin/start-cluster.sh

验证集群

1
jps
  1. 使用jps命令查看flink进程：
1
2
8275 StandaloneSessionClusterEntrypoint
8622 TaskManagerRunner
  1. 在 slave1 slave2 中显示这个进程则开启成功
1
2943 TaskManagerRunner

参考文章

快速入门 Flink(2)——Flink 集群环境搭建（3 台节点 建议收藏）
Flink 配置文件详解