Docker中部署flink集群的两种方式

太湖石

一、概述

本文将通过 2 种方式在 docker 中部署 flink standalone 集群，集群中共有 4 个节点，分别是 1 个 jobManager 节点和 3 个 taskManager 节点。方式一能快速部署一个 flink 集群，但是使用的是默认配置，不够灵活，方式二使用的是外置配置文件，可以灵活控制集群配置。

二、准备工作

准备工作是方式一和方式二都需要执行的工作，准备工作很简单，就是用以下命令创建一个 flink 网络

1. docker network create flink-network

复制代码

三、方式一

依次执行以下命令创建 flink 集群

1. docker run -d -p 8081:8081 --name flink-jobmanager --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 jobmanager
   
2. docker run -d --name flink-taskmanager1 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager
   
3. docker run -d --name flink-taskmanager2 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager
   
4. docker run -d --name flink-taskmanager3 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager

复制代码

四、方式二


1、准备配置文件

1.1、复制默认的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名为 jobmanager-conf.yaml 并放在 /home/debo/dockerData/flink 目录下

1. jobmanager.rpc.address: flink-jobmanager
   
2. jobmanager.bind-host: 0.0.0.0
   
3. #taskmanager.bind-host: localhost
   
4. #taskmanager.host: localhost
   
5. rest.address: 0.0.0.0
   
6. rest.bind-address: 0.0.0.0

复制代码

1.2、复制默认的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名为 taskmanager1-conf.yaml 并放在 /home/debo/dockerData/flink 目录下

1. jobmanager.rpc.address: flink-jobmanager
   
2. jobmanager.bind-host: 0.0.0.0
   
3. taskmanager.bind-host: 0.0.0.0
   
4. taskmanager.host: flink-taskmanager1
   
5. rest.address: 0.0.0.0
   
6. rest.bind-address: 0.0.0.0

复制代码

1.3、复制默认的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名为 taskmanager2-conf.yaml 并放在 /home/debo/dockerData/flink 目录下

1. jobmanager.rpc.address: flink-jobmanager
   
2. jobmanager.bind-host: 0.0.0.0
   
3. taskmanager.bind-host: 0.0.0.0
   
4. taskmanager.host: flink-taskmanager2
   
5. rest.address: 0.0.0.0
   
6. rest.bind-address: 0.0.0.0

复制代码

1.4、复制默认的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名为 taskmanager3-conf.yaml 并放在 /home/debo/dockerData/flink 目录下

1. jobmanager.rpc.address: flink-jobmanager
   
2. jobmanager.bind-host: 0.0.0.0
   
3. taskmanager.bind-host: 0.0.0.0
   
4. taskmanager.host: flink-taskmanager3
   
5. rest.address: 0.0.0.0
   
6. rest.bind-address: 0.0.0.0

复制代码

2、执行 docker 命令

依次执行以下命令创建 flink 集群

1. docker run -d -p 8081:8081 --name flink-jobmanager --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/jobmanager-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 jobmanager
   
2. docker run -d --name flink-taskmanager1 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager1-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager
   
3. docker run -d --name flink-taskmanager2 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager2-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager
   
4. docker run -d --name flink-taskmanager3 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager3-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager

复制代码

到此这篇关于Docker中部署flink集群的两种方式的文章就介绍到这了,更多相关Docker部署flink集群内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

来源:https://www.jb51.net/server/315986ppb.htm
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！