暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Flink1.11.1的StandaloneSessionClusterEntrypoint模式部署

IT那活儿 2021-03-13
3974
点击上方蓝字关注我们

环境

三台机器,ip为103、104、105,主节点为103,其它为从节点

环境信息主机如下表格:

JobManager/ TaskManager

TaskManager

TaskManager

192.168.199.103/bigdata-04

192.168.199.104/bigdata-05

192.168.199.105/bigdata-06

Master/Slave

Slave

Slave

安装

首先下载Flink安装压缩包

Flink下载:

https://flink.apache.org/downloads.html

https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.11.1/flink-1.11.1-bin-scala_2.11.tgz

下载完成后放到103主节点机器的/home/gpadmin/目录下,并解压安装,该文件是可以拿来就用的,所以解压完就可以了

解压安装:

tar -zvxf flink-1.11.1-bin-scala_2.11.tgz -C /home/gpadmin/

cd /home/gpadmin/

ln -sv flink-1.11.1/ flink

配置

flink-conf.yaml

修改flink/conf/flink-conf.yaml文件:

jobmanager.rpc.address:bigdata-04

jobmanager.rpc.port:6123

jobmanager.heap.size:1024m

taskmanager.heap.size:1600m

taskmanager.numberOfTaskSlots:8

parallelism.default:1

masters

修改flink/conf/masters

bigdata-04:8081

slaves

修改flink/conf/slaves

bigdata-04

bigdata-05

bigdata-06

下发

分发文件以及配置到其它两台机器

scp-r home/gpadmin/flink bigdata-05:/home/gpadmin/flink

scp-r home/gpadmin/flink bigdata-06:/home/gpadmin/flink

启动

进入主节点/flink/bin

./start-cluster.sh

UI

进入UI界面

http://192.168.199.103:8081

UI界面提交作业

点击SubmitNew Job 功能,然后添加jar包

添加完成后,输入主程序的路径,及并发等提交作业即可看到任务正在运行

通过TaskManager找到任务的控制台,可以看到输出

UI停止作业

至此,Flink安装部署1.11.1StandaloneSessionClusterEntrypoint模式部署,以及UI界面提交jar包和作业模式、停止作业等就全部完成了。

END



文章转载自IT那活儿,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论