暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

flink 基础知识

悠然亭记 2021-06-07
153

Flink 作业提交分为2种情况:

·        on seesion   需要先启动集群,向yarn申请一块空间后,flink集群将一直存在。然后在提交作业,作业完成,释放作业消耗的相应资源空间。如果资源满了,下一个作业就无法提交,只能等到yarn中有空闲资源时,那下一个作业才会正常提交.


·        per job ,Flink run不需要额外的去启动一个集群,直接提交作业,即可完成Flink作业,每提交一个作业会根据自身的情况,向yarn申请资源,创建一个新的flink集群,直到作业执行完成,任务执行完成之后创建的集群也会消失。。


flink 与spark 对应组件的理解

flinkspark

job manager  

master driver
Task  managerwork
task slot 隔离内存 共享CPU
execuor
task
stage


//准备环境
createLocalEnvironment 创建一个本地执行的环境 local
createLocalEnvironmentWithWebUI 创建一个本地执行的环境 同时还开启Web UI的查看端口 8081
getExecutionEnvironment 根据你执行的环境创建上下文,比如local cluster


并行度设置

1 配置文件 系统全局设置

2 提交job

3 代码中设置 代码全局或者算子中设置setParallelism 


算子的依赖链给隔离或者分开

startNewChain 逻辑简单 提交执行效率

disableChaining  逻辑复杂,通过提交并行度提高效率


文章转载自悠然亭记,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论