Flink 作业提交分为2种情况:
· on seesion 需要先启动集群,向yarn申请一块空间后,flink集群将一直存在。然后在提交作业,作业完成,释放作业消耗的相应资源空间。如果资源满了,下一个作业就无法提交,只能等到yarn中有空闲资源时,那下一个作业才会正常提交.
· per job ,Flink run不需要额外的去启动一个集群,直接提交作业,即可完成Flink作业,每提交一个作业会根据自身的情况,向yarn申请资源,创建一个新的flink集群,直到作业执行完成,任务执行完成之后创建的集群也会消失。。
flink 与spark 对应组件的理解
| flink | spark |
job manager | master driver |
| Task manager | work |
| task slot 隔离内存 共享CPU | execuor |
| task | stage |
//准备环境
createLocalEnvironment 创建一个本地执行的环境 local
createLocalEnvironmentWithWebUI 创建一个本地执行的环境 同时还开启Web UI的查看端口 8081
getExecutionEnvironment 根据你执行的环境创建上下文,比如local cluster
并行度设置
1 配置文件 系统全局设置
2 提交job
3 代码中设置 代码全局或者算子中设置setParallelism
算子的依赖链给隔离或者分开
startNewChain 逻辑简单 提交执行效率
disableChaining 逻辑复杂,通过提交并行度提高效率文章转载自悠然亭记,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。




