一种在应用程序中提交flink作业到yarn集群的实现方法与装置_CN114489833A_达梦数据.pdf
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202111674276.4
(22)申请日 2021.12.31
(71)申请人 武汉达梦数据库股份有限公司
地址 430000 湖北省武汉市东湖新技术开
发区高新大道999号未来科技大厦C3
栋16-19层
(72)发明人 高东升 梅纲 胡高坤
(74)专利代理机构 深圳市六加知识产权代理有
限公司 44372
专利代理师 向彬
(51)Int.Cl.
G06F
9/445
(2018.01)
G06F
8/60
(2018.01)
G06F
8/71
(2018.01)
G06F
16/182
(2019.01)
(54)发明名称
一种在应用程序中提交flink作业到yarn集
群的实现方法与装置
(57)摘要
本发明涉及大数据计算技术领域，本发明公
开了一种在应用程序中提交flink作业到yarn集
群的实现方法与装置，解决了Hadoop配置文件和
第三方依赖jar包的部署问题，该方法通过重写
部分flink系统类中的函数，实现了Hadoop配置
文件和第三方依赖jar包的自定义部署，提高了
应用程序的部署灵活性、便捷性和运行效率，降
低了对环境的依赖程度，避免了不同应用程序之
间可能存在的相互干扰。
权利要求书2页 说明书16页 附图4页
CN 114489833 A
2022.05.13
CN 114489833 A
1 .一种在应用程序中提交flink作业到yarn集群的实现方法，其特征在于，方法包括：
Flink集群在yarn集群上部署，根据应用程序自定义的Hadoop配置文件构建一个常驻
的YarnClient，所述flink集群通过所述YarnClient与yarn集群进行交互；
当没有权限直接向HDFS文件系统上传flink系统jar包和第三方依赖jar包时，将flink
系统jar包和第三方依赖jar包部署到Hadoop集群所有节点的本地路径中，当flink集群在
yarn集群上部署时，在所述Hadoop集群所有节点的本地路径中加载所述flink系统jar包和
第三方依赖jar包。
2.根据权利要求1所述的在应用程序中提交flink作业到yarn集群的实现方法，其特征
在于，所述根据应用程序自定义的Hadoop配置文件路径中构建一个常驻的YarnClient，具
体包括：
将Hadoop配置文件放在应用程序自定义的Hadoop配置文件路径中，根据所述Hadoop配
置文件构建一个常驻的YarnClient，所述flink集群通过所述YarnClient与yarn集群进行
交互。
3.根据权利要求2所述的在应用程序中提交flink作业到yarn集群的实现方法，其特征
在于 ，根据所述Had oop集群构建一个常驻的FileSystem ，所述f link集群通过所述
FileSystem与HDFS进行交互。
4 .根据权利要求1所述的在应用程序中提交flink作业到yarn集群的实现方法，其特征
在于，所述将flink系统jar包和第三方依赖jar包中的一个或者多个部署到Hadoop集群所
有节点的本地路径中，具体包括：
当没有权限直接向HDFS文件系统上传flink系统jar包和第三方依赖jar包中的一个或
者多个时，遍历flink系统jar包和第三方依赖jar包的原始路径，flink系统jar包和第三方
依赖jar包中的一个或者多个部署到Hadoop集群所有节点的本地路径中，在所述flink系统
jar包和第三方依赖jar包的原始路径的文件结构与所述Hadoop集群所有节点的本地路径
的文件结构保持一致的条件下构建所述jar包的全路径名，将parent路径替换成Hadoop集
群所有节点的本地路径，将所述构建出来的jar包全路径名加入classpath中。
5.根据权利要求4所述的在应用程序中提交flink作业到yarn集群的实现方法，其特征
在于，所述将构建出来的jar包全路径名加入classpath中具体包括：
将所述classpath设置到AM的环境变量中的YarnConfigKeys .ENV_FLINK_CLASSPATH对
应的参数值中，当flink集群在yarn集群上部署时，所述ApplicationMaster启动，从所述
Hadoop集群所有节点的本地路径中加载所述flink系统jar包和第三方依赖jar包。
6.根据权利要求3所述的在应用程序中提交flink作业到yarn集群的实现方法，其特征
在于，当有权限直接向HDFS文件系统上传flink系统jar包和第三方依赖jar包时 ，则在
flink集群在yarn集群上部署之前将所述flink系统jar包和第三方依赖jar包上传至HDFS
文件系统的第一路径中。
7 .根据权利要求6所述的在应用程序中提交flink作业到yarn集群的实现方法，其特征
在于，设置yarn .provided .lib .dirs参数指向所述HDFS文件系统的第一路径，当flink集群
部署在yarn集群上面时，从所述HDFS文件系统的第一路径加载所述flink系统jar包和第三
方依赖jar包。
8.根据权利要求1所述的在应用程序中提交flink作业到yarn集群的实现方法，其特征
权 利 要 求 书
1/2 页
2
CN 114489833 A
2
of 23
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论