暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

数据慧治 | 统一调度工具——轻松实现全链路任务可视化调度

311





统一调度工具贯穿数据处理全业务,提供图形化的简单配置方式对作业流程进行设计,使加工过程中复杂的依赖关系显现化,并按照正确的依赖关系自动及时准确地执行。同时提供可视化统一监控能力,对全业务流程提供实时监控与预警功能。


“便捷”的统一调度工具



•  图形化任务编排能力,开箱即用,操作简单,逻辑清晰,提供了高效的业务流程开发方式。支持多种类型任务调用,包括SQL、过程、SHELL、数据流、稽核、子流程、Python、ftp上传下载、侦测、压缩、API调用、邮件节点等。


•  灵活的作业定义:包括并行、串行、汇聚、循环等定义方式,并且支持使用模板进行高效设计


•  提供自定义插件方式支持用户自行扩展支持的任务,无需改变核心程序,用户即可自行扩展,丰富调度能力



“高可用高并发”的调度工具


•  支持多种类型调度启动方式,包括间隔、周期、时间表达式、事件依赖、手动启动等多种方式,满足数据处理业务中不同调度场景。


•  采用去中心化分布式部署模式,支持应用水平扩展,根据业务并发量对部署节点进行水平扩展。支持应用平滑升级,保证7*24小时应用不间断提供服务。


•  高可用调度,采用心跳机制监听调度节点,自动发现异常节点,接管异常作业,无需人为干预保证调度的及时性、可用性。


•  计算资源并发控制支持。根据计算资源并发能力、任务优先级提交任务,保障重点任务的及时性同时保障计算资源的稳定性。


•  定制化负载策略,根据应用节点上实际运行的任务数进行调用负载,保证多个节点的线程及资源占用压力均衡。



可视化运维



  提供全流程监控总览视角,对每个运行作业支持图形化查看依赖和影响。并提供用户运维干预能力。

  实时监控正在执行的流程和已经结束的流程(报错、执行成功、执行失败的流程和被终止的流程)信息,提供对任务进行终止、恢复、重入等干预能力

■  提供血缘图方式对任务依赖关系进行全局查看,包含父子流程关系和依赖触发关系,支持对流程进行血缘追溯以及影响分析。


  智能诊断能力,对于执行异常和出错的流程,根据报错情况快速定位问题,并提供问题解决方案。

  作业预警功能,能够及时获取流程执行异常情况,对报错任务,延时执行,执行时长超长的任务提供预警

  提供数据中心调度任务全过程监控分析,将长期未执行、空转、超时、报错等多种异常任务可视化展现,有效帮助运维人员对异常任务排查纠错,保障数据中心良好稳定运转。

文章转载自东方国信大数据,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论