计算隔离离线跑批.pdf
10墨值下载
摘要：介绍 社区版具备task级别的资源管控，同时支持对user和单个query的计算资源分配，分配更灵
活。 下面的示例将为您演示如何在安全管理组件Guardian上配置Furion Scheduler来对队列资源进行配
额与权限管理。 能力演示 支持数据库计算配额，支持FIFO和FAIR两种不同的任务调度机制，支持队列
间的资源隔离。 演示示例视频 详细操作 分配队列计算资源 在多个租户共用资源的场景下，可能因资源
被批处理任务抢占或被多个小任务长时间占用，进而导致部分任务无法得到处理。为精细化管控资源和
提升 CP
介绍
社区版具备task级别的资源管控，同时支持对user和单个query的计算资源分配，分配更灵活。
下面的示例将为您演示如何在安全管理组件Guardian上配置Furion Scheduler来对队列资源进行配额与
权限管理。
能力演示
支持数据库计算配额，支持FIFO和FAIR两种不同的任务调度机制，支持队列间的资源隔离。
演示示例视频
详细操作
**分配队列计算资源**
在多个租户共用资源的场景下，可能因资源被批处理任务抢占或被多个小任务长时间占用，进而导致部
分任务无法得到处理。为精细化管控资源和提升 CPU 利用率，Inceptor 基于 FAIR（公平调度），新增
了 FURION 调度策略，它采用加权的调度排序算法，同时将调度粒度缩小至任务级，此外还通过树形结
构构建队列关系，可根据节点在调度指标上的关系决定调度顺序。
接下来将介绍如何开启 FURION 调度策略并分配计算资源。
1. 准备工作
默认情况，Inceptor 采用 FIFO（先进先出）调度策略，在授予计算配额前，您需要跟随下述步骤，开启
Furion 调度策略。
① 登录 Transwarp Manager 平台；
② 在页面左侧，单击仪表盘 > 集群，找到并单击 Quark 服务；
③ 单击配置页签，然后单击页面右侧的添加自定义参数；
④ 在弹出的对话框中，根据下述说明完成参数配置，然后单击确定；
配置项：填写为 spark.guardian.enabled。
值：填写为 true。
配置文件：选择为 hive-site.xml
⑤ 搜索 inceptor.scheduler.enabled 参数，将其值修改为 true；
⑥ 在页面右上角，选择 … > 配置服务，在弹出的对话框中单击确定；
⑦ 等待配置应用完成后，单击重启；
注意：
重启该服务可能导致业务短暂不可用，请在业务低峰期或运维窗口期操作。
2.实际业务操作
假设本demo基于Inceptor 建立了数据服务平台，目前主要有跑批和探索分析的业务场景，队列以离线
跑批业务优先级最高，分析业务次之。我们希望借助队列调度策略能力，实现下述需求，从而实现基于
业务特性分配计算资源，提升利用率和效率。
接下来，将举例如何配置队列来实现上述需求（仅做示例哦，没那么严谨，实际还需参考自身业务）。
① 登录 Guardian 平台；
② 在顶部菜单栏，单击权限，然后选择 INCEPTOR > Quark1；
③ 单击计算配额页签；
of 6
10墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论