暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

华为GaussDB A 租户资源管理示例

墨天轮 2019-10-12
933

租户资源管理示例

业务背景

某大型企业,基于GaussDB 200集群建立了自己的EDW生产系统,部署了跑批、灵活查询功能。针对集市作业存在的诸如SQL语句性能不佳、拖慢集群中其他正常批量作业运行效率的情况,利用租户管理功能,将不同类型作业关联到不同子租户分别管理,以均衡任务对系统资源的利用。具体需求如下:

  • 设置永久表空间上限:每个部门(父租户)拥有自己可用的存储空间,需要设定空间使用上限。
  • 预设规则对性能较差的SQL执行干预:
    • 执行超过一定时长,自动终止。
    • CPU倾斜超过一定阈值,且持续超过多少时间,自动终止。
    • CPU消耗超过一定阈值,此Session进入惩罚箱,权重被降级。
  • 实时Session监控及应急处理:要求支持人员配合监控后台数据库执行状态对一些占用资源较大、执行路径不合理的SQL及时进行干预。

租户配置参数规划

  • 跑批业务租户规划

    针对跑批业务对CPU、IO资源要求高的情况,跑批业务租户参数配置如表1、表2所示。

    表1 跑批业务父租户参数

    参数名称

    配置值

    租户名称

    high

    CPU配额(%)

    60

    CPU限额(%)

    70

    内存(%)

    20

    永久表空间(MB)

    102400

    表2 跑批业务子租户参数

    租户名称

    参数名称

    参数值

    EdwBatch

    CPU配额(%)

    59

    CPU限额(%)

    50

    内存(%)

    20

    最大并发数

    40

    IO优先级

    None

    IO上限(iops)

    20000

    阻塞时间

    1200

    执行所消耗时间

    2400

    所有DN上CPU总时间

    100

    所有DN上CPU时间的倾斜率

    90

    检查倾斜率的时间间隔

    2400

    CraBatch

    CPU配额(%)

    20

    CPU限额(%)

    30

    内存(%)

    20

    最大并发数

    20

    IO优先级

    None

    IO上限(iops)

    20000

    阻塞时间

    1200

    执行所消耗时间

    2400

    所有DN上CPU总时间

    100

    所有DN上CPU时间的倾斜率

    90

    检查倾斜率的时间间隔

    2400

    CremBatch

    CPU配额(%)

    20

    CPU限额(%)

    20

    内存(%)

    30

    最大并发数

    20

    IO优先级

    None

    IO上限(iops)

    20000

    阻塞时间

    1200

    执行所消耗时间

    2400

    所有DN上CPU总时间

    100

    所有DN上CPU时间的倾斜率

    90

    检查倾斜率的时间间隔

    2400

  • 灵活查询租户规划

    针对灵活查询业务对CPU资源要求不高,但是对IO、内存资源有较高的要求,灵活查询租户参数配置请参见表3、表4。

    表3 灵活查询业务父租户参数

    租户名称

    参数名称

    配置值

    standard_1

    CPU配额(%)

    9

    CPU限额(%)

    9

    内存(%)

    20

    永久表空间(MB)

    102400

    standard_2

    CPU配额(%)

    9

    CPU限额(%)

    9

    内存(%)

    20

    永久表空间(MB)

    102400

    表4 灵活查询业务子租户参数

    租户名称

    参数名称

    参数值

    备注

    AdhocH1

    CPU配额(%)

    15

    父租户:standard_1

    CPU限额(%)

    20

    内存(%)

    30

    最大并发数

    10

    IO优先级

    None

    IO上限(iops)

    20000

    阻塞时间

    1200

    执行所消耗时间

    3600

    所有DN上CPU总时间

    100

    所有DN上CPU时间的倾斜率

    80

    检查倾斜率的时间间隔

    2400

    AdhocH2

    CPU配额(%)

    15

    CPU限额(%)

    20

    内存(%)

    20

    最大并发数

    5

    IO优先级

    None

    IO上限(iops)

    20000

    阻塞时间

    1200

    执行所消耗时间

    3600

    所有DN上CPU总时间

    90

    所有DN上CPU时间的倾斜率

    80

    检查倾斜率的时间间隔

    2400

    AdhocH3

    CPU配额(%)

    20

    CPU限额(%)

    20

    内存(%)

    20

    最大并发数

    5

    IO优先级

    None

    IO上限(iops)

    20000

    阻塞时间

    1200

    执行所消耗时间

    3600

    所有DN上CPU总时间

    100

    所有DN上CPU时间的倾斜率

    80

    检查倾斜率的时间间隔

    2400

    AdhocB1

    CPU配额(%)

    15

    父租户:standard_2

    CPU限额(%)

    15

    内存(%)

    20

    最大并发数

    10

    IO优先级

    None

    IO上限(iops)

    20000

    阻塞时间

    1200

    执行所消耗时间

    3600

    所有DN上CPU总时间

    100

    所有DN上CPU时间的倾斜率

    80

    检查倾斜率的时间间隔

    2400

    AdhocB2

    CPU配额(%)

    15

    CPU限额(%)

    15

    内存(%)

    20

    最大并发数

    5

    IO优先级

    None

    IO上限(iops)

    20000

    阻塞时间

    1200

    执行所消耗时间

    3600

    所有DN上CPU总时间

    100

    所有DN上CPU时间的倾斜率

    80

    检查倾斜率的时间间隔

    2400

    AdhocB3

    CPU配额(%)

    20

    CPU限额(%)

    20

    内存(%)

    20

    最大并发数

    5

    IO优先级

    None

    IO上限(iops)

    20000

    阻塞时间

    1200

    执行所消耗时间

    3600

    所有DN上CPU总时间

    100

    所有DN上CPU时间的倾斜率

    80

    检查倾斜率的时间间隔

    2400


查看更多:华为GaussDB 200 租户资源管理

查看更多:华为GaussDB 200 租户资源管理
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论