CN201880026160.X 利用机器学习估计MPPDB中的查询资源消耗.pdf
免费下载
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 201880026160.X
(22)申请日 2018 .04 .25
(30)优先权数据
62/492 ,706 2017 .05.01 US
15/959 ,442 2018.04 .23 US
(85)PCT国际申请进入国家阶段日
2019 .10 .18
(86)PCT国际申请的申请数据
PCT/CN2018/084464 2018.04 .25
(87)PCT国际申请的公布数据
WO2018/201948 EN 2018 .11 .08
(71)申请人 华为技术有限公司
地址 518129 广东省深圳市龙岗区坂田华
为总部办公楼
(72)发明人 刘磊 张明义 董宇 李怀智
乔妍涛
(51)Int .Cl .
G06F
16/28
(2019 .01)
G06F
16/2453
(2019 .01)
G06F
17/16
(2006.01)
G06N
5/04
(2006.01)
G06N
20/00
(2019 .01)
(54)发明名称
利用机器学习估计MPPDB中的查询资源消耗
(57)摘要
提供了一种用于在大规模并行处理数据库
(massivelyparallelprocessingdatabase，
简称MPPDB )中利用机器学习估计查询资源消耗
的方法和装置。在各种实施例中，所述机器学习
可以联合执行所述查询资源消耗估计和资源极
端事件检测；利用自适应内核，所述自适应内核
用于针对每个系统设置的数据学习最佳相似关
系度量；以及利用多层堆叠技术，所述多层堆叠
技术用于利用各种基本分类器模型的输出。所公
开的实施例的优势和优点包括提供更快和更可
靠的系统性能以及避免发生存储空间用完(out
ofmemory，简称OOM)事件等资源问题。
权利要求书2页 说明书13页 附图8页
CN 110537175 A
2019.12.03
CN 110537175 A
1 .一种用于执行查询的方法，其特征在于，所述方法包括：
接收来自客户端设备的查询；
通过解析所述查询以确定所述查询的运算符和所述运算符的序列，生成所述查询的查
询计划；
基于所述查询计划，通过使用自动建立分析模型的机器学习技术生成的预测训练模型
进行所述查询的查询资源消耗估计；
基于所述查询的所述查询资源消耗估计确定当前可用系统资源是否足以启动所述查
询的执行；
响应于基于所述查询的所述查询资源消耗估计确定所述当前可用系统资源足以执行
所述查询，启动所述查询的执行；
在所述查询执行完成后接收所述查询的结果；
将所述查询的结果返回给所述客户端设备。
2.根据权利要求1所述的方法，其特征在于，还包括：响应于基于所述查询的所述查询
资源消耗估计确定所述当前可用系统资源不足以启动所述查询的执行，基于并发查询执行
计划执行所述查询。
3 .根据权利要求1所述的方法，其特征在于，还包括：响应于启动所述查询的执行，通过
所述查询的所述查询资源消耗估计来减少所述当前可用系统资源。
4 .根据权利要求1所述的方法，其特征在于，还包括：响应于完成所述查询的执行，通过
所述查询的所述查询资源消耗估计来增加所述当前可用系统资源。
5 .根据权利要求1所述的方法，其特征在于，为所述查询生成所述查询计划还包括：将
所述查询解析为执行层次树，其中所述执行层次树的每个树节点表示运算符。
6 .根据权利要求5所述的方法，其特征在于，还包括：确定所述查询中每个运算符出现
的实例的数量，以及所述运算符的每个实例的基数之和。
7 .根据权利要求1所述的方法，其特征在于，所述机器学习技术利用自适应内核，所述
自适应内核用于针对各种系统设置和数据学习不同内核度量。
8.根据权利要求1所述的方法，其特征在于，所述机器学习技术利用多级堆叠技术，所
述多级堆叠技术用于利用不同基本分类器模型的输出。
9.根据权利要求1所述的方法，其特征在于，所述机器学习技术联合执行所述查询资源
消耗估计和资源极端事件检测。
10 .根据权利要求1所述的方法，其特征在于，还包括：响应于基于所述查询的所述查询
资源消耗估计确定所述当前可用系统资源不足以启动所述查询的执行，将所述查询放置到
查询执行队列中。
11 .一种查询管理设备，其特征在于，包括：
网络通信接口，用于实现网络通信
存储器，包括指令；
一个或多个处理器，与所述网络通信接口和所述存储器通信，其中，所述一个或多个处
理器执行以下指令：
接收来自客户端设备的查询；
通过解析所述查询以确定所述查询的运算符和所述运算符的序列，生成所述查询的查
权 利 要 求 书
1/2 页
2
CN 110537175 A
2
of 24
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论