基于人工智能方法的数据库智能诊断-金连源/李国良.pdf

Shawn.W潇

1011

15页

15次

2021-01-29

免费下载

软件学报 ISSN 1000-9825, CODEN RUXUEW

Journal of Software, [doi: 10.13328/j.cnki.jos.006177]

基于人工智能方法的数据库智能诊断

金连源

李国良

(清华大学计算机科学与技术学院,北京 100084)

通讯作者: 李国良, E-mail: liguoliang@tsinghua.edu.cn

摘要:

数据库是一种非常重要和基础的计算机系统软件

始关注数据库运行的稳定性.

由于各种各样内部或是外部作用的影响

而这可能会带来巨大的经济损失.

人们大多通过观察监控指标信息来进行数据库异常诊断

标有数百个,

普通的数据库使用者根本无法提取出有价值的信息

这种成本会是很多公司难以接受的.因此,

如何用较低的成本完成对数据库的自动监控和诊断是一个具有挑战性的

问题.现有的 OLTP

数据库自动异常诊断方法往往存在着监控信息收集成本过高

问题.在这篇论文里我们提出了一种智能

的数据库异常诊断框架

取和根因分析这三个模块,这三

个模块分别使用了基于

验、和优化的 K 近邻算法.

整个框架分成离线训练和在线诊断这两个阶段

据库,

通过实验表明该框架对于异常诊断具有较高的精确程度

关键词: OLTP 型数据库;异常诊断;人工智能

中图法分类号: TP311

AI-Based Database Performance Diagnosis

JIN Lian-Yuan, LI Guo-Liang

(Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China)

Abstract:

Database is a kind of important and fundamental computer system software. With the

all walks of life, a growing number of people

begin to concern the stability of the database. Because of the numerous internal of

effect, performance anomaly may emerge when the Database running and it

database anomaly by analyzing monitoring metrics. However, there are hundreds of metrics in the system and

unable to extract valuable

information from them. Some major companies employ DBA to manage the

unacceptable for many other companies. Achieving automatic

database monitor and diagnose with low cost is a challenging problem.

Current methods have many limitations, including high cost of metrics information collection, narrow

In this paper, we propose an anomaly diagnose framework

AutoMonitor

contains LSTM-based anomaly detection

module and modified

framework consists of an offline training and an online diagnose stage. Our

diagnose accuracy with minor overload to system performance

Key words: OLTP Database; Anomaly Diagnosis; Artificial

intelligence

IT 运维,指的是和 IT

服务管理相关的人员及管理过程

且使服务达到用户付款后的预期.

运维在人类未来的生产生活中的作用会越来越重要

500 亿到 1000 亿的 IT 设备,

这些设备会承载无数的服务



基金项目: 国家自然科学基金(61925205, 61632016)

Foundation item: National Natural Science Foundation of China (61925205, 61632016

收稿时间: 2020-07-19; 修改时间: 2020-09-03; 修改时间

: 2020

E-mail: jos@iscas.ac.cn

http://www.jos.org.cn

Tel: +86-10-62562563

基于人工智能方法的数据库智能诊断





数据库是一种非常重要和基础的计算机系统软件

,随着数据库在各行各业的广泛应用,越来越多的人开

由于各种各样内部或是外部作用的影响

,数据库在实际运行的过程中会出现性能异常,

人们大多通过观察监控指标信息来进行数据库异常诊断

,但是关于数据库监控指

普通的数据库使用者根本无法提取出有价值的信息

.一些传统的公司会聘用专业的人员管理数据库,而

如何用较低的成本完成对数据库的自动监控和诊断是一个具有挑战性的

数据库自动异常诊断方法往往存在着监控信息收集成本过高

、适用范围小抑或是稳定性较差等

的数据库异常诊断框架

AutoMonitor,提供了数据库异常监测、异常指标提

个模块分别使用了基于

LSTM 的时间序列异常诊断模型、Kolmogorov-Smirnov 检

整个框架分成离线训练和在线诊断这两个阶段

.我们将提出的系统部署在 PostgreSQL 数

通过实验表明该框架对于异常诊断具有较高的精确程度

,并且不会对系统性能造成太大的影响.

(Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China)

Database is a kind of important and fundamental computer system software. With the

development of database application in

begin to concern the stability of the database. Because of the numerous internal of

external

effect, performance anomaly may emerge when the Database running and it

may cause huge economic loss. People usually diagnose

database anomaly by analyzing monitoring metrics. However, there are hundreds of metrics in the system and

ordinary database users are

information from them. Some major companies employ DBA to manage the

databases but this cost is

database monitor and diagnose with low cost is a challenging problem.

Current methods have many limitations, including high cost of metrics information collection, narrow

range of application or poor stability.

AutoMonitor

which deployed on the PostgreSQL database. The framework

module and modified

K Nearest-Neighbor algorithm-based root cause diagnose module. The

framework consists of an offline training and an online diagnose stage. Our

evaluations on the datasets show that our framework has high

intelligence

服务管理相关的人员及管理过程

,IT 运维可以让公司提供的服务保持良好的质量,并

运维在人类未来的生产生活中的作用会越来越重要

.预计到 2020 年全球将有

这些设备会承载无数的服务

,覆盖互联网、金融、物联网、智能制造、电信、电力

Foundation item: National Natural Science Foundation of China (61925205, 61632016

)

: 2020

-11-06; jos 在线出版时间: 2021-01-20

网络、政府等等的生产生活的方方面面.

在运维发展的过程中

的手工操作代码化,

基于大量脚本的自动化运维就开始流行了起来

运维,指的是使用大数据、机器学习技术来支持 IT

运维

断能力.

目前已经有许多公司和研究机构使用智能运维技术

服务质量分析

[11]

,磁盘故障的预测

[1]

微服务故障的定位

数据库是各种企业常用的系统软件,

根据所执行任务的不同可以将数据库分为执行大量简单事务的

型数据库、执行复杂分析任务 OLAP

型数据库和兼顾执行上述两种任务的

统软件,

近年来出现了许多利用人工智能技术优化数据库部件的工作

具有更加强大的综合能力,

智能运维技术在数据库领域也有着广泛的应用场景

本研究聚焦于智能运维中的 OLTP 环境

数据库性能

题发生的根因,该问题有如下几个难点:



监控指标和数据库性能异常之间对应关系比较复杂

标出现问题,

而单个监控指标的异常可能由不同的根因所导致

采用简单的规则来进行数据库异常诊断精确度不高

 OLTP

环境下的数据库执行的是大量简单的事务

的事务变慢,带来数据库性能下降的问题;

 由于 OLTP

任务请求的不稳定性以及操作系统

类监控指标中提取有用信息难度较大;

下面是关于第一个难点的一个具体案例：

当我们执行数据库备份操作的时候我们观察到了很多指标均产

生了异常,其中包括了 CPU、I/O、中断计数,

数据库等待进程等等

(a) CPU 异常 (b)

Fig.1

Anomaly metrics triggered by database backup

图 1

数据库备份引发的监控指标异常

同一个指标的异常可能是由不同的根因所造成的

CPU、

数据库备份和数据库外部文件导入这三个根因下

发的时候 CPU 指标变化的示意图,

这是因为以上三个行为均需要计算机提供较高的计算资源

发现其他很多的指标均存在着相似的性质,

因此我们很难从单个异常的指标去推定数据库性能异常问题的根

因.

Journal of Software 软件学报

在运维发展的过程中

,最先出现的是依靠手工的运维;后来人们把重复

基于大量脚本的自动化运维就开始流行了起来

;其后又出现了 DevOps 和智能运维

[14]

.智能

运维

.机器学习可以处理海量的监控数据并且提供强大的推

目前已经有许多公司和研究机构使用智能运维技术

在许多方向取得了非常显著的进展,包括云数据库

微服务故障的定位

[2]

等等.

根据所执行任务的不同可以将数据库分为执行大量简单事务的

OLTP

型数据库和兼顾执行上述两种任务的

TATP 型数据库.作为一种传统的系

近年来出现了许多利用人工智能技术优化数据库部件的工作

[12]

,可以发现人工智能技术赋能的数据库

智能运维技术在数据库领域也有着广泛的应用场景

数据库性能

异常监测诊断,在数据库性能下降时发现问题并诊断问

监控指标和数据库性能异常之间对应关系比较复杂

,一种根因所引发的异常往往会导致多个监控指

而单个监控指标的异常可能由不同的根因所导致

的,此外系统中会存在数百个指标,因此

采用简单的规则来进行数据库异常诊断精确度不高

;

环境下的数据库执行的是大量简单的事务

,如果监控指标数据成本较大,可能会使执行时间较短

任务请求的不稳定性以及操作系统

、数据库系统的复杂性,监控指标中会有许多噪音,在这

当我们执行数据库备份操作的时候我们观察到了很多指标均产

数据库等待进程等等

,如图 1 所示.

I/O 异常 (c) 数据库进程异常

Anomaly metrics triggered by database backup

数据库备份引发的监控指标异常

同一个指标的异常可能是由不同的根因所造成的

,我们以 CPU 统计指标举例,可以看到在外部进程抢占

数据库备份和数据库外部文件导入这三个根因下

CPU 的指标均产生了异常,图 2 展示了在三种异常触

这是因为以上三个行为均需要计算机提供较高的计算资源

.通过可视化我们

因此我们很难从单个异常的指标去推定数据库性能异常问题的根

of 15

免费下载

oltp 异常诊断人工智能数据库运维李国良

关注

评论