解密openGauss DB4AI框架的内部机理.docx
免费下载
解密
openGauss DB4AI
框架的内部机理
openGauss AI
框架的特点
这个方向中，数据库通过集成
AI
能力，在用户进行
AI
计算时就可以避免数据
搬运的问题。不同于其他的
DB4AI
框架，本次
openGauss
开源的原生框架是通过添加
AI
算子的方式完成数据库中的
AI
计算。
那么除了避免了数据搬运所带来的问题这个普遍优势，
openGauss
的
AI
框架还具有
一下的优势和特点：
）极低的学习门槛
当前最主流的计算框架：
ensorow
、
pytorch
、
keras
等大多依托于
python
语言
作为构建的脚本语言，虽然
python
已经足够的简单易学但还是需要一定的学习成本的。
而目当前的框架，设计提供了
CREATE MODEL
和
PREDICT BY
两种语法用于完成
AI
的训练和推断任务。该语法相比较
python
更加趋近于自然语言，符合人们的用语直觉。
!"#$
%&'"()*
"+,-. /.0&12'
!"03/*
!
）极简的数据版本管理
本次
特性中还添加了
snapshot
功能。数据库通过快照的形式将数据集中的数
据固定在某个时刻，同样也支持保存经过处理过滤的数据。功能分为全量保存和增量保存，
其中因为增量保存每次仅存储数据变化，快照的空间占用大大的降低了。用户可以直接通
过不同版本名称的快照直接获取相对应的数据。
)
）极优的性能体验
相比于目前很多的
inDB
项目，
openGauss
的特性通过添加
AI
算子的方式将模型
计算内置到数据库中了。以算法训练为例，其中的数据的读取、模型的计算更新和最终的
模型保存将在数据库的执行器中完成。这种方式将更加充分地利用和释放数据库的计算能
力。深入内核的技术路线使得我们的特性在计算速度上将优于其他更高层级调用的方法。
图
1.
与
MADlib
性能对比
!
技术原理与优势
）
45
首先
5
特性需要用户通过对操作数据存储的
6
查询指定哪些数据将填
充新快照来创建快照。初始快照始终创建为操作数据的真实和可重用副本，使数据的特定
状态不可变。因此，初始快照作为后续数据整理的起点，但它始终允许回溯到创建初始快
照时原始数据的确切状态。
由于已创建的快照无法更改，因此在开始数据整理之前，必须“准备”快照。准备好的
快照的数据可以进行协作修改，为模型训练做准备，特别是为数据管理做准备。此外，快
照通过将每个操作作为元数据记录在
系统目录中，自动跟踪所有的更改，为数据提
供完整的集成历史。
快照准备完成后，可以发布快照。发布的快照是不可变的，
系统强制只有发布
的快照才能用于模型训练。保证训练任务
存档过时的快照以用于文档目的。在这种状态下，数据保持不变但不能用于训练新的
模型。最后，清除快照，删除模式中的数据表以及视图、恢复存储空间。需要注意的是，
快照管理为了实施严格的模型来源无法清除具有依赖的快照。
利用
参数，
5
使用物化存储模式或者增量存储。在增量存储模式中，新快
照对应的视图和数据表只保存相对父快照修改的内容，从而大大降低存储空间。
!
）
46%'7
of 5
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论