GBase 8a mpp cluster 数据挖掘模块GBMLLib简介

彦光 2022-02-14

423

GBMLLib是GBase 8a MPP Cluster的数据挖掘和机器学习扩展库，以插件的形式添加到GBase 8a MPP Cluster中。通过其提供的机器学习算法，GBase 8a MPP Cluster可以对用户数据进行深层次的分析和挖掘，将用户数据转化为用户价值。

GBMLLib提供了基于SQL的机器学习算法，目前包括的算法有：回归算法(线性回归)、分类算法(Logistic回归、支持向量机)和聚类算法(K-Means)。同时也提供了一些数组操作和线性代数计算的基本函数。

GBMLLib具备以下技术特征：

SQL接口：GBMLLib提供了SQL方式的数据挖掘算法，模型的训练、评估和预测都通过SQL语句来执行，使得数据分析师非常容易掌握，并与其现有技能结合，充分发挥其创造力、提高工作效率。
In-database分析：不同于其他分析工具需要通过api或odbc把数据从数据库搬移到分析节点进行处理的方式，GBMLLib的分析算法以数据库udf/udaf的形式运行在GBase8a的线程内部，通过GBase8a的执行计划进行调度，最大程度的减少数据的搬移、提升运行速度。
方便扩展：GBMLLib以插件的形式添加到GBase8a中，并采用弹性灵活的软件架构，方便后续添加新的数据挖掘和机器学习算法。

GBMLLib支持的数据挖掘功能如下表所示：

类别	算法	描述
回归	线性回归	利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法
分类	Logistic回归	二类分类模型，根据现有数据对分类边界建立回归公式，以此进行分类
分类	支撑向量机(SVM)	二类分类模型，模型定义为特征空间上的间隔最大的线性分类器，学习策略为间隔最大化，最终可转化为一个凸二次规划问题的求解。
聚类	K-Means聚类	把n个点（可以是样本的一次观察或一个实例）划分到k个聚类中，使得每个点都属于离他最近的均值（此即聚类中心）对应的聚类，以之作为聚类的标准。

「喜欢这篇文章，您的关注和赞赏是给作者最好的鼓励」

关注作者