人大金仓悉心打造的MPP数据库可以更好解决小规模视频图像数据+业务数据处理场景的数据处理需求,它具备以下优势特点:
1.通过UDF集成感知算法实现感知计算
常见的应用场景如抓拍、以图搜图等可通过SQL实现;同时,MPP数据库本身具备的并行执行方式会在全部计算节点上做并行的比对计算;
2.通过概率数据结构增强实时计算能力
例如使用hyperloglog可做实时的到店流量统计,基于聚类后实名/匿名ID的十亿级数据量可实现毫秒级响应;
3.通过并行SQL支持,提供多维查询功能
通过获取顾客按时间顺序出现的抓拍位置计算行动轨迹、通过关联交易系统的交易数据获取顾客在轨迹中的购买记录等应用场景需要用到聚类后数据和业务数据的OLAP关联查询。支持OLAP是MPP数据库的基础能力,MPP基于代价的优化器和各类优化规则则可以保证执行的效率;
4.内置库内并行数据挖掘算法,提供数据挖掘功能
支持使用内置的聚类算法可对顾客进行画像,使用回归算法可实现客流和销售预测等功能。MPP提供的库内数据挖掘可减少数据移动的开销,在资源有限的情况,这无疑是一个 更好的选择;
5.支持CGROUP方式控制使用资源,支持单机混合部署及透明扩展
可通过资源配额为挖掘/报表类任务和实时任务分配不同的CPU比率,这样一来,夜间进行批量数据挖掘处理时可以占用全部资源计算,也可在有实施任务时降级使用较少的计算资源,减少对系统占用的影响。同时,整体的占用比率限制可以支持MPP和应用系统混合部署在同一服务器。
6.使用单一组件,资源使用更少
场景中数据处理所需要的不同类型计算能力都可以通过MPP数据库实现,无需多个组件同时使用,资源使用更少。
除了具备以上特点,MPP数据库还具备“三个减少”优势:由于数据的处理和开放使用都使用标准SQL,可以减少数据使用层的开发成本;使用交易数据库的恢复技术实现数据的可靠存储,可减少由于数据故障产生的维护成本;在存储典型的人脸、车辆等视图数据时,历史数据压缩比可达5:1到10:1,减少数据存储成本。
纵观市场,从 2005年Michael Stonebraker首先提出了数据处理不再适合one size fits all的方案,到如今由于不同的数据和处理需求衍生出了DB-Engines排名中数百种数据处理产品,这些都足以说明不同的数据和不同的处理需求需要使用不同的数据处理方案。
未来,随着视频图像数据在更多行业中的深度应用,数据处理将会衍生出更多的需求。人大金仓将持续以“客户需求为中心”,利用自身过硬的技术实力和开放能力服务更多AI应用场景,为客户持续贡献价值。