暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

鲲鹏适配案例展示 | 爱可生向量数据库企业版软件V2.0

原创 爱可生 2023-07-31
309

以下文章来源于深圳市金融信创攻关基地

图片

图片
公司介绍

上海爱可生信息技术股份有限公司是国内开源数据库解决方案领导者、工业互联网高维数据应用创新者。爱可生为产业互联网创新应用提供高性价比、快速落地实现的多数据库管理平台、分布式数据库系统、数据库容器云平台、多地多中心跨云容灾等解决方案。核心产品是数据库软件(云树®ActionDB)、数据库集群管理平台(云树®DMP)、向量数据库产品(TensorDB®)等。

公司产品已被广泛应用于各行业,其中包括工商银行、中国人寿、中国太保、国家电网、上汽集团、中国移动、华为等50多家世界五百强企业。

图片
项目背景

随着非结构化数据的迅速增多和 AI 模型的大面积应用,对高维数据的低成本存储、高性能计算的能力需求越来越大。向量数据库的目标即是高维数据的处理能力、对海量非结构化数据 embedding 后的高维数据需要具备基本的存储、计算的能力、管理数据的能力。

图片

爱可生云树向量数据库软件【简称“ TensorDB® ”】的目标是在以图搜图、视频推荐、文本检索与大模型私域应用等 AI 场景中,对海量非结构化数据嵌入后的高维向量数据提供存储、管理、计算的综合能力,以满足金融、交通、互联网等行业对核心业务系统高可用性、高扩展性的要求。

图片

图片
技术架构

TensorDB® 分布式架构如下图所示,共分为以下七层:

图片
1、SDK 接入层

TensorDB® 提供丰富的 SDK 支持,如 C,C++,java,python,go 的 SDK,可以满足用户多场景下的使用需求。

图片
2、负载均衡层

通过爱可生自研的负载均衡中间件,可以实现自动感知下层应用节点状态,达到应用业务不中断的情况下自动切换服务节点,达到服务高可用的目的。

图片
3、语法解析器层

语法解析器通过对上层服务传递过来的类 SQL 语句进行解析,将其拆分为不同的任务,下发给执行层。

图片
4、执行层执行层

执行上层传递过来的任务,将其构建为具体的执行计划,待内部的数据同步器、条件过滤器、检索执行器得到查询结果后对其进行拼接,并将最终结果返回给调用层。

图片
5、数据组织层

爱可生 TensorDB® 技术白皮书数据组织层会将上层传递过来的数据按照内部数据结构进行组织,其中核心为将大规模向量数据构建向量索引以实现向量数据的快速对比检索。TensorDB® 自研的索引结构可以实现在高性比硬件下的快速检索。

图片
6、统一存储访问层

统一存储访问层可以隐藏存储层的具体实现细节,无论下层是基于共享存储 的架构,还是基于多节点主从集群架构都能够提供统一的访问接口。

图片
7、数据存储层

该层可以实现数据的即时落盘,TensorDB® 支持多种底层高可用方案,包括基于共享存储的架构,同时也支持多节点主从集群架构,来满足不同用户的需求。

图片(产品分布式架构图 )

图片
适配成效

爱可生向量数据库软件与深圳市金融信创攻关基地分别基于 Kylin v10 操作系统,在 Kunpeng 920 处理器Taishan 200 服务器的环境上完成并通过兼容性测试。TensorDB® 还具有以下特点:

01

具有灵活的索引结构,能够以毫秒级延时返回千亿级别的数据中的相似匹配结果;

02

可支持 10万+ QPS 的超高并发,并针对图像检索、语音识别、文本分析等 AI 应用场景进行深度优化,提供多模态数据的高效检索能力;

03

提供金融级高可用方案,通过动态水平扩缩容实现应用无感知的服务负载能力拓展。

04

积极参与认证适配,目前完成了国产 ARM 架构与操作系统的兼容性认证适配,助力用户实现国产化需求。

05

利用 CPU/GPU 等异构计算平台资源优势,不仅实现了 NVIDIA GPU 与国产 GPU 的计算加速,还实现了单机多卡,多机多卡的分布式任务调度,最大程度地满足用户的低延时、高并发的需求,进一步提高服务能力。

图片
应用案例

项目背景

系统和技术的复杂性使智能制造的流程复杂性越来越大。目前,在智能制造这样大规模制造行业的产品研发过程中, 会产生大量的产品试验数据,这些数据是由对产品的可靠性、精确性、质量安全等多方面性能进行测试所产生的。原有的数据管理分析方式已经不能满足日益发展的制造工业的业务需求。

产品应用

爱可生 AI+TensorDB® 解决方案为用户带来以下增益:

1、无需人工梳理,自动对纸质文档进行 OCR 解析,并从 pdf、word 等文件中单独解析出图片和表格;

2、支持对文本、图片、表格的混合检索或单独检索;

3、支持用户查找相似图片;

4、支持用户查找相似表头的表格。

图片

图片
证书展示
图片

(KUNPENG COMPATIBLE 证书)

深圳市金融攻关基地以鲲鹏技术架构为核心,建立和规范生态合作体系,面向金融业根技术及自主创新在金融应用中的关键技术难点,开展联合技术攻关,研发具有前瞻性、建设性金融应用解决方案。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论