暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

爱可生携手华为数据存储打造向量数据库存储解决方案,加速行业AI大模型训练

502

以下文章来源于华为数据存储

近日,在华为全联接大会2023上,华为数据存储与爱可生共同发布向量数据库存储联合解决方案,进一步增强大模型应用能力,提升推理可靠性与精准度。


左起:华为闪存存储解决方案设计部部长仇殿

爱可生开发&开源生态经理苏鹏


爱可生开发&开源生态经理苏鹏详细阐述了向量数据库存储联合解决方案的创新设计理念。苏鹏表示,大模型在实际应用中,存在三大问题:


首先,在大型语言模型中,有时会产生看似合理,但实际是错误或无根据的信息。这些幻觉是模型在训练中遇到的各种噪声、误解或不准确的信息所导致的。


其次,虽然大模型具有强大的语言理解和生成能力,但由于它们在训练过程中并未接触过企业的私域数据和特定业务场景。因此,大模型无法完全满足企业实际需求,企业持续产生的高价值数据,由于训练周期长无法及时纳入大模型的训练中,这部分价值数据易被忽视或遗漏,同样存在一定局限性。


此外,面向不断增长的多模态数据,向量数据库应支持更多的向量数据,减少内存占用依赖的同时,保证数据不丢失、可恢复。


面对以上关键挑战,双方充分利用爱可生在向量数据库大规模数据的高效组织能力、易扩展的索引结构、时变环境下向量数据快速对比等优势,并结合华为OceanStor Dorado全闪存NAS存储在海量非结构化数据下的优异处理效率,打造向量数据库存储联合解决方案。


通过三大方面协作,用专业存储能力助力向量数据库实现高性能、高可靠、统一运维。

  • 协作一:通过华为OceanStor Dorado 全闪存NAS存储的FLASHLINK®算法等软硬件结合技术,大幅优化数据处理效率,提升向量查询性能,实现千万向量数据下查询时延降低42%。

  • 协作二:通过使用华为OceanStor Dorado 全闪存NAS存储对接爱可生TensorDB®,利用OceanStor Dorado的Active-Active架构、RAID-TP等多重可靠性技术,取代对象存储及本地盘存储,实现六层可靠,保障业务不中断。

  • 协作三:爱可生TensorDB®各组件统一对接华为OceanStor Dorado全闪存NAS存储,实现存储资源统一管理,无需额外部署对象存储,进一步降低客户运维成本。

华为闪存存储解决方案设计部部长仇殿表示:“华为全闪存存储联合爱可生TensorDB®向量数据库,打造高性能、高可靠的向量数据库存储联合解决方案,将专业的存储软硬件能力赋能大模型训练,帮助解决大模型训练中遇到的问题。该解决方案也将成为在大模型训练中的强大支撑,助力企业在创新发展过程中发挥出更大价值。”


TensorDB®简介

TensorDB®是上海爱可生信息技术股份有限公司研发的向量数据库企业版软件。该产品实现了超大规模向量型数据的高效组织,可以有效支撑时变环境下的向量数据快速比对,面向复杂场景下的实体分析与关系推断,TensorDB®克服了 AI 领域多样化应用面临的非结构化数据管理与处理分析困难,提升了数据库异构融合能力。TensorDB®具有极高的并发检索性能支持卓越的水平拓展能力,并提供满足多元业务场景下的高可用需求,致力于为用户提供一站式非结构化数据处理与检索解决方案。


TensorDB®架构图



咨询产品或了解更多

可以扫码添加爱可生小助手微信哦



关于爱可生


上海爱可生信息技术股份有限公司成立于 2003年,是国内知名的金融级数据库解决方案提供商。爱可生一直致力于数据库领域的技术创新和发展,荣获了国家规划布局内重点软件企业、国家级专精特新小巨人企业、国家级高新技术企业、上海市企业技术中心等多项权威认证。


目前,爱可生已助力500+客户实现关键业务系统升级,其中包含50+世界五百强企业。


400-820-6580


金融级数据库解决方案提供商

www.actionsky.com

我知道你在看

最后修改时间:2023-10-11 09:37:49
文章转载自爱可生云数据库,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论