
新闻速递

前瞻视野
1.数据与分析领导者的秘密,向量数据库的5个W:为什么?是什么?玩家是谁?谁用?用在哪儿?
2.一文带你全面理解向量数据库
3.矢量数据库投资激增,背后原因竟然是这样!
自主研发
4.星环科技分布式向量数据库Transwarp Hippo正式发布,拓展大语言模型时间和空间维度
5.星环科技向量数据库Hippo社区版来啦:极简资源、极速安装,大模型场景DIY快速体验!
6.星环科技向量数据库Transwarp Hippo1.1发布:一库搞定向量+全文联合检索,提升大模型准确率!
7.九章云极DingoDB多模向量数据库亮相,大模型时代数据觉醒
8.腾讯云向量数据库正式上线公测!提供10亿级向量检索能力
9.阿里云AnalvticDB,PAI+ADB向量引擎,开启AIGC之旅
10.联汇科技推出自研Om-iBase向量数据库
11.完善产品拼图,GBASE南大通用发布向量数据库
12.爱可生携手华为数据存储打造向量数据库存储解决方案,加速行业AI大模型训练
13.Oracle推出面向生成式 AI 的集成向量数据库
14.Oracle通过向量存储和新的生成式人工智能功能继续MySQL HeatWave创新
15.KX宣布KDB.AI云:面向 AI 的免费、智能向量数据库
16.DataStax增加了向量搜索,以增强对生成AI工作负载的支持
17.SingleStore,为处理向量数据库和传统关系数据库提供了单一平台
开源世界
18.基于Milvus的全托管向量数据库云服务产品——Zilliz Cloud在国内推出了
19.新的MongoDB Atlas向量搜索功能可帮助开发人员构建和扩展AI应用程序
20.Weaviate AI原生向量数据库现已在Google Cloud Marketplace中推出
21.时间序列数据库Timescale为 AI 添加向量搜索
22.Redis在其第一个统一平台更新中增加了对向量数据库搜索的支持
23.Pinecone与 AWS、Azure合作解决生成式 AI 幻觉挑战
24.开源向量数据库Milvus 2.3 透过 NVIDIA GPU支持,大幅加速 AI 驱动应用
25.开源向量数据库推出最新版本Chroma v0.4
26.Actian在Hadoop中为Vector添加了原生Spark支持
前瞻视野
1.数据与分析领导者的秘密,向量数据库的5个W:为什么?是什么?玩家是谁?谁用?用在哪儿?
向量数据库不是一个新概念,至少已经有十多年的发展历程了。2023年无疑是向量数据库从多年阴影中脱颖而出并万众人瞩目的一年。
最主要的原因是向量数据库能为下一代人工智能应用提供动力,并作为LLM(大语言模型)的工作流程和工作负载的“长期记忆”。
向量数据库因此有了众多美名,如AI时代的新型数据库;数据、人工智能飞轮的重要齿轮;“大型机器学习的无名英雄”;基础设施的核心部分,为工业中的每一个大型机器学习部署提供动力;下一代搜索引擎;构建专有大语言模型组织的重要组成部分······
在大模型需求的带动下,向量数据库吸引了越来越多的投资,自研产品如雨后春笋般涌现,其AI基础设施的特性越来越明显。
本文介绍向量数据库的5W:为什么需要向量数据库?什么是向量数据库?向量数据库的供应商是什么?谁在用向量数据库?在什么场景应用向量数据库?
2.一文带你全面理解向量数据库
近些年来,向量数据库引起业界的广泛关注,一个相关事实是许多向量数据库初创公司在短期内就筹集到数百万美元的资金。
你很可能已经听说过向量数据库,但也许直到现在才真正关心向量数据库——至少,我想这就是你现在阅读本文的原因……
如果你阅读本文只是为了简单回答上面的问题,那就让我们直接进入话题吧。
3.矢量数据库投资激增,背后原因竟然是这样!
数据库世界经历了40多年的发展,依然生机勃勃。最古老的数据库类型是SQL或关系数据库,其中所有的数据都结构化的。
Web 2.0公司不断增长的需求引发了NoSQL革命,数据库变得更加灵活,出现了能够处理更多非结构化数据的数据库,能够处理的数据量更加庞大。
现在,随着市场对人工智能应用的追捧,出现了另一种被称为矢量数据库(vector databases)的新市场。AIGC热更是加速了矢量数据库的投资热。
矢量数据库与关系数据库公司最大不同是“人工智能优先的基础设施”,这是第一次在数据科学中所做的所有事情和人们看到的前景和需求之间建立了这座桥梁。”
在矢量数据库与生成式AI工具的错综复杂的联系中,专家认为“每次淘金热都有人卖铁锹。对于生成式AI,铲子是什么?矢量数据库。”
“几乎每个LLM (AI大型语言模型)驱动的应用程序都使用或即将使用矢量数据库。LLM将集成到几乎所有主要应用程序中。投资一篮子提供托管矢量数据库的公司似乎是在现代淘金热中从铁锹中获利的方式。”
称向量数据库为铁锹并不为过。随着部署到企业生产中的人工智能应用程序与日俱增,对一流矢量数据库的需求与SQL操作云一样重要。
“目前与任何有效的新技术一样,可能很难将炒作与实际好处分开。”谷歌开发者专家、YouTube频道Fireship的创建者杰夫·德莱尼(Jeff Delaney)谈到了他如何启动一个名为Rektor的矢量数据库项目时表示,该项目没有收入、商业计划或代码可显示,但在很短的时间内公司的估值却飙升至4.2亿美元。
处在风口,猪都会被吹起来!矢量数据库现在就处在风口!
自主研发
4.星环科技分布式向量数据库Transwarp Hippo正式发布,拓展大语言模型时间和空间维度
星环科技正式发布了分布式向量数据库Transwarp Hippo。作为一款企业级云原生分布式向量数据库,星环分布式向量数据库Hippo支持存储、索引以及管理海量的向量式数据集,提供向量相似度检索、高密度向量聚类等能力,有效地解决了大模型在知识时效性低、输入能力有限、准确度低等问题,让大模型更高效率地存储和读取知识库,降低训练和推理成本,激发更多的AI应用场景。在赋予大模型拥有“长期记忆”的同时,还可以协助企业解决目前最担忧的大模型数据隐私泄露问题。
5.星环科技向量数据库Hippo社区版来啦:极简资源、极速安装,大模型场景DIY快速体验!
星环科技Transwarp Hippo作为一款企业级云原生分布式向量数据库,自发布以来受到了众多用户的欢迎,帮助用户实现向量数据的存储、管理和检索,加速大模型场景的探索和实践。为了进一步降低用户使用向量数据库的门槛和成本,Hippo推出Community Edition社区版,单机即可安装部署,开箱即用,并支持多种接口、向量/标量数据实时更新,以及多种向量检索,帮助用户低成本、快速地进行大模型场景的探索,如构建知识库、智能问答机器人等。
6.星环科技向量数据库Transwarp Hippo1.1发布:一库搞定向量+全文联合检索,提升大模型准确率!
星环科技向量数据库Transwarp Hippo自发布已来,受到了众多用户的欢迎,帮助用户实现向量数据的存储、管理和检索,探索和实践大模型场景。在与用户不断地深入交流以及实践中,Hippo迎来了V1.1版本,一套系统即可支持向量与全文联合检索,提高文本数据的召回精度,从而提升大语言模型应用的准确率。
同时,Hippo1.1新增余弦距离、批量数据导入导出、Explain与Profile支持、ARM架构支持等能力,大幅降低用户使用门槛和成本。
同时,Hippo1.1有多个新特性升级,帮助用户实现降本增效图片,包括:余弦距离支持,简化业务逻辑;批量数据导入导出,加速数据流转;支持ARM架构,满足国产化需求;支持Explain与Profile,高效性能优化等。
7.九章云极DingoDB多模向量数据库亮相,大模型时代数据觉醒
在DataCanvas“变革”产品发布会上重磅亮相的DingoDB多模向量数据库,将多模态能力加持到向量数据库之上,其产品能力和技术优势让业界眼前一亮。作为开源社区的一员, DingoDB正在加速实现与开源社区的联动,目前已完成与LangChain框架的对接。
DingoDB的出现突破了当前向量数据库的有限选择。作为一种全新的向量数据库形态——分布式多模态向量数据库,DingoDB具备三种数据库——基于关系型数据库的向量索引、专用向量数据库、分布式向量数据库——全部能力的同时,还支持多模态数据的统一存储和联合分析,进一步扩展了向量数据库的能力边界。
DingoDB在向量化数据存储处理方面提供以下功能特性:统一存储、多模态检索、联合分析、一体化SQL计算引擎、异构计算等。
8.腾讯云向量数据库正式上线公测!提供10亿级向量检索能力
7月4日,腾讯云正式发布AI原生(AI Native)向量数据库Tencent Cloud VectorDB。该数据库能够被广泛应用于大模型的训练、推理和知识库补充等场景,是国内首个从接入层、计算层、到存储层提供全生命周期AI化的向量数据库。
据介绍,腾讯云向量数据库最高支持10亿级向量检索规模,延迟控制在毫秒级,相比传统单机插件式数据库检索规模提升10倍,同时具备百万级每秒查询(QPS)的峰值能力。
此后,腾讯云向量数据库(Tencent Cloud Vector DB)正式上线公测。腾讯云向量数据库不仅能为大模型提供外部知识库,提高大模型回答的准确性,还可广泛应用于推荐系统、文本图像检索、自然语言处理等 AI 领域。腾讯云向量数据库是国内首个从接入层、计算层、到存储层提供全生命周期AI化的向量数据库。
9.阿里云AnalvticDB,PAI+ADB向量引擎,开启AIGC之旅
阿里云的云原生数据仓库 AnalyticDB PostgreSQL 版是一种大规模并行处理(MPP)数据仓库服务,可提供海量数据在线分析服务。在云原生数据仓库能力上,阿里云全自研企业级向量数据库,支持流式向量数据写入、百亿级向量数据检索;支持结构化数据分析、向量检索和全文检索多路召回,是国内云厂商中唯一被OpenAI和LangChain 知名大模型社区推荐的向量引擎。
其优势包括:
一站式融合分析。通过一条 SQL 同时支持向量分析、全文检索和结构化数据分析多路召回,较比分别采用三种数据库得到分析结果再进行手动融合,在易用性、成本、准确性上都要更优。
主流社区认可。国内云厂商中唯一被 OpenAI 和 LangChain 知名 LLM 社区推荐的向量引擎,支持对接通义千问、ChatGPT、ChatGLM、LLaMA 2等主流大模型。
功能完善、性能卓越。支持向量数据流式导入和索引压缩;较比同类产品有更高的写入吞吐和查询性能;支持原子性和事务;支持欧式距离、点积距离、汉明距离、余弦距离等相似度算法。
解决方案丰富。具备一键搭建专属大模型和向量数据库,构建企业级专属 ChatBot 解决方案;支持构建以图搜图系统。
10.联汇科技推出自研Om-iBase向量数据库
联汇科技2019年开始向量数据库研发,自研Om-iBase向量数据库在2021年获得国家科技部颠覆性技术创新奖,是国内最早成功自研并成熟商用向量数据库的人工智能企业。
Om-iBase基于智能算法提取需存储内容的特征,使用AI深度学习模型和自监督学习技术,对文本、图片、音频和视频等非结构化数据进行特征提取,有效实现非结构化数据向量化存储,并通过向量化编辑器、向量索引加速技术(ANN)、向量聚类、向量降纬、数据聚类、异常分析等核心技术与算法,确保向量分析的全面性和检索的准确性,实现数据库的高性能检索、高性能分析。
Om-iBase向量数据库拥有向量化引擎、向量检索、向量分析、可配置插件、GUI后台等核心功能,开发者可以最大化的自主发觉潜能。
Om-iBase核心功能包括:支持丰富模态的向量化引擎,实现高性能向量检索,实现高性能向量分析,灵活可配置且云原生,GUI 管理后台等。
11.完善产品拼图,GBASE南大通用发布向量数据库
南大通用发布了GBase向量数据库GBase Cloud Vector DB。GBase向量数据库GBase Cloud Vector DB是在GBase 8a集群基础上实现,具有GBase8a的全部功能,使用统一的开发接口、用户权限、分布式执行计划、数据计算、存储服务等,是继承GBase 8a集群的高可用、高可扩展性、高安全性以及运维管理能力的分布式向量数据库。
具体来看,其新增的向量数据库功能有:
·向量数据存储:增加向量数据类型 (array),在GBase 8a集群的表中可以创建一个或多个向量数据类型字段,存储向量数据,支持将原始数据(文本、图片)的存储位置信息(URI)记录到表中
·向量检索:实现余弦距离、欧式距离、内积等距离计算函数,用于计算向量间的距离,向量检索时,返回相似度高(距离短)的向量
·向量索引:实现余弦距离向量索引、欧式距离向量索引、内积向量索引,加速向量查询性能等。
12.爱可生携手华为数据存储打造向量数据库存储解决方案,加速行业AI大模型训练
近日,在华为全联接大会2023上,华为数据存储与爱可生共同发布向量数据库存储联合解决方案,进一步增强大模型应用能力,提升推理可靠性与精准度。双方充分利用爱可生在向量数据库大规模数据的高效组织能力、易扩展的索引结构、时变环境下向量数据快速对比等优势,并结合华为OceanStor Dorado全闪存NAS存储在海量非结构化数据下的优异处理效率,打造向量数据库存储联合解决方案。
2022年上海爱可生公司推出完全自主设计研发的向量数据库软件TensorDB,实现了超大规模向量型数据的高效组织,设计了易扩展的索引结构,有效支撑了时变环境下的向量数据快速比对。面向复杂场景下的实体分析与关系推断,TensorDB 克服了 AI 领域多样化应用面临的非结构化数据管理与处理分析困难,提升了数据库异构融合能力。
TensorDB 具有极高的并发检索性能,支持卓越的水平拓展能力,并提供满足多元业务场景下的高可用需求。TensorDB 致力于为用户提供一站式非结构化数据的检索与存储解决方案。当前被应用于互联网服务、工业制造、金融、安防等领域。
13.Oracle推出面向生成式 AI 的集成向量数据库
Oracle宣布使用AI向量向Oracle Database 23c添加语义搜索功能。称为 AI 向量搜索的功能集合包括新的向量数据类型、向量索引和向量搜索 SQL 运算符,使 Oracle 数据库能够将文档、图像和其他非结构化数据的语义内容存储为向量,并使用它们来运行快速相似性查询。这些新功能还支持检索增强生成 (RAG),这是一种突破性的生成 AI 技术,结合了大型语言模型 (LLM) 和私有业务数据,以提供对自然语言问题的响应。RAG 提供更高的准确性,并通过将其包含在 LLM 训练数据中来避免公开私有数据。
“Oracle数据库是领先的业务数据存储库,业务数据和语义数据的结合是企业实施人工智能解决方案所需要的,”甲骨文关键任务数据库技术执行副总裁Juan Loaiza说。“如果两种类型的数据都由单个数据库管理,那么对业务和语义数据组合的搜索会更容易、更快、更精确。通过将 AI 向量搜索添加到 Oracle 数据库,我们使客户能够在不牺牲安全性、数据完整性或性能的情况下快速轻松地获得人工智能的优势。使用 Oracle AI 向量搜索不需要机器学习专业知识。所有数据库用户,包括开发人员和管理员,都可以在不到 30 分钟的时间内学会使用它。
Oracle还将使基于Oracle数据库和自治数据库构建的应用程序能够添加基于LLM的自然语言界面,为最终用户提供一种简单直观的方式,只需提出自然语言问题即可快速询问所需的数据。此外,APEX和SQL Developer等Oracle数据库工具将通过生成AI功能得到增强,使开发人员能够使用自然语言生成应用程序或生成SQL查询,而无需编写代码。
14.Oracle通过向量存储和新的生成式人工智能功能继续MySQL HeatWave创新
甲骨文宣布了对MySQL HeatWave的重大增强,包括对向量存储的支持,生成AI,新的数据库内机器学习功能,MySQL Autopilot增强功能,新的HeatWave Lakehouse功能,对JavaScript的支持,JSON查询的加速以及对新分析运算符的支持。向量存储目前为个人预览版,使客户能够利用大型语言模型 (LLM) 及其专有数据的强大功能,获得比使用仅针对公共数据训练的模型更准确的答案。借助生成式AI和向量存储功能,客户可以用自然语言与MySQL HeatWave进行交互,并在HeatWave Lakehouse中高效搜索各种文件格式的文档。
“今天对MySQL HeatWave的增强是我们解决紧迫的客户数据,分析和AI问题的又一重要步骤,”甲骨文首席企业架构师Edward Screven说。“我们之前已经为HeatWave添加了具有业内最佳性价比的实时分析,自动化机器学习,湖屋和多云功能。现在,向量存储和生成式人工智能将LLM的强大功能带给客户,为他们提供了一种直观的方式来与企业中的数据进行交互,并获得业务所需的准确答案。
对于希望跨各种数据类型和来源执行分析、事务处理、机器学习和生成 AI 的客户,MySQL HeatWave 中添加了其他功能,适用于与 MySQL 兼容和非 MySQL 工作负载。(oracle.com)
15.KX宣布KDB.AI云:面向 AI 的免费、智能向量数据库
向量和时间序列数据管理的全球先驱 KX 宣布全面推出 KDB.AI Cloud,用于实时上下文 AI 的向量数据库。
KDB.AI 云使开发人员能够为其 AI 驱动的应用程序带来时间和语义上下文和相关性。它专为处理高速时间序列数据和多模式查询数据处理而构建,例如,允许业务用户使用具有语义相关性的自然语言搜索来查询实时金融市场数据。
时间意识意味着KDB.AI Cloud 根据临时时间窗口(例如数据创建、修改新近度或定期比较)回答问题。这有助于应用程序查找和返回更多相关数据,并允许时间点和同类比较。
KDB.AI Cloud 可与流行的 LLM 和机器学习工作流程和工具(包括 LangChain 和 ChatGPT)无缝协作,而对 Python 和 RESTful API 的原生支持意味着开发人员可以使用他们喜欢的应用程序和语言执行数据摄取、搜索和分析等常见操作。
主要用例包括:
·多模式非结构化数据搜索 – 任何数据格式的对象之间的相似性搜索 – 视频、图像、文本、时间序列或非结构化。
·使用数字孪生实现自动化。通过提供基于时间的态势感知,可以应用向量为来自数字孪生的物联网数据流提供上下文,从而自信地实现自动化。
·模式匹配和异常检测 – 发现数据集中的异常,以建立数据完整性并提高性能。
·推荐系统 – 根据反馈循环优化算法,以实现自适应用户体验。
·情绪分析 – 检测客户模式并改善用户体验。(kx.com)
16.DataStax增加了向量搜索,以增强对生成AI工作负载的支持
数据库初创公司DataStax宣布其新的向量搜索功能适用于Astra DB的每个版本,Astra DB是一种流行的数据库即服务产品,建立在开源Apache Cassandra产品之上。
新功能使Astra DB更适合托管用于训练人工智能模型的数据,包括生成AI驱动的聊天机器人。
Astra DB是分布式Apache Cassandra数据库的增强版本,旨在管理大量数据。Cassandra 可以存储 PB 或千万亿字节,只要部署中的单个服务器保持在线,它就能够承受中断,从而提供极高水平的弹性。
借助 Astra DB,公司可以获得其他功能,例如简化的部署和日常管理功能。由于 Astra DB 是无服务器云服务,因此用户不必担心托管数据库的底层基础设施。客户可以选择在亚马逊网络服务,Microsoft Azure,谷歌云或其他平台上托管Astra DB。
DataStax表示,新的向量搜索功能使Astra DB成为AI项目的理想平台,因为它使数据库能够将数据存储为向量嵌入。文档、视频、图像和用户行为等非结构化数据现在都可以转换为向量,向量是一系列复杂的数字,可以通过人工智能算法更轻松地访问。(siliconangle.com)
17.SingleStore,为处理向量数据库和传统关系数据库提供了单一平台
SingleStore旨在为数据密集型应用提供世界上最快的分布式SQL数据库:SingleStoreDB,它将事务+分析工作负载结合在一个平台中。
SingleStoreDB 提供强大的向量数据库功能,非常适合基于 AI 的应用程序、聊天机器人(如我们自己的 SQrL)、图像识别等,无需您仅为向量工作负载运行专用向量数据库。与传统的向量数据库不同,SingleStoreDB 将向量数据存储在关系表中,与其他类型的数据一起存储。通过将向量数据与相关数据放在一起,您可以充分利用 SQL 的功能轻松查询向量数据的扩展元数据和其他属性。
SingleStoreDB 采用横向扩展架构设计,拥有深度查询功能、语义搜索、不折不扣的性能、最近邻搜索等功能,确保您有能力支持不断增长的数据需求。(siliconangle.com)
开源世界
18.基于Milvus的全托管向量数据库云服务产品——Zilliz Cloud在国内推出了
作为Milvus背后的开发者与运营者,Zilliz一直走在向量数据库的前沿。经过五年的持续打磨,终于在国内推出了基于 Milvus 的全托管向量数据库云服务产品——Zilliz Cloud。
从性能方面来看,Zilliz Cloud 在QPS和降低查询延迟方面远超其他同类产品。
Zilliz Cloud采用商业化引擎,综合性能超过Milvus 开源引擎的1倍以上。引擎针对典型场景进行深度优化,性能可提升 3-5 倍。
事实上,用户的普遍场景可以归纳为性能需求型、容量需求型与成本敏感型。为此,Zilliz Cloud 在向量数据库实例中也相应提供了三类支持:性能型、容量型和经济型。不同的实例类型由不同的算法与硬件资源组合而成,适用于不同的业务场景。
为了进一步降低应用构建成本,提供标准化组件,Zilliz Cloud 为开发者提供了双重支持:
一是大模型生态对接。Zilliz与OpenAI、 LangChain、Cohere、LlamaIndex、Auto-GPT、BabyAGI 等热门项目进行了深度集成。此外,与国产大模型如文心一言、通义千问、智谱 AI、MiniMax、360 智脑等对接工作正在进行中。
二是面向非结构化数据处理流水线。Zilliz Cloud 提供了开源的Towhee工具框架。开发者可以在熟悉的Python环境,以类似Spark的算子语法编写自己的流水线,轻松处理文本、图片、音频、视频、化合物结构等非结构化数据的 ETL 过程。
目前,Zilliz Cloud提供SaaS和PaaS服务,其中SaaS已覆盖AWS、GCP、阿里云,PaaS覆盖 AWS、GCP、Azure、阿里云、百度智能云、腾讯云和金山云。
19.新的MongoDB Atlas向量搜索功能可帮助开发人员构建和扩展AI应用程序
MongoDB宣布了MongoDB Atlas Vector Search 的新功能、性能改进和数据流集成,使开发人员能够更快、更轻松地构建生成式 AI 应用程序。
MongoDB Atlas Vector Search使开发人员更容易聚合和过滤数据,改善语义信息检索并减少AI驱动的应用程序中的幻觉。随着MongoDB Atlas Vector Search的新性能改进,构建索引所需的时间现在大大减少了85%,有助于加速应用程序开发。
此外,MongoDB Atlas Vector Search现在与来自Confluent Cloud的完全托管数据流集成在一起,以便更轻松地使用来自各种来源的实时数据来支持AI应用程序。
Atlas 向量搜索可让您搜索非结构化数据。您可以使用 OpenAI 和 Hugging Face 等机器学习模型创建向量嵌入,并将其存储在 Atlas 中,以便检索增强生成 (RAG)、语义搜索、推荐引擎、动态个性化和其他用例。
借助 Atlas Vector Search,开发人员可以构建 AI 驱动的体验,同时通过 MongoDB Query API 形式的统一且一致的开发人员体验访问所需的所有数据。我们新的SvectorSearch聚合阶段使那些已经在使用MongoDB的人更容易。
利用文档模型的强大功能,将向量嵌入存储在源数据和元数据旁边。向量嵌入与应用程序数据集成,并无缝索引语义查询,使您能够更轻松、更快速地进行构建。
Atlas Vector Search建立在MongoDB Atlas开发者数据平台上。轻松自动执行配置、修补、升级、扩展、安全性和灾难恢复,同时提供对数据库和 Vector 搜索性能的深入可见性,以便您可以专注于构建应用程序。(mongodb.com)
20.Weaviate AI原生向量数据库现已在Google Cloud Marketplace中推出
Weaviate公司与Google Cloud 合作,开发人员只需在Google Cloud Marketplace中单击一下即可使用其AI原生向量数据库。
作为Google Cloud合作伙伴(现在在Marketplace上提供其开源软件),Weaviate使客户能够创建和部署满足企业需求的生成式AI应用程序,并通过Google Cloud方便地计费。合规性、法规和供应商审批的麻烦被最小化。
通过Google Cloud Marketplace部署Weaviate的客户可以将最新的生成AI模型引入其数据,同时确保数据安全。Weaviate可以直接配置到客户的租户中,包括他们的虚拟私有云。客户可以确信,专有数据不会用于训练以后可能被竞争对手使用的模型,这与 Google Cloud 对数据隐私和安全的承诺一致。
Weaviate是一个开源的向量数据库。它允许您存储来自您喜欢的 ML 模型的数据对象和向量嵌入,并无缝扩展到数十亿个数据对象。
Weaviate不仅仅是一种开发人员体验工具,还是一个精心打造的社区驱动型生态系统,使开发人员能够快速轻松地构建端到端 AI 应用程序。从文档到开源社区,Weaviate旨在成为开发人员喜爱的首选解决方案。(https://weaviate.io/)
21.时间序列数据库Timescale为 AI 添加向量搜索
时间序列数据库TimescaleDB现在也是一个向量数据库。Timescale推出Timescale Vector,用于使用PostgreSQL大规模构建生产AI应用程序。
Timescale Inc.是基于PostgreSQL的云时间序列数据库的创建者,它希望通过推出其最新的向量功能来迎合人工智能开发人员。为此,Timescale Vector被设计为扩展PostgreSQL(一个更熟悉,更受信任的数据库),以便能够大规模存储,查询和管理向量数据。这不仅大大简化了AI应用程序堆栈,降低了其操作负担,还继承了与PostgreSQL相关的30多年战斗测试和可靠性。
Timescale Vector是为应对AI不断发展的性质而开发的,它从单个平台管理关系数据、向量嵌入、时间序列数据、分析和事件数据。
Timescale在一系列融资中筹集了超过7000万美元的风险投资,是一个时间序列数据库的创建者,该数据库按时间顺序存储信息,按生成顺序存储信息。这对于应用程序日志等应用程序非常有用,这些应用程序描述了计算系统在特定时间范围内经历的延迟。
Timescale表示,它添加的原生向量功能可以帮助开发人员仅使用单个数据库来简化AI应用程序堆栈。此外,由于Timescale数据库本质上是具有增强功能的PostgreSQL,因此它继承了30多年的实战测试的稳健性和可靠性。
在优势方面,向量功能将使开发人员能够通过尖端的近似最近邻索引加速搜索。据该公司称,Timescale将其ANN索引与自己的索引算法配对,以实现比专业向量数据库Weaviate快243%的搜索速度,并且比基于PostgreSQL的替代搜索索引快39%至363%。(dbta.com)
22.Redis在其第一个统一平台更新中增加了对向量数据库搜索的支持
随着宣布的新 Redis 7.2 更新,Redis 在其产品套件中引入了所谓的“统一版本”,以帮助统一公司的产品发布并让用户更容易采用。
Redis 7.2 的重大更新包括向量数据库功能的扩展功能,可帮助提高 AI 应用程序的性能。实时工作流也通过 Redis 数据集成 (RDI) 功能得到提升,该功能可实现比 Redis 以前可用的更好的变更数据捕获功能。
新功能针对向量数据库,用于以更有条理的方式存储非结构化数据。它们将文档、视频、图像和用户行为等内容转换为向量或复杂的数字字符串。Redis表示,向量相似性搜索是任何向量数据库的关键特征,它指的是查找与查询向量相似的向量的过程。
Redis说,这些功能可用于推荐系统,自然语言处理,图像和视频搜索以及异常检测等应用。例如,如果一家公司正在构建一个基于人工智能的推荐系统,它可以使用向量相似性搜索来定位和推荐与用户已经表现出兴趣的产品相似的产品。
Redis 还强调了 Redis Enterprise 上的向量相似性搜索如何使用分片,这是一种用于扩展数据库的水平分区技术,使搜索更具可扩展性。
向量数据库可用于训练生成式 AI 应用程序,因为它们为它们提供了大量非结构化数据。为此,Redis Enterprise 获得了存储向量嵌入的能力,这意味着它可以将上下文中的信息编码为向量。
有专门构建的向量数据库 - 如Pinecone和Milvus - 并且还有越来越多的现有数据库平台,如PostgreSQL和MongoDB,正在扩展以实现向量功能。使用 Redis 的向量相似性搜索属于后一类,作为一组可用于扩展 Redis 企业平台的功能。(venturebeat.com)
23.Pinecone与 AWS、Azure合作解决生成式 AI 幻觉挑战
为人工智能 (AI) 提供长期记忆的向量数据库公司 Pinecone 宣布与亚马逊云科技 (AWS) 合作提供的用于构建 GenAI 应用程序的完全托管服务Amazon Bedrock 集成。该公告意味着客户现在可以大大减少幻觉,并加速聊天机器人、助手和代理等生成式人工智能(GenAI)应用程序的上市。
Pinecone 向量数据库是人工智能技术堆栈的关键组成部分,通过允许公司存储、搜索和查找公司数据中最相关和最新的信息,并在每次查询时将该上下文发送到大型语言模型 (LLM),帮助公司解决部署 GenAI 解决方案的最大挑战之一——幻觉。该工作流程称为检索增强生成(RAG),借助Pinecone,它有助于从搜索或GenAI应用程序向最终用户提供相关,准确和快速的响应。
借助 Amazon Bedrock,无服务器平台允许用户根据自己的需求选择和自定义正确的模型,然后使用 Amazon SageMaker 等流行的 AWS 服务轻松集成和部署这些模型。
Pinecone 与 Amazon Bedrock 的集成使开发人员能够快速轻松地构建简化的、真实的 GenAI 应用程序,这些应用程序将 Pinequene 的易用性、性能、成本效益和可扩展性与他们选择的 LLM 相结合。Pinecone 的企业级安全性及其在 AWS Marketplace 上的可用性使企业开发人员能够更快地将这些 GenAI 解决方案推向市场。
此外,Pinecone 也与 Microsoft Azure合作,Azure 客户现在使用更接近其数据和应用程序的向量数据库,从而为其用户提供快速、准确和安全的生成 AI 应用程序。(datanami.com)
24.开源向量数据库Milvus 2.3 透过 NVIDIA GPU支持,大幅加速 AI 驱动应用
开源向量数据库Milvus的发明者Zilliz宣布推出 Milvus 2.3测试版,该测试版支持NVIDIA GPU,可提供更大的灵活性,并显著改善实时工作负载性能。
Milvus 专为人工智能应用而构建,可存储、索引和管理由大型语言模型(LLM)、卷积网络和其他机器学习(ML)模型生成的数十亿个嵌入向量。Milvus可处理所有类型的非结构化数据,消除了管理多个数据库的成本和复杂性。借助 Milvus,组织可以快速分析数据并采取行动,以减少欺诈、提供更好的建议、避免停机并更快地做出决策。
异构(CPU + GPU)计算极大地提高了实时推荐引擎、问答系统、异常检测、图像和视频搜索以及其他由相似性搜索提供支持的应用程序的性能。Milvus是首款支持异构计算的向量数据库,最新的 Milvus 版本将这一强大功能带到了重新架构的云原生Milvus 2.3平台中,该平台提供了混合搜索、可调一致性、始终在线操作等诸多优势。
凭借更快的并行性能和更快、更高效的查询,Milvus 2.3比Milvus 2.0快4倍,比将向量搜索改造到传统数据库解决方案的竞争对手快10倍以上。
Milvus 2.3还引入了GPU加速功能,性能比仅使用CPU的版本快10倍。GPU加速的Milvus将继续改进,并为机器学习和人工智能驱动的各种应用提供高性能的向量搜索功能。(globenewswire.com)
25.开源向量数据库推出最新版本Chroma v0.4
开源向量数据库Chroma宣布推出迄今为止最新版本——Chroma v0.4。
Chroma v0.4,一直在努力大幅改进Chroma的内部结构。虽然开发人员仍将获得同样易于使用的API,但Chroma现在比以往任何时候都更稳定,更易于安装和运行。这是Chroma的第一个真正的production oriented版本。
此版本标志着Chroma朝着可扩展的全分布式Chroma版本迈出了下一步,为所有应用程序开发人员提供AI可编程内存的强大功能。
新版本解决了Chroma原始架构造成的问题,同时简化和巩固了它。它还增加了一个强大的、基于模型和基于属性的测试套件,让开发人员在对Chroma进行更改时充满信心。
Chroma现在比以往任何时候都更容易安装和运行 - 已经消除了DuckDB和ClickHouse作为系统依赖关系,并通过在本地和客户端/服务器部署中使用SQLite来统一文档存储。SQLite 为我们的用例提供了出色的性能,还提供了一组强大的全文搜索功能。
此体系结构可减少内存使用量、简化基础结构和更强大的本地存储解决方案。此外,核心向量索引现在实现了不那么简单的存储方案,而在每次写入将整个索引序列化为磁盘之前,它现在以增量方式更新磁盘上的副本。虽然要使这个系统尽可能快,还有很多工作要做,但这解决了用户在使用Chroma时面临的许多持久性问题。
Chroma现在在查询、更新、添加或删除数据时也可以安全地进行多线程访问。我们已经小心翼翼地设计了一个粗略的锁定方案来防止数据损坏,并将随着时间的推移使这个系统更快。(trychroma.com)
26.Actian在Hadoop中为Vector添加了原生Spark支持
Actian最近在其Vector in Hadoop(VectorH)工具的更新版本中宣布支持Apache Spark。该解决方案利用 Hadoop 数据存储的向量化处理和内存中加速。该提供商的 Vector 分析数据库产品系列适用于本地和云中的单服务器、集群和混合事务/分析环境。
VectorH中包含的分析功能面向使用Apache Spark的开发人员和数据科学家。Spark 最值得注意的一些用途包括机器学习、流式传输和预测。VectorH与Spark一起充当生产平台,提供安全性,实时数据更新,资源管理和查询优化器。
Actian最新和最伟大的一些亮点包括:
·实时数据更新:根据供应商的说法,该工具可以处理数据更新而不会降低性能。
·本机查询访问:Native Spark 支持提供了对 Hadoop 文件格式(包括 Parquet 和 ORC)的优化访问。直接访问将包括跨表执行 SQL 联接的功能。
·本机数据帧支持:通过数据帧提供与 Spark 功能的直接连接,从而在 SparkSQL 和 Spark R 应用中更快地执行查询。(solutionsreview.com)

春华秋实!

扫码关注
大数据应用
从现在开始

End




