DataStax正与Google合作,将向量搜索引入其AstraDB NoSQL数据库即服务,试图使Apache Cassandra更兼容人工智能和大型语言模型(LLM)的工作负载。
向量搜索或向量化,特别是在生成式AI的大量出现之后,被数据库供应商视为一项关键能力,因为它可以通过减少结构化数据的需求来缩短训练AI模型所需的时间 —— 这是目前搜索技术中普遍存在的做法。相比之下,向量搜索可以读取正在查询的数据点的必需或必要的属性属性。
DataStax在一份声明中表示:“向量搜索使开发人员能够通过上下文或含义而非关键词或字面值来搜索数据库。这是通过使用嵌入来实现的,例如Google Cloud的文本嵌入API,它可以将语义概念表示为向量来搜索无结构的数据集,如文本和图像。”
嵌入可以被看作是强大的工具,它可以在大量的数据语料中进行自然语言搜索,这些数据可以是不同的格式,并提取出最相关的数据片段,Datastax表示。
分析师认为,向量数据库是2023年的一项“热门票据”,因为企业在寻找减少开支的同时建立基于生成式AI的应用。
通过Google驱动的NoSQL副驾驶员可以访问AstraDB的向量搜索 向量搜索以及其他更新将通过一个Google驱动的NoSQL副驾驶员在AstraDB内部可访问,该副驾驶员还将帮助DataStax的客户构建AI应用,公司表示。
在内部,NoSQL副驾驶员结合了Cassandra的向量搜索、Google Cloud的Gen AI Vertex、LangChain和GCP BigQuery。
DataStax的首席产品官Ed Anuff表示:“DataStax和GCP共同设计了NoSQL副驾驶员作为一个LLM内存工具包,然后插入LangChain,并使得将Vertex Gen AI服务与Cassandra的缓存、向量搜索和聊天记录检索相结合变得容易。这样就使得企业易于为他们的商业应用构建自己的副驾驶员,并使用在Cassandra中保存的自己的数据集的AI服务组合。”
由于这两家公司共同开发的一个开源库,可以插入LangChain,这是一个旨在简化使用大型语言模型开发生成式AI应用的开源框架。
这个库,被称为CassIO,旨在使将基于Cassandra的数据库添加到生成式AI软件开发套件(SDK)如LangChain变得容易。
企业可以使用CassIO构建复杂的AI助手,为生成型AI进行语义缓存,浏览LLM聊天历史,并管理Cassandra提示模板,DataStax表示。
与Google的其他集成包括企业使用Google Cloud可以从Cassandra-based数据库导入和导出数据到Google的BigQuery数据仓库,通过使用Google Cloud控制台创建和服务基于机器学习的特性。
与Google的第二次集成将允许AstraDB订阅者将实时数据从Cassandra到Google Cloud服务进行管道传输,以监控生成AI模型的性能,DataStax表示。
DataStax还与SpringML合作,以帮助加速使用SpringML的数据科学和AI服务提供的生成AI应用的开发。
Cassandra的向量搜索可用性 构建在Apache Cassandra之上的AstraDB,可能是首个将向量搜索引入到开源分布式数据库的产品。目前,Cassandra的向量搜索正在为其5.0版本计划,这是数据库社区(DataStax是其成员)的一篇帖子所显示的。
在可用性方面,目前AstraDB的向量搜索可以用于非生产工作负载,并处于公开预览阶段,DataStax表示,并补充说,搜索将首先在Google Cloud上独家提供,随后扩展到其他公共云。




