2024年12月3日，荷兰AI数据库初创公司Weaviate B.V.推出了Weaviate Embeddings，旨在简化数据向量化流程。这是一款能够自动将非结构化信息转换为向量嵌入的开源工具，采用按需付费模式，旨在加速AI应用中非结构化数据的准备过程。
这家荷兰初创公司以其开源向量数据库而闻名，该数据库专为AI开发设计，旨在满足AI对非结构化数据的巨大需求，这些数据是驱动生成性AI聊天机器人（如ChatGPT）的“原油”。
Weaviate将非结构化信息存储为向量嵌入，这是一种数学结构，可以表示从文档到购买日志，再到图像和音频文件的所有内容。通过将数据存储为向量，AI模型可以更容易地理解和处理它。
尽管如此，用户在准备数据集转换为向量嵌入时面临巨大挑战。此外，还需要将用户输入的查询提示转换为嵌入。
传统上，开发者使用嵌入服务来执行数据向量化这一关键任务，但这些服务常常成为瓶颈。问题在于它们对用户施加了限制性速率限制，减慢了应用程序的速度。它们还依赖于远程应用程序编程接口调用，进一步影响性能，并且使用专有模型锁定开发者进入他们的生态系统。
Weaviate Embeddings为开发者提供了一个基于开源模型的替代方案，这些模型托管在Weaviate Cloud中。它消除了连接第三方嵌入提供商的需求，同时确保开发者能够完全控制他们的所有嵌入。此外，他们可以在不同嵌入模型之间切换，而无需手动重新索引数据。
这项新服务运行在图形处理单元上，将AI模型更接近向量数据存储的位置，确保低延迟。与其它服务不同，Weaviate表示它不会对用户施加速率限制或上限。此外，按需付费定价保持了简单性。
Weaviate Embeddings现已在Weaviate Cloud上预览可用，但目前用户仅限于使用Snowflake Inc.的Arctic-Embed这一种嵌入模型。然而，公司向用户保证，将从明年初开始支持更多模型。
首席执行官Bob van Luijt表示，目标是帮助开发者将他们的AI模型更接近他们依赖的数据。
“我们的目标是让开发者能够简单构建和管理AI原生应用。”他说，“对于那些更喜欢定制方法的人，我们的开源数据库支持他们想要的任何工作方式。这一切都是为了给开发者选择最适合他们的自由。”
Weaviate Embeddings的推出是这家荷兰公司一系列创新的最新举措。今年早些时候，它推出了一个面向开发者的AI工作台，包括预构建的推荐代理和各种查询、集合和数据探索工具。它还提供了热、温、冷数据存储层的选择，以便开发者能够更好地平衡AI应用的成本与性能。
原文作者： Mike Wheatley
