本周，随着 Algolia NeuralSearch 的发布，开发最佳搜索引擎技术的竞赛再次升温。它建立在人工智能引擎之上，结合了向量数据库搜索和传统关键字搜索。
Algolia 的系统以前主要依赖关键字相关性，这是自搜索技术首次出现以来的默认方法。据 Algolia 称，其现有技术每年已经提供 1.5 万亿次搜索，为包括Walgreens、Under Armour和Petsmart在内的 17,000 多家组织提供网站查询支持。
然后，在 2022 年 9 月，Algolia收购了 Search.io以扩展其搜索功能，添加新的向量搜索功能。
新的 NeuralSearch 服务结合了 Algolia 的关键字技术和Search .io向量技术。这两种方法的融合提供了该公司声称的新型高度准确的搜索。
向量数据库是许多 AI 部署中越来越重要和常见的部分，它提供了针对机器学习操作和数据查询优化的数据存储库。
“我们从 Search.io 得到的是具有自然语言理解的向量搜索，它使用户能够按照我们的想法进行搜索，”Algolia 首席执行官 Bernadette Nixon 告诉 VentureBeat。“所以这是推理，它真正实现了从所有必须匹配关键字的事情到真正理解你正在寻找的内容背后的意图和上下文的跳跃。”
为什么合并向量数据库和关键字搜索大于两部分的总和
随着 AI 领域的扩大和需求激增，最近几周向量数据库技术市场变得越来越泡沫化。例如，初创公司Pinecone在 4 月底宣布已筹集到 1 亿美元的新资金。
Nixon 解释说，Algolia 拥有的不仅仅是一个向量数据库。她强调，该公司的“秘密武器”是它如何以一种可以加速查询性能的方式管理向量，这些向量是数学嵌入。
“我们找到了一种使用它们 [向量] 的方法，因为它们擅长于：了解搜索词背后的含义和理解，”尼克松说。“然后我们基本上以保持 100% 保真度的方式压缩它们，但削减了大约 90% 的成本。”
“秘密武器”的核心是一种被 Algolia 称为神经哈希的方法。这会获取数据库中的向量相似性，并将它们提炼成可以存储在 Algolia 索引中的二进制文件，以提供对查询的快速响应。
“秘密武器”的另一部分是 Algolia 可以将关键字和向量搜索应用于每个查询，并为用户提供优化的结果。
仅基于关键字的站点搜索的一个常见挑战是用户可能得不到任何结果。Nixon 说，NeuralSearch 的早期用户报告说返回零结果的查询减少了 70%。
更进一步，组织报告称收入转化率增加了 20%。
即将推出：适用于所有人的向量数据库
Algolia 对其向量数据库技术的期望超越了搜索。
Nixon 解释说，现在的情况是，如果一家公司想要将自己的数据用于 AI，而不是仅仅使用大型语言模型 (LLM) 中的任何数据，那么它通常必须在向量数据库中训练和存储数据.
向量数据库还可以跟踪所有被问到的问题以及答案，这样用户就可以轻松检索结果，而不必返回并重新创建提示。
迄今为止，组织大多不得不将向量数据库与传统的基于 SQL 的数据库一起部署，以支持更大的应用程序。Nixon 暗示，Algolia 计划在不久的将来通过即将发布的版本来改变这种范式，该版本将使向量嵌入作为另一种数据类型在常见的 SQL 数据库中工作。
“我们的意思是，您不必费心引入另一个数据库；我们能做的就是在另一个领域对存储在数据库中的数据进行向量化处理，”Nixon 说。“您不必实施单独的向量数据库，我们可以对其进行向量化、散列处理并将其发回给您。”
文章来源：https://venturebeat.com/ai/new-breed-search-with-ai-assist-combines-vector-database-keywords/
