腾讯云大数据ES：结合AI大模型与向量检索的新一代云端检索分析引擎

腾讯云大数据 2023-08-10

引言

信息化技术的飞速发展使得海量数据爆发式增长。一方面，越来越多的数据可以为我们的生活带来便利，但另一方面，也给软件开发带来巨大的挑战——图片、声音、视频等不同结构的数据越来越多地出现，为搜索分析带来巨大的挑战，传统的关键词搜索，搜索结果局限于输入的关键词，用户体验较差。向量检索的出现，给我们提供了一个新的思路，向量数据库将非结构化、半结构化甚至是结构化等数据以向量形式存储，实现相似度搜索、聚类、降维等操作，结合机器学习模型，为用户更加智能的搜索服务。

然而，集文本搜索➕向量检索➕AI能力于一身，且成熟稳定、值得信赖的云端搜索引擎，在业内屈指可数，腾讯云大数据Elasticsearch Service近期首发上线的ES 8.8.1版本，提供了强大的云端AI增强与向量检索能力，支持在端到端搜索与分析平台中实现自然语言处理、向量搜索以及与大模型的集成，10亿级向量检索平均响应延迟控制在毫秒级，助力客户实现由AI驱动的高级搜索能力，为搜索与分析带来全新的前沿体验。

强大的AI增强搜索引擎

结合AI的最佳实践和Elastic的文本搜索，Elasticsearch为开发人员提供了一整套将复杂的检索算法与大型语言模型（LLM）集成的能力，其特性参考如下：

自定义Transformer模型

开发人员可在 Elastic 中管理和使用自己的transformer 模型来完成各种自然语言处理任务，以适应特定的业务场景。

Elastic训练的优化搜索模型

使用 Elastic 训练的开箱即用的 Learned Sparse Encoder机器学习模型来优化搜索，可在各种领域提供更好相关性、语义化的搜索。

与第三方Transformer模型集成,提取直观摘

要

通过 API与大语言模型集成(如OpenAl的GPT- 3和4)，从Elasticsearch数据源中提取摘要。

充分应用各种自然语言处理(NLP)任务和

模型

通过强大的自然语言处理能力，处理各种NLP任务和模型，使得搜索结果更加符合自然语言的语义。

第三方工具集成，构建复杂的数据管道和生成式AI应用程序

通过强大的自然语言处理能力，处理各种NLP任务和模型，使得搜索结果更加符合自然语言的语义。

原生向量搜索引擎

企业可以将腾讯云ES作为向量数据库使用，有效地创建、存储和搜索密集向量，为用户提供更加智能的搜索功能。例如，企业可在腾讯云ES上传自定义大数据模型来做Embedding，如词嵌入模型（Word Embeddings）或深度学习模型（如BERT），在读写过程中实时将图片、文本等数据转换为向量，然后存入Elasticsearch构建索引并进行相似度召回。同时，在召回后，可选择将TOP结果传入LLM大语言模型，对信息进行对话式结果整合，最终返回给用户，实现对话式搜索。相关特性参考如下：

提供图索引,通过HNSW实现高效的最近邻

搜索