AnalyticDB(ADB) + LLM：构建AIGC时代下企业专属Chatbot

01

为什么Chatbot需要大语言模型+向量数据库？

本文接下来将重点介绍基于大语言模型（LLM）+向量数据库打造企业专属Chatbot的原理和流程，以及ADB-PG构建该场景的核心能力。

02

什么是向量数据库？

在现实世界中，绝大多数的数据都是以非结构化数据的形式存在的，如图片，音频，视频，文本等。这些非结构化的数据随着智慧城市，短视频，商品个性化推荐，视觉商品搜索等应用的出现而爆发式增长。为了能够处理这些非结构化的数据，我们通常会使用人工智能技术提取这些非结构化数据的特征，并将其转化为特征向量，再对这些特征向量进行分析和检索以实现对非结构化数据的处理。因此，我们把这种能存储，分析和检索特征向量的数据库称之为向量数据库。

向量数据库对于特征向量的快速检索，一般会采用构建向量索引的技术手段，我们通常说的向量索引都属于ANNS（Approximate Nearest Neighbors Search，近似最近邻搜索），它的核心思想是不再局限于只返回最精确的结果项，而是仅搜索可能是近邻的数据项，也就是通过牺牲可接受范围内的一点精确度来换取检索效率的提高。这也是向量数据库与传统数据库最大的差别。

为了将ANNS向量索引更加方便的应用到实际的生产环境中，目前业界主要有两种实践方式。一种是单独将ANNS向量索引服务化，以提供向量索引创建和检索的能力，从而形成一种专有的向量数据库；另一种是将ANNS向量索引融合到传统结构化数据库中，形成一种具有向量检索功能的DBMS。在实际的业务场景中，专有的向量数据库往往都需要和其他传统数据库配合起来一起使用，这样会造成一些比较常见的问题，如数据冗余、数据迁移过多、数据一致性问题等，与真正的DBMS相比，专有的向量数据库需要额外的专业人员维护、额外的成本，以及非常有限的查询语言能力、可编程性、可扩展性和工具集成。而融合了向量检索功能的DBMS则不同，它首先是一个非常完备的现代数据库平台，能满足应用程序开发人员的数据库功能需求；然后它集成的向量检索能力一样也可以实现专有的向量数据库的功能，并且使向量存储和检索继承了DBMS的优秀能力，如易用性（直接使用SQL的方式处理向量）、事务、高可用性、高可扩展性等等。

本文介绍的ADB-PG即是具有向量检索功能的DBMS，在包含向量检索功能的同时，还具备一站式的数据库能力。在介绍ADB-PG的具体能力之前，我们先来看一下Demo视频中Chatbot的创建流程和相关原理。

03

同样地，这种方式可以应用于处理文档，PDF，邮件，网络资讯等等尚未被LLM训练数据集覆盖到的内容。比如：

a. 后端数据处理和存储流程

b. 前端问答流程

1. 基于大语言模型的推理模块

2. 基于向量数据库的向量数据管理模块

上图黑色的部分为后端的数据处理流程，主要是将我们的原始数据求解embedding，并和原始数据一起存入到向量数据库ADB-PG中。这里你只需要关注上图的蓝色虚线框部分。黑色的处理模块和ADB-PG向量数据库。

这个部分是可选的，之所以存在是因为有些问题是需要依赖于上下文的。因为用户问的新问题可能没办法让LLM理解这个用户的意图。比如用户的新问题是“它能做什么”。LLM并不知道它指的是谁，需要结合之前的聊天历史，比如“通义千问是什么”来推理出用户需要求解答案的独立问题“通义千问能做什么”。LLM没法正确回答“它有什么用”这样的模糊问题，但是能正确回答“通义千问有什么用”这样的独立问题。如果你的问题本身就是独立的，则不需要这个部分。

得到独立问题后，我们可以基于这个独立问题，来求取这个独立问题的embedding。然后去向量数据库中搜索最相似的向量，找到最相关的内容。这个行为在Part2 Retrieval Plugin的功能中。

独立问题求取embedding这个功能会在text2vec模型中进行。在获得embedding之后就可以通过这个embedding来搜索已经事先存储在向量数据库中的数据了。比如我们已经在ADB-PG中存储了下面内容。我们就可以通过求取的向量来获得最相近的内容或者知识，比如第一条和第三条。通义千问是...，通义千问可以帮助我们xxx。

在获得最相关的知识之后，我们就可以就可以让LLM基于最相关的知识和独立问题来进行求解推理，得到最终的答案了。这里就是结合“通义千问是...”，“通义千问可以帮助我们xxx”等等最有效的信息来回答“通义千问有什么用”这个问题了。最终让GPT的推理求解大致是这样：

基于以下已知信息，简洁和专业的来回答用户的问题。
   如果无法从中得到答案，请说"根据已知信息无法回答该问题"或"没有提供足够的相关信息"，不允许在答案中添加
编造成分，答案请使用中文。
已知内容:
   1.阿里巴巴“通义千问”大模型4月11日也亮相云峰会...
   2.通义千问可以帮助我们xxx
问题:
   通义千问有什么用

04

ADB-PG：内置向量检索+全文检索的一站式企业知识数据库

为什么ADB-PG适合作为Chatbot的知识数据库？ADB-PG是一款具备大规模并行处理能力的云原生数据仓库。它支持行存储和列存储模式，既可以提供高性能的离线数据处理，也可以支持高并发的海量数据在线分析查询。因此我们可以说ADB-PG是一个支持分布式事务、混合负载的数据仓库平台，同时也支持处理多种非结构化和半结构化数据源。如通过向量检索插件实现了对图片、语言、视频、文本等非结构化数据的高性能向量检索分析，对JSON等半结构化数据的全文检索分析。

因此在AIGC场景下，ADB-PG既可以作为一款向量数据库满足其对向量存储和检索的需求，也可以满足其他结构化数据的存储和查询，同时也可以提供全文检索的能力，为AIGC场景下的业务应用提供一站式的解决方案。下面我们将对ADB-PG的向量检索、融合检索和全文检索这三方面的能力进行详细介绍。

ADB-PG向量检索和融合检索功能于2020年首次在公有云上线，目前已经在人脸识别领域得到了非常广泛的应用。ADB-PG的向量数据库继承自数据仓库平台，因此它几乎拥有DBMS的所有好处，如ANSISQL、ACID事务、高可用性、故障恢复、时间点恢复、可编程性、可扩展性等。同时它支持了点积距离、汉明距离和欧氏距离的向量和向量的相似度搜索。这些功能目前在人脸识别、商品识别和基于文本的语义搜索中得到了广泛应用。随着AIGC的爆炸式增长，这些功能为基于文本的Chatbot奠定了坚实的基础。另外，ADB-PG向量检索引擎也使用Intel SIMD指令极其有效地实现了向量相似性匹配。

下面我们用一个具体的例子来说明ADB-PG的向量检索和融合检索如何使用。假设有一个文本知识库，它是将一批文章分割成chunk再转换为embedding向量后入库的，其中chunks表包含以下字段：

那么对应的建表DDL如下：

CREATE TABLE chunks(
    id serial primary key,
    chunk varchar(1024),
    intime timestamp,
    url varchar(1024),
    feature real[]
);

CREATE INDEX ON chunks USING ann(feature) WITH (dim=1536);

CREATE INDEX ON chunks(intime);

在进行数据插入的时候，我们可以直接使用SQL中的insert语法：

INSERT INTO chunks values (default,'xxx','2023-05-04','aaa.bbb.ccc/xxx.pdf',
ARRAY[0.1,0.2,0.1,0.3,……0.9]);

SELECT id,chunk,intime,url FROM chunks
ORDER BY
    feature <-> array[10,2.0,…,1536.0]
LIMIT 100;

SELECT id, chunk, intime, url FROM chunks WHERE    
    intime > '2023-04-01' AND intime <= '2023-05-01' 
ORDER BY     
    feature <-> array[10,2.0,…, 1536.0] 
LIMIT 100;

05

总结

同样的Chatbot需要结合大语言模型的学习推理能力，和像ADB-PG这样包含向量检索和全文检索能力的一站式数据库（存储了企业组织专有的以及最新的知识文档和向量特征），在应对问题时具备基于该数据库中的知识内容来提供更专业更具时效性的回答。

了解更多，欢迎钉钉or微信扫描以下二维码加入探讨群。

钉钉群：保存图片至手机扫码入群or搜索钉钉群号：32960015260

微信群：长按图片扫码进群

推荐阅读

点击「阅读原文」即刻开启AnalyticDB PostgreSQL免费试用