ChatGPT 剖析、技术优化到 AGI 体系化、工程化

畅谈Fintech 2023-03-27

873

导读本次分享题目为 ChatGPT 技术剖析、工程应用到可工程化 AGI。也是作者第一次对可工程化的通用人工智能进行公开讲课，这一块基本超出了所有人的认知，所以完全看懂需要大量的知识储备。

主要内容包括：

1. 为学日益（ChatGPT 剖析：ChatGPT 如何学到社交型高级推理能力）

2. 学以致用（ChatGPT 工程化：辅助编程，如何从问题寻“道”）

3. 为道日损（ChatGPT AGI 化：如何扩展到通用人工智能）

4. 道人无为（AGI 展望：如何让通用人工智能工程化、产业化）

ChatGPT 剖析（为学日益）

1. 认知模型

首先对 ChatGPT 模型进行一下剖析，为什么 ChatGPT 会出现涌现呢？为了方便大家的理解，这里以微观世界为例水分子为提示（Prompt）如何出现涌现的过程。把 ChatGPT 的知识集比作万物，强化训练相当于一个物质爆破机，用于拆解万物中的化学结构、元素、键值等，拆解后便形成了包含万物化学结构库和各种权重、关联指数的高参数的大语言模型（Large Language Model，简称 LLM，175B 参数的 GPT-3.5）。接下来就可以使用生成的 LLM。通过提示（Prompt）的方式对水进行描述，爆破机就会对水分子进行拆解，生成带有意图的 Token 矩阵，去 LLM 中找相关知识就会找到液态、气态、固态水分子，即目标 Tokens 生成，合成获得所需要的微水滴，最终出现涌现状态。整个抽象出来的 ChatGPT 的认知模型如图 1 所示。

主要出错点在：知识的“纯”度、强化预训练方式、大模型的管理机制、聊天的机制上。

图1 ChatGPT 总体示意图（绿色模型相关，红色为对话相关）

2. 模型即服务

模型即服务，ChatGPT 模型作为服务前需要进行三方面的工作内容。首先搜集用于训练 LLM 模型的数据集，用于训练模型的数据集是比较庞大的，包含维基百科、书籍、期刊、Reddit 链接、Common Crawl、Github 等其他数据集。其次选用 GPT-3.5 作为初始化的语言模型，该语言具有 1750 亿的参数，使用 RLFH（Reinforcement Learning from Human Feedback，RLHF）这种基于人类反馈的训练范式进行训练。最后是对训练出来的 ChatGPT 模型进行优化，主要包含模型效率、非注意力机制的建模、稀疏路由等方面的优化；对预训练算法方面的优化主要包含知识更新、知识嵌入、训练效率提升等。OpenAI 把训练出来的模型代码统称为 Text-davinci-003 供用户使用。具体发展历程可以看图 2。

图2 模型即服务数据和演进过程

有了服务之后，就要开始满足不同的需求。比如知识匹配方式，如图 3 中右上角的坐标块所示，2021 年底提示微调（Prompt tuning）是最优的方式，当然现在是提示工程了。另外，需求是在不断变化的，ChatGPT 可能只是整个协同中的一个环节，数据集也可能在不断扩大和更新，因此服务要去不断适应需求。

图3 服务如何满足需求

3. 前端应用

模型进行前端应用前需要进行用户调试、运维方面的工作。在提高效率方面包括 Delta-Tuning、Y-Tuning、Block-Box Tuning 等调效算法。在上下文学习方面使用统一的范式 RLHF 这种基于人类反馈的强化学习，使模型最终与人类思维链一样，不需要参数更新即可进行正确学习。ChatGPT 模型作为前端应用前需要进行的调试工作如图 4 所示。

图4 ChatGPT 前端应用及范式变化

4. 内部结构

下图中列出了 ChatGPT 的内部结构。这里 Text-davici-003 和 Code-davici-002 的边界不一定如图 5 这样清晰，而且很可能都融合在一起了。

图5 ChatGPT 的内部结构及对外接口

5. 对外接口

OpenAI 内部模型经过几代演变后，最终提供了对外的统一接口 API。如图 5 所示，对外接口 API 包含的主要参数有 Prompt 是用户输入的提示内容，max_tokens 是控制文本的长度，temperature 参数的大小具有随机性，取值范围在 0 到 1 之间，参数 top_p 用于控制生成的精度，取值范围在 0 到 1 之间，stop 参数生成文本的终止标志。基于 ChatGPT 提供的 API 从输入到输出的示例如图 6 所示。

图6 ChatGPT 的 API

ChatGPT 工程化

（学以致用，以软件编程为例）

目前 ChatGPT 在工程化方面的能力还处于较低的等级，只能做辅助工作，如辅助编程、辅助文档、辅助测试等。之所以工程化等级比较低的水平，是因为该模型的工程化认知能力不够，还需要进一步的发展。ChatGPT 在工程化上的对应等级如图 7 所示。

在工程上，仅有技术是不够的，三分技术七分管理，技术应该是为管理服务的。

图7 工程化认知水平（ChatGPT 处于辅助层）

要想提高 ChatGPT 工程化的能力，需要从以下几方面着手。需要将辅助编程放在一个完整的体系化中来考量，即辅助编程来提高效能目标，实现效能指标的传递，迭代并持续提升 ChatGPT 的辅助编程能力，如图 8 所示。

图8 从体系化看辅助编程

提高 ChatGPT 工程化能力的策略目标有如下几种：CollabChain、SDLM、Online 等，其中辅助编程主要包含代码开发和质量检测，具体应用研发全域度量（Application Development Lifecycle Measurement，ADLM）如图 9 所示。

图9 ChatGPT 辅助工作可以发挥作用的方面（绿色或偏绿部分）

更具体的，可以如图 10 所示，在进行 ChatGPT 工程化过程中涉及到的有效任务指标责任化中包含的实现层、工程效能。同时还需要专门有人来审核，并根据审核流程来担责。

图10 更细化的应用领域和方式

如图11 所示，辅助编程也可以借助于模板技术、系统工程来提升，这样可以从助手到帮手，再到顾问。在进行 ChatGPT 工程化过程中涉及到的相关问题源有，需要编写合适的 Prompt 进行理解自身角色，了解任务过程是干什么的，以及输出的结果。代码质量检查任务包含：代码可理解性、代码执行效率、代码全路径测试验证等。在理解需求辅助编程方面要找全需求中不确定的部分、需求理解的逻辑能力、需求详细设计辅助能力等。

图11 辅助编程的层次可以不断提升

对于 ChatGPT 扩展式辅助编程设计方面包含知识库扩展、自然语言接口、人-机协同模式的改变、多智能体机制管理、开发基于知识生成的搜索引擎、信息推送过程知识管理、理清当前知识边界、理清历史演变过程摘要等。工程化可以支持多个 LLM，比如与自建的 LLM 结合。

ChatGPT AGI 化（为道日损）

人工智能工程化的思路是加州大学伯克利分校的迈克尔•乔丹院士提出来的，他认为 2018 年的 AI 与 1950 年前后的化工差不多，只有打好工程化的数理基础才能产业化，后面美国国家计划也放在卡耐基•梅隆大学。在这个思路下通用人工智能（AGI）不应该仅仅只是图灵机的层面，而应该是一项能够改造所有业务领域的革命性技术，因此可以将通用人工智能定义为：所有软件都 AI 化 + 人类知识工程化。

目前 ChatGPT 工程化还存在重大缺陷，比如一个优秀的程序员能够解决复杂的问题，卓越的程序员能够处理产品模糊问题，顶尖程序员能够探索人类未来即学无止境。从学无止境的角度来说我们可以定义为简单问题、复杂问题、模糊问题、未知问题。我们把整个寻“道”就称为风险，因此核心问题是对风险的管控。可以把风险分为简单风险、复杂风险、模糊风险、未知风险四个级别。

图12 机器学习的本质是什么？

从图 12 可以看出整个机器学习的本质就是对风险的学习也叫对风险的认知管理，通用人工智能的核心就是要管理模糊风险和未知风险，因此我们要对风险进行数量化，这时对于简单风险适用的数学机制就是概率统计、区间数学、贝叶斯网络等；对于复杂风险适用的数学机制是模糊数学、粗糙集、聚类、图论等；对于模糊风险适用的数学机制是注意力参数化、软集等；对于不可预知风险适用的数学机制是构建新的数学认知集。风险种类和适用数学机制以及量化级别对应关系如图 13 所示。

图13 智能计算的数学体系化

ChatGPT 模型 AGI 化过程中软件开发数学示例中包含的风险层、风险论域、风险参数和模糊软集的对应关系如图 14 所示。

图14 ChatGPT AGI 可以采用的数学

在工程化的 AGI 中，我们首先需要把不同的风险给定义出来，如：创新风险、伦理风险、社会风险、道德风险、法律风险、安全风险、组织风险等，然后用数学进行建模。其次就是认知方面：经验函数、注意力、先验知识。最后就是责任：距离函数、量化知责、量化履责。我们就把可工程化的 AGI 定义为尽责学习，包含三大方面的内容：量化明责、量化履责、量化评责，具体内容如下图所示。