从零开始：大模型简介与应用|实战系列

预训练与微调

由于传统的深度学习在自然语言处理 NLP(Natural Language Processing)领域的表现不佳，预训练模型的思想应运而生。在2018年 Goolge Brain 提出了 BERT 模型，作为第一个广泛应用的基于 Transformer 架构的预训练模型，BERT与大多数预训练模型一样，它通过在大规模无标签的文本数据上进行预训练，学习到丰富的语言知识，并在特定任务上进行微调，取得了极大的成功，预训练模型开始真正的兴起，慢慢成为了 NLP 领域的主流方法之一。

大模型正是采用了预训练模型的方法，通过在大规模未标记数据上进行预训练，通过自监督学习方法来学习语言模式和语义关系，然后在特定任务上进行微调，使其适应具体的应用领域。下面以自然语言处理为例一起了解一下大模型的工作原理。

工作原理如上图所示，概括一下就是将文本生成任务分割成一个个单位（Token）输入到预设好的训练模型中，然后将这些单元转化为特征向量映射到向量空间中（Embedding）；经过由不同的块（Block）构成的神经网络，从而计算出每个单位的分布概率（Prob），并将概率最大即最符合可能结果的 Token 输出，之后生成任务所需的单词或文本（Decoding/Generating）；最后原先输入的 Token 以及输出的 Token 一起输入模型进行自监督训练，对训练模型输出的结果进行验证与微调。

无论是处理语言、文本、图像或是视频，工作原理都大致如此，只不过会根据数据的形式选择对应的分割方式和训练模型。

光看图可能会觉得好多名词一知半解，下面就来解释一下图中的名词都是什么意思。

名词解释

Token（标记）表示对文本进行分割和标记后的最小单位；在NLP任务中，将文本划分成标记是为了便于下一步Embedding 将自然语言转化成计算机能够处理和理解的数字。标记可以是单词、数字、标点符号、特殊符号或其他更小的单元，如字符或子词。

Embedding（嵌入）表示将离散的符号或标记（如单词、字符、子词等）映射到连续向量空间的过程；嵌入技术的目标是通过这种映射将文本中的符号转换成数值化的表示，使得计算机可以更好地理解和处理文本。

Block（块）表示模型中的一个基本组成单元或层；例如，在Transformer模型中，每个块由多头自注意力层和前馈神经网络层组成。这些块在模型中堆叠多次，形成多层的深度神经网络。每个块负责不同的特征提取和表示学习，是构建预训练模型的基本组件。

Prob（概率）表示生成文本的概率；在预训练模型中，生成的文本序列是按照一定的概率分布来产生的。模型会为每个单词或标记生成一个概率分布，表示该位置应该是哪个单词或标记的概率。在解码过程中，根据概率分布，选择概率最高的单词或标记作为下一个生成的内容。

Decoding（解码）在预训练模型中，是指根据输入的部分文本或标记，使用模型的参数和语言知识来生成下一个单词或标记的过程。解码是预训练模型完成文本生成的重要步骤。在文本生成任务中，解码器通常根据已生成的部分文本和模型的上下文理解能力，逐步生成下一个单词或标记，以生成完整的文本序列。

Generating（生成）是指利用预训练模型进行文本生成任务，通过给定一些初始文本或标记，让模型根据其语言知识和上下文理解能力逐步生成连贯的文本序列。生成可以用于各种文本生成任务，如文本摘要、对话生成、翻译等。

传统应用场景

新型应用

1.生成游戏NPC角色

使用 LLM 来构建游戏非玩家角色 NPC（Non-Player Character）是一种创新的应用方式，可以使 NPC 在游戏中表现得更加自然、灵活和富有互动性。

2月15日，网易旗下手游《逆水寒》宣布：实装国内首个游戏版 ChatGPT，让智能 NPC 能和玩家自由生成对话，并基于对话内容，自主给出有逻辑的行为反馈。这样构建出来的 NPC 就可以为玩家提供更多有趣的反应，让玩家随意调戏。

需要注意的是，由于 LLM 模型通常需要较大的计算资源和预训练数据，对于某些游戏平台和设备可能存在性能和资源限制。因此，在应用 LLM 模型构建游戏 NPC 时，需要权衡模型复杂度和实际应用场景。

2.PPT制作

目前的自然语言处理模型（包括 LLM）主要专注于文本生成任务，如对话生成、文章写作、文本摘要等。虽然这些模型可以生成高质量的文本内容，但它们并不直接用于生成 PPT（Microsoft PowerPoint 演示文稿）这种特定的文件格式。

PPT 是一种包含幻灯片、图像、文本框等多媒体元素的演示文稿格式，与自然语言的文本生成任务有所不同。要生成 PPT 文件，需要借助与文本处理不同的工具和技术。需要强调的是，虽然 LLM 等自然语言处理模型不直接用于生成 PPT 文件，但可以辅助文本内容的生成。例如，可以使用 LLM 模型生成演讲稿的文本内容，然后将生成的文本内容放入PPT中，结合图像和布局设计，形成最终的演示文稿，比如利用 chatGPT 生成 markdown 格式的文案再导入到 mindshow 网站的模板中自动生成 PPT。

总体来说，目前实现 PPT 生成需要结合多种工具和技术，包括模板引擎、PPT 生成库、幻灯片设计工具等。选择合适的方法取决于具体的需求和技术能力。

3.艺术创作指导

相信大家之前都已经或多或少接触过 AI 绘画了，除了在自然语言处理方向上，大模型在图像、视频等数据的处理上也越来越精湛，可以模拟名画家的风格生成艺术作品甚至是视频，艺术创作者可以采用这种方式来为自己寻找灵感。

4.辅助视频创作

现在“图文成片”的功能已经流行开来，抖音的剪映、快手的快影、百度的百家号、B站的必剪等剪辑软件都支持根据文案，一键拼接图片和视频素材，并同步生成字幕和配音。国内外都有对应的网站可以生成视频素材，大大降低了视频创作者搜集素材的成本。

2022年5月，清华大学曾联合智源研究院发布国内首个开源的文本生成视频模型“CogVideo”。在其Demo网站中，选择“一个女孩在客厅里跳舞”就可以看到AI生成的4秒视频，分辨率为480×480。

但是值得注意的是，大模型在图片和视频方面的应用目前存在较多的争议，并且也容易侵犯到他人的劳动成果、肖像权和版权，所以要以合适的方式进行应用，避免损害他人的利益。