大模型技术白皮书2023版.pdf
免费下载
中国人工智能系列白皮书
——大模型技术（2023 版）
中国人工智能学会
二○二三年九月
2
目录
第 1 章 大模型技术概述 .......................................................................... 5
1.1 大模型技术的发展历程 ............................................................. 5
1.2 大模型技术的生态发展 ............................................................. 9
1.3 大模型技术的风险与挑战 ....................................................... 11
第 2 章 语言大模型技术 ........................................................................ 13
2.1 Transformer 架构 ........................................................................ 13
2.2 语言大模型架构 ....................................................................... 17
2.2.1 掩码语言建模 .................................................................... 17
2.2.2 自回归语言建模 ................................................................ 18
2.2.3 序列到序列建模 ................................................................ 18
2.3 语言大模型关键技术 ............................................................... 19
2.3.1 语言大模型的预训练 ........................................................ 19
2.3.2 语言大模型的适配微调 .................................................... 21
2.3.3 语言大模型的提示学习 .................................................... 24
2.3.4 语言大模型的知识增强 .................................................... 26
2.4.5 语言大模型的工具学习 .................................................... 27
第 3 章 多模态大模型技术 .................................................................... 29
3.1 多模态大模型的技术体系 ....................................................... 29
3.1.1 面向理解任务的多模态大模型 ........................................ 29
3.1.2 面向生成任务的多模态大模型 ........................................ 31
3.1.3 兼顾理解和生成任务的多模态大模型 ............................ 33
3.1.4 知识增强的多模态大模型 ................................................ 35
3.2 多模态大模型的关键技术 ....................................................... 36
3.2.1 多模态大模型的网络结构设计 ........................................ 36
of 119
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论