01

火爆全网的ChatGPT，到底有多万能？

首先，作为一种对话式大型语言模型，ChatGPT最擅长的就是回答用户提出的问题，相比之前的GPT-3，ChatGPT的提升点在于能记住之前的对话，连续对话的感觉让人舒服。

同时，ChatGPT的输出质量似乎比之前GPT-3模型有了显著的改进，而且回答的内容覆盖多维度，甚至在一定程度上，可以直面“搜索引擎”与“问答社区”。

我们知道，目前的主流搜索引擎，比如谷歌，都是基于对问题本身的搜索，但它们有一个很大的限制：用户有时也描述不清自己的问题。

而ChatGPT却能够和用户完善地互动，在充分挖掘用户真实需求的基础上，提出解决方案，这可能就是未来搜索引擎的的新范式。

基于GPT开放式的问答和生成机制，ChatGPT能够充分解决用户不能准确描述自己问题的问题，通过循循善诱，给出用户最需要的答案，宛若一个专家。 

有人还将ChatGPT的回复与谷歌搜索结果对比，惊讶地发现ChatGPT在实用性上强太多；甚至有人预言如果谷歌不做出改变很快就会被淘汰，到时候自己愿意每月花15-20美元使用ChatGPT。

其次，ChatGPT在编程方面非常聪明。

ChatGPT具备与编程相关的基础知识，这就让ChatGPT成为类似于Stack Overflow的编程问答工具，只不过回答问题的是个AI。

例如提问：“打印出一只大狗”，ChatGPT就回答了一整段程序，该程序能用字符拼接成狗的形状；当用户命令ChatGPT找出一段程序的bug时，它不仅可以清晰地描述bug及原因，还能自动修复bug，写出一段正确的程序；还有用户在不到一个小时的时间里，就从头生成了一个小游戏，最关键的是用户零编码，只需输入提示就可以。如果中间有问题，告诉 ChatGPT，它会帮你解决。

除了计算机，ChatGPT在其他领域表现也很出色，比如它还能AI在线问诊。当你告诉它自己得了皮疹，并且呼吸困难，感觉很虚弱时，ChatGPT会像医生一样为你分析病因，并建议你比起吃药，更需要戒烟、多锻炼。

还有许多机智的网友，用ChatGPT来搞设计，让ChatGPT给自己设计卧室，然后用它给出的文字做提示词，去MidJourney生成图像，连请设计公司的钱都省了。

另外，有网友让ChatGPT参加了完整的SAT考试。SAT全称为Scholastic Assessment Test，也叫学术能力评估测试，与ACT考试 (American College Test) 相似，被称为美国高考。ChatGPT拿到了1020分。根据美国大学委员会的数据，1020这个分数段大概排在前52%的位置。

02

根据官方介绍，ChatGPT是对GPT-3.5系列中的一个模型微调而成，该模型在2022年初完成了训练。值得注意的是，ChatGPT和GPT-3.5是在Azure AI超级计算基础设施上训练的。

它以对话方式进行交互，既能够做到回答问题，也能承认错误、质疑不正确的前提以及拒绝不恰当的请求。根据OpenAI官方介绍，ChatGPT与GPT-3最大的不同就是它提供了一个用户友好的对话界面，并且非常有道德，即可以强烈限制一些有害的输出，如暴力、脏话等不当的请求。

ChatGPT是InstructGPT的兄弟模型，它被训练为在提示中遵循指令并提供详细的响应。与InstructGPT一样，ChatGPT同样采用了”从人类反馈中强化学习“（RLHF）来训练这个模型，可以让彼时的GPT-3输出的更为准确，但两者在数据收集设置上有所区别。

在模型训练中，OpenAI使用监督微调：训练者提供对话样本，扮演对话的双方，即用户和AI助手。

除此之外，训练者还可以访问模型编写的建议，帮助他们撰写答案。

当然，为了创建一个用于强化学习的奖励模型，OpenAI也需要收集比较数据，其中包括两个或更多按质量排名的模型回复。为了收集这些数据，OpenAI收集了AI培训师与聊天机器人的对话，并随机选择了一个模型编写的消息，抽查了几个备选的回复，再让AI培训师对这些回复进行排名。此外，利用这些奖励模型，这项研究使用近似策略优化算法对模型进行微调，并对这个过程进行了多次迭代，最后得出了该模型。

03

当然，现实来看，ChatGPT毕竟依然是由人训练出来的，其虽然智能，但也依然避不开一些无厘头以及错误。

在Twitter上，当计算生物学教授CarlBergstrom要求ChatGPT写一篇关于他生活的维基百科条目时，ChatGPT沉着冷静地做到了这一点，但不妨碍它写的内容里面包含了几个完全虚假的传记细节。

针对这种错误，OpenAI也在官方公告中强调，当前的ChatGPT存在一定的局限性，其直言想要完全解决这个问题是非常有挑战性的，因为：

 (1) 在RL训练期间，目前没有真实世界的数据来源；

(2) 模型被训练得更加谨慎，导致它拒绝回答它可以正确回答的问题；

(3) 监督训练误导了模型，因为理想的答案取决于模型知道什么，而不是人类演示者知道什么。

除此之外，OpenAI也很开诚布公地介绍了ChatGPT目前的局限性：

似是而非，固执己见：有时候它会提供一些听上去像那么回事，但实际上完全错误或者荒谬的答案。原因在于强化学习训练期间不会区分事实和错误，且训练过程更加收敛，导致它有时候会过于保守，即使有正确答案也“不敢”回答。

废话太多，句式固定：比如硅星人用了两个提示，“老师成天表扬我家孩子，该怎么回答他我已经词穷了！”，以及“怎么跟邻居闲聊？”而ChatGPT 提供了10条回答，虽然看起来都是漂亮话，但每一条跟上一条都差不多，过度使用一些常见的短语和句式，最后就成了车轱辘话来回转。

过分努力猜测用户意图：在理想情况下，当用户的提问意图不明确时，模型应该要求用户进行澄清。而目前的ChatGPT，大家也看到了，会自己开始猜测用户的意图——说好也好，说坏也确实有坏处。

抵抗不怀好意的“提示工程”能力较差：虽然OpenAI努力让ChatGPT拒绝不适当的请求，但它有时仍然会响应有害指令，或表现出有偏见的行为。

为了解决这个问题，OpenAI也在ChatGPT的用户界面里加入了审核举报的功能，用户如果发现不健康不安全的内容，可以直接一键举报。为此OpenAI还举办了一个反馈竞赛，任何有价值的举报都有机会赢取OpenAI API积分（价值500美元）。

OpenAI表示，语言接口将是未来的一个发展方向，而ChatGPT就是为大家先打了个样，未来将会出现更多能跟用户聊天、回答问题并提供建议的AI助手。