点击上方“视学算法”，选择加”星标”或“置顶”
重磅干货，第一时间送达
作者丨符尧等
来源丨李rumor
编辑丨极市平台
导读
这篇文章中，作者们试图剖析 的突现能力（ ），追溯这些能力的来源，希望能够给出一个全面的技术路线图，来说明 GPT-3.5 模型系列以及相关的大型语言模型是如何一步步进化成目前的强大形态。
英文原版：
作者：符尧, yao.fu@ed.ac.uk，爱丁堡大学 ( of ) 博士生，本科毕业于北京大学
与 彭昊， Khot在 艾伦人工智能研究院 (Allen for AI) 共同完成英文原稿
与 剑桥大学郭志江共同翻译为中文
感谢 上海交通大学何俊贤，加州大学洛杉矶分校鲁盼，达特茅斯学院刘睿博对初稿的讨论与建议。
感谢 Raj (Allen for AI), Peter Liu( Brain), Dolan- (New York ), Denny Zhou( Brain) 对终稿的讨论和建议，他们的建议极大程度上增加了本文的完整度。
正文
最近，的预训练模型给人工智能领域的研究人员留下了深刻的印象和启发。毫无疑问，它又强又聪明，且跟它说话很好玩，还会写代码。它在多个方面的能力远远超过了自然语言处理研究者们的预期。于是我们自然就有一个问题： 是怎么变得这么强的？它的各种强大的能力到底从何而来？在这篇文章中，我们试图剖析 的突现能力（ ），追溯这些能力的来源，希望能够给出一个全面的技术路线图，来说明 GPT-3.5 模型系列以及相关的大型语言模型是如何一步步进化成目前的强大形态。
我们希望这篇文章能够促进大型语言模型的透明度，成为开源社区共同努力复现 GPT-3.5 的路线图。
致国内的同胞们：
多年以后，面对行刑队，奥雷里亚诺·布恩迪亚上校将会回想起父亲带他去见识冰块的那个遥远的下午。—— 《百年孤独》 加西亚·马尔克斯
一、2020 版初代 GPT-3 与大规模预训练
初代GPT-3展示了三个重要能力：
那么这些能力从何而来呢？
基本上，以上三种能力都来自于大规模预训练：在有3000亿单词的语料上预训练拥有1750亿参数的模型（ 训练语料的60%来自于 2016 – 2019 的 C4 + 22% 来自于 + 16% 来自于Books + 3%来自于）。其中：
令人好奇的是，初代的GPT-3有多强。 其实比较难确定初代 GPT-3（在 API 中被称为）到底是“强”还是“弱”。一方面，它合理地回应了某些特定的查询，并在许多数据集中达到了还不错的性能；另一方面，它在许多任务上的表现还不如 T5 这样的小模型（参见其原始论文）。在今天（2022 年 12 月） 的标准下，很难说初代的 GPT-3 是“智能的”。Meta 开源的 OPT 模型试图复现初代 GPT-3，但它的能力与当今的标准也形成了尖锐的对比。许多测试过 OPT 的人也认为与现在的text–002相比，该模型确实 “不咋地”。尽管如此，OPT 可能是初代 GPT-3 的一个足够好的开源的近似模型了（根据 OPT 论文和斯坦福大学的 HELM 评估）。
虽然初代的 GPT-3 可能表面上看起来很弱，但后来的实验证明，初代 GPT-3 有着非常强的潜力。这些潜力后来被代码训练、指令微调 ( ) 和基于人类反馈的强化学习 ( with human , RLHF) 解锁，最终体展示出极为强大的突现能力。
二、从 2020 版 GPT-3 到 2022 版
从最初的 GPT-3 开始，为了展示 是如何发展到的，我们看一下 GPT-3.5 的进化树：
在 2020 年 7 月， 发布了模型索引为的 的初代 GPT-3 论文，从此它就开始不断进化。在 2021 年 7 月，Codex 的论文发布，其中初始的 Codex 是根据（可能是内部的）120 亿参数的 GPT-3 变体进行微调的。后来这个 120 亿参数的模型演变成 API 中的code–001。在 2022 年 3 月， 发布了指令微调 ( ) 的论文，其监督微调 ( ) 的部分对应了–beta和text–001。在 2022 年 4 月至 7 月的， 开始对code–002模型进行 Beta 测试，也称其为 Codex。然后code–002、text–003和 都是从code–002进行指令微调得到的。详细信息请参阅 的模型索引文档。
尽管 Codex 听着像是一个只管代码的模型，但code–002可能是最强大的针对自然语言的GPT-3.5 变体（优于 text–002和 -003）。code–002很可能在文本和代码上都经过训练，然后根据指令进行调整（将在下面解释）。然后2022 年 5-6 月发布的text–002是一个基于code–002的有监督指令微调 ( tuned) 模型。在text–002上面进行指令微调很可能降低了模型的上下文学习能力，但是增强了模型的零样本能力（将在下面解释）。然后是text–003和 ，它们都在 2022 年 11 月发布，是使用的基于人类反馈的强化学习的版本指令微调 ( with from human ) 模型的两种不同变体。text–003 恢复了（但仍然比code–002差）一些在text–002 中丢失的部分上下文学习能力（大概是因为它在微调的时候混入了语言建模） 并进一步改进了零样本能力（得益于RLHF）。另一方面， 似乎牺牲了几乎所有的上下文学习的能力来换取建模对话历史的能力。
总的来说，在 2020 – 2021 年期间，在code–002之前， 已经投入了大量的精力通过代码训练和指令微调来增强GPT-3。当他们完成code–002时，所有的能力都已经存在了。很可能后续的指令微调，无论是通过有监督的版本还是强化学习的版本，都会做以下事情（稍后会详细说明）：
三、Code–002和 Text–002，在代码上训练，在指令上微调
在code–002和text–002之前，有两个中间模型，分别是 –beta 和 text–001。两者在很多方面都比上述的两个-002模型差（例如，text–001 链式思维推理能力不强）。所以我们在本节中重点介绍 -002 型号。
3.1 复杂推理能力的来源和泛化到新任务的能力
我们关注code–002和text–002，这两兄弟是第一版的 GPT3.5 模型，一个用于代码，另一个用于文本。它们表现出了三种重要能力与初代 GPT-3 不同的能力：
这些能力从何而来？与之前的模型相比，两个主要区别是指令微调和代码训练。具体来说
此外， 代码训练另一个可能的副产品是长距离依赖，正如Peter Liu所指出：“语言中的下个词语预测通常是非常局部的，而代码通常需要更长的依赖关系来做一些事情，比如前后括号的匹配或引用远处的函数定义”。这里我想进一步补充的是：由于面向对象编程中的类继承，代码也可能有助于模型建立编码层次结构的能力。我们将对这一假设的检验留给未来的工作。
另外还要注意一些细节差异：
001 模型（code–001 和 text–001）v.s. 002 模型（code–002 和 text–002）
3.2 这些能力是在预训练之后已经存在还是在之后通过微调注入？
在这个阶段，我们已经确定了指令微调和代码训练的关键作用。一个重要的问题是如何进一步分析代码训练和指令微调的影响？具体来说：上述三种能力是否已经存在于初代的GPT-3中，只是通过指令和代码训练触发 / 解锁？或者这些能力在初代的 GPT-3 中并不存在，是通过指令和代码训练注入？如果答案已经在初代的 GPT-3 中，那么这些能力也应该在 OPT 中。因此，要复现这些能力，或许可以直接通过指令和代码调整 OPT。 但是，code–002 也可能不是基于最初的 GPT-3 ，而是基于比初代 GPT-3 更大的模型。如果是这种情况，可能就没办法通过调整 OPT 来复现了。研究社区需要进一步弄清楚 训练了什么样的模型作为 code–002 的基础模型。
我们有以下的假设和证据：
另一方面，无论基础模型是初代的 GPT-3 还是后来训练的模型， 遵循指令和零样本泛化的能力都可能已经存在于基础模型中，后来才通过指令微调来解锁 （而不是注入）
然而 ，模型的复杂推理能力可能是在预训练阶段通过代码数据注入
区分代码训练和指令微调效果的最好方法可能是比较 code–001、T5 和
四、text–003 和 ，基于人类反馈的强化学习( from Human , RLHF) 的威力
在当前阶段（2022 年 12 月）， text–002、text–003 和 之间几乎没有严格的统计上的比较 ，主要是因为
所以在这些模型之间的比较更多是基于研究社区的集体经验 （统计上不是很严格）。不过，我们相信初步的描述性比较仍然可以揭示模型的机制。我们首先注意到以下 text–002，text–003 和 之间的比较：
这意味着大多数新模型的行为都是 RLHF 的产物。那么让我们看看 RLHF 触发的能力：
有两件事情值得注意：
幕后发生的事情可能是：
五、总结当前阶段 GPT-3.5 的进化历程
到目前为止，我们已经仔细检查了沿着进化树出现的所有能力，下表总结了演化路径：
我们可以得出结论：
对话能力也来自于 RLHF（），具体来说它牺牲了上下文学习的能力，来换取：
六、GPT-3.5 目前不能做什么
虽然GPT-3.5是自然语言处理研究中的重要一步，但它并没有完全包含许多研究人员（包括 AI2）设想的所有理想属性。以下是GPT-3.5不具备的某些重要属性：
形式推理：GPT-3.5系列不能在数学或一阶逻辑等形式严格的系统中进行推理：
从互联网进行检索：GPT-3.5 系列（暂时）不能直接搜索互联网
七、结论
在这篇博文中，我们仔细检查了GPT-3.5系列的能力范围，并追溯了它们所有突现能力的来源。初代GPT-3模型通过预训练获得生成能力、世界知识和in- 。然后通过 的模型分支获得了遵循指令和能泛化到没有见过的任务的能力。经过代码训练的分支模型则获得了代码理解的能力，作为代码训练的副产品，模型同时潜在地获得了复杂推理的能力。结合这两个分支，code–002似乎是具有所有强大能力的最强GPT-3.5模型。接下来通过有监督的 和 RLHF通过牺牲模型能力换取与人类对齐，即对齐税。RLHF 使模型能够生成更翔实和公正的答案，同时拒绝其知识范围之外的问题。我们希望这篇文章能够帮助提供一个清晰的GPT评估图，并引发一些关于语言模型、 和code 的讨论。最重要的是，
我们希望这篇文章可以作为在开源社区内复现GPT-3.5的路线图。
“因为山就在那里。”——乔治·马洛里，珠穆朗玛峰探险先驱
常见问题
为什么其他模型（如 OPT 和 BLOOM）没有那么强大？
附录 – 中英术语对照表 英文中文释义
突现能力
小模型没有，只在模型大到一定程度才会出现的能力
提示词
把 输入给大模型，大模型给出
In-
上下文学习
在 里面写几个例子，模型就可以照着这些例子做生成
指令微调
用 来 fine-tune 大模型
Code
在代码上微调
用代码来 fine-tune 大模型
with Human (RLHF)
相关文章
