6月29日最新消息：一项新的研究表明，像 GPT-3 这样的大型语言模型如何能够从几个例子中学习新任务，而不需要任何新的训练数据。
OpenAI 的 GPT-3 等大型语言模型是大型神经网络，可以生成类似人类的文本，从诗歌到编程代码。这些机器学习模型使用大量互联网数据进行训练，获取少量输入文本，然后预测接下来可能出现的文本。
但这并不是这些模型所能做的全部。研究人员正在探索一种被称为上下文学习的奇怪现象，即大型语言模型在只看到几个例子后就学会了完成一项任务——尽管它没有接受过针对该任务的训练。例如，有人可以向模型提供几个例句及其情绪（正面或负面），然后用一个新句子提示它，模型可以给出正确的情绪。
通常，像 GPT-3 这样的机器学习模型需要使用新数据重新训练来完成这项新任务。在此训练过程中，模型会在处理新信息以学习任务时更新其参数。但在上下文学习中，模型的参数不会更新，因此模型似乎在没有学习任何内容的情况下学习了新任务。
来自麻省理工学院、谷歌研究院和斯坦福大学的科学家们正在努力解开这个谜团。他们研究了与大型语言模型非常相似的模型，看看它们如何在不更新参数的情况下进行学习。
研究人员的理论结果表明，这些大规模神经网络模型能够包含隐藏在其中的更小、更简单的线性模型。然后，大型模型可以实现一个简单的学习算法来训练这个较小的线性模型来完成新任务，仅使用较大模型中已包含的信息。其参数保持固定。
计算机科学研究生、探讨这一现象的论文的主要作者 Ekin Akyürek 表示，这项研究是理解情境学习背后机制的重要一步，为围绕这些大型模型可以实现的学习算法进行更多探索打开了大门。通过更好地理解情境学习，研究人员可以使模型能够完成新任务，而无需进行昂贵的再训练。
“通常，如果你想微调这些模型，你需要收集特定领域的数据并进行一些复杂的工程。但现在我们只需向它提供一个输入、五个示例，它就可以完成我们想要的。所以，在-情境学习是一种不合理的高效学习现象，需要加以理解，”Akyürek 说。
与 Akyürek 一起参与这篇论文的还有 Google Brain 的研究科学家、阿尔伯塔大学计算科学教授 Dale Schuurmans；以及资深作者 Jacob Andreas，他是麻省理工学院电气工程和计算机科学系的 X 联盟助理教授，也是麻省理工学院计算机科学和人工智能实验室 (CSAIL) 的成员；马腾宇，斯坦福大学计算机科学与统计学助理教授；以及 Google Brain 首席科学家兼研究总监 Danny Zhou。该研究将在国际学习表征会议上公布。
模型中的模型
Akyürek 说，在机器学习研究界，许多科学家开始相信大型语言模型可以执行上下文学习，因为它们是如何训练的。
例如，GPT-3 拥有数千亿个参数，并通过阅读互联网上的大量文本（从维基百科文章到 Reddit 帖子）进行训练。因此，当有人展示新任务的模型示例时，它可能已经看到了非常相似的东西，因为它的训练数据集包含来自数十亿个网站的文本。它会重复训练期间看到的模式，而不是学习执行新任务。
Akyürek 假设，情境学习者不仅仅是匹配以前见过的模式，而且实际上是在学习执行新任务。他和其他人通过使用合成数据向这些模型提供提示进行了实验，这是他们以前在任何地方都看不到的，结果发现这些模型仍然可以从几个例子中学习。Akyürek 和他的同事认为，也许这些神经网络模型内部有更小的机器学习模型，模型可以训练这些模型来完成新任务。
“这可以解释我们在这些大型模型中看到的几乎所有学习现象，”他说。
为了检验这一假设，研究人员使用了一种称为 Transformer 的神经网络模型，该模型具有与 GPT-3 相同的架构，但经过了专门针对上下文学习的训练。
通过探索该变压器的架构，他们从理论上证明了它可以在其隐藏状态内编写线性模型。神经网络由处理数据的多层互连节点组成。隐藏状态是输入层和输出层之间的层。
他们的数学评估表明，这个线性模型是写在变压器最早层的某个地方的。然后，变压器可以通过实现简单的学习算法来更新线性模型。
本质上，该模型模拟并训练其自身的较小版本。
探测隐藏层
研究人员通过探测实验探索了这一假设，他们在变压器的隐藏层中进行观察，试图恢复一定的数量。
“在这种情况下，我们尝试恢复线性模型的实际解，并且我们可以证明参数是在隐藏状态中写入的。这意味着线性模型就在某个地方，”他说。
在这项理论工作的基础上，研究人员也许能够通过在神经网络中添加两层来使变压器能够执行上下文学习。Akyürek 警告说，在此之前仍有许多技术细节需要解决，但它可以帮助工程师创建可以完成新任务的模型，而无需使用新数据进行重新训练。
“这篇论文揭示了现代大型语言模型最显着的特性之一——它们无需显式训练即可从输入中给出的数据中学习的能力。使用线性回归的简化案例，作者从理论上展示了模型如何在读取输入的同时实现标准学习算法，并从经验上展示了哪些学习算法最符合其观察到的行为。”Facebook AI Research 的研究科学家 Mike Lewis 说道。参与这项工作。“这些结果是理解模型如何学习更复杂任务的垫脚石，并将帮助研究人员为语言模型设计更好的训练方法，以进一步提高其性能。”
展望未来，Akyürek 计划继续探索上下文学习，其函数比他们在这项工作中研究的线性模型更复杂。他们还可以将这些实验应用于大型语言模型，看看它们的行为是否也可以通过简单的学习算法来描述。此外，他希望更深入地研究可以实现上下文学习的预训练数据类型。
“通过这项工作，人们现在可以想象这些模型如何从范例中学习。因此，我希望它能改变一些人对情境学习的看法。”Akyürek 说道。“这些模型并不像人们想象的那么愚蠢。他们不只是记住这些任务。他们可以学习新任务，我们已经展示了如何做到这一点。”
323ai导航网发布
相关文章
