李沐博士是亚马逊的资深首席科学家，之前和 Aston Zhang 等人共同撰写了《动手学深度学习》。最近两年，他一直通过视频向大家介绍各种 AI 知识，制作了几十篇论文的精读课程。很多同学已经养成了跟着李沐精读论文的习惯。
李沐博士在 B 站的账号是「跟李沐学 AI」。
这节针对 的解读课程总共 67 分钟，基本按照论文撰写的顺序进行介绍。
看过 博客的同学都知道，它的技术原理基本用一张图就能概括，这也是 论文中就已经出现的一张图（二者有细微差别）。在解读论文的摘要和引言部分时，李沐详细介绍了图上的三个步骤。
博客中的技术原理图。
论文中的技术原理图。
在论文的第三章， 的作者首先介绍了他们的数据获取方法和过程，李沐也带着大家详细读了一下。这部分在工程方面非常有价值。正如李沐所说，如果你之前没有做过这样的事情（数据标注等），需要找人帮你标数据，那么你可以看它的附录部分，里面有很多模板可以直接拿来用，论文作者甚至描述了他们标注网站的 UI 长什么样，非常值得借鉴。
接下来，李沐重点解读了第三章写到的 3 个模型（见 3.5 ）——SFT ( fine-) 模型、RM ( ) 模型和 RL ( ) 模型，包括这些模型涉及的参数和目标函数等细节。
最后，李沐总结说，从技术上来讲， 还是一个非常实用的技术。它告诉了大家一个方法：给定一个大型语言模型，你怎样通过一些标注数据迅速地提升它在某一个你关心的领域中的性能，使它达到实用的程度。所以，它给想用生成模型做产品的人提供了一个可操作的思路。
当然，正如李沐博士所说，科研工作是循序渐进的， 也是建立在之前研究的基础上，所以想要吃透 的同学不免还要回头去读更多论文。在之前的课程中，李沐也详细解读过 GPT、GPT-2、GPT-3 的论文：
相关文章
