/GPT3.5（的前身）与GPT-3的主要区别在于，新加入了被称为RLHF（ from Human ，人类反馈强化学习）。
这一训练范式增强了人类对模型输出结果的调节，并且对结果进行了更具理解性的排序。
在中，以下是“ of ”的评价标准。
真实性：是虚假信息还是误导性信息？
无害性：它是否对人或环境造成身体或精神上的伤害？
有用性：它是否解决了用户的任务？
▌3.3 TAMER框架
这里不得不提到TAMER（ an Agent via ，评估式强化人工训练代理）这个框架。
该框架将人类标记者引入到的学习循环中，可以通过人类向提供奖励反馈（即指导进行训练），从而快速达到训练任务目标。
引入人类标记者的主要目的是加快训练速度。尽管强化学习技术在很多领域有突出表现，但是仍然存在着许多不足，例如训练收敛速度慢，训练成本高等特点。
特别是现实世界中，许多任务的探索成本或数据获取成本很高。如何加快训练效率，是如今强化学习任务待解决的重要问题之一。
而TAMER则可以将人类标记者的知识，以奖励信反馈的形式训练Agent，加快其快速收敛。
TAMER不需要标记者具有专业知识或编程技术，语料成本更低。通过TAMER+RL（强化学习），借助人类标记者的反馈，能够增强从马尔可夫决策过程 (MDP) 奖励进行强化学习 (RL) 的过程。
TAMER架构在强化学习中的应用
具体实现上，人类标记者扮演对话的用户和人工智能助手，提供对话样本，让模型生成一些回复，然后标记者会对回复选项打分排名，将更好的结果反馈回模型中。
同时从两种反馈模式中学习——人类强化和马尔可夫决策过程奖励作为一个整合的系统，通过奖励策略对模型进行微调并持续迭代。
在此基础上， 可以比 GPT-3 更好的理解和完成人类语言或指令，模仿人类，提供连贯的有逻辑的文本信息的能力。
▌3.4 的训练
的训练过程分为以下三个阶段：
第一阶段：训练监督策略模型
GPT 3.5本身很难理解人类不同类型指令中蕴含的不同意图，也很难判断生成内容是否是高质量的结果。
为了让GPT 3.5初步具备理解指令的意图，首先会在数据集中随机抽取问题，由人类标注人员，给出高质量答案，然后用这些人工标注好的数据来微调 GPT-3.5模型（获得SFT模型, Fine-）。
此时的SFT模型在遵循指令/对话方面已经优于 GPT-3，但不一定符合人类偏好。
模型的训练过程
第二阶段：训练奖励模型（ Mode，RM）
这个阶段的主要是通过人工标注训练数据（约33K个数据），来训练回报模型。
在数据集中随机抽取问题，使用第一阶段生成的模型，对于每个问题，生成多个不同的回答。人类标注者对这些结果综合考虑给出排名顺序。这一过程类似于教练或老师辅导。
接下来，使用这个排序结果数据来训练奖励模型。对多个排序结果，两两组合，形成多个训练数据对。
RM模型接受一个输入，给出评价回答质量的分数。这样，对于一对训练数据，调节参数使得高质量回答的打分比低质量的打分要高。
第三阶段：采用PPO（ ，近端策略优化）强化学习来优化策略。
PPO的核心思路在于将 中On-的训练过程转化为Off-，即将在线学习转化为离线学习，这个转化过程被称之为 。
这一阶段利用第二阶段训练好的奖励模型，靠奖励打分来更新预训练模型参数。在数据集中随机抽取问题，使用PPO模型生成回答，并用上一阶段训练好的RM模型给出质量分数。
把回报分数依次传递，由此产生策略梯度，通过强化学习的方式以更新PPO模型参数。
如果我们不断重复第二和第三阶段，通过迭代，会训练出更高质量的模型。
四、的局限
只要用户输入问题， 就能给予回答，是否意味着我们不用再拿关键词去喂 或百度，就能立即获得想要的答案呢？
尽管表现出出色的上下文对话能力甚至编程能力，完成了大众对人机对话机器人（）从“人工智障”到“有趣”的印象改观，我们也要看到，技术仍然有一些局限性，还在不断的进步。
1）在其未经大量语料训练的领域缺乏“人类常识”和引申能力，甚至会一本正经的“胡说八道”。在很多领域可以“创造答案”，但当用户寻求正确答案时，也有可能给出有误导的回答。例如让做一道小学应用题，尽管它可以写出一长串计算过程，但最后答案却是错误的。
那我们是该相信的结果还是不相信呢？
给出错误的数学题答案
2）无法处理复杂冗长或者特别专业的语言结构。对于来自金融、自然科学或医学等非常专业领域的问题，如果没有进行足够的语料“喂食”，可能无法生成适当的回答。
3）需要非常大量的算力（芯片）来支持其训练和部署。抛开需要大量语料数据训练模型不说，在目前，在应用时仍然需要大算力的服务器支持，而这些服务器的成本是普通用户无法承受的，即便数十亿个参数的模型也需要惊人数量的计算资源才能运行和训练。，如果面向真实搜索引擎的数以亿记的用户请求，如采取目前通行的免费策略，任何企业都难以承受这一成本。因此对于普通大众来说，还需等待更轻量型的模型或更高性价比的算力平台。
4）还没法在线的把新知识纳入其中，而出现一些新知识就去重新预训练GPT模型也是不现实的，无论是训练时间或训练成本，都是普通训练者难以接受的。如果对于新知识采取在线训练的模式，看上去可行且语料成本相对较低，但是很容易由于新数据的引入而导致对原有知识的灾难性遗忘的问题。
5）仍然是黑盒模型。目前还未能对的内在算法逻辑进行分解，因此并不能保证不会产生攻击甚至伤害用户的表述。
当然，瑕不掩瑜，有工程师贴出了要求写代码（芯片设计代码）的对话。可以看出水平已经超出一些初学者了。
五、的未来改进方向
▌5.1 减少人类反馈的RLAIF
2020年底，前研究副总裁Dario 带着10名员工创办了一个人工智能公司。
的创始团队成员，大多为 的早期及核心员工，参与过的GPT-3、多模态神经元、人类偏好的强化学习等。
2022年12月，再次发表论文《 AI: from AI 》介绍人工智能模型。（/pdf/2212.0807）
CAI模型训练过程
和 都依赖于强化学习(RL)来训练偏好（）模型。
CAI（ AI）也是建立在RLHF的基础之上，不同之处在于，CAI的排序过程使用模型（而非人类）对所有生成的输出结果提供一个初始排序结果。
CAI用人工智能反馈来代替人类对表达无害性的偏好，即RLAIF，人工智能根据一套原则来评价回复内容。
▌5.2 补足数理短板
虽然对话能力强，但是在数理计算对话中容易出现一本正经胡说八道的情况。
计算机学家 为这一问题提出了解决方案。 创造了的 语言和计算知识搜索引擎 | Alpha，其后台通过实现。
与 | Alpha结合处理梳理问题
在这一结合体系中， 可以像人类使用 |Alpha 一样，与 |Alpha “对话”，|Alpha 则会用其符号翻译能力将从 获得的自然语言表达“翻译”为对应的符号化计算语言。
在过去，学术界在 使用的这类 “统计方法” 和 |Alpha 的 “符号方法” 上一直存在路线分歧。
但如今 和 |Alpha 的互补，给NLP领域提供了更上一层楼的可能。
不必生成这样的代码，只需生成常规自然语言，然后使用 |Alpha 翻译成精确的 ，再由底层的进行计算。
▌5.3 的小型化
虽然很强大，但其模型大小和使用成本也让很多人望而却步。
有三类模型压缩（model ）可以降低模型的大小和成本。
第一种方法是量化（），即降低单个权重的数值表示的精度。比如从FP32降到INT8对其精度影响不大。
第二种模型压缩方法是剪枝（），即删除网络元素，包括从单个权重（非结构化剪枝）到更高粒度的组件如权重矩阵的通道。这种方法在视觉和较小规模的语言模型中有效。
第三种模型压缩方法是稀疏化。例如奥地利科学技术研究所 (ISTA)提出的 （/pdf/2301.0077）可以将 GPT 系列模型单次剪枝到 50% 的稀疏性，而无需任何重新训练。对 GPT-175B 模型，只需要使用单个 GPU 在几个小时内就能实现这种剪枝。
压缩流程
六、的产业未来与投资机会
▌6.1 AIGC
说到不得不提AIGC。
AIGC即利用人工智能技术来生成内容。与此前Web1.0、Web2.0时代的UGC（用户生产内容）和PGC（专业生产内容）相比，代表人工智能构思内容的AIGC，是新一轮内容生产方式变革，而且AIGC内容在Web3.0时代也将出现指数级增长。
模型的出现对于文字/语音模态的 AIGC 应用具有重要意义，会对AI产业上下游产生重大影响。
▌6.2 受益场景
从下游相关受益应用来看，包括但不限于无代码编程、小说生成、对话类搜索引擎、语音陪伴、语音工作助手、对话虚拟人、人工智能客服、机器翻译、芯片设计等。
从上游增加需求来看，包括算力芯片、数据标注、自然语言处理（NLP)等。
大模型呈爆发态势（更多的参数/更大的算力芯片需求）
随着算法技术和算力技术的不断进步，也会进一步走向更先进功能更强的版本，在越来越多的领域进行应用，为人类生成更多更美好的对话和内容。
最后，作者问存算一体技术在领域的地位（作者本人目前在重点推进存算一体芯片的产品落地），想了想，大胆的预言存算一体技术将在芯片中占据主导地位。（深得我心图片）
参考文献：
: for : for
GPT论文： are Few-Shot are Few-Shot
论文： to with human to with human
解读RHLF算法： from Human (RLHF) from Human (RLHF)
RHLF算法论文： with Human /~ai-lab/p
TAMER框架论文： via Human /~
PPO算法：
原文链接：
相关文章
