作者 |量子位
中有这样一个核心训练方法，名叫“人类反馈强化学习（RLHF）”。
它可以让模型更安全、输出结果更遵循人类意图。
现在，来自谷歌和UC伯克利的研究人员发现，将该方法用在AI绘画上，“治疗”图像跟输入不完全匹配的情况，效果也奇好——
可以实现高达47%的改进。
△左为 ，右为改进后效果
这一刻，AIGC领域中两类大火的模型，似乎找到了某种“共鸣”。
如何将RLHF用于AI绘画？
RLHF，全称“ from Human ”，是和于2017年合作开发的一种强化学习技术。
正如其名，RLHF就是用人类对模型输出结果的评价（即反馈）来直接优化模型，在LLM中，它可以使得“模型价值观”更符合人类价值观。
而在AI图像生成模型中，它可以让生成图像与文本提示得到充分对齐。
具体而言，首先，收集人类反馈数据。
在这里，研究人员一共生成了27000余个“文本图像对”，然后让一些人类来打分。
为了简单起见，文本提示只包括以下四种类别，分别关乎数量、颜色、背景和混合选项；人类的反馈则只分“好”、“坏”与“不知道（skip）”。
其次，学习奖励函数。
这一步，就是利用刚刚获得的人类评价组成的数据集，训练出奖励函数，然后用该函数来预测人类对模型输出的满意度（公式红色部分）。
这样，模型就知道自己的结果究竟有几分符合文本。
除了奖励函数，作者还提出了一个辅助任务（公式蓝色部分）。
也就是当图像生成完成后，模型再给一堆文本，但其中只有一个是原始文本，让奖励模型“自己检查”图像是否跟该文本相匹配。
这种逆向操作可以让效果得到“双重保险”（可以辅助下图中的step2进行理解）。
最后，就是微调了。
即通过奖励加权最大似然估计（- ）（下公式第一项），更新文本-图像生成模型。
为了避免过拟合，作者对预训练数据集上的NLL值（公式第二项）进行了最小化。这种做法类似于 (的“直系前辈”）。
效果提升47%，但清晰度下滑5%
如下一系列效果所示，相比原始的 ，用RLHF微调过后的模型可以：
（1）更正确地get文本里的“两只”和“绿色”；
（2）不会忽略“大海”作为背景的要求；
（3）想要红老虎，能给出“更红”的结果。
从具体数据来看，微调后的模型人类满意度为50%，相比原来的模型（3%），得到了47%的提高。
不过，代价是失去了5%的图像清晰度。
从下图我们也能很清楚的看到，右边的狼明显比左边的糊一些：
对此，作者表示，使用更大的人类评价数据集和更好的优化 (RL) 方法，可以改善这种情况。
关于作者
本文一共9位作者。
一作为谷歌AI研究科学家Kimin Lee，韩国科学技术院博士，博士后研究在UC伯克利大学展开。
华人作者三位：
Liu Hao，UC伯克利在读博士生，主要研究兴趣为反馈神经网络。
Du ，同UC伯克利博士在读，主要研究方向为无监督强化学习方法。
Shane Gu (顾世翔)，通讯作者，本科师从三巨头之一，博士毕业于剑桥大学。
△顾世翔
值得一提的是，写这篇文章时他还是谷歌人，如今已经跳槽至，并在那里直接向负责人报告。
论文地址：
参考链接：
[1]
[2]
技术交流群邀请函
△长按添加小助手
扫描二维码添加小助手微信
请备注：姓名-学校/公司-研究方向
（如：小张-哈工大-对话系统）
即可申请加入自然语言处理/等技术交流群
关于我们
MLNLP社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区，目前已经发展为国内外知名的机器学习与自然语言处理社区，旨在促进机器学习，自然语言处理学术界、产业界和广大爱好者之间的进步。
社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。
相关文章
