出品 | OSC开源社区（ID：)
在利用 的 GPT-4 为 Bing Chat、 Bing Image 、 365 、Azure 和 X 引入了类似 的功能后。微软现又宣布推出 -Chat，一种用于 RLHF 训练的低成本开源解决方案，基于微软开源的深度学习优化库 ；声称即使是使用单个 GPU，任何人也都可以创建高质量的 式模型。
该公司表示，尽管开源社区付出了巨大的努力，但目前仍缺乏一个支持端到端的基于人工反馈机制的强化学习（RLHF）的规模化系统，这使得训练强大的类 模型十分困难。 模型的训练是基于 论文中的 RLHF 方式，与常见的大语言模型的预训练和微调截然不同，使得现有深度学习系统在训练类 模型时存在种种局限。因此，为了让 类型的模型更容易被普通数据科学家和研究者使用，并使 RLHF 训练真正普及到 AI 社区，他们发布了 -Chat。
-Chat 具有以下三大核心功能：
文档内容指出， Chat 与其他先进方案相比的优势在于：效率和经济性方面 比现有系统快 15 倍以上 ，在 Azure 云上只需 9 小时即可训练一个 OPT-13B 模型，只需 18 小时既可训练 OPT-30B 模型，分别花费不到 300 美元和 600 美元。
在速度和可扩展性方面，即使是 13B 的模型也可以在 1.25 小时内训练，庞大的 175B 模型可以在不到一天的时间内使用 64 个 GPU 集群进行训练。在 RLHF 的可访问性和普及化方面，则可以在单个 GPU 上训练超过 130 亿参数的模型。此外还支持在相同的硬件上分别运行 6.5B 和 50B 的模型，实现高达 7.5 倍的提升。
尽管近期关于对 类大语言模型发展的反对和担忧之声不断，但微软似乎仍在全力推进其 AI 开发。对于微软的此次发布，前 Meta AI 专家 Elvis 也激动地 表示， Chat 提供了 和 等所缺少的、一个端到端的 RLHF 管道来训练类似 的模型，解决的是成本和效率方面的挑战。这是 “微软令人印象深刻的开源努力…… 是一件大事”。
相关文章
