整理 |屠敏
出品 | CSDN（ID：）
、GPT-3、GPT-4、text–003……近两年来，大模型层层出不穷，使人眼花缭乱，在不同的场景下，很多研究人员往往不知该作何选择？
为了解决这一难题，微软亚洲研究院和浙江大学的研究团队展开合作，发布了一个大模型协作系统——，让 与人工智能社区 连接起来，将语言作为通用接口，让 LLM 作为控制器，管理行业内现有的所有人工智能模型。
「解决不同领域和模式的复杂人工智能任务是迈向 AGI 的关键一步」，研究团队在最新发布的 论文（）伊始说道。
的初衷
在研究团队看来，目前的 LLM 技术可以在语言理解、生成、互动和推理方面具有不错的能力，但是在建立先进的 AI 系统道路上仍然有一些紧迫的挑战：
如何解决这些问题可能是 LLM 走向更先进的人工智能系统的第一步，也是关键的一步。
的出现旨在能够让 LLM 与外部的模型协调，合力解决上述挑战。
的原理
具体来看，我们使用 在收到用户请求时进行任务规划，根据机器学习社区 Face 中的功能描述选择模型，用选定的人工智能模型执行每个子任务，并根据执行结果总结响应。
通过利用 强大的语言能力和 Face 中丰富的人工智能模型， 能够覆盖不同模式和领域的众多复杂的人工智能任务，并在语言、视觉、语音和其他挑战性任务中取得令人印象深刻的结果，为实现高级人工智能铺设了一条新的道路。
根据论文解释， 的整个过程可以分为四个阶段：
在这样的设计下， 能够使用外部模型，也可以整合多模态感知能力，处理多个复杂的人工智能任务。
论文透露， 目前通过利用 LLM（如 ）来连接机器学习社区（如 Face）中各种人工智能模型，覆盖文本分类、目标检测、语义分割、图像生成、问答、文本到语音、文本到视频等 24 个任务。
样样都行的
在论文中，研究团队以实例进行了解释。如下图：分析 .jpg 中姿态和.jpg 的描述，重新生成一张图片。
通过 流程的第一步任务规划，即让 分析用户的请求， 得出生成新图片过程涉及三步，进而自动进行模型选择：使用一个「-」模型来提取篮球图像中的姿势信息；进而使用「/vit-gpt2-image-」生成图像中关于男孩的描述；第三步，执行任务之后，使用 /sd– 模型结合姿态信息和描述生成最终的图像。
也可以对音频和视频模式的多模型合作进行定性分析：
除此之外， 可以整合多个用户输入资源来进行简单的推理，得到正确的答案。
写在最后
论文的发布引发了不少 AI 专家的关注，如果其正式落地，那么只需要通过 一个入口就可以访问到各种适用的模型。
对此，英伟达 AI 科学家、斯坦福博士 Jim Fan 评价道：
是我本周阅读的最有趣的论文。它非常接近我描述的“ App”愿景。 充当 “AI 模型空间”的控制器，根据人类规范选择正确的模型（应用程序），并正确组装它们以解决任务。它是一种“低带宽”方式的多模态——所有模态都需要通过文本字符串进行压缩和连接。 也与 的想法有关：尽可能利用预训练的领域专家模型。有时少训练就是多做事！
为了更好地落地这个愿景，研究团队在 上开源了它的基础代码（），且命名为“”（贾维斯），供大家参考学习。
值得注意的是，很多网友直言，它的系统要求可能会直接劝退了不少人：
但是 也可以作为通往 AGI 的准入口。
相关链接：
☞最爱 ChatGPT，每天编码 300 行，月薪 8k-17k 占比骤减！揭晓中国开发者真实现状
☞裁掉6000人后，马斯克：管理Twitter的心情就像过山车，现金流转正！
☞微软开源 Deep Speed Chat
相关文章
