读特客户端·深圳新闻网2023年3月14日讯(深圳商报记者 涂竞玉)记者对说:“请生成一张机器人图片。”话音刚落,图片立刻生成。这就是由MSRA资深研究人员提出的视觉版( ),同时,它也看得懂图,有理解能力。
重磅推出的聊天对话模型,短短几个月席卷社会各个领域。会的东西五花八门,现如今, 将和一系列可视化基础模型连接起来,以支持在聊天过程中发送和接收图像。
从头训练一个多模态模型,工作量非常大。于是,研究人员想到可以在的基础上,结合一些视觉模型来达到目的。而想要达到这一目的,需要一个中间站,由此他们提出了提示管理器的概念。相关报道称,提示管理器可以明确告诉每个视觉模型的作用,并指定好输入输出格式;转换不同的视觉信息,如将PNG图像、深度图像、掩码矩阵等转换为语言格式,方便理解。它能处理视觉模型的历史生成结果,以及不同模型的调用优先级、规避冲突等,让能够以迭代的方式接收视觉模型的生成内容,直到输出用户满意的结果。
与此同时,研究人员也提到了这项工作目前还存在一些局限性:生成结果的质量,主要取决于视觉模型的性能;使用大量的提示工程,会一定程度上影响生成结果的速度;此外,在输入图片的隐私安全上,还需要做进一步升级保护。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...