今天,MOSS又火了。不仅登顶知乎热榜,收获近千万流量,还引来诸多媒体竞相报道。
不过,这次出圈的,不是陪刘培强流浪的MOSS,而是复旦大学研发的中国版。
国内首个对话式大型语言模型
自发布以来,已经收获了全球巨大关注。尤其是在春节后,突然走红,许多网友开始期待中国版聊天机器人的诞生。
现在,这个愿望得以实现。复旦大学自然语言处理实验室表示,国内第一个对话式大型语言模型「MOSS」已由邱锡鹏教授团队发布至公开平台,邀公众参与内测。
MOSS可以执行一系列任务,如对话生成、编程、事实问答等。官网称,MOSS为生成的语言模型打开所有技术路径,以理解人类意图并具有对话能力。
MOSS的出现为国内学术界和业界提供了重要经验,并有助于进一步探索和应用大型语言模型。
团队负责人邱锡鹏表示:「尽管MOSS仍有很大的改进空间,但其推出证明,国内科研团队有能力在开发产品的道路上克服重要的技术挑战。」
据悉,MOSS研发项目得到了上海人工智能实验室的大力支持。后期,该项目将会通过开源方式,和行业人士与社区分享。
开源代码,打造MaaS生态
MOSS的回答语言流畅、逻辑清晰且观点正确。科研团队在演示时,用英文输入多个指令,展示了MOSS多轮交互、表格生成、代码生成和解释能力。
「告诉我5部科幻电影。」「生成一张展示这5部电影和导演的表格。」「增加一列表格,显示这些电影上映的时间。」在这个包含表格生成的多轮交互中,MOSS都顺利完成了任务。
然而,MOSS与最大的不同,在于其开源属性。
由于并未开源,其技术解决方案的细节尚未披露,研究人员对此有很多猜测。一些专家认为,是一个复杂的组合系统,无法通过单一的生成语言模型实现。
作为自然语言处理专家,邱锡鹏近年来一直致力于研究具有多任务学习能力的一般模型。为了探索的技术路线并获得LLM研究的一手经验,他带领团队加快了MOSS的开发。
MOSS开发的基本步骤与相同,包括两个阶段:自然语言模型的基座训练和理解人类意图的对话能力训练。
在对话能力培训阶段,收集了至少数十万条人工指令,要求各行各业的专业标注员编写指令回复,然后将其输入模型库,以帮助逐步理解各种指令。
复旦团队采用不同的技术路线,通过允许MOSS与人类和其他对话模式互动,并在短时间内高效完成对话能力培训,从而显著提高学习效率和研发效率。
为了提高研发效率,MOSS团队选择开源代码。对此,MOSS模型的官方公告表示:
预训练大语言模型的研发门槛很高,需要大量算力、训练语料和人工标注。在我国产业界,只有大型机构才有实力开发大模型。
MOSS开源后,可有效降低预训练语言模型的研发和应用门槛,让中小企业在其基础上开发出智能客服、智能家居、人工智能律师等各种垂直类产品。
推出伊始便开源代码,虽然可以提高数据收集和研发效率,但也不得不称为一个冒险的举动。然而,这也为未来企业的发展提供了一个新的思路:MaaS(基础模型服务)。
在未来,企业或许不需要在大模型领域「卷生卷死」,有了类似于MOSS的高质量LLM,企业只需对已经完备的模型进行微调,就能获得所需的品质良好的垂类产品。
取名MOSS,致敬《流浪地球》
随着MOSS的推出,互联网上出现了怀疑的声音:为什么要叫MOSS?
面对「蹭热度」的质疑,MOSS团队发公告予以澄清。公告称:
尽管我们的对话模型和《流浪地球》中MOSS的能力不能相提并论,但就像过去NLP领域的其它优秀模型一样,作者们都希望使用自己喜欢的影视角色名称命名自己的模型,我们在训练完成第一代模型的时候,正值流浪地球2热映,片中MOSS给团队每个人都留下了深刻的印象,因此便使用了这样一个名称来指代我们的模型,以表示我们对最前沿AI模型的不懈追求。
事实上,用大IP给科研项目命名并不是什么新鲜事。基础技术之一的,其名称来源于大热电影《变形金刚》()。
网友评价
MOSS一上线,官网都快被挤爆了,小编也只能乖乖排队等内测资格啦。
体验地址:
项目地址:
不过,根据网上记者的对话以及知乎答友们的评价,咱也能来仔细瞅瞅MOSS了。
文风很AI,但未来可期
基于目前已知的信息,「段小草」对Moss的特点进行了总结:
1. 上下文的能力是有的,但不确定能保留多少,毕竟展示出来的上下文对话都不是太长;
2. 文风很 AI,不过生成的内容不算长。即使是分 1、2、3、4 点回答的时候,句子也比较短。 一般会生成更长的展开。
3. 文章中也专门展示了英文能力,但还不确定训练集中不同语言语料的效果。
4. 吸取 和 翻车的教训,在上线初期就套上了足够的道德枷锁。
最后,「段小草」表示:「希望能尽快体验到产品,也期待看到更多产业落地。」
MOSS回答:
回答:
回答地址:
给国内AI开了个好头
的确,MOSS的发布对国内AI的发展肯定大有益处。
知友「极智视界」表示,在AI领域,技术源于美国而盛行于世界,例如框架类的、,目标检测算法YOLO以及造就的。我们「对标」国外的技术,虽然赶超美国可能做不到,但是「对标」的过程一定会让国内的AI有一个快速的发展。
回答地址:
「极智视界」还提到,国内首个类模型MOSS的发布既符合预期但也有些意外。
符合预期是因为近段时间以来也一直有国内版摩拳擦掌的消息,所以迟早都会来的;意外的是在当前这种强大的利益驱动下,研究机构居然还走到了大厂的前头。
但总的来说这是一个令业界比较振奋的消息,咱们终于可以用上咱们自己的AI问答系统了。
高校的重点还是理论探索
知友「卜寒兮」表示,想研发出类的产品,需要一个团队能撬动各个方面的资源,还要有过硬的技术做支撑。
以为例,单单想要研发出一个成规模的LLM模型,就需要以下四个方面:
回答地址:
目前来看,还真的只有大公司才有能力做得出来。对于高校的科研团队,其优势在于技术和方法上的创新,所以还是要在这方面做更多功夫,为将来有一天该方向的发展做技术储备。
复旦MOSS团队:还不成熟
2月20日,就在MOSS模型公布的当晚,不少测试的网友发现,MOSS已经显示服务器流量过载,只能第二天再重试。
2月21日,复旦团队在MOSS官网发布公告称:首先非常感谢大家的关注!MOSS还是一个非常不成熟的模型,距离还有很长的路需要走。
我们一个学术研究的实验室无法做出和能力相近的模型,MOSS只是想在百亿规模参数上探索和验证 的技术路线,并且实现各种对话能力。
我们最初的想法只是想将MOSS进行内测,以便我们可以进一步优化,没有想到会引起这么大的关注,我们的计算资源不足以支持如此大的访问量,并且作为学术团队我们也没有相关的工程经验,给大家造成非常不好的体验和第一印象,在此向大家致以真诚的歉意。
在 MOSS完成初步的验证之后,我们会将MOSS的经验、代码、模型参数开源出来供大家参考。中国版的诞生还需要中国全体AI从业者的努力,也更需要不断。和人交互以提高能力。
参考资料: