2.2 目前已知产品
2023年2月20日，解放日报·上观新闻记者从复旦大学自然语言处理实验室获悉，MOSS已由邱锡鹏教授团队发布，邀公众参与内测。2月21日，该平台发布公告，感谢大家的关注，同时也指出，MOSS还是一个非常不成熟的模型，距离还有很长的路需要走
首个中文版 —— 即在人工智能社区引发了广泛的讨论。如今 又迎来了升级版本，支持中英双语交互、多次编辑、上下文关联交互、模拟情景设定等多种新功能。
国产自研功能对话大模型元语 于 2022 年 12 月发布测试版本后，引起社会各界人士的广泛讨论，并且收到了用户的大量反馈和宝贵建议。元语智能团队已于近日对元语 进行了模型效果优化和版本功能升级，现已开放内测。
3.简评技术路线以及目前公测产品
对于实现首先从要素上介绍
3.1 技术实现要素
简单认为以下三点比较重要：
充足的数据集（已标注）具备大模型能力（公司、实验室）丰富的算力机器算法技术能力
首先针对数据集问题： 先天优势的是百度、字节跳动等公司；其次才是各大公司研究室。细化一下就是百度、字节跳动有高质量数据集（信息量足，结构化等优势）简化标注数据获取环节，有利于模型训练得到高质量模型。
其次具备大模型能力（公司、实验室） 在NLP领域AI大模型能力也是有所共见，开创新纪元。所以拥有自己的大模型是至关重要的（千亿参数量）
再者丰富的算力机器 模型训练依赖算力，没有充足AI加速卡，时不待我啊。
最后也就是具备先进的算法技术能力 这个是至关重要的，1.针对数据集其他公司可以通过爬虫方式拿到部分原生数据再加工，也算解决数据集问题吧。2.针对大模型因为目前业界开源了很多NLP各个领域的大模型任何一个人都可以获取某个领域的多任务预训练大模型。3.算力嘛，花钱可以解决，只要你足够富有。但是回归到先进的算法技术能力这里就是要出差距了，做一个“”外壳产品难度不大，但是要做一个真正难度很大。
3.2 技术宏观实现路径
下面从宏观实现路径进行简单讲解
3.2.1.堆砌式（封闭）模型：级别一
框架大致如下：
主要以语义搜索推荐系统技术下给到你索引答案，只是包装了一个前端展示（对话形式）
3.2.2.堆砌式（开放）模型：级别二
引用：图片
开放域对话技术属于人机对话的一种。除了开放域对话，人机对话还包括面向任务的对话和问答对话。 面向任务的对话类似于订票、查天气等，这也是大家用得比较多的一种。
可以简单理解为AI模型更智能，算法技术更厉害了。
3.2.3.基于RLHF的AIGC的堆砌式模型：级别三
简介： RLHF ( with Human ，即基于人类反馈的强化学习) RLHF 解决了生成模型的一个核心问题，即如何让人工智能模型的产出和人类的常识、认知、需求、价值观保持一致。 **AIGC（AI- ，人工智能生成内容）**技术进展的成果。该模型能够促进利用人工智能进行内容创作、提升内容生产效率与丰富度。
讲一下级别三和级别二的区别：RLHF多智能体强化学习 级别二的各个大模型之前是独立的，级别三通过强化学习算法把各个模型耦合起来，同时模型的产出和人类的常识、认知、需求、价值观的模型。控制产出好坏也就是奖励模型决定，答案满意给出正向反馈，反之给出负分。这个设计难度也很大。
总结一下就是技术上升级了，模型更加智能输出结果更佳贴近用户。具体用户侧感受就是你可以“调教”，产生个性化定制。当然这种和搜索推荐系统给到的个性化也是不一样的。
3.2.4.基于RLHF的AIGC的多任务完美模型模型：终极形态
简单来说就是所有任务一个模型都能解决，下游任务兼容性完美！ 期待一手！
3.2.5 小结
从上面四个级别可以看出，难度一次上升。个人认为的应该是第三种方案，因为终极形态相比级别三来说，难度难以想象（一个模型完成所有任务，只能说太强了）。换一个角度，我们作为用户从产品侧看是很难感知出两者区别，从目前的业界开源模型情况来看 方案三更加靠谱，落地也会更快，但技术难度还是很大的！
下面通过分析一下国内目前公测的MOSS和
4.对MOSS、给出简评4.1
它具备的功能：
官方开源： 码源：#=
在这个中我们将使用库结合GPU训练模型，使用的是pCLUE多任务提示学习数据集。
首先从这个开源项目中，使用的数据集是pCLUE: Large-scale -based for Multi-task and Zero-shot in
pCLUE：基于提示的大规模预训练数据集，用于多任务学习和零样本学习
数据集情况：
代码语言：
复制
1.单分类tnews
2.单分类iflytek
3.自然语言推理ocnli
4.语义匹配afqmc
5.指代消解-cluewsc2020
6.关键词识别-csl
7.阅读理解-自由式c3
8.阅读理解-抽取式cmrc2018
9.阅读理解-成语填空chid
数据量： 120万训练数据，73个Prompt
1. 训练集 train.json: 1,200,705
2. 验证集 dev.json: 100,000
3. 公开测试集 test_public.json: 129,556
4. 测试集 test.json: 250,461
具体数据，见：./datasets代码语言：
复制
input:模型的输入
target:模型的输出
type:任务类型，阅读理解(mrc),分类(classify)，生成(generate)，自然语言推理(nli)
评价标准：阅读理解(em),分类(acc)，生成(em)，自然语言推理(acc)
answer_choices:选项（只有分类、推理类任务有）预测任务输出情况
代码语言：
复制
6300 input_string: 3号型蒸汽机车是全台铁路商务总局购入的饱合式蒸汽机车，其特征是披覆在车体上的水柜，如同马鞍般。台湾清治时期的全台铁路商务总局向英国(Hawthorn Leslie and Company)，订购马鞍型水柜式机车。1889年与1893年各制造3部，总共6部。1895年甲午战争清朝战败后日本成立临时台湾铁道队来代管台湾铁路，最初将3号型全配北部线。1899年台湾总督府交通局铁道部成立后于1904年将2部机车转配彰化段。进入大正时代后又集合北部、在基隆段1部、台北段5部。1918年为了宜兰线的工程和营运而将2部机车海运至宜兰段、1920年全数转配宜兰段。随著机车逐渐老化与过时，至1926年3号机车报废。1927年在台北段2部宜兰段3部，1929年全部停止运用，1931年报废。今已无一部保存。3号-5号无另取名。
参考上述上下文，3号型蒸汽机车什么时候全部被停用？
答案： ;predict: 1929年
6400 input_string: 看购影豆原影豆是看购电影集团旗下的一个集在线购票、电影资讯、互动社区及影迷福利等服务于一体的一站式电影平台。我们致力于打造好玩的电影APP,让更多人享受电影带来的乐趣。影片资讯抢鲜看电影导读、电影解析、热映电影精彩预告片,为您提供更多精彩的电影资讯。影迷圈看有意思的内容影迷圈为您提供影迷精选内容、影迷动态,看看他们都在看什么会员享特权积分兑好礼升级会员,享受专属特权,购票更优惠。每天做任务,积分好礼随心换支付便捷看购卡购票更简单红包账户、看购卡余额、第三方支付,用户可随心组合购买影票。持有看购卡用户可直接绑卡购买,也可以使用多种支付形式组合购买影票。联系我们看购电影客服热线每天90021004006776501看购影豆热线工作日830173001057228847看购影豆APP新版开通了自助客服功能,欢迎点击我的在线客服体验小秘书服务。官方微信订阅号影豆生活官方微信服务号看购电影更新内容更新日志1.修改部分Bug
这个是关于哪方面的App应用程序的描述？
选项：银行,社区,电商,支付,经营,卡牌,借贷,驾校,理财,职考,新闻,旅游,交通,魔幻,医疗,影像,动作,工具,体育,小说,运动,相机,工具,快递,教育,股票,菜谱,行车,仙侠,亲子,购物,射击,漫画,小学,同城,成人,求职,电子,艺术,赚钱,约会,经营,兼职,视频,音乐,英语,棋牌,摄影,养生,办公,政务,视频,论坛,彩票,直播,其他,休闲,策略,通讯,买车,违章,地图,民航,电台,语言,搞笑,婚恋,超市,养车,杂志,在线,家政,影视,装修,资讯,社交,餐饮,美颜,挂号,飞行,预定,票务,笔记,买房,外卖,母婴,打车,情侣,日程,租车,博客,百科,绘画,铁路,生活,租房,酒店,保险,问答,收款,竞技,唱歌,技术,减肥,工作,团购,记账,女性,公务,二手,美妆,汽车,行程,免费,教辅,两性,出国,婚庆,民宿。
答案： ;predict: 电影资讯
6500 input_string: 你会把这个新闻推荐给关注哪方面的人：故事，文化，娱乐，体育，财经，房产，汽车，教育，科技，军事，旅游，国际，股票，农业，游戏？疫情下我国高校应届毕业生创业现状调查
1500 input_string: 来到云南红河，有中国最美的山岭雕刻，还有小巴黎之称的碧色寨
哪个类别最好的描述了这篇新闻？
选项：故事，文化，娱乐，体育，财经，房产，汽车，教育，科技，军事，旅游，国际，股票，农业，游戏
答案： ;predict: 旅游从训练数据集以及处理的下游任务可以看出这是在做一个多任务学习的自然语言模型，关于生成式模型以及生成式多轮智能对话大模型基本不太沾边，我觉得是我在第三节里讲的级别一！
这里也就是展现了算法技术的瓶颈，当然也不排除只是对方没开源。但从目前获取信息来看，肯定没有用到强化学习算法技术，距离真正AI还有差距。
当然第三节提到的四种方案，从用户侧来看相对比较难感受到的，毕竟国内语义搜索智能推荐等算法很发达，通过前端包装好。用户还是很难发现的，最多会觉得 “这个AI有点不太聪明呀”
4.2 MOSS
网上看了很多测评，暴露问题和一样，就不在赘述了。
5.未来应用和期待5.1 未来应用
结合的底层技术逻辑，有媒体曾列出了中短期内的潜在产业化方向：归纳性的文字类工作、代码开发相关工作、图像生成领域、智能客服类工作
5.2 期待
个人比较期待百度的文言一心以及字节跳动，在通用领域优势比较大，同时技术也比较前沿，百度飞桨在开源方面做的也比较好，值得期待。希望实现的是级别三的方案。
323AI导航网发布
相关文章
