4月19日，阿里巴巴达摩院发布超大规模语言模型PLUG，该模型参数规模达270亿，是目前全球规模最大的中文纯文本预训练语言模型。PLUG集良好的语言理解与创造性文本生成能力于一身，在小说仿写、诗歌生成、智能问答等长文本生成领域表现突出，其目标是通过超大模型的能力，大幅提升中文自然语言技术在各类任务中的表现。
4月19日，PLUG刷新CLUE分类榜单纪录，排名仅次于“人类”
近年来，大规模预训练模型成为人工智能领域的重要趋势。训练拥有“大智慧”的“大模型”，展现了一条通向通用人工智能的可能路径。去年5月，海外公司发布能写小说、聊天、编曲谱、写代码的GPT-3模型，将这一浪潮在全球范围内推向新高。此后，中文领域同类模型的训练进程备受关注。与GPT-3类似，阿里达摩院本次发布的PLUG模型有望广泛应用于文本生成领域，成为“万能写作神器”。更重要的是，此类超大模型拥有极强的通用性，被认为或将成为人工智能时代新型基础设施之一。
较GPT-3改进之处在于，PLUG集成了达摩院自研的语言理解及语言生成双模型，并通过构建输入文本双向理解能力，显著提升了输出文本的相关性。在语言理解任务上，PLUG以80.614分刷新了业内权威的中文语言理解评测基准CLUE分类榜单历史纪录；在语言生成任务上，PLUG多项应用数据较业内最优水平提升了8%以上。
据了解，PLUG采用了1TB以上高质量中文文本训练数据，涵盖新闻、小说、诗歌、问答等广泛类型及领域。接下来，PLUG将扩大参数规模至2000亿级，并进一步提升文本生成质量。在超大规模预训练模型领域，除发布以中文为核心的PLUG外，达摩院、阿里云计算平台团队还联合智源研究院、清华大学发布了面向认知的超大规模新型预训练模型“文汇”，以及联合清华大学发布了超大规模多模态预训练模型“M6”。
阿里巴巴达摩院语言技术实验室负责人司罗表示，“达摩院团队将进一步攻克自然语言处理领域科研难题，完善中文及跨语言人工智能基础设施，让AI没有难懂的语言，并探索通用人工智能之路。”
相关文章
