摘 要
华为计划7月7日举行华为云HDC 2023开发者大会,届时将发布一款直接对标的多模态千亿级大模型应用,或称“盘古Chat”,基于华为自研盘古大模型。与和百度文心一言等针对C端落地不同,华为这款应用产品主要面向ToB/ToG的政企客户,服务于各行各业的工作场景,针对提高生产力和改善效率。
需要强调的是,华为盘古大模型是一个系列,而不是一个独立的大语言模型。根据华为云官网资料,盘古系列大模型包括以下五个基础模型,也被称为(L0)级大模型。
01
中文语言(NLP)大模型
为业界首个超千亿级参数的中文预训练大模型,被认为是最接近人类中文思维能力的AI大模型。与等国外AIGC大语言模型相比,华为盘古大模型更注重本土语言优化。作为一家非社交互联网属性的企业,华为为了打造盘古大模型,从互联网爬取了80TB公开文本,最后清洗出1TB的精选中文数据集供给大模型训练,在预训练阶段总共学习了超过40TB文本数据,并通过行业数据的小样本调优,以提升模型在不同垂直场景中的应用性能。
02
视觉(CV)大模型
超过30亿参数的业界最大的CV视觉大模型,首次实现模型按需抽取,首次实现兼顾判别与生成能力。它可以基于模型大小和运行速度需求,自适应抽取不同规模模型,AI应用开发快速落地,使AI开发进入工业化模式。使用层次化语义对齐和语义调整算法,在浅层特征上获得了更好的可分离性,使小样本学习的能力获得了显著提升,性能表现可达业界第一。
03
其他基础大模型
图+网络(Graph)大模型
首创图+网络融合技术,在工艺优化、时序预测、智能分析等场景有广泛应用。
多模态大模型
具备图像和文本的跨模态理解、检索与生成能力。可以从多个数据源中获得更丰富的信息,从而提高模型的性能和鲁棒性。
科学计算大模型
主要解决各种科学问题,旨在用AI促进基础科学的发展。包括传统的气象、海洋、农业、地球科学、航空航天等领域开始从偏微分方程的方法拓展到AI方法。
04
基础大模型夯底向上发展垂直大模型
01
(L1)级 垂直领域行业大模型
在L1级别的行业大模型方面,华为已经推出了盘古金融大模型、盘古矿山大模型、盘古气象大模型、盘古电力大模型、盘古制造质检大模型、盘古药物分子大模型等行业大模型。
02
(L2)级 细分场景的推理模型
在L2级细分场景模型方面,华为已经推出诸如基于气象大模型的短临气象预报、台风预测等场景模型;基于电力大模型的无人机电力巡检、电力缺陷识别等场景模型;基于时尚大模型的辅助设计、版权保护等应用场景模型。此外,在物联网、智能汽车座舱、智能驾驶等领域,华为都已推出基于盘古大模型的各种应用。
基于华为盘古大模型开发的华为盘古聊天应用,将被命名为“盘古Chat”,可广泛应用于智能舆情、智能营销、智能巡检、智慧物流等多种场景,具有赋能千行百业的潜力。在人才储备和算力自主可控方面具有优势,有望成为国内最为领先的大模型应用产品。
此前曾有国内券商披露,在训练盘古大模型时,华为团队调用了超过2000块昇腾910服务器芯片,进行了超2个月的数据训练能力。
华为盘古大模型诞生于2020年11月在华为云内部会议,并于2021年4月对外披露相关消息。根据华为公布的一份论文数据,盘古PanGu-Σ大模型的参数量高达1.085万亿,并基于华为自研框架开发。
根据内测人士透露,盘古PanGu-Σ大模型的自然语言对话能力可达到GPT-3.5的水平。在2022年4月华为官宣发布2.0版本,并且宣布自然语言处理大模型、计算机视觉大模型和科学计算气象大模型均已实现商用上线。
来自天眼查的信息,华为已于近期申请注册两个“”(华为网络GPT)商标。此外,华为已成功抢注多个带有“盘古”“PANGU”字样的商标。
伴随中美摩擦加剧以及高科技禁运的不利条件下,备受国人关注的AI训练算力方面,在此之前,华为昇腾计算业务CTO周斌在采访中曾表示,有信心承载类似这种规模的应用训练,他认为华为完全没有问题。
他说:“我们已经服务了国内几十家合作伙伴的大模型,至少从底层技术软硬件的规模上来讲,华为的参数量不比少,而所需的算力需求,我们已经经过了大规模验证,是完全没问题的。”