2023 年 7 日-9 日,华为开发者大会2023(Cloud)期间,华为发布盘古大模型 3.0。华为盘古大模型最早在2021年发布,发展到今天,盘古大模型已经在金融、制造、医药研发、煤矿、铁路等诸多行业发挥作用。
华为云 CTO 张宇昕在接受 InfoQ 采访时表示,华为盘古大模型全栈技术均由华为自主创新,从算力到基础的算子、基础的框架到盘古的开发平台以及模型均没有采用任何开源技术。另外,由于华为云盘古大模型的定位是“AI for ”,这些行业大模型里沉淀了客户的知识经验,所以华为不会、也不可能把客户的资产开放出来,也就是说盘古大模型不会开源,而是走商业闭源的道路。
据华为常务董事、华为云 CEO 张平安介绍,盘古大模型 3.0 是面向行业的大模型系列,包括“5+N+X”三层架构:L0 层是 5 个基础大模型,包括自然语言、视觉、多模态、预测、科学计算,提供满足行业场景中的多种技能需求。
盘古 3.0 为客户提供 100 亿参数、380 亿参数、710 参数和 1000 亿参数的系列化基础大模型,匹配客户不同场景、不同时延、不同响应速度的行业多样化需求。同时提供全新能力集,包括 NLP 大模型的知识问答、文案生成、代码生成,以及多模态大模型的图像生成、图像理解等能力,这些技能都可以供客户和伙伴企业直接调用。无论多大参数规模的大模型,盘古提供一致的能力集。
L1 层是 N 个行业大模型,华为云既可以提供使用行业公开数据训练的行业通用大模型,包括政务,金融,制造,矿山,气象等大模型;也可以基于行业客户的自有数据,在盘古大模型的 L0 和 L1 层上,为客户训练自己的专有大模型。
L2 层是为客户提供 X 个细化场景的模型,更加专注于政务热线、网点助手、先导药物筛选、传送带异物检测、台风路径预测等具体行业应用或特定业务场景,为客户提供“开箱即用”的模型服务。
盘古大模型采用完全的分层解耦设计,一方面是为了快速适配、快速满足行业的多变需求,背后更是华为希望借此构筑出良好的商业模式的考虑。
在解耦的三层设计之上,客户既可以为自己的大模型加载独立的数据集,也可以单独升级基础模型,可以单独升级能力集。在 L0 和 L1 大模型的基础上,华为云还为客户提供了大模型行业开发套件,通过对客户自有数据的二次训练,客户就可以拥有自己的专属行业大模型。同时,根据客户不同的数据安全与合规诉求,盘古大模型还提供了公用云、大模型云专区、混合云多样化的部署形态。
张平安强调,盘古大模型的路标图价值将更注重于行业应用的深化和扩展。团队已经在铁路、煤矿、金融和政府等行业开展了大模型的应用,并且还有许多行业需要大模型的支持。未来,团队将加快行业大模型的开发速度,并且在行业垂直领域深化应用。
算力是训练大模型的基础。本次大会上,张平安还宣布单集群 2000P Flops 算力的昇腾AI云服务在华为云的乌兰察布和贵安 AI 算力中心同时上线。昇腾 AI 云服务除了支持华为全场景 AI 框架昇思 外,还支持 、 等主流 AI 框架。
毫无疑问,大模型的投入是巨大的。不过张平安亦坦言,现阶段讨论盘古大模型的成本与收益还为时尚早,华为在贵阳和乌兰察布投入了大量昇腾 AI 算力,并相信把昇腾 AI 算力做好之后,中国的许多行业以及重塑将会采用盘古大模型。