羿阁 整理自
量子位 | 公众号
随着 、的爆火,AI在今年迎来了大爆发。
这不禁让人想问,这些创新背后的推动机制究竟是什么?
在智能未来大会上,阿里巴巴集团副总裁、阿里云计算平台事业部负责人贾扬清给出了他的答案:AI工程化和开源。
工程化,让开发、迭代到应用的路径变得更加高效;开源可以让工作开展更加迅速,实现市场共赢。
在这个基础之上,贾扬清还进一步指出了AI产业落地的四大明显趋势:AI工程化平台、异构计算、智能产品和算法开源。
为了完整体现贾扬清的分享及思考,在不改变原意的基础上,量子位对他的演讲内容进行了编辑整理。
关于MEET智能未来大会:MEET大会是由量子位主办的智能科技领域顶级商业峰会,致力于探讨前沿科技技术的落地与行业应用。今年共有数十家主流媒体及直播平台报道直播了大会,吸引了超过300万行业用户线上参会,全网总曝光量累积超过2000万。
演讲要点
(以下为贾扬清演讲全文)
AIGC大爆发
今天我们讲AI,绕不过去的一个话题就是AIGC的大爆发,像 、等等。
如果我们溯源可以发现,用统计和AI方法实现内容的创作和生成,已经经历了很长的演进过程。
往回数到1999年,也就是二十多年前的时候, A. Efros教授提出的基本逻辑是用一个简单的计算机视觉统计方式,就可以通过一个非常小的图片来学习纹理,并生成更大的内容,这可以说是AIGC的雏形。
2015年前后,神经风格迁移开始风靡,它能够从画作当中学习绘画风格,把原始图片合成为特定风格的作品,比如这幅梵高的《星空》。
从1999年的纹理生成,到2015年的神经风格迁移,再到今天更强语意的AI创作,都在不断地催生我们探索更有意思的领域。
同时,我们也在思考,这些创新推动的机制是怎么样的?背后有哪些的支撑?
AI惠普的土壤:工程化+开源
我们得出的结论是,AI普惠的两个重要支撑,一个是AI的工程化,另外一个是开源。
从工程化角度,2019年著名教授 曾经说过,前面70年的AI研究,我们所得到的最大的经验和教训是通过标准化的方式来使用大规模的计算。
那么怎么样才能实现大规模计算呢?
无论是通过云原生方式,还是通过更加高效的分布式计算等,都让今天从开发到迭代的路径变得更加简单,这都是我们前面几年所看到的AI大规模发展(如大模型、AIGC)背后的工作。
另外一个方面,开源让工作变得更加迅速。
从最早的时候我们耳熟能详的深度学习框架,到今天我们所见到的各种模型,无论是基础模型还是应用模型,开源和开放都让各行各业的应用开发者更加容易触达AI算法,并寻找一些需求的匹配。
同时,对于算法的工作要求。Stack 的创始人Joel 曾经写过一个关于开源软件经济学的技术blog。
他提到,技术公司都希望让产品的互补品变得更加容易获得,开源让整个市场变得更大,也能够让大家实现共赢的结果。
在此基础上,AI产业落地有四个非常明显的趋势。
第一是云原生的AI工程化平台;第二是大规模端到端的异构计算体系;第三是把前面这些工程产生的算法系统组合后,实现的更加智能、贴近用户需求的产品;以及通过算法的开源,助力AI在产业垂直化落地。
这四个趋势可能是将来我们无论是从供给角度还是需求角度,推动AI进一步往前走的方向。
所以我想从这四个角度给大家简单介绍一下我们现在所看到一些细节和所做的事情。
AI工程化平台
今天我们看到AI开发有一个非常清晰的范式,可以分两个部分,前半段是开发、数据到模型,后半段从模型、迭代到最后的应用。
具体地说,首先,算法工程师会通过数据平台做数据采集、清理、标注。在开发的时候,一个开源的、耳熟能详的环境已经成为业界标准,能够让算法工程师进行开发、迭代。
今天大多数的模型都需要用到分布式计算,这些技术已经成为标准底座,让我们更加高效地做分布式训练、调度和部署。
产出最开始这些模型之后,我们就需要让业务工程师和深度学习的算法工程师一块在实际当中做模型选型、验证等等,再通过前面提到的开发、迭代、训练这些平台,来获得一个适合线上服务的模型。
有一个很有意思的点,大家在实际做一个业务应用的时候,有很多事情都要考虑。
AI以前想得比较少,但今天一旦开始把AI算法部署到应用当中去,很多需求就都已经出来了,像蓝绿部署等等,因此服务本身也在开始变得更加标准化、原生化。
今天在阿里云,我们就把这些开发范式标准化以后,建设这样一个平台,支撑我们从零开始做模型的全新服务。
大家经常问工程化可以实现怎么样的效果?
每个科研院所、公司大家多多少少都在经历这样一个过程:怎样把AI从科研到普惠的鸿沟填上,用高性能、高可用、低成本的方式把这个沟跨过去。
跟大家分享一个小故事,今年达摩院和阿里云一起做了一件事情,就是重新审视我们在AI算法协同当中怎么样把达摩院超过90%的应用,不论是训练还是推理服务的应用,都用云原生方式来实现。
通过这样的方式,我们所见到的是:
从需求的角度,资源更加可用、更容易获得,无论是拉起一个训练还是推理,都比以前更加容易,更快;
从工程细节上,算法工程师不再需要进行像存储、管理机器、调优带宽等等这些具体的事情;
从供给角度、AI系统管理角度来说,无论是利用率、训练效率,还是服务成本都变得更好了。
这是我们在第一个趋势——AI工程化这块所看见的正向效果,就是专业人做专业的事,以达到一个更好的效果。
异构计算
AI工程化平台之后,第二个趋势是端到端的异构计算与优化。
今天讲框架讲得比较少,传统的AI框架这一层,无论是最早的还是今天的框架,方向已经变得很成熟了。
同时,在框架上游和框架的下游,我们都开始逐渐地需要来建设更加丰富的软件栈。
包括上层怎么样让算法科学家做分布式建模,调动异构资源进行训练;在框架下层怎么样通过AI技术做软硬件协同设计和优化,最后我们怎么样建立这样一个存储、网络完整的优化解决方案。