最近一年,以为代表的生成式AI以迅雷不及掩耳之势霸占了全球互联网的热度,伴随着全民尝鲜AI的热潮,国内外大厂也纷纷下场投身AI大模型的研发与应用。一时之间,生成式AI风头无两。
生成式AI革新移动端使用场景
生成式AI让我们窥见了近未来,并且已经在大量行业场景得到了具体应用。
在移动端,我们实际上已经能够见到很多与AI相关的应用。例如在用户拍照时,设备可以自动识别物品,根据环境和场景自动优化画面内容,实现更好的成像效果。
AI能够根据用户的生活工作习惯规划日程,与语音助手相结合能够实现私人助理一般的交互体验。
AI还能够帮助智能判断设备的状态、学习用户的使用习惯,在自动分配性能到需要高算力、高负载的应用时,自动优化充电与电池调用,让设备的使用更加智能。
生成式AI已然改变了我们对于传统意义上AI应用场景的理解。
就拿目前已经相当成熟的问答式AI来说,在结合各家智能语音助手以及搜素引擎之后,用户可以像与人对话一样直接与设备进行交互。
不仅可以进行常规的提问“今天天气如何”“高通是一家什么公司”,还能够直接调用互联网海量信息,对用户的问题进行针对性的回答。
伴随着如自然语言处理、机器学习等技术的发展,生成式AI技术更加全面和智能化,在端侧具备广阔的应用前景,可以实现更加复杂和高级的内容生成和创作。
在图像生成领域,通过学习已有的图像数据,AI可以生成出与原始数据相似的新图像。
例如我们拍摄了一张照片,将身边杂乱的场景裁切之后,使用生成式AI能够基于已有的照片“补完”更大照片内容,人物也能完美融入其中。
此外,生成式AI技术还可以应用于图像的超分辨率、去噪和图像修复等场景。
都说移动端进行文字创作不如别的大屏终端方便。
有了生成式AI,我们可以在移动端生成与人类写作相似的文本。自动写作、机器翻译,生成式AI能极大提升移动终端侧的生产力。在音频处理领域,AI可以帮助用户进行通话降噪、优化通话质量和收音效果。
无论是游戏语音还是音视频通话都很有作用。而有了生成式AI的加持,用户可以在移动端生成出逼真的语音、音乐和音效,可以广泛应用于配音、通话、游戏等场景。
生成式AI技术还应用于游戏开发领域,将极大地帮助游戏开发者。依靠AI自动生成游戏场景、道具和角色等元素,免除了重新建模、渲染的繁复步骤。节省时间、提高效率,用户也能早日体验到精彩的游戏内容。
夯实基础 第二代骁龙8打造移动端AI核心
移动场景下的AI大有作为。目前我们能见到的生成式AI往往都聚集在PC端,运行AI大模型需要相当高的算力,需要CPU、GPU等硬件进行支持。在人工智能三要素中,无论是数据还是算法,都离不开算力的支撑,这也是行业的共识。
高通在移动硬件领域有着夯实的技术基础。第二代骁龙8也是骁龙AI发展历程中的里程碑。
这一平台从设计之初就与AI紧密结合,采用了分布式的AI设计,其集成的高性能高通AI引擎涵盖多个软硬件组件,包括高通处理器、 GPU和Kryo CPU,可以通俗地认为它并非只有一个AI处理单元,而是将AI处理单元其分布在各个需要AI提供助力的单元中。
从硬件层面来看,高通AI引擎实现了高达4.35倍的算力提升,和60%的能效提升,并且率先支持INT4 AI精度格式;而高通传感器中枢则带来了先进的AI处理能力,性能提升了2倍,同时内存提升了50%。
高通为处理器加入专用的供电系统,进一步提升芯片处理的能效比;改进内存读写,降低能耗;通过微切片的推理方式,将单个神经网络拆分成几万个微切片,然后将其分配到张量、标量、向量加速器上,从而提高整个神经网络的推理速度。
在第二代骁龙8身上,我们能够看到AI全面参与芯片运行,帮助优化用户在使用设备的每一个场景、每一个细节。
而对AI的应用远不止于此,骁龙X70 5G调制解调器及射频系统是全球首个和唯一一个配备5G AI处理器的调制解调器及射频系统,利用其强大的AI功能支持在终端上实现突破性的连接速度。
并配合高通 7800,第二代骁龙8将开启Wi-Fi 7时代,高频多连接并发技术能实现Wi-Fi 7峰值速度高达5.8Gbps,和低于2毫秒的时延。同时也带来先进的双蓝牙技术,实现配对连接速度翻倍。
在影像层面,AI帮助第二代骁龙8实现了首个认知ISP,实时运行“语义分割”AI照片编辑技术。运用经过训练的神经网络识别多种不同物体,并整个过程都能在强大的ISP里完成。
具备实时分层像素处理和实时语义分割滤镜的认知ISP和高通AI引擎势必开启下一代专业品质影像体验。正如高通技术公司产品管理副总裁Judd Heape所言,“实时语义分割技术具有开创性意义,这意味着摄像头能够真正实现对捕捉画面的情景感知。”
高通通过提升AI引擎并升级 Smart特性赋能第二代骁龙8,让这些设备能够提供用户在当前所能切身体验到的可能是最优秀的AI场景应用。随着今年10月的临近,第三代骁龙8也即将与广大消费者见面。
相信在新一代的旗舰平台上,高通会进一步提升AI算力,并针对AI进行持续优化,进一步提升用户在移动端的AI体验。
全栈AI优化引领终端侧AI解决方案
今日,高通发布白皮书《混合AI是AI的未来》,为我们描绘了混合AI发展前景,高通是如何阐释混合AI的?在高通的引领下,混合AI将走向何方?
高通认为混合AI是AI未来必经之路。所谓混合式AI也就是传统基于云端的AI与端侧AI的结合,云端和终端共同处理AI计算,借助端侧的即时感知、即时处理优势填补云端AI在延迟方面的短板,同时,云端的超高算力也能对端侧AI性能不足的情况进行强有力的补充。
从高通的规划来看,未来AI将在云端、边缘云和终端侧协同运行,构建混合AI架构。正如第二代骁龙8中AI对于5G的加成,5G同样是连接云端算力和终端应用的关键桥梁,也正是5G使整个混合AI系统中的计算和处理能力得以以最有效的方式分布,实现更强大、更便利、更高效、更优化的AI。
高通所推崇的混合AI解决方案是一个全栈优化的整体解决方案。高通为应用、神经网络模型、算法、软件和硬件进行了全栈AI研究和优化。
异构计算方法利用硬件(比如 CPU、GPU 和 AI 加速器)和软件(比如高通AI软件栈)来加速终端侧AI。从算法和模型开发到软件和模型效率、从量化编译到硬件加速,高通的全栈式AI优化如同齿轮般精密啮合,形成了如今我们看到的样子。
随着强大的生成式AI模型不断缩小以及终端侧处理能力的持续提升,混合AI的潜力将会进一步增长。
骁龙移动平台能够支持超过10亿参数的生成式AI模型,而在不久的将来,高通将很快在移动端实现部署100亿参数的大语言模型,这在此前的移动端是难以想象的。
混合AI策略适用于几乎所有生成式AI应用和终端领域,包括手机、笔记本电脑、XR头显、汽车和物联网。这一策略对推动生成式AI规模化扩展,满足全球企业与消费者需求至关重要。
高通还以全球首个在安卓智能手机上运行的 用例展示了混合AI在未来的应用。这是一种基于扩散过程的随机演化模型,可以被用于生成真实感的人脸、头发、服装、环境场景等。在高通的演示中,处于飞行模式下的手机通过全栈AI优化, 实现了完全的终端侧运行,能够在15秒内完成20步推理,生成饱含细节的图像。
值得一提的是通过端侧AI计算,不仅节省了功耗,由于是端侧运算,用户隐私保证留在端侧而非云端,因此也能降低信息泄露的风险。
高通在AI方面的研究应用起步非常早,甚至远早于我们较为熟悉的骁龙855上的“AI加速器”。
早在2007 年高通就在骁龙平台上推出了首个处理器,2015年的骁龙820处理器则集成了首个专门面向移动平台的高通AI引擎,支持图像、音频和传感器的运算。深厚的技术积累、持续的创新优化是高通对于混合AI未来大胆预测的基础。
更便利的软件栈让开发者受益
除了为用户提供更加智能便携的AI使用场景,在推动AI用例的落地过程中,开发者是不可忽视的一环。在强大的AI算力都需要开发者将之很好地利用,形成用户真正可以实际使用应用或服务。
目前,高通为应用、神经网络模型、算法、软件和硬件进行全栈AI研究和优化。
高通AI软件栈旨在帮助开发者实现一次开发,即可跨高通所有硬件运行AI负载。高通 AI 软件栈全面支持主流AI 框架,同时它还集成了推理软件开发包(SDK),包括面向 、Linux 和 的不同版本。高通开发者库和服务支持最新编程语言、虚拟平台和编译器。
在更底层,高通的系统软件集成了基础的实时操作系统(RTOS)、系统接口和驱动程序。我们还支持广泛的操作系统(包括、、Linux和QNX),以及用于部署和监控的基础设施。
高通AI软件栈还集成了® AI ,支持从模型设计到优化、部署和分析的完整工作流。这一工具相当于为开发者搭建了一个官方的“工具箱”,在这个工具箱界面内,开发者可以自由选择需要的工具,极大地降低开发难度,有助于缩短开发时间、提高开发效率,同时还支持开发者实时查看模型开发进度。
在推进混合AI发展的路上,高通具备其他方案提供商所不具备的规模优势。骁龙平台作为提升顶级体验的领先移动平台,目前已出货20多亿个具备AI能力的处理器。骁龙平台在移动平台AI基准测试中也处于领先地位,在行业知名的AI 中占据前20位。
2023年第二季度,市场调研公司预测,高通技术公司将以超过40%的市场份额保持AI智能手机处理器出货量的领导地位,远远超过苹果(25%)和联发科(24%)等其他公司。
写在最后
生成式AI蔚然成风,而这股风很快就将席卷端侧。高通高瞻远瞩地进行了全栈式的AI布局,利用技术研发优势与终端规模优势提出了混合AI的设想,并且正在稳步推动混合AI的快速发展。
试想在不久的将来,我们能够在手机、PC、汽车等多类型终端上感受到混合AI带来的便利。
这些设备能够真正成为用户轻松可用的人工智能工具,能够处理更多具有专业性、针对性、重复性特征的任务,让普通消费者也能随时随地享受AI带来的对于生活生产方式的革新,而不是我们现在吐槽的“人工智障”。
云端运算与端侧互补互助、相辅相成,在高通全栈AI优化的加持下,从硬件到软件,从架构到算法,从底层设计到开发者、再到高通众多合作伙伴,整条AI产业链上下一新,生成式AI将迎来规模化扩展,为无数人的生活带来积极影响。
相信在高通的引领下,混合AI未来可期。
– END –