2023年的科技圈什么技术最火，毫无疑问，我相信大部分用户的回答都会指向——AI。
Chat GPT的到来引发了业内外广泛讨论，也引发了大家对AI发展的新一轮思考。当下，全球科技大公司都在积极布局AI大模型，不过实际情况是，大家的目光更多还是集中在了云端，相较之下，终端侧AI的发展则要稍显落寞。
眼下AI正朝向拥有深度学习能力的方向发展，这对算力提出了更高的需求，纵使终端侧对算力要求稍低一些，但面对日益复杂的计算，仍旧需要终端具备更强悍的AI计算性能。
作为终端侧AI的引导者，高通一直在积极推动生成式AI在终端侧的发展。目前，高通AI技术（硬件、软件、工具）正在赋能包括智能手机、XR、PC、平板电脑和汽车等等在内的一些终端产品。
6月16日，高通正式发布了《混合AI是AI的未来》白皮书，在这份文件中，高通不仅分享了对当下AI发展形势的一些看法以及对发展趋势的预测，同时也向外界阐明了自身的AI发展路线——混合AI是AI的未来。
高通认为，随着生成式AI正以前所未有的速度发展以及计算需求的日益增长，AI处理必须分布在云端和终端进行，才能实现 AI的规模化扩展并发挥其最大潜能；云端和边缘终端如智能手机、汽车、个人电脑和物联网终端协同工作，能够实现更强大、更高效且高度优化的AI。
在技术沟通会上，高通技术公司产品管理高级副总裁Ziad 向我们展示了高通在终端侧AI方面取得的进展，以智能手机为例，目前高通能够支持 这一超过10亿参数的模型在终端侧运行，并且在未来几个月内，这一参数有望突破至100亿，包括文本生成图片、文本生成文本、文本生成视频，甚至还有图片生成文本、图片生成视频等方式。
相较云端AI，高通方案可以在智能手机上完成，而且全程飞行模式，仅需15秒内完成20步推理，就能生成饱含细节的图像。这里有几个值得关注的点，一方面，生成式AI用例完全在终端侧运行时，用户的数据将一直保留在终端上，没有联网的情况下也可以运行，不仅安全和隐私得到极大保障，终端设备也能提供十分丰富的应用体验。
另一方面，它的处理速度很快，我们看到只有十几秒，但是它需要的功耗和计算量却要比云端处理低很多，特别是功耗，只有几毫瓦。
另外，在云端处理器上训练模型一般采用32位浮点运算，针对 ，高通所采用的是8位整数运算（INT8）。但在去年年底在第二代骁龙8移动平台上，高通已经进一步支持了4位整数运算（INT4）能力，与INT8精度相比，INT4带来的是90%的AI推理性能提升以及60%的能效提升，这使得第二代骁龙8，在自然语言处理用例下，能够实现4.35倍的AI性能提升。
如今，高通的AI能力正在赋能了一系列广泛的产品，与此同时，利用高通AI软件栈，开发者可以在高通的硬件上创建、优化和部署AI应用，一次开发，就可以将开发成果和经验应用于其他使用高通技术和平台的产品上，加速推进混合AI成为现实。
()
相关文章
