#模型时代#为什么智能手机里现在需要一颗NPU？让大模型跑在手机里分几步？

现在芯片种类越来越多了，大家最熟悉的应该是CPU和GPU。CPU是项目经理，什么活都能干，负责协调全局。最近因为agentic AI重新被关注。因为虽然agent也开始使用计算机干活了，而操作一台设备更需要CPU。

GPU不用说了，从1999年NVIDIA发布第一颗GeForce 256算起，迭代了27年，最初为游戏画面渲染而生，现在则是AI训练和推理的利器。与之相比，NPU是三个里面最年轻的，2017年前后才作为独立模块出现在手机芯片中。

高通最近公布了下一代骁龙旗舰平台的技术细节。其中关于NPU部分的披露相当完整，正好用它当案例，讲讲NPU的工作原理和设计逻辑。

一、什么是NPU

1、NPU存在的第一理由是省电

NPU的全称是Neural Processing Unit，神经网络处理器。GPU也能跑AI模型，但GPU的设计目标是大规模并行计算，AI只是它能做的事之一。大家还记得吧，早年间GPU更出名的名字可是显卡啊，一般是游戏玩家才在意这颗芯片。直到现在，GPU上的存储还叫显存。

NPU更专一，硬件电路针对神经网络的计算流程设计。通用意味着灵活，专用意味着省电。玩半小时游戏手机就发烫，那是GPU在满负荷工作。如果AI推理也交给GPU做，一个智能体一天几百次调用，电池根本撑不住。所以对手机来说，NPU不只是“跑AI更快”，而是“跑AI的同时手机还能用一天”。

二、如何设计一颗NPU

2、三种运算，三类引擎

AI模型不是做一种运算就完事了，是三种运算接力完成的。以大语言模型为例，模型每处理一层，要依次完成三件事。

第一件占了计算量的八九成：矩阵乘法。你输入一句话，模型先把每个字变成一组数字，然后和模型的权重参数做乘法运算。权重参数就是模型在训练中学到的那些数字，几十亿甚至几百亿个，决定了模型对不同输入怎么反应。这一步计算量巨大，由NPU内部的张量加速器处理，它的电路专门为矩阵乘法设计。

第二件是逐元素运算。…

矩阵乘法算出来的是一长串数字，模型需要对其中每个数字逐个做一轮处理。一种处理叫激活函数，作用是判断这个数字代表的信号该保留还是压低。另一种叫归一化，作用是把这串数字的大小控制在合理范围内，防止越算越大导致后面的计算出错。这类“对一排数字逐个做相同操作”的运算，由向量引擎负责。

第三件是零散的数值操作。给结果加上一个修正值、做比例缩放、比较两个数的大小。数量不多但每一层都要用到，由标量引擎处理。

三类引擎像流水线一样配合，一层结束进入下一层，大语言模型有几十层到上百层，每层走一遍。所有NPU都需要处理这三类运算，但具体怎么设计硬件来承接，不同厂商的方案可以有很大差异。高通Hexagon用三类独立引擎分别对应，是其中一种思路。

三、高通NPU的前世今生

3、Hexagon从一颗音频芯片起步，经历了两次换挡

高通NPU的品牌名称叫Hexagon，最早诞生于2006年。当时它不是为AI设计的，而是一颗数字信号处理器，做的是通话降噪、音频编解码这类工作。

第一次换挡发生在2017年前后。手机AI应用多起来了，人脸解锁、拍照场景识别都需要在手机本地做推理，高通开始往Hexagon里加AI加速硬件。那时候用的是卷积神经网络CNN。用手机拍照时相机自动识别人脸、判断场景并调色，背后就是CNN。CNN的计算模式很规律，张量加速器按这种规律设计，效率很高。

第二次换挡正在这一代发生。大语言模型的底层架构全是Transformer，计算模式和CNN很不一样。Transformer的核心机制叫自注意力：模型处理每个字时要同时计算和前面所有字之间的关联强度，矩阵大小随对话长度动态变化。而且每生成一个新字，都要读取之前所有字积累的键值数据，这组数据叫KV缓存，对话越长越大。为CNN设计的硬件遇到这种动态访问模式，效率就不够用了。

四、当下的NPU要解决什么新问题？

4、不只是计算跟不上，更是数据供不上

第二次换挡带来的挑战不只是Transformer的计算模式变了。更深层的问题是：芯片的数据存储从快到慢分为缓存、片上内存、DRAM和闪存四层，越快的容量越小。AI算力增长远快于内存带宽增长，算力再强，数据供不上就是空转，行业管这个约束叫内存墙。

智能体AI让这个问题进一步加剧。智能体不是做一次推理就结束，而是持续运行、多步推理、跨应用协同。这意味着更长的上下文窗口、更多模型同时驻留、更频繁的工具调用。每一项都在放大内存压力：上下文越长KV缓存越大，并发模型越多DRAM占用越高，工具调用越频繁对低时延的要求越苛刻。

对NPU来说，内存墙体现在两个地方。一是KV缓存越来越大，NPU内部的高速存储装不下，要去慢十几倍的DRAM取。二是模型本身越来越大，连DRAM也装不下。

高通在博客中还提出了一个判断：未来端侧AI的方向不是用一个大模型处理所有任务，而是由多个专用模型组成系统，根据任务按需调度。这意味着NPU的设计不能只追求算力，还要在每一层存储上想办法。

五、高通NPU的三个回应

理解了挑战，再看高通这一代的三项更新，每一项对应一个具体问题。

5、让NPU跟上Transformer：Element Accelerator

为CNN设计的硬件遇到Transformer效率不够，Element Accelerator是高通给出的回应。Element Accelerator负责Transformer中最关键的矩阵运算，向量引擎助力高吞吐量的AI数学计算，标量引擎则支持智能体越来越需要的决策逻辑、路由和编排能力。三者组成一套协同架构，覆盖大语言模型推理的完整链条。

6、让KV缓存留在本地：共享内存扩容50%

KV缓存留在NPU内部读取极快，留不下就要去DRAM取。DRAM就是手机规格表上写的“8GB内存”“12GB内存”，速度比NPU内部存储慢十几倍。高通这一代把大容量共享内存最大扩容达50%，让更多KV缓存留在本地。效果：INT4模型预填充速度最高提升50%，预填充就是模型理解输入内容的阶段；解码侧也引入了推测解码等加速手段，提升每秒词元生成速度；首个词元输出低于1.5秒，也就是发出问题到看到第一个字的等待。

7、让300亿参数跑在手机上：MOE闪存加载

这是另一个关键更新。目前手机端跑的AI模型通常30到40亿参数，高通的目标是300亿。当然，这里的300亿模型，说的是MOE架构模型，近年被DeepSeek V3引爆后成为大模型的主流架构。300亿参数被分成很多组“专家”，每次只激活约30亿个，算力开销和小模型差不多，但知识容量是大模型级别。

问题在于300亿参数都得存着随时待命，DRAM留给AI的空间可能不到4GB，装不下。高通的做法是把不活跃的专家存在闪存里。闪存就是手机里存App和照片的那块芯片，买手机时选128GB还是256GB说的就是它。需要某组专家时，系统预测性地提前从闪存调入DRAM。

难点在速度差距。闪存顺序读取约4.2 GB/s，DRAM带宽约70 GB/s，差了十几倍。预测准了用户没感觉，预测错了就要等。缓存命中率是核心变量，高通目前没有公布。

六、和CPU、GPU的AI关系

除了NPU，这次骁龙旗舰平台的几颗U，都面向AI做了优化。

8、CPU负责Agent编排，GPU做图形AI，NPU主攻语言模型

我们用一个场景来解释三种处理器的分工。假设用户正在玩游戏，同时问手机AI助手：“帮我查一下明天去XX的车次，下午出发的。”

NPU跑语言模型，理解语意并生成回复。

CPU负责Agent编排。它判断该调用哪些工具、按什么顺序、走云端还是本地。高通这一代的Oryon CPU超级内核主频达到5GHz，新的FlexCache缓存架构让所有核心共享缓存池，在多个工具调用之间快速切换时响应速度不受影响。

GPU这边，高通首次在Adreno GPU里嵌入了矩阵加速核心Matrix Cores，推出Neural Fusion技术做超级分辨率和帧生成，画面AI在GPU内部完成，不占NPU算力。混合场景下GPU也可分担AI推理。Neural Fusion是行业首个已商用的支持主流游戏引擎的移动端AI超级分辨率技术，已获Unity和虚幻引擎支持。

三个模块各自独立运行，又相互配合，减少数据在模块之间的搬运。

七、一些个人判断

第一个关于芯片。骁龙是一颗SoC，全称System on Chip，系统级芯片，把CPU、GPU、NPU等多个模块封装在一块芯片上。过去SoC的设计重心是通信和多媒体，AI只是锦上添花的附加能力。从这一代开始，情况反过来了：CPU的缓存架构在为智能体的编排需求重新设计，GPU在管线里嵌入了矩阵加速核心，NPU几乎每个模块都围绕大语言模型重做了一遍。AI正在从SoC的附属功能变成设计的出发点。

第二个关于模型。2026年的大模型发展有两个方向同时在推进。一个是越来越大，追求SOTA（state of the art，最优性能），瞄准AI的纵向演化，方向是通用人工智能，探索机器智能的上限。另一个是越来越小，追求轻量化和端侧部署，瞄准AI的横向扩散，方向是让智能成为每一台设备的基本属性，而不是一种需要联网才能使用的远程服务。NPU最早从手机芯片起步，如今汽车、PC、IoT设备都在集成这类芯片。NPU这类芯片，就服务于此方向。