CPU vs GPU vs TPU vs NPU vs LPU，视觉化解释：

5 种硬件架构正在驱动当今的 AI。

每一种都在灵活性、并行性和内存访问之间做出了根本不同的权衡。

> CPU

它专为通用计算而构建。少数强大的核心处理复杂逻辑、分支和系统级任务。

它具有深层缓存层次结构和片外主内存（DRAM）。它非常适合操作系统、数据库和决策密集型代码，但不适合像矩阵乘法这样的重复数学运算。

> GPU

GPU 不是使用少数强大的核心，而是将工作分散到数千个较小的核心上，这些核心全部在不同的数据上执行相同的指令。

这就是为什么 GPU 主导 AI 训练的原因。这种并行性直接映射到神经网络所需的数学类型。

> TPU

它们在专业化方面更进一步。

核心计算单元是一个乘累加（MAC）单元网格，数据以波浪模式流动。

权重从一侧进入，激活从另一侧进入，部分结果传播时无需每次都返回内存。

整个执行过程由编译器控制，而不是硬件调度。谷歌专门为神经网络工作负载设计了 TPU。

> NPU

这是边缘优化的变体。

架构围绕神经计算引擎构建，该引擎装满了 MAC 阵列和片上 SRAM，但 NPU 使用低功耗系统内存，而不是高带宽内存（HBM）。

设计目标是在个位数瓦特功耗预算下运行推理，例如智能手机、可穿戴设备和物联网设备。

苹果神经引擎和英特尔的 NPU 遵循这种模式。

> LPU（语言处理单元）

这是由 Groq 推出的最新参与者。

架构完全移除了片外内存在关键路径上的存在。所有权重存储都位于片上 SRAM 中。

执行过程完全确定且由编译器调度，这意味着零缓存未命中和零运行时调度开销。

权衡在于，它每芯片提供的内存有限，这意味着需要数百个芯片链接在一起来服务单个大型模型。但延迟优势是真实的。

AI 计算已从通用灵活性（CPU）演变为极端专业化（LPU）。每一步都以某种程度的通用性换取效率。

下面的视觉图将所有五种的内部架构并排映射。

cpu微博股票gpu白山策略ChatGPTAI