算力，是大模型时代的石油。理解不同计算架构的本质差异，是构建AI系统的基础。
一、为什么 LLM 需要特殊算力？
大模型的核心计算是大规模矩阵乘法（GEMM）：
Attention: softmax(Q × K^T / √d) × V
FFN: Linear(σ(Linear(x)))这些运算的特点：
传统 CPU 的设计目标是低延迟、串行控制流，而大模型需要的是高吞吐、大规模并行计算——这是架构层面的根本矛盾。
二、四大计算架构对比
CPU（中央处理器）
架构特征：
在 LLM 中的表现：
| 场景 | 评价 |
|---|---|
| 训练大模型 | ❌ 完全不适合（矩阵算力远不足） |
| 大模型推理 | ⚠️ 仅适合轻量量化模型（llama.cpp, Ollama） |
| 小模型/边缘推理 | ✅ 可接受（1-7B量化模型） |
| 系统调度/数据预处理 | ✅ 必不可少 |
优势： 通用性极强，内存大（服务器可达TB级），延迟低
劣势： FP16 矩阵算力极低（远低于GPU的1/100）
GPU（图形处理器）
架构特征：
GPU 的 LLM 核心单元——Tensor Core：
传统 CUDA Core：每时钟周期 1 次 FP32 乘加
Tensor Core：每时钟周期 16×16 或 4×4 矩阵乘法（数十-数百次乘加）这是 GPU 在 LLM 中统治地位的根本原因。
在 LLM 中的表现：
| 场景 | 评价 |
|---|---|
| 大模型训练 | ✅ 当前主流（H100集群是事实标准） |
| 大模型推理 | ✅ 生产首选 |
| 多模态（图像+文本） | ✅ 原生优势（图像计算起源） |
| 推理内存效率 | ⚠️ HBM贵，容量有限（80-192GB） |
NPU（神经网络处理器）
架构特征：
与 GPU 的本质区别：
GPU = 通用并行处理器（恰好很适合深度学习）
NPU = 深度学习专用处理器（极致优化但灵活性低）在 LLM 中的表现：
| 场景 | 评价 |
|---|---|
| 边缘/端侧推理 | ✅ 功耗极低，集成度高（手机/笔记本） |
| 企业私有化部署 | ✅ 华为昇腾在国内有竞争力 |
| 大规模训练 | ⚠️ 生态和工具链不如 NVIDIA |
| 通用 AI 开发 | ⚠️ CUDA 生态壁垒明显 |
TPU（张量处理单元）
架构特征：
TPU vs GPU 本质对比：
GPU：灵活的通用并行处理器
TPU：固定的矩阵乘法流水线
TPU的矩阵乘法：更高效（专用流水线）
TPU的灵活性：较低（算子支持有限）在 LLM 中的表现：
| 场景 | 评价 |
|---|---|
| Google内部大模型训练 | ✅ Gemini等均在TPU上训练 |
| JAX/TensorFlow生态 | ✅ 原生支持 |
| PyTorch生态 | ⚠️ 通过XLA适配，有差距 |
| 私有化/本地部署 | ❌ 仅限Google Cloud |
三、主要供应商横向对比
NVIDIA
核心产品：H100、H200、B100/B200（Blackwell）、GH200
| 指标 | H100 SXM5 | H200 SXM5 | B200 |
|---|---|---|---|
| Tensor Core（BF16） | 989 TFLOPS | 989 TFLOPS | 2,250 TFLOPS |
| HBM容量 | 80 GB | 141 GB | 192 GB |
| 内存带宽 | 3.35 TB/s | 4.8 TB/s | 8.0 TB/s |
| NVLink带宽 | 900 GB/s | 900 GB/s | 1,800 GB/s |
| TDP | 700W | 700W | 1,000W |
NVIDIA 的核心护城河：CUDA 生态
CUDA 已经有 18年 的积累，拥有：
强： 市场占有率 ~80%，生态无可撼动，性能最强
弱： 价格极高（H100 约 2.5-4 万美元/卡），供货紧张，功耗高
AMD
核心产品：MI300X、MI325X、MI350X（Instinct系列）
| 指标 | MI300X | MI325X |
|---|---|---|
| FP16算力 | 1,307 TFLOPS | 1,307 TFLOPS |
| HBM容量 | 192 GB | 256 GB |
| 内存带宽 | 5.3 TB/s | 6.0 TB/s |
AMD 的核心差异化：超大显存
MI300X 的 192GB HBM3 是 H100 80GB 的 2.4 倍，这使其在以下场景中有优势：
ROCm vs CUDA： AMD 的 ROCm 软件栈正在快速追赶，但与 CUDA 生态仍有 2-3 年差距。主流框架（PyTorch/TF）已基本支持，但工程师找bug、优化性能时依然吃力。
强： 性价比高，显存容量领先，微软/Meta等云厂商开始大规模采购
弱： ROCm 生态成熟度不足，优化工具链落后于 NVIDIA
Google（TPU v5 / v6）
| 代次 | 型号 | 算力 | 特点 |
|---|---|---|---|
| TPU v4 | Pod 4096芯片 | 1.1 EFLOPS(pod) | 训练Gemini Pro |
| TPU v5e | 单芯片 | 393 TFLOPS | 性价比型，推理优化 |
| TPU v5p | 单芯片 | 459 TFLOPS | 训练优化 |
| TPU v6 (Trillium) | 单芯片 | ~4x v5e | 2024-2025主力 |
Google 的战略价值：
强： 矩阵运算效率高，功耗比好，Google Cloud 深度整合
弱： 仅限 GCP，PyTorch 生态适配不完美，私有化部署无解
华为（昇腾 Ascend）
核心产品：Ascend 910B、910C、920
| 指标 | Ascend 910B | Ascend 920（预期） |
|---|---|---|
| FP16算力 | 800 TFLOPS | ~2,000 TFLOPS |
| HBM容量 | 64 GB | 96 GB |
| 配套软件 | CANN + MindSpore | CANN 8.0 |
战略意义大于技术本身：
在美国出口管制（EAR）限制 H100/A100 出口中国的背景下，昇腾成为中国AI产业的战略备选。
强： 国内合规，供货有保障，政策支持力度大
弱： 全球生态薄弱，CUDA 迁移成本高，算力密度仍落后
Apple（Apple Silicon / Neural Engine）
核心产品：M4 Max、M4 Ultra、M-Series Neural Engine
| 芯片 | 统一内存 | ANE算力 | GPU算力 |
|---|---|---|---|
| M4 Max | 128 GB | 38 TOPS | 54.7 TFLOPS |
| M4 Ultra | 192 GB | 76 TOPS | 109 TFLOPS |
Apple Silicon 的独特价值：统一内存架构（UMA）
传统架构：CPU内存（DDR5）+ GPU显存（HBM）互传，带宽瓶颈
Apple UMA：CPU/GPU/ANE共享同一内存池，无传输开销对于 本地推理，这意味着：
典型场景： 开发者本地调试、隐私敏感推理、边缘 AI
不适合： 大规模训练（GPU算力太低）、高并发生产推理
四、选型决策框架
我的需求是？
├── 大规模训练（>10B参数）
│ ├── 有预算 + 不限地区 → NVIDIA H100/H200/B200 集群
│ ├── 预算受限 + 大显存需求 → AMD MI300X
│ └── 在Google Cloud上 → TPU v5/v6
│
├── 生产推理（高并发）
│ ├── 对CUDA生态依赖强 → NVIDIA A100/H100
│ ├── 超长上下文/大批次 → AMD MI300X
│ └── 成本敏感型 → NVIDIA L40S / AMD MI300E
│
├── 私有化部署（企业）
│ ├── 中国区合规优先 → 华为昇腾 910B/C
│ └── 其他地区 → NVIDIA A100 / AMD MI250
│
└── 本地/边缘推理
├── macOS开发者 → Apple M4 Max/Ultra
├── 端侧AI（手机/IoT） → Qualcomm NPU / Apple ANE
└── x86本地推理 → Intel Arc / NVIDIA RTX 4090五、未来趋势
1. 内存墙（Memory Wall） 是LLM算力的核心瓶颈——不是算力不够，是带宽不足
2. CXL 互联 将打破GPU显存孤岛，内存池化成为趋势
3. 光子计算（Photonic Computing） 有望突破电学互联的功耗极限
4. 国产算力 追赶速度加快，华为、寒武纪、沐曦等在2025-2026年均有重要产品发布
总结
NVIDIA 的 GPU 凭借 CUDA 生态的多年积累，在大模型领域具有近乎垄断的地位。但随着 AMD MI300X 的大显存优势和华为昇腾的国内需求，市场格局正在悄然变化。对于大多数团队，NVIDIA 是最优选择；对于追求成本效益或有合规要求的团队，AMD 和昇腾是值得认真评估的替代方案。
探索智能，酷在前沿