AI 本地部署硬件选择指南：从入门到生产环境 GPU 选型
将 AI 模型部署在本地，可以获得更好的数据隐私、更低的延迟和可预测的成本。但选择什么样的硬件，取决于你运行什么模型和什么规模。
一、消费级 GPU 方案
1.1 NVIDIA GeForce 系列
NVIDIA 消费级显卡因其 CUDA 生态，是本地 AI 部署的首选。
| 显卡 | VRAM | 适用模型 | 价格区间 | 推荐度 |
|---|---|---|---|---|
| RTX 4060 | 8GB | 7B 以下模型 | $300 | ⭐⭐⭐ |
| RTX 4070 | 12GB | 7B-13B 模型 | $550 | ⭐⭐⭐⭐ |
| RTX 4080 | 16GB | 13B-30B 模型 | $1000 | ⭐⭐⭐⭐⭐ |
| RTX 4090 | 24GB | 30B-70B 模型（量化） | $1600 | ⭐⭐⭐⭐⭐ |
关键考虑： VRAM 大小决定了能运行多大的模型。7B 参数模型需要约 14GB FP16 或 4GB 4bit 量化。
1.2 Apple Silicon Mac
Apple Silicon（M1/M2/M3/M4 系列）的统一内存架构在 AI 推理方面有独特优势。
| 芯片 | 统一内存 | 适用模型 | 推荐度 |
|---|---|---|---|
| M2/M3 Pro | 18GB | 7B 模型（量化） | ⭐⭐⭐ |
| M2/M3 Max | 36-48GB | 13B-30B 模型 | ⭐⭐⭐⭐ |
| M2 Ultra / M3 Ultra | 64-192GB | 70B-120B 模型 | ⭐⭐⭐⭐⭐ |
优势： 大统一内存使得 Mac Studio/Pro 可以运行其他消费平台无法运行的超大模型。
1.3 AMD Radeon
AMD ROCm 生态正在改善，但目前仍不如 CUDA 成熟。
- RX 7900 XTX：24GB VRAM，性价比高
- 兼容性：需确认模型框架是否支持 ROCm
- 推荐度：仅推荐给预算有限且愿意折腾 Linux 的用户
二、工作站/专业级方案
| 显卡 | VRAM | 适用场景 | 价格 |
|---|---|---|---|
| RTX 6000 Ada | 48GB | 中型模型训练/推理 | $6800 |
| RTX A6000 | 48GB | 多模型并行推理 | $4500 |
| A5000 | 24GB | 入门工作站 | $2500 |
三、服务器级 GPU 方案
3.1 数据中心 GPU
| GPU | VRAM | 适用场景 | 功耗 |
|---|---|---|---|
| H100 SXM | 80GB HBM3 | 大模型训练 | 700W |
| H200 | 141GB HBM3e | 超大模型推理 | 700W |
| A100 80GB | 80GB HBM2e | 训练/推理通用 | 400W |
| L40S | 48GB GDDR6 | 推理/渲染 | 350W |
| L4 | 24GB GDDR6 | 入门推理 | 72W |
3.2 云 GPU 服务器推荐
如果本地硬件投入太大，可以考虑 GPU 云服务器：
| 云厂商 | GPU 实例 | 小时价格 |
|---|---|---|
| NVIDIA DGX Cloud | H100 | $25+ |
| AWS | p5.48xlarge (8×H100) | $134 |
| Azure | ND H100 v5 | $30+ |
| Lambda Labs | 8×H100 | $15 |
| Vast.ai | 各种 GPU | $0.5-$5 |
四、内存和存储
- 系统内存：至少 32GB，推荐 64GB+
- 存储：NVMe SSD，至少 1TB，推荐 2TB+
- 交换空间：在 HDD 上设置大量交换空间
五、软件生态
| 框架 | CUDA | ROCm | Metal | 推荐场景 |
|---|---|---|---|---|
| Ollama | ✓ | ✓ | ✓ | 快速上手推理 |
| llama.cpp | ✓ | ✓ | ✓ | CPU/混合推理 |
| vLLM | ✓ | ✗ | ✗ | 高性能推理 |
| TensorRT-LLM | ✓ | ✗ | ✗ | NVIDIA 优化 |
| MLX | ✗ | ✗ | ✓ | Apple Silicon |