详细说明
优势 5 项
NVIDIA 于 2006 年发布,2007 年推出 CUDA 1.0,把 GPU 从图形管线扩展成通用并行处理器
用 nvcc 编译 C/C++ 扩展语法,`__global__`、`__device__` 等 4 个修饰符区分主机与设备代码
采用 SIMT 执行模型,线程按 warp(32 线程)调度,共享内存与寄存器由开发者显式管理
官方库覆盖 cuBLAS、cuFFT、cuSPARSE、cuDNN、TensorRT 与 NCCL 共 6 个,深度学习与 HPC 直接可用
同时支持 Fortran、Python、Julia 等 3 类宿主语言调用(Python 侧有 CuPy、Numba、PyTorch 后端)
不足 4 项
只能运行在 NVIDIA GPU 上,跨厂商可移植性为零
性能高度依赖内存访问模式与占用率,写不好可能比 CPU 更慢
工具链与驱动版本强绑定,升级 CUDA 版本常需同步升级驱动
编程模型涉及显式内存拷贝与同步,调试与调优门槛高于普通并行库
服务商概述
CUDA 于 2006 年由 NVIDIA 发布,2007 年推出 1.0 版本,核心想法是把 GPU 上成百上千个着色器核心开放为通用并行处理器。它用 C/C++ 扩展语法描述并行内核,由 nvcc 编译成主机代码与设备代码两部分。
在编程语言与框架分类里,它是「并行加速」这一层的实际标准:深度学习框架的底层算子、科学计算库与推理引擎几乎都以 CUDA 为首要后端。
核心优势
- 性能上限高:数千核心并行 + 高带宽显存,矩阵与卷积运算比 CPU 快 1 到 2 个数量级
- 库生态完备:cuBLAS、cuFFT、cuDNN、TensorRT、NCCL 覆盖线性代数、信号处理与分布式训练
- 语言门槛可控:在 C/C++ 上加 4 个修饰符即可写内核,不必学新语言
- 多语言入口:PyTorch、TensorFlow、CuPy、Numba、Julia 都能间接调用
- 工具成熟:Nsight Compute/Systems 提供性能剖析与可视化调优
产品生态
编译与运行时
nvcc 基于 LLVM 后端;CUDA Runtime API 与 Driver API 两套接口;支持动态并行与图(Graph)执行。
加速库
cuBLAS(矩阵)、cuFFT(傅里叶)、cuSPARSE(稀疏)、cuDNN(深度学习原语)、TensorRT(推理优化)、NCCL(多卡通信)。
硬件对应
Compute Capability 版本决定可用指令与特性,需与驱动和工具链匹配。
不足之处
- 硬件绑定:只能在 NVIDIA GPU 上运行,迁移到其它厂商需重写或用 SYCL/OpenCL
- 调优门槛高:合并访存、共享内存分块与占用率需要经验,写不好性能不如 CPU
- 版本耦合:CUDA、驱动与框架版本需配套,升级链路长
- 显式管理:主机与设备间内存拷贝与同步由开发者负责,易出错
适用场景
- 深度学习训练与推理(★★★★★):框架默认后端
- 科学计算与仿真(★★★★★):HPC 集群主流加速方式
- 图像与视频处理(★★★★):大规模像素并行
- 跨厂商异构计算(★★):需考虑 OpenCL 或 SYCL
价格参考
| 项目 | 价格 | 说明 |
|---|---|---|
| CUDA Toolkit | $0 | 免费下载使用 |
| 加速库(cuDNN 等) | $0 | 随开发者账号免费获取 |
| GPU 硬件 | 按型号 | 成本主要来自显卡与集群 |
软件免费,真正的成本是 GPU 硬件与调优人力;云端按小时租用可降低试错成本。
常见问题
- CUDA 和 OpenCL 怎么选? 只用 NVIDIA 卡且追求性能与生态选 CUDA;需要跨厂商或跨设备(CPU/FPGA)选 OpenCL 或 SYCL。
- 需要先学 C++ 吗? 需要基本语法与指针概念;用 CuPy 或 Numba 可先用 Python 体验并行,再深入内核编写。
- 为什么我的内核比 CPU 还慢? 常见原因是访存未合并、线程块过小或频繁主机设备拷贝;先用 Nsight 剖析再优化。相关对照见编程语言与框架。
代码示例
向量加法内核
#include <cstdio>
__global__ void vec_add(const float* a, const float* b, float* c, int n) {
int i = blockIdx.x * blockDim.x + threadIdx.x;
if (i < n) c[i] = a[i] + b[i];
}
int main() {
const int n = 1 << 20;
size_t bytes = n * sizeof(float);
float *ha = new float[n], *hb = new float[n], *hc = new float[n];
for (int i = 0; i < n; i++) { ha[i] = i; hb[i] = 2 * i; }
float *da, *db, *dc;
cudaMalloc(&da, bytes); cudaMalloc(&db, bytes); cudaMalloc(&dc, bytes);
cudaMemcpy(da, ha, bytes, cudaMemcpyHostToDevice);
cudaMemcpy(db, hb, bytes, cudaMemcpyHostToDevice);
int threads = 256, blocks = (n + threads - 1) / threads;
vec_add<<<blocks, threads>>>(da, db, dc, n);
cudaMemcpy(hc, dc, bytes, cudaMemcpyDeviceToHost);
printf("%f\n", hc[n - 1]);
return 0;
}
<<<blocks, threads>>> 是内核启动配置,线程索引由 blockIdx 与 threadIdx 组合得到。
用 cuBLAS 做矩阵乘(片段)
#include <cublas_v2.h>
void gemm(cublasHandle_t h, int n, const float* A, const float* B, float* C) {
const float alpha = 1.0f, beta = 0.0f;
cublasSgemm(h, CUBLAS_OP_N, CUBLAS_OP_N,
n, n, n, &alpha, A, n, B, n, &beta, C, n);
}
不必手写分块与寄存器调度,库函数已针对当前架构调优。
社区与资源
- CUDA Zone:官方文档、示例与工具入口
- CUDA Toolkit:编译器、库与下载
- GitHub CUDA 主题:开源内核、示例与调优案例
- GitHub NVIDIA 主题:硬件与生态相关资料
- Khronos OpenCL:跨厂商并行计算标准的对照
前往 CUDA 官网 →
https://developer.nvidia.com/cuda-zone
访问官网 ↗