CUDA并行算法详解（C++语言实现GPU高性能计算入门指南）

什么是CUDA？

CUDA（Compute Unified Device Architecture）是NVIDIA推出的并行计算平台和编程模型，允许开发者使用C/C++等语言直接调用GPU进行通用计算。与传统的CPU串行处理不同，GPU拥有成千上万个轻量级核心，特别适合处理大规模并行任务，如矩阵运算、图像处理和深度学习。

开发环境准备

要开始CUDA编程，你需要：

• NVIDIA显卡（支持CUDA，如GTX 10系列及以上）
• 安装最新版NVIDIA驱动
• 下载并安装CUDA Toolkit
• 支持CUDA的编译器（如nvcc，随Toolkit安装）

第一个CUDA程序：向量加法

我们以最经典的“向量加法”为例，演示如何用C++和CUDA实现并行计算。目标是将两个长度为N的数组A和B逐元素相加，结果存入数组C。

1. CPU版本（串行）

void addVectorsCPU(float *a, float *b, float *c, int n) {    for (int i = 0; i < n; i++) {        c[i] = a[i] + b[i];    }}

2. GPU版本（并行）

在CUDA中，我们定义一个核函数（kernel），它将在GPU上并行执行。每个线程负责计算一个元素。

// 核函数：在GPU上运行__global__ void addVectorsGPU(float *a, float *b, float *c, int n) {    // 获取当前线程的全局索引    int idx = blockIdx.x * blockDim.x + threadIdx.x;        // 确保不越界    if (idx < n) {        c[idx] = a[idx] + b[idx];    }}// 主机函数：调用核函数void launchAddVectorsGPU(float *h_a, float *h_b, float *h_c, int n) {    // 分配GPU内存    float *d_a, *d_b, *d_c;    cudaMalloc(&d_a, n * sizeof(float));    cudaMalloc(&d_b, n * sizeof(float));    cudaMalloc(&d_c, n * sizeof(float));        // 将数据从主机（CPU）复制到设备（GPU）    cudaMemcpy(d_a, h_a, n * sizeof(float), cudaMemcpyHostToDevice);    cudaMemcpy(d_b, h_b, n * sizeof(float), cudaMemcpyHostToDevice);        // 配置执行配置：线程块数量和每个块的线程数    int threadsPerBlock = 256;    int blocksPerGrid = (n + threadsPerBlock - 1) / threadsPerBlock;        // 启动核函数    addVectorsGPU<<>>(d_a, d_b, d_c, n);        // 将结果从GPU复制回CPU    cudaMemcpy(h_c, d_c, n * sizeof(float), cudaMemcpyDeviceToHost);        // 释放GPU内存    cudaFree(d_a);    cudaFree(d_b);    cudaFree(d_c);}

关键概念解析

• 核函数（Kernel）：用__global__修饰的函数，在GPU上执行。
• 线程索引：threadIdx.x、blockIdx.x、blockDim.x用于计算每个线程的唯一ID。
• 内存管理：使用cudaMalloc分配GPU内存，cudaMemcpy在主机与设备间传输数据。
• 执行配置：形如<<<gridSize, blockSize>>>，指定启动多少线程块和每块多少线程。

编译与运行

将上述代码保存为vector_add.cu，使用以下命令编译：

nvcc vector_add.cu -o vector_add./vector_add

性能对比与优化建议

对于大数组（如N=1,000,000），GPU版本通常比CPU快数十倍。但要注意：

• 小规模数据可能因数据传输开销而变慢
• 合理选择threadsPerBlock（通常256或512）
• 使用共享内存减少全局内存访问延迟

总结

通过本篇CUDA入门教程，你已经掌握了使用C++ CUDA编程实现基本GPU并行计算的方法。理解CUDA并行算法的核心思想是迈向高性能计算的第一步。后续可深入学习共享内存、流（streams）、多GPU编程等高级主题。

提示：实际项目中建议加入错误检查（如cudaGetLastError()），以确保程序健壮性。