Ruben Veidt 深度解析 CUDA 编程核心机制，帮你理解 GPU 真正的执行逻辑，避免性能坑！
1. CUDA Kernel 不是普通函数
你提交给 NVIDIA 驱动的是并行执行的抽象配置（PTX），驱动负责“即时编译”成 GPU 机器码（SASS），CPU 描述任务后，GPU 硬件全面接管。
2. GPU 调度器看的是线程块网格，不是代码逻辑
GPU 的全局调度器（Gigathread Engine）视线程块为任务队列，动态分配给流式多处理器（SM），硬件层面自动负载均衡，编译器无法干预。
3. 寄存器资源有限，影响并行度
每个线程使用寄存器越多，SM 上能容纳的线程就越少，降低隐藏延迟的能力。编译器优化有限，硬件资源是瓶颈。
4. 延迟隐藏靠超额订阅，而非预测
当 warp（32 线程组）遇到高延迟指令，硬件用 scoreboard 跟踪依赖，暂停该 warp，切换到下一个准备好的 warp，零开销硬件切换保持流水线高效。
5. 指令级并行叠加线程级并行
SM 内部有多条执行流水线，整数、浮点、内存指令可并行执行，硬件调度最大化利用资源，编译器也会尽力安排。
6. 内存访问模式决定效率
连续访问（如`global_mem[base + tid]`）会合并成少量缓存行请求，效率极高；非连续访问会导致大量分散请求，性能急剧下降，编译器不能随意重排。
7. 共享内存是带有32个并行银行的 SRAM
访问冲突（bank conflict）会严重拖慢速度。合理设计数据布局，避免所有线程访问同一银行，是性能关键。
8. 控制流分歧是 GPU 性能杀手
warp 内线程条件不同，硬件只能串行执行各分支，耗时相加。GPU 无法像 CPU 通过分支预测和重排优化。
9. 驱动编译器“聪明”但有限
它能展开循环、调度指令、管理寄存器，但无法突破 GPU 架构限制，不能自动消除分歧、优化数据结构或共享内存冲突。
🔑 总结：性能提升关键在于理解并配合 GPU 的硬件设计，写出符合其并行与内存访问模型的代码。微观优化远不如解决架构匹配的根本问题有效。
祝大家 GPU 编程顺利，避免“头疼”！💪
原推文链接：x.com/RubenVeidt/status/1971983231223279797
