从 GPU 互联到 RDMA/RoCE · 从无损以太网到大规模集群网络设计
覆盖 7 大模块 · 收录 40+ 权威资源 · 制定 12 周学习计划
从硬件底层到应用层的技术全貌。点击各模块可展开详细知识节点。
理解 GPU 集群架构、NVLink/NVSwitch 互连技术、PCIe 总线协议，以及 DMA 引擎的工作原理。这是 AI 算力的物理基础。
单 GPU 多互联、SGX/HBM 堆叠内存、NVIDIA 私有协议。H100 支持 18 路 NVLink，900GB/s 聚合带宽。
阿里云 GPU 通信详解 →系统 DMA、Bus Mastering、操作系统内存管理。RDMA 的核心就是 DMA——绕过 CPU 直接访问远端内存。
NVIDIA GPUDirect RDMA 文档 →GPUDirect Storage（P2P 存储）、GPUDirect RDMA（GPU↔网卡直连）、GPUDirect P2P（同机 GPU 直连）。消除不必要的数据拷贝。
NVIDIA GPUDirect RDMA 手册 v1.8 →NVIDIA 官方参考设计：三层 Fat-Tree、InfiniBand 或 RoCE 网络、存储架构。万卡集群的设计范本。
GPU Cluster Topology Deep Dive →RDMA 是 AI 算力网络的灵魂。理解 Verbs API、Queue Pair、内存注册等核心概念，掌握零拷贝和内核绕过的本质优势。
Remote Direct Memory Access——在极低 CPU 开销下实现跨主机内存访问。零拷贝（Zero-Copy）、内核绕过（Kernel Bypass）是两大核心优势。
RoCEv2 深度解析（知乎）→libibverbs 编程接口：ibv_post_send()、ibv_post_recv()、ibv_poll_cq()。Send/Recv vs RDMA Write/Read 的选择逻辑。
CSDN 最全 RDMA 学习教程 →发送队列（SQ）+ 接收队列（RQ）= 一个 QP。WQE（Work Request）、CQE（Completion Queue Entry）、PSN（Packet Sequence Number）。
B站 RDMA Verbs 编程实战 →Memory Region、rkey/lkey、Protection Domain（PD）。为什么 RDMA 只能访问已注册的内存？Pinned Pages 的作用。
NVIDIA NCCL 官方文档 →编写 RDMA send/recv、RDMA write、RDMA read 源码案例。使用 ibv_*_post_* API 构建完整的 RDMA 通信程序。
B站 RDMA Verbs 编程课程 →RoCEv2（RDMA over Converged Ethernet v2）是以太网上的 RDMA 实现。理解其数据包结构、PFC/ECN/DCQCN 拥塞控制机制，以及 IB vs RoCE 的选型权衡。
IB Transport + IP + UDP + Ethernet。BTH（Base Transport Header）、DETH（Datagram Extended Header）。对比 IB 原生传输层。
一篇讲透 IB、RoCE、PFC、ECN →IEEE 802.1Qbb——基于优先级的链路层流量控制。Pause Frame 机制、8 个 TC（Traffic Class）、如何避免 PFC 死锁（PFC Deadlock）。
Broadcom RoCE Congestion Control 白皮书 →IP 层显式拥塞通知（RFC 3168）。RoCEv2 中 ECN 标记（CE bit）触发 DCQCN。ECN vs PFC 的层次差异与互补关系。
详解 DCQCN 和 PFC 协同机制 →RoCEv2 的端到端拥塞控制算法。结合 ECN（网络侧）和 CNP（Congestion Notification Packet，发送方反馈）。Google 在 2015 年提出，是现代 RoCE 网络的核心。
Juniper DCQCN 技术文档 →Meta 2024 年 8 月发布博文，详解其用于分布式 AI 训练的 RoCEv2 网络建设经验、拥塞控制最佳实践、大型集群运维挑战。
Meta Engineering Blog →三种 RDMA 实现路径的完整对比：性能、生态、成本、运维复杂度。LLaMA 3 等大规模模型训练网络选型分析。
LLaMA 3 背后的大规模 GPU 集群 RoCE 网络 →NVIDIA Mellanox CX-6/CX-7、Broadcom NetXtreme、Intel Xeon Phi。理解网卡 Offload 能力、端口带宽选择（100G/200G/400G）。
Juniper RoCEv2 AI 数据中心 →ibdiagnet（IB 诊断）、perfquery（端口计数器）、rping（RDMA 连通性测试）、ethool（以太网卡调试）。
Meta RDMA for AI Training 论文 →NCCL（NVIDIA Collective Communications Library）是分布式 AI 训练的核心通信库。理解 AllReduce 算法、NCCL 拓扑感知、以及 Incast 拥塞问题的根源。
覆盖 all-gather、all-reduce、broadcast、reduce、reduce-scatter、点对点 send/recv 等通信原语。GPU Direct 优化、PCI 访问控制、拓扑检测。
NVIDIA NCCL Documentation →Ring-AllReduce（环状规约，带宽最优）、Tree-AllReduce（延迟最优）、Double Binary Tree（NVIDIA 优化版本）。理解算法复杂度与硬件拓扑的匹配关系。
NCCL GPU Communication 深度分析论文 →AllReduce 同步阶段，多对一的突发流量导致交换机队列堆积、丢包。PFC 死锁的触发条件、Timeout 机制的影响。理解为什么 AI 训练对网络的要求比普通 HPC 更严苛。
AI 大模型中的 RDMA 网络 →NVIDIA 网络内聚合加速技术——在 InfiniBand 交换机上硬件完成 AllReduce，避免数据跨越网络。MLPerf 基准测试的关键加速手段。
NCCL GitHub 源码仓库 →NCCL 与底层网络的解耦接口。支持 TCP Socket、NVIDIA MGX、RDMA、NVLS（NVIDIA Learning Switch）等传输插件。理解 NCCL 如何适配不同网络硬件。
NCCL Collective Kernel 源码解析 →综合前述知识，理解大规模 AI 集群的网络架构设计：Fat-Tree 拓扑、Rail-Optimized 架构、网络瓶颈分析，以及实际故障排查方法论。
Al-Fares 等人 2008 年提出。多层交换机结构、同构连接、无阻塞转发。NVIDIA DGX SuperPOD 采用三层 Fat-Tree，可扩展至 32+ DGX 系统。
Cluster Design Fat-Tree 详解 →AI 训练流量东西向为主。Rail-Optimized 将同一训练任务的 GPU 尽可能放在同一交换机下，减少跨网络跳数，降低延迟和拥塞概率。
GPU Cluster Topology Deep Dive →RDMA 丢包（PFC 配置错误、ECN 未生效）、PFC 死锁（帧积压导致全局暂停）、NCCL Timeout（集合通信超时）。
华为云 RoCE v2 网络介绍 →Subnet Manager（子网管理器）、Adaptive Routing（自适应路由）、SHARP 加速。理解 IB 相比 RoCE 在大规模集群中的运维优势与挑战。
IB 网络技术与 Fat-Tree 拓扑 →MTU（Jumbo Frame 9216）、TC（Traffic Class）队列映射、QoS 策略、RSS（Receive Side Scaling）、Interrupt Coalescing。
IB、RoCE、PFC、ECN、UEC 演进 →按类型分类整理，覆盖官方文档、技术博客、学术论文、视频课程、实用工具。
InfiniBand 集群组网拓扑选择，NVIDIA 官方推荐 Fat-Tree 作为 AI 工厂拓扑。
docs.nvidia.com/networking →Broadcom PFC 和 DCQCN 技术白皮书，详细解析 RoCE 网络拥塞控制机制。
docs.broadcom.com →知乎高赞技术文章，系统性梳理 InfiniBand、RoCE、PFC/ECN 的演进关系，以及 Ultra Ethernet Consortium 的最新动态。
知乎专栏 →Meta 工程师在 SIGCOMM 2024 发表，分享万卡级 RoCE 网络的部署经验和最佳实践。
Stanford PDF →Meta 工程团队官方博客，图文并茂介绍用于 AI 训练的 RoCEv2 网络架构。
Meta Engineering →循序渐进，从硬件基础到高级架构设计，每周聚焦一个主题，理论与实战结合。
GPU 集群架构 → 系统总线 → 内存访问
了解 GPU 集群的演进历史、A100/H100/H200 架构差异、分布式训练对网络的需求驱动力。
PCIe Gen4/5 协议栈、TLP 事务层、DMA 控制器工作原理。理解"零拷贝"背后的硬件支撑。
单 GPU 互联 vs 多 GPU 全互联、NVIDIA 私有协议与标准 PCIe 的取舍、GPUDirect 家族各成员用途。
RDMA 原理 → Verbs 编程 → 实战调试
RDMA vs TCP/IP 内核处理对比、零拷贝和内核绕过的原理、RDMA 三种实现路径（IB/RoCE/iWARP）总览。
libibverbs API 详解：ibv_post_send/recv、WQE/CQE、QP 状态机（INIT→RTR→RTS）、内存注册与保护域。
搭建 RDMA 测试环境（IB 或 RoCE 网卡）、编写完整的 send/recv 和 RDMA write/read 程序、抓包分析验证数据流。
RoCEv2 协议 → 无损机制 → 拥塞控制
IB Transport over Ethernet、BTH/DETH/RETH 包格式、UDP 端口 4791、IP/UDP 封装 vs IB 原生封装对比。
PFC IEEE 802.1Qbb 链路层流控（8 TC）、ECN RFC 3168 网络层拥塞通知、PFC 死锁问题与规避方案。
DCQCN 完整算法流程（CNP 生成、ECN 标记、速率更新）、与 TCP CUBIC 的类比理解、Meta 万卡集群调参经验。
NCCL 原语 → AllReduce 算法 → Incast 拥塞
AllReduce/Broadcast/AllGather 等原语行为、Ring-AllReduce 流水线分析、NCCL 拓扑感知机制。
多对一 Incast 的成因、NCCL Timeout 分析与排查、SHARP 在网内完成聚合的原理与限制条件。
Fat-Tree 拓扑 → 架构设计 → 故障排查
Fat-Tree vs Rail-Optimized 拓扑设计、网络瓶颈分析方法、PFC 死锁和 RDMA 丢包的实际案例、Wireshark RDMA 抓包分析。
学完基础后可选择以下方向深入：UEC（Ultra Ethernet Consortium）新协议、RDMA 安全（Grant 机制）、InfiniBand Subnet Manager、集群网络仿真（ns-3/OMNeT++）。
用以下矩阵对照自己的掌握程度，标记 ★（了解）/★★（理解）/★★★（掌握）/—（暂不需）。
| 知识点 | 了解 | 理解 | 掌握 | 推荐资源 |
|---|---|---|---|---|
| GPU 集群架构（DGX SuperPOD） | ★ | ★★ | ★★★ | NVIDIA 官方 |
| PCIe Gen4/5 协议栈 | ★ | ★★ | ★★★ | PCIe 规范（PCI-SIG 官网免费注册获取） |
| NVLink / NVSwitch | ★ | ★★ | ★★★ | 阿里云博客 |
| DMA 引擎原理 | ★ | ★★ | ★★★ | Linux Kernel DMA API 文档 |
| GPUDirect RDMA | ★ | ★★ | ★★★ | NVIDIA 官方手册 |
| RDMA 基本概念（零拷贝/内核绕过） | ★ | ★★ | ★★★ | 知乎 RoCE 详解 |
| RDMA Verbs API（libibverbs） | ★ | ★★ | ★★★ | B站 Verbs 编程 |
| Queue Pair / WQE / CQE | ★ | ★★ | ★★★ | IB 规范 Vol1（InfiniBand Trade Association） |
| 内存注册（MR）/ rkey-lkey / PD | ★ | ★★ | ★★★ | Linux rdma-core 源码 examples/ |
| RoCEv2 协议栈（BTH/ETH/IP/UDP） | ★ | ★★ | ★★★ | IB·RoCE·PFC 演进 |
| PFC（Priority Flow Control） | ★ | ★★ | ★★★ | Broadcom 白皮书 |
| ECN（Explicit Congestion Notification） | ★ | ★★ | ★★★ | QoS in RoCE |
| DCQCN 算法 | ★ | ★★ | ★★★ | Juniper DCQCN |
| NCCL AllReduce 算法 | ★ | ★★ | ★★★ | arXiv NCCL 论文 |
| Incast 拥塞问题 | ★ | ★★ | ★★★ | Meta Engineering |
| SHARP 网络内聚合 | ★ | ★★ | ★★★ | NVIDIA NCCL 文档 |
| Fat-Tree 网络拓扑 | ★ | ★★ | ★★★ | Cluster Design |
| Rail-Optimized 架构 | ★ | ★★ | ★★★ | GPU Topology Deep Dive |
| 网络瓶颈分析方法 | ★ | ★★ | ★★★ | SIGCOMM 2024 论文 |
| RDMA/PFC 故障排查 | ★ | ★★ | ★★★ | CSDN RDMA 教程 |