前言
本文主要对 NCCL 源码相关资料以及自己将要发布的文章做一个汇总,关注点赞收藏不迷路。
KIDGINBROOK 讲解的版本与我要看的版本不一致,我的版本是 NCCL 2.19.1。部分内容重合,部分内容有差异,我最多的是对其的补充与详细。
建议可以先阅读 KIDGINBROOK 相关博客,对 NCCL 有一个整体了解。
正文
转载:
来自 @ KIDGINBROOK
NVIDIA NCCL 源码学习(一)- 初始化及ncclUniqueId的产生
NVIDIA NCCL 源码学习(二)- bootstrap网络连接的建立
NVIDIA NCCL 源码学习(六)- channel搜索
NVIDIA NCCL 源码学习(七)- 机器间channel连接
NVIDIA NCCL 源码学习(八)- 数据通信链路transport的建立