文献阅读（213）MCM Allreduce

  • 开发
  • 19
  • 题目：Enhancing Collective Communication in MCM Accelerators for Deep Learning Training
  • 会议：HPCA
  • 时间：2024
  • 研究机构：德州农工

本篇论文的主要贡献：
我们提出了两种新的基于网格的MCM加速器的AllReduce算法

  • RingBiOdd是一种基于环的算法，通过使用双向互连创建两个单向环来增强AllReduce的带宽
  • TTO是一种基于树的算法，构建了三个拓扑感知的不相交树，并并行运行AllReduce操作的不同步骤

RingBiOdd主要思路：如果N个mesh的结点形成不了哈密顿环，那N-1一定可以，我们可以踢掉一个，在另外N-1个节点之间用环来all reduce
在这里插入图片描述

Tree-based allreduce 最好是每时每刻都能充分利用链路资源！

在这里插入图片描述

阅读全部

相关推荐

  5. 肺癌文献阅读

    2024-03-20 07:06:06       33 阅读

最近更新

  4. TCP协议是安全的吗?

    2024-03-20 07:06:06       18 阅读

  12. 阿里云服务器执行yum，一直下载docker-ce-stable失败

    2024-03-20 07:06:06       19 阅读

  13. 【Python教程】压缩PDF文件大小

    2024-03-20 07:06:06       19 阅读

  18. 通过文章id递归查询所有评论（xml）

    2024-03-20 07:06:06       20 阅读

热门阅读

  1. Unity构建详解（2）——SBP的初始设置和脚本编译

    2024-03-20 07:06:06       16 阅读

  4. windows搭建Elasticsearch环境

    2024-03-20 07:06:06       22 阅读

  5. Openssh

    2024-03-20 07:06:06       18 阅读

  9. [论文笔记] Open-Sora 4、sora复现训练过程 (新repo)

    2024-03-20 07:06:06       20 阅读

  12. OpenCV 单目相机光平面标定

    2024-03-20 07:06:06       23 阅读

  13. 【ML】深度学习演进与神经网络反向传播推导 2

    2024-03-20 07:06:06       17 阅读

  23. 高效日志为服务器保驾护航

    2024-03-20 07:06:06       23 阅读

  27. Python实战：爬虫基础与Scrapy框架入门

    2024-03-20 07:06:06       21 阅读