有关去中心化算路大模型的一些误区：低带宽互连导致训练速度太慢；小容量设备无法生成基础规模的模型；去中心化总是会花费更多；虫群永远不够大

目录

有关去中心化算路大模型的一些误区

低带宽互连导致训练速度太慢

挑战与解决方案

展望

小容量设备无法生成基础规模的模型

1. 模型规模与设备内存

2. 解决方案

3. 效率挑战

FSDP（Fully Sharded Data Parallel）

Zero-3

去中心化总是会花费更多

虫群永远不够大

有关去中心化算路大模型的一些误区

如果去中心化训练是可行的，那么基础模型开发、模型治理和人工智能安全研究的轨迹都会发生重大变化。很难低估其影响。在协议中创建的模型的真正去中心化治理 变得可行，模型研究加速，不再局限于大型实验室，基础模型提供者的新兴寡头垄断受到挑战，基础模型访问得到保证，并开辟了通往下一个几个数量级大小模型的道路。

低带宽互连导致训练速度太慢

今天的共识是，使用真正去中心化的方法训练基础规模的模型实际上是不可行的。怀疑论者通常支持这一观点，理由是训练的通信强度和节点之间的低带宽连接，这些连接必须在去中心化的情况下使用。当将现有的分布式训练方法原封不动地应用于不同的硬件设置时，这是一个有效的批评。此类系统旨在利用它们在上面部署的基础设施的特定属性。然而，在学术文献中，最近有强有力的工作表明，对这种系统的改变促进了异构、低带宽、小节点容量群中的数十亿参数训练。如果进一步的改变当前的分布式训练方法，明确关注低通信带宽