训练大模型的显卡参数辨析

以NVIDIA A100(80GB)为例:

A100中的A是Ampere(安培体系)首字母,100是系列号,除了A100,还有A800

80GB指的是这张显卡的显存为80GB

PCIe:PCIe本身是一种总线协议,这里指的是这种架构的A100只能通过Nvlink Bridge进行两张互联

SXM:一种架构,支持4、8或者16张A100通过Nvlink与NvSwitch芯片进行互联

FP64:双精度型数据

Tensor Core:矩阵运算单元

FP32:单精度

Tensor Float 32:截短的 Float32 数据格式,将 FP32 中 23 个尾数位截短为 10 bits,而指数位仍为 8 bits,总长度为 19 bits

BFLOAT16:全称brain floating point,也是用16位二进制来表示的数

FP16:半精度

INT8:8位整型

TFLOPS:Tera Floating Point Operations Per Second,即每秒执行的万亿次浮点运算

TOPS:Tera Operations Per Second,即每秒执行的万亿次运算

HBM2/e:High Bandwidth Memory-HBM,是一种DRAM形态

MIG:Multi-Instance GPU (MIG)多实例GPU,允许一块物理 GPU 被分割成多个独立的 GPU 实例

7 MIG @ 5GB:分为7个实例,每个显存5GB

7 MIG @ 10GB:分为7个实例,每个显存10GB

相关推荐

  1. 启动模型训练常见docker参数

    2024-04-07 23:20:01       36 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-04-07 23:20:01       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-04-07 23:20:01       106 阅读
  3. 在Django里面运行非项目文件

    2024-04-07 23:20:01       87 阅读
  4. Python语言-面向对象

    2024-04-07 23:20:01       96 阅读

热门阅读

  1. PTA--《面向对象程序设计》作业2-类与对象

    2024-04-07 23:20:01       33 阅读
  2. 等保模型(烂码)

    2024-04-07 23:20:01       35 阅读
  3. PTA字符串约束

    2024-04-07 23:20:01       38 阅读
  4. PostgreSQL的 UNION

    2024-04-07 23:20:01       37 阅读
  5. ubuntu web端远程桌面控制

    2024-04-07 23:20:01       43 阅读
  6. Vue3与TypeScript中动态加载图片资源的解决之道

    2024-04-07 23:20:01       50 阅读
  7. Django - 视图和模板

    2024-04-07 23:20:01       40 阅读
  8. Python 反射

    2024-04-07 23:20:01       47 阅读
  9. C++11 thread_local学习笔记

    2024-04-07 23:20:01       38 阅读
  10. next_permutation(下一个排列)问题

    2024-04-07 23:20:01       37 阅读