AI能耗短期不会造成电力短缺,算力能效长期改进空间巨大

人工智能(AI)的快速发展正引发其对能源消耗的普遍担忧。国际能源署(IEA)在2024年的报告中预测,由于AI和加密货币的增长,全球数据中心的用电量将在未来几年内翻倍。2022年,全球数据中心的用电量约为460TWh,到2026年这一数字可能达到1000TWh以上,大致相当于日本的发电量(2022年日本发电量为1013TWh[2])。总体而言,AI能耗的焦虑主要集中在两个问题上:首先,AI带来的能源消耗是否会影响该产业的持续发展;其次,AI的广泛应用是否会导致碳排放量的增加,进而对全球实现碳中和的目标构成威胁。

日前,中金公司证券研究报告第七章提及AI的能耗焦虑:增长极限与绿色困境,从AI自身的能耗、AI在电力消费端和供给端的应用以及AI给我国经济系统带来的能耗三层进行了分析。

据报告内容显示,“我国AI发展带来的智算中心电耗或将在2030年最高达到约4300 亿度”,同时,报告中认为AI对我国能源系统的冲击总体可控,但存在不确定性。AI的两个能耗焦虑有其内在的合理性,值得我国在发展AI产业的初期尽早研究,未雨绸缪,提前采取相应行动,尽可能为AI产业的发展创造良好的能源供给环境。与此同时,也要尽可能避免AI产业对我国绿色转型可能产生的冲击。

AI大模型能耗本质上来自于算力耗能,算力能耗可以进一步分解为两大因素:一是算力规模,二是算力能效,估算AI产业自身的能耗因此需要具体分析这两个方面的变化。

算力规模方面,AI大模型主要在训练和推理两个环节消耗算力。不论是哪个环节,大模型的理论算力需求均与其自身的参数量和处理的数据量正相关。然而,仅考虑推理和训练的理论算力需求并不足以全面反映实际的算力消耗量,还需要考虑模型在服务器运行时的算力利用率。

伴随AI大模型算法规模的扩张,网络通信带宽瓶颈和运行故障率成为了制约模型运行效率的两大因素。从实际运行情况来看,大模型的算力利用率的确在下降。GPT-3训练一次需34天,使用1024张A100芯片,算力利用率44%-52%;GPT-4训练一次使用了约25,000张A100芯片,耗时90-100天,利用率降至32%-36%。推理环节面临低成本与低延迟的权衡,为了实现高并发需求和低延迟输出,则需要增加冗余芯片数量,这反过来又会导致芯片算力利用率的降低。推理环节的算力利用率问题在GPT-4时代的万亿参数模型进一步凸显,GPT-4模型使用了混合专家(MoE)的模型架构,在这一架构下输入令牌长度的增加导致内存带宽成为瓶颈,需要使用更大的算力集群,进而导致算力利用率大幅降低。

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-10 13:38:05       99 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-10 13:38:05       107 阅读
  3. 在Django里面运行非项目文件

    2024-07-10 13:38:05       90 阅读
  4. Python语言-面向对象

    2024-07-10 13:38:05       98 阅读

热门阅读

  1. 东方博宜1626 - 暑假的旅游计划

    2024-07-10 13:38:05       28 阅读
  2. react小白面试不得不会的20个问题——第二篇

    2024-07-10 13:38:05       32 阅读
  3. 简单滤波算法伪码

    2024-07-10 13:38:05       32 阅读
  4. Mongodb索引简介

    2024-07-10 13:38:05       24 阅读
  5. Linux 6种日志查看方法

    2024-07-10 13:38:05       26 阅读
  6. 案例研究(Case Study)是什么?怎么写?

    2024-07-10 13:38:05       29 阅读
  7. Linux虚拟化技术:从Xen到KVM

    2024-07-10 13:38:05       33 阅读
  8. 深度学习图片增强方式

    2024-07-10 13:38:05       28 阅读
  9. 什么是DNS欺骗

    2024-07-10 13:38:05       30 阅读
  10. leetcode hot 100 刷题记录

    2024-07-10 13:38:05       25 阅读
  11. 全面解析C#:现代编程语言

    2024-07-10 13:38:05       24 阅读
  12. 【深入探索】揭秘SQL Server的多重身份验证模式

    2024-07-10 13:38:05       30 阅读
  13. 短链接day3

    2024-07-10 13:38:05       27 阅读