泡泡资讯网

英伟达等首次证明,AI数据中心能灵活省电

NVIDIA、Oracle等团队发了篇论文,首次证明AI数据中心的电力可以像计算任务一样灵活调度,不需要一直都满负荷工作。

文章指出,AI数据中心中的训练、批量推理、低优先级任务,可以稍微等待、延迟甚至空间迁移。

他们搭建了一套系统,可以:

1. 在40秒内将功耗降低30%,同时保持高优先级任务的性能不受影响;
2. 在供电紧张的情况下长时间维持低功率运行;
3. 在绿色能源充足时自动增加计算负载,在碳排放高峰时减少耗电;
4. 将推理任务从弗吉尼亚州转移到伊利诺伊州,实现跨地理位置的工作流转移。

以上任务在一台130kW GPU集群上进行了实测,系统完成了200多个功率目标全部达标。整个过程里,高优先级的关键作业吞吐几乎没影响,掉的都是那些低优先级任务。

传统电力规划常把AI数据中心当作固定负载处理,导致电网升级压力巨大。

而本文首次用实验证明,许多AI任务本质上是灵活的,比如大语言模型的训练或批量推理任务,它们可以稍微等待、延迟甚至空间迁移。

从此,电网规划者可以重新审视AI数据中心,作为能动态调整的一种新型电力资源。