arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

PAPERDAILY REPORTS

不暂停AI回答也能降功耗?万卡机房仿真,10秒完成九成降幅

作者:arXivDaily编辑部 论文中文资料arXiv 2611.05148 cs · cs.AI

论文导读

卡内基梅隆大学、博世人工智能中心、康奈尔大学联合提出用查询路由调节AI机房用电的框架:已有回答继续生成,新请求按容量分流给不同模型。在一万张H100的机房仿真中,约10秒达到目标降幅的90%;当全部请求都适合两种模型时,平均可调功率约为机房均值的16%,把服务分配变成电力控制手段。

回答不断,功率也能慢慢降下来

电网要求大负载降低用电时,机房不一定只能停掉正在生成的回答。论文尝试改变新请求的去向,让其中适合小模型的问题更多进入小模型池,已有请求照常跑完。

一万张H100的设置是基于真实请求轨迹的机房级仿真,不是对真实万卡机房断电测试。在模拟的四小时降功率事件中,分流比例改变后,大约10秒达到所需降幅的90%。

图:上方显示降功率期间的多条设施功率曲线,下方两图放大事件开始与结束后的秒级过渡。

响应需要时间,因为先前分给大模型的请求还在处理。随着这些工作陆续结束、新请求按新比例进入,功率才向目标靠拢。这里的“九成”是完成九成目标降幅,不是整座机房少用90%的电。

先分清哪些请求可以换模型

研究把请求分为必须用大模型、必须用小模型,以及两种模型都能接受的灵活请求。只有最后一类可用于调节。模型池也不能过载,路由必须同时满足各自可处理的请求量。

图:电网信号进入控制器,红色箭头把请求分配给大小模型池,并依据功率特征调整可行比例。

团队先测量不同模型与GPU上的生成迭代时间、处理能力和功率,再建立请求到达率与整机功耗的关系。四种GPU平台、1B至70B模型的检查中,功率灵活性估计的平均绝对百分比误差为2.8%。

这些测量用于校准后续仿真。仿真预先给定哪些请求适合小模型,路由器再在这一条件下分配任务。

16%的空间,取决于多少题可以分流

机房仿真使用一周Azure大模型对话请求轨迹,把一万张H100按三比一分给大模型与小模型资源。大模型是四卡运行的Llama-3.1-70B,小模型池运行单卡Mistral-24B;还计入其他设施负载和电源使用效率假设。

图:上方按星期展示黑色基线与不同分流条件曲线,下方分别给出降幅可用时长分布及小时变化。

在这一设置下,基线设施功率均值约7.3兆瓦。若一半请求可灵活分流,平均可调功率约0.6兆瓦;若全部请求都可分流,则约1.19兆瓦,相当于均值的16%。

图中不同颜色代表灵活请求比例。白天与夜间、繁忙与空闲时,可降的空间都会变化。

越忙越难省,中等负载反而有余地

请求特别少时,工作本来就少,可调的功率有限。请求特别多时,小模型池接近容量上限,也没有地方接收更多分流。中等负载通常留下较大的可行区间,控制器才能把功率向目标推得更远。

团队还检查了部分GPU被其他工作占用的情况:适度资源减少时仍能保留一部分灵活性,继续减少就会触碰容量边界,出现排队与服务问题。分流因此是带容量约束的调节,并非随时可拧到底的省电旋钮。

当前结果提供了一个具体规划入口:先有模型池的实测功率曲线,再结合请求适用性与到达量,计算当下能承诺多大的降幅、需要多久完成过渡,以及可以维持多长时间。

参考资料

https://arxiv.org/html/2611.05148

https://arxiv.org/pdf/2611.05148

https://arxiv.org/src/2611.05148

https://arxiv.org/abs/2611.05148

↑