arXivDaily arXiv每日学术速递 周一至周五更新

行业趋势

芯片、算力、部署、推理效率与系统优化。

2610.39570 Agent

AI设计CPU,短测变快长跑却变慢!东大用实板揪出问题

东京大学把AI参与设计CPU的过程接上FPGA实板反馈:智能体写代码、上板测量,再根据结果查错修改。在人类监督下,最终RISC-V核心达到130MHz、5.61 CoreMark/MHz;一次短测看似提速的方案,在长跑中暴露退化,被实板数据

东京大学等
文章封面
2610.38739 AI基础设施

不用云端也不用NPU,ESP32跑6570万参数语音识别

胡阿里·布迈丁科技大学(USTHB)的研究者把6570万参数英语语音识别模型装进ESP32-P4,在32MB外部内存里持续听写。它不用云端,也没有神经加速器;运行屏幕界面的固件约用0.90秒处理1.28秒音频,让低资源开发板具备了开放词汇转

胡阿里·布迈丁科技大学(USTHB)等
文章封面
2610.36434 Agent

只给目标让AI写GPU算子,10项里8项快过人工库

清华大学、面壁智能、哈尔滨工业大学和中国科学院大学等机构提出JustGoal,用“只给目标与约束”的通用代理配置,检验GPU算子优化需要多少专门流程。在NVIDIA B200上,它在10项可比算子中的8项快于人工维护的开源库,各算子几何平均

清华大学、面壁智能、哈尔滨工业大学、中国科学院大学等
文章封面
2610.36564 AI基础设施

24GB MacBook Air跑7500亿级模型,代价是每秒不到1个Token

东南大学提出DeepInfer-Mac,让7500亿参数级的DeepSeek-V4.1-Flash在24GB统一内存MacBook Air上本地生成文本。做法是把约338GiB权重留在SSD,只在需要时调入部分专家;短请求吞吐为每秒0.21

东南大学等
文章封面
2610.35529 AI基础设施

一张4090连续造世界37.5分钟!旧画面记忆先搬进SSD

电子科技大学研究团队让世界模型把旧画面的缓存放进GPU、主存和SSD三级存储。WorldPager在一张RTX 4090、32GiB主存和一块NVMe SSD上,持续生成37.5分钟视频,主存占用保持稳定。它预先取回下一段要用的旧记忆,把容

电子科技大学等
文章封面
2610.35309 AI基础设施

GPU答题、CPU接着看视频:端侧AI共享记忆,双流吞吐多19.6%

威斯康星大学麦迪逊分校、Meta、卡内基梅隆大学研究团队让端侧AI的不同计算引擎接续同一段历史,一边接收视频,一边回答问题。CrossInfer在RK3588双视频流测试中,比已经复用上下文的最佳单引擎多19.6%请求吞吐;新引擎导入现有缓

威斯康星大学麦迪逊分校、Meta、卡内基梅隆大学等
文章封面
2610.33079 AI基础设施

视频训练先别拆成JPEG!北大、清华让载荷少58.7%,读取还更快

北京大学、清华大学团队重新设计了AI训练视频的编码与读取方式:抽到哪帧,就尽量只重建它和必需的参考帧。在三套机器人数据、画质接近的比较中,H.265 DDRA配置相对论文采用的LeRobot v3配置少58.7%媒体载荷,加载吞吐达到1.4

北京大学、清华大学等
文章封面
2610.32229 AI基础设施

AMD把4位训练稳住了:追上目标,额外步数从20%降到5%

AMD团队用ALTO配方研究20B混合专家模型的4位训练,把达到指定验证质量所需的额外步数从20%降到5%。关键改动是在已有低精度技术上抑制权重来回跳档,让后期损失更接近BF16。实验在MI300上模拟MXFP4数值误差,验证的是收敛与精度

AMD等
文章封面
2610.31840 Agent

AI反复调工具还要重写?记住旧调用,解码最高快1.74倍

伊利诺伊大学芝加哥分校、Salesforce Research团队提出SpecMem,把已经验证的工具调用持续写回记忆库。遇到相似请求时,先用旧调用起草,再交给目标模型核验,调用解码相对普通逐令牌生成最高加速1.74倍。实验还将用户记忆分开

伊利诺伊大学芝加哥分校、Salesforce Research等
文章封面
2610.32695 AI基础设施

GPU查数据先别整列解压,显存占用最多降到1/4

洛桑联邦理工学院团队把解压操作接进GPU数据库查询:压缩数据到达片上后,按小块恢复并立即计算,省掉整列解压后写回显存的中间步骤。在Proteus实现和论文的GPU驻留查询比较中,显存占用最多缩小4倍、带宽消耗最多缩小6倍,同时保持有竞争力的

洛桑联邦理工学院等
文章封面
2610.32891 Agent

AI改代码更快却更费电?44种配置,42种没赢过人工参照

奥格斯堡大学、伦敦国王学院团队把AI改代码的电量账分成生成与运行两部分。11个模型、四种设置在1000道Python算法题上反复优化后,44种配置中有42种的执行能耗仍高于高评分人工参照;即使代码运行更快,也没有自动变成更省电。研究同时记录

奥格斯堡大学、伦敦国王学院等
文章封面
2610.32075 视觉与生成

MIT把光照按物体算,500物体前向计算0.83秒

麻省理工学院团队提出RADIANT,用每个物体固定32个表面小片表示光照,避免计算量跟着三角面数膨胀。在随机权重的纯计时测试中,500物体场景的512×512前向计算耗时0.83秒;同容量训练比较中,达到25dB画质所需步数从8万降到1.6

麻省理工学院等
文章封面
2610.26991 AI基础设施

大模型专家也会忙闲不均!中科院按“错峰搭班”重排,仿真吞吐最高1.86倍

中科院计算所、中国科学院大学、爱丁堡大学等机构提出3D-MoE,为混合专家大模型设计了一套“错峰搭班”的软硬件方案:先把忙碌时间互补的专家分到一起,再让附近空闲核心协助热点任务。在三种模型的近内存平台仿真中,端到端吞吐达到最好对照方案的1.

中科院计算所、中国科学院大学、爱丁堡大学等
文章封面
2610.31120 大模型

不重训也能答得更准!北航等让扩散语言模型别急着“定稿”

北京航空航天大学、香港大学与北京大学等机构提出SetCommit,不重新训练模型,而是调整扩散语言模型每轮先确定哪些字词、哪些留到后面再改。在数学与代码测试中,相同32次模型计算预算下,准确率或代码通过率最高提升7.4个百分点;方法还能叠加

北京航空航天大学、香港大学、北京大学等
文章封面
2610.23503 AI基础设施

显存不够,闪存来凑?新仿真发现:溢出大模型数据不必都绕回CPU

穆罕默德·本·扎耶德人工智能大学提出HBFSim,把一种可放在加速器旁、容量达到TB级的高带宽闪存搬进模拟器,研究它怎样帮大模型分担显存压力。在两种模型、三类负载的仿真中,容量溢出时,HBF方案的解码速度达到主机内存方案的11—19倍。更有

穆罕默德·本·扎耶德人工智能大学等
文章封面
2610.24355 AI基础设施

同样104张GPU,AI服务每Token成本少20%!伯克利等让集群自己找配置

Tandemn、伊利诺伊大学厄巴纳-香槟分校、加州大学伯克利分校、纽约大学、字节跳动和英伟达的研究者提出Koi,为共享GPU的大模型服务自动选择硬件、运行配置与副本数量。在持续3小时、共104张GPU的真实集群测试中,它相比表现最好的对照方

Tandemn、伊利诺伊大学厄巴纳-香槟分校、加州大学伯克利分校、英伟达等
文章封面
2610.31630 AI基础设施

不堆缓存,光追仿真平均快到1.91倍!普渡这招专治“占坑不干活”

普渡大学提出Ray-by-Ray,把GPU光追单元的片上缓存从按线程组占用,细化为按单条光线分配与回收。16种场景、三类光线负载的周期级仿真中,几何平均加速1.91倍,估算面积开销0.19%。它让先算完的光线早点归还位置,使更多工作进入光追

普渡大学等
文章封面
2610.30951 AI基础设施

三星参与,大模型缓存只读1%!长文本测试表现还留住99%

西江大学、三星电子、釜山大学等机构提出OpenAttention,把没有逐项读取的上下文缓存压成少数代理,再把精读预算留给误差较大的部分。Llama-3.1-8B在RULER-32K HARD测试中,只读1%预算时得到86.30分,完整注意

西江大学、三星电子、釜山大学等
文章封面
2610.31479 AI基础设施

Mac跑千问最高快75%,4090却没提速!同一招,结果反过来了

MacPaw AI&Research、利沃夫国立理工大学、乌克兰国家科学院数学研究所比较四类本地模型推理优化,发现服务器上的提速并不总能搬到Mac。主要长提示聊天基准里,所测投机解码没有端到端增益;特定缓存剪枝却最高达到1.75倍。硬件、运

MacPaw AI&Research、利沃夫国立理工大学、乌克兰国家科学院数学研究所等
文章封面
↑