AI设计CPU,短测变快长跑却变慢!东大用实板揪出问题
东京大学把AI参与设计CPU的过程接上FPGA实板反馈:智能体写代码、上板测量,再根据结果查错修改。在人类监督下,最终RISC-V核心达到130MHz、5.61 CoreMark/MHz;一次短测看似提速的方案,在长跑中暴露退化,被实板数据
东京大学把AI参与设计CPU的过程接上FPGA实板反馈:智能体写代码、上板测量,再根据结果查错修改。在人类监督下,最终RISC-V核心达到130MHz、5.61 CoreMark/MHz;一次短测看似提速的方案,在长跑中暴露退化,被实板数据
胡阿里·布迈丁科技大学(USTHB)的研究者把6570万参数英语语音识别模型装进ESP32-P4,在32MB外部内存里持续听写。它不用云端,也没有神经加速器;运行屏幕界面的固件约用0.90秒处理1.28秒音频,让低资源开发板具备了开放词汇转
清华大学、面壁智能、哈尔滨工业大学和中国科学院大学等机构提出JustGoal,用“只给目标与约束”的通用代理配置,检验GPU算子优化需要多少专门流程。在NVIDIA B200上,它在10项可比算子中的8项快于人工维护的开源库,各算子几何平均
东南大学提出DeepInfer-Mac,让7500亿参数级的DeepSeek-V4.1-Flash在24GB统一内存MacBook Air上本地生成文本。做法是把约338GiB权重留在SSD,只在需要时调入部分专家;短请求吞吐为每秒0.21
电子科技大学研究团队让世界模型把旧画面的缓存放进GPU、主存和SSD三级存储。WorldPager在一张RTX 4090、32GiB主存和一块NVMe SSD上,持续生成37.5分钟视频,主存占用保持稳定。它预先取回下一段要用的旧记忆,把容
威斯康星大学麦迪逊分校、Meta、卡内基梅隆大学研究团队让端侧AI的不同计算引擎接续同一段历史,一边接收视频,一边回答问题。CrossInfer在RK3588双视频流测试中,比已经复用上下文的最佳单引擎多19.6%请求吞吐;新引擎导入现有缓
北京大学、清华大学团队重新设计了AI训练视频的编码与读取方式:抽到哪帧,就尽量只重建它和必需的参考帧。在三套机器人数据、画质接近的比较中,H.265 DDRA配置相对论文采用的LeRobot v3配置少58.7%媒体载荷,加载吞吐达到1.4
这次最扎眼的细节,是微软自己的AI产品团队也在名单里。
AMD团队用ALTO配方研究20B混合专家模型的4位训练,把达到指定验证质量所需的额外步数从20%降到5%。关键改动是在已有低精度技术上抑制权重来回跳档,让后期损失更接近BF16。实验在MI300上模拟MXFP4数值误差,验证的是收敛与精度
伊利诺伊大学芝加哥分校、Salesforce Research团队提出SpecMem,把已经验证的工具调用持续写回记忆库。遇到相似请求时,先用旧调用起草,再交给目标模型核验,调用解码相对普通逐令牌生成最高加速1.74倍。实验还将用户记忆分开
洛桑联邦理工学院团队把解压操作接进GPU数据库查询:压缩数据到达片上后,按小块恢复并立即计算,省掉整列解压后写回显存的中间步骤。在Proteus实现和论文的GPU驻留查询比较中,显存占用最多缩小4倍、带宽消耗最多缩小6倍,同时保持有竞争力的
奥格斯堡大学、伦敦国王学院团队把AI改代码的电量账分成生成与运行两部分。11个模型、四种设置在1000道Python算法题上反复优化后,44种配置中有42种的执行能耗仍高于高评分人工参照;即使代码运行更快,也没有自动变成更省电。研究同时记录
麻省理工学院团队提出RADIANT,用每个物体固定32个表面小片表示光照,避免计算量跟着三角面数膨胀。在随机权重的纯计时测试中,500物体场景的512×512前向计算耗时0.83秒;同容量训练比较中,达到25dB画质所需步数从8万降到1.6
中科院计算所、中国科学院大学、爱丁堡大学等机构提出3D-MoE,为混合专家大模型设计了一套“错峰搭班”的软硬件方案:先把忙碌时间互补的专家分到一起,再让附近空闲核心协助热点任务。在三种模型的近内存平台仿真中,端到端吞吐达到最好对照方案的1.
北京航空航天大学、香港大学与北京大学等机构提出SetCommit,不重新训练模型,而是调整扩散语言模型每轮先确定哪些字词、哪些留到后面再改。在数学与代码测试中,相同32次模型计算预算下,准确率或代码通过率最高提升7.4个百分点;方法还能叠加
穆罕默德·本·扎耶德人工智能大学提出HBFSim,把一种可放在加速器旁、容量达到TB级的高带宽闪存搬进模拟器,研究它怎样帮大模型分担显存压力。在两种模型、三类负载的仿真中,容量溢出时,HBF方案的解码速度达到主机内存方案的11—19倍。更有
Tandemn、伊利诺伊大学厄巴纳-香槟分校、加州大学伯克利分校、纽约大学、字节跳动和英伟达的研究者提出Koi,为共享GPU的大模型服务自动选择硬件、运行配置与副本数量。在持续3小时、共104张GPU的真实集群测试中,它相比表现最好的对照方
普渡大学提出Ray-by-Ray,把GPU光追单元的片上缓存从按线程组占用,细化为按单条光线分配与回收。16种场景、三类光线负载的周期级仿真中,几何平均加速1.91倍,估算面积开销0.19%。它让先算完的光线早点归还位置,使更多工作进入光追
西江大学、三星电子、釜山大学等机构提出OpenAttention,把没有逐项读取的上下文缓存压成少数代理,再把精读预算留给误差较大的部分。Llama-3.1-8B在RULER-32K HARD测试中,只读1%预算时得到86.30分,完整注意
MacPaw AI&Research、利沃夫国立理工大学、乌克兰国家科学院数学研究所比较四类本地模型推理优化,发现服务器上的提速并不总能搬到Mac。主要长提示聊天基准里,所测投机解码没有端到端增益;特定缓存剪枝却最高达到1.75倍。硬件、运