语言大模型 / LLM

Measuring the Robustness of Audio Deepfake Detection under Real-World Corruption

在现实世界损坏情况下测量音频深度伪造检测的鲁棒性

Xiang Li, Pin-Yu Chen, Wenqi Wei

机构 * Fordham University（福坦大学） ； IBM Research（IBM研究院） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI

AI总结 研究在现实世界音频常受损坏影响下，系统评估10种音频深度伪造检测模型对18种常见损坏类型的鲁棒性，使用传统和先进模型，得出模型对不同损坏的表现及提升鲁棒性方法等关键见解。

Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning

在思考之前，先学会决策：面向高效视觉推理的主动路由

Yinan Zhou, Haokun Lin, Yichen Wu, Yuxin Chen, Teng Wang, Caifeng Shan, Zhenan Sun, Chen Ma, Li Zhu, Ying Shan

机构 * Xi’an Jiaotong University（西安交通大学） ； ARC Lab, Tencent IEG（腾讯IEG ARC实验室） ； City University of Hong Kong（香港城市大学） ； Institute of Automation, CAS（中国科学院自动化研究所） ； Harvard University（哈佛大学） ； Nanjing University（南京大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL

AI总结 提出主动路由范式PRP，通过联合评估草稿模型和目标模型的能力，实现早期决策，加速多模态推理而不牺牲性能。

Comments 36 pages, 20 figures

Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation

谱不平衡导致低秩持续适应中的遗忘

Hao Gu, Mao-Lin Luo, Zi-Hao Zhou, Han-Chen Zhang, Min-Ling Zhang, Tong Wei

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 本文从知识分解角度发现低秩适应存在奇异值谱不平衡，导致遗忘，并提出在受限Stiefel流形上解耦任务更新幅度与方向结构的约束优化方法，有效缓解前后向遗忘。

Comments 21 pages, 7 figures

BALF: Budgeted Activation-Aware Low-Rank Factorization for Fine-Tuning-Free Model Compression

BALF: 预算感知激活低秩分解用于免微调模型压缩

David González-Martínez

专题命中 效率与部署 ：LLM(abstract)；分类 cs.LG

AI总结 提出BALF框架，将激活感知低秩分解扩展到线性层以外的卷积层，通过白化理论处理秩亏激活，并利用拉格朗日松弛在FLOP或参数预算下分配层秩，实现免微调的高效视觉模型压缩。

Stateful Token Reduction for Long-Video Hybrid VLMs

面向长视频混合视觉语言模型的有状态令牌缩减

Jindong Jiang, Amala Sanjay Deshmukh, Kateryna Chumachenko, Karan Sapra, Zhiding Yu, Guilin Liu, Andrew Tao, Pavlo Molchanov, Jan Kautz, Wonmin Byeon

机构 * NVIDIA（英伟达） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 针对混合Mamba-Transformer视觉语言模型，提出有状态令牌缩减方法，利用Mamba层的状态保持特性实现压缩而非剪枝，在25%令牌预算下实现3.8-4.2倍预填充加速，同时保持基线精度。

Graded strength of comparative illusions is explained by Bayesian inference

比较错觉的梯度强度由贝叶斯推断解释

Yuhan Zhang, Erxiao Wang, Cory Shain

机构 * Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL

AI总结 本研究通过贝叶斯噪声信道模型，结合统计语言模型与人类行为数据，定量预测比较错觉的强度梯度，并解释代词与完整名词短语主语差异的新效应。

Comments 52 pages, 7 figures

PETIMOT: A Novel Framework for Inferring Protein Motions from Sparse Data Using SE(3)-Equivariant Graph Neural Networks

PETIMOT：一种利用SE(3)-等变图神经网络从稀疏数据推断蛋白质运动的新框架

Valentin Lombard, Julien Nguyen Van, Sergei Grudinin, Elodie Laine

机构 * Department of Computational, Quantitative, and Synthetic Biology (CQSB), UMR 7238 IBPS, Sorbonne Université, CNRS（索邦大学国家科学研究中心计算、定量与合成生物学系（CQSB），UMR 7238 IBPS） ； Univ. Grenoble Alpes, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学国家科学研究中心格勒诺布尔国立理工学院让·库尔实验室（LJK）） ； Institut universitaire de France (IUF)（法国大学研究院（IUF）） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 提出PETIMOT框架，利用SE(3)-等变图神经网络和预训练蛋白质语言模型，从稀疏实验数据推断蛋白质连续紧凑运动表示，在捕捉大/慢构象变化方面优于扩散、流匹配及传统物理模型。

Journal ref LMRL Workshop at ICLR 2025; Acta Crystallographica Section D 2026

The Speedup Paradox: Rethinking Inference Speed-Quality Trade-off in Embodied Tasks

加速悖论：具身任务中推理速度与质量权衡的再思考

Yujin Wang, Junli Chen, Yixuan Li, Shunan Dong, Huazhong Yang, Yongpan Liu, Hongyang Jia

机构 * Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI

AI总结 提出TISED分析框架，揭示具身任务中推理加速技术对任务级性能的悖论效应：静态任务中可能延长完成时间，动态任务中适度优化可提升成功率，且效果受硬件配置影响。

Comments 23 pages

SMART: When is it Actually Worth Expanding a Speculative Tree?

SMART: 在什么情况下扩展推测树实际上是有价值的？

Lifu Wang, Pan Zhou

机构 * Singapore Management University（新加坡管理大学） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；分类 cs.AI

AI总结 SMART系统通过运行时树构建优化，提升生成速度，通过边际效益-成本分析，在不同硬件和批量规模下实现平均20%的额外加速。

Comments Accepted by ECCV 2026

Characterizing the Expressivity of Local Attention in Transformers

对变换器中局部注意力的表达力进行表征

Jiaoda Li, Ryan Cotterell

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL

AI总结 本文研究了变换器中局部注意力的表达力，通过形式语言理论分析了局部注意力如何扩展可识别的正则语言，并证明了全局和局部注意力在表达力上的互补性，实验表明混合型变换器在形式语言识别和自然语言建模中表现更优。

Comments ACL 2026

MPFlow: Multi-modal Posterior-Guided Flow Matching for Zero-Shot MRI Reconstruction

MPFlow: 多模态后验引导的流匹配用于零样本MRI重建

Seunghoi Kim, Chen Jin, Henry F. J. Tregidgo, Matteo Figini, Daniel C. Alexander

机构 * 1 Hawkes Institute, UCL \, 2 Dept. of Medical Physics ； Biomedical Engineering, UCL 3 Dept. of Computer Science, UCL 4 Centre for AI, DS\&AI, AstraZeneca, UK 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI

AI总结 提出MPFlow框架，利用自监督预训练PAMRI学习跨模态共享表示，在推理时通过数据一致性和特征对齐引导采样，减少幻觉并提升零样本MRI重建效率。

Learning Long-Range Dependencies with Temporal Predictive Coding

利用时间预测编码学习长程依赖关系

Tom Potter, Oliver Rhodes

机构 * International Centre for Neuromorphic Systems, The University of Manchester, Manchester, United Kingdom（英国曼彻斯特大学神经形态系统国际中心） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 结合时间预测编码与实时递归学习（tPC-RTRL），通过在线影响矩阵追踪历史参数效应，在保持空间和时间局部性的同时精确恢复BPTT梯度，在语言建模、翻译和无人机系统辨识任务上达到与BPTT近似的性能。

BOFA: Bridge-Layer Orthogonal Low-Rank Fusion for CLIP-Based Class-Incremental Learning

BOFA: 基于CLIP的类增量学习中的桥接层正交低秩融合

Lan Li, Tao Hu, Da-Wei Zhou, Jia-Qi Yang, Han-Jia Ye, De-Chuan Zhan

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 提出BOFA框架，通过将适应限制在CLIP的跨模态桥接层并使用正交低秩融合防止遗忘，无需额外参数或数据回放，实现高效类增量学习。

Comments Accepted by AAAI 2026

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(27): 22967-22975, 2026

Similarity of Neural Network Representations in Superposition

神经网络表示在叠加中的相似性

Sunny Liu, Habon Issa, André Longon, Liv Gorton, Meenakshi Khosla, Alex Williams, David Klindt

机构 * Cold Spring Harbor Laboratory（冷泉港实验室） ； UC San Diego（加州大学圣地亚哥分校） ； Anthropic（Anthropic公司） ； New York University Flatiron Institute（纽约大学Flatiron研究所） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 研究线性对齐度量在神经网络叠加表示中的失效问题，通过理论推导和稀疏自编码器实验证明对齐度量受投影Gram矩阵影响，并展示基于恢复潜在特征的度量能正确反映特征共享。

Comments 17 pages, 4 figures

QuantKAN: A Unified Quantization Framework for Kolmogorov Arnold Networks

QuantKAN：科尔莫戈罗夫-阿诺德网络的统一量化框架

Kazi Ahmed Asif Fuad, Lizhong Chen

机构 * Department of EECS, Oregon State University（电子工程与计算机科学系，俄勒冈州立大学） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.LG

AI总结 提出QuantKAN，首个针对KAN网络的统一量化感知训练和后训练量化框架，通过分支感知量化器处理异构参数，在多个数据集上建立基准，并揭示架构特定失效模式。

NOEM$^{3}$A: a Neuro-symbolic Ontology-Enhanced Method for Multi-intent understanding in Mobile Agents

NOEM$^{3}$A：一种用于移动代理中多意图理解的神经符号本体增强方法

Ioannis Tzachristas, Aifen Sui

机构 * Huawei Heisenberg Research Center（华为海森堡研究中心） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 提出NOEM$^{3}$A，一种轻量级神经符号层，通过意图本体增强紧凑语言模型，在低延迟和隐私约束下提升移动代理的自然语言理解准确率。

Mask-Morph Graph U-Net: A Generalisable Mesh-Based Surrogate for Crashworthiness Field Prediction under Large Geometric Variation

Mask-Morph Graph U-Net：一种通用的基于网格的替代模型，用于在大几何变化下预测碰撞worthiness领域

Haoran Li, Tobias Lehrer, Yingxue Zhao, Haosu Zhou, Philipp Stocker, Tobias Pfaff, Marcus Wagner, Nan Li

机构 * Dyson School of Design Engineering, Imperial College London（帝国理工学院伦敦设计工程学院） ； TUM School of Engineering and Design, Technical University of Munich（慕尼黑技术大学工程与设计学院） ； Faculty of Mechanical Engineering, OTH Regensburg（雷根斯堡机械工程学院） ； NVIDIA（NVIDIA公司） 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出Mask-Morph Graph U-Net，通过特征对齐的重心参数化和节点掩码预训练，提升网格模拟的通用性和数据效率，适用于碰撞worthiness设计探索。

Comments 48 pages, 15 figures, jounral paper under review

Rethinking Cross-Layer Information Routing in Diffusion Transformers

重新思考扩散变换器中的跨层信息路由

Chao Xu, Maohua Li, Qirui Li, Yixuan Xu, Yanke Zhou, Yunhe Li, Cuifeng Shen, Hanlin Tang, Kan Liu, Tao Lan, Lin Qu, Shao-Qun Zhang

机构 * Nanjing University（南京大学） ； Alibaba Group（阿里巴巴集团） ； Zhejiang University（浙江大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI

AI总结 本文研究了扩散变换器中跨层信息流动的问题，通过系统性的实证分析，识别了传统残差加法的三个具体症状，并提出了扩散适应性路由（DAR）方法，以实现可学习、时间步适应和非递增的子层输出聚合，从而提升模型性能。

AIMER: Calibration-Free Task-Agnostic MoE Expert Pruning

AIMER: 免校准任务无关的MoE专家剪枝

Zongfang Liu, Guangyi Chen, Shengkun Tang, Yifan Shen, Huan Wang, Xin Yuan

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 提出AIMER方法，通过专家权重的集中度模式识别独特专家，实现免校准的任务无关MoE专家剪枝，在7B至47B模型上优于现有方法。

Next-Latent Prediction Transformers Learn Compact World Models

下一潜在预测变换器学习紧凑世界模型

Jayden Teoh, Manan Tomar, Kwangjun Ahn, Edward S. Hu, Tim Pearce, Pratyusha Sharma, Akshay Krishnamurthy, Riashat Islam, Alex Lamb, John Langford

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 提出NextLat方法，通过潜在空间中的自监督预测训练变换器学习紧凑世界模型，提升泛化能力和推理效率。

Comments Microsoft Research Preprint

Quantization Robustness of Monotone Operator Equilibrium Networks

单调算子均衡网络的量化鲁棒性

James Li, Philip H. W. Leong, Thomas Chaffey

机构 * School of Electrical and Computer Engineering, The University of Sydney（悉尼大学电气与计算机工程学院） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.LG

AI总结 分析单调算子均衡网络在低精度硬件部署时权重量化对收敛性和均衡解的影响，提出基于谱扰动和单调性边界的理论保证，并通过MNIST实验验证了量化精度与收敛性的相变关系。

Comments 6 pages, 4 figures. Accepted for publication in IEEE Control Systems Letters (L-CSS)

In-Context Learning Is Provably Bayesian Inference: A Generalization Theory for Meta-Learning

上下文学习可证明是贝叶斯推断：元学习的泛化理论

Tomoya Wakayama, Taiji Suzuki

机构 * University of Tokyo（东京大学） ； National Institute of Information and Communications Technology（信息通信技术国家研究所） 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.LG

AI总结 本文在元学习框架下，将上下文学习总风险分解为贝叶斯差距和后验方差，并证明Transformer通过预训练选择最优元算法，在测试时快速收敛到真实任务的最优算法。

Multi-Token Residual Prediction

多令牌残差预测

Yufeng Xu, Zishuo Bao, Qian Wang, Zeshen Zhang, Haoqi Zhang, Bowen Peng, Ang Li, Rahul Chalamala, Yucheng Lu

机构 * New York University（纽约大学） ； New York University Shanghai（纽约大学上海） ； Nos Research（Nos研究） ； Modal 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 本文提出了一种轻量级模块Multi-token Residual Prediction，通过利用去噪过程中相邻步骤的logit分布相似性，在单次骨干网络前向传播中实现依赖感知的多令牌去噪，从而在成本较低的情况下提高去噪效率。

Subliminal Learning Is Steering Vector Distillation

潜意识学习是引导向量蒸馏

Camila Blank, Agam Bhatia, Senthooran Rajamanoharan, Arthur Conmy, Neel Nanda

机构 * Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 本文发现潜意识学习通过单个引导向量实现，并证明这是引导向量蒸馏的特例，解释了非语义数据如何传递语义特征。

Energy Use of AI Inference, Efficiency Pathways, and Test-Time Scaling

AI推断的能耗：效率路径与测试时计算

Felipe Oviedo, Fiodar Kazhamiaka, Esha Choukse, Allen Kim, Amy Luers, Melanie Nakagawa, Ricardo Bianchini, Juan M. Lavista Ferres

机构 * Microsoft（微软） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；分类 cs.LG

AI总结 本文提出基于令牌吞吐量的底层方法，估算大规模大语言模型的每查询能耗，揭示测试时扩展场景下的能耗变化及效率提升潜力。

Comments A preprint version with DOI is available at Zenodo: https://doi.org/10.5281/zenodo.17188770

Journal ref Joule (2026) 102430

Parameter-efficient Dual-encoder Architecture with Differentiable Choquet Integral Fusion for Underwater Acoustic Classification

参数高效的双编码器架构与可微Choquet积分融合用于水下声学分类

Amirmohammad Mohammadi, Joshua Peeples, Alexandra Van Dine

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.LG

AI总结 提出一种双编码器神经网络架构，同时处理波形和频谱图，利用预训练骨干和参数高效微调模块，并通过基于Choquet积分的可微模糊聚合机制融合时域和频域表示，提高分类准确性和可解释性。

Comments 9 pages, 7 figures

Language Generation as Optimal Control: Closed-Loop Diffusion in Latent Control Space

语言生成作为最优控制：潜在控制空间中的闭环扩散

ZiYi Dong, Yuliang Huang, Weijian Deng, Xiangyang Ji, Liang Lin, Pengxu Wei

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL

AI总结 本文将语言生成重新表述为随机最优控制问题，通过统一理论视角分析自回归和扩散模型，解释其局限性，并提出基于流匹配的闭环控制器实现高效文本生成。

ReVision: Scaling Computer-Use Agents via Temporal Visual Redundancy Reduction

ReVision：通过时间视觉冗余减少扩展计算机使用代理

Amirhossein Abaskohi, Yuhang He, Peter West, Giuseppe Carenini, Pranit Chawla, Vibhav Vineet

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL

AI总结 ReVision通过去除冗余视觉片段，减少token使用并提升成功率，使代理能处理更长轨迹。

In-Context Learning of Temporal Point Processes with Foundation Inference Models

基于基础推理模型的时间点过程上下文学习

David Berghaus, Patrick Seifner, Kostadin Cvejoski, César Ojeda, Ramsés J. Sánchez

机构 * Lamarr Institute（拉马尔研究所） ； Fraunhofer IAIS（弗劳恩霍夫人工智能研究所） ； University of Bonn（波恩大学） ； JetBrains Research（JetBrains研究） ； University of Potsdam（波恩大学） 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.LG

AI总结 提出一种基于摊销推理和上下文学习的点过程基础推理模型FIM-PP，通过大规模合成数据预训练，无需额外训练即可估计真实MTPP，或快速微调至目标系统。

Comments This paper is published as a conference paper at ICLR 2026

Journal ref The Fourteenth International Conference on Learning Representations (ICLR 2026)

Foundation Inference Models for Ordinary Differential Equations

常微分方程的基础推理模型

Maximilian Mauel, Johannes R. Hübers, David Berghaus, Patrick Seifner, Ramses J. Sanchez

机构 * University of Cambridge（剑桥大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.LG

AI总结 提出FIM-ODE，一种预训练的基础推理模型，通过单次前向传播从含噪轨迹直接预测向量场，实现零样本性能匹配并超越ODEFormer，微调后优于现代神经和GP基线。

Comments Published in ICML 2026

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)