语言大模型 / LLM

WinQ: Accelerating Quantization-Aware Training of Language Models Around Saddle Points

WinQ: 加速围绕鞍点的语言模型量化感知训练

Dongyue Li, Zechun Liu, Kai Yi, Zhenshuo Zhang, Changsheng Zhao, Raghuraman Krishnamoorthi, Harshit Khaitan, Hongyang R. Zhang, Steven Li

机构 * Northeastern University, MA（东北大学） ； Meta AI, CA（Meta AI） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 本文研究了量化感知训练（QAT）在低比特宽度下的收敛问题，提出WinQ算法通过重置权重和噪声注入梯度来加速训练并提升性能。

Comments 23 pages; To appear in ICML 2026

MIRO: MultI-Reward cOnditioned pretraining improves T2I quality and efficiency

MIRO：多奖励条件预训练提升T2I质量和效率

Nicolas Dufour, Lucas Degeorge, Arijit Ghosh, Vicky Kalogeiton, David Picard

机构 * LIGM, ENPC, IP Paris, CNRS, UGE, France ； LIX, CNRS, \'Ecole Polytechnique, IP Paris, France 纠错

专题命中 效率与部署 ：pretraining(title)；post-training(abstract)；分类 cs.LG

AI总结 MIRO通过在训练过程中对模型施加多个奖励，直接学习用户偏好，从而提升文本到图像生成的质量和效率，同时在GenEval组合基准和用户偏好评分上取得最佳成绩。

Comments Accepted at ICML 2026. Project page: https://nicolas-dufour.github.io/miro

Rotation-Aligned Key Channel Pruning for Efficient Vision-Language Model Inference

旋转对齐的关键通道剪枝用于高效的视觉-语言模型推理

Beomseok Kang, Dongwon Jo, Jiwon Song, Donghwee Son, Jae-Joon Kim

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出旋转对齐的关键通道剪枝方法，通过压缩通道维度在固定KV缓存预算下保留更多视觉token，解决传统token剪枝在细粒度感知任务中的性能下降问题，同时提升解码效率。

TabQL: In-Context Q-Learning with Tabular Foundation Models

TabQL: 基于表格基础模型的上下文Q学习

Qisai Liu, Zhanhong Jiang, Timilehin Ayanlade, Ashutosh Kumar Nirala, Yang Li, Aditya Balu, Soumik Sarkar

机构 * Department of Mechanical Engineering（机械工程系） ； Iowa State University（爱荷华州立大学） ； Translational AI Center（转化人工智能中心） ； Department of Computer Science（计算机科学系） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出TabQL，一种基于表格基础模型的强化学习框架，通过上下文学习能力替代传统参数Q网络，提升Q值表示的适应性与效率。

When to Stop Reusing: Dynamic Gradient Gating for Sample-Efficient RLVR

何时停止重用：动态梯度门控用于样本高效的RLVR

Yuchun Miao, Sen Zhang, Yuqi Zhang, Yaorui Shi, Qi Gu, Xunliang Cai, Lefei Zhang

机构 * National Engineering Research Center for Multimedia Software, School of Computer Science, Wuhan University（国家多媒体软件工程研究中心，武汉大学计算机学院） ； Meituan Longcat Team（美团Longcat团队） ； The University of Sydney（悉尼大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出动态梯度门控（DGG）方法，通过实时监控lm_head梯度范数来检测并阻止有害的梯度传播，从而提高样本效率和训练速度。

Comments 23 pages, 10 figures

Theory-optimal Quantization Based on Flatness

基于平坦度的理论最优量化

Xiusheng Huang, Zhe Li, Xuanwu Yin, Lu Wang, Yequan Wang, Dong Li, Emad Barsoum, Kang Liu

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统重点实验室，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； AMD ； Ritzz-AI 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于平坦度的理论最优量化方法，通过分析量化误差与异常值之间的数学关系，引入了平坦度指标来量化异常值分布，并提出了双向对角量化框架BDQ，有效分散异常值模式，提升了大语言模型在低比特精度下的性能。

Comments 16 pages, 2 figures

Efficient Long-Context Modeling in Diffusion Language Models via Block Approximate Sparse Attention

通过块近似稀疏注意力实现扩散语言模型的高效长上下文建模

Wenhu Zhang, Yiming Wu, Huanyu Wang, Yaoyang Liu, Huanzhang Dou, Senqiao Yang, Sitong Wu, Hanbin Zhao, Jiaya Jia

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； The University of Hong Kong（香港大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 本文提出了一种块近似稀疏注意力框架（BA-Att），通过块级预下采样操作识别信息区域，避免依赖脆弱的位置先验，从而在保持高性能的同时提升计算效率，实验表明其在注意力计算上比FlashAttention快6.95倍，并在50%稀疏度下保持接近全注意力性能。

Comments CVPR 2026 Findings paper

iGSP:Implicit Gradient Subspace Projection for Efficient Continual Learning of Vision-Language Models

iGSP：隐式梯度子空间投影用于高效视觉-语言模型的持续学习

Xuezhi Cui, Dongbo Zhou, Wang Guo, Zeyuan Wang, Ziyu Li, Gaozhi Zhou, Xian Li, Ling Zhao, Wentao Yang, Chao Tao, Haifeng Li

机构 * School of Geosciences and Info-Physics, Central South University（地质科学与信息物理学院，中南大学） ； School of Earth Sciences and Spatial Information Engineering, Hunan University of Science and Technology（地球科学与空间信息工程学院，湖南科技大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 本文提出iGSP框架，通过隐式梯度子空间投影实现视觉-语言模型的高效持续学习，解决了传统方法在参数效率和任务间对齐一致性上的不足，显著提升了训练效率和知识重用率。

Towards Data-Efficient Video Pre-training with Frozen Image Foundation Models

迈向数据高效的视频预训练：使用冻结的图像基础模型

Svetlana Orlova, Niccolò Cavagnero, Gijs Dubbelman

机构 * Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)

AI总结 本文探讨了如何通过冻结预训练的图像基础模型并仅训练时间模块来实现数据高效的视频预训练，从而减少对大规模视频数据和计算资源的需求。

Comments Accepted to CVPR 2026 Workshops CV4Smalls

Mitigating Mask Prior Drift and Positional Attention Collapse in Large Diffusion Vision-Language Models

缓解大扩散视觉-语言模型中的遮蔽先验漂移和位置注意力崩溃

Sujung Hong, Chanyong Yoon, Seong Jae Hwang

机构 * Department of Artificial Intelligence, Yonsei University, Seoul, Republic of Korea（首尔大学人工智能系） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 本文研究了大扩散视觉-语言模型在长形式生成中的重复生成和视觉 grounding 退化问题，提出了一种无需训练的解决方案来缓解遮蔽先验漂移和位置注意力崩溃。

FlexDraft: Flexible Speculative Decoding via Attention Tuning and Bonus-Guided Calibration

FlexDraft: 通过注意力调节和奖励引导校准实现灵活的推测解码

Yaojie Zhang, Jianuo Huang, Junlong Ke, Yuhang Han, Yongji Long, Tianchen Zhao, Biqing Qi, Linfeng Zhang

机构 * EPIC Lab, SJTU（上海交通大学EPIC实验室） ； UESTC ； School of Software Engineering, HUST（华中科技大学软件工程学院） ； Tsinghua University（清华大学） ； HKUST(GZ)（香港科技大学（广州）） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；pretraining(abstract)；分类 cs.CL

AI总结 本文提出FlexDraft框架，通过注意力调节和奖励引导校准，灵活适应不同批处理大小，解决传统并行推测解码在大批次时的吞吐量下降问题。

Understanding and Exploiting Weight Update Sparsity for Communication-Efficient Distributed RL

理解并利用权重更新稀疏性以实现通信高效的分布式强化学习

Erfan Miahi, Eugene Belilovsky

机构 * Covenant AI ； Mila, Concordia University（蒙特利尔大学米尔实验室） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 本文研究了在带宽受限的分布式强化学习中，通过利用权重更新的稀疏性来减少通信开销，提出了一种名为PULSE的算法，通过计算可见稀疏化原则，实现了高效的权重同步和伪梯度同步。

Comments 40 pages, 19 figures, 14 tables

HeadRank: Decoding-Free Passage Reranking via Preference-Aligned Attention Heads

HeadRank: 通过偏好对齐的注意力头实现无需解码的段落重排序

Juyuan Wang, Chenxing Wang, Yuchen Fang, Huiyun Hu, Junwu Du, Aolin Li, Shunlin Rong, Haijun Wu, Jin Xu, Ligang Liu, Dongliang Liao

机构 * Weixin Group, Tencent, China（腾讯微信集团，中国） ； South China University of Technology, Guangzhou, China（华南理工大学，广州，中国） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；preference optimization(abstract)；分类 cs.AI

AI总结 本文提出HeadRank框架，通过熵正则化的头部选择、硬相邻级偏好对和分布正则化，在连续注意力域中提升偏好优化，从而在无需解码的情况下实现高效的段落重排序，其在多个基准测试中均取得最佳的平均NDCG@10成绩。

Learn-by-Wire Training Control Governance: Bounded Autonomous Training Under Stress for Stability and Efficiency

通过线学习的训练控制治理：在压力下受限制的自主训练以稳定性和效率

Anis Radianis

机构 * Qluon Inc.（Qluon公司） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种名为Learn-by-Wire Guard (LBW-Guard)的受限制自主训练控制治理层，用于在压力下提高大型语言模型的稳定性和效率，通过在AdamW之上进行有界控制，以保持固定训练目标。

Draft Less, Retrieve More: Hybrid Tree Construction for Speculative Decoding

少写多取：用于推测解码的混合树构建

Yuhao Shen, Tianyu Liu, Xinyi Hu, Quan Kong, Baolin Zhang, Jun Dai, Jun Zhang, Shuang Ge, Lei Chen, Yue Li, Mingcheng Wan, Cong Wang

机构 * Zhejiang University（浙江大学） ； Qwen Applications Business Group of Alibaba（阿里巴巴量子计算实验室） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种混合树构建方法Graft，通过结合剪枝和检索操作，解决了推测解码中资源分配的帕累托权衡问题，实现了在不同部署场景下的速度提升和接受率优化。

Block-Sphere Vector Quantization

块球向量量化

Heesang Ann, Joongkyu Lee, Min-hwan Oh

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文研究了向量量化方法，通过统一理论比较不同旋转量化器，揭示其性能依赖于特定的失真度量标准，并提出块球量化算法以改进旋转块量化。

MiMuon: Mixed Muon Optimizer with Improved Generalization for Large Models

MiMuon: 一种具有改进泛化能力的混合穆恩优化器用于大模型

Feihu Huang, Yuning Luo, Songcan Chen

机构 * College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院） ； MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（信息科技部模式分析与机器智能重点实验室） ； College of Design and Engineering, National University of Singapore（新加坡国立大学设计与工程学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了穆恩优化器的泛化误差，提出了一种改进的混合穆恩优化器MiMuon，证明其泛化误差更低，同时保持了与穆恩优化器相同的收敛速度。

Comments 25 pages

Rethinking the Design Space of Reinforcement Learning for Diffusion Models: On the Importance of Likelihood Estimation Beyond Loss Design

重新思考扩散模型强化学习的设计空间：超越损失设计的似然估计的重要性

Jaemoo Choi, Yuchen Zhu, Wei Guo, Petr Molodyk, Bo Yuan, Jinbin Bai, Yi Xin, Molei Tao, Yongxin Chen

机构 * Georgia Institute of Technology（佐治亚理工学院） ； National University of Singapore（新加坡国立大学） ； Nanjing university（南京大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文研究了扩散模型强化学习设计空间中的关键问题，通过分解策略梯度目标、似然估计器和回放采样方案三个因素，发现基于证据下界（ELBO）的模型似然估计器是实现有效、高效和稳定强化学习优化的主要因素，优于特定策略梯度损失函数的影响。

Comments 23 pages, 11 figures

MaxShapley: Towards Incentive-compatible Generative Search with Fair Context Attribution

MaxShapley：迈向具有公平上下文归因的激励兼容生成搜索

Sara Patel, Mingxun Zhou, Giulia Fanti

机构 * Carnegie Mellon University（卡内基梅隆大学） ； HKUST（香港科技大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MaxShapley算法，用于在生成搜索流程中公平地归因和补偿内容提供者，该算法基于Shapley值的特例，通过可分解的max-sum效用函数在多项式时间内计算归因，相比Shapley值的指数成本具有更高的效率。

D-PACE: Dynamic Position-Aware Cross-Entropy for Parallel Speculative Drafting

D-PACE：动态位置感知交叉熵用于并行推测草案

Tianyu Wu, Yu Yao, Zhenting Qi, Han Zheng, Zhuohan Wang, Haoran Ma, Lawrence Liao, Himabindu Lakkaraju, Ju Li, Yilun Du

机构 * Harvard（哈佛大学） ； MIT（麻省理工学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出D-PACE，一种动态位置感知交叉熵，用于改进并行推测草案的训练，通过动态调整位置权重以提高生成速度和输出长度。

The Accessibility Capability Boundary: Operational Limits and Expansion Potential of AI-Generated Browser-Native Accessibility Systems

可访问性能力边界：AI生成浏览器原生可访问性系统的操作极限与扩展潜力

Rizwan Jahangir, Daisuke Ishii

机构 * NUST Business School, NUST（NUST商学院，NUST） ； Kiara Inc.（Kiara公司） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出可访问性能力边界（ACB）理论框架，探讨AI生成浏览器原生可访问性系统在操作极限和扩展潜力方面的核心问题，并通过实证原型分析，定义了可访问性能力空间中的可达区域和不可达区域，为自主可访问性计算的可扩展性提供了理论基础。

Comments 21 pages, 4 figures

BrainDyn: A Sheaf Neural ODE for Generative Brain Dynamics

BrainDyn: 一种用于生成脑动态的sheaf神经ODE

Siddharth Viswanath, Panayiotis Ketonis, Chen Liu, Michael Perlmutter, Dhananjay Bhaskar, Smita Krishnaswamy

机构 * Yale University（耶鲁大学） ； Boise State University（博伊西州立大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出BrainDyn，一种基于sheaf神经ODE的模型，用于生成脑动态，通过LSTM编码脑区活动历史，利用sheaf拉普拉斯算子促进信息传递，实现跨模态的强预测能力。

Efficient Pre-Training with Token Superposition

高效的token叠加预训练

Bowen Peng, Théo Gigant, Jeffrey Quesnelle

机构 * Nous Research 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出了一种名为Token-Superposition Training (TST) 的方法，通过在不修改模型架构的情况下，提高预训练的数据吞吐量，从而在大规模预训练中实现更高的效率和性能。

Comments 25 pages, 11 figures, 28 tables

ETS: Energy-Guided Test-Time Scaling for Training-Free RL Alignment

ETS: 为无训练强化学习对齐的能耗引导测试时缩放

Xiuyu Li, Jinkai Zhang, Mingyang Yi, Yu Li, Longqiang Wang, Yue Wang, Ju Fan

机构 * Renmin University of China, Beijing, China（中国人民大学，北京，中国） ； Zhongguancun Academy, Beijing, China（中关村学院，北京，中国） 纠错

专题命中 效率与部署 ：language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 本文提出了一种无需训练的推理方法，直接从最优强化学习策略中采样，通过结合参考策略模型和能耗项来改进掩码语言模型的过渡概率，并通过在线蒙特卡洛方法估计关键能耗项，从而提高生成质量。

Comments Accepted by ICML 2026

Data-Efficient Self-Supervised Algorithms for Fine-Grained Birdsong Analysis

用于细粒度鸟类叫声分析的数据高效自监督算法

Houtan Ghaffari, Lukas Rauch, Paul Devos

机构 * Department of Information Technology, Ghent University（根特大学信息科技系） ； Intelligent Embedded Systems, University of Kassel（卡塞尔大学智能嵌入式系统） 纠错

专题命中 效率与部署 ：pretraining(abstract)；post-training(abstract)；分类 cs.LG

AI总结 本文提出了一种数据高效的鸟类叫声标注器，通过三阶段训练流程在最小标注情况下开发可靠的鸟类叫声音节检测器，并在极端标注稀缺场景下验证了其有效性，同时评估了自监督嵌入在线性探测和无监督鸟类叫声分析中的潜力。

Surviving the Unseen: Predictive Defense for Novel Multi-Turn Multimodal Attacks

在不可见中存活：面向新颖多轮多模态攻击的预测防御

Doohee You

机构 * Trust and Safety, Google（谷歌信任与安全部） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种预测性防御方法，用于应对新颖多轮多模态攻击，通过动态生存预测和轨迹动态问题来解决静态防御机制的不足，建立了一个计算高效且可解释的安全保障框架。

Beyond Action Residuals: Real-World Robot Policy Steering via Bottleneck Latent Reinforcement Learning

超越动作残差：通过瓶颈潜在强化学习实现现实世界机器人策略引导

Dongjie Yu, Kun Lei, Zhennan Jiang, Jia Pan, Huazhe Xu

机构 * School of Computing and Data Science, The University of Hong Kong（香港大学计算与数据科学学院） ； Shanghai Qizhi Institute（上海启智研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） 纠错

专题命中 效率与部署 ：pretraining(abstract)；post-training(abstract)

AI总结 本文提出了一种名为Z-Perturbation Reinforcement Learning（ZPRL）的方法，通过紧凑的瓶颈潜在空间来引导预训练策略，从而提高样本效率和最终性能，同时在现实世界任务中显著提升了成功率。

DynaTok: Temporally Adaptive and Positional Bias-Aware Token Compression for Video-LLMs

DynaTok: 时序自适应和位置偏见感知的视频大语言模型token压缩

Minyoung Park, Taehun Kong, Sangjun Ahn

机构 * LG Electronics, Seoul, South Korea（LG电子，首尔，韩国） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 本文提出DynaTok，一种无需训练的时序自适应和位置偏见感知的token压缩框架，通过在时序和空间维度上分配token预算，有效减少冗余的时空覆盖，提升视频大语言模型的效率和鲁棒性。

JanusPipe: Efficient Pipeline Parallel Training for Machine Learning Interatomic Potentials

JanusPipe: 用于机器学习互原子势的高效流水线并行训练

Hongyu Wang, Weijian Liu, Hongtao Xu, Yan Wang, Mingzhen Li, Weile Jia, Guangming Tan

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 本文提出JanusPipe，一种针对保守型机器学习互原子势的高效3D并行（PP/DP/GP）训练系统，通过SymFold实现内存高效的流水线并行，利用WaveK平衡计算时间以减少流水线气泡，实验表明其在32块GPU上相比1F1B和Hanayo分别提升了1.51倍和1.45倍的吞吐量。

Comments 18 pages; 17 figures

WIND: Weather Inverse Diffusion for Zero-Shot Atmospheric Modeling

WIND：用于零样本大气建模的天气反向扩散

Michael Aich, Andreas Fürst, Florian Sestak, Carlos Ruiz-Gonzalez, Niklas Boers, Johannes Brandstetter

机构 * Munich Climate Center（慕尼黑气候中心） ； Earth System Modelling Group, TUM School of Engineering（地球系统建模组，技术大学工程学院） ； Design, Technical University of Munich, Germany（设计，慕尼黑技术大学，德国） ； ELLIS Unit, LIT AI Lab, Institute for Machine Learning, JKU Linz, Austria（ELLIS单元，LIT人工智能实验室，机器学习研究所，JKU林茨，奥地利） ； Emmi AI GmbH, Linz, Austria（Emmi AI GmbH，林茨，奥地利） ； Potsdam Institute for Climate Impact Research, Potsdam, Germany（波茨坦气候影响研究所，波茨坦，德国） ； Department of Mathematics, University of Exeter, Exeter, United Kingdom（数学系，埃克塞特大学，埃克塞特，英国） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出WIND，一种统一的预训练基础模型，能够无需任务特定微调即可替代各种任务的专用基线，通过自监督视频重建目标预训练，实现了对大气的鲁棒、任务无关的先验学习，从而解决天气和气候问题，如概率预报、空间时间降尺度、从稀疏观测重建空间场以及强制全球干空气质量守恒。

Comments Published at the 43rd International Conference on Machine Learning (ICML 2026)