ICML

Gradient Transformer: Learning to Generate Updates for LLMs

梯度变换器：学习为大语言模型生成更新

Binh-Nguyen Nguyen, Khang Tran, NhatHai Phan, Issa Khalil

机构 * Department of Data Science, New Jersey Institute of Technology, Newark, NJ, USA（数据科学系，新泽西理工学院，新泽西州诺克斯维尔） ； Qatar Computing Research Institute, HBKU, Doha, Qatar（卡塔尔计算研究所，HBKU，多哈） 纠错

AI总结 提出一种无数据知识蒸馏框架，利用梯度变换器将微调后小语言模型的更新向量转换为大语言模型的更新向量，实现无需私有数据即可更新大模型。

Comments Accepted at ICML 2026

SparseOpt: Addressing Normalization-induced Gradient Skew in Sparse Training

SparseOpt：解决稀疏训练中归一化引起的梯度倾斜

Mohammed Adnan, Rohan Jain, Tom Jacobs, Ekansh Sharma, Rahul G. Krishnan, Rebekka Burkholz, Yani Ioannou

机构 * University of Calgary（卡尔加里大学） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全中心） 纠错

AI总结 针对动态稀疏训练收敛慢的问题，通过分析批归一化对稀疏训练的不利影响，提出稀疏感知优化器SparseOpt，实现更快的收敛和更好的泛化。

Comments Accepted International Conference on Machine Learning (ICML) 2026

Balancing Fidelity and Diversity in Diffusion Models via Symmetric Attention Decomposition: Hopfield Perspective

通过对称注意力分解平衡扩散模型中的保真度与多样性：Hopfield视角

Hyunmin Cho, Woo Kyoung Han, Kyong Hwan Jin

机构 * Department of Electrical Engineering, Korea University, Seoul, South Korea（韩国大学电子工程系，首尔，韩国） 纠错

AI总结 本文通过将Transformer中的注意力矩阵分解为对称和反对称部分，从Hopfield网络视角解释并调控扩散模型生成中的保真度-多样性权衡。

Comments Accepted to ICML 2026 (Regular)

Quantifying Empirical Compute-Supervision Tradeoffs in RLVR

量化 RLVR 中计算与监督的实证权衡

Ryo Mitsuhashi, Patrick Chen, Isabelle Tseng, Jasin Cekinmez, Addison J. Wu

机构 * Princeton University（普林斯顿大学） 纠错

AI总结 通过 GSM8K 上的 GRPO 实验，研究验证器噪声对 RLVR 的影响，发现计算扩展无法弥补监督噪声，且假阴性比假阳性危害更大。

Comments Workshop on Combining Theory and Benchmarks @ ICML 2026

Boosting Inference with Guided Reasoning: Stochastic Exploration for Recursive Models

通过引导推理提升推理能力：递归模型的随机探索

Andrew Corbett, Archit Sood, Anna Tzatzopoulou, Sai-Aakash Ramesh, Tim Dodwell

机构 * digiLab, UK（digiLab, 英国） ； University of Bristol, UK（英国布里斯托尔大学） 纠错

AI总结 提出引导随机探索方法，通过随机扰动推理轨迹并在线重加权，提升递归模型在结构化推理任务上的性能，无需重新训练。

Comments Presented at the proceedings of the ICML 2026 Workshop on Structured Probabilistic Inference & Generative Modeling (SPIGM)}, Seoul, South Korea. 2026

The Shape of Reasoning: Topological Analysis of Reasoning Traces in Large Language Models

推理的形状：大型语言模型中推理轨迹的拓扑分析

Xue Wen Tan, Nathaniel Tan, Galen Lee, Stanley Kok

机构 * University of Cambridge, Department of Engineering, England（剑桥大学工程系） ； National University of Singapore, School of Computing, Singapore（新加坡国立大学计算机学院） 纠错

AI总结 提出基于拓扑数据分析（TDA）的评估框架，通过捕捉推理轨迹的几何结构实现高效自动评估，实验表明拓扑特征比图指标更有效预测推理质量。

Comments Accepted in ICML 2026 Workshop: Epistemic Intelligence in Machine Learning

Learning Query-Aware Budget-Tier Routing for Runtime Agent Memory

学习面向运行时智能体记忆的查询感知预算层级路由

Haozhen Zhang, Haodong Yue, Tao Feng, Quanyu Long, Jianzhu Bao, Bowen Jin, Weizhi Zhang, Xiao Li, Jiaxuan You, Chengwei Qin, Wenya Wang

机构 * Nanyang Technological University（南洋理工大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Illinois Chicago（伊利诺伊大学香槟分校） ； Tsinghua University（清华大学） ； Sun Yat-sen University（中山大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

AI总结 提出 BudgetMem 框架，通过强化学习训练的轻量级路由器实现查询感知的预算层级路由，以在运行时平衡任务性能与记忆构建成本。

Comments Accepted by ICML 2026. Code is available at https://github.com/ViktorAxelsen/BudgetMem

TideGS: Scalable Training of Over One Billion 3D Gaussian Splatting Primitives via Out-of-Core Optimization

TideGS: 通过外存优化训练超过十亿个3D高斯溅射基元

Chonghao Zhong, Linfeng Shi, Hua Chen, Tiecheng Sun, Hao Zhao, Binhang Yuan, Chaojian Li

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Tsinghua University（清华大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

AI总结 针对大规模3D高斯溅射训练的内存瓶颈，提出TideGS外存训练框架，通过SSD-CPU-GPU层次化管理和三种协同技术，在单GPU上实现超过十亿高斯基元的训练并达到最优重建质量。

Comments Accepted to ICML 2026 as Spotlight. Website: https://sponge-lab.github.io/TideGS

Position: The Turing-Completeness of Autoregressive Transformers Relies Heavily on Context Management

立场：自回归Transformer的图灵完备性高度依赖于上下文管理

Guanyu Cui, Zhewei Wei, Kun He

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院） ； DEKE Lab, Renmin University of China, Beijing, China（中国人民大学北京校区DEKE实验室） 纠错

AI总结 本文通过区分固定系统和缩放族两种设置，论证了上下文管理方法对自回归Transformer计算能力的决定性影响，并指出缩放族设置下的图灵完备性证明不适用于实际部署的固定系统。

Comments Accepted to the ICML 2026 Position Paper Track

Mind Dreamer: Untethering Imagination via Active Causal Intervention on Latent Manifolds

Mind Dreamer: 通过潜在流形上的主动因果干预释放想象力

Shaojun Xu, Xiaoling Zhou, Yihan Lin, Yapeng Meng, Xinglong Ji, Luping Shi, Rong Zhao

机构 * Center for Brain-Inspired Computing Research, Department of Precision Instrument, Tsinghua University, Beijing, China（脑启发计算研究中心，精密仪器系，清华大学，北京，中国） ； College of Computer Science and Technology, Zhejiang University, Hangzhou, China（计算机科学与技术学院，浙江大学，杭州，中国） ； Pen-Tung Sah Institute of Micro-Nano Science and Technology, Xiamen University, Xiamen, China（彭途萨微纳米科学与技术研究院，厦门大学，厦门，中国） 纠错

AI总结 针对基于模型的强化学习中历史束缚导致策略优化滞后的问题，提出Mind Dreamer框架，通过主动因果干预生成非连续潜在跳跃，并推导中继价值函数与中继不确定性函数，实现样本效率提升。

Comments 34 pages, 7 figures, ICML 2026 accepted

Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination

VLMs 是在看还是只是在说？揭示视觉重新检查的幻觉

Chufan Shi, Cheng Yang, Yaokang Wu, Linghao Jin, Bo Shui, Taylor Berg-Kirkpatrick, Xuezhe Ma

机构 * University of Southern California（南加州大学） ； University of California San Diego（加州大学圣地亚哥分校） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

AI总结 通过图像交换探测框架 VisualSwap 和 800 对图像基准 VS-Bench，发现视觉语言模型在推理时声称的“重新检查图像”多为文本模式，而非真正的视觉重新检查，且思考模型更易受影响，用户指令可恢复视觉基础但自我反思无效。

Comments ICML 2026 Oral

Self-Prompting Diffusion Transformer for Open-Vocabulary Scene Text Editing via In-Context Learning

自提示扩散变压器用于开放词汇场景文本编辑的上下文学习

Hongxi Li, Tong Wang, Chengjing Wu, Tianbao Liu, Jiangtao Yao, Xiaochao Qu, Xinxiao Wu, Luoqi Liu, Ting Liu

机构 * MT Lab, Meitu Inc., Beijing, China ； School of Computer Science \& Technology, Beijing Institute of Technology, Beijing, China 纠错

AI总结 提出一种自提示场景文本编辑方法，通过构建风格和字形提示，利用多模态扩散变压器的上下文学习能力，实现开放词汇和风格一致的文本编辑。

Comments ICML 2026

ArcVQ-VAE: A Spherical Vector Quantization Framework with ArcCosine Additive Margin

ArcVQ-VAE：一种带有反余弦加性边界的球面向量量化框架

Jaeyung Kim, YoungJoon Yoo

机构 * Department of Artificial Intelligence, Chung-Ang University, Seoul, Republic of Korea（韩国首尔 Chung-Ang 大学人工智能系） ； SNUAILAB, Seoul, Republic of Korea（韩国首尔 SNUAILAB 实验室） 纠错

AI总结 针对VQ-VAE有限码本容量限制表示能力的问题，提出ArcVQ-VAE框架，通过引入球面角边先验（包括球界范数正则化和反余弦加性边界损失）增强潜在表示的判别性和均匀分散性，提升码本利用率，在图像重建和生成任务上取得竞争性能。

Comments To appear in Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

XTransfer: Modality-Agnostic Few-Shot Model Transfer for Human Sensing at the Edge

XTransfer: 面向边缘人体感知的模态无关小样本模型迁移

Yu Zhang, Xi Zhang, Hualin Zhou, Xinyuan Chen, Shang Gao, Hong Jia, Jianfei Yang, Yuankai Qi, Tao Gu

机构 * Macquarie University, Sydney, NSW, Australia（麦考瑞大学，悉尼，新南威尔士州，澳大利亚） ； Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； The University of Auckland, Auckland, New Zealand（奥克兰大学，奥克兰，新西兰） 纠错

AI总结 提出XTransfer方法，通过模型修复和层重组实现模态无关的小样本模型迁移，降低传感器数据收集、模型训练和边缘部署成本。

Comments Accepted at ICML2026

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML 2026), Seoul, South Korea, 6-11 July 2026

Smoothing Slot Attention Iterations and Recurrences

平滑槽注意力迭代与循环

Rongzhen Zhao, Wenyan Yang, Juho Kannala, Joni Pajarinen

机构 * Department of Electrical Engineering and Automation, Aalto University, Espoo, Finland（电气工程与自动化系，阿alto大学，埃斯波，芬兰） ； Department of Computer Science, Aalto University, Espoo, Finland（计算机科学系，阿alto大学，埃斯波，芬兰） ； Center for Machine Vision and Signal Analysis, University of Oulu, Oulu, Finland（机器视觉与信号分析中心，奥卢大学，奥卢，芬兰） 纠错

AI总结 针对槽注意力在图像首帧冷启动查询缺乏样本特异性及视频帧间聚合变换同质化的问题，提出SmoothSA方法，通过预热冷启动查询和差异化迭代次数来平滑迭代与循环，提升目标发现、识别与推理性能。

Comments Accepted to ICML 2026

Decoupling Reasoning and Confidence: Resurrecting Calibration in Reinforcement Learning from Verifiable Rewards

解耦推理与置信度：在可验证奖励的强化学习中恢复校准

Zhengzhao Ma, Xueru Wen, Boxi Cao, Yaojie Lu, Hongyu Lin, Jinglin Yang, Min He, Xianpei Han, Le Sun

机构 * Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences, Beijing, China（中国科学院软件研究所信息处理实验室） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学） ； Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学网络安全学院） ； National Computer Network Emergency Response Technical Team/Coordination Center of China, Beijing, China（中国国家计算机网络应急技术配合中心） 纠错

AI总结 针对RLVR中模型校准退化问题，提出DCPO框架通过解耦推理与校准目标，在保持准确率的同时显著改善校准性能并缓解过度自信。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

S2MAM: Semi-supervised Meta Additive Model for Robust Estimation and Variable Selection

S2MAM: 半监督元加性模型用于稳健估计和变量选择

Xuelin Zhang, Hong Chen, Yingjie Wang, Tieliang Gong, Bin Gu

机构 * Huazhong Agricultural University（华中农业大学） ； China University of Petroleum (East China)（中国石油大学（华东）） ； Xi'an Jiaotong University（西安交通大学） ； Jilin University（吉林大学） 纠错

AI总结 提出基于双层优化的半监督元加性模型，自动识别信息变量、更新相似矩阵并实现可解释预测，理论保证收敛性和泛化界，实验验证了鲁棒性和可解释性。

Comments Accepted by ICML'2026 as Accept (regular)

LASER: Learning Active Sensing for Continuum Field Reconstruction

LASER: 用于连续场重建的学习主动感知

Huayu Deng, Jinghui Zhong, Xiangming Zhu, Yunbo Wang, Xiaokang Yang

机构 * MoE Key Lab of Artificial Intelligence, AI Institute, School of Computer Science, Shanghai Jiao Tong University（人工智能MOE重点实验室、人工智能研究院、计算机科学学院、上海交通大学） 纠错

AI总结 提出LASER框架，将主动感知建模为部分可观测马尔可夫决策过程，利用连续场潜在世界模型和强化学习策略在潜在想象空间中模拟感知场景，实现稀疏约束下的高保真重建。

Comments Accepted by ICML 2026 (Oral)

Reasoning on the Manifold: Bidirectional Consistency for Self-Verification in Diffusion Language Models

流形上的推理：扩散语言模型中用于自我验证的双向一致性

Jiaoyang Ruan, Xin Gao, Yinda Chen, Hengyu Zeng, Liang Du, Guanghao Li, Jie Fu, Jian Pu

机构 * Institute of Science and Technology for Brain-Inspired Intelligence（脑启发智能科学与技术研究院） ； Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of Science and Technology of China（中国科学技术大学） ； IEG, Tencent Inc.（腾讯IEG） 纠错

AI总结 提出双向流形一致性（BMC），一种无训练、无监督的度量方法，通过前向掩码和后向重建循环量化生成序列的稳定性，用于扩散语言模型的诊断、推理和对齐。

Comments 31 pages, 7 figures. Accepted to the 43rd International Conference on Machine Learning (ICML 2026). Camera-ready version

Journal ref Proceedings of the 43rd International Conference on Machine Learning, PMLR 306, 2026

Prompt Optimization Is a Coin Flip: Diagnosing When It Helps in Compound AI Systems

提示优化如同抛硬币：诊断其在复合AI系统中何时有效

Xing Zhang, Guanghui Wang, Yanwei Cui, Wei Qiu, Ziyuan Li, Bing Zhu, Peiyang He

机构 * AWS Generative AI Innovation Center（AWS生成式AI创新中心） ； HSBC Holdings Plc., HSBC Technology Center, China（汇丰控股有限公司，汇丰技术中心，中国） 纠错

AI总结 通过大量实验发现提示优化在复合AI系统中效果不稳定，仅当任务具有可挖掘的输出结构时才有帮助，并提供了两阶段诊断方法。

Comments Accepted to the 1st Workshop on Combining Theory and Benchmarks, CTB@ICML 2026, Seoul, South Korea

Early Decisions Matter: Proximity Bias and Initial Trajectory Shaping in Non-Autoregressive Diffusion Language Models

早期决策至关重要：非自回归扩散语言模型中的邻近偏差与初始轨迹塑造

Jiyeon Kim, Sungik Choi, Yongrae Jo, Moontae Lee, Minjoon Seo

机构 * LG AI Research（LG人工智能研究） 纠错

AI总结 本文通过分析非自回归扩散语言模型的推理动态，发现其存在邻近偏差导致的错误传播问题，并提出一种轻量级规划器和序列结束温度退火方法来引导早期令牌选择，从而显著提升推理与规划任务的性能。

Comments ICML 2026 Camera Ready

Compositional Consistency-Guided Decoding for Three-Way Logical Question Answering

面向三值逻辑问答的成分一致性引导解码

Tianyi Huang, Ming Hou, Jiaheng Su, Yutong Zhang, Ziling Zhang

AI总结 针对大语言模型在三值逻辑问答中的否定不一致和认知未知问题，提出一种轻量级测试时解码层CGD-PD，通过神经三值分类、符号否定一致性投影和定向二值蕴含探测，在FOLIO数据集上提升准确率4.4-6.8点并减少未知预测。

Comments Accepted at the ICML 2026 Workshop on Compositional Learning: Safety, Interpretability, and Agents

HO-SFL: Hybrid-Order Split Federated Learning with Backprop-Free Clients and Dimension-Free Aggregation

HO-SFL: 混合阶分割联邦学习，无反向传播客户端与维度无关聚合

Qiyuan Chen, Xian Wu, Yi Wang, Xianhao Chen

机构 * Department of Electrical and Computer Engineering, The University of Hong Kong, Hong Kong SAR, China（电子与计算机工程系，香港大学，香港特别行政区，中国） 纠错

AI总结 提出HO-SFL框架，通过拉格朗日框架重构分割学习，服务器执行一阶更新而客户端进行零阶优化，实现无反向传播客户端、维度无关聚合，理论证明收敛速度与一阶方法相当，实验验证通信和内存成本显著降低。

Comments Accepted to ICML 2026

Conditionally Site-Independent Neural Evolution of Antibody Sequences

抗体序列的条件性位点无关神经进化

Stephen Zhewen Lu, Aakarsh Vermani, Kohei Sanno, Jiarui Lu, Frederick A Matsen, Milind Jagota, Yun S. Song

机构 * University of California, Berkeley ； Columbia University ； Mila - Qu \'e bec AI Institute ； Fred Hutchinson Cancer Research Center ； University of Washington ； Howard Hughes Medical Institute 纠错

AI总结 提出CoSiNE模型，用深度神经网络参数化的连续时间马尔可夫链桥接系统发育模型与深度学习，实现抗体序列进化建模，在零样本变异效应预测中优于现有语言模型，并引入引导吉莱斯皮采样优化抗体亲和力。

Comments 28 pages, 15 figures. Accepted as a poster at ICML 2026

Bullet Trains: Parallelizing Training of Temporally Precise Spiking Neural Networks

子弹列车：并行训练时间精确的脉冲神经网络

Todd Morrill, Christian Pehle, Anthony Zador

机构 * Columbia University（哥伦比亚大学） ； Cold Spring Harbor Laboratory（冷泉港实验室） 纠错

AI总结 提出使用并行关联扫描和可微脉冲时间求解器，实现精确硬重置动力学下的脉冲神经网络高效训练，在GPU上获得高达44倍加速。

Comments Published as a conference paper at ICML 2026

DAISI: Data Assimilation with Inverse Sampling using Stochastic Interpolants

DAISI：基于随机插值逆采样的数据同化

Martin Andrae, Erik Wikingsson, So Takao, Tomas Landelius, Fredrik Lindsten

机构 * STIMA（统计与机器学习系） ； California Institute of Technology（加州理工学院） ； Swedish Meteorological and Hydrological Institute（瑞典气象与水文研究所） 纠错

AI总结 提出DAISI算法，利用流式生成模型实现灵活的概率推断，通过逆采样结合预报信息与观测数据，解决传统高斯近似在复杂非线性系统中的局限性。

Comments Accepted at the International Conference on Machine Learning 2026, 44 pages, 28 figures

RelaxFlow: Text-Driven Amodal 3D Generation

RelaxFlow: 文本驱动的非模态3D生成

Jiayin Zhu, Guoji Fu, Xiaolu Liu, Qiyuan He, Yicong Li, Angela Yao

机构 * National University of Singapore（新加坡国立大学） ； Zhejiang University（浙江大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 针对遮挡下图像到3D生成的语义歧义问题，提出无训练的双分支框架RelaxFlow，通过多先验共识模块和松弛机制解耦控制粒度，实现文本提示引导下对未观察区域的补全，同时严格保留输入观测。

Comments Accepted as a spotlight presentation at ICML 2026. Code: https://github.com/viridityzhu/RelaxFlow

Neural Implicit Action Fields: From Discrete Waypoints to Continuous Functions for Vision-Language-Action Models

神经隐式动作场：从离散路点到连续函数的视觉-语言-动作模型

Haoyun Liu, Jianzhuang Zhao, Xinyuan Chang, Tianle Shi, Chuanzhang Meng, Jiayuan Tan, Feng Xiong, Tong Lin, Dongjie Huo, Mu Xu, SongLin Dong, Zhiheng Ma, Yihong Gong, Sheng Zhong

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； Faculty of Computility Microelectronics, Shenzhen University of Advanced Technology（深圳大学计算微电子学院） ； Guangdong Provincial Key Laboratory of Computility Microelectronics（广东省计算微电子重点实验室） ； Amap, Alibaba Group（阿里集团Amap） ； Shenzhen University（深圳大学） ； Xi'an Jiaotong University（西安交通大学） ； Beijing University of Chemical Technology（北京化工大学） 纠错

AI总结 针对视觉-语言-动作模型预测离散动作路点与物理运动连续性不匹配的问题，提出神经隐式动作场（NIAF），通过将动作表示从离散路点重构为连续函数，实现任意时间分辨率的连续动作流形合成，支持解析求导和显式速度监督，提升控制平滑性和物理合理性。

Comments Accepted at ICML 2026

Persona2Web: Benchmarking Personalized Web Agents for Contextual Reasoning with User History

Persona2Web: 基于用户历史进行上下文推理的个性化Web智能体基准

Serin Kim, Sangam Lee, Dongha Lee

机构 * Department of Artificial Intelligence, Yonsei University, Seoul, Republic of Korea（人工智能系，延世大学，首尔，大韩民国） 纠错

AI总结 提出Persona2Web基准，通过澄清-个性化原则评估Web智能体在真实开放网络中利用用户历史解决模糊查询的个性化能力，并引入推理感知评估框架。

Comments Accepted to ICML 2026

The Obfuscation Atlas: Mapping Where Honesty Emerges in RLVR with Deception Probes

混淆图谱：使用欺骗探针映射RLVR中诚实出现的位置

Mohammad Taufeeque, Stefan Heimersheim, Adam Gleave, Chris Cundy

AI总结 本文通过构建一个自然产生奖励黑客行为的编码环境，研究在对抗白盒欺骗检测器训练时模型出现的混淆策略，并引入分类法分析诚实、混淆激活和混淆策略三种结果。

Comments Accepted at ICML 2026 (Oral presentation). 30 pages, 14 figures