ICML

Hallucination is a Consequence of Space-Optimality: A Rate-Distortion Theorem for Membership Testing

幻觉是空间最优性的结果：成员测试的率失真定理

Anxin Guo, Jingwei Li

机构 * Computer Science Department, Northwestern University（西北大学计算机科学系） ； Department of IEOR, Columbia University（哥伦比亚大学工业工程与运筹学系） 纠错

AI总结 通过将幻觉形式化为成员测试问题，建立率失真定理，证明在有限容量下信息论最优策略必然导致对某些非事实的高置信度，从而产生幻觉。

Comments ICML 2026

MineDraft: A Framework for Batch Parallel Speculative Decoding

MineDraft: 批量并行推测解码框架

Zhenwei Tang, Arun Verma, Zijian Zhou, Zhaoxuan Wu, Alok Prakash, Daniela Rus, Bryan Kian Hsiang Low

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Toyota Research Institute（丰田研究院） ； Toyota Motor Corporation（丰田公司） 纠错

AI总结 提出MineDraft框架，通过批量并行设计将草稿生成与验证阶段重叠，显著提升推测解码的吞吐量和端到端延迟。

Comments Accepted at ICML 2026

A Hypertoroidal Covering for Perfect Color Equivariance

完美颜色等变的超环面覆盖

Yulong Yang, Zhikun Xu, Yaojun Li, Christine Allen-Blanchette

AI总结 提出一种通过将区间值提升到圆上的双覆盖来构建真正等变的颜色等变架构，解决了先前方法中近似饱和度和亮度为1D平移带来的伪影问题，在细粒度分类和医学成像等任务上提升了性能。

Comments Accept to the 43rd International Conference on Machine Learning (ICML 2026)

DAPD: Dependency-Aware Parallel Decoding via Attention for Diffusion LLMs

DAPD: 面向扩散LLM的基于注意力的依赖感知并行解码

Bumjun Kim, Dongjae Jeon, Moongyu Jeon, Albert No

机构 * KAIST（韩国科学技术院） 纠错

AI总结 提出一种无需训练的并行解码方法DAPD，利用自注意力构建掩码标记的依赖图，通过选择独立集并行解码，避免强耦合标记同时更新，提升了扩散LLM的精度-步数权衡。

Comments Accepted at ICML 2026

On Information Self-Locking in Reinforcement Learning for Active Reasoning of LLM agents

强化学习中信息自锁现象及其在LLM智能体主动推理中的应用

Deyu Zou, Yongqiang Chen, Fan Feng, Mufei Li, Pan Li, Yu Gong, James Cheng

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 针对LLM智能体在主动推理中因强化学习导致的信息自锁问题，提出基于优势重加权的方法AREW，通过方向性批评重新分配轨迹信用，显著提升智能体性能。

Comments Accepted by ICML 2026

Training-Free Coverless Multi-Image Steganography with Access Control

免训练的无载体多图像隐写术与访问控制

Minyeol Bae, Si-Hyeon Lee

机构 * Department of Computer Science, Seoul National University（首尔国立大学计算机科学系） 纠错

AI总结 提出MIDAS框架，通过潜在级融合实现免训练的多图像隐写与用户特定访问控制，引入随机基机制抑制残差结构信息，并理论分析信息泄露。

Comments Accepted (Poster) at ICML 2026

DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention

DyLLM: 基于显著性标记选择与部分注意力的高效扩散LLM推理

Younjoo Lee, Seungkyun Dan, Junghoo Lee, Jaiyoung Park, Jung Ho Ahn

机构 * University of Seoul（首尔大学） 纠错

AI总结 针对扩散语言模型迭代去噪计算昂贵的问题，提出DyLLM框架，通过仅计算显著标记的注意力与前馈操作，实现无需训练的加速推理，在保持精度的同时吞吐量提升高达9.6倍。

Comments 21 pages, 10 figures, 7 tables, accepted at ICML 2026

SmartThinker: Progressive Chain-of-Thought Length Calibration for Efficient Large Language Model Reasoning

SmartThinker: 渐进式思维链长度校准以实现高效的大语言模型推理

Chenzhi Hu, Qinzhe Hu, Yuhang Xu, Junyi Chen, Ruijie Wang, Shengzhong Liu, Jianxin Li, Fan Wu, Guihai Chen

机构 * Tsinghua University（清华大学） 纠错

AI总结 针对大型推理模型输出冗余问题，提出基于GRPO的渐进式CoT长度校准方法SmartThinker，通过动态估计最优长度和调节长度奖励系数，在压缩响应长度同时提升准确率。

Comments Accepted by ICML 2026, 18 pages, 13 figures

Vision Language Models Cannot Reason About Physical Transformation

视觉语言模型无法推理物理变换

Dezhi Luo, Yijiang Li, Maijunxian Wang, Tianwei Zhao, Bingyang Wang, Siheng Wang, Pinyuan Feng, Pooyan Rahmanzadehgervi, Ziqiao Ma, Hokin Deng

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 本文通过构建ConservationBench基准，评估112个视觉语言模型在物理守恒任务上的表现，发现模型在动态场景中无法维持物理属性的变换不变性。

Comments Accepted by ICML 2026

WorldCache: Accelerating World Models for Free via Heterogeneous Token Caching

WorldCache: 通过异构令牌缓存免费加速世界模型

Weilun Feng, Guoxin Fan, Haotong Qin, Mingqiang Wu, Yuqi Li, Xiangqi Li, Zhulin An, Libo Huang, Dingrui Wang, Longlong Liao, Michele Magno, Yongjun Xu, Chuanguang Yang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 针对扩散世界模型中令牌异质性和非均匀时间动态导致的推理慢问题，提出基于曲率引导的异构令牌预测和混沌优先自适应跳过的缓存框架WorldCache，实现高达3.7倍加速并保持98%的推出质量。

Comments Accepted by ICML 2026

One Bias After Another: Mechanistic Reward Shaping and Persistent Biases in Language Reward Models

一个接一个的偏差：语言奖励模型中的机械奖励塑造与持续偏差

Daniel Fein, Max Lamparth, Violet Xiang, Mykel J. Kochenderfer, Nick Haber

机构 * Stanford University（斯坦福大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 本文通过系统测量五个高质量奖励模型中的偏差，发现长度、谄媚、过度自信等持续问题，并提出一种简单的后处理干预方法（机械奖励塑造）来减轻低复杂度偏差。

Comments ICML 2026 Camera-ready

Concept Heterogeneity-aware Representation Steering

概念异质性感知表示引导

Laziz U. Abdullaev, Noelle Y. L. Wong, Ryan T. Z. Lee, Shiqi Jiang, Khoi N. M. Nguyen, Tan M. Nguyen

AI总结 针对大语言模型表示非均匀导致全局引导脆弱的问题，提出基于最优传输的输入依赖引导方法CHaRS，通过高斯混合模型和离散最优传输实现更有效的行为控制。

Journal ref ICML 2026

Constitutional Black-Box Monitoring for Scheming in LLM Agents

LLM Agent 中阴谋行为的宪法黑盒监控

Simon Storf, Rich Barton-Cooper, James Peters-Gill, Marius Hobbhahn

机构 * University of Cambridge（剑桥大学） 纠错

AI总结 研究使用基于宪法黑盒的监控器，通过仅观察外部输入和输出检测LLM Agent的阴谋行为，并在合成数据上优化后泛化到更真实环境。

Comments Accepted at ICML 2026. Camera-ready version

You Don't Need All That Attention: Surgical Memorization Mitigation in Text-to-Image Diffusion Models

你不需要所有注意力：文本到图像扩散模型中的外科记忆缓解

Kairan Zhao, Eleni Triantafillou, Peter Triantafillou

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

AI总结 提出GUARD框架，通过吸引-排斥动力学调整去噪过程，结合交叉注意力衰减机制，在不损害图像质量的前提下有效缓解文本到图像扩散模型中的记忆问题。

Comments Accepted at ICML 2026

LK Losses: Direct Acceptance Rate Optimization for Speculative Decoding

LK损失：用于推测解码的直接接受率优化

Alexander Samarin, Sergei Krutikov, Anton Shevtsov, Sergei Skvortsov, Filipp Fisin, Alexander Golubev

AI总结 针对推测解码中标准KL散度训练不能最大化接受率的问题，提出LK损失直接优化接受率，实验表明在多种架构和模型上一致提升接受指标。

Comments ICML 2026

SWE-rebench V2: Language-Agnostic SWE Task Collection at Scale

SWE-rebench V2: 大规模语言无关的SWE任务集合

Ibragim Badertdinov, Maksim Nekrashevich, Anton Shevtsov, Alexander Golubev

AI总结 提出语言无关的自动化流水线SWE-rebench V2，用于大规模收集可执行的软件工程任务并构建RL训练环境，产出涵盖20种语言、3617个仓库的32079个任务数据集。

Comments ICML 2026

Fine-Tuning Without Forgetting In-Context Learning: A Theoretical Analysis of Linear Attention Models

微调不忘上下文学习：线性注意力模型的理论分析

Chungpa Lee, Jy-yong Sohn, Kangwook Lee

机构 * KAIST（韩国科学技术院） 纠错

AI总结 本文通过线性注意力模型理论分析，揭示了微调目标如何修改注意力参数并导致少样本性能下降的条件，提出仅更新值矩阵可保持上下文学习能力。

Journal ref International Conference on Machine Learning (ICML) 2026

LLM4Cov: Execution-Aware Agentic Learning for High-coverage Testbench Generation

LLM4Cov：面向高覆盖率测试生成的执行感知智能体学习

Hejia Zhang, Zhongming Yu, Chia-Tung Ho, Haoxing Ren, Brucek Khailany, Jishen Zhao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出LLM4Cov离线智能体学习框架，通过执行验证数据策展、策略感知数据合成和最差状态优先采样，在硬件验证中实现高覆盖率测试生成，4B参数模型在CVDP-ECov上达到69.2%通过率和90.4%平均覆盖率。

Comments ICML'26 Camera Ready version

Position: Beyond Sensitive Attributes, ML Fairness Should Quantify Structural Injustice via Social Determinants

立场：超越敏感属性，机器学习公平性应通过社会决定因素量化结构性不公正

Zeyu Tang, Alex John London, Atoosa Kasirzadeh, Sarah Stewart de Ramirez, Peter Spirtes, Kun Zhang, Sanmi Koyejo

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Cambridge（剑桥大学） ； University of Washington（华盛顿大学） ； University of Michigan（密歇根大学） ； University of Toronto（多伦多大学） 纠错

AI总结 本文主张算法公平性研究应超越敏感属性，通过社会决定因素量化结构性不公正，并通过理论模型和实证研究证明仅关注敏感属性的缓解策略可能引入新的结构性不公正。

Comments Accepted to ICML 2026 Position Paper Track

Position: Stop Preaching and Start Practising Data Frugality for Responsible Development of AI

立场：停止说教，开始实践数据节俭以负责任地发展人工智能

Sophia N. Wilson, Andrew Millard, Guðrún Fjóla Guðmundsdóttir, Raghavendra Selvan, Sebastian Mair

AI总结 本文主张机器学习社区应从说教转向实践数据节俭，通过子集选择方法在保持精度的同时大幅降低训练能耗和碳排放，以负责任地发展AI。

Comments ICML 2026

IDLM: Inverse-distilled Diffusion Language Models

IDLM：逆蒸馏扩散语言模型

David Li, Nikita Gushchin, Dmitry Abulkhanov, Eric Moulines, Ivan Oseledets, Maxim Panov, Alexander Korotin

AI总结 针对扩散语言模型推理慢的问题，提出逆蒸馏方法（IDLM），通过理论保证唯一解和梯度稳定松弛，实现4倍至64倍推理加速并保持生成质量。

Comments ICML 2026. We provide the code at: https://david-cripto.github.io/idlm-project-page

Beyond Procedure: Substantive Fairness in Conformal Prediction

超越程序：共形预测中的实质性公平

Pengqi Liu, Zijun Yu, Mouloud Belbahri, Arthur Charpentier, Masoud Asgharian, Jesse C. Cresswell

机构 * University of Montreal（蒙特利尔大学） 纠错

AI总结 本文通过理论分解和LLM辅助评估，研究共形预测中标签聚类方法如何平衡效用与实质性公平，并发现均衡集合大小比覆盖度更能提升公平性。

Comments Camera-ready version. Accepted at ICML 2026

Visual Persuasion: What Influences Decisions of Vision-Language Models?

视觉说服：什么影响了视觉语言模型的决策？

Manuel Cherep, Pranav M R, Pattie Maes, Nikhil Singh

机构 * Massachusetts Institute of Technology（麻省理工学院） ； MIT Media Lab（MIT媒体实验室） 纠错

AI总结 提出一个框架，通过控制图像选择任务并系统性地扰动输入，利用视觉提示优化方法推断视觉语言模型的潜在视觉效用，揭示影响模型决策的视觉偏好。

Comments Accepted to ICML 2026

Knowing Isn't Understanding: Re-grounding Generative Proactivity with Epistemic and Behavioral Insight

知道不等于理解：用认知与行为洞察重新奠定生成式主动性

Kirandeep Kaur, Xingda Lyu, Chirag Shah

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Toronto（多伦多大学） ； University of Waterloo（滑铁卢大学） 纠错

AI总结 针对用户无法明确表达需求时的认知不完整问题，提出生成式主动性需要基于认知和行为双重约束来设计负责任的主动代理。

Comments 43 rd International Conference on Machine Learning (ICML 2026)

DenseMLLM: Standard Multimodal LLMs for Dense Prediction

DenseMLLM：用于密集预测的标准多模态大语言模型

Yi Li, Hongze Shen, Lexiang Tang, Xin Li, Xinpeng Ding, Yinsong Liu, Deqiang Jiang, Xing Sun, Xiaomeng Li

机构 * Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology, Hong Kong, China（香港科技大学电子与计算机工程系） ； Tencent, Youtu-Lab, China（腾讯优图实验室） 纠错

AI总结 提出DenseMLLM，通过标准多模态大语言模型架构和视觉令牌监督策略，无需任务特定解码器即可实现语义分割、深度估计等密集预测任务，在多个基准上取得竞争性能。

Comments ICML 2026

REAL: Resolving Knowledge Conflicts in Knowledge-Intensive Visual Question Answering via Reasoning-Pivot Alignment

REAL: 通过推理枢轴对齐解决知识密集型视觉问答中的知识冲突

Kai Ye, Xianwei Mao, Sheng Zhou, Zirui Shao, Ye Mo, Liangliang Liu, Haikuan Huang, Bin Li, Jiajun Bu

机构 * University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

AI总结 提出REAL框架，通过推理枢轴对齐和引导解码，解决知识密集型视觉问答中因开放域检索引起的知识冲突问题。

Comments Accepted by ICML 2026

You Can Learn Tokenization End-to-End with Reinforcement Learning

你可以通过强化学习端到端地学习分词

Sam Dauncey, Roger Wattenhofer

机构 * University of Waterloo（滑铁卢大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

AI总结 本文提出使用强化学习中的得分函数估计来学习离散分词边界，通过时间折扣等技巧降低方差，在1亿参数规模上优于先前的直通估计方法。

Comments ICML 2026 camera-ready

Principled Synthetic Data Enables the First Scaling Laws for LLMs in Recommendation

原则性合成数据使推荐系统中的LLM首次出现缩放定律

Benyu Zhang, Qiang Zhang, Jianpeng Cheng, Hong-You Chen, Qifei Wang, Wei Sun, Shen Li, Jia Li, Jiahao Wu, Qunshu Zhang, Neeraj Bhatia, Xiangjun Fan, Hong Yan

机构 * Meta 纠错

AI总结 本文提出一种分层框架生成高质量合成数据，通过避免原始数据噪声，首次在推荐领域实现LLM的稳健幂律缩放，并显著提升下游排序任务性能。

Comments update according to icml reviewers feedback

Journal ref ICML 2026

Prototype Transformer: Towards Language Model Architectures Interpretable by Design

原型Transformer：迈向可解释设计的语言模型架构

Yordan Yordanov, Matteo Forasassi, Bayar Menzat, Ruizhi Wang, Chang Qi, Markus Kaltenberger, Amine M'Charrak, Tommaso Salvatori, Thomas Lukasiewicz

机构 * University of Cambridge（剑桥大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

AI总结 提出原型Transformer（ProtoT），一种用线性代价原型模块替代二次代价自注意力的自回归语言模型架构，原型自动捕获可命名概念，提升可解释性并支持行为编辑。

Comments Accepted at ICML 2026. Equal contribution: Yordan Yordanov and Matteo Forasassi. 40 pages, 28 figures, 22 tables

Beyond Model Base Retrieval: Weaving Knowledge to Master Fine-grained Neural Network Design

超越模型库检索：编织知识以掌握细粒度神经网络设计

Jialiang Wang, Hanmo Liu, Shimin Di, Zhili Wang, Jiachuan Wang, Lei Chen, Xiaofang Zhou

机构 * National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出M-DESIGN框架，通过构建编辑效应证据图并采用自适应检索与预测任务规划器，在严格预算下高效发现近最优细粒度架构修改路径，在33个案例中26个达到搜索空间最佳性能。

Comments Accepted at ICML 2026. Title changed from "Beyond Model Base Selection: Weaving Knowledge to Master Fine-grained Neural Network Design" to "Beyond Model Base Retrieval: Weaving Knowledge to Master Fine-grained Neural Network Design"