ICML

Diversity-Driven Offline Multi-Objective Optimization via Nested Pareto Set Learning

基于嵌套帕累托集学习的多样性驱动离线多目标优化

Yiyi Zhu, Yaolin Wen, Xiang Xia, Xin An, Hanyi Si, Xiang Shu, Yangde Fu, Liang Dou, Hong Qian

机构 * Shanghai Institute of AI for Education（上海人工智能教育研究院） ； School of Computer Science（计算机科学学院） ； East China Normal University（华东师范大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

AI总结 针对离线多目标优化中的分布外问题，提出DOMOO方法，通过累积风险控制、嵌套帕累托集学习和多样性驱动选择策略，在合成和真实基准上实现了收敛性和多样性的最佳平均排名。

Comments 32 pages, 7 figures, accepted by ICML 2026. Project: https://github.com/YaolinWen/DOMOO

Think Less, Act Early: Reinforced Latent Reasoning with Early Exit in Vision-Language-Action Models

少思考，早行动：视觉-语言-动作模型中带早退的强化潜在推理

Dianqiao Lei, Lianlei Shan

机构 * Tsinghua University, Beijing, China（清华大学） 纠错

AI总结 提出AVA-VLA框架，通过强化学习去噪和早退策略优化潜在推理轨迹，在LIBERO上实现6倍推理加速和98.3%平均成功率。

Comments Accepted at ICML 2026

Stop When Further Reasoning Won't Help: Attention-State Adaptive Generation in Reasoning Models

当进一步推理无益时停止：推理模型中的注意力状态自适应生成

Jiakai Li, Ke Qin, Rongzheng Wang, Yizhuo Ma, Qizhi Chen, Muquan Li, Shuang Liang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Ubiquitous Intelligence and Trusted Services Key Laboratory of Sichuan Province（四川省 ubiquitous 智能与可信服务重点实验室） 纠错

AI总结 针对大型推理模型过度思考导致冗余和准确率下降的问题，提出无需训练的注意力状态自适应生成方法ASAG，通过推断推理状态动态调整生成策略，在多个基准上平均准确率提升3.2%，生成token减少近40%。

Comments ICML 2026 Spotlight

Temporal Difference Learning for Diffusion Models

扩散模型的时间差分学习

Qizhen Ying, Yangchen Pan, Victor Adrian Prisacariu, Junfeng Wen

机构 * Department of Engineering Science, University of Oxford, Oxford, United Kingdom（牛津大学工程科学系） ； School of Computer Science, Carleton University, Ottawa, Canada（卡尔顿大学计算机科学学院） 纠错

AI总结 提出时间差分（TD）目标函数，通过将扩散过程视为马尔可夫奖励过程并利用强化学习中的策略评估，强制去噪轨迹上的跨时间一致性，显著提升少步采样下的生成质量。

Comments 15 pages, 4 figures. Accepted at ICML 2026

AI Engram: In Search of Memory Traces in Artificial Intelligence

AI Engram: 在人工智能中寻找记忆痕迹

Jea Kwon, Dong-Kyum Kim, Jiwon Kim, Yonghyun Kim, Woong Kook, Meeyoung Cha

机构 * University of California, Berkeley（加州大学伯克利分校） ； KAIST（韩国科学技术院） 纠错

AI总结 提出几何框架，通过约束逆问题形式化神经科学标准，识别深度神经网络中的记忆痕迹（AI engram），实现记忆的线性组合与擦除，无需迭代优化。

Comments Accepted to ICML 2026 (Oral). Code is available at https://github.com/jeakwon/ai-engram/

Differentially Private Submodular Maximization with a Knapsack Constraint

带背包约束的差分隐私子模最大化

Ron Zadicario, Tova Milo

AI总结 研究带背包约束的子模最大化问题在差分隐私下的算法，针对单调目标提出最优(1-1/e)-近似算法，非单调目标首次给出1/4-近似算法。

Comments ICML 2026

Semantics-Enhanced Retrieval-Augmented Time Series Forecasting

语义增强的检索增强时间序列预测

Shiqiao Zhou, Zipeng Wu, Holger Schöner, Edouard Fouché, IAG Wilson, Shuo Wang

机构 * University of California, Berkeley（加州大学伯克利分校） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； University of Montreal（蒙特利尔大学） 纠错

AI总结 针对非平稳性下仅靠时间序列相似性检索不足的问题，提出SERAF框架，通过双模态检索（时间序列及其自生成文本描述）联合利用历史模式，提升预测性能。

Comments Accepted to the ICML 2026 Workshop on Forecasting as a New Frontier of Intelligence

Relational Structural Causal Models

关系结构因果模型

Adiba Ejaz, Elias Bareinboim

机构 * Causal Artificial Intelligence Lab, Columbia University（哥伦比亚大学因果人工智能实验室） 纠错

AI总结 提出关系结构因果模型，将结构因果模型扩展到对象和关系可变的场景，通过关系因果图和符号识别准则实现未见组合的因果和观测查询识别，并设计关系神经因果模型在交通场景中优于非关系基线。

Comments Proceedings of the Forty-Third International Conference on Machine Learning

Position: The Systemic Lack of Agency in Visual Reasoning

立场：视觉推理中系统性的能动性缺失

Yizhao Huang, Haoyang Chen, Shiqin Wang, Pohsun Huang, Jiayuan Li, Haoyuan Du, Yandong Shi, Zheng Wang, Zhixiang Wang

机构 * National Engineering Research Center for Multimedia Software, Institute of Artificial Intelligence, School of Computer Science, Wuhan University（武汉大学计算机学院人工智能研究所多媒体软件工程研究中心） ； Hubei Key Laboratory of Multimedia（湖北省多媒体与网络通信工程重点实验室） ； Zhongguancun Academy, Beijing, China. 100094（中关村学院，北京，中国） ； School of Automation, Beijing Institute of Technology（北京理工大学自动化学院） ； Shanda AI Research Tokyo（上海大势人工智能研究东京） 纠错

AI总结 本文指出当前视觉语言模型因缺乏自主探索能力而无法进行隐式推理，并提出V-IRD基准来评估这一能力，实验表明强语义识别不等同于主动视觉探索。

Comments Accepted by ICML 2026

Spatial Priors via Space Filling Curves for Small and Limited Data Vision Transformers

基于空间填充曲线的小型与有限数据视觉Transformer的空间先验

Leyla Naz Candogan, Arshia Afzal, Pol Puigdemont, Volkan Cevher

机构 * ETH Zürich（苏黎世联邦理工学院） 纠错

AI总结 提出VIOLIN，一种轻量级掩码注意力机制，通过空间填充曲线编码空间结构，以极小的参数和计算开销为视觉Transformer注入空间归纳偏置，在小模型和有限数据场景下显著提升性能。

Comments ICML 2026

Divide-and-Denoise: A Game-Theoretic Method for Fairly Composing Diffusion Models

分而除噪：一种公平组合扩散模型的博弈论方法

Abhi Gupta, Polina Barabanshchikova, Vikas Garg, Samuel Kaski, Tommi Jaakkola

机构 * Massachusetts Institute of Technology（麻省理工学院） ； University of Washington（华盛顿大学） ； University of Cambridge（剑桥大学） 纠错

AI总结 提出Divide-and-Denoise方法，通过公平分配博弈协调多个预训练扩散模型，在采样时划分区域并引导各模型去噪，解决模型主导或冲突问题，在条件图像生成中优于基线。

Comments Accepted as spotlight at ICML 2026

Quantizing Time-Series Models As Dynamical Systems: Trajectory-Based Quantization Sensitivity Score

将时间序列模型量化为动力系统：基于轨迹的量化敏感度评分

Mariya Pavlova, Harrison Bo Hua Zhu, Lidia Vitanova, Elizaveta Semenova, Yingzhen Li

AI总结 提出基于轨迹的量化敏感度评分（TQS），从动力系统稳定性角度分析量化误差传播，实现无需校准数据的混合精度量化。

Comments ICML 2026, Workshop on Forecasting as a New Frontier of Intelligence

When the Chain of Thought Knows Better: Failure Modes in Multi-Turn Reasoning Models

当思维链更清楚时：多轮推理模型的失败模式

Sai Kartheek Reddy Kasu, Nils Lukas, Samuele Poppi

AI总结 提出CoT-Output 2x2安全矩阵诊断多轮推理模型隐藏的时间动态失败，发现监督悖论和上下文注入失败两种可复现漏洞。

Comments Accepted at the ICML 2026 Workshop on Failure Modes in Agentic AI (FAGEN)

Learn from Your Mistakes: Tree-like Self-Play for Secure Code LLMs

从错误中学习：面向安全代码LLM的树状自博弈

Wenqi Chen, Ziyan Zhang, Bin Wang, Lin Liu, Hengheng Zhang, Zhengsu Chen

AI总结 提出树状自博弈（TSP）框架，将安全代码生成建模为细粒度序列决策过程，通过构建决策树探索安全与脆弱路径，使模型在关键决策节点自我纠正，显著提升代码安全性并实现跨语言泛化。

Comments 18 pages, 3 figures, Accepted by ICML 2026

Bayesian Tensor Decomposition with Diffusion Model Prior

贝叶斯张量分解与扩散模型先验

Zerui Tao, Qibin Zhao

机构 * Zerui Tao（泽瑞·陶） ； Qibin Zhao（赵启斌） 纠错

AI总结 提出DiffBCP框架，结合累积收缩过程先验和预训练扩散模型，通过分裂吉布斯采样实现贝叶斯CP分解，在图像修复和去噪任务中优于现有方法。

Comments ICML 2026

Fast-dLLM++: Fréchet Profile Decoding for Faster Diffusion LLM Inference

Fast-dLLM++: 用于更快扩散LLM推理的Fréchet轮廓解码

Siva Rajesh Kasa, Yasong Dai, Sumit Negi, Hongdong Li

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

AI总结 针对扩散大语言模型推理中并行令牌生成的瓶颈，提出Fréchet轮廓解码方法，通过利用异构置信度轮廓选择并行提交集，在保持模型和缓存不变的情况下提升吞吐量。

Comments Initial version accepted at Workshop on Structured Probabilistic Inference & Generative Modeling, ICML 2026. Project Page: https://ringo-star.github.io/projectpage_frechet/

Semi-Supervised Noise Adaptation: Transferring Knowledge from Noise Domain

半监督噪声适应：从噪声域迁移知识

Yuan Yao, Jin Song, Huixia Li, Tongtong Yuan, Jiaqi Wu, Yu Zhang

机构 * Guangdong Laboratory of Artificial Intelligence and Digital Economy（广东人工智能与数字经济实验室） ； Nanjing University of Posts and Telecommunications（南京邮电大学） ； Beijing Jiaotong University（北京交通大学） ； Beijing University of Technology（北京工业大学） ； Tsinghua University（清华大学） ； Southern University of Science and Technology（南方科技大学） 纠错

AI总结 提出半监督噪声适应（SSNA）问题，利用合成噪声域作为源域，通过噪声适应框架（NAF）改善目标域的泛化性能。

Comments Accepted by ICML 2026

Convergence Rate Analysis of the AdamW-style Shampoo: Unifying One-Sided and Two-Sided Preconditioning

AdamW风格Shampoo的收敛率分析：统一单侧与双侧预处理

Huan Li, Yiming Dong, Zhouchen Lin

机构 * Huan Li（李焕） ； Yiming Dong（董怡铭） ； Zhouchen Lin（林周辰） 纠错

AI总结 本文研究AdamW风格Shampoo优化器，统一单侧与双侧预处理，并建立了以核范数度量的收敛率，该收敛率在理想情况下与SGD的最优收敛率类似。

Comments V3:ICML Camera-Ready. V4 v.s. V3: extend to the more general setting where the exponents of the two preconditioners do not sum to 1/2

Proact-VL: A Proactive VideoLLM for Real-Time AI Companions

Proact-VL：用于实时AI伴侣的主动式视频大语言模型

Weicai Yan, Yuhong Dai, Qi Ran, Haodong Li, Wang Lin, Tao Jin, Xing Xie, Hao Liao, Jianxun Lian

机构 * Tsinghua University（清华大学） 纠错

AI总结 本文提出Proact-VL框架，通过游戏场景中的评论和引导任务，解决实时AI伴侣在低延迟推理、自主响应决策和内容质量控制方面的挑战，实现了主动式实时交互。

Comments ICML 2026

Entropy-Aware On-Policy Distillation of Language Models

熵感知的在线策略蒸馏语言模型

Woogyeol Jin, Taywon Min, Yongjin Yang, Dennis Wei, Yi Zhou, Swanand Ravindra Kadhe, Nathalie Baracaldo, Kimin Lee

机构 * IBM Research, San Jose, CA, USA（IBM研究院，旧金山，加州，美国） ； University of Toronto, Ontario, Canada（多伦多大学，安大略，加拿大） ； Vector Institute, Ontario, Canada（向量研究所，安大略，加拿大） 纠错

AI总结 针对在线策略蒸馏中反向KL导致生成多样性下降和教师高熵时学习信号不稳定的问题，提出熵感知的在线策略蒸馏方法，通过在高熵时引入前向KL平衡模式寻求与模式覆盖，提升了生成多样性和学生-教师对齐度。

Comments 18 pages, 11 figures, ICML 2026

GradPower: Powering Gradients for Faster Language Model Pre-Training

GradPower: 通过梯度加速更快的语言模型预训练

Jinbo Wang, Mingze Wang, Jiaqi Zhang, Wei Wang, Peng Pei, Xunliang Cai, Weinan E, Lei Wu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 本文提出GradPower，一种轻量级的梯度变换技术，用于加速语言模型预训练。通过元素级符号幂变换，将梯度输入基础优化器，无需修改优化器内部逻辑或超参数，从而在多种架构、参数规模、数据集和学习率调度方案中均取得更低的终端损失。

Comments 24 pages, accepted by ICML 2026

NanoQuant: Efficient Sub-1-Bit Quantization of Large Language Models

NanoQuant: 大型语言模型高效子1位量化

Hyochan Chong, Dongkyu Kim, Changdong Kim, Minseop Choi

机构 * KAIST（韩国科学技术院） 纠错

AI总结 本文提出NanoQuant，一种新型后训练量化方法，能够将大型语言模型压缩到二进制和子1位水平，通过低秩二进制分解问题实现高效压缩，并在消费者硬件上实现大规模部署。

Comments Accepted to ICML 2026. Hyochan Chong and Dongkyu Kim contributed equally to this work

RaBiT: Residual-Aware Binarization Training for Accurate and Efficient LLMs

RaBiT：基于残差的二值化训练用于准确且高效的LLM

Youngcheon You, Banseok Lee, Minseop Choi, Seonyoung Kim, Hyochan Chong, Changdong Kim, Youngmin Kim, Dongkyu Kim

机构 * KAIST（韩国科学技术院） 纠错

AI总结 RaBiT通过算法强制残差层级解决二值化中的特征共适应问题，提升2位精度-效率边界，实现超越VQ的性能和4.49倍的推理加速。

Comments Accepted to ICML 2026

E-mem: Multi-agent based Episodic Context Reconstruction for LLM Agent Memory

E-mem：基于多智能体的事件上下文重建用于LLM智能体记忆

Kaixiang Wang, Yidan Lin, Jiong Lou, Zhaojiacheng Zhou, Bunyod Suvonov, Jie Li

机构 * National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） 纠错

AI总结 E-mem通过多智能体协同重建事件上下文，提升LLM在长时序任务中的推理能力，实现54%的F1分数，优于现有方法7.75%，并降低70%的token成本。

Comments This paper has been accepted by ICML 2026. If you find our project helpful, please consider giving it a star: https://github.com/dog-last/E-mem

Red-Teaming Agent Execution Contexts: Open-World Security Evaluation on OpenClaw

红队代理执行上下文：OpenClaw上的开放世界安全评估

Hongwei Yao, Yiming Liu, Yiling He, Bingrun Yang

机构 * National University of Singapore（新加坡国立大学） 纠错

AI总结 本文提出DeepTrap框架，通过黑盒轨迹优化发现OpenClaw中的上下文漏洞，展示上下文妥协可引发安全风险，强调需执行中心的安全评估。

Comments Accepted to ICML 2026 Workshop

Smoothness Errors in Dynamics Models and How to Avoid Them

动力学模型中的平滑误差及如何避免

Edward Berman, Luisa Li, Jung Yeon Park, Robin Walters

AI总结 本文研究了不同GNN在动力学建模中的平滑效应，证明了单位ary卷积对这类任务有害，并提出放松的单位ary卷积以平衡平滑性保留与物理系统需求。

Comments Ecstatic to share relaxed unitary mesh convolutions with the community :D! This version contains the camera ready for ICML 2026. Send me an email with your thoughts! I love getting mail :^)

CRC-Screen: Certified DNA-Synthesis Hazard Screening Under Taxonomic Shift

CRC-Screen：分类偏移下认证的DNA合成危害筛查

Najmul Hasan

机构 * Najmul Hasan（纳杰姆·哈桑） 纠错

AI总结 针对DNA合成订单中危害序列因分类偏移导致基线筛查100%误报的问题，提出基于k-mer Jaccard相似度、五LLM评委修剪均值和嵌入聚类质心余弦相似度的融合信号，经单调逻辑聚合器和共形风险控制校准，在保证假阴性率受控的同时实现零漏检和低误报。

Comments Accepted at the 6th Muslims in ML (MusIML) Workshop at ICML 2026

Think-at-Hard: Selective Latent Iterations to Improve Reasoning Language Models

Think-at-Hard: 选择性潜在迭代以改进推理语言模型

Tianyu Fu, Yichen You, Zekai Chen, Guohao Dai, Huazhong Yang, Yu Wang

机构 * Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

AI总结 针对循环变压器中潜在过思考问题，提出Think-at-Hard方法，通过轻量级决策器选择性地在困难令牌上触发潜在迭代，并采用深度感知LoRA和双因果注意力机制，在数学、问答和编码任务上一致提升性能。

Comments Accepted by ICML'26

From Noise to Intent: Anchoring Generative VLA Policies with Residual Bridges

从噪声到意图：基于残差桥的生成式VLA策略锚定

Yiming Zhong, Yaoyu He, Zemin Yang, Pengfei Tian, Yifan Huang, Qingqiu Huang, Xinge Zhu, Yuexin Ma

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出ResVLA架构，通过频谱分析将机器人控制解耦为确定性低频锚点和随机高频残差，利用残差扩散桥聚焦局部动态精化，实现高效表示与强条件对齐。

Comments Accepted to ICML 2026

Beyond Predefined Schemas: TRACE-KG for Context-Enriched Knowledge Graph Generation

超越预定义模式：TRACE-KG 用于上下文增强的知识图谱生成

Mohammad Sadeq Abolhasani, Yang Ba, Yixuan He, Rong Pan

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出 TRACE-KG 框架，通过数据驱动模式联合构建上下文增强的知识图谱和归纳模式，无需预定义本体，解决长技术文档中图谱碎片化问题。

Comments Accepted at Graph Foundation Models at ICML 2026