ICML

Toward Understanding Adversarial Distillation: Why Robust Teachers Fail

迈向理解对抗蒸馏：为何鲁棒教师失败

Hongsin Lee, Hye Won Chung

机构 * School of Electrical Engineering, KAIST, Daejeon, Korea（韩国科学技术院电子工程学院） 纠错

AI总结 本文研究了对抗蒸馏中鲁棒教师与学生鲁棒性之间的关系，揭示了教师监督信心与学生表示限制之间的不匹配导致鲁棒过拟合现象，并提出了理论框架和实验验证。

Comments Accepted to ICML 2026. Code is available at https://github.com/HongsinLee/why-robust-teachers-fail

Interpreting and Enhancing Emotional Circuits in Large Vision-Language Models via Cross-Modal Information Flow

通过跨模态信息流解读并增强大视觉-语言模型中的情感电路

Chengsheng Zhang, Chenghao Sun, Zhining Xie, Xinmei Tian

机构 * MoE Key Laboratory of Brain-inspired Intelligent Perception（脑启发智能感知与认知MOE实验室） ； Cognition, University of Science（认知，科学大学） ； AIPD, Tencent（AIPD，腾讯） 纠错

AI总结 本文提出了一种基于转向向量的因果归因框架，用于描述性情感推理，通过构建专用数据集揭示了三阶段'适应-聚合-执行'机制下的情感电路，发现视觉情感线索在中间层通过情感特定的注意力头进行聚合，随后在深层通过情感通用路径转换为叙述生成，并通过调控情感信息路由增强注意力流和语义激活，从而提升性能并缓解情感幻觉。

Comments Accepted by ICML 2026

Foresee-to-Ground: From Predictive Temporal Perception to Evidence-Driven Reasoning for Video Temporal Grounding

Foresee-to-Ground: 从预测性时间感知到证据驱动推理的视频时间接地

Zelin Zheng, Xinyan Liu, Ruixin Li, Antoni B. Chan, Guorong Li, Qingming Huang, Laiyun Qing

机构 * Qwen3-VL-8B-Instruct 纠错

AI总结 本文提出了一种新的视频时间接地框架F2G，通过将时间接地问题重新表述为可验证的识别-测量问题，结合预测性时间感知和证据驱动推理，以提高时间接地的准确性和鲁棒性。

Comments Accepted by ICML 2026

Seizure-Semiology-Suite (S3): A Clinically Multimodal Dataset, Benchmark, and Models for Seizure Semiology Understanding

癫痫半相学套件（S3）：一个临床多模态数据集、基准和模型用于癫痫半相学理解

Lina Zhang, Tonmoy Monsoor, Peizheng Li, Jiarui Cui, Xinyi Peng, Chong Han, Prateik Sinha, Siyuan Dai, Jessica Nichole Pasqua, Colin M McCrimmon, Weiting Liu, Hailey Marie Miranda, Bing Hu, Xiangting Wu, Tengyou Xu, Chunhan Li, Jiaye Tian, Jiarui Tang, Detao Ma, Lingye Kong, Junnan Lyu, Jungang Li, Yan Zan, Junhua Huang, Rajarshi Mazumder, Vwani Roychowdhury

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； University of Pittsburgh（匹兹堡大学） ； Fudan University（复旦大学） ； University of California, Riverside（加州大学河滨分校） ； Hong Kong University of Science（香港科学大学） ； Maharishi International University（玛希拉国际大学） 纠错

AI总结 本文提出S3数据集和基准，用于细粒度、结构化的癫痫半相学理解，通过评估多模态大语言模型在低级视觉感知、时间序列处理、叙述报告生成和癫痫诊断中的能力，揭示了现有模型在左右脑推理、时间定位、症状序列和临床忠实报告方面的系统性弱点，并展示了针对癫痫的微调和双阶段神经符号框架在癫痫与非癫痫癫痫分类中的高F1分数。

Comments Accepted to ICML 2026 as a Spotlight presentation

Implicit Safety Alignment from Crowd Preferences

从大众偏好中隐式安全对齐

Qian Lin, Daniel S. Brown

机构 * Kahlert School of Computing, University of Utah（犹他大学计算学校） 纠错

AI总结 本文研究如何从大众偏好数据中提取共享的安全标准，并将其转移到下游强化学习任务中以规范智能体行为并确保安全。提出了一种基于大众偏好的安全强化学习框架，通过高级策略将安全对齐的技能组合起来，以安全地解决下游任务。

Comments Accepted to ICML 2026. Conference paper

MMD-Balls as Credal Sets: A PAC-Bayesian Framework for Epistemic Uncertainty in Test-Time Adaptation

MMD-Balls as Credal Sets: A PAC-Bayesian Framework for Epistemic Uncertainty in Test-Time Adaptation

Ahanaf Hasan Ariq

机构 * Ideal School and College（理想学校和学院） 纠错

AI总结 本文提出了一种基于PAC-Bayesian框架的测试时间适应方法，通过将MMD球体解释为 credal sets，提供了对epistemic不确定性量化的自然方法，并建立了与MMD相关的泛化界限、有限样本版本、统一最坏情况风险界限以及几何保持界限。

Comments 15 pages, 0 figures. Accepted at the 2nd Workshop on Epistemic Intelligence in Machine Learning (EIML@ICML 2026)

Position: The Time for Sampling Is Now! Charting a New Course for Bayesian Deep Learning

Position: The Time for Sampling Is Now! Charting a New Course for Bayesian Deep Learning

Emanuel Sommer, David Rügamer

机构 * Department of Statistics, LMU Munich（统计系，慕尼黑大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

AI总结 本文探讨了在贝叶斯深度学习中采样推理（SAI）的潜力，指出其在计算效率上已与优化方法相当，并可能成为更有效的推理方法。核心贡献是推动SAI在贝叶斯神经网络中的应用，解决现有误解，以实现更精确的不确定性量化。

Comments In Proceedings of the 43rd International Conference on Machine Learning, PMLR 306, 2026

MetaDNS: Enhancing Exploration in Discrete Neural Samplers via Well-Tempered Metadynamics

MetaDNS: 通过良好温控元动力学增强离散神经采样器的探索

Xiaochen Du, Juno Nam, Jaemoo Choi, Wei Guo, Sathya Edamadaka, Junyi Sha, Elton Pan, Yongxin Chen, Molei Tao, Rafael Gómez-Bombarelli

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

AI总结 本文提出MetaDNS，一种将良好温控元动力学整合到离散扩散或自回归采样器中的通用框架，以解决多模式和能量屏障离散分布采样中的模式崩溃问题，并实现自由能重建。

Comments Accepted at ICML 2026

Expectation Consistency Loss: Rethink Confidence Calibration under Covariate Shift

期望一致性损失：在协变量偏移下重新思考置信度校准

Jinzong Dong, Zhaohui Jiang, Bo Yang

机构 * School of Automation, Central South University, Changsha, China（中南大学自动化学院，长沙，中国） 纠错

AI总结 本文针对协变量偏移下的置信度校准问题，提出了一种无监督域适应损失（ECL），该方法在理论和实践中均表现出色，能够有效校准目标域的置信度。

Comments Accepted by ICML 2026

DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models

DualOptim+: 联合与解耦优化器状态的桥梁以提升大语言模型中的机器反遗忘

Xuyang Zhong, Qizhang Li, Yiwen Guo, Chen Liu

机构 * Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Independent Researcher（独立研究者） 纠错

AI总结 本文提出DualOptim+，一种改进大语言模型中机器反遗忘的新优化框架，通过引入基础状态和delta状态，有效平衡遗忘与保留目标，同时提出8位量化变体以减少内存开销，实验表明其在多个任务中均表现出色。

Comments Accepted by ICML 2026

Neural Collapse by Design: Learning Class Prototypes on the Hypersphere

按设计实现神经崩溃：在超球面上学习类别原型

Panagiotis Koromilas, Theodoros Giannakopoulos, Mihalis A. Nicolaou, Yannis Panagakis

机构 * The Cyprus Institute（塞浦路斯研究所） ； University of Athens（雅典大学） ； Archimedes AI/Athena Research Center（阿基米德AI/阿泰纳研究中心） ； University of Cyprus（塞浦路斯大学） 纠错

AI总结 本文研究了监督分类的理论最优解神经崩溃（NC），指出交叉熵（CE）和监督对比学习（SCL）两种主流范式在实践中无法达到该最优解。作者提出通过在超球面上对比原型的方法，改进了CE和SCL，从而在多个基准测试中实现了更接近NC的性能。

Comments 43rd International Conference on Machine Learning (ICML 2026); Code: https://github.com/pakoromilas/nc_by_design

Metis: Learning to Jailbreak LLMs via Self-Evolving Metacognitive Policy Optimization

Metis: 通过自进化元认知策略优化学习 jailbreak LLMs

Huilin Zhou, Jian Zhao, Yilu Zhong, Zhen Liang, Xiuyuan Chen, Yuchen Yuan, Tianle Zhang, Chi Zhang, Lan Zhang, Xuelong Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信） 纠错

AI总结 本文提出Metis框架，通过将jailbreaking重新表述为对抗性部分可观测马尔可夫决策过程中的推理时间策略优化，以提高对抗性测试的效率和效果，同时通过结构化反馈和透明推理轨迹提升可解释性，实验表明Metis在多种模型上均表现出更高的攻击成功率和更低的token成本。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026)

SplAttN: Bridging 2D and 3D with Gaussian Soft Splatting and Attention for Point Cloud Completion

SplAttN: 通过高斯软溅射和注意力在2D和3D之间架桥以实现点云补全

Zhaoyang Li, Zhichao You, Tianrui Li

机构 * School of Computing and Artificial Intelligence（计算与人工智能学院） ； Southwest Jiaotong University（西南交通大学） ； Chengdu, China（中国成都） 纠错

AI总结 本文提出SplAttN方法，通过高斯软溅射和注意力机制解决点云补全中2D和3D模态连接问题，改进了传统硬投影导致的跨模态熵塌陷问题，实现了更有效的跨模态连接学习。

Comments Accepted as a Spotlight paper at ICML 2026; camera-ready version

Trees to Flows and Back: Unifying Decision Trees and Diffusion Models

树到流及回归：统一决策树和扩散模型

Sai Niranjan Ramachandran, Suvrit Sra

机构 * School of Computation, Information and Technology, Technical University of Munich, Germany（慕尼黑技术大学计算、信息与技术学院，德国） ； Munich center for machine learning (MCML)（慕尼黑机器学习中心（MCML）） 纠错

AI总结 本文通过建立层次决策树与扩散过程之间的数学对应关系，统一了决策树和扩散模型，揭示了共同的优化原则'全局轨迹得分匹配'，并提出了两种实用应用：treeflow在表格数据生成中表现优异，且计算速度更快；dsmtree将层次决策逻辑转移到神经网络中，在多个基准上与教师模型表现相近。

Comments 12 pages (main), 68 pages (inclusive of appendix), Accepted in the Forty-Third International Conference on Machine Learning (ICML) 2026

Fair Dataset Distillation via Cross-Group Barycenter Alignment

通过跨组重心对齐实现公平的数据集蒸馏

Mohammad Hossein Moslemi, Nima Hosseini Dashtbayaz, Zhimin Mei, Bissan Ghaddar, Boyu Wang

机构 * Western University（温莎大学） ； Vector Institute（向量研究所） ； IE University（IE大学） ； Ivey Business School（Ivey商学院） 纠错

AI总结 本文研究了数据集蒸馏中因不同群体预测模式差异导致的公平性问题，提出通过跨组重心对齐方法来减少群体间的预测偏差，从而提升模型的公平性。

Comments Accepted by ICML 2026

Focusing Where Vision Matters: Selective Training for Large Vision Language Models via Visual Information Gain

聚焦视觉关键点：通过视觉信息增益进行大视觉语言模型的定向训练

Seulbi Lee, Sangheum Hwang

机构 * Department of Data Science, Seoul National University of Science and Technology（数据科学系，首尔科学技术大学） 纠错

AI总结 本文提出通过视觉信息增益（VIG）指标，对大视觉语言模型进行定向训练，以提升视觉基础性并减少语言偏见，通过优先选择高VIG样本和token来提高性能。

Comments Accepted at ICML 2026

Discovering Implicit Large Language Model Alignment Objectives

发现隐式大语言模型对齐目标

Edward Chen, Sanmi Koyejo, Carlos Guestrin

机构 * Stanford University（斯坦福大学） 纠错

AI总结 本文提出Obj-Disco框架，通过自动分解对齐奖励信号为可解释的目标，解决现有方法的不足，验证了框架在多种任务和模型上的鲁棒性，并发现潜在的对齐偏差。

Comments ICML 2026

Richer Bayesian Last Layers with Subsampled NTK Features

更丰富的贝叶斯最后层与子采样NTK特征

Sergio Calvo-Ordoñez, Jonathan Plenk, Richard Bergna, Álvaro Cartea, Yarin Gal, Jose Miguel Hernández-Lobato, Kamil Ciosek

机构 * Mathematical Institute, University of Oxford（牛津大学数学研究所） ； Oxford-Man Institute, University of Oxford（牛津大学奥克斯曼研究所） ； OATML, University of Oxford（牛津大学OATML研究所） ； Department of Engineering, University of Cambridge（剑桥大学工程系） 纠错

AI总结 本文提出了一种改进贝叶斯最后层的方法，通过将神经切线核特征投影到由最后层特征张成的空间中，以更准确地估计不确定性，同时保持计算效率。

Comments Appearing in the Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026

A Diffusive Classification Loss for Learning Energy-based Generative Models

一种用于学习基于能量的生成模型的扩散分类损失

RuiKang OuYang, Louis Grenioux, José Miguel Hernández-Lobato

机构 * CMAP, CNRS, École polytechnique, Institut Polytechnique de Paris, Palaiseau, France（CMAP、法国国家科学研究中心、巴黎高等理工学院、巴黎理工 institute、法国巴黎帕莱苏实验室） ； Center for Computational Mathematics, Flatiron Institute, New York, NY, USA（计算数学中心、Flatiron 机构、美国纽约纽约州） ； Department of Engineering, University of Cambridge, Cambridge, United Kingdom（工程系、剑桥大学、英国剑桥） 纠错

AI总结 本文提出了一种名为DiffCLF的扩散分类损失，用于学习基于能量的生成模型，通过将能量模型学习重新表述为跨噪声级别的监督分类问题，从而在保持计算效率的同时避免了模式盲区，提高了模型的保真度和应用范围。

Comments Accepted at ICML 2026

Training-Trajectory-Aware Token Selection

基于训练轨迹的token选择

Zhanming Shen, Jiaqi Hu, Zeyu Qin, Hao Chen, Wentao Ye, Zenan Huang, Yihong Zhuang, Guoshan Lu, Junlin Zhou, Junbo Zhao

机构 * Zhejiang University（浙江大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

AI总结 本文提出T3S方法，通过在token层面重构训练目标，清除未学习token的优化路径，从而在连续蒸馏中提升性能，实验表明在AR和dLLM设置中均取得显著效果。

Comments Accepted by ICML 2026

Resting Neurons, Active Insights: Robustifying Activation Sparsity in LLMs via Spontaneity

静息神经元，主动洞察：通过自发性增强LLM中的激活稀疏性

Haotian Xu, Jiannan Yang, Tian Gao, Tsui-Wei Weng, Tengfei Ma

机构 * IBM Thomas J. Watson Research Center, Yorktown Heights, USA（IBM 托马斯·J·沃森研究中心，美国Yorktown Heights） ； Halıcıoğlu Data Science Institute, UC San Diego, La Jolla, USA（哈利奇欧数据科学研究所，美国UC圣地亚哥La Jolla） ； Stony Brook University, Stony Brook, USA（史泰文·布鲁克大学，美国Stony Brook） 纠错

AI总结 本文提出了一种通过引入自发神经元（SPON）来增强LLM中激活稀疏性的方法，解决了高稀疏率下模型精度下降的问题，通过分布匹配训练SPON，使模型在稀疏计算中保持稳定和泛化能力。

Comments ICML 2026

WarmServe: Enabling One-for-Many GPU Prewarming for Multi-LLM Serving

WarmServe: 为多LLM服务实现一种多GPU预热

Chiheng Lou, Sheng Qi, Rui Kang, Yong Zhang, Chen Sun, Pengcheng Wang, Xuanzhe Liu, Xin Jin

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

AI总结 本文提出WarmServe系统，通过基于工作负载预测的多GPU预热技术，减少LLM服务中的尾部时间到第一个令牌（TTFT）并提高请求吞吐量。

Comments Accepted at ICML 2026

NaviAgent: Graph-Driven Bilevel Planning for Scalable Tool Orchestration

NaviAgent: 一种基于图的双层规划用于可扩展的工具编排

Yan Jiang, Hao Zhou, Lizhong GU, Tianlong Li, Ruinan Jin, Wanqi Zhou, Ai Han

机构 * Department of Electrical and Computer Engineering, The Ohio State University, USA（电气与计算机工程系，俄亥俄州立大学，美国） 纠错

AI总结 本文提出NaviAgent，一种基于图的双层规划框架，通过解耦任务规划与工具执行，提升大规模工具编排的可扩展性和鲁棒性，实验表明其在任务成功率和实际应用中表现优异。

Comments Accepted to ICML 2026

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML), 2026

Memory-Efficient LLM Pretraining via Minimalist Optimizer Design

通过最小化优化器设计实现内存高效的LLM预训练

Athanasios Glentis, Jiaxiang Li, Andi Han, Mingyi Hong

机构 * Department of Electrical and Computer Engineering, University of Minnesota, USA（电气与计算机工程系，明尼苏达大学，美国） ； School of Mathematics and Statistics, University of Sydney, Australia（数学与统计学学院，悉尼大学，澳大利亚） 纠错

AI总结 本文研究了如何通过简单的优化器设计改进，使SGD在预训练中达到最先进的性能，提出了SCALE优化器，在内存使用上比Adam更高效，并在多个模型上表现优于现有内存高效的优化器。

Comments Accepted at ICML 2026

Equilibrium Reasoners: Learning Attractors Enables Scalable Reasoning

平衡推理器：学习吸引子使推理可扩展

Benhao Huang, Zhengyang Geng, Zico Kolter

机构 * CMU（卡内基梅隆大学） 纠错

AI总结 本文提出平衡推理器（EqR），通过学习任务条件的吸引子来实现可扩展推理，该方法在测试时无需外部验证器或任务特定先验，通过增加深度和广度实现推理能力的提升，从而在Sudoku-Extreme上将准确率从2.6%提升至超过99%。

Comments ICML 2026

Is Fixing Schema Graphs Necessary? Full-Resolution Graph Structure Learning for Relational Deep Learning

关系预测任务是否需要固定模式图？关系深度学习中的全分辨率图结构学习

Yi Huang, Qingyun Sun, Jia Li, Xingcheng Fu, Jianxin Li

机构 * SKLCCSE, School of Computer Science and Engineering, Beihang University, Beijing, China（信息与电子学院，北京航空航天大学，北京，中国） ； Key Lab of Education Blockchain and Intelligent Technology, Ministry of Education, Guangxi Normal University, Guilin, China（教育区块链与智能技术重点实验室，教育部，广西师范大学，桂林，中国） 纠错

AI总结 本文提出了一种全分辨率且可优化的图结构学习框架FROG，用于关系深度学习，将关系结构学习建模为可学习的表角色建模问题，允许表作为节点和边在信息传递中发挥作用，并设计了基于角色的信息传递机制，以捕捉关系语义，同时通过功能依赖约束确保语义一致性，实验表明该方法在多个下游任务中优于现有方法。

Comments Accepted by the Forty-third International Conference on Machine Learning (ICML2026)

OcclusionFormer: Arranging Z-Order for Layout-Grounded Image Generation

OcclusionFormer: 布局导向图像生成中的Z轴顺序安排

Ziye Li, Henghui Ding

机构 * Institute of Big Data, College of Computer Science and Artificial Intelligence, Fudan University, China（大数据研究院，计算机科学与人工智能学院，复旦大学，中国） 纠错

AI总结 本文提出OcclusionFormer，一种基于Z轴顺序的扩散变换框架，通过解耦实例并利用体积渲染进行合成，以解决布局到图像模型中物体间遮挡问题，并通过查询对齐损失提升空间精度和语义一致性。

Comments ICML 2026, Project Page: https://henghuiding.com/OcclusionFormer/

Deformba: Vision State Space Model with Adaptive State Fusion

Deformba：具有自适应状态融合的视觉状态空间模型

Hongyu Ke, Jack Morris, Yongkang Liu, Satoshi Kitai, Kentaro Oguchi, Yi Ding, Haoxin Wang

机构 * Department of Computer Science, Georgia State University（佐治亚州立大学计算机科学系） ； University of Tennessee Knoxville（田纳西大学肯纳邦克分校） 纠错

AI总结 本文提出Deformba，一种能够动态增强空间结构信息并保持状态空间模型线性复杂度的自适应方法，通过多模态融合（如交叉注意力）提升视觉任务的性能，展示了在2D和3D视觉任务中的广泛适用性。

Journal ref Forty-Third International Conference on Machine Learning (ICML 2026)

Let EEG Models Learn EEG

让EEG模型学习EEG

Yifan Wang, Yijia Ma, Wen Li, Chenyu You

机构 * Stony Brook University（石溪大学） ； University of Texas Health Center at Houston（德克萨斯大学健康中心（休斯顿）） 纠错

AI总结 本文提出了一种基于条件流匹配的生成框架JET，通过直接建模神经信号的连续演化来生成高质量的EEG信号，解决了传统离散去噪方法在捕捉长期时间依赖性和保持频谱结构方面的不足，实现了在多个基准测试中优于现有方法的性能。

Comments Accepted by ICML 2026

Divide and Contrast: Learning Robust Temporal Features without Augmentation

划分与对比：无需增强学习鲁棒的时间特征

Abdul-Kazeem Shamba, Kerstin Bach, Gavin Taylor

机构 * Department of Computer Science, Norwegian University of Science（挪威科学与技术大学计算机科学系） ； Department of Computer Science, United States Naval Academy（美国海军学院计算机科学系） 纠错

AI总结 本文提出Di-COT框架，通过对比时间窗口内的信息子结构而非单个时间步，实现了无需数据增强和多编码器传递的自监督学习，从而在六个大规模真实世界数据集和UCR/UEA基准上取得了最先进的性能，同时显著减少了训练时间。

Comments Published in the 43rd International Conference on Machine Learning (ICML 2026)