ICML

Robust Harmful Features Under Jailbreak Attacks: Mechanistic Evidence from Attention Head Specialization in Large Language Models

越狱攻击下的鲁棒有害特征：来自大型语言模型中注意力头特化的机制证据

Yanchen Yin, Dongqi Han, Linghui Li

AI总结 通过分析注意力头特化，发现越狱攻击通过抑制早期层的对抗妥协头（ACHs）绕过安全对齐，而中间层的安全对齐头（SAHs）保持鲁棒激活，揭示了鲁棒有害特征现象，并利用这些持久激活实现无需训练的检测。

Comments 33 pages, 19 figures. Accepted at ICML 2026 as an Oral presentation

When One Adapter Speaks for Many: Discovering Low-Rank Redundancy in Continual Fine-Tuning

当一个适配器代表多个任务：在持续微调中发现低秩冗余

Tanguy Dieudonné, Giulia Lanzillotta, Enis Simsar, Louis Barinka, Thomas Hofmann

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

AI总结 本文发现持续学习中的LoRA适配器存在显著低秩冗余，提出LiteLoRA门控机制，通过复用现有适配器减少20-70%活跃适配器，同时保持或超越现有性能。

Comments ColorAI @ ICML 2026

RECAST: Model Reconstruction via Counterfactual-Aware Wasserstein Geometry under Limited Data

RECAST：有限数据下基于反事实感知的Wasserstein几何的模型重建

Xuan Zhao, Lena Krieger, Zhuo Cao, Arya Bangun, Hanno Scharr, Ira Assent

AI总结 提出RECAST方法，利用Wasserstein重心原型和反事实解释，在有限数据和受限访问下重建黑箱模型，解决决策边界偏移和过拟合，实现高保真度和公平性审计。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

VASAE: Naming SAE Dictionary Directions with Vocabulary-Aligned Anchoring

VASAE: 使用词汇对齐锚定命名SAE字典方向

Kairui Zhang, Ziwen Yu, Zahraa S. Abdallah, Martha Lewis

机构 * Intelligent Systems Laboratory, University of Bristol（布里斯托大学智能系统实验室） ； University of Bristol（布里斯托大学） 纠错

AI总结 提出词汇对齐稀疏自编码器（VASAE），通过词汇对齐锚定训练SAE特征，为每个特征分配内在令牌名称，在不降低重构质量的前提下实现约90%的特征对齐。

Comments 14 pages, 7 figures. Accepted to the 2nd Workshop on Compositional Learning at ICML 2026

Two-Stage Fine-Tuning for Protein Sequence Generation with Targeted Amino-Acid Composition

针对目标氨基酸组成的蛋白质序列生成的两阶段微调

Violeta Basten-Romero, Rubén Muñoz-Tafalla, Anna María Díaz-Rovira, Bertran Miquel-Oliver, Isaac Filella-Merce, Víctor Guallar

机构 * Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心） ； Nostrum Biodiscovery S.L.（Nostrum生物发现有限公司） ； ICREA 纠错

AI总结 提出两阶段微调方法，先领域自适应微调，再强化学习迭代微调，以生成符合目标氨基酸组成且保持序列质量的蛋白质序列。

Comments 17 pages, 5 figures, ICML 2026 Workshop GenBio

Scalable and Differentiable Point-Cloud Registration Using Maximum Mean Discrepancy

可扩展且可微的点云配准：基于最大均值差异

Rixon Crane, Fahira Afzal Maken, Nicholas Lawrance, Stanislav Funiak, Kasra Khosoussi, Ming Xu, Russell Tsuchida

机构 * Data61, CSIRO, Brisbane, Australia（Data61，澳大利亚联邦科学与工业研究组织，布里斯班） ； Work done while at Data61, CSIRO, Brisbane, Australia（在Data61，澳大利亚联邦科学与工业研究组织，布里斯班工作期间） 纠错

AI总结 提出MMD-Reg，一种基于最大均值差异的无对应点云配准方法，通过随机傅里叶特征近似实现线性复杂度，并利用隐函数定理保证可微性，支持端到端训练。

Comments Accepted at ICML 2026

SpikeVLA: Vision-Language-Action Models with Spiking Neural Networks

SpikeVLA：基于脉冲神经网络的视觉-语言-动作模型

Ruiqi Song, Dujun Nie, Siyu Teng, Baiyong Ding, Xiaotong Zhang, Dong Li, Chenming Zhang, Yuchen Li, Hangbin Wu, Long Chen

AI总结 提出SpikeVLA，一种脉冲VLA架构，通过事件驱动稀疏计算降低能耗，在导航和机器人控制任务中保持竞争力，适用于低功耗实时具身智能。

Comments Accepted by ICML 2026. 16 pages, 9 figures

Journal ref Proceedings of the 43rd International Conference on Machine Learning, 2026

Temporal-Emerged Prompting for Segment Anything in Multiframe Infrared Small Target Detection

时间涌现提示用于多帧红外小目标检测中的Segment Anything

Yinghui Xing, Donghao Chu, Shizhou Zhang, Di Xu

AI总结 提出TEP-SAM框架，通过联合建模全局运动模式和局部运动偏差，利用时间涌现线索提示SAM，实现低信噪比红外序列中小目标的精准定位与分割。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026)

Dismantling Pathological Shortcuts: A Causal Framework for Faithful LVLM Decoding

拆除病理性捷径：忠实LVLM解码的因果框架

Liu Yu, Can Chen, Ping Kuang, Zhikun Feng, Fan Zhou, Gillian Dobbie

AI总结 提出Fox框架，通过视觉注意力熵探针定位风险中介头，利用数值logit饱和进行因果干预，并结合冲突门控协同解码，消除视觉语言模型中的对象幻觉，实现忠实解码。

Comments 29 pages, 25 figures. Accepted by ICML 2026

Retroactive Advantage Correction: Closed-Form V-Trace Bias Correction for Delay-Aware RLHF

回溯优势修正：面向延迟感知RLHF的闭式V-Trace偏差修正

Arnav Raj

AI总结 针对RLHF中奖励信号延迟的问题，提出回溯优势修正（RAC），通过非负核函数队列化延迟反馈并注入优势估计，理论证明其无偏性，在表格MDP实验中偏差降低达47.9倍。

Comments Accepted at the ICML 2026 Workshop on Reinforcement Learning from World Feedback (RLxF). Code: https://github.com/deadsmash07/rac-rlxf-code

PEBS: Per-rater Empirical-Bayes Shrinkage for RLHF Reward-Model Calibration

PEBS: 用于RLHF奖励模型校准的每评分者经验贝叶斯收缩

Arnav Raj

AI总结 针对RLHF中奖励模型忽略评分者个体差异的问题，提出PEBS方法，对每个评分者拟合仿射校准器并应用经验贝叶斯收缩，在PRISM和PluriHarms数据集上分别降低RMSE 8.58%和9.66%。

Comments Accepted at the ICML 2026 Workshop on Pluralistic Alignment. Code: https://github.com/deadsmash07/pebs-pluralistic

Large Language Model Teaches Visual Students: Cross-Modality Transfer of Fine-Grained Conceptual Knowledge

大型语言模型教授视觉学生：细粒度概念知识的跨模态迁移

Thomas Shih-Chao Liang, Zhuoran Yu, Yong Jae Lee

AI总结 提出LaViD框架，利用语言模型生成多选题来蒸馏细粒度视觉概念，无需多模态数据，在多个基准上超越现有方法。

Comments Accepted by ICML 2026

Towards Evaluation of Implicit Software World Models in Coding LLMs

面向编码大语言模型中隐式软件世界模型的评估

Egor Bogomolov, Yaroslav Zharov

机构 * JetBrains Research（JetBrains研究） 纠错

AI总结 本文通过预测执行资源（峰值内存、墙钟时间、分析器输出）扩展软件世界模型评估，发现前沿模型表现有限，表明对软件执行理解不足。

Comments Accepted to DL4Code workshop at ICML 2026

Position: The Term "Machine Unlearning" Is Overused in LLMs

立场：术语“机器遗忘”在大型语言模型中被过度使用

Sangyeon Yoon, Yeachan Jun, Albert No

AI总结 本文主张机器遗忘应限于数据集定义的删除，而许多标为“遗忘”的任务（如拒绝有害请求、实体/知识移除）实为不同目标，需不同术语和基线，并指出术语混淆导致指标误用。

Comments 13 pages; ICML 2026 Position Paper Track. Sangyeon Yoon and Yeachan Jun contributed equally

Reduction of Probabilistic Chemical Reaction Networks

概率化学反应网络的约简

Mauricio Montes, Gregoire Sergeant-Perthuis

AI总结 针对概率化学反应用网络规模过大的问题，通过恢复因子图结构并迁移约简结果，在保持信念传播不动点的前提下显著缩小网络。

Comments Accepted to ICML 2026

Towards Explainable Adjudicative Variance: Quantifying Judicial Discretion via Gated Multi-Task Learning

迈向可解释的裁判差异：通过门控多任务学习量化司法裁量权

Stanisław Sójka, Felix Steffek, Matthias Grabmair

AI总结 提出法官感知门控多任务学习架构，通过细粒度结果分类和门控融合机制区分客观事实与司法裁量，在UK就业法庭数据上以更少参数超越生成式SFT基线，实现可解释的裁判差异量化。

Comments 17 pages (8 pages main text), 5 figures, 9 tables. Accepted to the AI for Law Workshop at the 43rd International Conference on Machine Learning (ICML 2026), Seoul, South Korea

Conformal Bayes under Label Shift: Post-Hoc Calibration vs. In-Training Adaptation

标签偏移下的共形贝叶斯：事后校准与训练内适应

Seungjin Choi

机构 * CROID Research and aSSIST University（CROID研究院和aSSIST大学） 纠错

AI总结 研究标签偏移下共形贝叶斯方法，通过重要性加权共形校准恢复目标域覆盖，比较事后校准与训练内适应两种策略，后者在偏差训练中起到去偏作用。

Comments 2nd Workshop on Epistemic Intelligence in Machine Learning (EIML@ICML 2026)

SurvPFN: Towards Foundation Models for Survival Predictions

SurvPFN：面向生存预测的基础模型

Samuel Böhm, Lennart Purucker, Frank Hutter, Pascal Schlosser

机构 * University of Freiburg（弗赖堡大学） 纠错

AI总结 提出SurvPFN，一种基于先验数据拟合网络（PFN）的生存预测模型，通过合成数据预训练和删失负对数似然损失，无需逐数据集拟合即可在真实任务中与经典和深度生存基线竞争。

Comments 10 pages, 1 figure. Accepted to "Foundation Models for Structured Data" Workshop at the International Conference on Machine Learning (ICML) 2026

Energy-Structured Low-Rank Adaptation for Continual Learning

能量结构低秩自适应持续学习

Longhua Li, Lei Qi, Qi Tian, Xin Geng

机构 * School of Computer Science and Engineering, Southeast University, Nanjing, China（东南大学计算机科学与工程学院，南京，中国） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及其交叉应用重点实验室（东南大学），教育部，中国） ； Huawei Technologies, Shenzhen, China（华为技术有限公司，深圳，中国） 纠错

AI总结 提出E²-LoRA方法，通过能量集中和排序的低秩自适应以及动态秩分配策略，解决持续学习中的任务干扰和知识压缩问题，实现最优性能。

Comments Accepted by ICML 2026

Focus Then Listen: An Empirical Study of Plug-and-Play Audio Enhancer for Noise-Robust Large Audio Language Models

先聚焦后聆听：探索用于噪声鲁棒的大规模音频语言模型的即插即用音频增强器

Han Yin, Yang Xiao, Younghoo Kwon, Ting Dang, Jung-Woo Choi

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） 纠错

AI总结 提出即插即用的音频增强器FTL，通过分离语音与非语音并利用模态路由器预测目标模态，生成任务自适应增强信号，无需微调即可提升LALMs在噪声环境下的性能。

Comments Accepted by ICML 2026 Workshop (Machine Learning for Audio)

Gated Relational Alignment via Confidence-based Distillation for Efficient VLMs

基于置信度蒸馏的门控关系对齐用于高效视觉语言模型

Yanlong Chen, Amirhossein Habibian, Luca Benini, Yawei Li

机构 * Department of Information Technology（信息科技系） ； Electrical Engineering, ETH Zurich, Zurich, Switzerland（电气工程，苏黎世联邦理工学院，苏黎世，瑞士） ； Qualcomm AI Research, Amsterdam, the Netherlands（高通人工智能研究，阿姆斯特丹，荷兰） ； Department of Electrical, Electronic and Information Engineering（电气、电子与信息工程系） ； University of Bologna, Bologna, Italy（博洛尼亚大学，博洛尼亚，意大利） ； School of Electrical and Electronic Engineering（电气与电子工程学院） 纠错

AI总结 提出GRACE框架，通过信息瓶颈原理统一知识蒸馏与量化感知训练，使用置信度门控解耦蒸馏、关系中心核对齐和自适应控制器，在INT4量化下实现性能超越FP16基线并接近教师模型，同时显著降低内存和提升吞吐量。

Comments Accepted to the International Conference on Machine Learning (ICML 2026)

Coloring the Noise: Adversarial Sobolev Alignment for Faithful Image Super Resolution

着色噪声：用于忠实图像超分辨率的对抗性Sobolev对齐

Hongbo Wang, Huaibo Huang, Pin Wang, Jinhua Hao, Chao Zhou, Ran He

机构 * MAIS \& NLPR, Institute of Automation, Chinese Academy of Sciences, Beijing, China ； School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China 纠错

AI总结 提出ASASR框架，通过将生成流重铸为Sobolev诱导的黎曼几何并引入基于Riesz表示定理的参数化对抗器，解决图像超分辨率中生成先验导致的光谱失配问题，实现忠实重建。

Comments Accepted to ICML 2026

LIFT: A Novel Framework for Enhancing Long-Context Understanding of LLMs via Long Input Fine-Tuning

LIFT：一种通过长输入微调增强大语言模型长上下文理解的新型框架

Yansheng Mao, Yufei Xu, Jiaqi Li, Fanxu Meng, Haotong Yang, Zilong Zheng, Xiyuan Wang, Muhan Zhang

机构 * Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，北京通用人工智能研究院） 纠错

AI总结 LIFT通过动态调整参数提升短上下文LLM的长上下文性能，避免二次复杂度，同时通过合成任务增强长上下文理解能力。

Comments 22 pages, ICML 2026 Poster, camera-ready

MolFORM: Multi-modal Flow Matching for Structure-Based Drug Design

MolFORM：基于多模态流匹配的结构药物设计

Jie Huang, Daiheng Zhang

AI总结 提出MolFORM框架，利用多流匹配联合建模离散原子类型和连续3D坐标，并通过基于直接偏好优化的偏好引导微调提升生成质量，在多个评估指标上取得一致改进。

Comments Accepted to ICML 2025 genbio workshop

Learning to Evict from Key-Value Cache

学习从键值缓存中驱逐

Luca Moschella, Laura Manduchi, Ozan Sener

AI总结 提出基于强化学习的KV缓存驱逐策略KVP，通过轻量级逐头代理学习预测令牌未来效用，显著提升长上下文和多轮对话性能。

Comments Accepted to ICML 2026. Code available at: https://github.com/apple/ml-learning-to-evict

When the Prompt Becomes Visual: Vision-Centric Jailbreak Attacks for Large Image Editing Models

当提示变为视觉：面向大型图像编辑模型的以视觉为中心的越狱攻击

Jiacheng Hou, Yining Sun, Ruochong Jin, Haochen Han, Fangming Liu, Wai Kin Victor Chan, Alex Jinpeng Wang

AI总结 提出首个视觉到视觉的越狱攻击VJA，通过纯视觉输入传递恶意指令，并构建安全基准IESBench，在商业模型上攻击成功率高达80.9%，同时提出无需训练的内省多模态推理防御方法。

Comments Accepted for spotlight and oral presentation at ICML 2026 (Project: https://csu-jpg.github.io/vja.github.io/)

Adaptive Momentum and Nonlinear Damping for Neural Network Training

自适应动量与非线性阻尼用于神经网络训练

Aikaterini Karoni, Rajit Rajpal, Benedict Leimkuhler, Gabriel Stoltz

AI总结 提出自适应动量系数和立方阻尼项，改进mSGD和Adam优化器，在ViT、BERT、GPT2等任务上匹配或超越Adam，并证明指数收敛。

Comments 31 pages, 13 figures. Accepted at ICML 2026

Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs

Just Ask: 好奇的代码代理揭示前沿大语言模型中的系统提示

Xiang Zheng, Yutao Wu, Hanxun Huang, Yige Li, Xingjun Ma, Bo Li, Yu-Gang Jiang, Cong Wang

AI总结 提出JustAsk框架，利用代码代理的自主交互能力，通过在线探索策略自动提取大语言模型的隐藏系统提示，揭示了系统提示作为新兴安全漏洞。

Comments Accepted at ICML 2026

Retaining by Doing: The Role of On-Policy Data in Mitigating Forgetting

在做中保留：在线策略数据在缓解遗忘中的作用

Howard Chen, Noam Razin, Karthik Narasimhan, Danqi Chen

AI总结 本文系统比较了监督微调（SFT）和强化学习（RL）在语言模型后训练中的遗忘模式，发现RL因使用在线策略数据而更少遗忘，并验证了在线策略数据是缓解遗忘的关键因素。

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML), 2026

LieSolver: PDE-Constrained Learning for IBVPs via Lie Symmetries

LieSolver：通过李对称性进行IBVP的PDE约束学习

René P. Klausen, Ivan Timofeev, Jonas Naujoks, Johannes Frank, Thomas Wiegand, Sebastian Lapuschkin, Wojciech Samek

AI总结 提出利用李对称性精确嵌入偏微分方程，仅从初边值数据学习解的方法，相比PINN在速度和精度上更优。

Comments Accepted at the Workshop on AI for Physics @ ICML 2026 (non-archival). 27 pages, 27 figures. Code: https://github.com/oduwancheekee/liesolver. v2: updated to camera-ready workshop version