ICML

Shared Lexical Task Representations Explain Behavioral Variability In LLMs

共享的词汇任务表示解释了大语言模型中的行为变异

Zhuonan Yang, Jacob Xiaochen Li, Francisco Piedrahita Velez, Eric Todd, David Bau, Michael L. Littman, Stephen H. Bach, Ellie Pavlick

机构 * Brown University（布朗大学） ； MIT（麻省理工学院） ； Northeastern University（东北大学） 纠错

AI总结 研究通过比较指令式和示例式提示发现，大语言模型在不同提示下行为差异可由共享的词汇任务表示解释，揭示了任务特定注意力头在不同提示风格中的共同机制。

Comments Accepted to ICML 2026. Updated to the camera-ready version

What If We Allocate Test-Time Compute Adaptively?

如果我们在测试时动态分配计算资源呢？

Ahsan Bilal, Ahmed Mohsin, Muhammad Umer, Ali Subhan, Hassan Rizwan, Ayesha Mohsin, Dean Hougen

机构 * Stanford University（斯坦福大学） ； University of Oklahoma（俄克拉荷马大学） ； University of California Riverside（加州大学河滨分校） ； National University of Sciences and Technology（国立科技大学） 纠错

AI总结 本文提出了一种基于验证器的自适应框架，通过迭代轨迹生成与选择提升推理效率，在多个数据集上优于传统测试时缩放方法。

Comments International Conference on Machine Learning

Beyond Scalar Rewards: Dense Feedback for LLM Policy Synthesis in Sequential Social Dilemmas

超越标量奖励：面向序列社会困境的LLM策略合成中的密集反馈

Víctor Gallego

机构 * Komorebi AI Technologies（Komorebi AI技术公司） 纠错

AI总结 本研究通过反馈工程，比较稀疏奖励与密集社会指标反馈对LLM在多智能体环境中生成程序化策略的影响，发现密集反馈能打破奖励别名，提升策略性能。

Comments Accepted to NExT-Game 2026: New Frontiers in Game-Theoretic Learning, ICML 2026 Workshop. Camera-ready version

Symmetry in language statistics shapes the geometry of model representations

语言统计中的对称性塑造了模型表示的几何结构

Dhruva Karkada, Daniel J. Korchinski, Andres Nava, Matthieu Wyart, Yasaman Bahri

机构 * UC Berkeley（加州大学伯克利分校） ； EPFL（瑞士联邦理工学院洛桑分校） ； Johns Hopkins（约翰斯·霍普金斯大学） ； Google DeepMind（谷歌DeepMind） 纠错

AI总结 本文证明语言统计中的平移对称性（如月份共现频率仅取决于时间间隔）决定了词嵌入模型的高维几何结构，并推导出表示流形的解析形式，该几何在统计扰动下仍保持鲁棒。

Comments ICML 2026

Teaching Models to Teach Themselves: Reasoning at the Edge of Learnability

教模型自学：在可学习性边缘推理

Shobhita Sundaram, John Quan, Ariel Kwiatkowski, Kartik Ahuja, Yann Ollivier, Julia Kempe

机构 * MIT（麻省理工学院） ； Meta FAIR ； New York University（纽约大学） 纠错

AI总结 提出SOAR非对称自对弈框架，通过元强化学习生成自动课程，解决低初始成功率数据集上的推理模型扩展问题，发现基于学生进步的奖励优于内在可学习性奖励，且问题结构比答案正确性更重要。

Comments ICML 2026. Blog post: https://ssundaram21.github.io/soar/

From Similarity to Vulnerability: Key Collision Attack on LLM Semantic Caching

从相似性到脆弱性：LLM语义缓存的密钥碰撞攻击

Zhixiang Zhang, Zesen Liu, Yuchong Xie, Quanfeng Huang, Dongdong She

AI总结 提出语义缓存存在密钥碰撞攻击风险，通过CacheAttack框架在黑盒条件下实现86%的LLM响应劫持命中率，并能在不同嵌入模型间迁移，威胁智能体安全。

Comments Accepted to ICML 2026

Efficient Public Verification of Private ML via Regularization

通过正则化实现私有ML的高效公开验证

Zoë Ruha Bell, Anvith Thudi, Olive Franzese-McLaughlin, Nicolas Papernot, Shafi Goldwasser

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

AI总结 提出首个差分隐私算法，在接近最优隐私-效用权衡下，DP保证的验证成本低于训练成本，通过正则化目标最小化和标准DP组合界限实现。

Comments Proceedings of the 43rd International Conference on Machine Learning

Optimal Self-Consistency for Efficient Reasoning with Large Language Models

最优自一致性：用于大语言模型高效推理

Austin Feng, Marius Alonso, Ambroise Odonnat, Vasilii Feofanov, Ievgen Redko

机构 * Yale University（耶鲁大学） ； Inria（法国国家信息与自动化研究所） ； com（42.com） 纠错

AI总结 本文分析自一致性（SC）的缩放行为，提出动态分配样本的Blend-ASC变体，平均减少4.8倍样本量，实现最先进的样本效率。

Comments Accepted at ICML 2026

Not Every Time and Frequency Need to Be Forgotten in Diffusion Unlearning

并非所有时间和频率都需要在扩散遗忘中被遗忘

Jinseong Park, Mijung Park

机构 * Korea Institute for Advanced Study（韩国高等研究院） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

AI总结 提出选择性遗忘扩散模型中的时间和频率，通过理论分析分布失真与遗忘-效用权衡，在多种设置下实现更高遗忘成功率和生成质量。

Comments ICML 2026 Workshop FoGen

L-SR1: Learned Symmetric-Rank-One Preconditioning

L-SR1: 学习型对称秩一预处理

Gal Lifshitz, Shahar Zuler, Ori Fouks, Dan Raviv

机构 * Tel Aviv University（特拉维夫大学） 纠错

AI总结 提出一种学习型二阶优化器，通过可训练的预处理单元增强经典SR1算法，在单目人体网格恢复任务中优于现有方法，无需标注数据或微调。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026). Project page: https://gallif.github.io/lsr1/

Position: Collaborative Agentic AI Needs Interoperability Across Ecosystems

立场：协作式自主AI需要跨生态系统的互操作性

Rishi Sharma, Martijn de Vos, Pradyumna Chari, Ramesh Raskar, Anne-Marie Kermarrec

机构 * EPFL, Lausanne, Switzerland（瑞士洛桑联邦理工学院） 纠错

AI总结 本文提出通过采用最小标准实现互操作性，以构建开放、安全、可扩展的自主代理生态系统，并设计了名为“代理网络”的架构基础。

Comments Accepted at ICML 2026

TraCeS: Learning Per-Timestep Constraint-Violation Credit from Sparse Trajectory-Level Labels

TraCeS: 从稀疏轨迹级标签学习每时间步约束违反信用

Siow Meng Low, Ze Gong, Akshat Kumar

AI总结 提出TraCeS方法，通过稀疏轨迹级标签学习每时间步的约束违反信用，用于强化学习中的安全约束优化，无需已知成本函数或阈值，在连续控制基准上提升约束满足和反馈效率。

Comments Accepted at ICML 2026. Code available at https://github.com/siowmeng/TraCeS

Mantis: Lightweight Foundation Model for Time Series Classification

Mantis: 用于时间序列分类的轻量级基础模型

Vasilii Feofanov, Songkang Wen, Shifeng Xie, Simon Roschmann, Marius Alonso, Hongbo Guo, Romain Ilbert, Malik Tiomoko, Quentin Bouniot, Zeynep Akata, Lujia Pan, Jianfeng Zhang, Ievgen Redko

机构 * com（42.com） ； Helmholtz Munich（亥姆霍兹慕尼黑中心） ； Technical University of Munich（慕尼黑工业大学） ； Criteo ； Meta ； Telecom Paris（巴黎电信学院） 纠错

AI总结 提出基于Transformer的轻量级基础模型Mantis，通过自监督对比学习在合成数据上预训练，并引入新颖的令牌生成单元和增强测试方法，在多个数据集上超越现有基础模型。

Journal ref Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026

Few-Shot Synthetic Accented Speech for ASR Fine-Tuning: What Helps and When?

少样本合成方言语音用于ASR微调：什么有助于什么？

Yurii Halychanskyi, Nimet Beyza Bozdag, Mark Hasegawa-Johnson, Dilek Hakkani-Tür, Volodymyr Kindratenko

机构 * University of Washington（华盛顿大学） 纠错

AI总结 研究比较了合成方言语音在ASR微调中的有效性，发现随机音素扰动比目标方言音素编辑更有效，且真实语音与合成语音混合可稳定低资源微调。

Comments Accepted as a contributed talk and poster at the ICML 2026 Workshop on Machine Learning for Audio

Dual-branch Robust Unlearnable Examples

双分支鲁棒不可学习样本

Xianlong Wang, Hangtao Zhang, Wenbo Pan, Ziqi Zhou, Changsong Jiang, Li Zeng, Xiaohua Jia

AI总结 提出DUNE方法，通过空间和颜色域的双分支优化及集成策略，增强不可学习样本对高级防御的鲁棒性，在CIFAR-10和ImageNet上平均测试准确率低至14.95%-50.82%。

Comments ICML 2026

SurvPFN: Towards Foundation Models for Survival Predictions

SurvPFN：面向生存预测的基础模型

Samuel Böhm, Lennart Purucker, Frank Hutter, Pascal Schlosser

机构 * University of Freiburg（弗赖堡大学） 纠错

AI总结 提出SurvPFN，一种基于先验数据拟合网络（PFN）的生存预测模型，通过合成数据预训练和删失负对数似然损失，无需逐数据集拟合即可在真实任务中与经典和深度生存基线竞争。

Comments 10 pages, 1 figure. Accepted to "Foundation Models for Structured Data" Workshop at the International Conference on Machine Learning (ICML) 2026

Energy-Structured Low-Rank Adaptation for Continual Learning

能量结构低秩自适应持续学习

Longhua Li, Lei Qi, Qi Tian, Xin Geng

机构 * School of Computer Science and Engineering, Southeast University, Nanjing, China（东南大学计算机科学与工程学院，南京，中国） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及其交叉应用重点实验室（东南大学），教育部，中国） ； Huawei Technologies, Shenzhen, China（华为技术有限公司，深圳，中国） 纠错

AI总结 提出E²-LoRA方法，通过能量集中和排序的低秩自适应以及动态秩分配策略，解决持续学习中的任务干扰和知识压缩问题，实现最优性能。

Comments Accepted by ICML 2026

Focus Then Listen: An Empirical Study of Plug-and-Play Audio Enhancer for Noise-Robust Large Audio Language Models

先聚焦后聆听：探索用于噪声鲁棒的大规模音频语言模型的即插即用音频增强器

Han Yin, Yang Xiao, Younghoo Kwon, Ting Dang, Jung-Woo Choi

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） 纠错

AI总结 提出即插即用的音频增强器FTL，通过分离语音与非语音并利用模态路由器预测目标模态，生成任务自适应增强信号，无需微调即可提升LALMs在噪声环境下的性能。

Comments Accepted by ICML 2026 Workshop (Machine Learning for Audio)

Gated Relational Alignment via Confidence-based Distillation for Efficient VLMs

基于置信度蒸馏的门控关系对齐用于高效视觉语言模型

Yanlong Chen, Amirhossein Habibian, Luca Benini, Yawei Li

机构 * Department of Information Technology（信息科技系） ； Electrical Engineering, ETH Zurich, Zurich, Switzerland（电气工程，苏黎世联邦理工学院，苏黎世，瑞士） ； Qualcomm AI Research, Amsterdam, the Netherlands（高通人工智能研究，阿姆斯特丹，荷兰） ； Department of Electrical, Electronic and Information Engineering（电气、电子与信息工程系） ； University of Bologna, Bologna, Italy（博洛尼亚大学，博洛尼亚，意大利） ； School of Electrical and Electronic Engineering（电气与电子工程学院） 纠错

AI总结 提出GRACE框架，通过信息瓶颈原理统一知识蒸馏与量化感知训练，使用置信度门控解耦蒸馏、关系中心核对齐和自适应控制器，在INT4量化下实现性能超越FP16基线并接近教师模型，同时显著降低内存和提升吞吐量。

Comments Accepted to the International Conference on Machine Learning (ICML 2026)

Coloring the Noise: Adversarial Sobolev Alignment for Faithful Image Super Resolution

着色噪声：用于忠实图像超分辨率的对抗性Sobolev对齐

Hongbo Wang, Huaibo Huang, Pin Wang, Jinhua Hao, Chao Zhou, Ran He

机构 * MAIS \& NLPR, Institute of Automation, Chinese Academy of Sciences, Beijing, China ； School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China 纠错

AI总结 提出ASASR框架，通过将生成流重铸为Sobolev诱导的黎曼几何并引入基于Riesz表示定理的参数化对抗器，解决图像超分辨率中生成先验导致的光谱失配问题，实现忠实重建。

Comments Accepted to ICML 2026

MolFORM: Multi-modal Flow Matching for Structure-Based Drug Design

MolFORM：基于多模态流匹配的结构药物设计

Jie Huang, Daiheng Zhang

AI总结 提出MolFORM框架，利用多流匹配联合建模离散原子类型和连续3D坐标，并通过基于直接偏好优化的偏好引导微调提升生成质量，在多个评估指标上取得一致改进。

Comments Accepted to ICML 2025 genbio workshop

Learning to Evict from Key-Value Cache

学习从键值缓存中驱逐

Luca Moschella, Laura Manduchi, Ozan Sener

AI总结 提出基于强化学习的KV缓存驱逐策略KVP，通过轻量级逐头代理学习预测令牌未来效用，显著提升长上下文和多轮对话性能。

Comments Accepted to ICML 2026. Code available at: https://github.com/apple/ml-learning-to-evict

When the Prompt Becomes Visual: Vision-Centric Jailbreak Attacks for Large Image Editing Models

当提示变为视觉：面向大型图像编辑模型的以视觉为中心的越狱攻击

Jiacheng Hou, Yining Sun, Ruochong Jin, Haochen Han, Fangming Liu, Wai Kin Victor Chan, Alex Jinpeng Wang

AI总结 提出首个视觉到视觉的越狱攻击VJA，通过纯视觉输入传递恶意指令，并构建安全基准IESBench，在商业模型上攻击成功率高达80.9%，同时提出无需训练的内省多模态推理防御方法。

Comments Accepted for spotlight and oral presentation at ICML 2026 (Project: https://csu-jpg.github.io/vja.github.io/)

Adaptive Momentum and Nonlinear Damping for Neural Network Training

自适应动量与非线性阻尼用于神经网络训练

Aikaterini Karoni, Rajit Rajpal, Benedict Leimkuhler, Gabriel Stoltz

AI总结 提出自适应动量系数和立方阻尼项，改进mSGD和Adam优化器，在ViT、BERT、GPT2等任务上匹配或超越Adam，并证明指数收敛。

Comments 31 pages, 13 figures. Accepted at ICML 2026

Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs

Just Ask: 好奇的代码代理揭示前沿大语言模型中的系统提示

Xiang Zheng, Yutao Wu, Hanxun Huang, Yige Li, Xingjun Ma, Bo Li, Yu-Gang Jiang, Cong Wang

AI总结 提出JustAsk框架，利用代码代理的自主交互能力，通过在线探索策略自动提取大语言模型的隐藏系统提示，揭示了系统提示作为新兴安全漏洞。

Comments Accepted at ICML 2026

Retaining by Doing: The Role of On-Policy Data in Mitigating Forgetting

在做中保留：在线策略数据在缓解遗忘中的作用

Howard Chen, Noam Razin, Karthik Narasimhan, Danqi Chen

AI总结 本文系统比较了监督微调（SFT）和强化学习（RL）在语言模型后训练中的遗忘模式，发现RL因使用在线策略数据而更少遗忘，并验证了在线策略数据是缓解遗忘的关键因素。

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML), 2026

LieSolver: PDE-Constrained Learning for IBVPs via Lie Symmetries

LieSolver：通过李对称性进行IBVP的PDE约束学习

René P. Klausen, Ivan Timofeev, Jonas Naujoks, Johannes Frank, Thomas Wiegand, Sebastian Lapuschkin, Wojciech Samek

AI总结 提出利用李对称性精确嵌入偏微分方程，仅从初边值数据学习解的方法，相比PINN在速度和精度上更优。

Comments Accepted at the Workshop on AI for Physics @ ICML 2026 (non-archival). 27 pages, 27 figures. Code: https://github.com/oduwancheekee/liesolver. v2: updated to camera-ready workshop version

On the Effect of Uncertainty on Layer-wise Inference Dynamics

不确定性对逐层推理动态的影响

Sunwoo Kim, Haneul Yoo, Alice Oh

AI总结 通过Tuned Lens分析11个数据集和5个模型，发现确定与不确定预测的逐层概率轨迹高度一致，表明不确定性不影响推理动态，但更强大的模型可能以不同方式处理不确定性。

Comments Accepted to Actionable Interpretability Workshop - ICML 2025

TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree

TreeLoRA：通过层级梯度相似性树引导的逐层LoRA实现高效持续学习

Yu-Yang Qian, Yuan-Ze Xu, Zhen-Yu Zhang, Peng Zhao, Zhi-Hua Zhou

AI总结 提出TreeLoRA方法，利用层级梯度相似性构建逐层适配器，结合bandit技术高效探索任务结构，并通过稀疏梯度更新优化参数，实现大预训练模型的高效持续学习。

Comments ICML 2025

Metadata Predictability Is Not Evidence Dependence: An Intervention-Based Audit for Weak-Label Benchmarks

元数据可预测性并非证据依赖性：基于干预的弱标签基准审计

Kan Shao

机构 * Jinglue Technology Development (Nanjing) Co., Ltd.（景庐科技发展（南京）有限公司） 纠错

AI总结 针对弱标签基准，提出结合元数据统计（MPDS）和证据干预统计（ΔEvi）的审计方法，通过合成和重构数据集验证了仅依赖元数据筛查的不足，并强调校准的重要性。

Comments 4 pages, 1 figure, 1 table. Accepted at ICML 2026 Workshop on Hypothesis Testing