ICML

On the Limits of LLM Adaptability: Impact of Model-Internalized Priors on Annotation Task Performance

论大语言模型适应性的局限：模型内化先验对标注任务性能的影响

Etienne Casanova, Rafal Kocielnik, R. Michael Alvarez

机构 * University of Washington（华盛顿大学） 纠错

AI总结 通过毒性检测实验，研究大语言模型内化先验与指令交互的三个维度，发现近三分之二的零样本错误难以通过提示纠正，并引入定义特定熟悉度（DSF）指标，证明其与性能正相关，而文本记忆指标则无此关联。

Comments Accepted at ICML 2026 (Oral & Spotlight); PMLR vol. 306. 9 pages, 4 figures

Exploiting weight-space symmetries for approximating curvature

利用权重空间对称性近似曲率

Artem Artemev, Rui Xia, Benjamin M. Boyd, Youjing Yu, Felix Dangel, Guillaume Hennequin, Alberto Bernacchia

机构 * DeepMind, London, UK（伦敦DeepMind） 纠错

AI总结 本文通过解析平均化保持损失不变的群作用，从单个梯度构建结构化的Hessian近似，从而利用权重空间对称性来近似损失函数的曲率。

Comments Published at ICML 2026. 35 pages, 11 figures. Code: https://github.com/mtkresearch/symm_opt

Finer Parameter Steps for Low-Rank PEFT: A Controlled Study with CP Tensor Adapters

低秩PEFT的更细参数步长：基于CP张量适配器的控制研究

Xinjue Wang, Xiuheng Wang, Yejun Zhang, Sergiy A. Vorobyov, Esa Ollila, Zhi-Yong Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 本文通过固定组件的规范多路分解（CP）张量适配器实现更细的参数步长，研究其对低秩适配器精度-预算权衡的影响，发现CP适配器能填补LoRA秩之间的空白，但效果依赖于任务。

Comments Accepted at the ICML 2026 Workshop on CoLoRAI

Quantifying the Salience of Geo-Cultural Values for Pluralistic Safety Alignment

量化地理文化价值对多元安全对齐的显著性

Arkadiy Saakyan, Charvi Rastogi, Lora Aroyo

机构 * University of Oxford（牛津大学） ； University of Cambridge（剑桥大学） 纠错

AI总结 通过多层次模型分析，发现文化区域归属对安全评分有显著影响（p<0.05），约10%的项目存在文化敏感性，当前LLM无法可靠替代人类评分员但可辅助筛选。

Comments 119 pages, 13 figures. ICML 2026 camera ready

(HB-ARFM) History-Bootstrapped Flow Matching for Inverse Boiling Reconstruction

(HB-ARFM) 基于历史引导的流匹配用于逆沸腾重建

Xianwei Zou, Sheikh Md Shakeel Hassan, Arthur Feeney, Aparna Chandramowlishwaran

AI总结 提出历史引导自回归流匹配方法，通过条件流匹配和自回归传播解决部分观测下的时空逆重建问题，在沸腾动力学重建中优于其他模型。

Comments ICML 2026

Balancing Learning Rates Across Layers: Exact Two-Step Dynamics and Optimal Scaling in Linear Neural Networks

跨层学习率平衡：线性神经网络中的精确两步动力学与最优缩放

Tianyu Pang, Vignesh Kothapalli, Shenyang Deng, Haohui Wang, Dawei Zhou, Yaoqing Yang

机构 * Dartmouth College（达特茅斯学院） ； Stanford University（斯坦福大学） 纠错

AI总结 本文通过精确推导线性神经网络在梯度下降两步后的梯度和测试损失闭式表达式，研究了层间学习率的最优选择，揭示了初始步骤不等学习率可最小化测试损失而后续步骤等学习率最优的早期训练机制。

Comments ICML 2026

Large-scale Uncertainty Quantification for Latent Variable Models Using Subsampling Markov Chain Monte Carlo

基于子抽样马尔可夫链蒙特卡罗的潜变量模型大规模不确定性量化

Xiaoyu Wang, Jonathan H. Huggins

机构 * University of Cambridge（剑桥大学） 纠错

AI总结 针对潜变量模型中SGLD-Gibbs算法超参数调优缺乏理论指导的问题，通过推导统计缩放极限理论，提出确保不确定性量化有意义的调优准则。

Journal ref Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026

Accurate Large-sample Uncertainty Quantification using Stochastic Gradient Markov Chain Monte Carlo

使用随机梯度马尔可夫链蒙特卡洛进行精确的大样本不确定性量化

Yu Wang, Jie Ding, Jonathan H. Huggins

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 针对大批量或模型误设下随机梯度下降和随机梯度Langevin动力学调参困难的问题，提出新的离散时间近似方法，实现稳态协方差、迭代平均协方差和积分自相关时间的精确预测，并给出非渐近误差界。

Journal ref Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026

Evaluating Bivariate Causal Statements Based on Mutual Compatibility

基于相互兼容性评估双变量因果陈述

Erik Jahn, Dominik Janzing

机构 * California Institute of Technology, USA（加州理工学院，美国） 纠错

AI总结 针对一组变量上的双变量因果陈述，提出基于兼容性分数的评估方法，通过量化因果模型引入的额外混杂程度或全局一致性约束来区分正确与错误的因果陈述，并应用于大语言模型生成的因果主张。

Comments accepted for ICML 2026

When Softmax Fails at the Top: Extreme Value Corrections for InfoNCE

当 Softmax 在顶部失效：InfoNCE 的极值修正

Melihcan Erol, Suat Evren, Oktay Ozel, Alexander Morgan, Jongha Jon Ryu, Lizhong Zheng

机构 * University of Waterloo（滑铁卢大学） 纠错

AI总结 针对 InfoNCE 中 softmax 假设与对比学习嵌入设置不匹配的问题，提出基于极值理论的 WEINCE 修正方法，在五个视觉基准上提升冻结特征评估性能。

Comments Presented in ICML 2026

ARCA: Adapter-Residual Credit Assignment When Token Signals Degenerate

ARCA: 当令牌信号退化时的适配器-残差信用分配

Rodney Lafuente-Mercado

机构 * Rodney Lafuente-Mercado（罗伊德·拉福恩特-默茨） 纠错

AI总结 针对LoRA微调下令牌级信用分配信号退化的问题，提出ARCA方法，利用适配器隐藏状态残差作为令牌显著性度量，无需学习奖励模型或价值头。

Comments Accepted to DEMO 2026: ICML Workshop on Decision-Making from Offline Datasets to Online Adaptation. Non-archival report

Geodesic Flow Matching for Denoising High-Dimensional Structured Representations

用于去噪高维结构化表示的测地流匹配

Karim Habashy, Chris Eliasmith

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 针对向量符号代数中空间语义指针的流形约束问题，提出测地流匹配方法，将去噪流限制在环面上，在脉冲神经SLAM系统中实现72%的跟踪误差降低和40%的神经效率提升。

Comments ICML 2026 Main track

Dynamics and Representation Structure of Local Approximations to Gradient-Based Learning in Linear Recurrent Neural Networks

线性递归神经网络中基于梯度学习的局部近似的动力学与表示结构

Ezekiel Williams, Alexandre Payeur, Guillaume Lajoie

AI总结 本文应用动力系统理论分析线性RNN中局部学习算法（RFLO和tBPTT）与BPTT的差异，发现RFLO的解被限制在初始参数的低秩扰动上。

Comments accepted to ICML 2026 as poster. Current version is camera-ready submission

InfoAtlas: A Foundation Model for Zero-Shot Statistical Dependence Estimate

InfoAtlas：用于零样本统计依赖性估计的基础模型

Zhengyang Hu, Yanzhi Chen, Hanxiang Ren, Qunsong Zeng, Youyi Zheng, Adrian Weller, Kaibin Huang, Yanchao Yang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出InfoAtlas，一种基础模型架构，通过单次前向传播直接推断互信息，实现零样本估计，在保持精度的同时获得100倍加速。

Comments Accepted to ICML 2026

MindZero: Learning Online Mental Reasoning With Zero Annotations

MindZero：零标注的在线心智推理学习

Shunchi Zhang, Jin Lu, Chuanyang Jin, Yichao Zhou, Zhining Zhang, Tianmin Shu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出MindZero框架，通过自监督强化学习训练多模态大语言模型，实现高效鲁棒的在线心智推理，无需显式心智状态标注。

Comments ICML 2026. Website: https://scai.cs.jhu.edu/MindZero

LithoGRPO: Fast Inverse Lithography via GRPO Reinforced Flow Matching

LithoGRPO: 通过GRPO强化流匹配的快速逆向光刻

Yao Lai, Xuyuan Xiong, Zeyue Xue, Guojin Chen, Jing Wang, Xihui Liu, Rui Zhang, Robert Mullins, Bei Yu, Ping Luo

机构 * University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

AI总结 提出LithoGRPO框架，结合流匹配与GRPO强化学习微调，利用物理奖励函数优化掩模，实现高效逆向光刻，性能优于现有方法。

Comments ICML 2026

From Rashomon Theory to PRAXIS: Efficient Decision Tree Rashomon Sets

从Rashomon理论到PRAXIS：高效决策树Rashomon集

Zakk Heile, Hayden McTavish, Varun Babbar, Margo Seltzer, Cynthia Rudin

机构 * Stanford University（斯坦福大学） 纠错

AI总结 针对决策树Rashomon集计算开销大的问题，提出PRAXIS算法，在运行时和内存使用上实现数量级改进，并能恢复几乎完整的Rashomon集。

Comments Accepted to ICML 2026

Positional Encodings Anchor Spatial Structure in Vision Transformers: A Geometric Perspective on Robustness

位置编码锚定视觉Transformer中的空间结构：基于几何视角的鲁棒性研究

Mahmoud Mannes

机构 * ESSTHS 纠错

AI总结 本文通过引入空间相似性距离相关性（SSDC）度量，研究不同位置编码对视觉Transformer内部空间表示几何结构的影响，发现位置编码通过建立索引锚定的空间组织来提升模型在内容破坏性分布偏移下的鲁棒性。

Comments 16 pages (9 main text, 7 appendix). 5 figures (3 main text, 2 appendix) with 8 graphics total. 5 tables (1 main text, 4 appendix). Submitted to NeurIPS 2026 main conference and the ICML 2026 mechanistic interpretability workshop

DLLM-JEPA: Joint Embedding Predictive Architectures for Masked Diffusion Language Models

DLLM-JEPA：用于掩码扩散语言模型的联合嵌入预测架构

Sangdae Nam

机构 * Sangdae Nam 纠错

AI总结 提出DLLM-JEPA，通过将联合嵌入预测架构与掩码扩散语言模型结合，消除显式多视图数据和双梯度前向传播需求，在多个任务上提升准确率并降低训练FLOPs。

Comments 17 pages, 4 figures, 13 tables. Accepted at SPIGM Workshop, ICML 2026

Comprehensive AI governance requires addressing non-model gains

全面的人工智能治理需要解决非模型增益问题

Arthur Goemans, Dan Altman, Noemi Dreksler, Jonas Freund, Milan Gandhi, Zhengdong Wang, Sarah Cogan, Sebastien Krier, Demetra Brady, Lewis Ho, Allan Dafoe

机构 * Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） ； Open Philanthropy（开放哲学基金会） 纠错

AI总结 本文提出非模型增益的概念，包括推理增益、系统增益和资产增益，并论证这些增益会削弱以模型为中心的治理有效性，进而提出超越模型层面的治理方法。

Comments This paper has been accepted to ICML 2026 (Position paper track): https://openreview.net/forum?id=V3O1sHpKxX

Position: the Stochastic Parrot in the Coal Mine. Model Collapse is a Threat to Low-Resource Communities

立场：煤矿中的随机鹦鹉。模型崩溃对低资源社区的威胁

Devon Jarvis, Richard Klein, Benjamin Rosman, Steven James, Stefano Sarao Mannelli

AI总结 本文探讨模型崩溃（生成模型在先前模型输出上训练导致的性能下降）如何通过降低训练效率、扭曲数据分布，不成比例地影响低资源和边缘化社区，并呼吁采取行动。

Comments 14 pages, 1 figure, 1 table, International Conference on Machine Learning

How Language Models Process Negation

语言模型如何处理否定

Zhejian Zhou, Tianyi Zhou, Robin Jia, Jonathan May

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 研究大型语言模型处理否定的内部机制，发现模型内部存在正确处理的组件，但后期注意力层导致错误，通过消融可提升准确率；模型同时采用抑制和构建两种机制，其中构建机制更显著。

Comments ICML 2026

Beyond Additive Decompositions: Interpretability Through Separability

超越加性分解：通过可分离性实现可解释性

Jinyang Liu, Munir Eberhardt Hiabu

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 提出张量分离学习（TSL）回归模型，通过阶段式贪心过程与正交重拟合学习单变量特征函数的秩1乘积之和，避免加性分解中的信号抵消和外推问题，实现忠实于拟合分量的可视化，并提供近似率保证。

Comments To appear in Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

CamGeo: Sparse Camera-Conditioned Image-to-Video Generation with 3D Geometry Priors

CamGeo: 基于稀疏相机条件的图像到视频生成与3D几何先验

Xuanyi Liu, Deyi Ji, Liqun Liu, Lanyun Zhu, Xuhang Chen, Qianxiong Xu, Peng Shu, Huan Yu, Jie Jiang, Feng Gao, Siwei Ma

AI总结 提出CamGeo框架，通过从预训练视频到3D模型蒸馏3D几何知识，结合关键帧轨迹蒸馏、跨帧一致性蒸馏和三阶段课程学习，解决稀疏相机条件下图像到视频生成中的姿态漂移和运动不连续问题。

Comments Accepted by ICML 2026

Beyond Trajectory-Level Attribution: Graph-Based Credit Assignment for Agentic Reinforcement Learning

超越轨迹级归因：基于图的智能体强化学习信用分配

Xin Cheng, Shuo He, Lang Feng, HaiYang Xu, Ming Yan, Lei Feng, Bo An

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出GraphGPO方法，通过构建状态转移图并利用全局信息估计各状态到任务目标的距离，实现步骤级信用分配，提升训练效率和性能。

Comments Accepted by ICML 2026

MIC: Maximizing Informational Capacity in Adaptive Representations via Isotropic Subspace Alignment

MIC: 通过各向同性子空间对齐最大化自适应表示中的信息容量

Dang Nguyen Hong, Nhi Ngoc-Yen Nguyen, Huy-Hieu Pham

机构 * National University of Singapore（新加坡国立大学） 纠错

AI总结 针对多尺度表示中的维度冗余和谱坍缩问题，提出MIC框架，通过各向同性子空间对齐、软坍缩正则化和谱各向同性正则化，结合自蒸馏目标生成语义密集且高判别力的表示，在高压缩场景下显著优于基线。

Comments Accepted at the GlobalSouthML Workshop at ICML 2026. 8 pages, 2 figures

EVL-ECG: Efficient ECG Interpretation With Multi-Aspect Heterogeneous Knowledge Distillation

EVL-ECG：面向多视角异构知识蒸馏的高效心电图解读

Dang Nguyen Hong, Nhi Ngoc-Yen Nguyen, Huy-Hieu Pham

机构 * University of Notre Dame（诺丁汉大学） 纠错

AI总结 提出EVL-ECG框架，通过多头交叉注意力对齐、最优传输视觉特征匹配和几何结构关系匹配三种创新方法，实现跨架构知识蒸馏，在资源受限环境下高效解读心电图。

Comments 7Accepted at the SD4H Workshop at ICML 2026. 7 pages, 3 figures

Position: Stop Chasing the C-index when Evaluating Survival Analysis Models

立场：评估生存分析模型时停止追逐C指数

Christian Marius Lillelund, Shi-ang Qi, Russell Greiner, Christian Fischer Pedersen

机构 * University of Copenhagen（哥本哈根大学） 纠错

AI总结 本文批判性审视生存分析中的评估实践，指出C指数等一致性指标被过度使用且与建模目标错位，提出双螺旋阶梯框架以确保评估指标与模型假设对齐，并通过实验展示错位导致的误导性比较。

Comments ICML 2026 Position Paper Track (Spotlight)

Honest Lying: Understanding Memory Confabulation in Reflexive Agents

诚实撒谎：理解反射型智能体中的记忆虚构

Prakhar Dixit, Sadia Kamal, Tim Oates

机构 * University of Cambridge（剑桥大学） 纠错

AI总结 研究反射型智能体在自我反思中产生记忆虚构的问题，提出反射重复率（RRR）指标检测该现象，并通过程序化提取失败信号缓解问题。

Comments Accepted to ICML 2026 Workshop "Failure Modes in Agentic AI"

Many-Shot CoT-ICL: Making In-Context Learning Truly Learn

Many-Shot CoT-ICL: 使上下文学习真正学习

Tsz Ting Chung, Lemao Liu, Mo Yu, Dit-Yan Yeung

机构 * The University of Hong Kong（香港大学） 纠错

AI总结 研究多示例思维链上下文学习在推理任务中的特性，提出曲线演示选择方法，在数学任务上提升5.42个百分点。

Comments Accepted by ICML 2026