ICML

Pessimism's Paradox: Conservative Offline Training Amplifies Reward Hacking During Online Adaptation in Reasoning Models

悲观的悖论：保守离线训练加剧推理模型在线适应中的奖励黑客行为

Subramanyam Sahoo, Aman Chadha, Vinija Jain, Divya Chaudhary

机构 * Horizon Research ； Apple ； Meta 纠错

AI总结 研究发现，离线训练中越保守的DPO（高β）会压缩策略熵，降低响应多样性，反而加速在线优化中奖励模型的利用，导致更严重的奖励黑客行为。

Comments Accepted in ICML 2026 workshop on Decision-Making from Offline Datasets to Online Adaptation: Black-Box Optimization to Reinforcement Learning

C$^{2}$R: Cross-sample Consistency Regularization Mitigates Feature Splitting and Absorption in Sparse Autoencoders

C$^{2}$R: 跨样本一致性正则化缓解稀疏自编码器中的特征分裂与吸收

Haoran Jin, Xiting Wang, Shijie Ren, Hong Xie, Defu Lian

AI总结 提出跨样本一致性正则化（C$^2$R），通过惩罚方向相似潜变量的共激活，缓解稀疏自编码器中的特征分裂与吸收问题，提升潜变量可解释性而不损失重构保真度。

Comments 24 pages, 6 figures. Accepted by ICML 2026

ITSPACE: Monotone Gaussian Optimal Transport Updates

ITSPACE: 单调高斯最优传输更新

Woojoo Na, Jennifer Dy

AI总结 提出ITSPACE方法，通过平方根分解的闭式更新直接优化Bures-Wasserstein目标，实现协方差矩阵的高效对齐，在严格预算下显著快于现有方法。

Comments Accepted to ICML 2026. Camera-ready version

MuonSSM: Orthogonalizing State Space Models for Sequence Modeling

MuonSSM：正交化状态空间模型用于序列建模

Thai-Khanh Nguyen, Ngoc-Bich-Uyen Vo, Thieu N. Vo, Tan M. Nguyen, Cuong Pham

AI总结 提出MuonSSM框架，通过动量路径和低秩输入的牛顿-舒尔茨变换来条件化记忆更新的几何结构，稳定SSM训练并提升长程性能。

Comments 22 pages, 7 figures. ICML 2026 (Oral)

Internal-State Probes Read the Situation, Not the Action: Three Negative Results for Pre-Action Misalignment Monitoring

内部状态探针读取的是情境而非行动：预行动失调监测的三个负面结果

Max Fomin, Elad David, Amit LeVi

机构 * Zenity 纠错

AI总结 研究通过探针监测模型内部状态以预测有害行动，发现构造有效性、语义可读性和引导效应均无法成为稳健的预行动监测器，并提出了将内部读取转化为预行动测试的方法。

Comments Published at the Second Workshop on Agents in the Wild: Safety, Security, and Beyond (AIWILD) at ICML 2026. 17 pages (including appendices), 5 figures, 8 tables

REAR: Test-time Preference Realignment through Reward Decomposition

REAR: 通过奖励分解实现测试时偏好重对齐

Fuxiang Zhang, Pengcheng Wang, Chenran Li, Yi-Chen Li, Yuxin Chen, Lang Feng, Chenfeng Xu, Masayoshi Tomizuka, Bo An

机构 * Nanyang Technological University（新加坡国立大学） ； Nanjing University（南京大学） 纠错

AI总结 提出REAR框架，通过将奖励函数分解为问题相关和偏好相关两部分，推导出可线性组合的对齐奖励，实现无需训练的测试时偏好重对齐，适用于多种任务。

Comments Accepted by ICML 2026

Local-Minima-Preserving Continuous Relaxation of Ising Problems

Ising问题的局部极小保持连续松弛

Debraj Banerjee, Santanu Mahapatra, Kunal N. Chaudhury

AI总结 针对广义Ising问题，提出一种多项式松弛方法，证明其局部极小与原始问题单翻转局部极小一一对应，从而将问题转化为光滑函数优化，可应用梯度优化器如ADAM，在自旋玻璃、MAX-CUT和NPP等基准测试中表现优异。

Comments Accepted (regular) at 43rd International Conference on Machine Learning (ICML'26)

BrainJanus: A Unified Model for Understanding and Generation across Brain, Vision, and Language

BrainJanus：一个统一的大脑、视觉与语言理解与生成模型

Haitao Wu, Qirui Zhang, Zhouheng Yao, Shangquan Sun, Qihao Zheng, Mianxin Liu, Chi Zhang, Wanli Ouyang, Chunfeng Song, Changqing Zhang, Jiamin Wu

AI总结 提出首个统一大脑模型BrainJanus，通过统一大脑分词器和全能自回归架构，实现脑信号与视觉、语言之间的双向编码与解码，在多个基准上取得优异性能并具备零样本泛化能力。

Journal ref ICML 2026

Characterizing Optimizer-Dependent Training Dynamics Through Hessian Eigenvector Displacement and Localization

通过Hessian特征向量位移与局域化刻画优化器依赖的训练动力学

Marcelina Marjankowska, Valerio Modugno, Paolo Barucca

机构 * Financial Computing and Analytics Group, University College London（金融计算与分析组，伦敦大学学院） ； Robot Perception and Learning Lab, University College London（机器人感知与学习实验室，伦敦大学学院） 纠错

AI总结 研究多层感知机训练中Hessian主导特征向量的演化，通过位移和局域化统计量揭示SGD与Adam优化器在曲率方向稳定性上的显著差异。

Comments Accepted as a poster at High-dimensional Learning Dynamics (HiLD), ICML 2026. OpenReview: https://openreview.net/forum?id=SabYcw5Nh6

Federated Learning with Energy-Based Structured Probabilistic Inference

基于能量结构化概率推理的联邦学习

Dario Fenoglio, Daniil Kirilenko, Martin Gjoreski, Marc Langheinrich

AI总结 提出使用条件随机场（CRF）优化联邦学习中客户端聚合权重，通过一元势和成对势建模客户端可靠性与交互，提升非IID数据下的全局模型收敛性能。

Comments Accepted to the Structured Probabilistic Inference Generative Modeling workshop at ICML 2026

Robust Strategic Classification under Decision-Dependent Cost Uncertainty

决策依赖成本不确定性下的鲁棒策略分类

Sura Alhanouti, Güzin Bayraksan, Parinaz Naghizadeh

AI总结 针对策略分类中成本依赖决策的现实问题，提出两阶段鲁棒优化框架，利用决策依赖不确定集建模，减少博弈行为并降低不确定性。

Comments 29 pages, 7 figures, accepted for publication at ICML 2026

Does Verbose Chain-of-Thought Really Help? In-Distribution Evidence that Content, Not Length, Matters

冗长的思维链真的有用吗？来自分布内证据表明，内容而非长度才是关键

Wenlong Wang, Fergal Reid

机构 * Fin AI Research（Fin AI研究） 纠错

AI总结 通过分布内采样和受控干预实验，发现思维链中额外标记的长度不影响推理准确性，真正起作用的是标记携带的推理和验证内容。

Comments ICML Workshop on Efficient Multimodal Question Answering (EMM-QA)

SABER-Math: Automated Benchmark for Information Retrieval Evaluation in Mathematics

SABER-Math：数学信息检索评估的自动化基准

Nikolay Georgiev, Maria Drencheva, Kseniia Ibragimova, Ivo Petrov, Dimitar I. Dimitrov, Martin Vechev

AI总结 提出首个无需专家标注的数学信息检索自动化基准SABER-Math，通过三步构建重排序任务，评估检索器在数学领域的效果，发现通用基准无法可靠预测数学检索性能。

Comments Accepted in the 3rd AI for Math Workshop at the 43rd International Conference on Machine Learning (ICML), Seoul, South Korea, 2026

Clinical Reasoning Graphs: Structured Evaluation of LLM Diagnostic Reasoning Reveals Competence Without Consistency

临床推理图：LLM诊断推理的结构化评估揭示能力与一致性无关

Nisarg A. Patel

AI总结 通过从LLM诊断痕迹中提取结构化图（5种节点和7种边），分析50例临床病例，发现图相似性在相似病例与不相似病例间无显著差异，表明LLM具备诊断能力但缺乏推理一致性。

Comments Spotlight Paper, Proceedings of the Workshop on Structured Data for Health at the 43rd International Conference on Machine Learning (ICML), Seoul, South Korea

Rethinking Forgery Attacks on Semantic Watermarks in Black-Box Settings: A Geometric Distortion Perspective

重新思考黑盒设置下语义水印的伪造攻击：一种几何畸变视角

Cheng-Yi Lee, Yichi Zhang, Yuchen Yang, Chun-Shien Lu, Jun-Cheng Chen

机构 * Academia Sinica（中国台湾“学术院） 纠错

AI总结 本文从率-畸变理论出发，揭示代理模型与目标模型间的结构失配导致不可约畸变，并将其建模为潜在流形上的全局漂移和局部变形，进而提出一种方案无关的检测方法以区分伪造样本。

Comments Accepted at ICML 2026, updated

Concept Removal Guidance: Evidence-Calibrated Negative Guidance for Safe Diffusion Sampling

概念移除引导：用于安全扩散采样的证据校准负引导

Yoonseok Choi, Chaeyoung Oh, Hyunjun Choi, Seokin Seo, Kee-Eung Kim

机构 * KAIST（韩国科学技术院） ； KIST（韩国科学技术院） 纠错

AI总结 提出概念移除引导（CRG），一种无需训练的方法，通过从模型噪声预测中估计不良概念存在并自适应校准负引导权重，在保持良性保真度的同时降低攻击成功率。

Comments Published at ICML 2026

GoodDiffusion: Proactive Copyright Protection for Diffusion Bridge Models via Learnable Sample-specific Signatures

GoodDiffusion: 通过可学习的样本特定签名实现扩散桥模型的主动版权保护

Shixi Qin, Zhiyong Yang, Shilong Bao, Zitai Wang, Qianqian Xu, Qingming Huang

AI总结 针对扩散桥模型未经授权使用的问题，提出GoodDiffusion方法，通过后门机制将授权内化到生成过程，并引入可学习签名网络实现样本特定签名，有效阻止未授权生成，同时保证授权用户的高质量生成。

Comments This paper has been accepeted to ICML 2026 (Oral)

SEVA: Self-Evolving Verification Agent with Process Reward for Fact Attribution

SEVA: 具有过程奖励的自进化验证代理用于事实归因

Aojie Yuan, Yi Nian, Haiyue Zhang, Zijian Su, Yue Zhao

机构 * University of Southern California, Los Angeles, USA（美国南加州大学，洛杉矶） ； University of Michigan, Ann Arbor, USA（美国密歇根大学，安娜堡） 纠错

AI总结 提出SEVA，一种结构化验证代理，通过过程奖励解决多组件输出中的优势崩溃问题，实现自我进化循环，在7B模型上验证了奖励粒度必须匹配输出粒度的原则。

Comments Accepted at AI4GOOD@ICML 2026 and FAGEN@ICML 2026. Code: https://github.com/Justin0504/Verifiable_agent

Diversity is the Strength of the AI Crowd

多样性是AI群体的力量

Matthew Aitchison, Scott Jeen, Toby Shevlane, Ben Day

机构 * Mantic Technologies 纠错

AI总结 研究通过集成不同AI预测模型提升未来事件预测准确性，发现结合准确且多样化的模型（如Grok 4）比单纯增加采样更有效，强调模型质量与多样性的平衡。

Comments Accepted at the ICML 2026 Workshop on Forecasting as a New Frontier of Intelligence, Seoul, South Korea, 2026

SoftBinary Coding: A New Information-Theoretic Neural Compression Paradigm

软二进制编码：一种新的信息论神经压缩范式

Ezgi Ozyilkan, Sharang M. Sriramu, Elza Erkip, Aaron B. Wagner, Jona Ballé

AI总结 提出软二进制编码（SBC），通过随机二进制潜变量空间和快速二进制信道模拟，克服非线性变换编码的局限性，在信息论源上达到最优率失真界，并在独立同分布源的矢量量化上超越网格编码量化。

Comments accepted to ICML 2026 as a conference paper

Learned Coordination Conventions in Cooperative MARL: Measuring the Translation Gap Between Theory-Informed Roles and Learned Routing

合作多智能体强化学习中的学习协调惯例：衡量理论指导角色与学习路由之间的翻译差距

Yoosung Hong

机构 * Independent Researcher（独立研究员） 纠错

AI总结 通过角色路由矩阵、形成敏感性和梯度/遮挡归因的诊断方法，衡量理论指导角色期望与学习协调结构之间的翻译差距，发现标签条件注意力产生更集中和角色特定的路由，且部分对齐设计者指定的先验。

Comments 8 pages, 1 figures. Poster Accepted at NExT-Game 2026: New Frontiers in Game-Theoretic Learning, ICML 2026 Workshop

The Verbose Context Problem in Medical Records

医疗记录中的冗长上下文问题

Shiva Kaul, Min-Gyu Kim, Anjum Khurshid, Sriram Vishwanath

机构 * Department of Population Medicine（人口医学部） ； Department of Biomedical Informatics（生物医学信息学部） ； School of Electrical and Computer Engineering（电气与计算机工程学院） 纠错

AI总结 针对群体健康分析中结构化概念导致的长文本瓶颈，提出PopMedQA基准，通过人工患者记录生成库neopatient构建任务，发现领域无关方法无法缓解该问题。

Comments SD4H ICML 2026 Spotlight

Faults in Our Formal Benchmarking: Dataset Defects and Evaluation Failures in Lean Theorem Proving

我们形式化基准测试中的缺陷：Lean定理证明中的数据集缺陷与评估失败

Pawan Sasanka Ammanamanchi, Siddharth Bhat, Stella Biderman

AI总结 通过大规模静态检查器审计五个Lean定理证明基准，发现398个机械可验证问题（如反例、空洞定理），并提出缺陷分类、自动检查工具和评估标准。

Comments Accepted at ICML 2026

LLM-Guided Planning for Multi-hop Reasoning over Multimodal Nuclear Regulatory Documents

LLM引导的规划：多模态核监管文档的多跳推理

Mingyu Jeon, Bokyeong Kim, Suwan Cho, Jae Young Suh, Yonggyun Yu

AI总结 提出LLM引导的规划方法，通过动态知识图谱状态和文档树工具，在多跳推理任务中实现81.5%准确率，显著优于无状态规划方法。

Comments Accepted at the Second Workshop on Agents in the Wild: Safety, Security, and Beyond @ ICML 2026. 8 pages (main), 3 figures, 1 algorithm

Reliability, Faithfulness, and the Limits of Post-hoc Explanations of Opaque Scientific Models

可靠性、忠实性与不透明科学模型事后解释的局限性

Nick Oh, Helen Jin

机构 * socius labs（socius实验室） 纠错

AI总结 本文论证事后解释方法不能仅凭可靠性和忠实性保证对现象结构的洞察，需外部验证支持候选假设。

Comments Presented at PhilML Workshop at ICML 2026

Sample Complexity of Scientific Discovery: PAC Learnability of Compositional Function Trees

科学发现的样本复杂度：组合函数树的PAC可学习性

Şuayp Talha Kocabay, Talha Rüzgar Akkuş, Kerem Yalçın

AI总结 研究组合函数树的PAC可学习性，证明其Rademacher复杂度由深度和算子Lipschitz常数控制，风险界为O(L^d/√n)，并通过实验验证理论。

Comments Accepted to the 2nd Workshop on Compositional Learning: Safety, Interpretability, and Agents at ICML 2026. To be presented in Seoul, South Korea, July 11, 2026

ScaleErasure: Inference-Time Minimal Intervention for Precise Concept Erasure in Next-Scale Autoregressive Image Generation

ScaleErasure：下一尺度自回归图像生成中精确概念擦除的推理时最小干预

Cong Wang, Haiyu Wu, Zhiwei Jiang, Zifeng Cheng, Fei Shen, Yafeng Yin, Qing Gu

AI总结 提出ScaleErasure方法，通过推理时对与不安全概念最相关的logits进行选择和引导，在下一尺度自回归图像生成中实现精确概念擦除，同时保持生成能力。

Comments ICML 2026

The Complexity Ceiling Benchmark: A Multi-Domain Evaluation of Sequential Reasoning Under Depth Scaling

复杂性天花板基准：深度缩放下顺序推理的多领域评估

Shubh Chapra, Dhruv Kumar, Murari Mandal, Yash Sinha

AI总结 提出复杂性天花板基准（CCB），通过控制任务语义内容、仅改变推理深度N，评估语言模型在三个结构不同领域中的顺序推理衰减，发现几何级数衰减和领域天花板差异，并引入跟踪级指标TFBC。

Comments 12 pages, 6 figures. Accepted to the 1st Workshop on Combining Theory and Benchmarks (CTB), CTB@ICML 2026

Representational Depth of Evaluation Awareness Shifts With Scale in Open-Weight Language Models

评估意识表征深度随规模在开放权重语言模型中变化

Archit Manek

AI总结 研究发现，在Qwen 2.5和Gemma 2等模型中，评估意识线性可恢复的层从较小模型的后期层转移到较大模型的早期层，表明规模改变了评估意识的表征深度，且白盒探针信号强于黑盒行为表达。

Comments 9 pages, 3 figures. Accepted at the Mechanistic Interpretability Workshop at ICML 2026

Selective Memory Retention for Long-Horizon LLM Agents

面向长周期LLM智能体的选择性记忆保留

Pranath Reddy

AI总结 提出TraceRetain框架，通过可解释特征评分和驱逐机制管理有限外部记忆，在噪声环境下保持任务成功率，验证了选择性记忆保留对长周期智能体的有效性。

Comments Accepted at the International Conference on Machine Learning (ICML) 2026