ICML

A Risk Decomposition Framework for Pre-Hoc Fine-Tuning Prediction

预微调预测的风险分解框架

Yuxiang Luo, Chen Wang, Nan Tang

机构 * The Hong Kong University of Science（香港科技大学） 纠错

AI总结 提出风险分解框架，将预微调性能预测风险分解为内在极限与可降优化方差，证明优化方差衰减率存在下界，并导出预算最优探测原则及可预测性相图。

Comments 9 pages, 4 figures, accepted as ICML 2026 Poster:https://icml.cc/virtual/2026/poster/66570

Closing the Feedback Loop: From Experience Extraction to Insight Governance in Verbal Reinforcement Learning

闭环反馈：从经验提取到洞察治理在言语强化学习中的应用

Yanwei Cui, Xing Zhang, Yulong Zhang, Li Shao, Xiaofeng Shi, Guanghui Wang, Peiyang He

机构 * AWS Generative AI Innovation Center（AWS生成式人工智能创新中心） ； Amazon Web Services (AWS)（亚马逊网络服务（AWS）） ； BingX Group Limited（BingX集团有限公司） 纠错

AI总结 针对非平稳环境中LLM智能体的保留-遗忘困境，提出三层架构（规则、证据、技能）通过反馈驱动的策展循环实现洞察治理，在金融预测中验证了该方法能显著提升准确率和风险调整收益。

Comments Accepted to the ICML 2026 RLxF: Reinforcement Learning from World Feedback Workshop, RLxF@ICML 2026, Seoul, South Korea

A Machine-Learned Comorbidity Index

机器学习共病指数

Suleman Baloch, Kishlay Jha, Alberto M. Segre, Philip M. Polgreen, Bijaya Adhikari

机构 * Department of Electrical and Computer Engineering, University of Iowa, Iowa, USA（电气与计算机工程系，爱荷华大学，爱荷华，美国） ； Department of Computer Science, University of Iowa, Iowa, USA（计算机科学系，爱荷华大学，爱荷华，美国） ； Department of Internal Medicine, University of Iowa, Iowa, USA（内科学系，爱荷华大学，爱荷华，美国） 纠错

AI总结 提出一种机器学习共病指数（MLCI），通过最大化学习分数与多个临床结果之间的归一化希尔伯特-施密特独立性准则（nHSIC）来映射诊断代码为单一标量，捕获非线性风险-结果依赖，并在多个EHR数据集上优于基线方法。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026), Seoul, South Korea. 35 pages

The Discrete-Log Clock: How a Transformer Learns Modular Multiplication

离散对数时钟：Transformer如何学习模乘法

Huu Danh Nguyen

机构 * Stanford University（斯坦福大学） 纠错

AI总结 通过乘法特征变换分析，发现Transformer在模乘法任务中学习到稀疏的傅里叶谱，其嵌入和MLP神经元主要编码少数乘法频率，表明模型实现了离散对数空间中的加法运算，即“离散对数时钟”算法。

Comments 5 pages, 5 figures. Accepted to the Mechanistic Interpretability Workshop at ICML 2026

NarrativeWorldBench: A Frontier-Saturated Benchmark and a Latent World Model for Long-Horizon Co-Creative Audio Drama

NarrativeWorldBench：面向长程共创音频剧的前沿饱和基准与潜在世界模型

Logan Mann, Abdur Rahman, Mohammad Saifullah, Taaha Kazi, Vasu Sharma

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； Pocket FM 纠错

AI总结 提出NarrativeWorldBench基准，在九种叙事结构指标上评估21个模型，并引入N-VSSM变分状态空间模型，通过Mamba-2骨干和事件条件后验在200集以上维持结构化潜在状态，在长弧一致性和可控性上超越Claude Opus 4.5。

Comments 10 pages. Accepted to the ICML 2026 Workshops on High-dimensional Learning Dynamics (HiLD) and Culture x AI

Greedy Coordinate Diffusion: Effective and Semantically Coherent Adversarial Attacks via Diffusion Guidance

贪婪坐标扩散：通过扩散引导实现有效且语义一致的对抗攻击

Bohdan Turbal, Blossom Metevier, Max Springer, Aleksandra Korolova

机构 * University of Maryland（马里兰大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 提出贪婪坐标扩散方法，利用扩散模型引导生成语义连贯的对抗样本，在保持自然性的同时实现高攻击成功率。

Journal ref ICML 2026

Rational Sparse Autoencoder

有理稀疏自编码器

Naiyu Yin, Yue Yu

机构 * Lehigh University（里海大学） 纠错

AI总结 提出有理稀疏自编码器（RSAE），用可训练有理函数替代固定编码器激活，通过两阶段流程（初始化+微调）在多种语言模型和基线激活族上提升重构与下游行为指标，不牺牲特征可解释性。

Comments Accepted to the Mechanistic Interpretability Workshop at ICML 2026

From Observation to Intervention: A Causal Audit of Expert Importance in Mixture-of-Experts Models

从观察到干预：混合专家模型中专家重要性的因果审计

Leonard Engmann, Christian Medeiros Adriano, Holger Giese

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 通过因果审计发现，混合专家模型中的路由统计指标无法预测专家重要性，现有剪枝方法的成功源于早期层冗余而非识别可删除专家。

Comments 9 pages, 2 figures, 9 tables. Accepted at the ICML 2026 Workshop on Philosophy of Science Meets Machine Learning (PhilML). Camera-ready Version. Non-archival

When in Doubt, Plan It Out: Committed Small Language Model Deliberation for Reactive Reinforcement Learning

存疑则计划：用于反应式强化学习的小型语言模型承诺式推理

Nathan Gavenski, Juarez Monteiro, Francisco Galuppo, Adriano Veloso, Odinaldo Rodrigues

机构 * University of São Paulo（圣保罗大学） 纠错

AI总结 提出PACT混合架构，结合快速反应式强化学习策略与慢速小型语言模型规划器，通过异步生成和验证候选动作计划来提升策略在陌生环境中的表现。

Comments LM4Plan Workshop at ICML 2026

Scalable Circuit Learning for Interpreting Large Language Models

可扩展的电路学习用于解释大型语言模型

Naiyu Yin, Dennis Wei, Tian Gao, Amit Dhurandhar, Karthikeyan Natesan Ramamurthy, Yue Yu

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 提出CircuitLasso方法，基于稀疏线性回归高效学习LLM中的稀疏电路，以SAE特征为单元，在保持结构准确性的同时大幅降低计算成本，并揭示语义特征传播机制。

Comments Accepted to the Mechanistic Interpretability Workshop at ICML 2026

Video-Based Optimal Transport for Feedback-Efficient Offline Preference-Based Reinforcement Learning

基于视频的最优传输用于反馈高效的离线偏好强化学习

Tung M. Luu, Hwanhee Kim, Younghwan Lee, Chang D. Yoo

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 提出VOTP框架，利用视频基础模型和最优传输生成伪标签，仅需少量人类反馈即可学习有效奖励函数，显著降低标注成本。

Comments ICML 2026 (Oral)

Distribution Alignment for One-Shot Federated Learning via Optimal Transport

基于最优传输的单轮联邦学习分布对齐

Daniele Berardini, Vito Paolo Pastore, Vittorio Murino

机构 * AI for Good (AIGO), Italian Institute of Technology（意大利技术研究院AI for Good (AIGO)） ； MaLGa-DIBRIS, University of Genoa（热那亚大学MaLGa-DIBRIS） ； Department of Computer Science, University of Verona（维罗纳大学计算机科学系） 纠错

AI总结 针对单轮联邦学习中客户端数据异构导致的特征错位问题，提出SLOT-Align方法，利用共享冻结编码器、Bures-Wasserstein重心和测地最优传输映射实现无训练的特征对齐，提升模型精度与鲁棒性。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

Learning Interface Breakup: A Geometry-Conditioned Latent Surrogate for Spray Formation

学习界面破碎：一种用于喷雾形成的几何条件潜在代理模型

Julius H Ramlau, Friedrich Hastedt, Tolga Birdal, Ehecatl-Antonio del Río Chanona, Nausheen S Basha, Omar K Matar

机构 * University of California, Berkeley（加州大学伯克利分校） ； Technical University of Munich（慕尼黑技术大学） ； Istanbul Technology University（伊斯坦布尔技术大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Cambridge（剑桥大学） ； University of Oxford（牛津大学） 纠错

AI总结 提出一种几何条件潜在代理模型，通过编码自适应网格细化（AMR）的单元密度场，在797个两相喷嘴模拟上训练，实现瞬态破碎动力学的高效预测，推理速度比Basilisk CFD快6×10^4倍。

Comments 11 pages, 5 figures, accepted to ICML AI4Physics 2026

Direction-Conditioned Policies via Compositional Subgoal Scoring for Online Goal-Conditioned Reinforcement Learning

基于组合子目标评分的方向条件策略用于在线目标条件强化学习

Swaminathan S K, Damiya Gondha, Theyanesh Eswaramoorthy Rajahkrishnan, Aritra Hazra

机构 * Department of Computer Science and Engineering, Indian Institute of Technology Kharagpur（计算机科学与工程系，印度理工学院Kharagpur分校） ； Department of Mechanical Engineering, Indian Institute of Technology Kharagpur（机械工程系，印度理工学院Kharagpur分校） 纠错

AI总结 提出方向条件策略（DCP），通过共享InfoNCE表示将目标达成分解为子目标评分和方向条件动作，理论证明方向充分性、训练与部署一致性及可控子空间失效条件，在九个环境中优于对比RL。

Comments 17 pages, Accepted to the 2nd Workshop on Compositional Learning at ICML 2026 (Seoul, South Korea)

Post-Hoc Merging is Not Enough: Many-Shot Model Merging with Loss-Gap Balancing

事后合并是不够的：基于损失差距平衡的多轮模型合并

Kyungjin Im, Miru Kim, Chanin Eom, Minhae Kwon

机构 * Soongsil University, Republic of Korea（韩国顺斯大学） ； Department of Electrical and Computer Engineering, Sungkyunkwan University, Republic of Korea（成均馆大学电子与计算机工程系） 纠错

AI总结 提出METIS方法，通过迭代多轮合并和任务损失差距加权，解决多任务模型合并中的信息擦除问题，显著提升最差任务性能。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026)

Simulation-Augmented Multi-Step Split Conformal Prediction for Aggregated Forecasts

面向聚合预测的模拟增强多步分割共形预测

Andro Sabashvili

AI总结 提出SA-MSCP方法，通过块自助法从交叉验证残差生成未来路径并构建经验分位数预测区间，提升聚合和增长率目标的经验覆盖率。

Comments Accepted at ICML 2026 workshop: Forecasting as a New Frontier of Intelligence

One-Step Generalization Ratio Guided Optimization for Domain Generalization

一步泛化比率引导的域泛化优化

Sumin Cho, Dongwon Kim, Kwangsu Kim

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国高级科学技术研究所） 纠错

AI总结 提出GENIE优化器，通过一步泛化比率（OSGR）动态均衡参数更新，抑制虚假相关，促进域不变特征学习，在域泛化任务中超越现有优化器。

Comments 29 pages, accepted at the 42nd International Conference on Machine Learning (ICML 2025)

Rapid Poison: Practical Poisoning Attacks Against the Rapid Response Framework

快速投毒：针对快速响应框架的实用投毒攻击

David Huang, Jaewon Chang, Avidan Shah, Prateek Mittal, Chawin Sitawarin

机构 * Princeton University（普林斯顿大学） 纠错

AI总结 揭示针对快速响应框架的投毒攻击，通过提示注入在训练集中植入恶意样本，实现目标性投毒和概念后门攻击，仅1%投毒率即可导致高达100%误报率和96%漏报率。

Comments Spotlight at ICML 2026

Creative Collision: Directorial Persona Steering and Competition in Large Language Models

创意碰撞：大型语言模型中的导演人格引导与竞争

Subramanyam Sahoo, Justin Shenk

机构 * AI Safety Camp（AI安全训练营） 纠错

AI总结 研究通过叠加两种语义相反的导演人格向量（斯皮尔伯格与斯科塞斯）来引导语言模型生成，发现斯皮尔伯格向量主导道德倾向，中间点提升连贯性，且两者在特定层共享道德基调基底。

Comments Accepted at ICML 2026 Workshop on Human-AI Co-Creativity

AI Pluralism and the Worlds It Misses

AI多元主义及其遗漏的世界

Rashid Mushkani

机构 * Rashid Mushkani 纠错

AI总结 本文提出AI系统施加本体论，导致本体论扁平化，并引入多元生命周期治理框架以记录本体开放性和问责条件。

Comments To be presented at the ICML Pluralistic Alignment Workshop

The Quality-Utility Paradox: Why High-Reward Data Impairs Small Model Mathematical Reasoning

质量-效用悖论：为什么高奖励数据会损害小模型的数学推理

Haolong Qian, Xianliang Yang, Yinuo ma, Lirong Che, Feng Lu, Ye Guo, Lei Song, Jiang Bian, Chun Yuan

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 发现数学推理蒸馏中的质量-效用悖论：Oracle精炼的高奖励数据因分布漂移增加适应成本，反而不如SLM自生成数据；提出风格对齐精炼方法恢复效用。

Comments Accepted at ICML 2026

Towards Pareto-Optimal Tool-Integrated Agents with Pareto Ranking Policy Optimization

面向帕累托最优工具集成智能体的帕累托排名策略优化

Junyi Li, Xiaowei Qian, Yingyi Zhang, Wenlin Zhang, Guojing Li, Sheng Zhang, Xiao Han, Yichao Wang, Xiangyu Zhao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出ParetoPO框架，通过超体积引导动态标量化和帕累托排名优势计算，在多目标下优化工具使用语言模型的准确性与效率权衡。

Comments ICML 2026 Spotlight Paper

Active Learning with Low-Rank Structure for Data Selection

基于低秩结构的数据选择主动学习

Vincent Cohen-Addad, Sasidhar Kunapuli, Vahab Mirrokni, Mahdi Nikdan, David P. Woodruff, Samson Zhou

机构 * Google Research（谷歌研究院） ； University of California, Berkeley（加州大学伯克利分校） ； Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所） ； Carnegie Mellon University（卡内基梅隆大学） ； Texas A&M University（德克萨斯农工大学） 纠错

AI总结 提出基于低秩近似和残差采样的数据选择框架，在温和正则条件下选择加权子集，使平均损失近似全数据集平均损失，相对误差(1+ε)加性项εΦ_k，实验优于均匀采样和聚类敏感采样。

Comments ICML 2026

Circuit Tracing in Autoregressive Protein Language Models

自回归蛋白质语言模型中的电路追踪

Darin Tsui, William Deinzer, Daniel Saeedi, Amirali Aghazadeh

机构 * Stanford University（斯坦福大学） 纠错

AI总结 提出ProGenMech框架，通过跨层稀疏编码器忠实恢复ProGen3的生成计算，并零样本发现与蛋白质生成和适应性预测相关的稀疏电路，揭示生物意义基序。

Comments Accepted into the Mechanistic Interpretability Workshop at ICML 2026. 24 pages, 14 figures

Who Flips? Self- and Cross-Model Counterarguments Reveal Answer Instability in LLMs

谁在翻盘？自我与跨模型反论证揭示LLM中的答案不稳定性

Nafiseh Nikeghbal, Amir Hossein Kargaran, Shaghayegh Kolli, Jana Diesner

机构 * Technical University of Munich（慕尼黑工业大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； LMU Munich（慕尼黑大学） 纠错

AI总结 提出一种评估大语言模型答案稳定性的协议，通过生成反论证挑战正确回答，发现翻转率在17.5%到97.3%之间，且自我归因和跨模型论证显著影响稳定性。

Comments Accepted to the non-archival workshops AI4Good and AIWILD at ICML 2026

DeepRoot: A KG-Coordinated Multi-Agent System for Therapeutic Reasoning over Historical Medical Texts

DeepRoot: 一个基于知识图谱协调的多智能体系统，用于历史医学文本的治疗推理

Zijian Carl Ma, Sean J. Wang, Sijbren Kramer, Li Erran Li

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； University of Cambridge（剑桥大学） ； University of Toronto（多伦多大学） 纠错

AI总结 提出DeepRoot多智能体系统，通过联合构建和利用验证知识图谱，将接地与推理分离并组合，从历史医学文本中恢复药物-疾病治疗关系，显著优于基线LLM和工具调用LLM。

Journal ref ICML 2026 GenBio; ACM CAIS 2026 Workshop AI Agents for Discovery in the Wild

Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models

深度残差注入：多模态大语言模型的全频谱取证信号感知

Kaiqing Lin, Zhiyuan Yan, Ruoxin Chen, Ke-Yue Zhang, Yue Zhou, Caiyong Piao, Bin Li, Taiping Yao, Bo Wang, Youchang Xiao, Shouhong Ding

机构 * National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） ； University of Electronic Science and Technology of China（电子科技大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 针对多模态大语言模型在取证中难以同时保留语义知识和捕获低级生成器伪影的问题，提出Deep-VRM方法，通过将伪影特定视觉信号作为残差路径注入中间层，实现全频谱信号感知，达到鲁棒检测性能。

Comments Accepted at ICML 2026

Rethinking Scaffolding in LLM Tutors: The Interactional Mismatch Between Benchmarks and Real-World Deployments

重新思考LLM导师中的脚手架：基准测试与真实部署之间的交互不匹配

Alexandra Neagu, Jeffrey T. H. Wong, Marcus Messer, Rhodri Nelson, Peter B. Johnson

机构 * University of Cambridge（剑桥大学） 纠错

AI总结 通过分析9490个聊天记录，发现AI导师基准测试假设学生积极接受脚手架，但真实场景中学生常绕过脚手架，揭示基准测试与真实部署的交互不匹配。

Comments Pluralistic Alignment Workshop @ ICML 2026, Seoul, South Korea

The Data Manifold under the Microscope

显微镜下的数据流形

Marios Koulakis, Constantin Seibold

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 针对深度学习理论与实践的差距，提出一个基准框架，通过扩展dSprites和COIL-20数据集并配合有限差分估计器，实现曲率、可达性和体积的近真实值估计，用于校准几何估计器和验证理论假设。

Comments Accepted at ICML 2026. Camera-ready version

ReQAT: Achieving Full-Precision Reasoning Accuracy with 4-bit Floating-Point Quantization-Aware Training

ReQAT: 实现全精度推理精度的4位浮点量化感知训练

Janghwan Lee, Sihwa Lee, Jinseok Kim, Yongjik Kim, Jieun Lim, Jinwook Oh, Jungwook Choi

机构 * Hanyang University（汉阳大学） ； Samsung Advanced Institute of Technology（三星综合技术院） 纠错

AI总结 针对大推理模型在低比特量化（W4A4KV4）下推理精度严重下降的问题，提出ReQAT框架，通过迹对齐QAT、选择性熵最小化和量化友好初始化，恢复并超越BF16微调精度，实现最高3.9倍吞吐加速。

Comments ICML 2026