ICML

Stabilizing Native Low-Rank LLM Pretraining

稳定原生低秩大语言模型预训练

Paul Janson, Edouard Oyallon, Eugene Belilovsky

机构 * Concordia University, Montreal, Canada（Concordia 大学） ； Mila Quebec AI Institute, Montreal, Canada（Quebec AI 研究院） ； Sorbonne University, CNRS , Paris , France（Sorbonne 大学） 纠错

AI总结 本文提出Spectron方法，通过谱归一化实现稳定原生低秩大语言模型预训练，显著提升推理效率并优化计算资源使用。

Comments Accepted at ICML 2026

To Grok Grokking: Provable Grokking in Ridge Regression

理解Grokking：岭回归中可证明的Grokking现象

Mingyue Xu, Gal Vardi, Itay Safran

机构 * Department of Computer Science, Purdue University, West Lafayette, IN, USA（普渡大学计算机科学系） ； Department of Computer Science（计算机科学系） ； Applied Mathematics, Weizmann Institute of Science, Israel（科学应用数学系，魏茨曼研究院） ； Stein Faculty of Computer（斯坦因计算机科学学院） ； Information Science, Ben-Gurion University of the Negev, Israel（信息科学系，本· Gurion 军事大学） 纠错

AI总结 本文在经典岭回归设置中研究grokking现象，证明使用带权重衰减的梯度下降学习过参数化线性回归模型时，存在过拟合、泛化延迟和最终泛化误差任意小的三个阶段，并首次给出泛化延迟（grokking时间）的严格定量界，同时通过实验表明该界也适用于非线性神经网络。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026)

Step-Tagging: Toward controlling the generation of Language Reasoning Models through step monitoring

步骤标记：通过步骤监控控制语言推理模型的生成

Yannis Belkhiter, Seshu Tirupathi, Giulio Zizzo, John D. Kelleher

机构 * IBM Research Europe（IBM欧洲研究院） ； Trinity College Dublin（都柏林信任学院） ； ADAPT Research Centre（ADAPT研究中心） 纠错

AI总结 针对语言推理模型效率低、过度生成推理步骤的问题，提出步骤标记框架，引入ReasonType分类法，可在线监控特定步骤计数以产生早期停止标准，经实验在保持准确性时减少令牌数，为控制模型生成及研究其行为提供新途径和工具。

Comments ICML 2026 Workshop on Resource-Adaptive Foundation Model Inference (AdaptFM), Seoul, South Korea

Skewness-Robust Causal Discovery in Location-Scale Noise Models

位置尺度噪声模型中的偏度稳健因果发现

Daniel Klippert, Alexander Marx

AI总结 研究双变量因果发现问题，提出基于似然的SkewD算法，在位置尺度噪声模型下处理偏态噪声分布，结合启发式搜索和期望条件最大化算法估计参数，在新合成数据集和基准数据集上表现强劲且高偏度下稳健。

Comments Published at the 43rd International Conference on Machine Learning (ICML 2026)

MetaPerch: Learning from metadata for bioacoustics foundation models

MetaPerch：从元数据学习生物声学基础模型

Mustafa Chasmai, Vincent Dumoulin, Jenny Hamer

AI总结 研究利用生物声学数据中心的元数据，将位置、时间等元数据作为辅助监督信号，引入MetaPerch基础模型，提升物种识别性能，还对9种元数据源在17个数据集上的效果做了实证研究。

Comments Accepted to ICML 26

Plausible Deniability Guarantees for Whistleblowers

举报人似是而非的可否认性保障

Leo Richter, Matt J. Kusner

机构 * University College London（伦敦大学学院） ； École Polytechnique de Montréal（蒙特利尔理工学院） ； Mila - Québec Artificial Intelligence Institute（魁北克人工智能研究所） 纠错

AI总结 研究如何保障举报人，针对现有保护提案和差分隐私机制不足，形式化逐报告(0,δ)-差分隐私，证明随机响应不比均匀随机审计好超δ，给出通用机制简化私人审计，实例化后有良好效果，模拟显示优于随机响应。

Comments Accepted at three ICML 2026 workshops, including the ICML Workshop on Technical AI Governance Research

How the Hessian-Spectrum of Neural Networks Depends on Data

神经网络的海森谱如何依赖于数据

Jasraj Singh, Enea Monzio Compagnoni, Antonio Orvieto

AI总结 研究神经网络海森谱与数据的关系，推导线性网络海森矩阵特征值，发现分类任务中解的锐度与样本类别比例有关，经实验验证预测并分析相关影响，结论适用于更实际学习设置。

Comments 15 pages, 8 figures; Accepted at HiLD@ICML'26

Symbiosis-Inspired Knowledge Distillation for Incremental Object Detection

共生启发的知识蒸馏用于增量目标检测

Mingyue Zeng, De Cheng, Zhipeng Xu, Huaijie Wang, Nannan Wang, Xinbo Gao

AI总结 研究增量目标检测问题，提出共生启发的知识蒸馏方法（SIKD），通过空间共生蒸馏和语义共生蒸馏在两个层面利用对象共生，有效解决现有方法不足，实验验证了该方法的有效性和优越性。

Comments 16 pages, 8 figures, Accepted by ICML 2026

Local Redundancy: An Information-Theoretic Measure of Plasticity from Synthetic Memorization

局部冗余：一种基于合成记忆的可塑性信息论度量

Jiaxuan Cheng

AI总结 研究神经网络可塑性度量，引入基于通用压缩理论的局部冗余，将其定义为局部模型族最坏情况冗余，证明期望平方梯度范数可作下界，实验表明该度量比现有方法更能预测下游性能并助于预训练检查点选择。

Comments 13 pages, 7 figures. ICML 2026 (Spotlight)

Is the Statistical Advantage Worth the Cost? An Empirical Comparison of KANs and MLPs for Structured Data Classification

统计优势是否值得付出成本？KANs和MLPs在结构化数据分类中的实证比较

Matthew Steven P. Toledo, Justine Raphael H. Jacinto, Vivekjeet Singh Chambal, Rodolfo C. Camaclang, Jamlech Iram N. Gojo Cruz, Reginald Neil C. Recario

机构 * Institute of Computer Science, University of the Philippines Los Baños（菲律宾大学洛斯巴尼奥斯分校计算机科学研究所） ； Machine Learning and Artificial Intelligence Applications Lab, University of the Philippines Los Baños（菲律宾大学洛斯巴尼奥斯分校机器学习与人工智能应用实验室） 纠错

AI总结 该研究对KANs和MLPs在结构化表格分类任务上进行实证比较，在标准化设置下训练并评估性能。结果显示KANs在二元和多类领域统计上更优，但效应量表明其有更高复杂度。结论是KANs适用于高精度应用，MLPs对资源受限环境更合适，未来应扩展分析。

Comments To be presented at the 9th International Conference on Machine Learning and Machine Intelligence (MLMI 2026), Tokyo, Japan

The Refusal Residue: When Probes Catch Alignment Faking and When They Don't

拒绝残差：探测何时能捕捉到对齐造假以及何时不能

Aman Mehta

机构 * Snowflake AI Research（Snowflake AI 研究所） 纠错

AI总结 研究对齐造假中隐藏状态能否揭示输出隐藏内容，对13个模型扫描，发现Qwen3 - 32B和Llama - 3.1 - 8B存在自然造假及不对称拒绝残差，样本检测有模型条件性，还发布五控制测量框架用于对齐造假检测。

Comments Accepted to the Mechanistic Interpretability Workshop at ICML 2026. 12 pages, 4 figures

Targeted Recovery of Weight-Space Mechanisms From Neural Networks

从神经网络中定向恢复权重空间机制

Antoine Vigouroux, Lee Sharkey

AI总结 研究提出定向参数分解（tPD）方法，通过引入高秩通用组件，从神经网络中仅识别处理特定感兴趣输入的组件，在玩具模型和Transformer语言模型上验证有效，能以低计算量提取子模型并对记忆序列进行手术式操作。

Comments Accepted at the Mechanistic Interpretability Workshop, ICML 2026

The Perplexity Trap: When Patent Law Makes Human Writing Look Like AI

困惑陷阱：专利法何时让人类写作看起来像人工智能

Anubhab Banerjee

机构 * European Patent Office（欧洲专利局） 纠错

AI总结 研究针对专利法下筛选疑似人工智能生成专利文本的难题，在消费级硬件条件下用多种策略进行基准测试，发现现有检测器误报率高，问题是结构性的，提出七特征语言复杂性逻辑回归方法，提升了准确率。

Journal ref Proceedings of the ICML 2026 Workshop on AI4Law

Are we Merging the Right Models? Impact of Expert Training Duration on Model Merging for LLMs

我们合并的模型正确吗？专家训练时长对大语言模型模型合并的影响

Nikita Kozodoi, Zainab Afolabi, Jack Butler

AI总结 研究领域专家训练时长对大语言模型模型合并质量的影响，在多领域多模型规模上微调专家模型，保存不同训练步数的检查点并评估五种合并方法，发现方法依赖模式，表明训练时长和合并方法应联合选择。

Comments Accepted to ICML 2026 workshop on weight-space symmetries

M+Adam: Low-Precision Training via Additive-Multiplicative Optimization

M+Adam：通过加法-乘法优化进行低精度训练

Xiaoyuan Liang, Sebastian Loeschcke, Mads Toftrup, Anima Anandkumar

机构 * California Institute of Technology（加利福尼亚理工学院） ； University of Copenhagen（哥本哈根大学） ； Aarhus University（阿鲁斯大学） 纠错

AI总结 研究低精度训练中标准优化器的问题，提出结合加法和乘法更新的M+Adam方法，经证明在标准假设下单调下降，在多种模型预训练中持续改善低精度训练。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026). 45 pages

Algorithmic Recourse of In-Context Learning for Tabular Data

表格数据的上下文学习算法补救

Wenshuo Dong, Jiaming Zhang, Shaopeng Fu, Hongbin Lin, Di Wang, Lijie Hu

机构 * Mohamed bin Zayed University of Artificial Intelligence, United Arab Emirates（阿联酋人工智能马尔代夫 bin Zayed 大学） ； University of Copenhagen, Denmark（丹麦哥本哈根大学） ； Renmin University of China, China（中国人民大学） ； King Abdullah University of Science and Technology, Saudi Arabia（沙特阿拉伯王国科学与技术大学） ； The Hong Kong University of Science and Technology(Guangzhou), China（广州科技大学（香港）） 纠错

AI总结 针对表格数据上下文学习中的黑箱模型，提出自适应子空间补救框架ASR-ICL，通过零阶优化高效生成可操作且稀疏的补救方案，理论证明补救有界且随上下文增大收敛至经典解。

Comments Accepted by ICML 2026

AvAtar: Learning to Align via Active Optimal Transport

AvAtar: 通过主动最优输运学习对齐

Qi Yu, Ruizhong Qiu, Zhichen Zeng, My T. Thai, Huan Liu, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Florida（佛罗里达大学） ； Arizona State University（亚利桑那州立大学） 纠错

AI总结 提出AvAtar框架，利用主动学习策略通过熵正则化最优输运的梯度影响量化候选点信息量，并采用伴随状态法高效求解，以提升对齐性能。

Comments Published as a conference paper at ICML 2026

Discovering Ordinary Differential Equations with LLM-Based Qualitative and Quantitative Evaluation

基于LLM的定性与定量评估的常微分方程发现

Sum Kyun Song, Bong Gyun Shin, Jae Yong Lee

机构 * Department of Artificial Intelligence, Chung-Ang University, Seoul, Republic of Korea（韩国首尔 Chung-Ang 大学人工智能系） ； Daejin University, Pocheon, Republic of Korea（韩国坡州市 Daejin 大学） 纠错

AI总结 本文提出DoLQ方法，通过多智能体架构结合LLM进行定性与定量评估，实现常微分方程的发现，实验表明其在多维ODE基准测试中性能优于现有方法。

Comments Accepted at ICML 2026

Journal ref International Conference on Machine Learning 2026

When Agents Disagree With Themselves: Behavioral Consistency as an Uncertainty Signal for LLM Agents

当智能体与自身意见相左：测量基于LLM的智能体的行为一致性

Aman Mehta

机构 * Aman Mehta 纠错

AI总结 研究发现基于LLM的智能体在相同任务上运行结果不一致，且这种不一致与任务成功率密切相关，通过监控行为一致性可提升智能体可靠性。

Comments Accepted at the ICML 2026 Workshop on Statistical Frameworks for Uncertainty in Agentic Systems. 12 pages, 9 figures

Not All Needles Are Found: How Fact Distribution and Don't Make It Up Prompts Shape Retrieval, Reasoning, and Hallucination in Long-Context LLMs

并非所有线索都能被发现：事实分布和“不要编造”提示如何影响长上下文语言模型中的检索、推理和幻觉

Amirali Ebrahimzadeh, Seyyed M. Salili

机构 * Department of Electrical Engineering & Computer Science University of Michigan（电气工程与计算机科学系 密歇根大学） 纠错

AI总结 研究大语言模型中事实分布和反幻觉提示对检索、推理及幻觉的影响，通过扩展基准评估多个模型，识别出分布崩溃和安全代价两种失败模式，发现许多失败源于无效上下文利用，强调特定模型稳健性和上下文管理的重要性。

Comments 16 pages, 8 figures, 2 tables. Accepted at the FAGEN Workshop @ ICML 2026

Reduced-latency DL-based Fractional Channel Estimation in OTFS Receivers

在OTFS接收机中基于深度学习的低延迟分数信道估计

Mauro Marchese, Henk Wymeersch, Paolo Spallaccini, Stefano Chinnici, Pietro Savazzi

AI总结 本文提出一种基于深度学习的低延迟分数信道估计方法，用于OTFS接收机，通过时频学习框架提升估计精度并减少延迟，但存在高信噪比下的性能损失。

Comments IEEE ICMLCN 2025, 26-29 May 2025 Barcelona, Spain

Journal ref 2025 IEEE International Conference on Machine Learning for Communication and Networking (ICMLCN)

Accuracy and Normalized Accuracy under Length Bias: Analysis, Guidelines, and a Bayesian Alternative

长度偏差下的准确率和归一化准确率：分析、指南及贝叶斯替代方法

Koen Oostermeijer

AI总结 多项选择基准测试存在长度偏差，常见归一化方法常过度校正。本文分析评分规则，引入贝叶斯准确率，它能消除线性长度效应，可直接替代似然评估，无需额外前向传递，在多场景下长度偏差更低。

Comments Accepted at ICML 2026

Evidence-Grounded Verified Agentic Reasoning: A Path Toward Eliminating LLM Hallucination in Empirical Inference via Tool-Attested Kernel Proofs

基于证据的可验证智能推理：通过工具验证内核证明消除经验推理中语言模型幻觉的途径

Junyu Ren

AI总结 研究旨在消除语言模型经验推理中的幻觉，提出基于Lean 4的EG-VAR工具调用架构，通过工具验证公理等生成可验证声明，经实验在数值推理等测试中表现良好，定位为高风险经验声明的技术治理接口，可审计相关条件并转化错误为审计目标。

Comments Accepted at the ICML 2026 TAIGR workshop. System name: EG-VAR

Hierarchical Synthetic Tabular Data Generation: A Hybrid Top-Down and Bottom-Up Framework

层次化合成表格数据生成：一种自上而下与自下而上混合框架

Junfeng Nie, Alvin Jin, Xiaohui Chen

机构 * University of Southern California（南加州大学） 纠错

AI总结 提出一种层次化混合自上而下和自下而上（H-TDBU）框架，通过解耦语义结构与随机纹理，结合结构驱动的逻辑约束和轻量级表格生成器，在弱多模态金融基准上提升合成数据的语义一致性和统计保真度。

Comments Accepted as a poster at FMSD @ ICML 2026. 9 pages, 6 figures

Tracking Drift: Variation-Aware Entropy Scheduling for Non-Stationary Reinforcement Learning

追踪漂移：面向非平稳强化学习的变异性感知熵调度

Tongxi Wang, Zhuoyang Xia, Xinran Chen, Shan Liu

机构 * School of Future Technology, Southeast University, Nanjing, China（东南大学未来技术学院，南京，中国） ； School of Automation, Southeast University, Nanjing, China（东南大学自动化学院，南京，中国） 纠错

AI总结 本文提出AES方法，通过动态调整熵系数以应对环境漂移，减少性能下降并加快恢复速度。

Comments Accepted by ICML 2026

Neuro-Symbolic ODE Discovery with Latent Grammar Flow

基于潜在语法流的神经符号微分方程发现

Karin Yu, Eleni Chatzi, Georgios Kissas

机构 * ETH AI Center and Institute of Structural Engineering（苏黎世联邦理工学院人工智能中心和结构工程研究所） ； ETH Zurich（苏黎世联邦理工学院） ； Swiss Data Science Center（瑞士数据科学中心） 纠错

AI总结 本文提出Latent Grammar Flow框架，通过生成微分方程来理解系统，结合符号方法与深度学习，实现可解释性和迁移性。

Comments Accepted to the Structured Probabilistic Inference & Generative Modeling Workshop at ICML 2026 in Seoul, South Korea

Evolution Strategies at Scale: LLM Fine-Tuning Beyond Reinforcement Learning

大规模进化策略：超越强化学习的LLM微调

Xin Qiu, Yulu Gan, Conor F. Hayes, Qiyao Liang, Yinggan Xu, Roberto Dailey, Elliot Meyerson, Babak Hodjat, Risto Miikkulainen

机构 * University of California, Los Angeles, Los Angeles, CA, USA（加州大学洛杉矶分校） ； Cognizant AI Lab, San Francisco, CA, USA（Cognizant AI实验室） ； The University of Texas at Austin, Austin, TX, USA（德克萨斯大学奥斯汀分校） ； Massachusetts Institute of Technology, Cambridge, MA, USA（麻省理工学院） 纠错

AI总结 本文提出使用进化策略进行大规模LLM微调，证明其在多个方面优于强化学习，为LLM微调提供了新的方法。

Comments Published at ICML 2026 main conference

JADE: Expert-Grounded Dynamic Evaluation for Open-Ended Professional Tasks

JADE：面向开放式专业任务的专家基础动态评估

Lanbo Lin, Jiayao Liu, Tianyuan Yang, Li Cai, Yuanwu Xu, Lei Wei, Sicong Xie, Guannan Zhang

机构 * Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团） ； Zhejiang University（浙江大学） ； Peking University（北京大学） 纠错

AI总结 提出JADE双层评估框架，结合专家知识与动态声明级评估，解决开放式专业任务中严格性与灵活性的矛盾，在BizBench等基准上提升稳定性并揭示关键失败模式。

Comments Accepted at ICML 2026

PluRel: Synthetic Data unlocks Scaling Laws for Relational Foundation Models

PluRel: 合成数据解锁关系基础模型的扩展定律

Vignesh Kothapalli, Rishabh Ranjan, Valter Hudovernik, Vijay Prakash Dwivedi, Johannes Hoffart, Carlos Guestrin, Jure Leskovec

机构 * Stanford University（斯坦福大学） ； SAP Labs LLC（SAP实验室） 纠错

AI总结 PluRel通过合成多表关系数据库，实现了关系基础模型在扩展定律上的突破，展示了合成数据在提升模型泛化能力方面的潜力。

Comments ICML 2026

Adaptive Testing for LLM Evaluation: A Psychometric Alternative to Static Benchmarks

大语言模型评估的自适应测试：一种替代静态基准的心理测量方法

Peiyu Li, Xiuxiu Tang, Si Chen, Ying Cheng, Ronald Metoyer, Ting Hua, Nitesh V. Chawla

机构 * University of Notre Dame（诺丁汉大学） 纠错

AI总结 研究针对大语言模型评估成本高、现有协议不合理的问题，提出基于项目反应理论的自适应测试框架ATLAS，通过Fisher信息引导选项目，减少90%项目数仍保持精度，能重构准确率，还可在准确率相当模型中提供精细区分。

Comments ICML 2026 Spotlight