ICML

Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges

将偏见转化为漏洞：基于Bandit引导的LLM裁判风格操纵攻击

Xianglin Yang, Bryan Hooi, Gelei Deng, Tianwei Zhang, Jin Song Dong

机构 * School of Computing, National University of Singapore, Singapore（新加坡国立大学计算机学院） ； Nanyang Technological University, Singapore（南洋理工大学） 纠错

AI总结 提出BITE黑盒对抗框架，将风格编辑选择建模为上下文Bandit问题，通过LinUCB策略自适应选择编辑以误导LLM裁判并人为提高评分，攻击成功率超65%。

Comments Accepted to the Forty-Third International Conference on Machine Learning (ICML 2026)

Self-supervised Adversarial Purification for Graph Neural Networks

自监督对抗净化用于图神经网络

Woohyun Lee, Hogun Park

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Sungkyunkwan University（全州大学） ； Suwon, South Korea（韩国水原） 纠错

AI总结 提出自监督对抗净化框架，通过专用净化器GPR-GAE（基于广义PageRank滤波器的图自编码器）在分类前净化输入数据，实现鲁棒性与分类器分离，达到最先进的防御性能。

Comments Accepted at ICML 2025. 21 pages. Code is available at: https://github.com/woodavid31/GPR-GAE

Journal ref Proceedings of the 42nd International Conference on Machine Learning, PMLR 267:33715-33735, 2025

Turning Stale Gradients into Stable Gradients: Coherent Coordinate Descent with Implicit Landscape Smoothing for Lightweight Zeroth-Order Optimization

将陈旧梯度转化为稳定梯度：具有隐式景观平滑的相干坐标下降用于轻量级零阶优化

Chen Liang, Xiatao Sun, Qian Wang, Daniel Rakita

机构 * Department of Computer Science, Yale University, New Haven, USA（耶鲁大学计算机科学系） 纠错

AI总结 提出一种确定性的、样本高效的零阶优化方法Coherent Coordinate Descent (CoCD)，通过利用历史梯度的相干性实现每步O(1)查询复杂度，并发现大步长有限差分可隐式平滑优化景观，从而在轻量级场景下优于现有方法。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026); Project page: https://chen-dylan-liang.github.io/CoCD/

A Refined Generalization Analysis for Extreme Multi-class Supervised Contrastive Representation Learning

极端多类监督对比表示学习的精细泛化分析

Nong Minh Hieu, Antoine Ledent

机构 * School of Computing and Information Systems, Singapore Management University（新加坡国立管理学院计算机与信息系统学院） 纠错

AI总结 针对对比表示学习在有限标注数据中构造元组导致依赖性的问题，提出改进的U-统计量分析，得到与类别数R同阶的样本复杂度，并设计新估计器在长尾分布下实现O(k)的样本复杂度。

Comments Accepted at ICML 2026

Transformed Latent Variable Multi-Output Gaussian Processes

变换潜变量多输出高斯过程

Xiaoyu Jiang, Xinxing Shi, Sokratia Georgaka, Magnus Rattray, Mauricio A Álvarez

机构 * Department of Computer Science, University of Manchester, Manchester, UK（曼彻斯特大学计算机科学系） ； Faculty of Biology, Medicine and Health, University of Manchester, Manchester, UK（曼彻斯特大学生物医学与健康学院） 纠错

AI总结 提出T-LVMOGP框架，通过Lipschitz正则化神经网络构建灵活的多输出深度核，结合随机变分推理，有效扩展到高维输出场景，在气候建模和空间转录组学等基准上优于基线方法。

Comments ICML 2026

LIVEditor-14B: Lightning Unified Video Editing via In-Context Sparse Attention

LIVEditor-14B：基于上下文稀疏注意力的闪电视频编辑

Shitong Shao, Zikai Zhou, Haopeng Li, Yingwei Song, Wenliang Zhong, Lichen Bai, Zeke Xie

机构 * Hong Kong University of Science（香港科技大学） ； University of Arizona, USA（美国亚利桑那大学） 纠错

AI总结 提出上下文稀疏注意力（ISA）框架，通过冗余上下文剪枝和动态查询分组实现近无损加速，构建LIVEditor-14B模型在多个基准上超越现有方法。

Comments Accepted by ICML 2026

Linearizing Vision Transformer with Test-Time Training

通过测试时训练线性化视觉Transformer

Yining Li, Dongchen Han, Zeyu Liu, Hanyi Wang, Yulin Wang, Gao Huang

机构 * Tsinghua University（清华大学） 纠错

AI总结 提出利用测试时训练（TTT）架构与Softmax注意力的结构对齐性，结合键实例归一化和局部性增强模块，实现从预训练Transformer到线性注意力模型的有效权重迁移，在Stable Diffusion 3.5上仅需1小时微调即可达到相近的图像生成质量并加速推理。

Comments ICML 2026

LabBuilder: Protocol-Grounded 3D Layout Generation for Interactable and Safe Laboratory

LabBuilder: 基于协议的可交互且安全的3D实验室布局生成

Jianbao Cao, Zhangrui Zhao, Bohan Feng, Zixuan Hu, Rui Li, Haiyuan Wan, Chenxi Li, Jingyuan Li, Wenzhe Cai, Lei Bai, Wanli Ouyang, Lingyu Duan, Di Huang, Minting Pan, Sha Zhang, Xinzhu Ma, Shixiang Tang, Dongzhan Zhou

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Wuhan University（武汉大学） ； Beihang University（北航） ； Peking University（北京大学） ； Tsinghua University（清华大学） ； Shanghai Jiaotong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

AI总结 提出LabBuilder系统，通过协议引导和约束感知优化，从文本描述生成安全且可执行的3D实验室布局，显著优于现有方法。

Comments Accepted to ICML 2026

MedMosaic: A Challenging Large Scale Benchmark of Diverse Medical Audio

MedMosaic：一个具有挑战性的多样化医学音频大规模基准

Harshit Rajgarhia, Shuubham Ojha, Asif Shaik, Akhil Pothanapalli, Rachuri Lokesh, Abhishek Mukherji, Prasanna Desikan

机构 * Centific Global Solutions Inc.（Centific全球解决方案公司） ； University of Maryland, College Park, MD, USA（马里兰大学学院市分校） 纠错

AI总结 为解决医学音频数据稀缺和现有基准不足的问题，提出MedMosaic数据集，包含多种医学音频类型和46701个问答对，用于评估语言和音频推理模型，实验表明推理仍具挑战性。

Comments Accepted at ICML 2026

SPEED-Bench: A Unified and Diverse Benchmark for Speculative Decoding

SPEED-Bench：一个统一且多样化的推测解码基准

Talor Abramovich, Maor Ashkenazi, Izzy Putterman, Benjamin Chislett, Tiyasa Mitra, Bita Darvish Rouhani, Ran Zilberstein, Yonatan Geifman

机构 * NVIDIA 纠错

AI总结 针对推测解码（SD）评估中任务多样性不足、吞吐量评估支持不够及实现不贴近生产环境的问题，提出SPEED-Bench基准，包含多样化语义领域和真实服务场景的数据集，集成vLLM和TensorRT-LLM引擎，以标准化SD评估并揭示系统行为。

Comments ICML 2026; Our data is available on https://huggingface.co/datasets/nvidia/SPEED-Bench

Enhancing LLM Training via Spectral Clipping

通过谱裁剪增强大语言模型训练

Xiaowen Jiang, Andrei Semenov, Sebastian U. Stich

机构 * CISPA Helmholtz Center for Information Security（信息安全研究中心） ； EPFL（瑞士联邦理工学院） 纠错

AI总结 提出SPECTRA框架，通过对优化器更新进行谱裁剪以约束谱范数、对梯度进行预谱裁剪以抑制噪声尖峰，从而提升多种优化器在大语言模型预训练中的性能。

Comments v2: ICML 2026

Post-Training Language Models for Crosslingual Consistency

后训练语言模型以实现跨语言一致性

Tianyu Liu, Jirui Qi, Mrinmaya Sachan, Ryan Cotterell, Raquel Fernández, Arianna Bisazza

机构 * ETH Zürich（苏黎世联邦理工学院） ； CLCG, University of Groningen（格罗宁根大学CLCG中心） ； University of Amsterdam（阿姆斯特丹大学） 纠错

AI总结 针对多语言模型对翻译等价提示响应不一致的问题，提出基于信息论的跨语言一致性定义，并开发后训练方法直接一致性优化（DCO）以提升一致性。

Comments ICML 2026. The first two authors contributed equally. Codes available at: https://github.com/Betswish/ConsistencyRL

JAEGER: Joint 3D Audio-Visual Grounding and Reasoning in Simulated Physical Environments

JAEGER：模拟物理环境中的联合3D音频-视觉定位与推理

Zhan Liu, Changli Tang, Yuxin Wang, Zhiyuan Zhu, Youjun Chen, Yiwen Shao, Tianzi Wang, Lei Ke, Zengrui Jin, Chao Zhang

机构 * Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） ； Tencent AI Lab（腾讯AI实验室） 纠错

AI总结 提出JAEGER框架，通过集成RGB-D观测和多通道一阶环境声学，将音频-视觉大语言模型扩展到3D空间，实现联合空间定位与推理，并引入神经强度向量（Neural IV）提升声源方向估计的鲁棒性。

Comments Accepted to ICML 2026

Who can we trust? LLM-as-a-jury for Comparative Assessment

我们该信任谁？LLM作为陪审团进行比较评估

Mengjie Qian, Guangzhi Sun, Mark J. F. Gales, Kate M. Knill

机构 * Department of Engineering, University of Cambridge, UK（剑桥大学工程系） 纠错

AI总结 针对LLM作为评估者时判断不一致和可靠性差异的问题，提出BT-sigma模型，通过引入判别参数联合推断项目排名和法官可靠性，优于平均聚合方法。

Comments Accepted to ICML 2026

GICDM: Mitigating Hubness for Reliable Distance-Based Generative Model Evaluation

GICDM: 缓解枢纽性以实现可靠的基于距离的生成模型评估

Nicolas Salvy, Hugues Talbot, Bertrand Thirion

机构 * Inria, Palaiseau, France（法国帕莱索研究所） 纠错

AI总结 针对生成模型评估中高维嵌入空间的枢纽性现象，提出GICDM方法（基于迭代上下文不相似度度量），通过多尺度扩展校正邻域估计，恢复可靠度量并与人类评估对齐。

Comments Forty-third International Conference on Machine Learning, 2026

A Language-Guided Bayesian Optimization for Efficient LoRA Hyperparameter Search

语言引导的贝叶斯优化用于高效LoRA超参数搜索

Baek Seong-Eun, Lee Jung-Mok, Kim Sung-Bin, Tae-Hyun Oh

机构 * Grad. School of AI, POSTECH, Pohang, Korea（POSTECH人工智能研究生院，韩国坡安） ； School of EE, KAIST, Daejeon, Korea（韩国科学技术院电子工程学院，韩国大田） ； School of Computing, KAIST, Daejeon, Korea（韩国科学技术院计算学院，韩国大田） 纠错

AI总结 提出一种利用预训练LLM领域知识的贝叶斯优化框架，通过语言提示将超参数映射到连续空间，结合子集训练代理评估，仅需约30次迭代即可发现比标准超参数提升20%以上性能的LoRA超参数。

Comments Accepted at ICML 2026

Coarse-Grained Boltzmann Generators

粗粒度玻尔兹曼生成器

Weilong Chen, Bojun Zhao, Jan Eckwert, Julija Zavadlav

机构 * Professorship of Multiscale Modeling of Fluid Materials, Department of Engineering Physics and Computation, TUM School of Engineering and Design, Technical University of Munich, Germany（多尺度流体材料建模教授职位，工程物理与计算系，TUM工程与设计学院，慕尼黑技术大学，德国） ； Atomistic Modeling Center, Munich Data Science Institute, Technical University of Munich, Germany（原子建模中心，慕尼黑数据科学研究所，慕尼黑技术大学，德国） 纠错

AI总结 提出粗粒度玻尔兹曼生成器（CG-BGs）框架，结合基于流的生成模型与重要性采样，利用学习到的平均力势（PMF）进行重加权，在降低计算成本的同时实现大分子系统的平衡采样。

Comments Accepted at ICML 2026

Prioritize the Process, Not Just the Outcome: Rewarding Latent Thought Trajectories Improves Reasoning in Looped Language Models

优先过程而非结果：奖励潜在思维轨迹改善循环语言模型的推理能力

Jonathan Williams, Esin Tureci

机构 * Department of Computer Science, Princeton University, Princeton NJ, U.S.A（普林斯顿大学计算机科学系） 纠错

AI总结 针对循环语言模型（LoopLM）中标准强化学习（如GRPO）仅奖励最终潜在状态导致推理改进失败的问题，提出RLTT框架，通过在整个潜在推理轨迹上分配奖励实现密集的轨迹级信用分配，显著提升数学推理性能并泛化至非数学任务。

Comments ICML 2026

Dynamics Within Latent Chain-of-Thought: An Empirical Study of Causal Structure

潜在思维链中的因果结构：一项实证研究

Zirui Li, Xuefeng Bai, Kehai Chen, Yizhi Li, Jian Yang, Chenghua Lin, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； University of Manchester, United Kingdom（曼彻斯特大学） ； Beihang University, China（北京航空航天大学） 纠错

AI总结 通过结构因果模型对潜在思维链进行干预分析，揭示其因果结构、步骤间影响传播及与显式思维链的差异。

Comments Accepted to ICML 2026; 25 pages, 23 figures

Rare Event Analysis of Large Language Models

大型语言模型的罕见事件分析

Jake McAllister Dorman, Edward Gillman, Dominic C. Rose, Jamie F. Mair, Juan P. Garrahan

机构 * School of Physics and Astronomy, University of Nottingham（物理与天文学学院，诺丁汉大学） 纠错

AI总结 本文提出一个端到端框架，用于系统分析大型语言模型中的罕见事件，涵盖理论、高效生成策略、概率估计和误差分析，并通过实例展示其应用。

Comments ICML 2026 Oral Spotlight

Envy-Free Allocation of Indivisible Goods via Noisy Queries

通过噪声查询实现不可分割物品的无嫉妒分配

Zihan Li, Yan Hao Ling, Jonathan Scarlett, Warut Suksompong

机构 * Meta ； National University of Singapore（国立新加坡大学） ； Nanyang Technological University（南洋理工大学） 纠错

AI总结 针对不可直接观测估值、仅能通过噪声查询获取信息的不可分割物品分配问题，在双智能体高斯噪声和有界估值设定下，推导了实现无嫉妒分配所需查询次数的上下界，并证明了当最优分配负嫉妒值Δ不太小时最优查询次数与m^{2.5}/Δ^2成比例。

Comments ICML 2026

DFlash: Block Diffusion for Flash Speculative Decoding

DFlash：用于快速推测解码的块扩散模型

Jian Chen, Yesheng Liang, Zhijian Liu

机构 * Z-Lab 纠错

AI总结 提出DFlash框架，利用轻量级块扩散模型并行生成草稿，通过目标模型上下文特征条件化，实现高质量草稿和高接受率，在多种模型和任务上实现超过6倍无损加速，比最先进的推测解码方法EAGLE-3快2.5倍。

Comments Accepted at ICML 2026. Camera-ready version. Code: https://github.com/z-lab/dflash

Discrete diffusion samplers and bridges: Off-policy algorithms and applications in latent spaces

离散扩散采样器与桥：离策略算法及其在潜在空间中的应用

Arran Carter, Sanghyeok Choi, Kirill Tamogashev, Víctor Elvira, Esmeralda S. Whitammer

机构 * University of Edinburgh（爱丁堡大学） ； CIFAR Fellow（卡尔·弗里德里希·列文森研究员） 纠错

AI总结 提出离策略训练技术改进离散扩散采样器性能，并首次引入离散域的数据到能量薛定谔桥训练，应用于图像生成模型的离散潜在空间中的无数据后验采样。

Comments ICML 2026. Code: https://github.com/mmacosha/offpolicy-discrete-diffusion-samplers-and-bridges

How Far Ahead Do LLMs Plan? Uncovering the Latent Horizon in Chain-of-Thought Reasoning

LLMs 能提前多远规划？揭示思维链推理中的潜在视界

Liyan Xu, Mo Yu, Fandong Meng, Jie Zhou

机构 * WeChat AI, Tencent Inc（腾讯AI实验室） 纠错

AI总结 通过探测方法 Tele-Lens 研究 LLMs 在思维链推理中的潜在规划能力，发现其具有短视视界，并基于此提出利用稀疏枢轴位置增强不确定性估计及自动识别 CoT 绕过的假设。

Comments Accepted to ICML 2026

Skill-Pro: Learning Reusable Skills from Experience via Non-Parametric PPO for LLM Agents

Skill-Pro: 通过非参数PPO从经验中学习可复用技能以用于LLM智能体

Qirui Mi, Zhijian Ma, Mengyue Yang, Haoxuan Li, Yisen Wang, Haifeng Zhang, Jun Wang

机构 * Key Laboratory of Interdisciplinary Research of Computation and Economics（交叉计算与经济学交叉研究实验室） ； Shanghai University of Finance and Economics（上海财经大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, Chinese Academy of Sciences（中国科学院人工智能研究所） ； University of Bristol（布里斯托大学） ； Peking University（北京大学） ； University College London（伦敦大学学院） 纠错

AI总结 提出Skill-Pro框架，通过非参数PPO从交互经验中自动学习可复用的程序性技能，无需参数更新，实现高效经验重用和长期自主性。

Comments Accepted at ICML 2026 (spotlight); 22 Pages, 6 Figures, 5 Tables

Rectified LpJEPA: Joint-Embedding Predictive Architectures with Sparse and Maximum-Entropy Representations

Rectified LpJEPA：具有稀疏和最大熵表示的联合嵌入预测架构

Yilun Kuang, Yash Dagade, Tim G. J. Rudner, Randall Balestriero, Yann LeCun

机构 * New York University（纽约大学） ； Duke University（杜克大学） ； University of Toronto（多伦多大学） ； Brown University（布朗大学） 纠错

AI总结 提出Rectified Distribution Matching Regularization (RDMReg)损失，通过将表示对齐到Rectified Generalized Gaussian分布，实现稀疏且最大熵的表示，从而改进联合嵌入预测架构（JEPA）的性能。

Comments ICML 2026

Unsupervised Hierarchical Skill Discovery

无监督层次化技能发现

Damion Harvey, Geraud Nangue Tasse, Benjamin Rosman, Branden Ingram, Steven James

机构 * University of the Witwatersrand（瓦特斯兰大学） ； Neural Discovery (MIND) Institute（神经发现（MIND）研究所） 纠错

AI总结 提出一种基于语法的无监督方法，从无标签轨迹中分割技能并构建层次结构，在像素级环境（如Craftax和Minecraft）中优于现有基线，并能加速下游强化学习任务。

Comments Accepted to ICML 2026. 27 pages. 15 figures

Differential syntactic and semantic encoding in LLMs

大型语言模型中句法与语义的差异编码

Santiago Acevedo, Alessandro Laio, Marco Baroni

机构 * Catalan Institute of Research and Advanced Studies (ICREA) and Universitat Pompeu Fabra (UPF)（加泰罗尼亚研究与高级科学研究所（ICREA）和庞培法华大学（UPF）） 纠错

AI总结 本研究通过平均共享句法结构或语义的句子隐藏表示向量，发现大型语言模型（以DeepSeek-V3为例）的内部层表示中句法和语义信息至少部分线性编码，且两者编码轮廓不同，可一定程度解耦。

Comments Published as conference paper at ICML 2026

On the Koopman-Based Generalization Bounds for Multi-Task Deep Learning

基于Koopman的多任务深度学习泛化界

Mahdi Mohammadigohari, Giuseppe Di Fatta, Giuseppe Nicosia, Panos M. Pardalos

机构 * Free University of Bozen-Bolzano（博兹纳-博尔扎诺自由大学） ； University of Catania（卡塔尼亚大学） ； University of Florida（佛罗里达大学） 纠错

AI总结 本文利用算子理论技术建立多任务深度神经网络的泛化界，通过利用权重矩阵的小条件数并引入定制的Sobolev空间作为扩展假设空间，提出比传统范数方法更紧的界，该界在单输出设置下仍有效且优于现有Koopman界。

Comments Accepted at the 11th International Conference on Machine Learning, Optimization, and Data Science (LOD), Castiglione della Pescaia, Italy, September 21-24, 2025. To appear in Lecture Notes in Computer Science (LNCS), volume 16467

Journal ref Machine Learning, Optimization, and Data Science (LOD 2025), Lecture Notes in Computer Science (LNCS), vol. 16468, Springer, 2026, pp. 376--392

Operator-Based Generalization Bound for Deep Learning: Insights on Multi-Task Learning

基于算子的深度学习泛化界：多任务学习的洞见

Mahdi Mohammadigohari, Giuseppe Di Fatta, Giuseppe Nicosia, Panos M. Pardalos

机构 * Free University of Bozen-Bolzano（博兹纳-博尔扎诺自由大学） ； University of Catania（卡塔尼亚大学） ； University of Florida（佛罗里达大学） 纠错

AI总结 本文通过算子理论框架，结合Koopman方法与现有技术，为向量值神经网络和深度核方法提出了更紧的泛化界，并引入草图技术降低计算成本，同时提出深度向量值再生核希尔伯特空间框架，利用Perron-Frobenius算子增强深度核方法，推导了新的Rademacher泛化界，解决了欠拟合和过拟合问题。

Comments Accepted at the 11th International Conference on Machine Learning, Optimization, and Data Science (LOD), Castiglione della Pescaia, Italy, September 21-24, 2025. To appear in Lecture Notes in Computer Science (LNCS), volume 16467

Journal ref Machine Learning, Optimization, and Data Science (LOD 2025), Lecture Notes in Computer Science (LNCS), vol. 16468, Springer, 2026, pp. 120--137