ICML

SPARD: Defending Harmful Fine-Tuning Attack via Safety Projection with Relevance-Diversity Data Selection

SPARD: 通过安全投影与相关性-多样性数据选择防御有害微调攻击

Shuhao Chen, Weisen Jiang, Yeqi Gong, Shengda Luo, Chengxiang Zhuo, Zang Li, James T. Kwok, Yu Zhang

机构 * Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（香港科学与技术大学计算机科学与工程系） ； Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系） ； Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系） ； Platform and Content Group, Tencent（腾讯平台与内容组） ； Chinese Medicine Guangdong Laboratory（广东中医实验室） 纠错

AI总结 提出SPARD框架，结合安全投影交替优化和相关性-多样性数据选择，防御有害微调攻击，在保持任务精度的同时显著降低攻击成功率。

Comments Accepted by ICML 2026

Geometry-Correct Diffusion Posterior Sampling with Denoiser-Pullback Curvature Guidance and Manifold-Aligned Damping

几何校正扩散后验采样：基于去噪器回拉曲率引导与流形对齐阻尼

Seunghyeok Shin, Minwoo Kim, Dabin Kim, Hongki Lim

机构 * Department of Electrical and Computer Engineering, Inha University, Incheon, 22212, South Korea（电气与计算机工程系，Inha大学，Incheon，22212，韩国） 纠错

AI总结 提出一种基于去噪器回拉曲率引导和流形对齐阻尼的几何校正扩散后验采样方法，通过每噪声水平的阻尼高斯-牛顿校正替代标量引导，实现稳定高效的后验采样。

Comments Code: https://github.com/Seunghyeok0715/CLAMP

Journal ref International Conference on Machine Learning 2026

Decoupled Training with Local Reinforcement Fine-Tuning in Federated Learning

联邦学习中解耦训练与局部强化微调

Yuting Ma, Lechao Cheng, Xiaohua Xu

机构 * School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） 纠错

AI总结 提出FedDTL框架，通过解耦图像和文本编码器训练并引入两阶段局部微调（监督微调+强化学习），解决联邦学习中客户端间优化不一致和客户端内过专门化问题，平衡全局任务适应性与泛化能力。

Comments This work has been accepted by ICML 2026

Do Audio LLMs Listen or Read? Analyzing and Mitigating Paralinguistic Failures with VoxParadox

音频大语言模型是听还是读？使用VoxParadox分析和缓解副语言失败

Jiacheng Pang, Ashutosh Chaubey, Mohammad Soleymani

机构 * Institute for Creative Technologies, University of Southern California, Los Angeles, USA（创意技术研究所，南加州大学，洛杉矶，美国） 纠错

AI总结 针对音频大语言模型在副语言理解上的不足，提出对抗性基准VoxParadox和Prompt-Conditioned Layer Mixer方法，显著提升模型对副语言线索的利用能力。

Comments Accepted as a conference paper at ICML 2026. Project page: https://voxparadox.github.io/

A Paired Testing Protocol for Batch-Conditioned Refusal Robustness in LLM Serving

LLM服务中基于批处理条件的拒绝鲁棒性配对测试协议

Sahil Kadadekar

机构 * Independent Researcher（独立研究者） 纠错

AI总结 提出配对测试协议，通过四项研究验证批处理条件对LLM安全标签的影响，发现批处理导致的安全标签翻转率低但存在，建议精确堆栈验证。

Comments 12 pages. Accepted to the ICML 2026 Workshop on Hypothesis Testing

Worker Disagreement Reveals Sharp Directions in Local SGD

工作者分歧揭示局部SGD中的尖锐方向

Tolga Dimlioglu, Kristi Topollai, Anna Choromanska

机构 * New York University（纽约大学） 纠错

AI总结 本文通过理论分析和实验证明，局部SGD中的工作者平均间隙协方差能够捕捉Hessian矩阵的尖锐方向，从而提供一种廉价的无Hessian估计方法。

Comments 5 pages main body, 18 pages appendix - Accepted to HiLD 2026, ICML

How the Optimizer Shapes Learned Solutions in Equivariant Neural Networks

优化器如何塑造等变神经网络中的学习解

Teodor-Mihai Stupariu, Andrei Manolache

机构 * University of Stuttgart, Germany（斯图加特大学） ； International Max Planck Research School for Intelligent Systems, Germany（国际马克斯·普朗克智能系统研究学校） ； Tudor Vianu High School of Computer Science, Romania（托尔德·维安乌计算机科学高中） 纠错

AI总结 本文通过比较Muon和Adam优化器在点云和分子学习任务中的表现，发现Muon能改善等变神经网络的优化效果，并分析其导致更规则损失曲面和更高有效秩的机制。

Comments Accepted at ICML 2026 Workshop on Weight-Space Symmetries

Poison with Style: A Practical Poisoning Attack on Code Large Language Models

风格投毒：针对代码大语言模型的实用投毒攻击

Khang Tran, Yazan Boshmaf, Issa Khalil, NhatHai Phan, Ting Yu, Md Rizwan Parvez

机构 * Department of Data Science, New Jersey Institute of Technology, New Jersey, U.S.A.（新泽西理工学院数据科学系） ； Qatar Computing Research Institute, HBKU, Doha, Qatar（卡塔尔计算研究所） ； Mohamed Bin Zayed University of Artificial Intelligence, Abu Dhabi, United Arab Emirates（马尔代夫人工智能大学） 纠错

AI总结 提出 Poison-with-Style (PwS) 攻击，利用开发者代码风格作为隐蔽触发器，通过两步训练策略微调代码大语言模型，使其在触发风格下生成漏洞代码，同时保持正常行为。

Comments Accepted to the Forty-Third International Conference on Machine Learning 2026 (ICML 2026)

Gradient Transformer: Learning to Generate Updates for LLMs

梯度变换器：学习为大语言模型生成更新

Binh-Nguyen Nguyen, Khang Tran, NhatHai Phan, Issa Khalil

机构 * Department of Data Science, New Jersey Institute of Technology, Newark, NJ, USA（数据科学系，新泽西理工学院，新泽西州诺克斯维尔） ； Qatar Computing Research Institute, HBKU, Doha, Qatar（卡塔尔计算研究所，HBKU，多哈） 纠错

AI总结 提出一种无数据知识蒸馏框架，利用梯度变换器将微调后小语言模型的更新向量转换为大语言模型的更新向量，实现无需私有数据即可更新大模型。

Comments Accepted at ICML 2026

SparseOpt: Addressing Normalization-induced Gradient Skew in Sparse Training

SparseOpt：解决稀疏训练中归一化引起的梯度倾斜

Mohammed Adnan, Rohan Jain, Tom Jacobs, Ekansh Sharma, Rahul G. Krishnan, Rebekka Burkholz, Yani Ioannou

机构 * University of Calgary（卡尔加里大学） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全中心） 纠错

AI总结 针对动态稀疏训练收敛慢的问题，通过分析批归一化对稀疏训练的不利影响，提出稀疏感知优化器SparseOpt，实现更快的收敛和更好的泛化。

Comments Accepted International Conference on Machine Learning (ICML) 2026

Balancing Fidelity and Diversity in Diffusion Models via Symmetric Attention Decomposition: Hopfield Perspective

通过对称注意力分解平衡扩散模型中的保真度与多样性：Hopfield视角

Hyunmin Cho, Woo Kyoung Han, Kyong Hwan Jin

机构 * Department of Electrical Engineering, Korea University, Seoul, South Korea（韩国大学电子工程系，首尔，韩国） 纠错

AI总结 本文通过将Transformer中的注意力矩阵分解为对称和反对称部分，从Hopfield网络视角解释并调控扩散模型生成中的保真度-多样性权衡。

Comments Accepted to ICML 2026 (Regular)

Quantifying Empirical Compute-Supervision Tradeoffs in RLVR

量化 RLVR 中计算与监督的实证权衡

Ryo Mitsuhashi, Patrick Chen, Isabelle Tseng, Jasin Cekinmez, Addison J. Wu

机构 * Princeton University（普林斯顿大学） 纠错

AI总结 通过 GSM8K 上的 GRPO 实验，研究验证器噪声对 RLVR 的影响，发现计算扩展无法弥补监督噪声，且假阴性比假阳性危害更大。

Comments Workshop on Combining Theory and Benchmarks @ ICML 2026

Boosting Inference with Guided Reasoning: Stochastic Exploration for Recursive Models

通过引导推理提升推理能力：递归模型的随机探索

Andrew Corbett, Archit Sood, Anna Tzatzopoulou, Sai-Aakash Ramesh, Tim Dodwell

机构 * digiLab, UK（digiLab, 英国） ； University of Bristol, UK（英国布里斯托尔大学） 纠错

AI总结 提出引导随机探索方法，通过随机扰动推理轨迹并在线重加权，提升递归模型在结构化推理任务上的性能，无需重新训练。

Comments Presented at the proceedings of the ICML 2026 Workshop on Structured Probabilistic Inference & Generative Modeling (SPIGM)}, Seoul, South Korea. 2026

The Shape of Reasoning: Topological Analysis of Reasoning Traces in Large Language Models

推理的形状：大型语言模型中推理轨迹的拓扑分析

Xue Wen Tan, Nathaniel Tan, Galen Lee, Stanley Kok

机构 * University of Cambridge, Department of Engineering, England（剑桥大学工程系） ； National University of Singapore, School of Computing, Singapore（新加坡国立大学计算机学院） 纠错

AI总结 提出基于拓扑数据分析（TDA）的评估框架，通过捕捉推理轨迹的几何结构实现高效自动评估，实验表明拓扑特征比图指标更有效预测推理质量。

Comments Accepted in ICML 2026 Workshop: Epistemic Intelligence in Machine Learning

Learning Query-Aware Budget-Tier Routing for Runtime Agent Memory

学习面向运行时智能体记忆的查询感知预算层级路由

Haozhen Zhang, Haodong Yue, Tao Feng, Quanyu Long, Jianzhu Bao, Bowen Jin, Weizhi Zhang, Xiao Li, Jiaxuan You, Chengwei Qin, Wenya Wang

机构 * Nanyang Technological University（南洋理工大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Illinois Chicago（伊利诺伊大学香槟分校） ； Tsinghua University（清华大学） ； Sun Yat-sen University（中山大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

AI总结 提出 BudgetMem 框架，通过强化学习训练的轻量级路由器实现查询感知的预算层级路由，以在运行时平衡任务性能与记忆构建成本。

Comments Accepted by ICML 2026. Code is available at https://github.com/ViktorAxelsen/BudgetMem

TideGS: Scalable Training of Over One Billion 3D Gaussian Splatting Primitives via Out-of-Core Optimization

TideGS: 通过外存优化训练超过十亿个3D高斯溅射基元

Chonghao Zhong, Linfeng Shi, Hua Chen, Tiecheng Sun, Hao Zhao, Binhang Yuan, Chaojian Li

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Tsinghua University（清华大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

AI总结 针对大规模3D高斯溅射训练的内存瓶颈，提出TideGS外存训练框架，通过SSD-CPU-GPU层次化管理和三种协同技术，在单GPU上实现超过十亿高斯基元的训练并达到最优重建质量。

Comments Accepted to ICML 2026 as Spotlight. Website: https://sponge-lab.github.io/TideGS

Position: The Turing-Completeness of Autoregressive Transformers Relies Heavily on Context Management

立场：自回归Transformer的图灵完备性高度依赖于上下文管理

Guanyu Cui, Zhewei Wei, Kun He

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院） ； DEKE Lab, Renmin University of China, Beijing, China（中国人民大学北京校区DEKE实验室） 纠错

AI总结 本文通过区分固定系统和缩放族两种设置，论证了上下文管理方法对自回归Transformer计算能力的决定性影响，并指出缩放族设置下的图灵完备性证明不适用于实际部署的固定系统。

Comments Accepted to the ICML 2026 Position Paper Track

Mind Dreamer: Untethering Imagination via Active Causal Intervention on Latent Manifolds

Mind Dreamer: 通过潜在流形上的主动因果干预释放想象力

Shaojun Xu, Xiaoling Zhou, Yihan Lin, Yapeng Meng, Xinglong Ji, Luping Shi, Rong Zhao

机构 * Center for Brain-Inspired Computing Research, Department of Precision Instrument, Tsinghua University, Beijing, China（脑启发计算研究中心，精密仪器系，清华大学，北京，中国） ； College of Computer Science and Technology, Zhejiang University, Hangzhou, China（计算机科学与技术学院，浙江大学，杭州，中国） ； Pen-Tung Sah Institute of Micro-Nano Science and Technology, Xiamen University, Xiamen, China（彭途萨微纳米科学与技术研究院，厦门大学，厦门，中国） 纠错

AI总结 针对基于模型的强化学习中历史束缚导致策略优化滞后的问题，提出Mind Dreamer框架，通过主动因果干预生成非连续潜在跳跃，并推导中继价值函数与中继不确定性函数，实现样本效率提升。

Comments 34 pages, 7 figures, ICML 2026 accepted

Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination

VLMs 是在看还是只是在说？揭示视觉重新检查的幻觉

Chufan Shi, Cheng Yang, Yaokang Wu, Linghao Jin, Bo Shui, Taylor Berg-Kirkpatrick, Xuezhe Ma

机构 * University of Southern California（南加州大学） ； University of California San Diego（加州大学圣地亚哥分校） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

AI总结 通过图像交换探测框架 VisualSwap 和 800 对图像基准 VS-Bench，发现视觉语言模型在推理时声称的“重新检查图像”多为文本模式，而非真正的视觉重新检查，且思考模型更易受影响，用户指令可恢复视觉基础但自我反思无效。

Comments ICML 2026 Oral

Self-Prompting Diffusion Transformer for Open-Vocabulary Scene Text Editing via In-Context Learning

自提示扩散变压器用于开放词汇场景文本编辑的上下文学习

Hongxi Li, Tong Wang, Chengjing Wu, Tianbao Liu, Jiangtao Yao, Xiaochao Qu, Xinxiao Wu, Luoqi Liu, Ting Liu

机构 * MT Lab, Meitu Inc., Beijing, China ； School of Computer Science \& Technology, Beijing Institute of Technology, Beijing, China 纠错

AI总结 提出一种自提示场景文本编辑方法，通过构建风格和字形提示，利用多模态扩散变压器的上下文学习能力，实现开放词汇和风格一致的文本编辑。

Comments ICML 2026

ArcVQ-VAE: A Spherical Vector Quantization Framework with ArcCosine Additive Margin

ArcVQ-VAE：一种带有反余弦加性边界的球面向量量化框架

Jaeyung Kim, YoungJoon Yoo

机构 * Department of Artificial Intelligence, Chung-Ang University, Seoul, Republic of Korea（韩国首尔 Chung-Ang 大学人工智能系） ； SNUAILAB, Seoul, Republic of Korea（韩国首尔 SNUAILAB 实验室） 纠错

AI总结 针对VQ-VAE有限码本容量限制表示能力的问题，提出ArcVQ-VAE框架，通过引入球面角边先验（包括球界范数正则化和反余弦加性边界损失）增强潜在表示的判别性和均匀分散性，提升码本利用率，在图像重建和生成任务上取得竞争性能。

Comments To appear in Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

XTransfer: Modality-Agnostic Few-Shot Model Transfer for Human Sensing at the Edge

XTransfer: 面向边缘人体感知的模态无关小样本模型迁移

Yu Zhang, Xi Zhang, Hualin Zhou, Xinyuan Chen, Shang Gao, Hong Jia, Jianfei Yang, Yuankai Qi, Tao Gu

机构 * Macquarie University, Sydney, NSW, Australia（麦考瑞大学，悉尼，新南威尔士州，澳大利亚） ； Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； The University of Auckland, Auckland, New Zealand（奥克兰大学，奥克兰，新西兰） 纠错

AI总结 提出XTransfer方法，通过模型修复和层重组实现模态无关的小样本模型迁移，降低传感器数据收集、模型训练和边缘部署成本。

Comments Accepted at ICML2026

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML 2026), Seoul, South Korea, 6-11 July 2026

Smoothing Slot Attention Iterations and Recurrences

平滑槽注意力迭代与循环

Rongzhen Zhao, Wenyan Yang, Juho Kannala, Joni Pajarinen

机构 * Department of Electrical Engineering and Automation, Aalto University, Espoo, Finland（电气工程与自动化系，阿alto大学，埃斯波，芬兰） ； Department of Computer Science, Aalto University, Espoo, Finland（计算机科学系，阿alto大学，埃斯波，芬兰） ； Center for Machine Vision and Signal Analysis, University of Oulu, Oulu, Finland（机器视觉与信号分析中心，奥卢大学，奥卢，芬兰） 纠错

AI总结 针对槽注意力在图像首帧冷启动查询缺乏样本特异性及视频帧间聚合变换同质化的问题，提出SmoothSA方法，通过预热冷启动查询和差异化迭代次数来平滑迭代与循环，提升目标发现、识别与推理性能。

Comments Accepted to ICML 2026

Decoupling Reasoning and Confidence: Resurrecting Calibration in Reinforcement Learning from Verifiable Rewards

解耦推理与置信度：在可验证奖励的强化学习中恢复校准

Zhengzhao Ma, Xueru Wen, Boxi Cao, Yaojie Lu, Hongyu Lin, Jinglin Yang, Min He, Xianpei Han, Le Sun

机构 * Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences, Beijing, China（中国科学院软件研究所信息处理实验室） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学） ； Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学网络安全学院） ； National Computer Network Emergency Response Technical Team/Coordination Center of China, Beijing, China（中国国家计算机网络应急技术配合中心） 纠错

AI总结 针对RLVR中模型校准退化问题，提出DCPO框架通过解耦推理与校准目标，在保持准确率的同时显著改善校准性能并缓解过度自信。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

S2MAM: Semi-supervised Meta Additive Model for Robust Estimation and Variable Selection

S2MAM: 半监督元加性模型用于稳健估计和变量选择

Xuelin Zhang, Hong Chen, Yingjie Wang, Tieliang Gong, Bin Gu

机构 * Huazhong Agricultural University（华中农业大学） ； China University of Petroleum (East China)（中国石油大学（华东）） ； Xi'an Jiaotong University（西安交通大学） ； Jilin University（吉林大学） 纠错

AI总结 提出基于双层优化的半监督元加性模型，自动识别信息变量、更新相似矩阵并实现可解释预测，理论保证收敛性和泛化界，实验验证了鲁棒性和可解释性。

Comments Accepted by ICML'2026 as Accept (regular)

LASER: Learning Active Sensing for Continuum Field Reconstruction

LASER: 用于连续场重建的学习主动感知

Huayu Deng, Jinghui Zhong, Xiangming Zhu, Yunbo Wang, Xiaokang Yang

机构 * MoE Key Lab of Artificial Intelligence, AI Institute, School of Computer Science, Shanghai Jiao Tong University（人工智能MOE重点实验室、人工智能研究院、计算机科学学院、上海交通大学） 纠错

AI总结 提出LASER框架，将主动感知建模为部分可观测马尔可夫决策过程，利用连续场潜在世界模型和强化学习策略在潜在想象空间中模拟感知场景，实现稀疏约束下的高保真重建。

Comments Accepted by ICML 2026 (Oral)

Reasoning on the Manifold: Bidirectional Consistency for Self-Verification in Diffusion Language Models

流形上的推理：扩散语言模型中用于自我验证的双向一致性

Jiaoyang Ruan, Xin Gao, Yinda Chen, Hengyu Zeng, Liang Du, Guanghao Li, Jie Fu, Jian Pu

机构 * Institute of Science and Technology for Brain-Inspired Intelligence（脑启发智能科学与技术研究院） ； Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of Science and Technology of China（中国科学技术大学） ； IEG, Tencent Inc.（腾讯IEG） 纠错

AI总结 提出双向流形一致性（BMC），一种无训练、无监督的度量方法，通过前向掩码和后向重建循环量化生成序列的稳定性，用于扩散语言模型的诊断、推理和对齐。

Comments 31 pages, 7 figures. Accepted to the 43rd International Conference on Machine Learning (ICML 2026). Camera-ready version

Journal ref Proceedings of the 43rd International Conference on Machine Learning, PMLR 306, 2026

Prompt Optimization Is a Coin Flip: Diagnosing When It Helps in Compound AI Systems

提示优化如同抛硬币：诊断其在复合AI系统中何时有效

Xing Zhang, Guanghui Wang, Yanwei Cui, Wei Qiu, Ziyuan Li, Bing Zhu, Peiyang He

机构 * AWS Generative AI Innovation Center（AWS生成式AI创新中心） ； HSBC Holdings Plc., HSBC Technology Center, China（汇丰控股有限公司，汇丰技术中心，中国） 纠错

AI总结 通过大量实验发现提示优化在复合AI系统中效果不稳定，仅当任务具有可挖掘的输出结构时才有帮助，并提供了两阶段诊断方法。

Comments Accepted to the 1st Workshop on Combining Theory and Benchmarks, CTB@ICML 2026, Seoul, South Korea

Early Decisions Matter: Proximity Bias and Initial Trajectory Shaping in Non-Autoregressive Diffusion Language Models

早期决策至关重要：非自回归扩散语言模型中的邻近偏差与初始轨迹塑造

Jiyeon Kim, Sungik Choi, Yongrae Jo, Moontae Lee, Minjoon Seo

机构 * LG AI Research（LG人工智能研究） 纠错

AI总结 本文通过分析非自回归扩散语言模型的推理动态，发现其存在邻近偏差导致的错误传播问题，并提出一种轻量级规划器和序列结束温度退火方法来引导早期令牌选择，从而显著提升推理与规划任务的性能。

Comments ICML 2026 Camera Ready

Compositional Consistency-Guided Decoding for Three-Way Logical Question Answering

面向三值逻辑问答的成分一致性引导解码

Tianyi Huang, Ming Hou, Jiaheng Su, Yutong Zhang, Ziling Zhang

AI总结 针对大语言模型在三值逻辑问答中的否定不一致和认知未知问题，提出一种轻量级测试时解码层CGD-PD，通过神经三值分类、符号否定一致性投影和定向二值蕴含探测，在FOLIO数据集上提升准确率4.4-6.8点并减少未知预测。

Comments Accepted at the ICML 2026 Workshop on Compositional Learning: Safety, Interpretability, and Agents