ICML

FPTQuant: Function-Preserving Transforms for LLM Quantization

FPTQuant：用于大语言模型量化的函数保持变换

Boris van Breugel, Yelysei Bondarenko, Paul Whatmough, Markus Nagel

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

AI总结 研究针对大语言模型推理能耗高问题，提出FPTQuant方法，通过引入三种函数保持变换促进Transformer量化，经训练使模型在量化时保持功能，实现静态INT4量化，有最小开销且速度大幅提升，在精度-速度权衡上表现优异。

Comments Forty-third International Conference on Machine Learning (ICML 2026)

ContrastiveCFG: Guiding Diffusion Sampling by Contrasting Positive and Negative Concepts

对比CFG：通过对比正负概念引导扩散采样

Jinho Chang, Changsun Lee, Hyungjin Chung, Jong Chul Ye

机构 * EverEx 纠错

AI总结 研究在条件扩散模型采样中，针对简单否定CFG引导存在的问题，提出用对比损失实现对给定条件引导的新方法，能在多样场景下有效注入或去除给定概念并保持样本质量。

Comments 20 pages, 11 figures. Poster in ICML 2026

MechVQA: Benchmarking and Enhancing Multimodal LLMs on Comprehensive Mechanical Drawing Understanding

MechVQA：在综合机械图纸理解上基准测试与增强多模态大语言模型

Qian Kou, Xiaofeng Shi, Yulin Li, Xiaosong Qiu, Xinyang Wang, Hua Zhou, Cao Dongxing

机构 * Beijing Academy of Artificial Intelligence (BAAI), China（北京人工智能研究院） ； Institute of Information Engineering, Chinese Academy of Sciences, China（信息工程研究所） ； Beijing University of Technology, China（北京理工大学） 纠错

AI总结 针对多模态大语言模型在机械工程图纸理解上的不足，提出首个综合机械图纸理解数据集MechVQA，并开发MechVL模型，通过多阶段训练显著提升性能。

Comments accept by iclm2026, add github link

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML 2026), Seoul, South Korea, PMLR 306 (2026)

Universal Algorithm-Implicit Learning

通用算法隐式学习

Stefano Woerner, Seong Joon Oh, Christian F. Baumgartner

AI总结 研究针对当前元学习方法局限性，引入理论框架定义实际通用性及算法显隐式学习。提出基于Transformer的TAIL算法，有随机投影等创新，在少样本基准测试中性能领先，能推广到未见领域和模态，处理更多类别任务且节省计算成本。

Comments Accepted at ICML 2026

TRACE: Trajectory Recovery for Continuous Mechanism Evolution in Causal Representation Learning

TRACE：因果表示学习中连续机制演化的轨迹恢复

Shicheng Fan, Kun Zhang, Lu Cheng

AI总结 研究现实世界系统中因果机制的连续转变问题，提出TRACE框架，将过渡机制建模为原子机制的凸组合，通过专家混合框架学习原子机制，能恢复机制轨迹，实验证明其在恢复混合轨迹上性能远超离散切换基线。

Comments Accepted to ICML 2026. Camera-ready version

Base Models Know How to Reason, Thinking Models Learn When

基础模型知道如何推理，思维模型在训练中学习时机

Constantin Venhoff, Iván Arcuschin, Philip Torr, Arthur Conmy, Neel Nanda

AI总结 研究思维语言模型训练中比基础模型多学到了什么，提出无监督方法和建设性模型差异分析，通过九个基础/思维模型对实验发现强化学习教编排基础机制启发式，监督微调蒸馏装新机制，为训练范式及推理模型开发提供新视角。

Comments Accepted as a Spotlight at the International Conference on Machine Learning 2026

How Can Mamba Learn In Context with Outliers and Generalize Provably?

曼巴如何在有异常值的情况下进行上下文学习并实现可证明的泛化？

Hongkang Li, Songtao Lu, Xiaodong Cui, Pin-Yu Chen, Meng Wang

AI总结 研究曼巴模型在有异常值时的上下文学习及泛化能力，通过分析其线性注意力层和非线性门控层，发现能选信息示例、抑异常值影响，虽收敛迭代多，但异常值超阈值时仍能准确预测，理论获实证支持。

Comments ICML 2026

Rethinking Visual Autoregressive Sampling with Information-Grounding Guidance

基于信息基础引导的视觉自回归采样再思考

Ky Dan Nguyen, Hoang Lam Tran, Anh-Dung Dinh, Daochang Liu, Weidong Cai, Xiuying Wang, Chang Xu

AI总结 研究基于下一尺度预测的自回归模型在图像生成中因信息不一致致引导信号分散问题，提出信息基础引导（IGG）框架，通过动态加权将引导锚定到语义重要令牌，在相关任务中生成更优图像，有效纠正基于AR的方法。

Comments Accepted to The Forty-Third International Conference on Machine Learning (ICML 2026); 15 pages, 7 figures

Position: EU AI Act's Research Exemptions Can Break the Publication Norms of Major AI Conferences

立场：欧盟人工智能法案的研究豁免可能打破主要人工智能会议的出版规范

Alina Wernick, Kristof Meding

AI总结 探讨欧盟人工智能法案对研究人员的影响，通过提供路线图、解释适用原因、分析例外等，指出法案可能扰乱出版规范，提议修改并给出建议，为相关方讨论避免法案副作用提供起点。

Comments ICML 2026 Position Paper Track spotlight

ZeroBench: An Impossible Visual Benchmark for Contemporary Large Multimodal Models

ZeroBench：当代大型多模态模型的一个不可能的视觉基准测试

Jonathan Roberts, Mohammad Reza Taesiri, Ansh Sharma, Akash Gupta, Samuel Roberts, Ioana Croitoru, Simion-Vlad Bogolin, Jialu Tang, Florian Langer, Vyas Raina, Vatsal Raina, Hanyi Xiong, Vishaal Udandarao, Jingyi Lu, Shiyang Chen, Sam Purkis, Tianshuo Yan, Wenye Lin, Gyungin Shin, Qiaochu Yang, Anh Totti Nguyen, David I. Atkinson, Aaditya Baranwal, Alexandru Coca, Mikah Dang, Sebastian Dziadzio, Jakob D. Kunz, Kaiqu Liang, Alexander Lo, Brian Pulfer, Steven Walton, Charig Yang, Kai Han, Samuel Albanie

机构 * University of Cambridge（剑桥大学） ； University of Alberta（阿尔伯塔大学） ； The University of Hong Kong（香港大学） ； University of Oxford（牛津大学） ； Northeastern University（东北大学） ； Astadeus ； College of Southern Maryland（马里兰州南部学院） ； University of Geneva（日内瓦大学） ； University of Oregon（俄勒冈大学） 纠错

AI总结 针对大型多模态模型在图像解释方面不足但在现有视觉基准测试中优势易逝的问题，引入通过对抗过滤策划的ZeroBench基准测试，评估多个模型，展现其潜力并公开测试内容，为模型视觉能力评估提供长期有效的新基准。

Comments Accepted at ICML 2026

Stop Automating Peer Review Without Rigorous Evaluation

停止在未经严格评估的情况下自动化同行评审

Joachim Baumann, Jiaxin Pei, Sanmi Koyejo, Dirk Hovy

AI总结 该立场文通过对比人类与AI生成的ICLR 2026评审结果，指出当前AI评审存在视角趋同、分数易被论文改写操控的问题，主张需建立同行评审自动化科学，而非直接部署未严格评估的通用大模型。

Comments Accepted at ICML 2026 (Oral). Forty-third International Conference on Machine Learning Position Paper Track (2026)

Pseudospectral Bounds for Transient Amplification in Coupled Gradient Descent

耦合梯度下降中瞬态放大的伪谱界

Ahanaf Hasan Ariq

机构 * Ideal School and College（理想学校和学院） 纠错

AI总结 针对耦合梯度下降中块三角雅可比矩阵的非正态性导致的瞬态放大，提出尖锐的伪谱理论，给出Kreiss常数的上界与匹配极小极大下界，并导出随机耦合下降的有限步迭代复杂度界。

Comments 15 pages, 3 tables. Accepted at the ICML 2026 HiLD Workshop (4th Workshop on High-dimensional Learning Dynamics) as a poster

Private and Stable Test-Time Adaptation with Differential Privacy

具有差分隐私的私有且稳定的测试时自适应

Zefeng Li, Qiaoyue Tang, Mathias Lecuyer, Evan Shelhamer

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 提出将多种测试时自适应方法转化为差分隐私形式，通过逐样本梯度裁剪和高斯噪声保护测试数据隐私，在ImageNet-C上实现隐私与精度的平衡，并发现裁剪机制能提升连续自适应的准确性和稳定性。

Comments ICML 2026. Code: https://github.com/van-hammerheads/private-stable-tta

Visual Implicit Autoregressive Modeling

基于隐式平衡层的视觉隐式自回归建模

Pengfei Jiang, Jixiang Luo, Luxi Lin, Zhaohong Huang, Xuelong Li

机构 * Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院） 纠错

AI总结 本文提出VIAR模型，通过隐式平衡层和可调节的计算控制，在保持生成质量的同时降低内存和提升效率，优于现有自回归基线和扩散模型。

Comments ICML 2026

CoopEval: Benchmarking Cooperation-Sustaining Mechanisms and LLM Agents in Social Dilemmas

CoopEval：社会困境中合作维持机制与LLM代理的基准测试

Emanuel Tewolde, Xiao Zhang, David Guzman Piedrahita, Vincent Conitzer, Zhijing Jin

机构 * Carnegie Mellon University ； Foundations of Cooperative AI Lab (FOCAL) ； Jinesis Lab, University of Toronto \& Vector Institute ； ETH Z\" u rich ； Max Planck Institute for Intelligent Systems, T\" u bingen, Germany 纠错

AI总结 研究探讨了社会困境中合作维持机制与LLM代理的交互效果，发现重复游戏和声誉系统最有效，但合作效果随对手变化而下降，且在进化压力下更有效。

Comments Published paper at the International Conference on Machine Learning (ICML) 2026. 65 pages, 38 Figures, 8 Tables, 17 Listings

On the Ability of Transformers to Verify Plans

Transformer 在验证计划能力上的表现

Yash Sarrof, Yupei Du, Katharina Stein, Alexander Koller, Sylvie Thiébaux, Michael Hahn

机构 * Saarland University（萨尔兰大学） ； Australian National University（澳大利亚国立大学） ； University of Toulouse / LAAS-CNRS（图卢兹大学 / LAAS-CNRS） 纠错

AI总结 研究分析了解码器-only模型验证计划的能力，提出C*-RASP框架以保证序列长度和词汇量增长时的泛化能力，发现某些经典规划领域中Transformer能有效学习验证长计划。

Comments Accepted at ICML 2026

Learning When to Attend: Conditional Memory Access for Long-Context LLMs

学习何时关注：为长上下文LLM的条件记忆访问

Sakshi Choudhary, Aditya Chattopadhyay, Luca Zancato, Elvis Nunez, Matthew Trager, Wei Xia, Stefano Soatto

机构 * Department of Electrical and Computer Engineering, Purdue University, USA（电子工程系，普渡大学，美国） 纠错

AI总结 本文提出L2A方法，通过条件性长程记忆访问提升长上下文LLM性能，使Qwen 2.5和Qwen 3模型的有效上下文长度从32K扩展到128K，同时提升训练效率并减少内存消耗。

Comments 26 pages, 11 Tables, 18 Figures. Accepted at ICML 2026

Generative Inverse Design with Abstention via Diagonal Flow Matching

基于对角流匹配的生成反向设计与退避

Miguel de Campos, Werner Krebs, Hanno Gottschalk

机构 * Institute of Mathematics, TU Berlin（柏林技术大学数学研究所） 纠错

AI总结 本文提出Diagonal Flow Matching方法，通过零锚定策略解决反向设计中坐标排列和缩放敏感问题，提升反向设计精度，并引入两个不确定性度量以实现候选选择、可靠预测退避和分布外检测。

Comments 23 pages, ICML 2026 camera-ready version

Language Generation with Replay: A Learning-Theoretic View of Model Collapse

带重放的语言生成：模型崩溃的学习理论视角

Giorgio Racca, Michal Valko, Amartya Sanyal

机构 * University of Copenhagen（哥本哈根大学） ； Isara Labs（Isara实验室） 纠错

AI总结 研究随着前沿大语言模型训练对数据需求增加，生成文本可能重入训练语料库致模型崩溃的问题。通过语言生成极限框架，引入重放对手，刻画重放何时限制生成。

Comments Accepted to ICML 2026

SpreadsheetArena: Decomposing Preference in LLM Generation of Spreadsheet Workbooks

电子表格竞技场：在大型语言模型生成电子表格工作簿中分解偏好

Srivatsa Kundurthy, Clara Na, Michael Handley, Zach Kirshner, Chen Bo Calvin Zhang, Manasi Sharma, Emma Strubell, John Ling

AI总结 研究端到端电子表格生成任务，介绍SpreadsheetArena平台通过大型语言模型生成的工作簿的盲选成对偏好投票评估模型，指出该任务挑战机遇，发布数据集以助进一步研究。

Comments 35 pages. ICML 2026

Local Constrained Bayesian Optimization

局部约束贝叶斯优化

Jing Jingzhe, Fan Zheyi, Szu Hui Ng, Qingpei Hu

机构 * Department of Industrial Systems Engineering & Management, National University of Singapore, Singapore（新加坡国立大学工业系统工程与管理系，新加坡） 纠错

AI总结 针对高维约束问题的贝叶斯优化面临挑战，提出局部约束贝叶斯优化框架。利用约束惩罚替代函数的可微景观，在局部下降与探索间交替，理论证明其收敛率，实验表明优于现有基线。

Comments 28 pages, 7 figures, accepted at ICML 2026

TT-Sparse: Learning Sparse Rule Models with Differentiable Truth Tables

TT-Sparse：使用可微真值表学习稀疏规则模型

Hans Farrell Soegeng, Sarthak Ketanbhai Modi, Thomas Peyrin

AI总结 为解决可解释机器学习中学习兼具高性能与低复杂度规则集的难题，引入TT-Sparse，利用可微真值表学习稀疏有效连接，提出新软TopK算子，能高效计算并提取可解释规则，性能优于现有方法。

Comments to appear in the proceedings of ICML 2026

ARLArena: A Unified Framework for Stable Agentic Reinforcement Learning

ARLArena：用于稳定智能体强化学习的统一框架

Xiaoxuan Wang, Han Zhang, Haixin Wang, Yidan Shi, Ruoyan Li, Kaiqiao Han, Chenyi Tong, Haoran Deng, Renliang Sun, Alexander Taylor, Yanqiao Zhu, Jason Cong, Yizhou Sun, Wei Wang

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

AI总结 研究针对智能体强化学习不稳定问题，提出ARLArena框架。先构建测试平台，将策略梯度分解为四个维度分析，据此提出稳定的智能体策略优化方法SAMPO，实现稳定训练与良好性能。

Comments To appear at ICML 2026

Omni-Diffusion: Unified Multimodal Understanding and Generation with Masked Discrete Diffusion

全模态扩散：基于掩码离散扩散的统一多模态理解与生成

Lijiang Li, Zuwei Long, Yunhang Shen, Heting Gao, Haoyu Cao, Xing Sun, Caifeng Shan, Ran He, Chaoyou Fu

机构 * Nanjing University（南京大学） ； Tencent Youtu Lab（腾讯云科技实验室） ； CASIA（中国科学院自动化研究所） 纠错

AI总结 受离散扩散模型在多领域成功应用启发，提出全模态扩散模型，基于掩码离散扩散模型构建，统一文本、语音和图像的理解与生成，用统一模型直接捕捉离散多模态令牌联合分布，性能优于现有多模态系统。

Comments Accepted to ICML 2026. This version updates the ICML submission with an optimized model checkpoint. Project page: https://omni-diffusion.github.io

Utonia: Toward One Encoder for All Point Clouds

Utonia：迈向适用于所有点云的单一编码器

Yujia Zhang, Xiaoyang Wu, Yunhan Yang, Xianzhe Fan, Han Li, Yuechen Zhang, Zehao Huang, Naiyan Wang, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） ； The Chinese University of Hong Kong（香港中文大学） ； Xiaomi（小米） 纠错

AI总结 研究旨在训练跨多领域的单自监督点变压器编码器Utonia，其能学习一致表征空间实现跨域转移，统一各领域点云，提升感知能力，还对具身和多模态推理有益，有望成为稀疏3D数据基础模型。

Comments produced by Pointcept, project page: https://pointcept.github.io/Utonia

Journal ref International Conference on Machine Learning 2026

Compositional Generalization Requires Linear, Orthogonal Representations in Vision Embedding Models

组合泛化要求视觉嵌入模型具有线性、正交表示

Arnas Uselis, Andrea Dittadi, Seong Joon Oh

机构 * Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学） ； Technical University of Munich（慕尼黑技术大学） 纠错

AI总结 研究组合泛化中表示结构需满足的条件，通过形式化三个需求得出其几何约束，为线性表示假设提供理论基础，还推导维度界限并通过实验验证，揭示模型表示结构与组合泛化的关联。

Comments ICML 2026

Incremental Learning of Sparse Attention Patterns in Transformers

Transformer中稀疏注意力模式的增量学习

Oğuz Kaan Yüksel, Rodrigo Alvarez Lucendo, Nicolas Flammarion

机构 * TML Lab, EPFL（EPFL语言模型实验室） 纠错

AI总结 研究在高阶马尔可夫链上训练的简单Transformer，其通过稀疏注意力模式从多个过去位置学习信息，分析学习动态及阶段转换，用简化微分方程建模并证明收敛，为结构化注意力模式和头专业化提供理论解释。

Comments Published at ICML 2026. OpenReview: https://openreview.net/forum?id=vSRh1qU5sH. 41 pages, 21 figures

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

Learning Adaptive Perturbation-Conditioned Contexts for Robust Transcriptional Response Prediction

学习自适应扰动条件上下文用于稳健的转录反应预测

Yinhua Piao, Hyomin Kim, Seonghwan Kim, Yunhak Oh, Junhyeok Jeon, Sang-Yeon Hwang, Jaechang Lim, Woo Youn Kim, Chanyoung Park, Sungsoo Ahn

AI总结 针对预测基因扰动的高维转录反应难题，现有方法存在均值坍缩等问题。提出AdaPert方法，通过可微节点选择提取稀疏、特定扰动子图，抑制无反应基因的虚假变化，在多基准测试中优于现有基线。

Comments 34 pages, 28 figures, 18 tables

Journal ref ICML 2026

Gradient Regularization Mitigates Reward Hacking in Reinforcement Learning from Human Feedback and Verifiable Rewards

梯度正则化减轻基于人类反馈和可验证奖励的强化学习中的奖励作弊

Johannes Ackermann, Michael Noukhovitch, Takashi Ishida, Masashi Sugiyama

机构 * The University of Tokyo（东京大学） ； RIKEN AIP（理化学研究所AIP） ； Mila（蒙特利尔大学Mila） 纠错

AI总结 研究基于人类反馈或可验证奖励的强化学习中奖励作弊问题，提出用梯度正则化使训练偏向奖励更准确区域，理论推导并实证验证，还改进方法，结果显示其比KL惩罚表现更好。

Comments Accepted at ICML 2026, 25 pages, 15 figures

Machine Learning Hamiltonians are Accurate Energy-Force Predictors

机器学习哈密顿量是精确的能量-力预测器

Seongsu Kim, Chanhui Lee, Yoonho Kim, Seongjun Yun, Honghui Kim, Nayoung Kim, Changyoung Park, Sehui Han, Sungbin Lim, Sungsoo Ahn

AI总结 研究现有哈密顿量模型作为能量-力预测器表现不明的问题，通过直接从预测哈密顿量计算能量和力的基准测试填补空白，提出QHFlow2模型并展示其优势及与模型容量和数据的关系

Comments 2026 ICML poster accepted