On the Effect of Uncertainty on Layer-wise Inference Dynamics
不确定性对逐层推理动态的影响
AI总结 通过Tuned Lens分析11个数据集和5个模型，发现确定与不确定预测的逐层概率轨迹高度一致，表明不确定性不影响推理动态，但更强大的模型可能以不同方式处理不确定性。
Comments Accepted to Actionable Interpretability Workshop - ICML 2025
期刊&会议
ICML
International Conference on Machine Learning · 会议 · Machine Learning
TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree
TreeLoRA：通过层级梯度相似性树引导的逐层LoRA实现高效持续学习
AI总结 提出TreeLoRA方法，利用层级梯度相似性构建逐层适配器，结合bandit技术高效探索任务结构，并通过稀疏梯度更新优化参数，实现大预训练模型的高效持续学习。
Comments ICML 2025
Arrows of Time for Large Language Models
大语言模型中的时间箭头
AI总结 研究大语言模型通过时间方向性进行概率建模，发现模型在预测下一个词与前一个词时的平均对数困惑度存在细微但一致的不对称性，提出理论框架解释这种不对称性源于稀疏性和计算复杂性。
Comments Corrected typos in Table 2. Added links. 12 figures, 20 pages
Journal ref Proceedings of the 41st International Conference on Machine Learning (ICML 2024), PMLR 235:39509-39528, 2024
Never mind the metrics -- what about the uncertainty? Visualising confusion matrix metric distributions
别理会指标 -- 那么不确定性呢？可视化混淆矩阵指标分布
AI总结 本文探讨了分类器性能指标在不同不确定性模型下的分布，揭示了不确定性可能掩盖分类器实际表现差异，通过三维组合晶格和交互可视化展示ROC曲线空间中的性能指标轮廓。
Comments 60 pages, 45 figures
Journal ref Proceedings of the 40th International Conference on Machine Learning, Proceedings of Machine Learning Research (PMLR) 202:22702-22757, 2023
Autoregressive Boltzmann Generators
自回归玻尔兹曼生成器
AI总结 提出自回归玻尔兹曼生成器（ArBG），通过自回归建模替代基于流的模型，克服拓扑约束并提升可扩展性，在分子系统采样中显著优于现有方法，并在8残基系统上将零样本能量误差降低60%以上。
Comments ICML 2026 (Spotlight)
The Geometry of Updates: Fisher Alignment at Vocabulary Scale
更新的几何：词汇规模下的Fisher对齐
机构 * Sideplane AI
AI总结 针对共享词汇的LLM家族，提出FisherSketch方法，通过核均值嵌入的余弦相似度估计Fisher对齐，实现词汇规模下的高效源选择，并揭示激活、误差及耦合因素。
Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026), PMLR 306. 64 pages total (main paper plus appendix), 4 figures, 29 tables
Ask, Don't Judge: Binary Questions for Interpretable LLM Evaluation and Self-Improvement
询问而非评判：用于可解释的LLM评估和自我改进的二元问题
机构 * Capital One, AI Foundations（Capital One人工智能基础）
AI总结 提出BINEVAL框架，将评估标准分解为原子二元问题，聚合为可解释的多维分数，在多项基准上匹配或超越强基线，并支持迭代提示优化。
Comments Acceepted to the Second Workshop on Compositional Learning at ICML 2026, Seoul, South Korea
Safe Autoregressive Image Generation with Iterative Self-Improving Codebooks
安全自回归图像生成与迭代自改进码本
机构 * School of Information Management, Wuhan University（武汉大学信息管理学院） ； Torr Vision Group, University of Oxford（牛津大学Torr视觉组）
AI总结 针对自回归统一多模态模型生成图像的安全性问题，提出迭代自改进码本方法，利用模型自身判断不安全图像并修正码本映射，消除有害输出并保证生成质量。
Comments 10 pages including references, 8 figures, accepted for publication at the 43rd International Conference on Machine Learning (ICML 2026)
Parametric Open Source Games
参数化开源博弈
AI总结 提出参数化开源博弈模型，通过连续参数向量和语义映射将程序均衡扩展到连续空间，证明均衡存在性，推导对称2×2博弈中自私梯度上升从背叛转向合作的确切耦合阈值，并给出参数化程序纳什均衡的一维边界检验。
Comments ICML Workshop New Frontiers in Game-Theoretic Learning-NExT-Game
Unison: Benchmarking Unified Multimodal Models via Synergistic Understanding and Generation
Unison: 通过协同理解与生成对统一多模态模型进行基准测试
AI总结 提出Unison基准，包含2169个统一任务样本，通过内部一致性、理解引导生成、生成引导理解和相互增强四个维度评估统一多模态模型的协同能力，并引入Unison-Judge评估模型确保可靠性。
Comments ICML 2026
GEOALIGN: Geometric Rollout Curation for Robust LLM Reinforcement Learning
GEOALIGN: 用于鲁棒大语言模型强化学习的几何轨迹策展
AI总结 针对在线强化学习训练LLM时奖励噪声导致的不稳定性，提出GEOALIGN，通过检测并修正方向不一致的轨迹来稳定更新，提升最终性能并减少训练震荡。
Comments Accepted as a conference paper at ICML 2026
Reasoning Quality Emerges Early: Data Curation for Reasoning Models
推理质量早期涌现：推理模型的数据策展
AI总结 提出仅利用初始推理token即可识别多样且具挑战性的推理样本，通过扰动检查点评估前100个token的损失检测难题，并证明前1k token的损失模式可预测梯度相似性，在Qwen2.5-7B和Llama3.1-8B上验证，性能提升达1.7%，token效率提升91%。
Comments Accepted by ICML 2026 (Poster)
LearniBridge: Learnable Calibration of Feature Caching for Diffusion Models Acceleration
LearniBridge: 用于扩散模型加速的特征缓存的可学习校准
AI总结 提出LearniBridge，一种基于低秩共享子空间的可学习校准机制，通过轻量LoRA更新实现特征缓存的多时间步校准，仅需3-5个训练样本即可在图像和视频生成中实现高达5.87倍加速。
Comments Accepted to ICML 2026
ProtoKV: Streaming Video Understanding under Delayed Query with Summary-State Memory
ProtoKV: 延迟查询下的流式视频理解与摘要状态记忆
机构 * KAIST（韩国科学技术院）
AI总结 提出ProtoKV，一种固定内存的流式视频理解记忆机制，通过摘要状态表示远历史，在长延迟查询下准确率提升高达12.5点。
Comments 20 pages, 4 figures, Accepted to ICML 2026
Full spectrum Unlearnable Examples via Spectral Equalization
全频谱不可学习样本：通过频谱均衡实现
机构 * Department of Computer Science, Western University（温哥华大学计算机科学系） ； Department of Mechanical, Industrial and Aerospace Engineering, Concordia University（Concordia大学机械、工业与航空航天工程系）
AI总结 针对现有不可学习样本仅在高频有效的问题，提出FUSE方法，通过随机频谱掩码和跨频带引导生成频谱无关扰动，实现全频谱保护。
Comments to be published in ICML
LithoDreamer: A Physics-Informed World Model for Multi-Stage Computational Lithography
LithoDreamer: 一种用于多阶段计算光刻的物理信息世界模型
机构 * Zhejiang University（浙江大学）
AI总结 提出首个物理信息世界模型LithoDreamer，将光刻流程建模为决策驱动的多步演化系统，通过对比变分优化实现可解释干预，在正向演化和逆向规划中达到最优性能。
Comments Correspondence to: Qi Sun <qisunchn \at zju \dot edu \dot cn>
Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML), Jul. 6-11, 2026
Target-Aware Bandit Allocation for Scalable Surrogate Optimization in Chemical Space
面向化学空间可扩展代理优化的目标感知Bandit分配
AI总结 提出BOBa框架，通过多臂Bandit自适应分配计算资源到动作空间分区，消除全库代理推理瓶颈，在真实合成库上实现可调节的筛选性能与推理成本权衡。
Comments ICML 2026
CAT-Q: Cost-efficient and Accurate Ternary Quantization for LLMs
CAT-Q：面向LLMs的经济高效且精确的三值量化
机构 * Intel Labs China（英特尔中国实验室）
AI总结 提出CAT-Q后训练量化方案，通过可学习调制和软化三值化，仅用512个校准样本即可将LLMs高效量化为三值模型，性能优于使用100B tokens训练的BitNet 1.58-bit，训练token减少约100,000倍。
Comments This work is accepted to ICML 2026 as an oral. The project page: https://github.com/IntelChina-AI/BitTern
Autoformalization of Agent Instructions into Policy-as-Code
智能体指令的自动形式化为策略即代码
AI总结 提出自动形式化流水线，通过LLM生成-批评循环将智能体提示和自然语言策略转化为Cedar策略语言，在MedAgentBench上比手工编码覆盖更多规范。
Comments Accepted at the Second Workshop on Agents in the Wild: Safety, Security, and Beyond (AIWILD), ICML 2026
Fast Estimation for Forest Matrix of Signed Graphs
符号图森林矩阵的快速估计
AI总结 针对符号图森林矩阵估计问题，提出基于环擦除随机游走的GSCF算法生成广义生成跨森林，并设计FMDE和FMDE+采样算法估计矩阵对角线，实现高精度、高效率，可扩展至千万节点规模。
Comments Accepted at ICML 2026
Localizing RL-Induced Tool Use to a Single Crosscoder Feature
将RL诱导的工具使用定位到单个交叉编码器特征
AI总结 提出专用特征交叉编码器(DFC)隔离强化学习引入的紧凑特征集，通过编码-解码重建提升工具调用正确率31.1个百分点，并实现能力溢出至冻结基模型。
Comments Accepted as a spotlight at the ICML 2026 Mechanistic Interpretability Workshop
A Causal Foundation Model for Structure and Outcome Prediction
用于结构与结果预测的因果基础模型
机构 * University of Cambridge, United Kingdom（英国剑桥大学）
AI总结 提出TabPFN-CFM，一种能处理多种因果问题的因果基础模型，从观测数据预测因果结构和结果，支持Pearl因果层次所有三层查询，在合成数据上训练并泛化到真实数据，优于结构和结果预测基线。
Comments 20 pages, 7 figures, 17 tables, 43rd ICML Workshop on Foundation Models for Structured Data
AXLE: A Cloud Infrastructure for Lean 4 Theorem Proving Utilities
AXLE：面向 Lean 4 定理证明工具的云基础设施
机构 * Axiom Math ； Recursive Superintelligence, Inc.
AI总结 提出 AXLE 云服务，提供可扩展的 Lean 4 证明操作、提取与验证工具，支持多版本、多租户隔离，已处理超5亿请求并助力 Putnam 竞赛满分。
Comments Accepted at the 3rd AI for Math Workshop, ICML 2026
Embedding Foundation Model Predictions in Discrete-Choice Models with Structural Guarantees
具有结构保证的嵌入基础模型预测的离散选择模型
机构 * University of California, Berkeley（加州大学伯克利分校） ； Duke University（杜克大学） ； Northeastern University（东北大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Southern Methodist University（南卫理公会大学）
AI总结 提出两阶段适配器，将基础模型的预测嵌入多项Logit效用中，通过符号约束保持边际替代率，在三个数据集上平均提升6.4个百分点准确率，并保证成本单调性和合理时间价值。
Comments Extends arXiv:2605.26559 (ICML 2026 FMSD Workshop)
Instruction Bleed: Cross-Module Interference in Prompt-Composed Agentic Systems
指令泄露：提示组合智能体系统中的跨模块干扰
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； FAGEN
AI总结 研究提示组合智能体系统中模块间干扰问题，形式化定义为组合行为泄露（CBL），通过三通道协议实验验证内容通道产生可检测效应，贡献了操作定义、可复用协议和系统类特征。
Comments 8 pages, 2 tables. Accepted to the ICML 2026 Workshop on Failure Modes in Agentic AI (FAGEN), Seoul, South Korea
SSM Adapters via Hankel Reduced-order Modeling: Injection Site Determines Task Suitability in Long-Context Fine-Tuning
通过Hankel降阶建模的SSM适配器：注入位置决定长上下文微调中的任务适用性
机构 * Hitachi America Ltd.（日立美洲有限公司）
AI总结 提出Hankel降阶模型(HRM)适配器，一种基于SSM的残差模块，通过平衡截断初始化，在长上下文任务中优于LoRA，并支持FFT并行扫描。
Comments 14 pages, 12 figures, HiLD Workshop @ ICML 2026
Refusal Lives Downstream of Persona in Chat Models
拒绝在聊天模型中的角色下游
机构 * Independent（独立研究者）
AI总结 研究发现聊天模型中拒绝行为受顺从角色门控，通过干预角色和拒绝方向可大幅改变拒绝率，表明拒绝依赖于角色。
Comments Accepted to the ICML 2026 Mechanistic Interpretability workshop
Finding Stationary Points by Comparisons
通过比较寻找驻点
机构 * School of Electronics Engineering and Computer Science（电子工程与计算机科学系） ； Computer Science Department（计算机科学系） ； Center on Frontiers of Computing Studies（计算前沿研究中心） ； School of Computer Science（计算机科学系）
AI总结 针对仅能通过比较两个点函数值大小的比较预言机访问的非凸函数，提出一种算法，以O~(n^2/ε^1.5)次查询找到ε-驻点，并首次给出量子比较预言机下的量子算法，查询复杂度为O~(n/ε^1.5)。
Comments 41 pages, 4 figures. To appear in the Forty-Third International Conference on Machine Learning (ICML 2026)
The Generalization Spectrum: A Chromatographic Approach to Evaluating Learning Algorithms
泛化谱：一种评估学习算法的色谱方法
机构 * ByteDance Seed（字节跳动Seed） ； Hong Kong University of Science and Technology（香港科技大学） ； Princeton University（普林斯顿大学） ； University of Oxford（牛津大学）
AI总结 提出泛化谱框架，通过构建从精确回忆到跨语言实现转移等不同转移距离的测试变体，揭示算法从单个样本泛化到其他样本的程度，并应用于竞争编程任务评估不同学习范式。
Comments Accepted at ICML 2026. 30 pages, 6 figures
Beyond Perplexity: UTF-8 Validity in Byte-aware Language Models
超越困惑度：字节感知语言模型中的 UTF-8 有效性
机构 * University of Tokyo（东京大学） ； National Institute of Information and Communications Technology（信息通信技术国家研究所）
AI总结 研究字节级分词语言模型生成无效UTF-8序列的问题，通过多语言训练实验发现UTF-8有效性收敛比困惑度慢约一倍，且罕见字符结构有效性更高，表明可靠UTF-8生成是需要单独评估的能力。
Comments ICML 2026
