ICML

BESplit: Bias-Compensated Split Federated Learning with Evidential Aggregation

BESplit: 偏差补偿分割联邦学习与证据聚合

Yuhan Xie, Chen Lyu, Jingrong Huang

机构 * MoE Key Laboratory of Interdisciplinary Research of Computation（交叉计算与经济学 interdisciplinary 研究 MOE 重点实验室） ； Shanghai University of Finance（上海财经大学） 纠错

AI总结 本文提出BESplit框架，通过证据聚合和偏差补偿协作来解决非独立同分布数据下分割联邦学习的偏差优化和收敛不稳定问题，提升了模型的准确性和效率。

Journal ref Proceedings of the Forty-Third International Conference on Machine Learning (ICML), 2026

AgentPSO: Evolving Agent Reasoning Skill via Multi-agent Particle Swarm Optimization

AgentPSO: 通过多智能体粒子群优化进化智能体推理能力

Hyunmin Hwang, Jaemin Kim, Choonghan Kim, Hangeol Chang, Jong Chul Ye

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

AI总结 AgentPSO通过多智能体粒子群优化框架，使智能体在任务中进化推理能力，通过结合自身经验与群体最优技能，提升个体与集体推理性能，实验证明其优于静态单智能体和测试时多智能体方法。

Comments The 3rd AI for Math Workshop at the 43rd International Conference on Machine Learning (ICML), Seoul, South Korea, 2026

Hybrid Policy Distillation for LLMs

混合策略蒸馏用于大语言模型

Wenhong Zhu, Ruobing Xie, Rui Wang, Pengfei Liu

机构 * Department of Computer Science（计算机科学系） ； Engineering, Shanghai Jiao Tong University（上海交通大学工程学院） ； Shanghai Innovation Institute（上海创新研究院） ； Large Language Department, Tencent（腾讯大语言部门） 纠错

AI总结 本文提出混合策略蒸馏方法，结合正反KL散度优势，提升模型生成能力和效率，验证了其在多种任务中的有效性。

Comments ICML 2026

Symmetry Reveals Layerwise Dynamics: How Transformers Perform In-Context Classification

对称性揭示逐层动力学：Transformer如何执行上下文分类

Patrick Lutz, Themistoklis Haris, Arjun Chandra, Aditya Gangrade, Venkatesh Saligrama

机构 * Boston University, Departments of Computer Science 纠错

AI总结 通过强制特征和标签排列等变性，从Transformer中提取出显式的深度索引递归更新规则，揭示了上下文分类的几何驱动算法。

Comments appears in the Proceedings of the 43rd International Conference on Machine Learning (ICML '26)

Characterization of Gaussian Universality Breakdown in High-Dimensional Empirical Risk Minimization

高维经验风险最小化中高斯普适性破坏的表征

Chiheb Yaakoubi, Cosme Louart, Malik Tiomoko, Zhenyu Liao

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen, China ； Huawei Noah's Ark Lab, Huawei Technologies, Paris, France ； School of Electronic Information ； Communications, Huazhong University of Science \& Technology, China 纠错

AI总结 通过将凸高斯极小极大定理推广到非高斯数据，刻画了高维经验风险最小化估计量的渐近分布，揭示了高斯普适性的适用范围与局限。

Comments 28 pages, 3 figures, 1 table

Journal ref ICML 2026

SimulCost: A Cost-Aware Benchmark and Toolkit for Automating Physics Simulations with LLMs

SimulCost: 一个用于自动化物理模拟的代价感知基准与工具包

Yadi Cao, Sicheng Lai, Jiahe Huang, Yang Zhang, Zach Lawrence, Rohan Bhakta, Izzy F. Thomas, Mingyun Cao, Chung-Hao Tsai, Zihao Zhou, Yidong Zhao, Hao Liu, Alessandro Marinoni, Alexey Arefiev, Rose Yu

机构 * University of California San Diego（加州大学圣地亚哥分校） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Peking University（北京大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； California Institute of Technology（加州理工学院） ； ETH Zurich（苏黎世联邦理工学院） 纠错

AI总结 针对现有LLM评估忽略工具使用代价的问题，提出SimulCost基准，通过单轮和多轮参数调优任务比较LLM与传统扫描方法在准确性和计算代价上的表现，发现LLM在高精度任务中初始猜测不可靠且多轮模式效率更低。

Comments post conference revision version at ICML; update: removed CGYRO due to bug in cases search. Will add back soon

A solvable high-dimensional model where nonlinear autoencoders learn structure invisible to PCA while test loss misaligns with generalization

一个可解的高维模型，其中非线性自编码器学习到结构对PCA不可见，而测试损失与泛化不一致

Vicente Conde Mendes, Lorenzo Bardone, Cédric Koller, Jorge Medina Moreira, Vittorio Erba, Emanuele Troiani, Lenka Zdeborová

机构 * Statistical Physics of Computation Laboratory, École polytechnique fédérale de Lausanne (EPFL)（计算统计物理实验室，瑞士联邦理工学院（EPFL）） 纠错

AI总结 本文提出一个高维模型，展示非线性自编码器能学习线性方法如PCA无法捕捉的结构，尽管其测试损失与泛化性能不一致。

Journal ref ICML 2026

What Does Preference Learning Recover from Pairwise Comparison Data?

成对比较数据中的偏好学习恢复了什么？

Rattana Pukdee, Maria-Florina Balcan, Pradeep Ravikumar

机构 * Machine Learning Department, Carnegie Mellon University, Pittsburgh, USA（卡内基梅隆大学机器学习系） 纠错

AI总结 本文通过条件偏好分布（CPRD）形式化成对比较数据中的偏好信息，分析了Bradley-Terry模型在数据违反假设时的恢复能力，并揭示了影响样本效率的关键因素（边界和连通性）。

Journal ref ICML 2026

Universal One-third Time Scaling in Learning Peaked Distributions

学习尖峰分布中的普适三分之一时间缩放

Yizhou Liu, Ziming Liu, Cengiz Pehlevan, Jeff Gore

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 本文通过理论分析和实验验证，揭示了使用softmax和交叉熵学习尖峰分布时，损失和梯度呈幂律衰减，导致损失时间缩放指数为1/3的普适瓶颈，为神经缩放现象提供了机理解释。

Comments Camera-ready version, ICML 2026

Diving into Kronecker Adapters: Component Design Matters

深入Kronecker适配器：组件设计至关重要

Jiayu Bai, Danchen Yu, Zhenyu Liao, TianQi Hou, Feng Zhou, Robert C. Qiu, Zenan Ling

机构 * School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息学院） ； Huawei（华为） ； Center for Applied Statistics and School of Statistics, Renmin University of China（中国人民大学应用统计中心和统计学院） 纠错

AI总结 本文通过分析Kronecker适配器的组件维度和数量，提出组件设计的Kronecker适配器（CDKA），并给出参数预算感知的配置指南和训练稳定策略，实验证明其有效性。

Comments Accepted by ICML 2026

HybridFlow: Resource-Adaptive Subtask Routing for Efficient Edge-Cloud LLM Inference

HybridFlow: 适应资源的子任务路由用于高效的边缘-云LLM推理

Jiangwen Dong, Jiayu Li, Tianhang Zheng, Wanyu Lin

AI总结 HybridFlow通过动态资源适应的子任务路由框架，提升边缘-云LLM推理的效率与准确性。

Comments Accepted by ICML 2026

Embedding Trust: Semantic Isotropy Predicts Nonfactuality in Long-Form Text Generation

嵌入信任：语义各向同性预测长文本生成中的非事实性

Dhrupad Bhardwaj, Julia Kempe, Tim G. J. Rudner

机构 * New York University（纽约大学） ； University of Toronto（多伦多大学） 纠错

AI总结 该研究提出通过语义各向同性（单位球面上归一化文本嵌入的均匀程度）评估LLMs生成长文本的可信度，其方法无需标注数据等，在多领域仅用少量样本预测非事实性的表现优于现有信号。

Comments Published in Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

OBCache: Optimal Brain KV Cache Pruning for Efficient Long-Context LLM Inference

OBCache: 面向高效长上下文LLM推理的最优脑KV缓存剪枝

Yuzhe Gu, Xiyu Liang, Jiaojiao Zhao, Enmao Diao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出OBCache框架，将缓存驱逐形式化为逐层结构化剪枝问题，基于最优脑损伤理论量化令牌显著性，通过输出感知分数改进现有驱逐策略，在长上下文任务中提升准确性。

Comments ICML 2026