ICML

Are we Merging the Right Models? Impact of Expert Training Duration on Model Merging for LLMs

我们合并的模型正确吗？专家训练时长对大语言模型模型合并的影响

Nikita Kozodoi, Zainab Afolabi, Jack Butler

AI总结 研究领域专家训练时长对大语言模型模型合并质量的影响，在多领域多模型规模上微调专家模型，保存不同训练步数的检查点并评估五种合并方法，发现方法依赖模式，表明训练时长和合并方法应联合选择。

Comments Accepted to ICML 2026 workshop on weight-space symmetries

M+Adam: Low-Precision Training via Additive-Multiplicative Optimization

M+Adam：通过加法-乘法优化进行低精度训练

Xiaoyuan Liang, Sebastian Loeschcke, Mads Toftrup, Anima Anandkumar

机构 * California Institute of Technology（加利福尼亚理工学院） ； University of Copenhagen（哥本哈根大学） ； Aarhus University（阿鲁斯大学） 纠错

AI总结 研究低精度训练中标准优化器的问题，提出结合加法和乘法更新的M+Adam方法，经证明在标准假设下单调下降，在多种模型预训练中持续改善低精度训练。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026). 45 pages

Algorithmic Recourse of In-Context Learning for Tabular Data

表格数据的上下文学习算法补救

Wenshuo Dong, Jiaming Zhang, Shaopeng Fu, Hongbin Lin, Di Wang, Lijie Hu

机构 * Mohamed bin Zayed University of Artificial Intelligence, United Arab Emirates（阿联酋人工智能马尔代夫 bin Zayed 大学） ； University of Copenhagen, Denmark（丹麦哥本哈根大学） ； Renmin University of China, China（中国人民大学） ； King Abdullah University of Science and Technology, Saudi Arabia（沙特阿拉伯王国科学与技术大学） ； The Hong Kong University of Science and Technology(Guangzhou), China（广州科技大学（香港）） 纠错

AI总结 针对表格数据上下文学习中的黑箱模型，提出自适应子空间补救框架ASR-ICL，通过零阶优化高效生成可操作且稀疏的补救方案，理论证明补救有界且随上下文增大收敛至经典解。

Comments Accepted by ICML 2026

AvAtar: Learning to Align via Active Optimal Transport

AvAtar: 通过主动最优输运学习对齐

Qi Yu, Ruizhong Qiu, Zhichen Zeng, My T. Thai, Huan Liu, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Florida（佛罗里达大学） ； Arizona State University（亚利桑那州立大学） 纠错

AI总结 提出AvAtar框架，利用主动学习策略通过熵正则化最优输运的梯度影响量化候选点信息量，并采用伴随状态法高效求解，以提升对齐性能。

Comments Published as a conference paper at ICML 2026

Discovering Ordinary Differential Equations with LLM-Based Qualitative and Quantitative Evaluation

基于LLM的定性与定量评估的常微分方程发现

Sum Kyun Song, Bong Gyun Shin, Jae Yong Lee

机构 * Department of Artificial Intelligence, Chung-Ang University, Seoul, Republic of Korea（韩国首尔 Chung-Ang 大学人工智能系） ； Daejin University, Pocheon, Republic of Korea（韩国坡州市 Daejin 大学） 纠错

AI总结 本文提出DoLQ方法，通过多智能体架构结合LLM进行定性与定量评估，实现常微分方程的发现，实验表明其在多维ODE基准测试中性能优于现有方法。

Comments Accepted at ICML 2026

Journal ref International Conference on Machine Learning 2026

When Agents Disagree With Themselves: Behavioral Consistency as an Uncertainty Signal for LLM Agents

当智能体与自身意见相左：测量基于LLM的智能体的行为一致性

Aman Mehta

机构 * Aman Mehta 纠错

AI总结 研究发现基于LLM的智能体在相同任务上运行结果不一致，且这种不一致与任务成功率密切相关，通过监控行为一致性可提升智能体可靠性。

Comments Accepted at the ICML 2026 Workshop on Statistical Frameworks for Uncertainty in Agentic Systems. 12 pages, 9 figures

Not All Needles Are Found: How Fact Distribution and Don't Make It Up Prompts Shape Retrieval, Reasoning, and Hallucination in Long-Context LLMs

并非所有线索都能被发现：事实分布和“不要编造”提示如何影响长上下文语言模型中的检索、推理和幻觉

Amirali Ebrahimzadeh, Seyyed M. Salili

机构 * Department of Electrical Engineering & Computer Science University of Michigan（电气工程与计算机科学系 密歇根大学） 纠错

AI总结 研究大语言模型中事实分布和反幻觉提示对检索、推理及幻觉的影响，通过扩展基准评估多个模型，识别出分布崩溃和安全代价两种失败模式，发现许多失败源于无效上下文利用，强调特定模型稳健性和上下文管理的重要性。

Comments 16 pages, 8 figures, 2 tables. Accepted at the FAGEN Workshop @ ICML 2026