ICML

Retaining by Doing: The Role of On-Policy Data in Mitigating Forgetting

在做中保留：在线策略数据在缓解遗忘中的作用

Howard Chen, Noam Razin, Karthik Narasimhan, Danqi Chen

AI总结 本文系统比较了监督微调（SFT）和强化学习（RL）在语言模型后训练中的遗忘模式，发现RL因使用在线策略数据而更少遗忘，并验证了在线策略数据是缓解遗忘的关键因素。

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML), 2026

LieSolver: PDE-Constrained Learning for IBVPs via Lie Symmetries

LieSolver：通过李对称性进行IBVP的PDE约束学习

René P. Klausen, Ivan Timofeev, Jonas Naujoks, Johannes Frank, Thomas Wiegand, Sebastian Lapuschkin, Wojciech Samek

AI总结 提出利用李对称性精确嵌入偏微分方程，仅从初边值数据学习解的方法，相比PINN在速度和精度上更优。

Comments Accepted at the Workshop on AI for Physics @ ICML 2026 (non-archival). 27 pages, 27 figures. Code: https://github.com/oduwancheekee/liesolver. v2: updated to camera-ready workshop version

On the Effect of Uncertainty on Layer-wise Inference Dynamics

不确定性对逐层推理动态的影响

Sunwoo Kim, Haneul Yoo, Alice Oh

AI总结 通过Tuned Lens分析11个数据集和5个模型，发现确定与不确定预测的逐层概率轨迹高度一致，表明不确定性不影响推理动态，但更强大的模型可能以不同方式处理不确定性。

Comments Accepted to Actionable Interpretability Workshop - ICML 2025

TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree

TreeLoRA：通过层级梯度相似性树引导的逐层LoRA实现高效持续学习

Yu-Yang Qian, Yuan-Ze Xu, Zhen-Yu Zhang, Peng Zhao, Zhi-Hua Zhou

AI总结 提出TreeLoRA方法，利用层级梯度相似性构建逐层适配器，结合bandit技术高效探索任务结构，并通过稀疏梯度更新优化参数，实现大预训练模型的高效持续学习。

Comments ICML 2025

Arrows of Time for Large Language Models

大语言模型中的时间箭头

Vassilis Papadopoulos, Jérémie Wenger, Clément Hongler

AI总结 研究大语言模型通过时间方向性进行概率建模，发现模型在预测下一个词与前一个词时的平均对数困惑度存在细微但一致的不对称性，提出理论框架解释这种不对称性源于稀疏性和计算复杂性。

Comments Corrected typos in Table 2. Added links. 12 figures, 20 pages

Journal ref Proceedings of the 41st International Conference on Machine Learning (ICML 2024), PMLR 235:39509-39528, 2024

Never mind the metrics -- what about the uncertainty? Visualising confusion matrix metric distributions

别理会指标 -- 那么不确定性呢？可视化混淆矩阵指标分布

David Lovell, Dimity Miller, Jaiden Capra, Andrew Bradley

AI总结 本文探讨了分类器性能指标在不同不确定性模型下的分布，揭示了不确定性可能掩盖分类器实际表现差异，通过三维组合晶格和交互可视化展示ROC曲线空间中的性能指标轮廓。

Comments 60 pages, 45 figures

Journal ref Proceedings of the 40th International Conference on Machine Learning, Proceedings of Machine Learning Research (PMLR) 202:22702-22757, 2023