Apple（苹果）

Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less

优化器-模型一致性：使用与预训练相同的优化器进行全微调可减少遗忘

Yuxing Liu, Jianyu Wang, Tong Zhang

机构 * UIUC（伊利诺伊大学香槟分校） ； Apple（苹果公司） 纠错

AI总结 本文发现使用与预训练相同的优化器进行全微调，在监督微调阶段能更少遗忘并保持性能，提出优化器-模型一致性概念，通过实验和理论分析揭示优化器对模型的影响及微调策略的重要性。

TIDE: Every Layer Knows the Token Beneath the Context

TIDE：每层都知晓上下文中的token

Ajay Jaiswal, Lauren Hannah, Han-Byul Kim, Duc Hoang, Mehrdad Farajtabar, Minsik Cho

机构 * Apple（苹果公司） 纠错

AI总结 TIDE通过引入EmbeddingMemory解决LLM中token身份单次注入导致的稀有词问题和上下文坍缩问题，提升多语言模型和下游任务性能。

RVPO: Risk-Sensitive Alignment via Variance Regularization

基于方差正则化的风险敏感对齐：RVPO

Ivan Montero, Tomasz Jurczyk, Bhuwan Dhingra

机构 * Apple（苹果公司） 纠错

AI总结 本文提出RVPO框架，通过在优势聚合中惩罚奖励方差，将目标从最大化总和转为最大化一致性，提升多目标对齐的可靠性。

Comments 17 pages, 5 figures

Understanding Annotator Safety Policy with Interpretability

通过可解释性理解标注者安全政策

Alex Oesterling, Donghao Ren, Yannick Assogba, Dominik Moritz, Sunnie S. Y. Kim, Leon Gatys, Fred Hohman

机构 * Harvard University（哈佛大学） ； Apple（苹果公司） 纠错

AI总结 本文提出Annotator Policy Models，通过学习标注行为揭示安全政策差异，解决标注分歧根源问题，提升安全政策设计的透明性和包容性。

Comments 38 pages, 13 figures, ACM FAccT 2026