Peking University（北京大学）

Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation

通过策略内自蒸馏缓解大语言模型评审员中的评分标准干扰

Dingyao Yu, Tong Zhang, Yutao Mou, Yunxiao Zhang, Wei Ye, Shikun Zhang

机构 * Peking University（北京大学） ； Weixin Al, Tencent Inc（腾讯公司微信智能） 纠错

AI总结 本研究针对LLM评审员多评分标准评估时的干扰问题，提出SARA方法，通过策略内自蒸馏提升评估一致性，且该一致性可跨数据集迁移。

ResMerge: Residual-based Spectral Merging of Large Language Models

ResMerge：基于残差的谱合并大型语言模型

Yandu Sun, Zhiyan Hou, Hongyan An, Weizhen Wang, Haokai Ma, Yuheng Jia, Junfeng Fang, Haiyun Guo, Jinqiao Wang

机构 * Southeast University（东南大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； National University of Singapore（新加坡国立大学） ； Wuhan University of Technology（武汉理工大学） ； Peking University（北京大学） ； Wuhan AI Research（武汉人工智能研究院） 纠错

AI总结 提出ResMerge框架，通过将RL任务向量分解为谱头部和残差组件，利用残差组件构建稳定骨干并选择性引入头部信息，实现无需训练的专家模型合并。

Comments 19 pages including appendix. Accepted to the EMNLP 2026 Main Conference