Retrieval-Feedback-Driven Distillation and Preference Alignment for Efficient LLM-based Query Expansion
本文提出一种检索反馈驱动的蒸馏与偏好对齐框架，通过从强教师模型转移检索友好的扩展行为到紧凑的学生模型，以降低推理成本并提升检索效果。
2026-03-14 cs.AI cs.IR
Simultaneous Reward Distillation and Preference Learning: Get You a Language Model Who Can Do Both
Colorado State University（科罗拉多州立大学）
本文提出 DRDO 方法，通过同时进行奖励蒸馏与偏好学习，克服了 DPO 等直接对齐方法在处理噪声偏好标签时导致的策略退化问题，在期望奖励和鲁棒性上均表现更优。
2025-01-31 cs.CL cs.LG
Robust Preference Optimization through Reward Model Distillation
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
本文分析了DPO中隐式奖励过拟合导致策略退化的问题，提出通过蒸馏奖励模型族来匹配隐式奖励，从而在保持简单监督性质的同时提升对偏好分布偏移的鲁棒性。
2025-03-03 cs.CL cs.LG
Direct Large Language Model Alignment Through Self-Rewarding Contrastive Prompt Distillation
Tsinghua University（清华大学）；Apple（苹果公司）
针对无人工标注偏好数据的大语言模型对齐问题，提出基于对比提示对的偏好评估与自奖励的DLMA方法，结合DPO算法实现对齐，性能超越RLHF。
2024-08-15 cs.CL
DIAG: Diagnostic Iterative Alignment and Generation for Data-Efficient Mathematical Preference Distillation
Tsinghua University（清华大学）；Kyoto University（京都大学）；Nanjing University（南京大学）
DIAG是一种自适应调整训练分布的框架，通过诊断偏好对产出与生成针对性训练数据，提升数学推理任务中偏好监督的信息价值，在同等训练预算下增强模型性能。
2026-08-25 cs.CL
RM-Distiller: Exploiting Generative LLM for Reward Model Distillation
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）
RM-Distiller通过系统利用教师LLM的精炼、评分和生成能力，提升奖励模型蒸馏效果，首次系统性地探索了生成式LLM在奖励建模中的应用。
2026-07-28 cs.CL
Hypotheses-Guided Self Distillation for Continual Personalization
University of British Columbia（不列颠哥伦比亚大学）；Megagon Labs（美伽贡实验室）
本文提出HypReflect框架，通过推断并优化用户偏好假设、结合假设引导的自蒸馏实现持续个性化，实验显示其在多场景下性能优于基线方法，具备强泛化性与稳定性。
2026-09-02 cs.AI
Towards Bridging the Gap Between Offline and Iterative Alignment via Preference Distillation
University of California, Irvine（加利福尼亚大学欧文分校）；George Washington University（乔治华盛顿大学）
本文通过受控实验发现显式偏好模型是迭代DPO优于离线方法的关键，据此提出DP3O算法，将显式偏好知识蒸馏到策略优化中，在性能上媲美迭代DPO且训练时间减少42%。
2026-09-09 cs.CL cs.LG
KEPO: Knowledge-Enhanced Preference Optimization for Multimodal Reasoning with Applications to Medical VQA
Chapman University（查普曼大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Irvine（加州大学伊文斯分校）
KEPO通过质量门控的在线蒸馏和知识增强的探索策略，提升多模态推理任务的训练稳定性与推理一致性，优于强化学习和在线蒸馏基线。
2026-05-11 cs.AI
Towards Self-Improvement of LLMs via MCTS: Leveraging Stepwise Knowledge with Curriculum Preference Learning
University of Maryland, College Park（马里兰大学学院公园分校）；Tencent AI Lab（腾讯AI实验室）
针对现有MCTS行为蒸馏方法未充分利用轨迹信息的问题，提出含逐步轨迹对构建和课程偏好学习的AlphaLLM-CPL框架，显著提升大语言模型数学推理能力。
2024-10-09 cs.CL cs.LG
CycleAlign: Iterative Distillation from Black-box LLM to White-box Models for Better Human Alignment
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Alibaba DAMO Academy（阿里巴巴达摩院）
针对RLHF复杂不稳定及单向蒸馏受限的问题，提出CycleAlign框架，通过基于上下文学习的迭代交互将黑盒LLM的对齐能力蒸馏至白盒模型，在低资源下实现了最先进的人类价值观对齐效果。
2023-10-25 cs.AI cs.CL
Not All Preferences are What You Need for Post-Training: Selective Alignment Strategy for Preference Optimization
Peking University（北京大学）
针对LLMs后训练对齐中token贡献不均的问题，提出利用策略与参考模型的token级对数概率差异聚焦高影响token的Selective-DPO方法，有效降低开销并提升对齐保真度，实验证明其优于标准DPO和蒸馏基线。
2025-07-10 cs.AI cs.CL
Syntriever: How to Train Your Retriever with Synthetic Data from LLMs
Korea University（高丽大学）；SK Telecom（SK电信）
针对黑盒LLM无法提供输出概率导致现有蒸馏方法失效的问题，提出Syntriever两阶段训练框架，通过LLM合成并验证数据、用聚类损失训练检索器及部分Plackett-Luce排序对齐偏好，在多领域基准nDCG@K上获最优性能。
2025-02-14 cs.AI cs.CL
Bielik-Minitron-7B: Compressing Large Language Models via Structured Pruning and Knowledge Distillation for the Polish Language
Bielik-Minitron-7B通过结构化剪枝和知识蒸馏将Bielik-11B-v3.0模型压缩至7.35B参数，优化波兰语性能，实现90%的性能恢复和50%的推理加速。
2026-03-12 cs.AI cs.CL
DUET: Dual-Teacher On-Policy Distillation via Same-Weight Disagreement for Prohibition Compliance
本研究针对LLM部署中的动态禁止规则合规问题，提出DUET双教师在线策略蒸馏方法，构建工业基准，在Qwen模型上实现高合规性与效用保留，性能优于基线。
2026-08-18 cs.CL cs.LG
MIRROR: From Imitation to Internalization in LLM Personalization
Baidu Inc.（百度公司）
提出MIRROR框架，通过参考揭示的在线策略自蒸馏将LLM个性化从模仿转向偏好内化，并引入MIRROR-F插件，在多个基准上取得领先性能并减少灾难性遗忘。
2026-10-08 cs.AI cs.CL
OPSRD: On-Policy Self-Role Distillation
Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Science and Technology of China（中国科学技术大学）
提出OPSRD方法，利用固定专家角色进行无参考解决方案的基于策略的自我蒸馏，通过教师加权正向KL目标优化，在竞赛数学基准上显著提升模型准确率。
2026-10-01 cs.AI cs.CL cs.LG
OneSearch-V2: The Latent Reasoning Enhanced Self-distillation Generative Search Framework
Kuaishou Technology（快手科技）
OneSearch-V2通过引入潜在推理增强模块、自蒸馏训练流程和行为偏好对齐优化系统，提升复杂查询理解、用户意图挖掘和业务效果，实现搜索性能和用户体验的显著提升。
2026-05-14 cs.AI cs.CL cs.IR
Qwen-MT-Lumen at WMT2026: Instruction-Specialized Translation via Quality-Aware Training and On-Policy Distillation
Alibaba Token Hub（阿里 Token Hub）
该研究针对WMT2026通用机器翻译任务提交Qwen-MT-Lumen模型，通过四阶段流程优化指令专用翻译，在23个翻译方向上总体平均得分达4.60，性能可媲美领先专有系统。
2026-10-15 cs.CL
UNDIAL: Self-Distillation with Adjusted Logits for Robust Unlearning in Large Language Models
University of Cambridge（剑桥大学）；Amazon（亚马逊）；UCSD（加利福尼亚大学圣迭戈分校）
针对大型语言模型现有遗忘方法因最大化交叉熵损失导致的不稳定和过度遗忘问题，提出基于调整后 Logits 的自蒸馏方法 UnDIAL，通过选择性降低目标 token 影响实现平滑收敛与鲁棒遗忘。
2024-10-16 cs.AI cs.CL
DistiLLM-2: A Contrastive Approach Boosts the Distillation of LLMs
KAIST（韩国科学技术院）；Microsoft（微软）
针对LLM蒸馏中损失函数与数据类型协同不足的问题，提出对比方法DistiLLM-2，通过增加教师响应似然并降低学生响应似然，在多任务中显著提升学生模型性能并支持多样化应用。
2025-05-30 cs.AI cs.CL cs.LG
TSUBASA: Improving Long-Horizon Personalization via Evolving Memory and Self-Learning with Context Distillation
TSUBASA通过动态记忆演化和基于上下文蒸馏的自我学习，提升个性化大语言模型的长周期任务能力，在Qwen-3模型家族上验证了其有效性，超越了依赖记忆写入的Mem0和Memory-R1系统。
2026-04-09 cs.AI cs.CL
From Reasoning LLMs to BERT: A Two-Stage Distillation Framework for Search Relevance
Researcher（研究者）
本文提出一种两阶段蒸馏框架，通过领域适应教师模型和对比推理自蒸馏方法，提升搜索相关性预测的效率和效果。
2026-01-24 cs.AI cs.IR
Aligning Teacher with Student Preferences for Tailored Training Data Generation
Tsinghua University（清华大学）
本文提出ARTE框架，通过收集学员偏好并对齐教师模型，为知识蒸馏生成定制化训练示例，实验证明其优于现有指令微调数据集，并验证了学员模型与对齐教师模型的泛化能力。
2024-06-27 cs.CL
From Clicks to Preference: A Multi-stage Alignment Framework for Generative Query Suggestion in Conversational System
Bytedance Shanghai China（字节跳动上海中国）；Bytedance Beijing China（字节跳动北京中国）
本文提出了一种多阶段对齐框架，通过提示工程、知识蒸馏和高斯奖励模型，提升生成式查询建议的用户偏好对齐效果，实验显示在自动和人工评估中均优于基线，并提高用户参与度34%
2025-12-15 cs.AI cs.CL
Radioactive Feedback: Tracing Models Trained by Label-Only LLM Supervision
Wuhan University（武汉大学）；Southeast University（东南大学）
本文提出Radioactive Feedback方法，将行为偏好模式编码为奖励信号，实现仅通过标量分数跨数据集传递偏好，可用于追踪仅通过标签式LLM监督训练的模型。
2026-10-14 cs.AI
EPOCH: Coverage-Aware Evolution with Experiential Preference Optimization for LLM-based Automated Heuristic Design
Georgia Institute of Technology（佐治亚理工学院）
EPOCH将实例覆盖作为进化搜索目标，通过经验偏好优化微调LLM生成器内化反思，其启发式集合在COPs及开源LLM主干上优于基线且可跨规模泛化。
2026-10-14 cs.AI cs.CL
Debate, Reflect, and Distill: Multi-Agent Feedback with Tree-Structured Preference Optimization for Efficient Language Model Enhancement
Beijing Institute of Technology（北京理工大学）；Singapore Management University（新加坡国立大学）
本文提出辩论与反思（D&R）框架和树结构直接偏好优化（T-DPO），通过多智能体辩论反馈高效训练较小语言模型，显著提升其准确性、鲁棒性和泛化能力。
2025-06-04 cs.AI cs.CL
MIND: From Passive Mimicry to Active Reasoning through Capability-Aware Multi-Perspective CoT Distillation
State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, National Engineering Research Center for Visual Information and Applications, and Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人机混合增强智能国家重点实验室、视觉信息与应用国家工程研究中心、人工智能与机器人研究所）；Nankai University（南开大学）；The Hong Kong University of Science and Technology(Guangzhou)（香港科技大学（广州））；School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）
MIND通过能力感知的多视角CoT蒸馏，从被动模仿转向主动推理，提升模型在分布内和分布外任务中的性能。
2026-01-07 cs.CL
Call Neighbours Yourself: Graph Walks with Destination-Conditioned On-Policy Self-Distillation
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；The University of Queensland（昆士兰大学）
该研究针对文本属性图推理中邻居固定的问题，提出CNY框架，结合目标条件同策略自蒸馏，使LLMs主动探索邻居，在基准实验中表现优于基线且策略可迁移。
2026-09-01 cs.AI cs.CL
Rethinking the Role of Temperature in Large Language Model Distillation
Golisano College of Computing and Information Sciences（戈利萨诺计算与信息科学学院）；Rochester Institute of Technology（罗切斯特理工学院）
本文通过分析温度τ对前向KL散度和反向KL散度在LLM蒸馏中的不对称影响，发现高温下FKL优于RKL，并证明温度能提升多种蒸馏目标，使简单KL方法达到先进水平。
2026-05-29 cs.AI cs.LG
AlignDistil: Token-Level Language Model Alignment as Adaptive Policy Distillation
Key Laboratory of Big Data & Artificial Intelligence in Transportation, (Beijing Jiaotong University), Ministry of Education（大数据与人工智能交通运输联合实验室，（北京交通大学）教育部）；School of Computer Science and Technology, Beijing Jiaotong University, Beijing, China（计算机科学与技术学院，北京交通大学，北京，中国）；Tencent Inc, China（腾讯公司，中国）
本文提出 AlignDistil，将 RLHF 对齐目标转化为 token 级自适应策略蒸馏，并通过对比 DPO 奖励与 token 自适应 logit 外推提升效果和收敛速度。
2025-07-23 cs.AI cs.CL cs.LG
Harnessing Negative Signals: Reinforcement Distillation from Teacher Data for LLM Reasoning
National University of Singapore（国立新加坡大学）；INF AI
本文提出通过强化蒸馏利用正负推理轨迹提升LLM推理性能，实验表明在少量数据下可达到与大量数据训练模型相当的性能。
2025-12-14 cs.AI cs.CL cs.LG
Improving Conversational Abilities of Quantized Large Language Models via Direct Preference Alignment
Hanyang University（汉阳大学）
针对量化大语言模型对话能力下降的问题，提出量化感知直接偏好优化（QDPO），对齐量化与全精度模型，在多种语言上超越现有技术，提升对话性能。
2024-07-18 cs.CL
daDPO: Distribution-Aware DPO for Distilling Conversational Abilities
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；University of Chicago（芝加哥大学）；The Chinese University of Hong Kong（香港中文大学）；East China Normal University（华东师范大学）
本文提出daDPO，一种结合输出分布与偏好优化的统一蒸馏方法，通过利用教师模型的分布信息，显著提升剪枝及小规模LLM的对话能力，实验表明其优于现有方法。
2025-06-03 cs.AI cs.CL cs.LG
From Captions to Rewards (CAREVL): Leveraging Large Language Model Experts for Enhanced Reward Modeling in Large Vision-Language Models
The Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））；Xiamen University（厦门大学）；Peking University（北京大学）；The School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能、光学与电子学院（iOPEN））
本文提出CAREVL方法，通过文本奖励模型利用图像字幕筛选高置信度数据，并用低置信度数据生成可靠偏好配对，从而提升大视觉-语言模型的奖励建模性能。
2025-03-08 cs.AI cs.CV
RLCD: Reinforcement Learning from Contrastive Distillation for Language Model Alignment
Meta AI；UC Berkeley（加州大学伯克利分校）；UCLA（加州大学洛杉矶分校）
RLCD通过对比蒸馏生成偏好对训练偏好模型，结合强化学习对齐语言模型，无需人类反馈，在无害性、帮助性和故事大纲生成任务上超越RLAIF和上下文蒸馏基线。
2024-03-16 cs.AI cs.CL
From Scoring to Acting: Outcome-Verified Comparative Self-Distillation for LLM Agents
该研究针对LLM智能体现有自蒸馏方法的局限，提出OVCSD方法，经实验在ALFWorld和WebShop数据集上显著提升了智能体任务完成成功率。
2026-07-31 cs.AI
Less is More Tokens: Efficient Math Reasoning via Difficulty-Aware Chain-of-Thought Distillation
Carnegie Mellon University（卡内基梅隆大学）
本研究提出难度感知思维链蒸馏框架，通过含难度匹配长度思维链的数据后训练，无需修改架构即可让模型动态调整推理深度，结合SFT与DPO实现简单题精简推理、难题保深度，缩短输出同时维持或提升性能。
2025-09-05 cs.CL
Training LLM Judges from Language Feedback via Position-Selective Self-Distillation
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）；UC San Diego（加州大学圣迭戈分校）
本研究提出位置选择性自蒸馏方法，通过熵移掩蔽利用语言反馈训练LLM裁判，在主观任务上比结果监督RL提升2-9个百分点，并改善分布外泛化。
2026-10-01 cs.CL cs.LG
Evolutionary Contrastive Distillation for Language Model Alignment
Amazon（亚马逊公司）
提出演化对比蒸馏（ECD）方法，通过逐步演化指令生成困难负样本对比数据，结合DPO对比学习算法提升语言模型复杂指令遵循能力，7B模型性能超越SOTA 7B并媲美70B模型。
2024-10-10 cs.AI cs.CL cs.LG
RDRec: Rationale Distillation for LLM-based Recommendation
Graduate School of Engineering（工学院）；Interdisciplinary Graduate School（交叉研究生院）；University of Yamanashi（山梨大学）
针对 LLM 推荐忽视交互理据的问题，提出 RDRec，用大 LM 生成并蒸馏评论中的用户与物品理据，在 top-N 和序列推荐上达到 SOTA。
2025-01-08 cs.CL cs.IR
Alleviating Attention Hacking in Discriminative Reward Modeling through Interaction Distillation
College of Computer Science and Artificial Intelligence, Fudan University（计算机科学与人工智能学院，复旦大学）
本文提出交互蒸馏方法，通过优化注意力机制提升判别奖励建模的稳定性与通用性，缓解注意力黑客问题。
2026-01-13 cs.CL
Weak Critics Make Strong Learners: On-Policy Critique Distillation for Scalable Oversight
University of Cambridge（剑桥大学）；University of California, Berkeley（加州大学伯克利分校）；UC Berkeley AI Lab（加州大学伯克利分校人工智能实验室）
提出在策略批评蒸馏（OPCD）方法，利用弱模型作为批评者提供修订方向，通过自适应自教师信号蒸馏批评引导的行为，提升强模型在推理和对齐基准上的表现。
2026-08-24 cs.AI
SAPD: Step-Aligned Privileged Distillation
City University of Hong Kong（香港城市大学）；Hong Kong Institute of AI for Science, City University of Hong Kong（香港城市大学香港人工智能科学研究院）；Shenzhen University（深圳大学）
提出步骤对齐特权蒸馏（SAPD），一种无需轨迹生成的自蒸馏方法，通过将演示数据转化为步骤对齐的分布监督，在数学推理上优于监督微调，且与在策略方法竞争力相当，并实现约2倍训练加速。
2026-10-08 cs.CL
Self-Training with Direct Preference Optimization Improves Chain-of-Thought Reasoning
Singapore University of Technology and Design（新加坡科技设计大学）；Soochow University（苏州大学）
本文提出将直接偏好优化（DPO）集成到自训练中，利用模型自身输出的偏好数据引导其生成更准确多样的思维链推理，从而提升小规模语言模型在数学推理任务上的性能，同时降低对大型专有模型的依赖与成本。
2024-07-25 cs.CL
Thinking Broad, Acting Fast: Latent Reasoning Distillation from Multi-Perspective Chain-of-Thought for E-Commerce Relevance
Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团）；Zhejiang University（浙江大学）
本文提出多视角链式推理蒸馏方法，通过改进的教师模型和轻量级学生模型提升电子商务搜索相关性建模的准确性和效率。
2026-01-29 cs.AI cs.CL cs.IR
R2Vul: Learning to Reason about Software Vulnerabilities with Reinforcement Learning and Structured Reasoning Distillation
R2Vul通过RLAIF和结构化推理蒸馏训练小型代码LLM，在漏洞检测中生成有依据的解释，1.5B模型超越32B教师和商业LLM，并降低假阳性率。
2025-08-07 cs.AI cs.CL cs.SE
CM-DPO: Constraint-Margin Direct Preference Optimization for LLM Planning
PayPal AI Lab（PayPal人工智能实验室）
针对DPO忽视约束严重性和偏好偏差的问题，提出CM-DPO，利用符号验证器生成连续边际并按严重程度缩放，分离硬软约束，在多个规划基准上8B模型达到89.2%通过率，匹配多智能体且延迟低13倍。
2026-10-08 cs.AI cs.LG
Consensus as Privileged Context for Label-Free Self-Distillation
ILLC, University of Amsterdam（逻辑、语言与计算研究所，阿姆斯特丹大学）；ILCC, University of Edinburgh（信息实验室，爱丁堡大学）
研究旨在提高无标签大语言模型推理准确性，提出CANON方法将共识转化为token级监督，通过采样多个解决方案并以达到多数答案的方案为条件设置模型快照来监督。实验表明该方法大幅提升性能，还能迁移，改进非单纯分布锐化。
2026-07-16 cs.AI cs.CL cs.LG
Boosting LLM Translation Skills without General Ability Loss via Rationale Distillation
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Department of Computer Science, University of Illinois at Chicago（芝加哥大学计算机科学系）
本文提出RaDis（理由蒸馏）方法，通过让LLM为训练数据生成并重放封装通用知识与安全原则的理由，在微调翻译能力时防止灾难性遗忘，从而在不损失通用能力和安全性的前提下提升机器翻译性能。
2024-10-17 cs.CL
Review-driven Personalized Preference Reasoning with Large Language Models for Recommendation
Yonsei University（延世大学）；Korea University（高丽大学）
提出EXP3RT，利用评论提取偏好并推理，提升评分预测与top-k推荐性能及可解释性。
2025-04-25 cs.CL
The Many Faces of On-Policy Distillation: Pitfalls, Mechanisms, and Fixes
UIUC（伊利诺伊大学香槟分校）；Renmin University of China（中国人民大学）；Peking University（北京大学）
本文通过实证研究分析了在线策略蒸馏（OPD）和在线策略自蒸馏（OPSD）在大语言模型后训练中的有效性、失败机制及修复方法。
2026-05-24 cs.AI
HumorGen: Cognitive Synergy for Humor Generation in Large Language Models via Persona-Based Distillation
Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）
针对大语言模型标准训练目标与幽默所需意外性之间的矛盾，提出认知协同框架，利用六种认知角色合成多样化喜剧视角数据，微调7B参数学生模型，实验表明认知驱动的数据策展比对齐算法或模型规模更关键。
2026-09-15 cs.CL
