Can Low-Rank Knowledge Distillation in LLMs be Useful for Microelectronic Reasoning?
North Carolina State University(北卡罗来纳州立大学)
本研究评估了离线大语言模型Llama-2-7B在电子设计自动化中作为微电子问答专家的推理与生成能力,并提出了一种新颖的低秩知识蒸馏(LoRA-KD)方案,实验产生了定性和定量结果。
2024-06-27 cs.LG
KDFP: A first-principles approach to knowledge distillation in large language models
University of Southern California(南加州大学)
该研究针对大语言模型通用知识蒸馏的空白,提出KDFP这一白盒通用知识蒸馏方法,在9个基准测试中性能优于现有方法1.6%-4.9%,训练效率最高提升99.1%。
2026-11-09 cs.LG
Building Multi-Task Agentic LLMs via Two-Phase Distillation
Tsinghua University(清华大学);Ant Group(蚂蚁集团)
提出两阶段蒸馏方法(先离策略后在线策略)解决多任务蒸馏中前向KL的模式覆盖问题,使单个模型在多任务上达到专家性能。
2026-06-29 cs.LG
Thinking at the Right Size: Amortized Distillation Across Post-Trained LLMs
Harvard University(哈佛大学);IST Austria(奥地利科学技术研究所)
该研究提出ADAPT框架,可单次蒸馏生成跨后训练大语言模型的多规模多变体模型,实现平滑规模插值与自适应规模选择,优化长文本推理的计算-准确率权衡。
2026-08-25 cs.LG
Knowledge Distillation Using Frontier Open-source LLMs: Generalizability and the Role of Synthetic Data
Microsoft(微软)
本文以 Llama-3.1-405B 为教师、8B/70B 为学生评估知识蒸馏,证明高质量合成数据与推理链可显著提升泛化和推理表现,并强调多维度任务评估。
2024-10-24 cs.LG
Apertus LLM Family Expansion via Distillation and Quantization
LLM Family Expansion via Distillation and Quantization(LLM家族通过蒸馏和量化进行扩展)
本文通过蒸馏和量化方法,基于 Apertus 8B 模型低成本扩展出参数高达 4B 的模型系列,覆盖多种硬件约束并保持强准确性。
2026-06-11 cs.LG
Fisher-Informed Recalibration for Feedback-Based On-Policy Self-Distillation of LLMs
Purdue University(普渡大学);Yonsei University(延世大学);University at Buffalo-SUNY(纽约州立大学布法罗分校)
针对基于反馈的在线策略自蒸馏中优化不稳定和性能崩溃问题,提出双分支框架 FIRE,通过 Fisher 迹校准监督信号,分离反馈方向与步长,实现稳定蒸馏并保持下游性能。
2026-09-29 cs.LG
Distillation Contrastive Decoding: Improving LLMs Reasoning with Contrastive Decoding and Distillation
VietAI Research(VietAI研究院)
提出Distillation Contrastive Decoding(DCD)方法,结合对比提示与Dropout、Quantization等蒸馏技术,免除业余模型需求并降低内存,在GSM8K和StrategyQA等基准上显著提升LLMs推理性能。
2024-08-23 cs.AI cs.CL cs.LG
Sub-goal Distillation: A Method to Improve Small Language Agents
Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Polytechnique Montréal(蒙特利尔理工学院);Microsoft Research(微软研究院)
本文提出子目标蒸馏方法,通过LLM标注子目标并微调规划与执行模块,将大模型能力迁移至770M小模型,在ScienceWorld上超越基本动作模仿学习16.7%,且推理时无需实时调用LLM。
2024-05-04 cs.LG
Efficient Knowledge Injection in LLMs via Self-Distillation
Aalto University(阿alto大学);Finnish Center for Artificial Intelligence (FCAI)(芬兰人工智能中心);System 2 AI
本文提出用提示蒸馏(一种自蒸馏方法)从自由文档向LLM注入新知识,无需更大教师模型或结构化格式,实验表明其优于监督微调甚至RAG,并分析了关键因素与扩展性。
2025-08-07 cs.CL cs.LG
LLM on a Budget: Active Knowledge Distillation for Efficient Classification of Large Text Corpora
Board of Governors of the Federal Reserve System(联邦储备系统委员会)
针对LLM部署成本高及传统知识蒸馏样本标注代价大的问题,提出M-RARU主动学习算法,通过不确定性与随机接受-拒绝机制选样,在多数据集多模型上实现样本需求降80%、成本与训练时间减少且分类准确率提升。
2025-09-17 cs.LG
FedSODA: Federated Fine-tuning of LLMs via Similarity Group Pruning and Orchestrated Distillation Alignment
Chongqing University(重庆大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Third Military Medical University(第三军医大学)
FedSODA 通过相似性分组剪枝和编排蒸馏对齐,结合 QLoRA 实现资源受限客户端上的高效大语言模型联邦微调,显著降低通信与存储开销并提升准确率。
2025-08-18 cs.LG
LLM-driven Knowledge Distillation for Dynamic Text-Attributed Graphs
Futurewei Technologies Inc.(华为未来技术公司)
针对动态文本属性图(DyTAGs)编码时间信息的挑战,提出LLM驱动的知识蒸馏方法LKD4DyTAG,通过边时间编码与LLM文本表示蒸馏,提升下游任务性能。
2025-02-15 cs.LG
Strong Teacher Not Needed? On Distillation in LLM Pretraining
Princeton University(普林斯顿大学)
本文通过构造不同强弱关系的师生模型,研究大语言模型预训练中知识蒸馏的有效性,发现弱教师也能提升学生模型,且强教师不一定更好。
2026-10-28 cs.CL cs.LG
Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models
Meta Superintelligence Labs(Meta 超智能实验室)
本文提出自蒸馏推理器,通过单个LLM同时担任教师和学生,利用特权信息提升推理效率,优于强化学习和离线蒸馏方法。
2026-03-20 cs.CL cs.LG
Personalised Distillation: Empowering Open-Sourced LLMs with Adaptive Learning for Code Generation
Nanyang Technological University(南洋理工大学);Salesforce Research(赛富时研究院)
针对传统代码生成LLM蒸馏忽略学生模型条件的问题,提出个性化蒸馏方法,让学生先解题再基于教师自适应改进学习,仅用少量低成本数据就显著提升了开源模型在HumanEval上的代码生成性能。
2024-01-26 cs.CL cs.LG
Be My Tutor: On-Policy Co-Distillation for Mutual LLM Improvement via Peer Feedback
KAIST(韩国科学技术院)
提出在策略共蒸馏(OPCoD)方法,通过认知门控和反馈锚定实现两个不同领域强模型间的相互教学,达到帕累托改进。
2026-06-15 cs.CL cs.LG
Stratos: An End-to-End Distillation Pipeline for Customized LLMs under Distributed Cloud Environments
本文提出 Stratos,一种在分布式云环境中自动化服务器与模型选择、知识蒸馏及部署的端到端 LLM 流水线,可在预算与性能约束下降低延迟和成本,并在麻将推理任务上取得优于 GPT-4o 教师基线的效果。
2025-10-14 cs.AI cs.LG
LLM-NEO: Parameter Efficient Knowledge Distillation for Large Language Models
Tsinghua University(清华大学);The University of Hong Kong(香港大学);Tencent(腾讯)
本文提出LLM-NEO,一种将LoRA集成到知识蒸馏中的参数高效方法,用于压缩大语言模型,在Llama 2和Llama 3.2上优于多种基线,并总结了超参数指导原则。
2025-02-25 cs.AI cs.CL cs.LG
Summarize-Exemplify-Reflect: Data-driven Insight Distillation Empowers LLMs for Few-shot Tabular Classification
ETH Zürich(苏黎世联邦理工学院);University of Copenhagen(哥本哈根大学);University of Science and Technology of China(中国科学技术大学);University of Amsterdam(阿姆斯特丹大学);East China Normal University(东华大学)
本文提出InsightTab洞察蒸馏框架,通过规则总结、策略性示例与反思机制,将表格数据转化为可执行洞察,从而提升LLM在9个少样本表格分类数据集上的性能与偏差控制能力。
2025-08-29 cs.CL cs.LG
Advancing Model Refinement: Muon-Optimized Distillation and Quantization for LLM Deployment
Intelligent Systems and Robotics (ISR) University of West Florida(智能系统与机器人(ISR)大学西部佛罗里达大学);DEVCOM Army Research Laboratory (ARL)(陆军研究实验室(ARL))
本文提出结合量化、LoRA和数据蒸馏的框架,通过μ子优化器实现模型压缩与性能提升,适用于LLM部署。
2026-11-10 cs.AI cs.LG
Poster: A Preliminary Study of LLM Distillation Inference
Carmel High School(卡梅尔高中);Purdue University(普渡大学)
本研究针对未经授权的LLM蒸馏威胁,提出通过假设检验结合影子模型的蒸馏推理方法,在Qwen2.5-7B与Llama-3.2-3B的实验中实现了0.02显著性水平下1.0的真阳性率,验证了该检测方法的可行性。
2026-10-09 cs.CR cs.LG
ORPO-Distill: Mixed-Policy Preference Optimization for Cross-Architecture LLM Distillation
Phi Labs, Quantiphi(Phi Labs,Quantiphi)
本文提出 ORPO-Distill,将跨架构 LLM 蒸馏转化为偏好优化问题,通过多样化推理轨迹、ORPO 目标和混合策略提升知识迁移效果。
2025-09-29 cs.AI cs.CL cs.LG
WASD: Wasserstein-based Knowledge Distillation for Large Language Models
KAIST(韩国科学技术院)
针对大语言模型知识蒸馏忽略词元语义的问题,提出基于Wasserstein距离的WASD方法,利用词元嵌入构建代价矩阵,采用Sinkhorn散度高效优化,在指令遵循、数学推理和代码生成等任务上持续提升蒸馏性能。
2026-10-07 cs.AI cs.LG
Smoothing Out Hallucinations: Mitigating LLM Hallucination with Smoothed Knowledge Distillation
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
本文针对 LLM 因硬标签训练导致过度自信和幻觉的问题,提出在指令数据监督微调中使用教师模型的平滑软标签进行知识蒸馏,实验证明其可在保持通用 NLP 性能的同时减少摘要幻觉。
2025-02-16 cs.CL cs.LG
T-LLM: Teaching Large Language Models to Forecast Time Series via Temporal Distillation
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
T-LLM通过时间蒸馏框架,使通用大语言模型具备时间序列预测能力,实验显示其在多种设置下均优于现有方法。
2026-02-02 cs.AI cs.LG
DistilLock: Safeguarding LLMs from Unauthorized Knowledge Distillation on the Edge
University of Southern California(南加州大学);University of California, Davis(加州大学戴维斯分校)
针对边缘 LLM 微调中的数据隐私与模型知识产权泄露问题,提出 TEE 辅助的 DistilLock 框架,通过安全黑盒教师与混淆权重卸载实现高效、防窃取的知识蒸馏。
2025-10-19 cs.CR cs.LG
Reinforcement-aware Knowledge Distillation for LLM Reasoning
Meta;Guo et al.;Lin et al.;Xu et al.;Shao et al.;Schulman et al.;Xie et al.
提出RL感知蒸馏(RLAD),通过信任区域比率蒸馏(TRRD)在强化学习后训练中实现选择性模仿,解决分布不匹配和目标干扰问题,在逻辑推理和数学基准上优于现有方法。
2026-06-19 cs.AI cs.LG
DOGe: Defensive Output Generation for LLM Protection Against Knowledge Distillation
针对仅通过 API 输出文本蒸馏专有 LLM 的风险,本文提出 DOGe,仅微调教师模型最后线性层以生成对用户有用但误导蒸馏的输出,在保持教师性能的同时使学生模型性能灾难性下降。
2025-10-19 cs.AI cs.CL cs.LG
Towards Resource-Efficient LLMs: End-to-End Energy Accounting of Distillation Pipelines
University of Toronto(多伦多大学)
本文研究了蒸馏流水线的端到端能源成本,揭示了传统方法的能耗问题,并提出开放源代码工具用于标准化蒸馏研究。
2026-05-13 cs.AI cs.LG
DistiLLM-2: A Contrastive Approach Boosts the Distillation of LLMs
KAIST(韩国科学技术院);Microsoft(微软)
针对LLM蒸馏中损失函数与数据类型协同不足的问题,提出对比方法DistiLLM-2,通过增加教师响应似然并降低学生响应似然,在多任务中显著提升学生模型性能并支持多样化应用。
2025-05-30 cs.AI cs.CL cs.LG
Membership and Memorization in LLM Knowledge Distillation
Peking University(北京大学);Brave Software(Brave软件公司);Purdue University(普渡大学);Imperial College London(伦敦帝国理工学院)
本研究系统调查了六种LLM知识蒸馏技术在多种NLP任务和模型中的成员推断与记忆化隐私风险,发现所有方法均会将隐私风险从教师传递给学生,且不同KD组件对风险影响各异。
2025-08-09 cs.AI cs.LG
TT-XAI: Trustworthy Clinical Text Explanations via Keyword Distillation and LLM Reasoning
Faculty of Computer and Information Science, University of Ljubljana, Slovenia(卢布尔雅那大学计算机与信息科学学院);ICAM - Advanced Environmental Research Institute, West University of Timisoara, Romania(蒂米șoara西大学先进环境研究所);Department of Computer Science, West University of Timisoara, Romania(蒂米șoa拉西大学计算机科学系)
本文提出TT-XAI框架,通过领域感知的关键词蒸馏和LLM推理,显著提升了临床语言模型在电子健康记录上的分类性能与解释保真度,为临床决策支持提供了可信且可扩展的AI路径。
2025-07-30 cs.CL cs.LG
FBI-LLM: Scaling Up Fully Binarized LLMs from Scratch via Autoregressive Distillation
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Carnegie Mellon University(卡内基梅隆大学)
本研究提出FBI-LLM,通过自回归蒸馏从零训练全二值化大语言模型,匹配全精度模型性能,验证预训练权重非必需,为1比特LLM硬件设计提供支撑并开源相关资源。
2024-07-09 cs.AI cs.CL cs.LG
Toward Efficient Uncertainty in LLMs through Evidential Knowledge Distillation
Department of Computer Science and Engineering, Indian Institute of Technology Hyderabad(计算机科学与工程系,印度理工学院海得拉巴分校);Jagiellonian University, Faculty of Mathematics and Computer Science(雅盖隆大学,数学与计算机科学学院)
研究针对标准语言模型准确量化不确定性的挑战,介绍通过证据知识蒸馏在语言模型中估计不确定性的方法,对比两种蒸馏策略,经分类任务实证评估,单步学生模型能达可比性能。
2026-07-07 cs.LG stat.ML
OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning
UNC Chapel Hill(UNC夏洛特山分校)
提出OGLS-SD框架,通过结果奖励校准教师对数几率,解决在线自蒸馏中师生响应模式不匹配导致的训练不稳定问题,提升数学推理性能。
2026-05-29 cs.AI cs.LG
Self-Distillation as a Performance Recovery Mechanism for LLMs: Counteracting Compression and Catastrophic Forgetting
PayPal AI
本文提出基于自蒸馏微调的性能恢复框架,通过理论分析和实验验证,证明自蒸馏能有效恢复模型能力,揭示了高维流形对齐与性能恢复之间的强相关性。
2026-08-19 cs.AI cs.CL cs.LG
Constructing a Question-Answering Simulator through the Distillation of LLMs
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
本文提出LDSim,通过从大语言模型蒸馏领域知识和推理能力来构建问答模拟器,以提高教育推荐系统中对学生回答正确性的预测性能,并在模拟和知识追踪任务上取得优异结果。
2025-09-11 cs.IR cs.LG
Neuron-Aware Data Selection for Annotation-Free LLM Self-Distillation
University of Pittsburgh(匹兹堡大学)
提出Neuron-OPSD框架,利用神经元激活指导训练数据选择和教师上下文构建,通过在线策略蒸馏实现无标注自蒸馏,提升领域内性能并保持跨领域泛化。
2026-07-03 cs.AI cs.LG
Beyond Answers: Transferring Reasoning Capabilities to Smaller LLMs Using Multi-Teacher Knowledge Distillation
University of Notre Dame(圣母大学);University of Michigan(密歇根大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出TinyLLM多教师知识蒸馏范式,通过让学生LLM学习多个大型教师LLM的答案与推理依据,并引入上下文示例生成器和teacher-forcing Chain-of-Thought策略,在六个数据集上以更小模型规模显著超越大型教师LLM。
2024-11-23 cs.AI cs.CL cs.LG
Tailoring Teaching to Aptitude: Direction-Adaptive Self-Distillation for LLM Reasoning
Institute of Computing and Intelligence, Harbin Institute of Technology(计算智能研究所,哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Keeta AI, Meituan(Keeta AI,美团)
本文提出方向自适应自蒸馏(DASD),通过熵引导的定向监督改进LLM推理,通过分析发现统一的教师监督导致探索被压制,DASD在六个数学推理基准中取得最佳表现。
2026-05-21 cs.AI cs.LG
Distillation Traps and Guards: A Calibration Knob for LLM Distillability
Generative AI Lab, College of Computing and Data Science(生成人工智能实验室,计算与数据科学学院);Nanyang Technological University(南洋理工大学);Systems Research Institute of the Polish Academy of Sciences(波兰科学院系统研究所);AGH University of Krakow(克拉科夫AGH大学);SAN University(SAN大学)
本文分析了知识蒸馏中的陷阱,提出了一种后处理校准方法,通过强化学习微调控制教师模型的可蒸馏性,提升蒸馏效果和模型安全性。
2026-04-21 cs.AI cs.LG
Reference-Based Distillation Detection in LLMs
University of California, Berkeley(加利福尼亚大学伯克利分校);University of Southern California(南加利福尼亚大学);OpenAI
研究旨在检测大语言模型是否经蒸馏而来,提出基于参考的成员推理蒸馏检测方法,通过比较模型与不同候选教师输出的优先对齐程度识别教师及蒸馏证据,能处理未知管道,扩展到开放世界设置,应用于当代模型获潜在蒸馏关系新证据。
2026-07-14 cs.CL cs.LG
Rethinking the Role of Temperature in Large Language Model Distillation
Golisano College of Computing and Information Sciences(戈利萨诺计算与信息科学学院);Rochester Institute of Technology(罗切斯特理工学院)
本文通过分析温度τ对前向KL散度和反向KL散度在LLM蒸馏中的不对称影响,发现高温下FKL优于RKL,并证明温度能提升多种蒸馏目标,使简单KL方法达到先进水平。
2026-05-29 cs.AI cs.LG
ODIA: Oriented Distillation for Inline Acceleration of LLM-based Function Calling
ByteDance Inc.(字节跳动公司)
本文提出 ODIA 方法,利用在线交互数据自动识别简单查询,将知识从大模型蒸馏到小模型,在保持准确率的同时显著降低 LLM Function Calling 延迟,并已通过真实部署验证其有效性与实用性。
2025-07-10 cs.AI cs.LG
Active Large Language Model-based Knowledge Distillation for Session-based Recommendation
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Singapore University of Technology and Design(新加坡科技设计大学);Yonsei University(延世大学)
针对基于会话的推荐中LLM知识蒸馏成本高、部分预测无效的问题,提出主动式LLM知识蒸馏方法,通过主动学习筛选高价值样本,在低成本下实现更优的推荐性能。
2024-12-15 cs.IR cs.LG
Beyond Imitation: Reflective On-Policy Self-Distillation for LLM Reasoning
The Hong Kong Polytechnic University(香港理工大学);Baidu Inc.(百度公司);Shandong University(山东大学);Leiden University(莱顿大学)
提出反思式同策略自蒸馏(ROSD)框架,通过反思引导的错误定位蒸馏将参考解模仿转为针对性推理修正,提升领域内推理和跨领域泛化能力。
2026-09-29 cs.CL cs.LG
FlowDistill: Scalable Traffic Flow Prediction via Distillation from LLMs
University of North Texas(北得克萨斯大学)
提出FlowDistill框架,通过LLM知识蒸馏训练紧凑MLP学生模型,结合信息瓶颈与教师边界回归损失,在数据稀缺下实现高精度、低延迟的可扩展交通流预测。
2025-04-02 cs.AI cs.LG
ReNIO: Reweighting Negative Trajectory Importance for LLM On-Policy Distillation
East China Normal University(华东师范大学);Shanghai Innovation Institute(上海创新研究院)
提出ReNIO方法,通过学生-教师概率比识别错误推理轨迹中的关键令牌并加权,在不依赖最终答案正确性的情况下提升在线策略蒸馏效果,在数学推理和代码生成任务上取得显著提升。
2026-06-23 cs.AI cs.LG
GVPO++: Group Variance Policy Optimization for LLM Post-Training and On-Policy Distillation
针对LLM后训练中重要性采样导致的不稳定问题,提出GVPO方法,通过KL约束奖励最大化解耦梯度权重,保证唯一最优解并支持灵活采样,且可扩展至同策略蒸馏。
2026-09-21 cs.AI cs.LG
Beyond Autoregression: Fast LLMs via Self-Distillation Through Time
本文提出一种针对离散扩散语言模型的时间自蒸馏方法,将推理步数减少32-64倍,使扩散模型能同时生成至少32个token,在1.3B参数规模下生成速度比带KV缓存的自回归模型快至8倍,并在文本质量和LAMBADA基准上超越自回归模型。
2025-02-06 cs.CL cs.LG
Unilogit: Robust Machine Unlearning for LLMs Using Uniform-Target Self-Distillation
eBay Inc.(eBay公司);University of Amsterdam(阿姆斯特丹大学)
Unilogit提出一种基于均匀目标自蒸馏的机器遗忘方法,通过动态调整目标logits使目标token概率均匀化,无需额外超参数即可在遗忘与保留之间取得更优平衡,并在多个基准上优于NPO和UnDIAL。
2025-05-09 cs.CL cs.LG
Harmonizing Multi-Objective LLM Unlearning via Unified Domain Representation and Bidirectional Logit Distillation
George Mason University(乔治·马歇尔大学);Michigan State University(密歇根州立大学)
本文提出一种多目标去学习框架,通过统一领域表示和双向logit蒸馏,解决去学习中的多个目标,包括去除不良知识、保持通用效用、避免对邻近概念的过度拒绝以及确保对抗性探测攻击的鲁棒性。
2026-04-16 cs.AI cs.LG
A Survey on Symbolic Knowledge Distillation of Large Language Models
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
本综述系统梳理大型语言模型符号知识蒸馏的方法与应用,旨在将隐性知识转化为显式符号形式,提升模型可解释性与效率,并指出研究空白与未来方向。
2024-07-12 cs.CL cs.LG