MARD: Mirror-Augmented Reasoning Distillation for Mechanism-Level Drug-Drug Interaction Prediction
University of Guelph（圭尔夫大学）；York University（约克大学）；Vector Institute（向量研究所）
提出MARD-7B模型，通过镜像增强推理蒸馏、单token KL散度、PRM加权DPO和机制感知检索通道，在机制级DDI预测中准确率超越GPT-4o 6.7个百分点，且成本仅为1%。
2026-06-12 cs.CL
R2Vul: Learning to Reason about Software Vulnerabilities with Reinforcement Learning and Structured Reasoning Distillation
R2Vul通过RLAIF和结构化推理蒸馏训练小型代码LLM，在漏洞检测中生成有依据的解释，1.5B模型超越32B教师和商业LLM，并降低假阳性率。
2025-08-07 cs.AI cs.CL cs.SE
Improving Reasoning Capabilities in Small Models through Mixture-of-Layers Distillation with Stepwise Attention on Key Information
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）
本文提出一种基于分步注意力的混合层蒸馏方法，通过引导学生模型逐步聚焦关键信息，提升小模型的推理能力，并在多个数学和常识推理数据集上取得一致性能提升。
2026-04-17 cs.CL
Structured Distillation for Personalized Agent Memory: 11x Token Reduction with Retrieval Preservation
本文提出一种结构化蒸馏方法，将用户与代理的对话历史压缩至38个token，实现11倍压缩，同时保持检索性能，通过实验验证了压缩后检索质量的可靠性。
2026-03-13 cs.AI cs.CL cs.IR
Mitigating Prompt-Induced Hallucinations in Large Language Models via Structured Reasoning
School of Computer Engineering, Jiangsu Ocean University（江苏海洋大学计算机工程学院）；School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
本文通过引入代码模块和结构化推理方法，有效缓解了大型语言模型中的提示诱导幻觉问题，提升了模型的准确性和可验证性。
2026-01-06 cs.CL
SlimMoE: Structured Compression of Large MoE Models via Expert Slimming and Distillation
Georgia Tech（佐治亚理工学院）；Microsoft（微软公司）
SlimMoE通过专家瘦身与分阶段蒸馏，将大型MoE模型压缩为更小变体，仅用10%训练数据，性能优于同尺寸模型并接近更大模型，适用于资源受限环境。
2025-06-23 cs.CL cs.LG
Efficient Knowledge Injection in LLMs via Self-Distillation
Aalto University（阿alto大学）；Finnish Center for Artificial Intelligence (FCAI)（芬兰人工智能中心）；System 2 AI
本文提出用提示蒸馏（一种自蒸馏方法）从自由文档向LLM注入新知识，无需更大教师模型或结构化格式，实验表明其优于监督微调甚至RAG，并分析了关键因素与扩展性。
2025-08-07 cs.CL cs.LG
Facts Don't Speak Louder than Words: The Behavioral Essence of Long-CoT Distillation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Meituan（美团）；University of Science and Technology of China（中国科学技术大学）
该研究揭示长思维链（Long-CoT）蒸馏的本质是与结构化推理模式的行为对齐，而非事实知识记忆，还明确了概率损失与交叉熵损失在学习不同复杂度推理模式中的作用，为推理模型发展提供了基础。
2026-10-14 cs.CL
Uncertainty-Aware Structured Data Extraction from Full CMR Reports via Distilled LLMs
The Ohio State University（俄亥俄州立大学）
本文提出CMR-EXTR框架，通过蒸馏LLM将自由文本CMR报告转为结构化数据并提供字段置信度，实现无监督推理和不确定性整合，达到99.65%的变量级准确率。
2026-05-08 cs.CL
Beyond Output Critique: Self-Correction via Task Distillation
AI Center, University College London（伦敦大学学院人工智能中心）；Microsoft（微软）
SELF-THOUGHT通过任务蒸馏引入任务抽象步骤，提升大型和小型语言模型的自我纠正能力，提高准确性和鲁棒性。
2026-01-31 cs.AI cs.CL
OmniThoughtVis: A Scalable Distillation Pipeline for Deployable Multimodal Reasoning Models
Alibaba Group（阿里巴巴集团）
本文提出OmniThoughtVis流水线，通过大规模多模态Co T监督将高容量教师模型的推理能力转移到小型部署模型，实现了在多个基准上的性能提升。
2026-05-12 cs.CL
TLRD: Teaching LLMs to Reason over Tabular Data with Tri-Level Rationale Distillation
The Ohio State University（俄亥俄州立大学）；Stevens Institute of Technology（史蒂文斯理工学院）
提出TLRD框架，通过三级理由蒸馏将表格数据集转换为结构化理由监督，使LLMs在仅基于原始特征的情况下实现零开销预测和可解释推理，显著缩小与树集成模型的性能差距。
2026-06-06 cs.CL
Context-Aware Distillation and Ablation for Text2DSL
MIREA – Russian Technological University（俄罗斯国立研究大学-莫斯科电子技术学院）；Academy of the Federal Guard Service of the Russian Federation（俄罗斯联邦警卫局学院）
通过上下文感知蒸馏将PolkitBench语料库扩展到10,073对，并基于新语料库对结构化上下文进行因子消融实验，发现词汇表对语义质量贡献最大，API和BNF对结构有效性贡献显著。
2026-06-23 cs.AI cs.CL
Summarize-Exemplify-Reflect: Data-driven Insight Distillation Empowers LLMs for Few-shot Tabular Classification
ETH Zürich（苏黎世联邦理工学院）；University of Copenhagen（哥本哈根大学）；University of Science and Technology of China（中国科学技术大学）；University of Amsterdam（阿姆斯特丹大学）；East China Normal University（东华大学）
本文提出InsightTab洞察蒸馏框架，通过规则总结、策略性示例与反思机制，将表格数据转化为可执行洞察，从而提升LLM在9个少样本表格分类数据集上的性能与偏差控制能力。
2025-08-29 cs.CL cs.LG
Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation
Yale University（耶鲁大学）
提出评分准则条件自蒸馏框架，通过结构化细粒度反馈指导推理模型，在科学推理基准上平均超越GRPO 1.0分、OPSD 0.9分。
2026-06-18 cs.AI cs.CL
An Efficient Long-Context Ranking Architecture With Calibrated LLM Distillation: Application to Person-Job Fit
Malt
本文提出一种基于新型晚期交叉注意力架构的高效长上下文排序模型，通过校准的LLM蒸馏技术提升人-职位匹配的准确性和可解释性。
2026-01-16 cs.CL cs.IR cs.LG
Reasoning-preserved Efficient Distillation of Large Language Models via Activation-aware Initialization
The Hong Kong Polytechnic University, Hong Kong SAR, China（香港理工大学）；McGill University, Montreal, QC, Canada（麦吉尔大学）
针对高效蒸馏导致的多步推理能力严重下降（推理崩溃），提出RED方法，通过激活感知初始化投影矩阵为通道选择矩阵，理论缓解有效秩崩溃，恢复推理能力并保持高效训练与通用性能。
2026-05-28 cs.CL cs.LG
Structural Rationale Distillation via Reasoning Space Compression
University of Calgary（卡尔加里大学）；University of Michigan（密歇根大学）
本文提出D-RPC方法，通过压缩推理空间约束教师模型生成一致且多样化的推理路径，提升学生模型在数学和常识推理任务中的表现，优于多种基线方法。
2026-11-05 cs.AI cs.CL cs.LG
ReCal: Calibrating Structured Pruning for On-Policy Distillation Recovery
Zhongguancun Academy（中关村学院）；Tencent（腾讯）；University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）
针对结构化剪枝导致推理语言模型的策略蒸馏（OPD）恢复受阻的问题，提出即插即用方法RECAL，通过调整剪枝前的校准提升OPD恢复效果，在AIME等数据集上取得显著性能增益。
2026-10-09 cs.CL
Prompt-Level Distillation: A Non-Parametric Alternative to Model Fine-Tuning for Efficient Reasoning
Google Mountain View, California, USA（谷歌山景城，加利福尼亚州，美国）
提出提示级蒸馏（PLD），通过从教师模型中提取推理模式并组织为结构化指令注入学生模型的系统提示，无需微调即可提升小模型推理性能，在多个基准上接近前沿水平且延迟极低。
2026-06-02 cs.CL cs.IR
ZipLM: Inference-Aware Structured Pruning of Language Models
IST Austria（奥地利科学技术学院）；Neural Magic（Neural Magic公司）
ZipLM提出一种推理感知的LLM结构化剪枝方法，通过迭代移除损失-运行时间权衡最差的组件，在多种模型和压缩设置下以低成本实现满足目标加速的最先进精度-加速比。
2023-10-26 cs.CL cs.LG
RouteNLP: Closed-Loop LLM Routing with Conformal Cascading and Distillation Co-Optimization
The University of Hong Kong（香港大学）；Stellaris AI Limited（Stellaris AI有限公司）
RouteNLP通过闭环框架优化大语言模型在多样化NLP任务中的路由，减少成本并满足任务质量约束，通过级联和蒸馏协同优化实现显著成本降低。
2026-04-26 cs.CL cs.LG
EGTR-Review: Efficient Evidence-Grounded Scientific Peer Review Generation via Multi-Agent Teacher Distillation
Department of Information Management, Peking University（北京大学信息管理系）；PKU-WUHAN Institute for Artificial Intelligence, Peking University（北京大学武汉人工智能研究院）
提出EGTR-Review框架，通过多智能体教师蒸馏和证据加权目标，实现轻量级学生模型的高质量、可溯源同行评审生成。
2026-06-04 cs.AI cs.CL
ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation
ByteDance（字节跳动）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
研究结构化剪枝在语言模型自由形式生成任务中存在的问题，提出ShortOPD方法，通过短到长的策略蒸馏，检测重复后缀，合理分配展开预算，有效提升压缩模型分数，减少训练时间和展开令牌，推动结构化剪枝接近可部署的生成质量。
2026-08-17 cs.AI cs.CL cs.LG
Causal Distillation: Transferring Structured Explanations from Large to Compact Language Models
Stanford University（斯坦福大学）
提出因果蒸馏框架，将大型教师模型的因果推理能力迁移至紧凑模型，并引入CEC指标评估解释的结构与逻辑一致性。
2025-05-26 cs.CL
Self-Correction Distillation for Structured Data Question Answering
针对小规模大语言模型生成结构化查询易出错的问题，本文提出自校正蒸馏方法SCD，通过错误提示机制与两阶段蒸馏策略提升小模型结构化问答能力，实验验证其性能优异。
2025-11-17 cs.AI cs.CL
ASDA: Automated Skill Distillation and Adaptation for Financial Reasoning
The University of Hong Kong（香港大学）
ASDA通过迭代误差纠正学习生成结构化技能 artifact，无需修改模型权重，在金融推理任务中实现显著提升，优于无训练基线。
2026-09-09 cs.AI cs.CE cs.CL
Efficient Sub-structured Knowledge Distillation
Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）
结构化预测模型旨在解决一类问题，其中输出是复杂的结构，而不是单个变量。对这些模型执行知识蒸馏并不简单，因为它们的输出空间呈指数级大。在这项工作中，我们提出了一种方法，这是更简单的制定和更有效的培训比现有的方法。具体来说，我们通过在所有子结构上局部匹配他们的预测，而不是整个输出空间，将知识从教师模型转移到学生模型。通过这种方式，我们避免了采用一些耗时的技术，如动态规划（DP）解码输出结构，这允许并行计算，并使训练过程在实践中甚至更快。此外，它鼓励学生模型更好地模仿教师模型的内部行为。两个结构化预测任务的实验表明，我们的方法优于以前的方法和一半的时间成本为一个训练时期。
2022-03-09 cs.CL cs.LG
SIRAJ: Diverse and Efficient Red-Teaming for LLM Agents via Distilled Structured Reasoning
Microsoft Responsible AI Research（微软负责任人工智能研究）；University of California（加州大学）
LLM代理计划和调用工具的能力使他们面临新的安全风险，使得全面的红队测试系统对于发现漏洞和确保安全部署至关重要。我们提出SIRAJ：一个通用的红队测试框架任意黑盒LLM代理。我们采用了一个动态的两步过程，从代理定义开始，并生成不同的种子测试案例，涵盖各种风险结果，工具使用轨迹和风险源。然后，它迭代地构造和完善基于模型的对抗攻击的执行轨迹的基础上，以前的尝试。为了优化红队测试成本，我们提出了一种模型蒸馏方法，利用教师模型推理的结构化形式来训练同样有效的较小模型。在不同的评估代理设置，我们的种子测试用例生成方法产生2 - 2.5倍的风险结果和工具调用轨迹的覆盖率。我们的8B red-teamer模型将攻击成功率提高了100%，超过了671 B Deepseek-R1模型。我们的消融和分析验证了迭代框架的有效性，结构化推理，和我们的红队模型的推广。
2025-10-30 cs.AI cs.CL cs.CR
SlimQwen: Exploring the Pruning and Distillation in Large MoE Model Pre-training
Qwen Team, Alibaba Inc.（通义实验室，阿里公司）；MBZUAI；KAUST（卡士大学）
本文研究了在大规模预训练中如何应用剪枝和知识蒸馏技术，探讨了剪枝在初始化方面的优势、专家压缩对最终模型的影响以及训练策略的有效性，最终将Qwen3-Next-80A3B压缩到23A2B模型并保持竞争力。
2026-05-18 cs.AI cs.CL cs.LG
DeferMem: Query-Time Evidence Distillation via Reinforcement Learning for Long-Term Agent Memory
State Key Lab of CAD&CG（计算机辅助设计与图形学国家重点实验室）
本文提出DeferMem，一种长时记忆框架，通过分离问题为高召回候选检索和查询条件证据蒸馏，以提升长时记忆问答的准确性和效率。
2026-09-29 cs.AI cs.CL cs.LG
Ensemble Distillation for Structured Prediction: Calibrated, Accurate, Fast-Choose Three
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
现代神经网络并不总是产生校准良好的预测，即使在使用适当的评分函数（如交叉熵）进行训练时也是如此。在分类设置中，简单的方法，如保序回归或温度标度可以与保留的数据集结合使用，以校准模型输出。然而，将这些方法扩展到结构化预测并不总是简单或有效的;此外，保持的校准集可能并不总是可用的。在本文中，我们研究合奏蒸馏作为一个通用的框架，产生良好的校准结构化的预测模型，同时避免了令人望而却步的推理时间成本的合奏。我们验证这个框架上的两个任务：命名实体识别和机器翻译。我们发现，在这两项任务中，合奏蒸馏产生的模型保留了大部分，偶尔提高，合奏的性能和校准的好处，而只需要一个单一的模型在测试时。
2021-03-25 cs.CL cs.LG stat.ML
Structural Knowledge Distillation: Tractably Distilling Information for Structured Predictor
ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
知识蒸馏是在模型之间传递知识的关键技术，通常是从大型模型（教师）到更细粒度的模型（学生）。知识蒸馏的目标函数通常是教师和学生的输出分布之间的交叉熵。然而，对于结构化预测问题，输出空间的大小是指数级的;因此，交叉熵目标变得难以直接计算和优化。在本文中，我们推导出结构化预测的知识蒸馏目标的因式分解形式，这是易于处理的教师和学生模型的许多典型的选择。特别地，我们在四种不同的情况下，展示了序列标记和依存句法分析模型之间的结构知识蒸馏的易处理性和经验有效性：1）教师和学生共享输出结构评分函数的相同分解形式; 2）学生分解比教师分解产生更多的细粒度子结构; 3）教师分解比学生分解产生更多的细粒度子结构; 4）教师和学生的分解形式是不相容的。
2021-06-02 cs.AI cs.CL cs.LG
Structured Pruning Learns Compact and Accurate Models
Princeton University（普林斯顿大学）
随着神经语言模型规模的不断扩大，模型压缩受到越来越多的关注。两种主要的方法是修剪，逐渐从预训练的模型中删除权重，以及蒸馏，训练较小的紧凑模型以匹配较大的模型。剪枝方法可以显着减少模型的大小，但很难实现大的加速比蒸馏。然而，蒸馏方法需要大量未标记的数据，并且训练昂贵。在这项工作中，我们提出了一种特定于任务的结构化修剪方法CoFi（粗粒度和细粒度修剪），它提供了高度并行化的子网络，并在准确性和延迟方面与蒸馏方法相匹配，而无需诉诸任何未标记的数据。我们的关键见解是联合修剪粗粒度（例如，层）和细粒（例如，头和隐藏单元）模块，该模块用不同粒度的掩码控制每个参数的剪枝决策。我们还设计了一个分层蒸馏策略，在优化过程中从未修剪的模型转移知识。我们在GLUE和SQuAD数据集上的实验表明，CoFi产生的模型具有超过10倍的加速比，精度下降较小，与以前的修剪和蒸馏方法相比，显示出其有效性和效率。
2022-05-02 cs.CL cs.LG
Structured Pruning of a BERT-based Question Answering Model
IBM Research AI（IBM研究院AI）
在行业设置的自然语言处理（NLP）研究的最新趋势是在严格的计算限制下操作大规模的预训练语言模型，如BERT。虽然大多数模型压缩工作都集中在使用昂贵的预训练蒸馏来“蒸馏”通用语言表示，但较少关注创建较小的特定于任务的语言表示，可以说，这些语言表示在行业环境中更有用。在本文中，我们研究压缩BERT和RobERTa为基础的问答系统的结构化修剪参数从底层的Transformer模型。我们发现，特定于任务的结构化修剪和特定于任务的蒸馏的廉价组合，而不需要预先训练蒸馏的费用，在一系列速度/精度权衡操作点上产生高性能的模型。我们从针对SQuAD 2.0或Natural Questions训练的现有全尺寸模型开始，并引入允许单独消除Transformers选定部分的门。具体来说，我们研究（1）结构化修剪，以减少每个Transformer层中的参数数量，（2）适用于基于BERT和RobERTa的模型，（3）适用于SQuAD 2.0和Natural Questions，以及（4）将结构化修剪与蒸馏相结合。我们实现了推理速度的近一倍，在自然问题的简短答案准确性方面损失不到0.5 F1点。
2021-04-11 cs.CL cs.LG
Decoder-based Sense Knowledge Distillation
Rensselaer Polytechnic Institute（拉特格斯理工学院）；IBM Research（IBM研究院）
本文提出DSKD框架，通过整合词汇资源提升解码器式LLM的知识蒸馏性能，使生成模型能继承结构化语义并保持高效训练。
2026-02-25 cs.AI cs.CL
Distilling an Ensemble of Greedy Dependency Parsers into One MST Parser
Carnegie Mellon University（卡内基梅隆大学）；Pompeu Fabra University（庞培法布拉大学）；University of Washington（华盛顿大学）；Google DeepMind（谷歌DeepMind）
我们介绍了两个基于一阶图的依赖解析器，实现了最新的技术水平。第一个是共识解析器，由独立训练的贪婪LSTM基于transition的解析器的集合构建，具有不同的随机初始化。我们投这种方法作为最小贝叶斯风险解码（根据汉明成本），并认为较弱的共识内的合奏是一个有用的信号的困难或歧义。第二个解析器是一个“蒸馏”的合奏到一个单一的模型。我们训练蒸馏解析器使用结构化铰链损失目标与新的成本，包括合奏不确定性估计为每个可能的附件，从而避免了棘手的交叉熵计算所需的标准蒸馏目标的问题与结构化输出。一阶蒸馏解析器在英语、汉语和德语上达到或超过了最先进的水平。
2016-09-24 cs.CL
Structured Prompting and Multi-Agent Knowledge Distillation for Traffic Video Interpretation and Risk Inference
Smart Mobility and Infrastructure Lab（智能移动与基础设施实验室）；College of Engineering, University of Georgia（工程学院，佐治亚大学）
本文提出结构化提示与多智能体知识蒸馏框架，利用GPT-4o和o3-mini生成伪标注，训练3B级轻量模型VISTA，实现交通视频风险感知描述与边缘端实时监测。
2025-08-19 cs.AI cs.CL cs.CV
Different Teachers, Different Capabilities: Sub-1B On-Device Distillation for Structured Text Enrichment
研究将8B推理教师模型蒸馏成0.6B学生模型，添加对照，通过盲测评分。学生模型处理速度快，恢复部分摘要质量差距。不同教师模型转移不同能力，无单一引擎全胜，得出设备端丰富的按领域路由图。
2026-07-10 cs.AI cs.CL
Syntactic Structure Distillation Pretraining For Bidirectional Encoders
University of California, Berkeley（加州大学伯克利分校）；DeepMind（深度思维）；University of Oxford（牛津大学）
接受大量数据训练的文本表征学习者在下游任务中取得了显着的成功;有趣的是，他们在具有挑战性的句法能力测试中也表现出色。鉴于这一成功，像BERT这样的可扩展学习者是否可以仅仅凭借数据规模就完全精通自然语言的语法，或者他们是否仍然受益于更明确的语法偏见，这仍然是一个悬而未决的问题。为了回答这个问题，我们引入了一种知识蒸馏策略，通过蒸馏层次结构的语法信息预测-尽管更难扩展-语法语言模型，将语法偏见注入BERT预训练。由于BERT模型屏蔽词在双向上下文中，我们建议提取近似的边缘分布在上下文中的词从句法LM。我们的方法在一组不同的结构化预测任务上将相对误差降低了2-21%，尽管我们在GLUE基准测试中获得了混合的结果。我们的研究结果表明，句法偏见的好处，即使在代表性的学习者，利用大量的数据，并有助于更好地了解句法偏见是最有帮助的基准自然语言理解。
2020-05-27 cs.CL
Efficient Financial Language Understanding via Distillation with Synthetic Data
School of Engineering Mathematics and Technology（工程数学与技术学院）；University of Bristol（布里斯托大学）
提出一种在低资源条件下通过合成数据蒸馏进行金融情感分析的框架，利用聚类种子选择生成代表性合成数据，使紧凑模型在少量标注下达到强性能，甚至在某些任务上超越教师模型。
2026-06-18 cs.CL
On the Generalization vs Fidelity Paradox in Knowledge Distillation
Department of Electrical Engineering（电气工程系）；Indian Institute of Technology Delhi（印度理工学院德里）
本研究通过大规模实证分析揭示知识蒸馏中泛化性与保真度的悖论：较小模型获益显著而较大模型收益甚微，且性能提升与推理保真度存在错位。
2025-08-04 cs.CL
KoGNER: A Novel Framework for Knowledge Graph Distillation on Biomedical Named Entity Recognition
Washington University in St. Louis（圣路易斯华盛顿大学）
针对传统NER模型领域泛化差、数据稀疏的问题，提出融合知识图谱蒸馏的KoGNER框架，通过知识蒸馏和实体感知增强两步法提升性能，在基准数据集上取得SOTA效果，为知识感知NLP提供新方向。
2025-03-19 cs.CL
ReasoningRank: Teaching Student Models to Rank through Reasoning-Based Knowledge Distillation
University of Pittsburgh（匹兹堡大学）；Google Cloud AI Research（谷歌云人工智能研究）
针对信息检索中传统重排序方法缺乏透明度和依赖专有模型的问题，提出开源的Reason-to-Rank方法，通过生成两种推理增强透明度，利用LLMs作为教师模型蒸馏知识到学生模型，在多个数据集上取得竞争性能，弥合有效性与透明度差距。
2025-04-14 cs.CL
SQuaD-SQL: Efficient Text-to-SQL with Small Language Models via LLM-Guided Knowledge Distillation
The University of Liverpool（利物浦大学）；University of Macau（澳门大学）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；Microsoft（微软）；Shanghai University of International Business and Economics（上海国际经贸管理大学）；Huizhou University（惠州市大学）
研究如何让小语言模型在文本到SQL任务中接近大语言模型性能。核心方法是通过知识蒸馏和合成数据生成，包含基于大语言模型的合成数据生成、参数高效微调和领域自适应微调三个关键组件。主要贡献是在WikiSQL数据集上执行准确率达86.9%，推理更快、内存使用更低。
2026-07-10 cs.CL cs.CV
Hierarchical Knowledge Distillation for Dialogue Sequence Labeling
NTT Media Intelligence Laboratories, NTT Corporation（NTT公司NTT媒体情报实验室）
提出了一种新的会话序列标注的知识蒸馏方法。对话序列标记是一个监督学习任务，它估计目标对话文档中每个话语的标签，并且对于诸如对话行为估计之类的许多应用都是有用的。准确的标签往往是实现了一个分层结构的大模型，包括话语级和对话级的网络，捕捉内的话语和话语之间的上下文，分别。然而，由于其大的模型大小，这样的模型不能被部署在资源受限的设备上。为了克服这一困难，我们专注于知识蒸馏，通过提取一个大的和高性能的教师模型的知识来训练一个小的模型。我们的核心思想是提取知识，同时保持教师模型捕获的复杂上下文。为此，所提出的方法，分层知识蒸馏，训练的小模型，不仅提取的概率分布的标签分类，但也训练的话语级和对话级上下文的知识，在教师模型，通过训练模型模仿教师模型的输出在每个级别。对话行为估计和通话场景分割实验验证了该方法的有效性。
2021-11-22 cs.CL cs.LG
Teaching Audio Models to Reason: A Unified Framework for Source- and Layer-wise Distillation
Jiutian Artificial Intelligence Research Institute, China Mobile, Beijing, China（九天人工智能研究院，中国移动，北京）；The State Key Laboratory of Multimedia Information Processing, Peking University, Beijing, China（多媒体信息处理国家重点实验室，北京大学，北京）
本文提出统一知识蒸馏框架，通过源级与层级双维度蒸馏将文本模型的推理能力迁移到音频模型，在保持声学能力的同时显著提升音频推理性能。
2025-09-23 cs.CL cs.SD eess.AS
Knowledge Graph-Guided Multi-Agent Distillation for Reliable Industrial Question Answering with Datasets
Zhongnan University of Economics and Law（中南财经政法大学）
提出KG-MASD，利用知识图谱引导多智能体蒸馏，将协作推理与可验证性注入轻量模型，提升工业问答准确率2.4%-20.1%。
2025-10-03 cs.AI cs.CL cs.DB
Reducing Transformer Depth on Demand with Structured Dropout
Facebook AI Research（Facebook人工智能研究（FAIR））；LORIA（洛林研究所（法国国家信息与自动化研究所洛林分部））
过参数化的Transformer网络已经在各种自然语言处理任务（例如机器翻译、语言建模和问答）中获得了现有技术水平的结果。这些模型包含数以亿计的参数，需要大量的计算，并使它们易于过拟合。在这项工作中，我们探索了LayerDrop，这是一种结构化dropout，它在训练过程中具有正则化效果，并允许在推理时进行有效的修剪。特别是，我们表明，它是可能的，从一个大型网络中选择任何深度的子网络，而不必微调它们，对性能的影响有限。我们证明了我们的方法的有效性，通过提高最先进的机器翻译，语言建模，摘要，问答和语言理解基准。此外，我们表明，与从头开始训练或使用蒸馏相比，我们的方法可以产生更高质量的小型BERT模型。
2019-09-25 cs.CL cs.LG stat.ML
