PromptKD: Distilling Student-Friendly Knowledge for Generative Language Models via Prompt Tuning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST));AITRICS
本文提出PromptKD方法,首次在知识蒸馏中利用提示调优,使生成式语言模型能传递对学生友好的知识,在仅添加教师模型0.0007%参数的情况下实现最先进性能,并有效缓解暴露偏差。
2024-09-27 cs.AI cs.CL cs.LG
Distilling Named Entity Recognition Models for Endangered Species from Large Language Models
该研究通过上下文学习从GPT-4蒸馏知识,构建了包含3.6K句子的濒危物种NER和RE数据集,并微调BERT模型,有效实现了濒危物种文本检测。
2024-03-13 cs.CL
Distilling Knowledge from Pre-trained Language Models via Text Smoothing
Baidu Inc.(百度公司)
本文研究压缩预训练的语言模型,如BERT(Devlin et al.,2019),通过师生知识蒸馏。以前的工作通常迫使学生模型严格模仿教师BERT预测的平滑标签。作为替代方案,我们提出了一种新的BERT蒸馏方法,即,要求教师生成平滑的词ID而不是标签,用于在知识蒸馏中教授学生模型。我们称这种方法为文本平滑。实际上,我们使用BERT中的掩蔽语言模型(MLM)的softmax预测来生成给定文本的单词分布,并使用预测的软单词id来平滑这些输入文本。我们假设平滑后的标签和文本都可以隐式地扩充输入语料库,而文本平滑由于可以在一个神经网络前向步骤中生成更多的实例,因此直观上更有效,在GLUE和SQuAD上的实验结果表明,与现有的BERT提取方法相比,我们的解决方案可以获得有竞争力的结果。
2020-05-08 cs.CL cs.SD eess.AS
Distilling Implicit Multimodal Knowledge into Large Language Models for Zero-Resource Dialogue Generation
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院)
本文提出视觉隐式知识蒸馏框架VIKDF,通过隐式查询Transformer和双向变分信息融合将图像隐式知识注入大语言模型,以提升零资源场景下的对话生成质量,并在两个数据集上验证其优于现有模型。
2025-02-05 cs.CL cs.MM
From Large to Tiny: Distilling and Refining Mathematical Expertise for Math Word Problems with Weakly Supervision
Guangdong University of Technology(广东工业大学)
本文提出两阶段蒸馏与精炼框架,从 LLM 构建并补全问题-方程对以弱监督训练小型 MWP 模型,在 Math23K 和 Weak12K 上显著提升且成本远低于 ChatGPT。
2024-03-21 cs.CL
DRAG: Distilling RAG for SLMs from LLMs to Transfer Knowledge and Mitigate Hallucination via Evidence and Graph-based Distillation
VILA Lab(VILA实验室);Mohamed bin Zayed University of AI(莫扎伊德·本·泽德人工智能大学);McGill University(麦吉尔大学);National University of Science and Technology(国家科学与技术大学)
本文提出DRAG框架,通过证据与知识图蒸馏将RAG能力从大语言模型迁移到小语言模型,在降低计算成本的同时缓解幻觉并提升事实准确性,实验显示性能最高超越MiniRAG达27.7%。
2025-06-02 cs.AI cs.CL cs.LG
Reliable Reasoning Path: Distilling Effective Guidance for LLM Reasoning with Knowledge Graphs
The Hong Kong Polytechnic University(香港理工大学)
针对大语言模型知识不足、易幻觉且难处理复杂问题的缺陷,提出结合LLM语义与知识图谱结构信息、带反思模块的RRP框架,可即插即用增强LLM推理,在两个公开数据集上达SOTA。
2025-06-12 cs.AI cs.CL
Turning Dust into Gold: Distilling Complex Reasoning Capabilities from LLMs by Leveraging Negative Data
Beijing Institute of Technology(北京理工大学);Xiaohongshu Inc(小红书公司)
提出利用负样本数据从大语言模型蒸馏推理能力至小模型的框架,通过训练到推理的三步递进过程,在算术推理任务上验证了负数据对提升蒸馏效果的作用。
2023-12-20 cs.AI cs.CL
Distilling Reasoning Without Knowledge: A Framework for Reliable LLMs
本文提出一种模块化框架,通过显式分离规划与事实检索及回答合成,提升大语言模型在需要最新或冲突信息时的可靠性。
2026-03-15 cs.AI cs.CL cs.IR
Distilling Script Knowledge from Large Language Models for Constrained Language Planning
Fudan University(复旦大学);Brain Technologies, Inc.(脑科技公司);System Inc.(系统公司);Fudan-Aishu Cognitive Intelligence Joint Research Center(复旦-爱数认知智能联合研究中心)
本文首次定义约束语言规划任务,提出先过度生成再过滤的方法并构建含 55,000 个脚本的 CoScript 数据集,有效提升大模型及小模型在约束条件下的语言规划能力。
2023-05-26 cs.AI cs.CL
RoSearch: Search for Robust Student Architectures When Distilling Pre-trained Language Models
Beihang University(北京航空航天大学)
预训练的语言模型在NLP任务中表现出色。已经提出了各种知识蒸馏方法来减少预先训练的语言模型的繁重计算和存储需求。然而,从我们的观察,通过知识蒸馏获得的学生模型遭受对抗攻击,这限制了它们在安全敏感场景中的使用。为了克服这些安全问题,提出了一种综合框架RoSearch,用于在进行知识蒸馏时搜索具有更好对抗鲁棒性的学生模型。建立了一个基于有向无环图的搜索空间,并采用进化搜索策略指导搜索过程。每个搜索到的体系结构都是通过预训练的语言模型上的知识蒸馏来训练的,然后在鲁棒性、准确性和效率感知度量(如环境适应性)下进行评估。实验结果表明,RoSearch在不同的数据集上,学生模型的鲁棒性从7%~18%提高到45.8%~47.8%,其权重压缩比与现有的蒸馏方法相当(相对于教师模型BERT_BASE提高了4.6 $\times$ ~6.5 $\times$),准确率下降较小。此外,我们总结了学生架构和鲁棒性之间的关系,通过搜索模型的统计。
2021-06-07 cs.AI cs.CL cs.LG
Distilling Large Language Models for Biomedical Knowledge Extraction: A Case Study on Adverse Drug Events
Microsoft Research(微软研究院)
本文提出通过自监督蒸馏将 GPT-3.5 的能力迁移至 PubMedBERT,在无标注 ADE 提取及其他生物医学任务上以小超千倍的模型超过通用 LLM。
2023-07-12 cs.AI cs.CL
TinyBERT: Distilling BERT for Natural Language Understanding
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Huawei Technologies Co., Ltd.(华为技术有限公司)
语言模型预训练,如BERT,已显着提高了许多自然语言处理任务的性能。然而,预先训练的语言模型通常在计算上是昂贵的,因此难以在资源受限的设备上有效地执行它们。为了在保持准确性的同时加快推理速度并减小模型大小,我们首先提出了一种新的Transformer蒸馏方法,该方法是专门为基于Transformer的模型的知识蒸馏(KD)而设计的。通过利用这种新的KD方法,编码在大型教师BERT中的大量知识可以有效地转移到小型学生Tiny-BERT中。然后,我们为TinyBERT引入了一个新的两阶段学习框架,该框架在预训练和特定任务学习阶段都进行了Transformer蒸馏。该框架保证了Tiny BERT既能获取BERT中的通用领域知识,又能获取任务特定知识。TinyBERT具有4层,经验上有效,在GLUE基准测试中达到了其老师BERTBASE的96.8%以上的性能,同时在推理上小7.5倍,快9.4倍。4层Tiny BERT在BERT蒸馏上也明显优于4层最先进的基线,只有约28%的参数和约31%的推理时间。此外,6层的TinyBERT与它的老师BERTBASE表现相当。
2020-10-16 cs.AI cs.CL cs.LG
Distilling Knowledge from Large Language Models: A Concept Bottleneck Model for Hate and Counter Speech Recognition
St.Pölten University of Applied Sciences(施普伦茨大学应用科学学院);University of Vienna(维也纳大学)
针对仇恨和反言论识别,提出透明方法SCBM,利用LLM将文本映射为基于形容词的可解释概念表示,再由轻量分类器预测,在多平台数据集上取得高准确率与可解释性,且与transformer融合能进一步提升性能。
2025-07-30 cs.AI cs.CL cs.LG
Distilling Task-specific Logical Rules from Large Pre-trained Models
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Alibaba Group(阿里巴巴集团)
逻辑规则,既可转移又可解释,被广泛用作许多下游任务(如命名实体标记)的弱监督信号。为了减少人工编写规则的工作量,以前的研究人员采用迭代的方法从多个种子规则中自动学习逻辑规则。然而,获得更多的种子规则只能通过额外的人工注释来完成,成本很高。受种子规则的大小和质量的限制,以前的系统的模型性能是有界的。在本文中,我们开发了一个新的框架STREAM,从大型预训练模型中提取特定于任务的逻辑规则。具体来说,我们借用最新的基于语义的语言模型作为知识专家产生初始种子规则,并基于形成的高质量实例池,作为中介作用,我们不断教专家,以适应我们的任务和学习任务特定的逻辑规则。在三个公开的命名实体标注基准上的实验证明了该框架的有效性。通过几个预定义的提示模板,我们的系统比以前的最先进的方法有了显着的改进。
2022-10-06 cs.CL
Ensembling and Knowledge Distilling of Large Sequence Taggers for Grammatical Error Correction
Ukrainian Catholic University(乌克兰天主教大学);Grammarly
在本文中,我们研究了GEC序列标记架构的改进,重点是在大型配置中集成最新的基于Transformer的编码器。我们鼓励在跨度级别的编辑上通过多数投票来集成模型,因为这种方法对模型架构和词汇表大小是宽容的。我们的最佳集成在2019年(测试)上获得了新的SOTA结果,$F_{0.5}$得分为76.05,即使没有在合成数据集上进行预训练。此外,我们使用经过训练的集成来执行知识蒸馏,以生成新的合成训练数据集“Troy-Blogs”和“Troy-1BW”。我们在生成的Troy数据集上预训练的最佳单序列标记模型与公开可用的合成PIE数据集相结合,实现了接近SOTA(据我们所知,我们最好的单模型仅让位于更重的T5模型结果,$F_{0.5}$在2019年测试中的得分为73.21)。代码、数据集和训练模型是公开的)。
2022-03-24 cs.CL
Distilling Knowledge for Search-based Structured Prediction
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology, China(哈尔滨工业大学(中国))
许多自然语言处理任务可以建模为结构化预测并作为搜索问题来解决。在本文中,我们将使用不同初始化训练的多个模型的集成提取到单个模型中。除了学习匹配集成的概率输出的参考状态,我们还使用集成探索的搜索空间和学习中遇到的状态的探索。在基于转换依存句法分析和神经机器翻译这两个典型的基于搜索的结构化预测任务上的实验结果表明,蒸馏能有效地提高单个模型的性能,最终模型在这两个任务上的LAS得分和BLEU得分分别比强基线提高了1.32和2.65,优于已有文献中的贪婪结构化预测模型.
2018-05-29 cs.CL
Distilling Word Embeddings: An Encoding Approach
Institute of Software, Peking University, China(北京大学软件研究所)
将知识从一个训练良好的笨重的网络中提取到一个小的网络中已经成为一个新的研究课题,因为在各种资源受限的系统中,特别需要具有高性能的轻量级神经网络。本文讨论了自然语言处理任务中提取词嵌入的问题。我们提出了一种编码方法,从一组高维嵌入中提取特定于任务的知识,这可以大大降低模型的复杂性,同时保持高精度,在效率和性能之间表现出良好的折衷。两个任务的实验表明,从繁琐的嵌入中提取知识比直接用小嵌入训练神经网络更好。
2016-07-24 cs.CL cs.LG
Distilling Multilingual Vision-Language Models: When Smaller Models Stay Multilingual
VISTEC;AI Singapore
视觉语言模型(VLM)在不同语言之间表现出不均匀的性能,当模型大小减小时,这个问题通常会加剧。虽然知识蒸馏(KD)在将知识从较大的虚拟学习模型转移到较小的虚拟学习模型方面显示出有希望的结果,但在使用多种语文方面应用KD是一个探索不足的领域。本文提出了一个受控的经验研究KD行为跨越五个蒸馏方法,隔离跨语言表示一致性和下游性能稳定性的影响下模型压缩。我们研究了CLIP和SigLIP2的五种蒸馏配方,并在域内检索和域外视觉QA上对其进行了评估。我们发现,尽管模型大小减半,但某些配置保留甚至提高了多语言检索的鲁棒性,但其他配置无法保持跨任务的稳定性,暴露了设计敏感的权衡,而这些权衡是聚合准确性本身无法揭示的。
2025-10-30 cs.CL
Distilling Knowledge Learned in BERT for Text Generation
Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
以BERT为代表的大规模预训练语言模型在语言理解任务中取得了巨大的成功。然而,如何利用BERT进行语言生成仍然是一个悬而未决的问题。在本文中,我们提出了一种新的方法,条件屏蔽语言建模(C-MLM),使微调的目标生成任务的BERT。微调的BERT(教师)被用作额外的监督,以改善传统的Seq 2Seq模型(学生),以获得更好的文本生成性能。通过利用BERT独特的双向性质,提取在BERT中学习的知识可以鼓励自回归Seq 2Seq模型提前计划,为连贯的文本生成实施全局序列级监督。实验表明,该方法在多个机器翻译和文本摘要等语言生成任务上的性能明显优于强Transformer基线。我们提出的模型也实现了新的最先进的IWITOS德国-英语和英语-越南MT数据集。代码可在https://github.com/ChenRocks/Distill-BERT-Textgen上获得。
2020-07-17 cs.CL cs.LG
Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation
Peking University(北京大学);Tencent Medical AI Lab(腾讯医疗人工智能实验室);Peng Cheng Laboratory(鹏城实验室)
自动生成放射学报告可以改善当前诊断放射学的临床实践。一方面可以减轻放射科医生撰写报告的繁重负担;另一方面可以提醒放射科医生注意异常情况,避免误诊和漏诊。然而,由于严重的视觉和文本数据偏差,这项任务对于数据驱动的神经网络来说仍然是一项具有挑战性的工作。为此,我们提出了一个后验和先验知识探索和提取的方法(PPKED)模仿放射科医生的工作模式,谁将首先检查异常区域,并分配疾病的主题标签异常区域,然后依靠多年的先验医学知识和工作经验积累写报告。因此,PPKED包括三个模块:后验知识浏览器(PoKE),先验知识浏览器(PrKE)和多域知识蒸馏器(MKD)。具体而言,PoKE探索后验知识,提供明确的异常视觉区域,以减轻视觉数据偏差; PrKE从先验医学知识图谱(医学知识)和先验放射学报告(工作经验)中探索先验知识,以减轻文本数据偏差。探索的知识由MKD提取以生成最终报告。在MIMIC-CXR和IU-X射线数据集上进行评估,我们的方法在这两个数据集上的性能优于以前的最先进模型。
2021-06-26 cs.CL cs.CV
Distilling Knowledge from Reader to Retriever for Question Answering
Facebook AI Research(脸书人工智能研究院);École normale supérieure, PSL University(巴黎高等师范学院,巴黎文理研究大学);Inria(法国国家信息与自动化研究所)
信息检索任务是许多自然语言处理系统的重要组成部分,例如开放域问答系统。虽然传统的方法是基于手工制作的功能,连续表示的基础上神经网络最近获得了竞争力的结果。使用这种方法的挑战是获得监督数据以训练检索器模型,对应于成对的查询和支持文档。在本文中,我们提出了一种技术来学习检索模型的下游任务,灵感来自知识蒸馏,并且不需要注释的查询和文档对。我们的方法利用读者模型的注意力分数,用于解决基于检索到的文档的任务,以获得检索器的合成标签。我们评估我们的方法对问答,获得国家的最先进的结果。
2022-08-04 cs.CL cs.LG
Metric-guided Distillation: Distilling Knowledge from the Metric to Ranker and Retriever for Generative Commonsense Reasoning
The University of Hong Kong(香港大学);Microsoft Research Asia(微软亚洲研究院);University of Science and Technology of China(中国科学技术大学);Microsoft(微软)
常识生成的目标是在给定的概念下生成一个描述日常场景的真实句子,这是非常具有挑战性的,因为它要求模型具有关系推理和组合泛化能力。以前的工作重点是检索原型句子提供的概念,以协助生成。他们首先使用稀疏检索器检索候选句子,然后用排名器对候选句子进行重新排名。然而,由它们的排序器返回的候选可能不是最相关的句子,因为排序器平等地对待所有候选,而不考虑它们与给定概念的参考句子的相关性。另一个问题是,重新排序是非常昂贵的,但只使用检索器将严重降低其生成模型的性能。为了解决这些问题,我们提出了度量蒸馏规则来从度量中提取知识(例如,蓝)的排名。我们进一步将提炼出的排序器总结的关键知识传递给检索器。通过这种方式,由排名器和检索器预测的候选句子的相关性得分将与由度量测量的它们的质量更一致。在CommonGen基准测试上的实验结果验证了该方法的有效性:(1)采用提取的排序器生成模型,取得了新的结果。(2)我们这一代的蒸馏猎犬模型甚至超过了以前的SOTA。
2022-10-21 cs.CL
Distilling Task-Specific Knowledge from BERT into Simple Neural Networks
University of Waterloo(滑铁卢大学)
在自然语言处理文献中,神经网络正变得越来越深入和复杂。这一趋势的最新代表是深度语言表示模型,其中包括BERT、ELMo和GPT。这些发展使人们相信,上一代用于语言理解的浅层神经网络已经过时了。然而,在本文中,我们证明了基本的,轻量级的神经网络仍然可以在没有架构变化,外部训练数据或额外的输入功能的情况下具有竞争力。我们建议将知识从BERT(一种最先进的语言表示模型)中提取到单层BiLSTM中,以及用于双对任务的连体对应物中。在释义、自然语言推理和情感分类的多个数据集上,我们实现了与ELMo相当的结果,同时使用了大约少100倍的参数和少15倍的推理时间。
2019-03-28 cs.CL cs.LG
Distilling Knowledge for Fast Retrieval-based Chat-bots
University of Tehran(德黑兰大学)
响应检索是神经排序的一个子集,其中模型从给定会话历史的一组候选者中选择合适的响应。基于检索的聊天机器人通常用于信息搜索会话系统,例如客户支持代理。为了在会话历史和候选响应之间进行成对比较,有两种方法是常见的:交叉编码器对这对进行完全自注意,双编码器对这对进行单独编码。前者给出了更好的预测质量,但对于实际使用来说太慢了。在本文中,我们提出了一个新的交叉编码器的架构和知识转移从这个模型到一个双编码器模型使用蒸馏。这有效地提高了双编码器的性能,在推理时间内没有成本。我们对三个响应检索数据集进行了详细的分析。
2020-04-23 cs.CL cs.IR
Distilling the Knowledge of BERT for Sequence-to-Sequence ASR
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
基于注意力的序列到序列(seq 2seq)模型在自动语音识别(ASR)中取得了令人鼓舞的结果。然而,由于这些模型以从左到右的方式解码,因此它们无法访问右侧的上下文。我们利用左和右上下文,通过知识蒸馏将BERT作为外部语言模型应用于seq 2seq ASR。在我们提出的方法中,BERT生成软标签来指导seq 2seq ASR的训练。此外,我们利用当前话语之外的上下文作为BERT的输入。实验结果表明,我们的方法显着提高了ASR性能从seq 2seq基线上的语料库的自发日语(CSJ)。从BERT的知识蒸馏优于从仅查看左上下文的Transformer LM的知识提取。我们还显示了利用上下文超出当前话语的有效性。我们的方法优于其他LM应用程序的方法,如n-best rescoring和浅融合,而它不需要额外的推理成本。
2020-08-09 cs.CL eess.AS
Distilling Knowledge Using Parallel Data for Far-field Speech Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
为了提高远场语音识别的性能,本文提出了利用并行数据从近距离说话模型到远场模型的知识提取方法。这种近距离交谈的模式被称为教师模式。远场模型被称为学生模型。训练学生模型以模仿教师模型的输出分布。该约束可以通过最小化学生模型和教师模型的输出分布之间的Kullback-Leibler(KL)发散来实现。AMI语料库上的实验结果表明,最好的学生模型实现了高达4.7%的绝对词出错率(WER)减少时,与传统的训练基准模型。
2018-02-20 cs.CL cs.SD eess.AS
Distilling Hypernymy Relations from Language Models: On the Effectiveness of Zero-Shot Taxonomy Induction
BITS Pilani(Birla理工学院皮拉尼校区);Cardiff University(卡迪夫大学)
本文分析了zero-shot分类学习方法,该方法通过提示和句子评分从语言模型中提取知识。我们表明,尽管它们很简单,这些方法优于一些监督策略,并在适当的条件下与当前最先进的竞争力。我们还表明,提示的统计和语言特性决定下游的性能。
2022-02-10 cs.AI cs.CL
Distilling Multi-Scale Knowledge for Event Temporal Relation Extraction
National Institutes of Health(美国国立卫生研究院);Carnegie Mellon University(卡内基梅隆大学);Allen Institute for AI(艾伦人工智能研究所)
本文提出知识协同蒸馏方法MulCo,通过对比学习在多个事件对邻近带间共享多尺度知识,成功整合长短邻近带的语言线索,在多个ETRE基准数据集上取得新的SOTA结果。
2024-07-26 cs.AI cs.CL cs.LG
Distilling the Knowledge of Romanian BERTs Using Multiple Teachers
Research Institute for Artificial Intelligence, Romanian Academy(罗马尼亚科学院人工智能研究所)
在计算受限的环境中运行大规模预训练语言模型仍然是一个有待解决的挑战性问题,而从这些模型中进行迁移学习在自然语言处理任务中已经变得普遍。之前已经提出了几种解决方案,包括知识蒸馏,网络量化或网络修剪;然而,这些方法主要集中在英语语言上,从而在考虑低资源语言时扩大了差距。在这项工作中,我们介绍了三个轻型和快速版本的蒸馏BERT模型的罗马尼亚语:蒸馏BERT-基-ro,蒸馏-RoBERT-基,蒸馏多BERT-基-ro。前两个模型导致从两个基础版本的罗马尼亚BERT文献中的知识的个人蒸馏,而最后一个是通过蒸馏他们的合奏。据我们所知,这是第一次尝试创建公开可用的罗马尼亚蒸馏BERT模型,这是彻底评估的五个任务:词性标记,命名实体识别,情感分析,语义文本相似性,和方言识别。我们的实验结果表明,这三种蒸馏模型的性能与它们的老师相当,而在GPU上的速度是老师的两倍,体积小了约35%。此外,我们进一步测试我们的学生与他们的老师的预测之间的相似性,通过测量他们的标签和概率忠诚度,以及回归忠诚度-在这项工作中引入的一个新的度量。
2022-04-13 cs.CL cs.LG
Distilling neural networks into skipgram-level decision lists
Computational Linguistics and Psycholinguistics Research Center (CLiPS)(计算语言学与心理语言学研究中心(CLiPS));University of Antwerp(安特卫普大学);School of Computing and Information Systems, University of Melbourne(墨尔本大学计算与信息系统学院)
以往关于递归神经网络解释的研究主要集中在寻找网络最重要输入段作为解释的方法上。在这种情况下,这些输入片段相互结合以形成解释性模式的方式仍然未知。为了克服这一点,以前的一些工作试图在数据中找到解释神经输出的模式(称为规则)。然而,它们的解释往往对模型参数不敏感,这限制了文本解释的可扩展性。为了克服这些限制,我们提出了一个管道,通过skipgram上的决策列表(也称为规则)来解释RNN。为了评估解释,我们创建了一个合成的脓毒症识别数据集,并将我们的技术应用于其他临床和情感分析数据集。我们发现,我们的技术持续实现高解释保真度和定性可解释的规则。
2020-05-18 cs.CL cs.LG stat.ML
Distilling Text LMs into Speech-to-Speech LMs by Matching Internal Text Predictions
TTI-Chicago(芝加哥信息技术研究所);Stony Brook University(石溪大学)
本研究首次将文本LM蒸馏应用于语音到语音LM,通过构建内部文本接口实现知识迁移,提升了语音延续生成困惑度及文本、语音评估下的事实性能。
2026-10-14 cs.CL
Distilling the Knowledge of BERT for CTC-based ASR
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
在自动语音识别(ASR)中,基于连接主义时态分类(CTC)的模型因其快速推理而备受关注。语言模型(LM)集成方法,如浅层融合和重评分,可以提高识别准确率的CTC为基础的ASR利用文本语料库中的知识。然而,它们显著减慢了CTC的推断。在这项研究中,我们建议提取BERT的知识,基于CTC的ASR,扩展我们以前的研究,基于注意力的ASR。基于CTC的ASR在训练过程中学习BERT的知识,在测试过程中不使用BERT,保持了CTC的快速推理能力。与基于注意力的模型不同,基于CTC的模型进行帧级预测,因此它们需要与BERT的标记级预测对齐以进行蒸馏。我们建议通过计算最合理的CTC路径来获得对齐。在自然日语语料库(CSJ)和TED-LIUM 2上的实验结果表明,该方法在不影响推理速度的前提下,提高了基于CTC的自动识别的性能。
2022-09-05 cs.CL cs.SD eess.AS
Distilling Linguistic Context for Language Model Compression
KAIST(韩国科学技术院);AITRICS(艾特里克斯)
最近语言表示学习的成功背后是一个计算昂贵和内存密集的神经网络。知识蒸馏是在资源稀缺的环境中部署如此庞大的语言模型的一种主要技术,它可以无限制地传输学习到的单个单词表示的知识。本文基于语言表征相对定位和整体语义知识含量较高的观点,提出了一种新的语言表示学习知识提取目标,即通过两种不同的表征关系:词关系和层转换关系来传递语境知识。不像其他最近的语言模型的蒸馏技术,我们的上下文蒸馏没有任何限制,教师和学生之间的架构变化。我们验证了我们的方法的有效性,具有挑战性的基准测试的语言理解任务,不仅在各种规模的架构,而且结合DynaBERT,最近提出的自适应大小修剪方法。
2021-09-17 cs.AI cs.CL cs.LG
Distilling the Knowledge of Large-scale Generative Models into Retrieval Models for Efficient Open-domain Conversation
Hyperconnect
尽管大规模生成模型在开放域会话中表现出色,但由于高延迟,它们对于构建实时会话系统来说不太实用。另一方面,检索模型可以返回具有低得多的延迟的响应,但表现出不如大规模生成模型的性能,因为会话质量受到预定义的响应集的限制。为了利用这两种方法,我们提出了一种新的训练方法,称为G2R(生成到检索蒸馏),它保留了检索模型的效率,同时通过将生成模型的知识注入检索模型,利用大规模生成模型的会话能力。G2R由两种不同的蒸馏技术组成:数据级G2R通过大规模生成模型生成的额外响应来增强对话数据集,模型级G2R通过知识蒸馏损失将生成模型评估的响应质量分数转换为检索模型的分数。通过包括人工评估在内的广泛实验,我们证明了我们使用G2R训练的基于检索的对话系统与基线检索模型相比表现出了显著的性能改善,同时比大规模生成模型表现出更低的推理延迟。
2021-08-31 cs.AI cs.CL
From Models to Microtheories: Distilling a Model's Topical Knowledge for Grounded Question Answering
Johns Hopkins University(约翰斯·霍普金斯大学);Allen Institute for AI(艾伦人工智能研究所);Thomas Jefferson University(托马斯杰斐逊大学);University of Arizona(亚利桑那大学)
本文提出微理论方法,通过蒸馏语言模型的主题核心知识生成简洁非冗余的句子集,有效补充语料库,提升基于事实问答的准确性与可验证性,并提供可解释的模型知识窗口。
2024-12-24 cs.CL
Short Data, Long Context: Distilling Positional Knowledge in Transformers
Meta Reality Labs(Meta现实实验室)
本文通过基于logit的知识蒸馏,在不使用长上下文预训练的情况下,实现了长上下文检索能力的转移,揭示了位置信息在模型中的传播机制及参数更新模式。
2026-04-07 cs.CL cs.LG
Structural Knowledge Distillation: Tractably Distilling Information for Structured Predictor
ShanghaiTech University(上海科技大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
知识蒸馏是在模型之间传递知识的关键技术,通常是从大型模型(教师)到更细粒度的模型(学生)。知识蒸馏的目标函数通常是教师和学生的输出分布之间的交叉熵。然而,对于结构化预测问题,输出空间的大小是指数级的;因此,交叉熵目标变得难以直接计算和优化。在本文中,我们推导出结构化预测的知识蒸馏目标的因式分解形式,这是易于处理的教师和学生模型的许多典型的选择。特别地,我们在四种不同的情况下,展示了序列标记和依存句法分析模型之间的结构知识蒸馏的易处理性和经验有效性:1)教师和学生共享输出结构评分函数的相同分解形式; 2)学生分解比教师分解产生更多的细粒度子结构; 3)教师分解比学生分解产生更多的细粒度子结构; 4)教师和学生的分解形式是不相容的。
2021-06-02 cs.AI cs.CL cs.LG
Distilling Dense Representations for Ranking using Tightly-Coupled Teachers
University of Waterloo(滑铁卢大学)
我们提出了一种方法来排名与密集表示,应用知识蒸馏,以改善最近提出的后期互动ColBERT模型。具体来说,我们从ColBERT的表达MaxSim运算符中提取知识,用于计算相关性分数到一个简单的点积中,从而实现单步ANN搜索。我们的关键见解是,在蒸馏过程中,教师模型和学生模型之间的紧密耦合可以实现更灵活的蒸馏策略,并产生更好的学习表示。我们的经验表明,我们的方法提高了查询延迟,大大降低了ColBERT的繁重的存储要求,而在有效性方面只作出适度的牺牲。通过将我们的密集表示与来自文档扩展的稀疏表示相结合,我们能够接近使用慢几个数量级的BERT的标准交叉编码器重排序器的有效性。
2020-10-22 cs.CL cs.IR
SpeechCT-CLIP: Distilling Text-Image Knowledge to Speech for Voice-Native Multimodal CT Analysis
Computer Aided Medical Procedures, Technical University of Munich(慕尼黑技术大学计算机辅助医学程序)
针对医疗AI依赖书面文本的问题,该研究合成Speech-RATE语音放射报告数据集,提出SpeechCT-CLIP模型,通过文本-图像CLIP知识蒸馏对齐语音与3D CT,大幅提升零样本分类性能,为语音驱动临床诊断工具奠定基础。
2025-09-24 cs.CL eess.AS
BootstrapAgent: Distilling Repository Setup into Reusable Agent Knowledge
Zhejiang University(浙江大学);The Australian National University(澳大利亚国立大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
BootstrapAgent通过提炼仓库初始化过程中的启发式知识,生成可验证的代理合同,提升代码代理在 unfamiliar repositories 的任务成功率和效率。
2026-05-15 cs.CL cs.MA cs.SE
Distilling Closed-Source LLM's Knowledge for Locally Stable and Economic Biomedical Entity Linking
Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);University of Chinese Academy of Sciences(中国科学院大学);Changsha Aier Eye Hospital(长沙爱尔眼科医院);Portland State University(波特兰州立大学)
提出RPDR框架,结合闭源与开源LLM,通过蒸馏知识实现本地部署,解决生物医学实体链接中闭源LLM的稳定性与经济成本问题,在低资源数据下显著提升准确率。
2025-05-26 cs.AI cs.CL
KNIFE: Distilling Reasoning Knowledge From Free-Text Rationales
University of Southern California(南加州大学);Harvard-Westlake School(哈佛-西湖学校);University of Virginia(弗吉尼亚大学);Tsinghua University(清华大学)
提出KNIFE框架,通过将自由文本理由中的推理知识蒸馏到小型LM的隐藏状态中,使其在全监督和低资源设置下均优于现有微调和提示基线。
2023-05-22 cs.AI cs.CL cs.LG
Corpus2Skill: Distilling Enterprise Knowledge into Navigable Agent Skills for QA and RAG
Magellan Technology Research Institute(马格纳技术研究 institute)
本文提出Corpus2Skill,通过将文档库转化为层次化技能目录,使LLM代理在服务时能导航该目录,提升问答质量和 grounding,但指出导航并非所有场景下的最佳替代方案。
2026-08-27 cs.AI cs.CL cs.IR