Quantifying the Knowledge in a DNN to Explain Knowledge Distillation for Classification
Shanghai Jiao Tong University(上海交通大学)
与传统的从头开始学习相比,知识蒸馏有时会使DNN获得更好的性能。本文提供了一个新的视角来解释知识蒸馏的成功,即,基于信息论,量化DNN中间层中编码的知识点以进行分类。为此,我们将DNN中的信号处理视为逐层信息丢弃。一个知识点被称为一个输入单元,它的信息被丢弃的比其他输入设备少得多。因此,我们提出了三个假设的基础上量化的知识点的知识蒸馏。1.从知识蒸馏学习的DNN比从头开始学习的DNN编码更多的知识点。2.知识蒸馏使DNN更有可能同时学习不同的知识点。相比之下,从头开始学习的DNN倾向于顺序编码各种知识点。3.从知识蒸馏中学习的DNN通常比从头开始学习的DNN更稳定。为了验证上述假设,我们设计了三种带有前景对象标注的度量指标来分析DNN的特征表示、\textit{i.e.}知识点的数量和质量、不同知识点的学习速度以及优化方向的稳定性。在实验中,我们为不同的分类任务诊断了各种DNN,即,图像分类、三维点云分类、二值情感分类和问答等实验验证了上述假设。
2022-08-18 cs.AI cs.CV cs.LG
Ensemble diverse hypotheses and knowledge distillation for unsupervised cross-subject adaptation
Southern University of Science and Technology(南方科技大学);The University of British Columbia(不列颠哥伦比亚大学)
识别人类的运动意图和活动对于控制可穿戴机器人在复杂环境中行走具有重要意义。然而,人机接口信号通常是用户依赖的,这导致在源主题上训练的分类器在新主题上表现不佳。针对这一问题,设计了集成多元假设和知识蒸馏(EDHKD)方法,实现无监督的跨学科自适应。EDH缓解了源主体的标记数据和目标主体的未标记数据之间的分歧,以准确地分类目标主体的运动模式,而无需标记数据。与以往基于单个学习器的领域自适应方法只能从输入信号中学习一个子集的特征相比,EDH通过引入多个不同的特征生成器来学习不同的特征,从而提高了目标数据分类的准确性,降低了分类的方差,但牺牲了效率。为了解决这个问题,EDHKD(学生)将来自EDH(教师)的知识提取到单个网络中,以保持高效和准确。在2D月球数据集和两个公开的人类运动数据集上,EDHKD的性能得到了理论证明和实验验证。实验结果表明,EDHKD优于所有其他方法。EDHKD可以在上述三个数据集上以96.9%,94.4%和97.4%的平均准确率对目标数据进行分类,计算时间较短(1 ms)。与基准(BM)方法相比,EDHKD提高了1.3%和7.1%的平均准确率分类的目标主体的运动模式。EDHKD还稳定了学习曲线。因此,EDHKD对于提高人类意图预测和人类活动识别系统的泛化能力和效率,从而改善人机交互具有重要意义。
2022-04-15 cs.AI cs.LG cs.RO
Knowledge Distillation for Large Language Models
本文提出一种高效的压缩框架,结合引导的思维链强化学习,通过知识蒸馏和链式思维提示提升模型效率,实现更小规模的模型部署。
2026-03-14 cs.AI cs.CL
Improving Mathematical Reasoning Capabilities of Small Language Models via Feedback-Driven Distillation
针对小型语言模型数学推理能力不足的问题,提出反馈驱动的蒸馏框架,通过按难度分类生成变体问题并进行多轮迭代蒸馏,使SLMs达到SOTA数学推理性能。
2024-11-22 cs.AI cs.CL
Harnessing the Power of Adversarial Prompting and Large Language Models for Robust Hypothesis Generation in Astronomy
Australian National University(澳大利亚国立大学);European Space Agency(欧洲空间局);Columbia University(哥伦比亚大学)
本研究利用GPT-4结合上下文提示与对抗性提示,从NASA ADS的1000篇论文中提取知识,显著提升天文学假设生成的稳健性与有效性。
2023-06-20 astro-ph.GA astro-ph.IM cs.AI
Efficient Technical Term Translation: A Knowledge Distillation Approach for Parenthetical Terminology Translation
PrompTart LAB(PrompTart实验室);MODULABS(MODULABS公司)
本文提出括号术语翻译任务,通过知识蒸馏微调NMT和小规模大语言模型,并设计新评估指标,发现微调优于少样本提示,推动术语翻译可靠性提升。
2024-10-01 cs.AI cs.CL
Hallucination as a Feature, not a Defect: Evaluating a multi-agent architecture to transform speculative language-model outputs into testable scientific hypotheses
IES Parquesol(帕尔奎索尔学院)
该研究提出基于Rust的多智能体架构,通过生成与评估智能体的认识论摩擦循环将LLM的推测性输出转化为可检验假说,实验显示该架构在需经受严格约束时更具优势,且各架构在原创性等维度的平衡表现不同。
2026-08-21 cs.AI cs.CL cs.MA
Mentor-KD: Making Small Language Models Better Multi-step Reasoners
Korea University(高丽大学)
提出Mentor-KD框架,利用中间规模的导师模型增强CoT标注并提供软标签,有效解决LLM教师模型蒸馏集不足问题,将多步推理能力蒸馏至小型语言模型。
2024-10-11 cs.AI cs.CL
VisionCoach: Reinforcing Grounded Video Reasoning via Visual-Perception Prompting
VisionCoach通过视觉提示指导强化学习,提升视频推理的时空定位能力,实现无需外部工具的高效推理。
2026-08-25 cs.AI cs.CV
Hypothesis Search: Inductive Reasoning with Language Models
Stanford University(斯坦福大学);Autodesk Research(Autodesk 研究院)
本文提出一种通过生成多层次抽象假设并转化为Python程序来提升大型语言模型归纳推理能力的方法,在ARC等基准上显著优于直接提示基线。
2024-05-30 cs.AI cs.CL cs.LG
Mixed Distillation Helps Smaller Language Model Better Reasoning
Zhejiang University(浙江大学);Alibaba(阿里巴巴);Dalian Medical University(大连医科大学)
本文提出混合蒸馏(MD)框架,融合大语言模型的思维程序与思维链能力并蒸馏到较小模型,显著提升其单路径和多路径推理性能,在SVAMP上LLaMA2-7B和CodeLlama-7B分别超过GPT-3.5-Turbo 2.5%和3.5%。
2024-02-25 cs.AI cs.CL
HypER: Literature-grounded Hypothesis Generation and Distillation with Provenance
University of Zurich(苏黎世大学);Cornell University(康奈尔大学);Allen Institute for AI(艾伦人工智能研究院)
HypER通过训练小型语言模型进行文献引导推理与证据支撑的假设生成,在区分有效推理链和生成高质量假设上显著优于基础模型。
2025-08-21 cs.AI cs.CL
Sci-CoT: Leveraging Large Language Models for Enhanced Knowledge Distillation in Small Models for Scientific QA
South China Normal University(华南师范大学)
本文提出两阶段框架 Sci-CoT,通过知识蒸馏将大模型的思维链推理能力迁移到小模型,使 8000 万参数模型在 ARC-Easy 科学问答数据集上超越 BLOOM-176B。
2023-08-09 cs.AI cs.CL
Distilling LLM Agent into Small Models with Retrieval and Code Tools
KAIST(韩国科学技术院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);KRAFTON(KRAFTON公司)
本文提出Agent Distillation框架,通过first-thought prefix提示和自洽动作生成,将LLM智能体的推理与工具使用能力蒸馏到小模型中,在多个任务上取得与更大模型相竞争的性能。
2025-11-05 cs.AI cs.CL
Hypothesis Generation with Large Language Models
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文提出基于数据的大型语言模型假设生成方法,通过少量样本生成初始假设并迭代更新,利用多臂老虎机启发式奖励函数平衡探索与利用,在多个数据集上显著超越少样本提示和监督学习,并揭示新见解。
2024-12-18 cs.AI cs.CL cs.CY
Evolutionary Contrastive Distillation for Language Model Alignment
Amazon(亚马逊公司)
提出演化对比蒸馏(ECD)方法,通过逐步演化指令生成困难负样本对比数据,结合DPO对比学习算法提升语言模型复杂指令遵循能力,7B模型性能超越SOTA 7B并媲美70B模型。
2024-10-10 cs.AI cs.CL cs.LG
PromptMix: A Class Boundary Augmentation Method for Large Language Model Distillation
University of Waterloo(滑铁卢大学);ServiceNow Research(ServiceNow研究院);Mila, McGill University(麦吉尔大学米拉研究所)
提出PromptMix方法,通过在类边界生成增强文本并利用LLM重新标记,有效将大型模型知识蒸馏至小型分类器,在少样本设置下优于多种基线方法。
2023-10-22 cs.AI cs.CL
Retrieval-Feedback-Driven Distillation and Preference Alignment for Efficient LLM-based Query Expansion
本文提出一种检索反馈驱动的蒸馏与偏好对齐框架,通过从强教师模型转移检索友好的扩展行为到紧凑的学生模型,以降低推理成本并提升检索效果。
2026-03-14 cs.AI cs.IR
DN-Hypo-Pipeline: An AI-Driven Workflow for Generating Hypotheses using Large Language Models and Scientific Explanations
Computer Network Information Center, Chinese Academy of Sciences, China(中国科学院计算机网络信息中心)
提出DN-Hypo-Pipeline,利用大语言模型和科学解释作为先验知识,从现有文献中推导新假设,在数据科学建模中通过统计推断和专家评估证明优于直接生成方法,并验证了生成假设对应的算法性能。
2026-07-24 cs.AI
Codifying the Judge: Scalable Evaluation via Program Distillation
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
研究针对基于语言模型的评判器成本高、延迟大等问题,提出用程序蒸馏方法,将其决策逻辑提炼成程序委员会。引入PAJAMA系统,实验显示程序评判器性能可匹配大语言模型,还能提高准确率和吞吐量,产生廉价有效奖励信号。
2026-09-29 cs.AI cs.LG
SAM-SP: Self-Prompting Makes SAM Great Again
Zhejiang University(浙江大学)
本文提出基于自提示的微调方法SAM-SP,利用模型前一次迭代的输出作为后续迭代的提示,并集成自蒸馏模块,有效减少了对专家提示的依赖,在多个特定领域数据集上实现了优于现有方法的分割性能。
2024-08-22 cs.AI cs.CV cs.ET
Residual SODAP: Residual Self-Organizing Domain-Adaptive Prompting with Structural Knowledge Preservation for Continual Learning
Department of Electrical and Computer Engineering, Sungkyunkwan University, Suwon 16419, Republic of Korea(釜山大学电气与计算机工程系,Suwon 16419,韩国)
本文提出残差SODAP,结合提示表示适应与分类器级知识保留,通过α-entmax稀疏提示选择、残差聚合、数据无关蒸馏与伪特征重放等方法,在无任务ID和额外数据存储的三个DIL基准上取得最优AvgACC/AvgF性能。
2026-03-13 cs.AI cs.CV cs.LG
Multi-Modal Few-Shot Object Detection with Meta-Learning-Based Cross-Modal Prompting
Columbia University(哥伦比亚大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究了多模态Few-Shot目标检测(FSOD),利用Few-Shot视觉样本和类别语义信息进行检测,这两种信息在定义上是互补的。以往的多模态FSOD算法大多是基于微调的,对于在线应用来说效率很低。此外,这些方法通常需要像类名这样的专业知识来提取类语义嵌入,这对于稀有类来说很难获得。我们的方法的动机是高层次的概念相似性(基于度量的)元学习和基于聚类的学习,学习可推广的Few-Shot和zero-shot目标检测模型分别没有微调。具体来说,我们结合Few-Shot视觉分类器和文本分类器分别通过元学习和基于学习的多模态分类器和检测模型。此外,为了充分利用预先训练的语言模型,我们提出了基于元学习的跨模态提示,为Few-Shot视觉示例中的新类生成软提示,然后将其用于学习文本分类器。引入了知识蒸馏来学习软提示生成器,而不使用人类对类名的先验知识,这可能不适用于稀有类。我们的见解是,Few-Shot支持图像自然包括相关的上下文信息和类的语义。我们综合评估多个Few-Shot目标检测基准提出的多模态FSOD模型,取得了可喜的成果。
2023-03-27 cs.AI cs.CV cs.MM
CollectionLoRA: Collecting 50 Effects in 1 LoRA via Multi-Teacher On-Policy Distillation
Zhejiang University(浙江大学);Qwen Applications Business Group of Alibaba(阿里巴巴Qwen应用业务组);Xi'an Jiaotong University(西安交通大学)
提出CollectionLoRA框架,通过多教师在线策略蒸馏将多达50种不同效果LoRA和少步生成能力整合到单个LoRA中,解决参数干扰并降低部署成本。
2026-05-27 cs.AI cs.CV
Efficient Reasoning Distillation: Small Video-Language Models via Synthetic CoT and Difficulty-Aware Fine-Tuning
Liverpool John Moores University(利物浦约翰摩尔大学);Carnegie Mellon University(卡内基梅隆大学);Meta;University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本研究提出一种高效推理蒸馏方法,通过约900个不确定性筛选示例和4B教师生成的合成思维链微调2B视频语言模型,在极低计算成本下超越4倍规模模型,并发现将思维链置于答案后可显著提升紧凑模型推理能力。
2026-09-16 cs.AI cs.CV cs.LG
Large Language Model Teaches Visual Students: Cross-Modality Transfer of Fine-Grained Conceptual Knowledge
提出LaViD框架,利用语言模型生成多选题来蒸馏细粒度视觉概念,无需多模态数据,在多个基准上超越现有方法。
2026-06-29 cs.AI cs.CV cs.LG
Distilling Internet-Scale Vision-Language Models into Embodied Agents
Princeton University(普林斯顿大学);DeepMind(深度思维)
该研究提出结合模型蒸馏与后见经验回放,用互联网规模预训练视觉语言模型监督具身智能体,通过提示控制监督信号,实现新物体交互与抽象类别教学,为具身智能体的语言锚定提供了新路径。
2023-06-14 cs.AI
Evolving, Not Training: Zero-Shot Reasoning Segmentation via Evolutionary Prompting
Xiamen University(厦门大学);National University of Singapore(新加坡国立大学)
本文提出EVOL-SAM3,通过进化提示方法实现零样本推理分割,克服传统方法的局限性,提升分割性能。
2025-12-31 cs.AI cs.CV
Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation
Bocconi University(博科尼大学);University of Zurich(苏黎世大学);University of Gothenburg(哥德堡大学);LIACS, Leiden University(莱顿大学高级计算机科学研究院);GESIS, Leibniz Institute for the Social Sciences(莱布尼茨社会科学研究所)
该研究提出“LLM hacking”概念,揭示刻意或意外的模型配置选择易导致文本标注研究得出错误结论,并通过大量实验量化风险、验证缓解技术效果,给出实用预防建议。
2025-10-06 cs.AI cs.CL cs.LG
Evaluating ChatGPT-3.5 Efficiency in Solving Coding Problems of Different Complexity Levels: An Empirical Analysis
University of Southern California(南加州大学)
本文在LeetCode平台上实证评估了ChatGPT的GPT-3.5-turbo模型解决不同难度编码问题的能力,验证了难度递增导致性能下降、提示工程提升效果及流行编程语言表现更优三个假设。
2024-11-12 cs.AI cs.SE
Towards Machine Theory of Mind with Large Language Model-Augmented Inverse Planning
Department of Psychology, University of Toronto(多伦多大学心理学系);Vector Institute(向量研究所);Schwartz Reisman Institute of Technology & Society, University of Toronto(多伦多大学科技与社会研究所);Department of Computer Science, University of Toronto(多伦多大学计算机科学系)
本文提出将大语言模型与贝叶斯逆向规划相结合的混合方法,利用LLM生成假设和似然函数,以提升机器心智理论任务中的心理状态预测性能,并在开放式任务中展现潜力。
2025-07-04 cs.AI cs.LG
Effective and Efficient Threat Hunting with Small Language Models
University of Virginia(弗吉尼亚大学)
本文提出一个三调节框架,利用小型语言模型实现高效、低成本的安全查询生成,实验表明其在语法和语义准确性上优于现有方法。
2026-09-18 cs.AI cs.CR