Socio-Foundation: A Model for Generalizable Individual Behavior Simulation via Hierarchical Capability Distillation
School of Data Science, Fudan University(复旦大学数据科学学院);Shanghai Innovation Institute(上海创新研究院);Tencent(腾讯)
针对通用LLM模拟个体行为时人物特质扁平化与任务微调泛化不足的问题,提出基于FONTS分类法及三阶段分层能力蒸馏的Socio-Foundation模型,在IndiEval上超越基础模型11.0分并接近前沿模型。
2026-10-08 cs.AI
Counteraction-Aware Multi-Teacher On-Policy Distillation for General Capability Recovery with Domain Preservation
Kuaishou Technology, Beijing, China(快手科技,北京,中国)
针对多教师同策略蒸馏在提示覆盖不完全时出现的恢复-保留对抗和弱信号平坦化问题,提出CaMOPD方法,通过解耦交替训练和基于差距的样本选择,在保持领域性能的同时有效恢复通用能力。
2026-09-15 cs.AI
The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation
Salesforce AI Research(Salesforce AI研究院)
本文提出CaOPD框架,通过估计模型运行时的置信度来解决在线策略蒸馏中因信息不匹配导致的过度自信问题,实现了校准优化与能力保持的平衡。
2026-04-18 cs.AI cs.LG
Slow-Fast Multi-Teacher On-Policy Distillation for Capability Preservation
Ant Security Lab, Ant Group(蚂蚁安全实验室,蚂蚁集团);Fudan University(复旦大学)
针对多教师蒸馏导致学生模型通用能力下降的问题,提出SF-MOPD方法,通过快速与慢速模型耦合,仅移除偏离慢速模型的更新成分,有效缓解能力干扰并提升多模态专长。
2026-10-05 cs.AI cs.LG
Let the Data Decide: Supervision Analysis, Capability Trade-offs, and Adaptive Objective Routing in Continued Pre-Training via Off-Policy Distillation
Baidu Inc.(百度公司)
研究离策略蒸馏中训练数据、目标参数化和模型能力的相互作用,通过分解问题进行“目标到能力”和“数据到目标”分析,引入诊断指标量化张力,探讨自适应目标路由,表明有效路由取决于信号质量,将持续预训练重构为监督设计问题。
2026-07-21 cs.AI cs.LG
Skill-Decoupled On-Policy Expert Distillation for Unified Vision-Language Models
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Alibaba Group(阿里巴巴集团)
该研究针对视觉-语言模型联合优化的梯度冲突问题,提出SCOPED方法,经8个多模态基准测试验证其性能优于基线,可有效整合独立获取的专用能力。
2026-10-16 cs.AI cs.CV
Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation
SIA-Lab of Tsinghua AIR and ByteDance Seed(清华大学AIR与字节跳动种子SIA实验室);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
本研究针对多教师在线蒸馏(M-OPD)的能力不平衡问题,提出 Open-MOPD 框架,通过三种机制将提升空间恢复率从 35.6% 提升至 83.4%,并开源了相关方案与评估套件。
2026-08-20 cs.AI cs.CL cs.LG
Embracing the Dark Knowledge: Domain Generalization Using Regularized Knowledge Distillation
Nanyang Technological University(南洋理工大学);City University of Hong Kong(香港城市大学)
虽然卷积神经网络被广泛应用于不同的任务,但在缺乏足够和代表性数据的情况下缺乏泛化能力是阻碍其实际应用的挑战之一。在本文中,我们提出了一个简单,有效的,即插即用的训练策略命名为知识蒸馏领域泛化(KDDG),这是建立在一个知识蒸馏框架与梯度过滤器作为一个新的正则化项。我们发现,教师网络中“更丰富的暗知识”以及我们提出的梯度滤波器都可以降低学习映射的难度,从而进一步提高模型的泛化能力。我们还进行了广泛的实验,通过将我们的方法与现有的最先进的领域泛化技术进行比较,表明我们的框架可以显着提高深度神经网络在不同任务中的泛化能力,包括图像分类,分割,强化学习。最后但并非最不重要的是,我们建议采用两个指标来分析我们提出的方法,以便更好地理解我们提出的方法如何有利于深度神经网络的泛化能力。
2021-07-06 cs.AI cs.CV
A Public Theory of Distillation Resistance via Constraint-Coupled Reasoning Architectures
The Institute of Energetic Paradigm(能量范式研究所)
本文提出一种理论框架,通过约束耦合推理架构减少蒸馏 asymmetry,核心观点是高阶能力与内部稳定性约束耦合时蒸馏价值降低,提供可验证的理论主张和实验假设。
2026-03-26 cs.AI cs.CR cs.CY
DOPD: Dual On-policy Distillation
NUS(新加坡国立大学);MMLab, CUHK(香港中文大学多媒体实验室);PKU(北京大学);Explore Academy, JD(京东探索研究院)
提出DOPD方法,通过优势感知的双重蒸馏范式动态分配令牌级监督,缓解特权幻觉,在LLM和VLM上优于传统在线策略蒸馏。
2026-06-29 cs.AI
Antidistillation Sampling
Carnegie Mellon University(卡内基梅隆大学)
反蒸馏采样通过修改模型的下一令牌概率分布来污染推理轨迹,从而在不损害模型性能的前提下,有效限制模型蒸馏,保护模型知识产权。
2025-10-26 cs.AI cs.CL
Dynamic Corrective Self-Distillation for Better Fine-Tuning of Pretrained Models
McGill University(麦吉尔大学);Stanford University(斯坦福大学);Amazon AI(亚马逊人工智能)
针对预训练语言模型在小样本下游任务微调时的性能下降问题,提出动态纠错自蒸馏方法,通过迭代调整数据权重实现自修正,经GLUE基准验证可提升多种模型的微调性能与鲁棒性。
2023-12-12 cs.AI cs.CL
Knowledge Distillation for Large Language Models
本文提出一种高效的压缩框架,结合引导的思维链强化学习,通过知识蒸馏和链式思维提示提升模型效率,实现更小规模的模型部署。
2026-03-14 cs.AI cs.CL
Distilling LLM Agent into Small Models with Retrieval and Code Tools
KAIST(韩国科学技术院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);KRAFTON(KRAFTON公司)
本文提出Agent Distillation框架,通过first-thought prefix提示和自洽动作生成,将LLM智能体的推理与工具使用能力蒸馏到小模型中,在多个任务上取得与更大模型相竞争的性能。
2025-11-05 cs.AI cs.CL
Drive-KD: Multi-Teacher Distillation for VLMs in Autonomous Driving
University of Science and Technology of China(中国科学技术大学)
本文提出Drive-KD框架,通过将自动驾驶分解为感知-推理-规划三元组,并利用知识蒸馏转移能力,构建了专用教师模型,并通过异构梯度投影缓解跨能力梯度冲突,验证了方法在不同模型家族和规模上的泛化能力,展示了蒸馏模型在自动驾驶任务中的优越性能。
2026-06-04 cs.AI cs.CV
SCOPE: Signal-Calibrated On-Policy Distillation Enhancement with Dual-Path Adaptive Weighting
University of Science and Technology of China(中国科学技术大学);Meituan LongCat Interaction Team(美团 LongCat 交互团队);Nanjing University(南京大学);Fudan University(复旦大学);Huazhong University of Science and Technology(华中科技大学)
针对在线策略强化学习中奖励稀疏导致的信用分配难题,提出SCOPE框架,通过双路径自适应加权机制分别处理正确与错误轨迹,实现信号校准的蒸馏增强,在六个推理基准上平均提升11.42%的Avg@32和7.30%的Pass@32。
2026-05-30 cs.AI cs.CL cs.LG
From Multi-Agent to Single-Agent: When Is Skill Distillation Beneficial?
The Chinese University of Hong Kong(香港中文大学);LIGHTSPEED
研究探讨了技能蒸馏在多智能体系统到单智能体系统转换中的有效性,提出通过评估指标的拓扑刚性预测技能效用,并引入AdaSkill框架实现自适应蒸馏。
2026-08-20 cs.AI
From Scoring to Acting: Outcome-Verified Comparative Self-Distillation for LLM Agents
该研究针对LLM智能体现有自蒸馏方法的局限,提出OVCSD方法,经实验在ALFWorld和WebShop数据集上显著提升了智能体任务完成成功率。
2026-07-31 cs.AI
AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses
Salesforce AI Research(Salesforce人工智能研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究提出在测试时通过构建 harness,无需重新训练即可将强模型的认知结构迁移给弱模型,使目标模型在四个心理理论基准上的平均性能从0.49提升至0.91,为模型能力迁移提供了新的思路。
2026-08-13 cs.AI cs.CL cs.LG
Revisiting the Capacity Gap in Chain-of-Thought Distillation from a Practical Perspective
The University of Tokyo(东京大学);CyberAgent
本文从实用角度重新审视链式思维蒸馏中的容量差距问题,提出更现实的评估协议,发现容量差距影响并非在所有任务和设置中主导,尤其当候选教师性能差异显著时,为选择合适的教师-学生对提供实践指导。
2026-09-30 cs.AI cs.CL cs.LG
Understanding and Improving Knowledge Distillation for Quantization-Aware Training of Large Transformer Encoders
Hanyang University(汉阳大学)
知识蒸馏(KD)是模型压缩的一种常用方法,它利用教师传授的知识来增强轻量级模型的能力。特别地,KD已被用于Transformer编码器(如BERT)的量化感知训练(QAT)中,以利用降低精度的权重参数来提高学生模型的准确性。然而,很少有人知道哪种KD方法最适合Transformers的QAT。在这项工作中,我们提供了一个深入的分析机制KD的注意力恢复的量化大Transformers。特别是,我们发现,以前采用的MSE损失的注意力分数是不够的恢复自我注意力的信息。因此,我们提出了两种KD方法:注意力地图和注意力输出损失。此外,我们探讨了这两种损失的统一,以解决注意力地图和输出损失之间的任务依赖性偏好。在各种Transformer编码器模型上的实验结果表明,所提出的KD方法实现了最先进的精度与子2位权重量化的QAT。
2022-11-20 cs.AI cs.CL
Woodpecker Distillation: Weak Models Diagnose Reasoning Bugs in Strong Models
Baidu Inc.(百度公司);Nanyang Technological University(南洋理工大学)
该研究提出Woodpecker Distillation框架,通过弱模型的局部干预对比学习,修复强模型的推理错误,在数学推理基准上提升了强模型性能且优于直接模仿基线。
2026-08-07 cs.AI cs.CL
Domain Specific Specialization in Low-Resource Settings: The Efficacy of Offline Response-Based Knowledge Distillation in Large Language Models
本文提出了一种基于离线响应的知识蒸馏方法,通过优化硬件资源,在低资源环境下实现高精度领域专用助手,验证了数据质量和结构对齐比数量更重要。
2026-01-05 cs.AI cs.CL
O3D: Offline Data-driven Discovery and Distillation for Sequential Decision-Making with Large Language Models
JPMorgan AI Research(摩根大通人工智能研究院)
针对LLM少样本示例不足与上下文长度受限的问题,提出离线框架O3D,利用大规模离线交互数据自动发现技能并蒸馏跨任务知识,无需微调即可提升LLM在ALFWorld和WebShop等序贯决策任务中的表现。
2024-02-26 cs.AI cs.CL
Towards Efficient CoT Distillation: Self-Guided Rationale Selector for Better Performance with Fewer Rationales
Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室);Shaoguan Research Institute of Data Industry(韶关数据产业研究院)
针对CoT蒸馏忽视理由质量的问题,本文提出MoRSD自引导选择高质量理由,并以RD指标控制难度,用更少数据在七个数据集上平均提升4.6%。
2025-09-28 cs.AI cs.CL
Tailoring the Curriculum: Student-Centered Reasoning Distillation via Dynamic Data-Model Compatibility
University of Tokyo(东京大学);Kyoto University(京都大学);National Institute of Informatics(日本信息处理研究所)
提出数据-模型兼容性(DMC)指标,通过联合考虑数据质量、相对难度和学生能力来评估数据集对推理蒸馏的适用性,并基于DMC动态选择数据以提升蒸馏性能。
2026-05-28 cs.AI
SMOPD: Multi-Reward Reinforcement Learning via Specialize-and-Merge Online Policy Distillation
针对多奖励强化学习中GDPO难以平衡不同粒度奖励信号的问题,提出SMOPD两阶段训练方法,在1.5B、3B、7B骨干模型上的互补与冲突奖励设置下性能优于GDPO。
2026-08-24 cs.AI cs.CL cs.LG
Distillation for Incrimination and Distillation for Capabilities
Redwood Research(红木研究院)
该研究针对AI模型的“蒸馏双重束缚”问题,提出DFI和DFC两种蒸馏方法,分别用于定罪未对齐模型、在不保留未对齐特性的前提下提取模型能力,为AI安全提供了新途径。
2026-10-09 cs.AI
Radioactive Feedback: Tracing Models Trained by Label-Only LLM Supervision
Wuhan University(武汉大学);Southeast University(东南大学)
本文提出Radioactive Feedback方法,将行为偏好模式编码为奖励信号,实现仅通过标量分数跨数据集传递偏好,可用于追踪仅通过标签式LLM监督训练的模型。
2026-10-14 cs.AI
An Empirical Analysis of the Impact of Data Augmentation on Knowledge Distillation
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
使用经验风险最小化训练的深度学习模型的泛化性能可以通过使用数据增强策略(如简单转换)或使用混合样本来显著提高。我们试图实证分析的影响,这种策略的教师和学生之间的模型的蒸馏设置的泛化转移。我们观察到,如果教师使用任何混合样本增强策略(如MixUp或CutMix)进行训练,则从中提取的学生模型的泛化能力会受损。我们假设这样的策略限制了模型学习特定于示例的特征的能力,导致在蒸馏过程中监督信号的质量损失。我们提出了一种新的类歧视度量定量测量这种二分法的性能,并将其链接到网络的潜在空间上的不同策略引起的歧视能力。
2020-06-09 cs.AI cs.CV cs.LG
Contrastive Representation Distillation via Multi-Scale Feature Decoupling
Key Laboratory of Information Science of Electromagnetic Waves, Fudan University(电磁波信息科学重点实验室,复旦大学)
本文提出与模型无关的蒸馏框架MSDCRD,通过将全局特征解耦为多尺度局部特征并结合定制对比损失,实现高效的单批次蒸馏,显著提升了同构及异构师生架构的性能。
2025-10-13 cs.AI cs.CV
Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information
Xiaohongshu Inc.(小红书公司);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出反自我蒸馏方法,通过分析点互信息解决自我蒸馏在数学推理中的不一致问题,提升模型推理能力。
2026-05-12 cs.AI cs.CL cs.LG
Exploring the potential of prototype-based soft-labels data distillation for imbalanced data classification
Sentic Lab SRL(Sentic Lab有限公司)
本文探索在Less-than-one shot学习背景下提出的基于原型的软标签蒸馏技术,通过在蒸馏过程中集成优化步骤提升不平衡数据分类准确率,并验证其作为数据增强方法的有效性。
2024-03-25 cs.AI cs.LG
Data-Efficient On-Policy Distillation for Automatic Speech Recognition
AutoArk-AI
提出一种在线策略蒸馏方法,利用教师模型(Qwen-ASR)在仅10万小时语音数据下提升学生模型(Ark-ASR)的识别能力,在多个基准上超越同规模基线。
2026-05-27 cs.AI
Teacher Supervision over Representation Equivalence Classes
Korea University of Technology and Education(韩国科技教育大学);Biomonster Co.(生物怪物公司)
研究知识蒸馏中教师表示的等价类问题,指出预训练表示在正交和各向同性缩放等价类下才是可识别的,核心方法是关注类不变量,主要贡献是统一多种知识蒸馏方法并验证框架。
2026-07-07 cs.AI cs.LG
Momentum Adversarial Distillation: Handling Large Distribution Shifts in Data-Free Knowledge Distillation
Applied Artificial Intelligence Institute (A2I2), Deakin University(迪肯大学应用人工智能研究所(A2I2))
无数据知识蒸馏(DFKD)由于其在不使用训练数据的情况下将知识从教师网络传输到学生网络的吸引力而最近引起了关注。其主要思想是使用生成器来合成数据以训练学生。随着生成器的更新,合成数据的分布将发生变化。如果生成器和学生被对立地训练,则这种分布偏移可能很大,导致学生忘记其在先前步骤中获得的知识。为了缓解这个问题,我们提出了一个简单而有效的方法称为动量对抗蒸馏(MAD),它保持了一个指数移动平均(EMA)的发电机副本,并使用合成样本的发电机和EMA发电机训练学生。由于EMA生成器可以被认为是生成器旧版本的集合,并且与生成器相比,通常在更新中经历较小的变化,因此对其合成样本进行训练可以帮助学生回忆过去的知识,并防止学生过快地适应生成器的新更新。我们在包括ImageNet和Places365等大数据集在内的六个基准数据集上的实验证明了MAD在处理大分布偏移问题时优于竞争方法的性能。我们的方法也优于现有的DFKD方法,甚至在某些情况下达到最先进的结果。
2022-09-21 cs.AI cs.CV
Calibrating Teacher--Student Discrepancy for On-Policy Distillation
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);College of Software Engineering, Southeast University(东南大学软件工程学院);Nanjing University of Posts and Telecommunications(南京邮电大学)
针对同策略蒸馏中教师自身偏差被误学的问题,提出Cal-OPD,通过正负特权干预校准差异,仅保留约52-65%信号,在数学推理基准上持续超越标准OPD。
2026-09-21 cs.AI
Who Teaches Which Token? Verifier-Gated Multi-Expert On-Policy Distillation for Scientific Reasoning
Fudan University(复旦大学);Hong Kong University of Science and Technology(香港科技大学)
针对多教师在线策略蒸馏中教师信号稀疏异质的问题,提出验证器门控多专家在线策略蒸馏(VG-OPD),通过反事实增益授权、分歧定位和标准重要性加权,在科学推理基准上取得最佳性能。
2026-09-16 cs.AI
Reading is not Reasoning: Bridging the Agentic Policy Gap in Vision-Text Compression
该研究针对视觉-文本压缩导致的智能体策略差距,提出CAPS跨模态智能体策略自蒸馏框架,在SearchQA、ALFWorld等数据集上显著提升性能并大幅降低上下文成本。
2026-10-14 cs.AI
Factorized Distillation: Training Holistic Person Re-identification Model by Distilling an Ensemble of Partial ReID Models
SensingTech Ltd.(感知科技有限公司);Tsinghua University(清华大学)
人物重新识别(ReID)旨在识别从不同摄像头捕获的视频中的同一个人。针对使用普通网络架构提取全局特征的网络由于注意力机制较弱而难以提取局部特征的问题,研究者们提出了很多精心设计的ReID网络,在大大提高准确率的同时,模型规模和特征提取延迟也在飙升。我们认为,一个相对紧凑的普通网络提取全球汇集的功能有能力提取歧视性的本地功能,并可以实现国家的最先进的精度,如果只有模型的参数正确学习。为了降低学习硬标识标签的难度,本文提出了一种新的知识蒸馏方法:因子化蒸馏(Factorized Distillation),该方法将整体ReID网络的特征映射和检索特征进行因子化,以模仿多个部分ReID模型的表示,从而将知识从部分ReID模型转移到整体网络。实验结果表明,该方法训练的模型性能优于最先进的相对较少的网络参数。
2018-11-20 cs.AI cs.CV cs.LG
Learning from a Thoughtful Teacher: Adaptive On-Policy Self-Distillation for Mathematical Reasoning
提出自适应在线策略自蒸馏(AOPSD),通过推理DAG和自适应反馈缓解PI捷径,在数学推理基准上以更低训练成本显著提升Pass@8。
2026-09-29 cs.AI
Toward Student-Oriented Teacher Network Training For Knowledge Distillation
University of California, San Diego(加利福尼亚大学圣迭戈分校);Microsoft Research(微软研究院)
针对最优教师未必教出最优学生的问题,本文提出面向学生表现的 SoTeacher 教师训练方法,通过 Lipschitz 与一致性正则化增强 ERM,并验证其可稳定提升知识蒸馏的学生准确率。
2024-05-09 cs.AI cs.LG
The Distillation Game: Adaptive Evaluations & Efficient Defenses
Stanford University(斯坦福大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);National University of Singapore(新加坡国立大学)
通过最小化博弈框架研究蒸馏攻击中模型提供者的部署权衡,提出自适应评估规则和产品专家(PoE)防御方法,实验表明自适应学生能恢复更多能力,且PoE在成本和质量上具有优势。
2026-10-09 cs.AI cs.LG
Spirit Distillation: Precise Real-time Semantic Segmentation of Road Scenes with Insufficient Data
Jilin University(吉林大学)
道路场景的语义分割是实现自动驾驶场景感知的关键技术之一,深度卷积神经网络(CNN)在此任务中的有效性已得到验证。用于语义分割的现有技术的CNN遭受过度计算以及大规模训练数据需求。受基于微调的迁移学习(FTT)和基于特征的知识蒸馏思想的启发,我们提出了一种新的知识蒸馏方法,用于跨领域知识迁移和有效的数据不足网络训练,称为Spirit Distillation(SD),它允许学生网络模仿教师网络来提取一般特征,从而可以训练出紧凑而准确的学生网络,用于道路场景的实时的【形】语义分割。然后,为了进一步减轻数据不足的麻烦,提高学生的鲁棒性,提出了一种增强的精神蒸馏(ESD)方法,该方法致力于利用更全面的一般特征提取能力,考虑从目标和邻近域的图像作为输入。据我们所知,本文是将知识蒸馏应用于少样本学习的一个开创性工作。利用从COCO 2017和KITTI转移的先验知识对Cityscapes语义分割进行的说服性实验表明,我们的方法可以训练更好的学生网络(mIOU和高精度准确度分别提高1.4%和8.2%,分割方差为78.2%),仅具有41.8%的FLOP(见图1)。
2021-04-17 cs.AI cs.CV cs.LG
DDFAD: Dataset Distillation Framework for Audio Data
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
本文首次提出音频数据的数据集蒸馏框架DDFAD,通过融合差分MFCC特征和匹配训练轨迹蒸馏,并基于Griffin-Lim算法重建音频信号,在多种音频数据集上验证了有效性,并展示了在持续学习和神经架构搜索中的应用潜力。
2024-07-15 cs.AI cs.DB cs.SD
OPLD: On-Policy Latent Distillation for Multimodal Reasoning
本文提出OPLD框架,将多模态CoT的推理能力迁移至隐层表征,经多模态基准实验,其性能优于现有隐层推理方法,达到当前最优。
2026-07-31 cs.AI cs.CV
Learning from Partial Chain-of-Thought via Truncated-Reasoning Self-Distillation
Radboud University(拉德堡德大学);Sakana AI(萨卡纳人工智能)
本文提出TRSD方法,通过自蒸馏提升模型在截断推理下的鲁棒性,减少计算开销并提高推理效率。
2026-02-27 cs.AI cs.LG
Beyond Verified Answers: Solver-Informed Self-Distillation for Bootstrapping Operations Research Language Models
Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学)
针对运筹学语言模型训练中监督受限、信用分配粗糙和风格不匹配的问题,提出SOLID框架,利用求解器工件和自蒸馏实现无需验证答案的自我改进,提升解决方案准确性。
2026-09-11 cs.AI math.OC
Class Incremental Fault Diagnosis under Limited Fault Data via Supervised Contrastive Knowledge Distillation
ZJU-UIUC Joint Institute at Zhejiang University(浙江大学-伊利诺伊大学厄巴纳-香槟分校联合研究所);ZJU-UoE Institute at Zhejiang University(浙江大学-爱丁堡大学联合研究所);College of Biomedical Engineering and Instrument Science at Zhejiang University(浙江大学生物医学工程与仪器科学学院);College of Computer Science and Technology in Zhejiang University(浙江大学计算机科学与技术学院)
提出SCLIFD框架,通过监督对比知识蒸馏、优先样本选择和随机森林分类器,解决类增量故障诊断中少样本、灾难性遗忘和类别不平衡问题,在模拟和真实工业数据集上表现优于现有方法。
2025-01-19 cs.AI cs.LG
Learning by Distillation: A Self-Supervised Learning Framework for Optical Flow Estimation
The Chinese University of Hong Kong(香港中文大学);Huya AI(虎牙AI)
我们提出了DistillFlow,一个知识蒸馏的方法来学习光流。DistillFlow训练多个教师模型和一个学生模型,其中将具有挑战性的变换应用于学生模型的输入,以生成幻觉遮挡以及不太自信的预测。然后,构建了一个自监督学习框架:来自教师模型的置信预测作为注释,以引导学生模型学习光流,用于那些不太置信的预测。自监督学习框架使我们能够有效地学习光流从未标记的数据,不仅为非遮挡像素,但也为遮挡像素。DistillFlow在KITTI和Sintel数据集上实现了最先进的无监督学习性能。我们的自监督预训练模型还为监督微调提供了一个很好的初始化,这与当前高度依赖于合成数据预训练的监督学习方法相比,提出了一种替代的训练范式。在撰写本文时,我们的微调模型在KITTI 2015基准测试中的所有单眼方法中排名第一,并且在Sintel Final基准测试中优于所有已发布的方法。更重要的是,我们展示了三个方面的泛化能力:框架泛化,对应泛化和跨数据集泛化的DistillFlow。
2021-06-08 cs.AI cs.CV
Towards Long-window Anchoring in Vision-Language Model Distillation
本文提出LAid方法,通过改进注意力机制和RoPE响应调节,提升视觉-语言模型的长上下文理解能力,使蒸馏模型的有效上下文窗口长度增加3.2倍。
2025-12-25 cs.AI cs.CV cs.LG
Improving Respiratory Sound Classification with Architecture-Agnostic Knowledge Distillation from Ensembles
MODULABS;Wonkwang University Hospital(Wonkwang大学医院);RSC LAB(RSC实验室);Department of Psychiatry(精神病学系)
本研究提出一种与架构无关的软标签知识蒸馏方法,将集成教师模型蒸馏为学生模型用于呼吸音分类,在 ICHBI 上以 64.39 分创下新 SOTA,证明了该方法在提升性能上的有效性。
2025-05-28 cs.AI cs.SD eess.AS
Low-Resolution Object Recognition with Cross-Resolution Relational Contrastive Distillation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Baidu Inc.(百度公司);School of Cyber Security at University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Department of Communication Engineering, Shanghai University(上海大学通信工程系)
针对低分辨率图像细节不足及训练测试表示差异问题,提出跨分辨率关系对比蒸馏,利用对比关系损失迁移高分辨率教师知识,提升低分辨率目标分类与人脸识别效果。
2024-09-04 cs.AI cs.CV cs.LG