DiLM: Distilling Dataset into Language Model for Text-level Dataset Distillation
Tokyo Institute of Technology(东京工业大学)
本文提出DiLM方法,通过训练语言模型生成文本形式的合成训练样本,解决嵌入级蒸馏无法跨模型使用的问题,并在文本分类和上下文学习任务中取得优于核心集方法的性能。
2024-03-30 cs.CL cs.LG
Distilling Adversarial Prompts from Safety Benchmarks: Report for the Adversarial Nibbler Challenge
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);TU Darmstadt(达姆施塔特工业大学);LAION
本文面向 Adversarial Nibbler 挑战赛,从现有安全基准中蒸馏出超 1,000 个对抗性提示,通过分析提示与生成图像揭示了输入过滤器的脆弱性和生成式图像模型的系统性安全问题。
2023-09-20 cs.AI cs.CV cs.LG
Foreground Object Search by Distilling Composite Image Feature
Shanghai Jiao Tong University(上海交通大学);Xian Jiao Tong University(西安交通大学)
本文提出DiscoFOS方法,通过将判别器的合成图像特征蒸馏到双编码器学生网络,实现高效的前景物体搜索,并贡献了合成与真实两个FOS数据集。
2023-08-09 cs.CV
Distilling Spikes: Knowledge Distillation in Spiking Neural Networks
Indian Institute of Technology Bombay(孟买印度理工学院)
与经典的人工神经网络(ANN)不同,脉冲神经网络(SNN)是一种节能计算架构,它交换尖峰以处理信息。因此,SNN更适合实际部署。然而,与ANN类似,SNN也受益于更深的架构,以获得更好的性能。此外,与深度ANN一样,SNN的存储器、计算和功率要求也随着模型大小而增加,并且模型压缩成为必要。知识蒸馏是一种模型压缩技术,它能够以最小的性能损失将大型机器学习模型的学习转移到较小的模型。在本文中,我们提出了技术知识蒸馏脉冲神经网络的任务图像分类。我们提出了从较大的SNN(也称为教师网络)提取尖峰到较小的SNN(也称为学生网络)的方法,同时最小限度地影响分类精度。我们在三个标准数据集上进行了详细的实验,同时提出了新的蒸馏方法和损失函数,证明了所提出的方法的有效性。我们还提出了一个多阶段的知识蒸馏技术SNN使用中间网络,以获得更高的性能,从学生网络。我们的方法有望为在资源受限的硬件平台上部署高性能的大型SNN模型开辟新的途径。
2020-05-01 cs.CV cs.NE
Data Distillation Can Be Like Vodka: Distilling More Times For Better Quality
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出渐进式数据集蒸馏(PDD),通过生成多个条件合成子集并累积训练,解决单一蒸馏子集性能不佳的问题,提升现有方法性能达4.3%,并首次支持大规模合成数据集生成。
2023-10-10 cs.CV cs.LG
Distilling Knowledge via Intermediate Classifiers
Ontario Tech University(安大略理工大学)
知识蒸馏的关键是在预先训练好的大规模教师模型的指导下,有效地训练资源有限的学生模型。然而,当教师和学生的模型复杂度之间存在较大差异时(即,能力差距),知识蒸馏失去了将知识从教师转移到学生的力量,从而培养出一个较弱的学生。为了减轻能力差距的影响,我们通过中间头引入知识蒸馏。通过用分类器头扩展教师的中间层(在不同的深度),我们廉价地获得了一批异构的预先训练的教师。中间分类器头可以一起有效地学习,同时冻结预先训练的教师的骨干。教师(包括原来的教师)的队列共同教学生同时进行。我们在不同师生对和数据集上的实验表明,该方法优于规范的知识蒸馏方法及其扩展。
2021-05-31 cs.AI cs.CV cs.LG
Distilling Datasets Into Less Than One Image
School of Computer Science and Engineering(计算机科学与工程学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文提出海报数据集蒸馏(PoDD),将整个数据集压缩为一张海报,在每类不足一张图像的情况下达到或超越现有方法,并在多个基准上刷新纪录。
2024-03-18 cs.CV
Generative Dataset Distillation: Balancing Global Structure and Local Details
Hokkaido University(北海道大学)
本文提出一种基于条件生成对抗网络的数据集蒸馏方法,通过平衡全局结构与局部细节来生成信息更密集的蒸馏数据集,以解决传统方法重新部署时间长和跨架构性能差的问题。
2024-04-26 cs.AI cs.CV cs.LG
Distilling Audio-Visual Knowledge by Compositional Contrastive Learning
University of Tübingen(蒂宾根大学);MPI for Informatics(马克斯·普朗克信息学研究所);Tencent PCG(腾讯平台与内容事业群);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
与从单一模态学习相比,获得多模态提示(例如视觉和音频)使一些认知任务能够更快地完成。在这项工作中,我们建议跨异构模态的知识转移,即使这些数据模态可能不语义相关。我们不是直接对齐不同模态的表示,而是跨模态组合音频、图像和视频表示,以揭示更丰富的多模态知识。我们的主要思想是学习一个复合嵌入,关闭跨模态的语义差距,并捕捉任务相关的语义,这有利于拉在一起的组合对比学习跨模态的表示。我们在三个视频数据集上建立了一个新的,全面的多模态蒸馏基准:UCF101,ActivityNet和VGGSound。此外,我们证明,我们的模型显着优于各种现有的知识蒸馏方法在转移视听知识,以提高视频表示学习。代码发布在这里:https://github.com/yanbeic/CCL。
2021-04-22 cs.AI cs.CV cs.LG
PrUE: Distilling Knowledge from Sparse Teacher Networks
University of Chinese Academy of Sciences(中国科学院大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Beijing University of Posts and Telecommunication(北京邮电大学)
尽管深度神经网络在各种任务中取得了显着的成功,但其不断增加的规模也给部署带来了显着的开销。为了压缩这些模型,提出了知识蒸馏,将知识从笨重的(教师)网络转移到轻量级的(学生)网络。然而,教师的指导并不总是提高学生的概括,特别是当学生和教师之间的大小差距很大。以前的作品认为,这是由于教师的高度确定性,导致难以适应的更硬的标签。为了软化这些标签,我们提出了一种修剪方法,称为预测不确定性增强(PrUE),以简化教师。具体来说,我们的方法旨在降低教师对数据的确定性,从而为学生生成软预测。我们通过在CIFAR-10/100、Tiny-ImageNet和ImageNet上的实验,实证研究了所提出方法的有效性。结果表明,稀疏教师训练的学生网络具有更好的性能。此外,我们的方法允许研究人员从更深的网络中提取知识,以进一步提高学生的能力。我们的代码在以下网址公开:\url{https://github.com/wangshaopu/prue}。
2022-07-03 cs.AI cs.CV cs.LG
Distilling Long-tailed Datasets
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Illinois Institute of Technology(伊利诺伊理工学院);National University of Singapore(新加坡国立大学)
针对现有数据集蒸馏方法在长尾数据集上效果差的问题,提出分布无关匹配和专家解耦方法,首次实现长尾数据集的有效蒸馏,开创该领域研究。
2025-03-19 cs.LG
The Augmented Image Prior: Distilling 1000 Classes by Extrapolating from a Single Image
University of Amsterdam(阿姆斯特丹大学);Eindhoven University of Technology(埃因霍温理工大学)
当只提供一张图像作为输入时,神经网络能从视觉世界中学到什么?虽然任何图像显然不能包含所有现有的对象,场景和照明条件-在所有256^(3x 224 x224)可能的224大小的正方形图像的空间内,它仍然可以为自然图像提供强先验。为了分析这种“增强图像先验”假设,我们开发了一个简单的框架,用于从头开始使用单个图像和增强训练神经网络,该框架使用来自有监督的预训练教师的知识蒸馏。因此,我们发现上述问题的答案是:“令人惊讶的是,很多”。在定量方面,我们发现CIFAR-10/100的准确率为94%/74%,ImageNet为69%,通过将此方法扩展到视频和音频,Kinetics-400为51%,SpeechCommands为84%。在跨越13个数据集的广泛分析中,我们解开了增强、数据选择和网络架构的影响,并提供了定性评估,包括从未见过的网络中清晰的“熊猫神经元”。
2023-01-24 cs.CV
Distilling Ensemble of Explanations for Weakly-Supervised Pre-Training of Image Segmentation Models
Baidu Inc.(百度公司)
虽然微调预训练的网络已经成为训练图像分割模型的流行方式,但是用于图像分割的这种骨干网络经常使用图像分类源数据集(例如,ImageNet.尽管图像分类数据集可以为主干网络提供丰富的视觉特征和区分能力,但它们无法完全预训练目标模型(即,主干+分段模块)。由于分类数据集中缺少分割标签,因此在微调过程中将分割模块留给随机初始化。在我们的工作中,我们提出了一种方法,利用伪语义分割标签(PSSL),使端到端的预训练图像分割模型的基础上分类数据集。PSSL的灵感来自于这样一种观察,即通过CAM、SmoothGrad和LIME等解释算法获得的分类模型的解释结果将接近视觉对象的像素簇。具体而言,通过解释分类结果并聚合从多个分类器查询的解释的集合来获得每个图像的PSSL,以降低由单个模型引起的偏差。通过对ImageNet的每个图像使用PSSL,所提出的方法利用加权分割学习过程来预训练分割网络。实验结果表明,以ImageNet和PSSL作为源数据集,所提出的端到端预训练策略成功地提高了各种分割模型的性能,即,PSPNet-ResNet 50、DeepLabV 3-ResNet 50和OCRNet-HRNetW 18,在CamVid、VOC-A、VOC-C、ADE 20 K和CityScapes等多个分割任务上有显著改进。源代码可在https://github.com/PaddlePaddle/Paddl…
2022-07-04 cs.CV cs.LG
Introspective Learning by Distilling Knowledge from Online Self-explanation
Siemens AG, Corporate Technology(西门子公司企业技术部);University of Munich(慕尼黑大学)
近年来,已经提出了许多解释方法来解释深度神经网络的个体分类。然而,如何利用创建的解释,以改善学习过程中一直较少探索。模型的解释作为特权信息,可以用来指导模型本身的学习过程。在社区中,另一个被深入研究的用于指导模型训练的特权信息是来自强大教师模型的知识。本研究的目的是通过借鉴知识蒸馏的思想,利用自我解释来改善学习过程。我们首先调查从教师网络转移到学生网络的知识的有效组成部分。我们的调查显示,在非地面真理类的反应和类相似性信息的教师的输出有助于成功的知识蒸馏。受此结论的启发,我们提出了一种通过从在线自我解释中提取知识来实现内省学习的方法。使用内省学习过程训练的模型优于使用标准学习过程训练的模型,以及使用不同正则化方法训练的模型。当与从同伴网络或教师网络学习的模型相比时,我们的模型也显示出有竞争力的性能,并且既不需要同伴也不需要教师。
2020-09-19 cs.CV cs.LG
Hearing Lips: Improving Lip Reading by Distilling Speech Recognizers
Zhejiang University(浙江大学);Stevens Institute of Technology(史蒂文斯理工学院);Alibaba Group(阿里巴巴集团)
由于深度学习和大规模数据集的可用性,唇读近年来取得了前所未有的发展。尽管取得了令人鼓舞的结果,唇读的性能,不幸的是,仍然不如其对应的语音识别之一,由于其致动的模糊性,使得它具有挑战性的唇运动视频提取判别特征。在本文中,我们提出了一种新的方法,称为唇语音(LIBS),其目标是加强唇读从语音识别器的学习。我们的方法背后的基本原理是,从语音识别器中提取的特征可以提供互补和判别的线索,这是强大的,从嘴唇的微妙运动,从而促进唇读者的培训。具体来说,这是通过从语音识别器到唇读器提取多粒度知识来实现的。为了进行这种跨模态的知识蒸馏,我们利用一个有效的对齐方案来处理不一致的长度的音频和视频,以及一个创新的过滤策略,以完善语音识别器的预测。该方法在CMLR和LRS2数据集上实现了新的最先进的性能,在字符出错率方面分别优于基线7.66%和2.75%。
2019-11-26 cs.CV cs.LG eess.AS
Deep Model Compression: Distilling Knowledge from Noisy Teachers
Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校)
深度学习模型在各种应用中取得的巨大成功,导致了可以解决复杂问题的更深层网络的设计。然而,这种模型的深度增加也导致更高的存储和运行时复杂性,这限制了这种非常深的模型在移动和便携式设备上的可部署性,这些设备具有有限的存储和电池容量。虽然近年来已经提出了许多用于深度模型压缩的方法,但几乎所有方法都集中在降低存储复杂度上。在这项工作中,我们扩展了教师-学生框架进行深度模型压缩,因为它也有可能解决运行时和训练时间复杂度。我们提出了一种简单的方法,在从教师训练学生的同时,包括基于噪声的正则化器,这为学生网络的性能提供了健康的改善。我们在CIFAR-10,SVHN和MNIST数据集上的实验显示了很好的改进,在CIFAR-10数据集上的性能最好。我们还在CIFAR-10数据集的相关设置下对所提出的方法进行了全面的实证评估,以显示所提出的方法的前景。
2016-11-02 cs.LG
Distilling Visual Priors from Self-Supervised Learning
Megvii Research Nanjing(旷视科技南京研究院);Tongji University(同济大学)
卷积神经网络(CNN)容易过拟合小的训练数据集。我们提出了一种新的两阶段管道,利用自监督学习和知识蒸馏,以提高CNN模型的泛化能力,在数据不足的情况下,图像分类。第一阶段是通过自监督学习来学习具有丰富且可推广的视觉表示的教师模型,第二阶段是以自蒸馏的方式将表示提取为学生模型,同时微调学生模型以用于图像分类任务。我们还提出了一种新的边缘损失的自监督对比学习代理任务,以更好地学习数据不足的情况下的表示。与其他技巧一起,我们在VIPriors图像分类挑战中实现了有竞争力的性能。
2020-08-01 cs.CV
Dynamic Rectification Knowledge Distillation
North South University(南北大学)
知识蒸馏(Knowledge Distillation)是一种利用暗知识将信息从一个庞大的、经过良好训练的神经网络(教师模型)压缩并传输到一个较小的、能力较差的神经网络(学生模型)的技术,其推理效率得到了提高。这种提取知识的方法由于在边缘计算设备上部署的这种繁琐模型的极其复杂的性质而受到欢迎。通常,用于教授较小的学生模型的教师模型本质上是笨重的,并且训练昂贵。为了完全消除繁琐的教师模型的必要性,我们提出了一个简单而有效的知识蒸馏框架,我们称之为动态整流知识蒸馏(DR-KD)。我们的方法将学生转变为自己的老师,如果自学者在提取信息时做出错误的预测,则在提取知识之前纠正错误。具体来说,教师目标是由地面实况机构动态调整的,同时提取从传统培训中获得的知识。我们提出的DR-KD在没有复杂繁琐的教师模型的情况下表现得非常好,并且在由低成本的动态有礼貌的教师实施时,与现有的最先进的无教师知识蒸馏框架实现了相当的性能。我们的方法包罗万象,可用于任何需要分类或对象识别的深度神经网络训练。DR-KD将Tiny ImageNet上的测试准确率提高了2.65%,显著优于任何其他知识蒸馏方法,同时不需要额外的培训成本。
2022-01-27 cs.AI cs.CV
Distilling On-device Language Models for Robot Planning with Minimal Human Intervention
University of Pennsylvania(宾夕法尼亚大学)
PRISM框架通过自动合成数据蒸馏设备端小型语言模型,替代云端大模型进行机器人规划,性能从GPT-4o的10-20%提升至93%以上,并跨平台和环境泛化。
2025-10-06 cs.AI cs.LG cs.RO
Distilling Privileged Multimodal Information for Expression Recognition using Optimal Transport
LIVIA(LIVIA实验室);ETS Montreal(蒙特利尔工程学院);Concordia University(康考迪亚大学)
针对自然环境下多模态表情识别因测试模态缺失导致性能下降的问题,提出基于最优传输的特权知识蒸馏方法PKDOT,通过捕获教师表示空间的结构信息超越现有方法,且与模态和模型无关。
2024-04-29 cs.AI cs.CV
SlotMatch: Distilling Object-Centric Representations for Unsupervised Video Segmentation
University of Bucharest(布加勒斯特大学);Aalborg University(奥尔堡大学)
针对无监督视频分割中基于槽注意力的模型计算成本高的问题,提出SlotMatch知识蒸馏框架,将以对象为中心的表示迁移到轻量级学生模型,该学生模型参数减少3.6倍、速度快2.7倍,性能优于教师模型及其他最先进模型。
2026-10-20 cs.AI cs.CV
Distilling Knowledge for Short-to-Long Term Trajectory Prediction
University of Padova(帕多瓦大学);Disney Research(迪士尼研究院);Northwestern Polytechnical University(西北工业大学)
本文提出Di-Long方法,通过蒸馏短期轨迹预测教师模型的知识来指导长期轨迹预测学生网络,降低长期未来不确定性,并在inD和SDD数据集上取得领先性能。
2024-09-03 cs.AI cs.CV cs.LG
DiM: Distilling Dataset into Generative Model
National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);Tsinghua University(清华大学)
提出DiM方法,将数据集信息蒸馏至生成模型,在多种架构和蒸馏比例下无需重优化,在4个数据集上取得最先进结果,并首次在复杂架构上超越简单架构。
2023-10-11 cs.CV
Distilling Knowledge from Graph Convolutional Networks
Stevens Institute of Technology(史蒂文斯理工学院);The University of Sydney(悉尼大学);Zhejiang University(浙江大学)
现有的知识蒸馏方法集中在卷积神经网络(CNN)上,其中输入样本(如图像)位于网格域中,并且在很大程度上忽略了处理非网格数据的图卷积网络(GCN)。在本文中,我们提出了第一种专门的方法来从预训练的GCN模型中提取知识。为了使知识转移从教师GCN的学生,我们提出了一个本地结构保持模块,明确占教师的拓扑语义。在该模块中,教师和学生的局部结构信息被提取为分布,因此最小化这些分布之间的距离使教师能够进行拓扑感知的知识转移,从而产生紧凑而高性能的学生模型。此外,所提出的方法很容易扩展到动态图模型,其中教师和学生的输入图可能不同。我们使用不同架构的GCN模型在两个不同的数据集上对所提出的方法进行了评估,并证明了我们的方法在GCN模型上实现了最先进的知识蒸馏性能。代码可在https://github.com/ihollywhy/DistillGCN.PyTorch上公开获取。
2021-01-10 cs.CV
Distilling Virtual Examples for Long-tailed Recognition
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机科学与技术系(注:此处原机构为南京大学,具体实验室为 Novel Software Technology 重点实验室,按要求提取到大学级别));School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与技术学院)
本文从知识蒸馏的角度出发,提出了一种虚拟样本蒸馏(DiVE)方法来解决长尾视觉识别问题。具体来说,通过将教师模型的预测视为虚拟示例,我们证明了从这些虚拟示例中提取等价于在某些约束下的标签分布学习。我们表明,当虚拟示例分布变得比原始输入分布更平坦时,代表性不足的尾部类将得到显着改善,这在长尾识别中至关重要。所提出的DiVE方法可以显式地调整虚拟示例分布,使其变得平坦。在三个基准数据集(包括大规模iNaturalist数据集)上进行的广泛实验证明,所提出的DiVE方法可以显着优于最先进的方法。此外,额外的分析和实验验证了虚拟示例的解释,并证明了定制设计的有效性,在潜水长尾问题。
2021-09-19 cs.CV
Distilling Stereo Networks for Performant and Efficient Leaner Networks
University of Tuebingen(蒂宾根大学)
针对立体匹配网络结构复杂、蒸馏研究不足的问题,研究提出联合蒸馏框架,通过精心设计全流程实现了更精简快速、性能更优且泛化性更好的学生立体网络。
2025-03-24 cs.CV
Multi-source Distilling Domain Adaptation
University of California, Berkeley(加利福尼亚大学伯克利分校);Didi Chuxing(滴滴出行);Renmin University of China(中国人民大学)
当标记的源域和未标记的目标域之间存在域移位时,深度神经网络会遭受性能衰减,这激发了对领域自适应(DA)的研究。传统的DA方法通常假设标记数据是从单个源分布中采样的。然而,在实践中,标记的数据可以从多个源收集,而单一源DA算法的幼稚应用可能会导致次优的解决方案。本文提出了一种新的多源提取领域自适应(MDDA)网络,该网络不仅考虑了多个源样本与目标样本之间的距离差异,还考虑了源样本与目标样本之间的相似度差异。具体地说,MDDA包括四个阶段:(1)分别使用来自每个源的训练数据对源分类器进行预训练;(2)通过最小化源和目标之间的经验Wasserstein距离,将目标分别逆映射到每个源的特征空间;(3)选择更接近目标的源训练样本对源分类器进行微调;以及(4)通过对应的源分类器对每个编码的目标特征进行分类,并且使用对应于每个源和目标之间的差异的各自的域权重来聚合不同的预测。在公开的DA基准上进行了大量的实验,结果表明,所提出的MDDA显着优于国家的最先进的方法。我们的源代码发布在:https://github.com/daoyuan98/MDDA。
2020-02-07 cs.CV cs.LG stat.ML
A Dataset for Distilling Knowledge Priors from Literature for Therapeutic Design
本文提出Medex数据集,通过LLM流水线从文献中提取3230万对自然语言事实与实体表示,用于治疗设计。实验表明,基于该数据集预训练的15M参数模型在TDC任务上优于2B模型并媲美9B模型,且能作为约束提升GuacaMol中分子提议的安全性。
2025-09-12 cs.LG
Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes
University of Washington(华盛顿大学);Google Cloud AI Research(谷歌云人工智能研究院);Google Research(谷歌研究院)
本文提出Distilling step-by-step机制,通过提取LLM推理依据作为额外监督,在更少数据和更小模型规模下训练出超越大型语言模型的小模型。
2023-07-05 cs.AI cs.CL cs.LG
PortionNet: Distilling 3D Geometric Knowledge for Food Nutrition Estimation
Vellore Institute of Technology(维捷里尼学院)
PortionNet通过跨模态知识蒸馏框架,在无需专用硬件的情况下,利用点云学习几何特征,实现单图像食品营养估计的高精度
2025-12-26 cs.CV
Distilling Knowledge from Large Language Models: A Concept Bottleneck Model for Hate and Counter Speech Recognition
St.Pölten University of Applied Sciences(施普伦茨大学应用科学学院);University of Vienna(维也纳大学)
针对仇恨和反言论识别,提出透明方法SCBM,利用LLM将文本映射为基于形容词的可解释概念表示,再由轻量分类器预测,在多平台数据集上取得高准确率与可解释性,且与transformer融合能进一步提升性能。
2025-07-30 cs.AI cs.CL cs.LG
Distilling Latent Manifolds: Resolution Extrapolation by Variational Autoencoders
本文发现变分自编码器压缩器在低分辨率下表现差,但能有效外推到更高分辨率,通过分析发现高分辨率输入更接近教师模型的流形,实验表明简单的分辨率映射可提升多种图像质量指标。
2026-03-15 cs.CV
Distilling Vision-Language Foundation Models: A Data-Free Approach via Prompt Diversification
Hikvision Research Institute(海康威视研究院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Fuzhou University(福州大学)
本文提出通过提示多样化方法,在无数据条件下将视觉-语言基础模型蒸馏为紧凑学生模型,以继承分布外泛化能力,其中对比提示效果最佳。
2024-07-21 cs.AI cs.CV cs.MM
Distill-SODA: Distilling Self-Supervised Vision Transformer for Source-Free Open-Set Domain Adaptation in Computational Pathology
EPFL(洛桑联邦理工学院);CHUV(洛桑大学医院)
本文提出 Distill-SODA,通过自监督 ViT 蒸馏、风格对抗增强与 CSAS 伪标签校正,解决计算病理学中的无源开放集域适应问题。
2024-01-16 cs.CV
Light-weight Deformable Registration using Adversarial Learning with Distilling Knowledge
AIOZ;Imperial College London(帝国理工学院)
形变配准是图像引导手术、放射治疗等医疗过程中的关键步骤。最新的基于学习的方法专注于通过优化输入图像之间的非线性空间对应来提高精度。因此,这些方法在计算上是昂贵的,并且需要用于实时部署的现代图形卡。在本文中,我们介绍了一种新的轻量级可变形配准网络,该网络在实现有竞争力的精度的同时显著降低了计算成本。特别是,我们提出了一种新的对抗性学习和知识提取算法,该算法成功地将有效但昂贵的教师网络中的有意义的信息利用到学生网络中。我们设计的学生网络是轻量级的,非常适合在典型的CPU上部署。在不同公共数据集上的广泛实验结果表明,我们提出的方法达到了最先进的精度,同时比最近的方法快得多。我们进一步表明,使用我们的对抗性学习算法对于时间效率高的变形配准方法是必不可少的。最后,我们的源代码和训练模型可以在https://github.com/aioz-ai/LDR_ALDK上找到。
2021-10-04 cs.CV eess.IV
PANet: Perspective-Aware Network with Dynamic Receptive Fields and Self-Distilling Supervision for Crowd Counting
人群计数旨在学习人群密度分布并估计图像中对象(例如人)的数量。透视效应对数据点的分布有重要影响,在人群计数中起着重要作用。在本文中,我们提出了一种新的视角感知方法称为PANet来解决的角度问题。基于观察到的物体的大小变化很大,在一个图像中,由于透视效果,我们提出了动态感受野(DRF)框架。该框架能够根据输入图像通过扩张的卷积参数来调整感受野,这有助于模型为每个局部区域提取更多的区分特征。与以往大多数使用高斯核函数生成密度图作为监督信息的方法不同,本文提出了自蒸馏监督训练方法。地面实况密度图从第一个训练阶段细化,透视信息在第二阶段提取到模型中。在上海理工大学Part_A和Part_B、UCF_QNRF和UCF_CC_50数据集上的实验结果表明,我们提出的PANet方法的性能大大优于现有的方法。
2022-08-18 cs.CV
Distilling Local Texture Features for Colorectal Tissue Classification in Low Data Regimes
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对多类结直肠组织样本标注困难且低数据量下分类性能差的问题,提出基于知识蒸馏的KD-CTCNet方法,通过蒸馏损失提取局部纹理特征以增强标准CNN特征,在公开数据集上取得一致性能提升。
2024-01-02 cs.CV
Distilling the Undistillable: Learning from a Nasty Teacher
Adobe(奥多比公司);Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校)
使用知识蒸馏(KD)的私人/敏感信息的无意窃取最近已经得到了极大的关注,并指导了随后的防御工作,考虑到其关键性质。最近的工作Nasty Teacher提出了开发不能被攻击它的模型提取或模仿的教师。然而,由一个讨厌的教师提供的保密性承诺没有得到很好的研究,作为加强对这种漏洞的进一步措施,我们试图绕过它的防御并成功地窃取(或提取)信息。具体来说,我们从两个不同的方向分析了Nasty Teacher,然后仔细利用它们来开发简单而有效的方法,命名为HTC和SCM,在标准数据集上将从Nasty Teacher的学习提高了68.63%。此外,我们还探索了一种基于我们对盗窃的见解的即兴防御方法。我们在不同模型/设置上的详细实验和消融集证明了我们方法的有效性。
2022-10-21 cs.CV
Leveraging Foundation Models via Knowledge Distillation in Multi-Object Tracking: Distilling DINOv2 Features to FairMOT
University of Amsterdam(阿姆斯特丹大学)
本文提出以 DINOv2 为教师、FairMOT 的 HRNetv2 W18 为学生的知识蒸馏方法,以增强多目标跟踪;实验显示其仅在部分场景改进,未能稳定超越原始 FairMOT。
2024-08-05 cs.CV
Distilling Analysis from Generative Models for Investment Decisions
Artificial Intelligence Research Center, AIST(人工智能研究中心(AIST));Ochanomizu University(御茶水女子大学);University of Tokyo(东京大学)
针对金融市场专业人士决策建模问题,提出三个任务并引入A3数据集,通过集成循环意见生成器的Chain-of-Decision方法,基于新闻提供主观分析,有效提升了模型预测交易决策的性能。
2024-10-02 cs.CL cs.LG q-fin.ST
DistillHash: Unsupervised Deep Hashing by Distilling Data Pairs
Xidian University(西安电子科技大学);University of Sydney(悉尼大学);Tencent AI Lab(腾讯人工智能实验室)
由于高存储和搜索效率,散列已成为流行的大规模相似性搜索。特别是,深度哈希方法大大提高了监督场景下的搜索性能。相比之下,无监督的深度哈希模型由于缺乏可靠的监督相似性信号,很难达到令人满意的性能。为了解决这个问题,我们提出了一种新的深度无监督哈希模型,称为DistillHash,它可以学习由具有置信度相似性信号的数据对组成的蒸馏数据集。具体来说,我们调查的初始噪声相似性信号从本地结构和贝叶斯最优分类器分配的语义相似性标签之间的关系。我们表明,在一个温和的假设下,一些数据对,标签是一致的贝叶斯最优分类器分配的,可以潜在地蒸馏。受此启发,我们设计了一个简单而有效的策略来自动提取数据对,并进一步采用贝叶斯学习框架从提取的数据集中学习哈希函数。在三个广泛使用的基准数据集上进行的大量实验结果表明,所提出的DistillHash始终实现了最先进的搜索性能。
2019-05-09 cs.CV
Distilling Critical Paths in Convolutional Neural Networks
George Mason University(乔治梅森大学)
由于大多数部署目标的资源限制,目前广泛需要神经网络压缩和加速。在本文中,通过分析卷积神经网络中的过滤器激活、梯度和可视化过滤器的功能,我们证明了高层的过滤器学习了非常特定于任务的特征,这些特征只针对整个任务的一小部分,甚至是单个类。基于这些发现,我们揭示了不同类别的信息流的关键路径。利用卷积神经网络固有的排他性,提出了一种关键路径蒸馏方法,该方法可以有效地将卷积神经网络定制为模型尺寸更小、计算量更少的小网络。
2018-11-08 cs.CV
R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis
Snap Inc.(Snap公司);Northeastern University(东北大学);Google(谷歌)
近年来神经辐射场(NeRF)的研究表明,利用神经网络来表示复杂场景具有令人鼓舞的潜力。NeRF的一个主要缺点是其令人望而却步的推理时间:渲染单个像素需要查询NeRF网络数百次。为了解决这个问题,现有的努力主要试图减少所需的采样点的数量。然而,迭代采样的问题仍然存在。另一方面,神经光场(NeLF)在新的视图合成中提供了比NeRF更直接的表示-像素的渲染相当于一个单一的前向传递,而无需光线行进。在这项工作中,我们提出了一个深度残差MLP网络(88层)来有效地学习光场。我们证明了成功学习这样一个深度NeLF网络的关键是要有足够的数据,为此我们通过数据蒸馏从预先训练的NeRF模型中转移知识。在合成场景和真实场景上的大量实验表明,该方法优于其他同类算法。在合成场景中,我们实现了26- 35倍的FLOPs减少(每相机光线)和28- 31倍的运行时加速,同时提供比NeRF更好的(1.4-2.8 dB平均PSNR改善)渲染质量,而无需任何定制的并行要求。
2022-07-23 cs.AI cs.CV cs.GR
NEAT: Distilling 3D Wireframes from Neural Attraction Fields
Ant Group(蚂蚁集团);Wuhan University(武汉大学);Zhejiang University(浙江大学);Google Inc.(谷歌公司);NC State University(北卡罗来纳州立大学)
本文提出NEAT,通过神经场和二分匹配从2D观测中联合蒸馏3D线段与全局连接点,在DTU和BlendedMVS上实现优于现有方法的3D线框重建,并能以少约20倍初始点提升3D Gaussian Splatting初始化。
2024-04-03 cs.CV cs.GR
NeRFMeshing: Distilling Neural Radiance Fields into Geometrically-Accurate 3D Meshes
Google(谷歌);TU Munich(慕尼黑工业大学)
随着神经辐射场(NeRFs)的引入,新的视图合成最近取得了很大的飞跃。NeRF提出每个3D点都可以发射辐射,允许使用可微分体积渲染进行视图合成。虽然神经辐射场可以准确地表示用于计算图像渲染的3D场景,但3D网格仍然是大多数计算机图形和仿真管道支持的主要场景表示,从而实现实时的渲染和基于物理的仿真等任务。从神经辐射场获得3D网格仍然是一个开放的挑战,因为NeRF被优化用于视图合成,而不是在辐射场上强制执行精确的底层几何形状。因此,我们提出了一种新颖的紧凑和灵活的架构,使任何NeRF驱动的方法,易于3D表面重建。在训练了辐射场之后,我们将体积3D表示提取到符号表面近似网络中,从而可以轻松提取3D网格和外观。我们最终的3D网格在物理上是精确的,并且可以在一系列设备上实时的呈现。
2023-03-16 cs.CV
DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features
NVIDIA Research(英伟达研究院);University of Toronto(多伦多大学);University of Southern California(南加州大学);National University of Singapore(新加坡国立大学);Stanford University(斯坦福大学)
针对自动驾驶场景有限2D观测难理解3D环境的问题,提出DistillNeRF自监督框架,结合NeRF蒸馏与2D基础模型特征蒸馏,实现多项3D任务性能提升及开放世界场景理解。
2024-10-31 cs.AI cs.CV cs.RO
Distilling Effective Supervision from Severe Label Noise
Google Cloud AI(谷歌云人工智能);Google Brain(谷歌大脑)
收集具有干净标签的大规模数据用于神经网络的监督训练实际上是具有挑战性的。虽然噪声标签通常是廉价的获取,现有的方法遭受了很多标签噪声。本文的目标是在高标签噪声制度的鲁棒训练的挑战。实现这一目标的关键见解是明智地利用一个小的可信集来估计噪声数据的样本权重和伪标签,以便将它们重新用于监督训练。我们提出了一个整体框架,以高度不受标签噪声影响的方式训练深度神经网络。我们的方法在各种类型的标签噪声上设置了最新的技术水平,并在具有真实标签噪声的大规模数据集上实现了出色的性能。例如,在具有$40\%$均匀噪声比并且每个类只有10个可信标记数据的CIFAR100上,我们的方法实现了$80.2{\pm}0.3\%$分类精度,其中出错率仅比在没有标签噪声的情况下训练的神经网络高$1.4\%$。此外,增加噪声比的$80\%$,我们的方法仍然保持了高精度的$75.5{\pm}0.2\%$,相比以前的最佳精度$48.2\%$。源代码:https://github.com/google-research/google-research/tree/master/ieg
2020-06-12 cs.CV cs.LG stat.ML
SparseFusion: Distilling View-conditioned Diffusion for 3D Reconstruction
Carnegie Mellon University(卡内基梅隆大学)
我们提出了SparseFusion,稀疏视图三维重建方法,结合了神经渲染和概率图像生成的最新进展。现有的方法通常建立在具有重新投影特征的神经渲染上,但无法生成不可见区域或处理大视角变化下的不确定性。替代方法将其视为(概率性)2D合成任务,虽然它们可以生成合理的2D图像,但它们不能推断出一致的底层3D。然而,我们发现,3D一致性和概率图像生成之间的这种权衡并不需要存在。事实上,我们表明,几何一致性和生成推理可以互补的模式寻求行为。通过从视图条件潜空间扩散模型中提取三维一致的场景表示,我们能够恢复一个合理的三维表示,其渲染是准确和逼真的。我们在CO3D数据集中的51个类别中评估了我们的方法,并表明它在失真和感知度量方面优于现有方法,用于稀疏视图新视图合成。
2023-02-15 cs.CV cs.GR
DNF-Avatar: Distilling Neural Fields for Real-time Animatable Avatar Relighting
Visual Geometry Group, University of Oxford(牛津大学视觉几何组);ETH Zürich(苏黎世联邦理工学院)
本文提出DNF-Avatar,将隐式神经场知识蒸馏到二维高斯泼溅表示,并结合分割和近似与分部位环境光遮蔽探针,实现67 FPS的实时可动画化虚拟形象重光照,推理速度比教师模型快370倍。
2025-08-19 cs.CV
Moonshine: Distilling with Cheap Convolutions
University of Edinburgh(爱丁堡大学);School of Informatics(信息学院)
许多工程师希望在内存有限的环境中部署现代神经网络;但减少内存使用的灵活方法的开发仍处于起步阶段,并且对由此产生的成本效益知之甚少。我们提出了结构模型蒸馏的内存减少使用的策略,产生一个学生的架构,这是一个简单的教师架构的转换:不需要重新设计,可以使用相同的超参数。使用注意力转移,我们提供了帕累托曲线/表蒸馏的残留网络与四个基准数据集,表明内存与准确性的回报。我们表明,大量的内存节省是可能的,几乎没有损失的准确性,并确认蒸馏提供学生网络的性能,这是优于直接在数据上训练的学生架构。
2019-01-17 cs.CV cs.LG stat.ML
Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD
Google DeepMind Amsterdam(谷歌深思亚马逊)
本文提出D-MMD方法,通过离散MMD蒸馏离散扩散模型,实现高质量和多样性的生成,优于传统方法。
2026-03-20 cs.CV cs.LG stat.ML
Hands-on Guidance for Distilling Object Detectors
Huazhong University of Science and Technology(华中科技大学)
知识蒸馏可以导致部署友好的网络对困扰的计算复杂性的问题,但以前的方法忽略了检测器中的特征层次。基于此,我们提出了一个检测蒸馏的一般框架。我们的方法,称为动手指导蒸馏,蒸馏的所有阶段特征的潜在知识,以施加更全面的监督,并集中在本质的同时,促进更强烈的知识吸收。具体而言,从微观和宏观两个角度,设计了一系列新颖的机制,包括一致性对应关系的建立、模拟损失度量和重新加权优化。我们在VOC和COCO数据集上使用不同的蒸馏配置进行了广泛的评估,这些数据集在准确性和速度权衡方面表现出更好的性能。同时,不同结构网络的可行性实验进一步证明了我们的HGD的鲁棒性。
2021-05-12 cs.AI cs.CV
Distilling Inter-Class Distance for Semantic Segmentation
Wuhan University(武汉大学);Wormpex AI Research(Wormpex人工智能研究院)
知识蒸馏是语义分割中广泛采用的一种降低计算代价的方法,以往的语义分割知识知识蒸馏方法主要集中在像素级特征对齐和类内特征差异提取,而忽略了对语义分割至关重要的类间距离知识的传递。为了解决这个问题,我们提出了一个类间距离蒸馏(IDD)的方法来转移教师网络的特征空间中的类间距离的学生网络。此外,语义分割是一个位置相关的任务,因此我们开发了一个位置信息蒸馏模块,以帮助学生网络编码更多的位置信息。在Cityscapes、Pascal VOC和ADE 20 K三个常用数据集上的实验表明,该方法有助于提高语义分割模型的准确率,达到了最新的性能。例如,它在Cityscapes数据集上将基准模型(“PSPNet+ResNet18”)的准确性提高了7.50%。
2022-07-15 cs.CV
TinyGAN: Distilling BigGAN for Conditional Image Generation
Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所)
生成对抗网络(GANs)已经成为生成图像建模的强大方法。然而,GANs因其训练不稳定性而臭名昭著,特别是在大规模复杂数据集上。虽然BigGAN最近的工作显着提高了ImageNet上图像生成的质量,但它需要一个巨大的模型,因此很难在资源受限的设备上部署。为了减少模型的大小,我们提出了一个黑盒知识蒸馏框架来压缩GANs,它突出了一个稳定和高效的训练过程。给定BigGAN作为教师网络,我们设法训练一个小得多的学生网络来模拟其功能,在初始和FID分数上实现有竞争力的性能,生成器具有更少的参数$16\times$。
2020-09-29 cs.CV