Mitigating Bias in Dataset Distillation
University of California, Los Angeles(加州大学洛杉矶分校)
该研究发现数据集蒸馏会放大原始数据的颜色、背景偏差、抑制损坏偏差,提出基于核密度估计样本重加权的去偏差方法,在CMNIST等数据集上性能远超现有方法,为解决蒸馏偏差放大问题提供有效方案。
2024-07-10 cs.AI cs.CV cs.LG
Deep Learning Based Text Classification: A Comprehensive Review
Snapchat Inc(Snapchat公司);Google Brain(谷歌大脑);Nanyang Technological University(南洋理工大学);University of Tabriz(大不里士大学);Microsoft Research(微软研究院)
基于深度学习的模型在各种文本分类任务中已经超越了基于经典机器学习的方法,包括情感分析、新闻分类、问答和自然语言推理。在本文中,我们全面回顾了近年来开发的150多种基于深度学习的文本分类模型,并讨论了它们的技术贡献、相似性和优势。我们还提供了广泛用于文本分类的40多个流行数据集的摘要。最后,我们对不同深度学习模型在流行基准测试上的性能进行了定量分析,并讨论了未来的研究方向。
2021-01-04 cs.CL cs.LG stat.ML
Cross-Paradigm Knowledge Distillation: A Comprehensive Study of Bidirectional Transfer Between Random Forests and Deep Neural Networks for Big Data Applications
BrightMind AI Research(BrightMind AI研究院)
本文研究了随机森林与深度神经网络之间双向知识蒸馏,提出了新的方法,通过144次实验展示了双向RF-DL蒸馏在分类和回归任务中的竞争力,同时提供了可解释性和表达性的互补优势。
2026-05-19 cs.LG
Meta-Learning in Audio and Speech Processing: An End to End Comprehensive Review
PES University(PES大学)
该文系统综述音频与语音处理中的元学习方法,涵盖数据、特征、元学习器、任务选择、数据集与应用,并展望未来方向。
2024-08-19 cs.LG cs.SD eess.AS
A Comprehensive Survey of Dataset Distillation
The University of Sydney(悉尼大学)
本文综述数据集蒸馏方法,按元学习与数据匹配分类,探讨框架、算法、性能及应用,并指出高分辨率与复杂标签空间等挑战及未来方向。
2023-12-24 cs.LG
A Comprehensive Survey on Knowledge Distillation of Diffusion Models
Peking University(北京大学)
本文综述了扩散模型知识蒸馏的现代方法,涵盖将其蒸馏为神经向量场、随机与确定性隐式生成器及无需训练的加速采样算法,旨在为相关研究提供全面指导。
2023-04-09 cs.LG
A Comprehensive Overhaul of Feature Distillation
Clova AI Research, NAVER Corp(NAVER公司Clova人工智能研究院);Seoul National University(首尔大学)
我们研究了实现网络压缩的特征提取方法的设计方面,并提出了一种新的特征提取方法,在该方法中,提取损失的设计,使各方面之间的协同作用:教师变换,学生变换,提取特征的位置和距离函数。我们提出的蒸馏损失包括一个新设计的边缘ReLU的特征变换,一个新的蒸馏特征位置,以及一个部分L2距离函数,以跳过对学生压缩产生不利影响的冗余信息。在ImageNet中,我们提出的方法使用ResNet50实现了21.65%的前1错误,优于教师网络ResNet152的性能。我们所提出的方法进行评估,如图像分类,目标检测和语义分割的各种任务,并实现了显着的性能改善,在所有的任务。代码可在https://sites.google.com/view/byeongho-heo/overhaul上获得
2019-08-09 cs.CV cs.LG
Comprehensive Attention Self-Distillation for Weakly-Supervised Object Detection
Carnegie Mellon University(卡内基梅隆大学)
弱监督目标检测(WSOD)已经成为一种有效的工具,训练对象检测器使用的图像级类别标签。然而,如果没有对象级别的标签,WSOD检测器很容易检测到显着的对象,聚类对象和歧视性的对象部分的边界框。此外,图像级类别标签不强制跨相同图像的不同变换的一致的目标检测。针对上述问题,我们提出了一个全面的注意力自我蒸馏(CASD)训练方法的WSOD。为了平衡所有对象实例之间的特征学习,CASD计算从相同图像的多个变换和特征层聚合的综合注意力。为了对对象进行一致的空间监督,CASD在WSOD网络上进行自蒸馏,使得综合注意力同时由相同图像的多个变换和特征层来近似。CASD在PASCAL VOC 2007/2012和MS-COCO等标准基准上生成最新的WSOD结果。
2020-10-22 cs.CV cs.LG
Reducing Capacity Gap in Knowledge Distillation with Review Mechanism for Crowd Counting
Jiangxi Normal University(江西师范大学);East China University of Science and Technology(华东理工大学)
轻量级人群计数模型,特别是基于知识蒸馏(KD)的模型,由于其在计算效率和硬件需求上的优势,近年来受到了越来越多的关注。然而,现有的基于KD的模型通常遭受容量差距问题,导致学生网络的性能受到教师网络的限制。在本文中,我们通过引入一种新的审查机制KD模型,在研究过程中的人类审查机制的动机,解决这个问题。因此,所提出的模型被称为ReviewKD。该模型包括一个教学阶段和一个回顾阶段,我们首先利用一个训练有素的重型教师网络的潜在特征转移到一个轻量级的学生网络在教学阶段,然后在回顾阶段产生一个精细的估计密度图的基础上学习的功能,通过审查机制。通过与最先进的模型进行比较,在六个基准数据集上的一组实验证明了ReviewKD的有效性。数值实验结果表明,ReviewKD在人群计数方面优于现有的轻量级模型,能够有效缓解容量缺口问题,尤其是在教师网络方面具有超越教师网络的性能。除了轻量级模型,我们还表明,建议的审查机制可以作为一个即插即用模块,以进一步提高性能的一种沉重的人群计数模型,而无需修改神经网络架构和引入任何额外的模型参数。
2022-06-11 cs.LG cs.MM
Self-Review Reinforcement Learning (SRRL) with Cross-Episode Memory and Policy Distillation
研究针对强化学习中环境反馈稀疏或延迟问题,提出自我审查强化学习框架,通过策略梯度优化自我审查,经选择性蒸馏内化改进到基础策略,用跨情节记忆保留成功审查,在GSM8K基准上评估,该框架优于基线且学习效率更高。
2026-07-08 cs.AI cs.LG
No Task Vector Is an Island: A Comprehensive Study on the Composability of Task Vectors from On-Policy Distillation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Ant Group(蚂蚁集团)
本研究探究从策略蒸馏任务向量的可组合性,发现其能与RL教师更新互补,在任务内和任务间均有效组合,且弱独立性能不意味着弱可组合性。
2026-10-01 cs.LG
Towards Personalized Federated Learning via Comprehensive Knowledge Distillation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院)
针对联邦学习中的数据异质性导致灾难性遗忘问题,提出利用全局与历史模型作为教师、本地模型作为学生的综合知识蒸馏方法,有效缓解遗忘并提升个性化模型性能。
2024-11-06 cs.AI cs.CR cs.CV
A Survey on Dataset Distillation: Approaches, Applications and Future Directions
University of Stavanger(斯塔万格大学);Fraunhofer FOKUS(弗劳恩霍夫协会FOKUS研究所);University of Amsterdam(阿姆斯特丹大学);Technical University of Munich(慕尼黑工业大学)
该综述针对当前数据集蒸馏领域缺乏整体性认知的问题,提出了该领域的方法分类体系,系统梳理了现有方法、数据模态与应用场景,并总结挑战、展望未来研究方向。
2023-08-24 cs.LG
Eliminating Backdoor Triggers for Deep Neural Networks Using Attention Relation Graph Distillation
East China Normal University(华东师范大学)
随着人工智能(AI)技术的发展,越来越多的后门被攻击者用来攻击深度神经网络(DNN)。虽然最先进的神经注意力蒸馏(NAD)方法可以有效地清除DNN中的后门触发器,但它仍然存在不可忽视的攻击成功率(ASR)和分类准确率(ACC)降低的问题。由于NAD集中于使用注意力特征的后门防御(即,注意力地图)相同的顺序。在本文中,我们介绍了一种新的后门防御框架命名为注意力关系图蒸馏(ARGD),充分探讨了不同的顺序使用我们提出的注意力关系图(ARGs)之间的相关性的注意力特征。基于知识蒸馏过程中教师和学生模型之间的ARG对齐,ARGD可以比NAD消除更多的后门触发器。综合实验结果表明,在6种最新的后门攻击下,ARGD比NAD在ASR上降低了94.85%,而ACC可以提高3.23%。
2022-04-24 cs.LG
Efficient Transformer Knowledge Distillation: A Performance Review
Clemson University(克莱姆森大学);Giant Oak Inc.(巨橡公司)
本研究评估了高效注意力transformer通过知识蒸馏进行模型压缩的性能,引入了长上下文NER数据集GONERD,发现蒸馏后的模型在保留高达98.8%性能的同时将推理时间减少57.8%。
2023-11-22 cs.CL cs.LG
Knowledge Distillation on Graphs: A Survey
University of Notre Dame(圣母大学);Brandeis University(布兰迪斯大学)
图神经网络(GNN)通过展示其处理图数据的能力而引起了极大的关注。然而,由于模型大小和多跳数据依赖性所施加的可扩展性约束,它们难以部署在资源有限的设备中。此外,现实世界的图通常具有复杂的结构信息和特征。因此,为了提高GNN的适用性,充分编码复杂的拓扑信息,引入了图上的知识蒸馏(KDG),以构建更小而有效的模型,并从数据中挖掘更多的知识,从而实现模型压缩,提高性能。近年来,KDG取得了长足的进展,提出了许多研究。在本综述中,我们系统地回顾了这些作品。具体而言,首先介绍了KDG面临的挑战和基础,然后通过回答以下三个问题对KDG的现有工作进行分类和总结:1)蒸馏什么,2)蒸馏给谁,3)如何蒸馏。最后,我们分享了我们对未来研究方向的看法。
2023-02-01 cs.LG
A Statistical Perspective on Knowledge Distillation: Foundations, Classical Methods, and Large Language Model Extensions
University of Georgia(佐治亚大学);Boston University(波士顿大学)
本综述从贝叶斯统计视角统一知识蒸馏,将教师预测视为先验信息,连接经典方法与LLM扩展,为领域提供概念框架并指出开放问题。
2026-09-29 cs.LG stat.ML
One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation
OVHai LLM(OVHai大模型)
本综述针对在线策略自蒸馏(OPSD)存在的推理路径崩溃问题,从信号加权、特权信息性质、指导衰减三个杠杆展开分析,以数学推理为范围,提供统一术语并区分已确定与争议内容。
2026-08-27 cs.AI cs.CL cs.LG
A Selective Survey on Versatile Knowledge Distillation Paradigm for Neural Network Models
Samsung Research, Samsung Electronics Co., Ltd.(三星电子株式会社三星研究院)
本文旨在提供一个有选择的调查知识蒸馏(KD)框架的研究人员和从业人员利用它开发新的优化模型在深神经网络领域。为此,我们简要介绍了知识蒸馏和一些相关的工作,包括学习使用特权信息(LUPI)和广义蒸馏(GD)。尽管基于师生体系结构的知识蒸馏最初被设计为模型压缩技术,但它在各种框架上有着广泛的应用。本文从知识蒸馏的三个重要组成部分:蒸馏知识与流失、师生范式和蒸馏过程这一假设出发,对知识蒸馏的特征进行了考察。此外,我们调查的多功能性的知识蒸馏通过研究其直接应用程序和它的使用与其他深度学习范例相结合。最后,我们提出了一些未来的工作在知识蒸馏,包括可解释的知识蒸馏的性能增益的分析研究和自监督学习,这是一个热门的研究课题,在深度学习社区。
2020-11-30 cs.AI cs.LG
Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks
Korea Advanced Institute of Science and Technology(韩国科学技术院)
近年来,深度神经模型在几乎所有领域都取得了成功,包括极其复杂的问题陈述。然而,这些模型规模庞大,具有数百万(甚至数十亿)的参数,因此需要更强大的计算能力,无法部署在边缘设备上。此外,性能提升高度依赖于冗余标记数据。为了实现更快的速度并处理由于缺乏数据而引起的问题,已经提出了知识蒸馏(KD)来将从一个模型学习到的信息转移到另一个模型。KD通常以所谓的“学生-教师”(S-T)学习框架为特征,并已广泛应用于模型压缩和知识转移。本文是关于近年来研究比较活跃的KD和S-T学习的。首先,我们的目标是提供KD是什么以及它如何/为什么工作的解释。然后,我们提供了一个全面的调查KD方法的最新进展连同S-T框架通常用于视觉任务。在一般情况下,我们认为一些基本的问题,一直在推动这一研究领域,并彻底概括的研究进展和技术细节。系统分析了KD在视觉应用中的研究现状。最后,我们讨论了现有方法的潜力和面临的挑战,并展望了KD和S-T学习的未来发展方向。
2021-06-17 cs.AI cs.CV cs.LG
[Re] Distilling Knowledge via Knowledge Review
Indian Institute of Technology, Roorkee(印度理工学院鲁尔基分校)
本研究旨在重现实验结果并分析Chen等人在CVPR '21论文“Distilling Knowledge via Knowledge Review”中引入的知识蒸馏的复习框架的鲁棒性。知识蒸馏的先前工作仅研究了学生和教师的相同水平之间的连接路径,而没有考虑跨水平的连接路径。Chen等人提出了一种新的剩余学习框架,使用多个教师层来训练单个学生层。他们还设计了一个新的融合模块来压缩不同级别的特征图,并设计了一个损失函数来比较不同级别存储的特征信息,以提高性能。在这项工作中,我们一致地验证了原始论文中报告的学生模型的测试准确性的提高,并研究了通过进行消融研究和新实验引入的新模块的有效性。
2022-05-18 cs.CV cs.LG
Accelerating Molecular Graph Neural Networks via Knowledge Distillation
Linköping University(林雪平大学);Imperial College London(伦敦帝国理工学院);Technical University of Munich(慕尼黑工业大学);Google Research(谷歌研究院)
本文提出利用知识蒸馏加速分子图神经网络,通过蒸馏有向和等变GNN的隐藏表示,在不改变学生模型架构的情况下将能量和力预测精度差距分别缩小96.7%和62.5%,同时保持轻量模型的推理吞吐量。
2023-10-28 cs.LG physics.chem-ph
Knowledge Distillation and Dataset Distillation of Large Language Models: Emerging Trends, Challenges, and Future Directions
University of Georgia(佐治亚大学);The University of Texas at Arlington(德克萨斯大学阿灵顿分校);Harvard University(哈佛大学);Carnegie Mellon University(卡内基梅隆大学);Vanderbilt University(范德堡大学);Mayo Clinic Arizona(亚利桑那梅奥诊所);Augusta University(奥古斯塔大学)
本文综述了大型语言模型的知识蒸馏与数据集蒸馏技术,探讨了其在压缩模型、保持推理能力及语言多样性方面的挑战与未来发展方向。
2026-01-03 cs.CL cs.LG stat.ML
Knowledge Distillation: A Survey
The University of Sydney(悉尼大学);Birkbeck College, University of London(伦敦大学伯贝克学院);UBTECH(优必选)
近年来,深度神经网络在工业界和学术界都取得了成功,特别是在计算机视觉任务方面。深度学习的巨大成功主要归功于其编码大规模数据和操纵数十亿模型参数的可扩展性。然而,在具有有限资源的设备上部署这些繁琐的深度模型是一个挑战,例如,移动电话和嵌入式设备,这不仅是因为高计算复杂性,而且还因为大的存储需求。为此,已经开发了各种模型压缩和加速技术。知识蒸馏作为一种典型的模型压缩和加速方法,有效地从大型教师模型中学习出小型学生模型。它受到了社会越来越多的关注。本文从知识分类、培训方案、师生结构、提炼算法、性能比较和应用等方面对知识蒸馏进行了全面的综述。最后,简要回顾了知识蒸馏面临的挑战,并对未来的研究方向进行了展望。
2021-05-20 cs.LG stat.ML
GSTAM: Efficient Graph Distillation with Structural Attention-Matching
University of Toronto(多伦多大学);National University of Singapore(新加坡国立大学)
本文提出GSTAM方法,通过结构注意力匹配机制将GNN关注的关键图结构信息蒸馏到合成图中,用于图分类数据集压缩,在极端压缩比下性能优于现有方法0.45%至6.5%。
2024-08-29 cs.AI cs.LG
Multi-Label Topic Assignment via LLM Distillation: A Comparative Analysis of Generative vs. Discriminative Student Models
eBay Inc.(eBay公司)
本研究通过比较生成式与判别式学生模型在多标签主题分配中的性能,发现生成式模型在复杂对话和标签扩展场景下更优,并已成功部署于大规模电商生产环境。
2026-10-08 cs.CL cs.LG
Towards Resource-Efficient LLMs: End-to-End Energy Accounting of Distillation Pipelines
University of Toronto(多伦多大学)
本文研究了蒸馏流水线的端到端能源成本,揭示了传统方法的能耗问题,并提出开放源代码工具用于标准化蒸馏研究。
2026-05-13 cs.AI cs.LG
Deep Epidemiological Modeling by Black-box Knowledge Distillation: An Accurate Deep Learning Model for COVID-19
University of Central Florida(中佛罗里达大学)
准确及有效的预测系统对于预防新出现的传染病(如COVID-19)在公共卫生方面的影响至关重要。该系统要求瞬态模型准确、计算量小、观测数据少。为了解决这三个挑战,我们提出了一种新的深度学习方法,使用黑盒知识蒸馏,以实用的方式进行准确和有效的传动动态预测。首先,我们利用混合模型来开发一个准确,全面,但不切实际的仿真系统。接下来,我们使用模拟观测序列查询模拟系统,以检索模拟投影序列作为知识。然后,利用获得的查询数据,提出了序列混淆,以提高查询效率,增加知识的多样性,提高蒸馏模型的准确性。最后,我们用检索到的和混合的观测-投影序列训练学生深度神经网络以供实际使用。对COVID-19的案例研究证明,当观测数据有限时,我们的方法可以以更低的计算成本准确地预测感染。
2021-01-20 cs.AI cs.LG
Unified Knowledge Distillation Framework: Fine-Grained Alignment and Geometric Relationship Preservation for Deep Face Recognition
Indian Institute of Science Education and Research(印度科学教育与研究学院)
提出统一知识蒸馏框架,通过实例级嵌入蒸馏和关系成对相似性蒸馏,实现细粒度对齐与几何关系保持,在多基准上超越现有方法,学生模型甚至超越教师。
2025-08-15 cs.CV cs.LG
Navigating the Landscape of Large Language Models: A Comprehensive Review and Analysis of Paradigms and Fine-Tuning Strategies
本文针对ChatGPT兴起后大模型快速普及的背景,对大模型的各类微调方法及相关技术进展、先进应用开展了全面综述分析。
2024-04-13 cs.AI cs.CL cs.LG
Osmosis Distillation: Model Hijacking with the Fewest Samples
Faculty of Data Science, City University of Macau(澳门城市大学数据科学学院);College of Cyber Security, Jinan University(济南大学网络安全学院);The University of Sydney(悉尼大学)
本文提出渗透蒸馏攻击,通过最少样本实现模型劫持,揭示迁移学习中使用合成数据集的安全威胁。
2026-03-05 cs.CR cs.LG
CD$^2$-pFed: Cyclic Distillation-guided Channel Decoupling for Model Personalization in Federated Learning
Shanghai Jiao Tong University(上海交通大学);UC Santa Cruz(加州大学圣克鲁兹分校);The University of Hong Kong(香港大学)
联邦学习(FL)是一种分布式学习范式,它使多个客户能够协作学习共享的全局模型。尽管最近的进展,它仍然具有挑战性,以处理异构数据客户端,差异的数据分布通常会阻止全局模型提供良好的泛化能力,对每个参与的客户端。在本文中,我们提出了CD^2-pFed,一种新的循环蒸馏引导的通道解耦框架,在FL中个性化的全局模型,在各种数据异构性的设置。不同于以往的作品,建立逐层个性化,以克服跨不同客户端的非IID数据,我们首次尝试在通道分配模型个性化,称为通道解耦。为了进一步促进私有和共享权重之间的协作,我们提出了一种新的循环蒸馏方案,在联邦期间在局部和全局模型表示之间施加一致的正则化。在循环蒸馏的指导下,我们的通道解耦框架可以为不同类型的异质性(如特征偏斜,标签分布偏斜和概念转移)提供更准确和更普遍的结果。四个基准测试,包括自然图像和医学图像分析任务的综合实验,证明了我们的方法在本地和外部验证的一致有效性。
2022-04-08 cs.CV cs.LG
Deep Reinforcement Learning and Transportation Research: A Comprehensive Review
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
深度强化学习(DRL)是一种新兴的方法,正在改变许多复杂的交通决策问题的解决方式。研究人员越来越多地转向这种强大的基于学习的方法来解决交通领域的挑战性问题。虽然在文献中已经报道了许多有前途的应用,但仍然缺乏对许多DRL算法及其使用和适应的全面综合。本文的目的是填补这一空白,进行全面的,综合性的审查,日间行车灯在交通运输中的应用。首先,我们提供了一个概述的DRL的数学背景,流行的和有前途的DRL算法,和一些非常有效的DRL扩展。在此概述的基础上,约150 DRL的研究,出现在交通文献中,分为七个不同的类别,进行了系统的调查。在此次审查的基础上,我们继续研究日间行车灯技术在交通领域应用的适用性、优点、缺点以及常见和特定应用问题。最后,我们建议未来的研究方向和目前可用的资源,实际实施DRL。
2020-10-13 cs.AI cs.LG
A comprehensive review of Quantum Machine Learning: from NISQ to Fault Tolerance
Kadanoff Center for Theoretical Physics, The University of Chicago(芝加哥大学卡达诺夫理论物理中心)
本文全面综述了量子机器学习领域,涵盖从NISQ技术到容错量子计算硬件的基础概念、算法和统计学习理论。
2024-03-31 cs.AI cs.LG quant-ph
A Comprehensive Review of Spiking Neural Networks: Interpretation, Optimization, Efficiency, and Best Practices
Rice University(莱斯大学)
生物神经网络继续激发神经网络性能的突破。然而,神经计算的一个关键领域尚未得到充分的重视和研究,这是生物学上合理的、节能的脉冲神经网络,其潜力对于低功耗、移动或其他硬件受限的设置特别有吸引力。我们提出了一个文献综述的解释,优化,效率和准确性的脉冲神经网络的最新发展。主要贡献包括识别、讨论和比较脉冲神经网络优化、能效和评估中的前沿方法,从第一原理开始,以便新从业者可以使用。
2023-03-21 cs.LG cs.NE eess.IV
Self-Supervised Quantization-Aware Knowledge Distillation
Arizona State University(亚利桑那州立大学)
本文提出自监督量化感知知识蒸馏框架SQAKD,统一量化函数动态,协同优化KL损失与离散化误差,无需标签监督,显著优于现有QAT和KD方法。
2024-03-17 cs.AI cs.CV cs.LG
Spirit Distillation: Precise Real-time Semantic Segmentation of Road Scenes with Insufficient Data
Jilin University(吉林大学)
道路场景的语义分割是实现自动驾驶场景感知的关键技术之一,深度卷积神经网络(CNN)在此任务中的有效性已得到验证。用于语义分割的现有技术的CNN遭受过度计算以及大规模训练数据需求。受基于微调的迁移学习(FTT)和基于特征的知识蒸馏思想的启发,我们提出了一种新的知识蒸馏方法,用于跨领域知识迁移和有效的数据不足网络训练,称为Spirit Distillation(SD),它允许学生网络模仿教师网络来提取一般特征,从而可以训练出紧凑而准确的学生网络,用于道路场景的实时的【形】语义分割。然后,为了进一步减轻数据不足的麻烦,提高学生的鲁棒性,提出了一种增强的精神蒸馏(ESD)方法,该方法致力于利用更全面的一般特征提取能力,考虑从目标和邻近域的图像作为输入。据我们所知,本文是将知识蒸馏应用于少样本学习的一个开创性工作。利用从COCO 2017和KITTI转移的先验知识对Cityscapes语义分割进行的说服性实验表明,我们的方法可以训练更好的学生网络(mIOU和高精度准确度分别提高1.4%和8.2%,分割方差为78.2%),仅具有41.8%的FLOP(见图1)。
2021-04-17 cs.AI cs.CV cs.LG
Improving Question Answering Performance Using Knowledge Distillation and Active Learning
Sharif University of Technology(谢里夫理工大学);University of Guilan(吉兰大学);University of Augsburg(奥格斯堡大学)
当代的问答(QA)系统,包括基于变换器的架构,遭受增加的计算和模型复杂性,这使得它们对于具有有限资源的现实世界应用是低效的。此外,训练甚至微调这些模型需要大量的标记数据,这些数据通常无法用于手头的任务。在本文中,我们对上述挑战进行了全面分析,并提出了适当的对策。我们提出了一种新的知识蒸馏(KD)的方法,以减少参数和模型的复杂性的预训练的BERT系统,并利用多个主动学习(AL)的策略,极大地减少注释工作。特别是,我们证明了我们的模型达到了6层TinyBERT和DistilBERT的性能,同时只使用了它们总参数的2%。最后,通过将我们的AL方法集成到BERT框架中,我们表明,当我们只使用20%的训练数据时,可以在SQuAD数据集上实现最先进的结果。
2021-09-26 cs.CL cs.IR cs.LG
Medical Image Registration Using Deep Neural Networks: A Comprehensive Review
Shiraz University of Technology(设拉子理工大学);Shiraz University of Medical Science(设拉子医科大学)
图像引导的介入正在挽救大量患者的生命,其中图像配准问题确实应该被认为是要解决的最复杂和最复杂的问题。另一方面,最近在机器学习领域取得的巨大进展,是在当代众核GPU上实现深度神经网络的可能性,这为许多医疗应用的挑战开辟了一个充满希望的窗口,其中注册也不例外。本文对使用深度神经网络进行医学图像配准的最新文献进行了全面回顾。该评论是系统的,包括所有以前在该领域发表的相关作品。本文从关键概念、不同角度的统计分析、面临的挑战、创新和主要贡献、关键技术、未来发展方向和趋势等方面进行了详细的讨论和综述。这篇评论让活跃在该领域的读者有了深刻的理解和洞察力,他们正在调查最先进的技术,并寻求为未来的文学做出贡献。
2020-02-09 cs.CV cs.LG cs.NE
MEMS and ECM Sensor Technologies for Cardiorespiratory Sound Monitoring - A Comprehensive Review
McMaster University(麦克马斯特大学);M Corporation(3M公司)
本文综述心肺听诊设备及 ECM、MEMS 传感技术,重点梳理近十年基于 MEMS 的可穿戴设计,首次系统总结二者在心音和肺音分析中的应用。
2025-02-14 cs.AI cs.LG eess.AS
Modality-Invariant Bidirectional Temporal Representation Distillation Network for Missing Multimodal Sentiment Analysis
School of Computer Science;Technology , Xinjiang University, Urumqi, China Email
针对模态随机缺失与多模态异构性问题,提出MITR-DNet,通过完整模态教师向缺失模态学生蒸馏双向时间表征,并引入MIB-TRL学习模态不变表示以提升鲁棒性。
2025-01-07 cs.AI cs.CL cs.LG