Comparison Knowledge Translation for Generalizable Image Classification
Zhejiang University(浙江大学);Shanghai Institute for Advanced Study of Zhejiang University(浙江大学上海高等研究院);Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Hangzhou Honghua Digital Technology Co., Ltd.(杭州宏华数码科技股份有限公司);Ningbo Research Institute, Zhejiang University(浙江大学宁波研究院)
深度学习最近在图像分类任务中取得了令人瞩目的表现,这在很大程度上依赖于大量的注释。然而,现有深度学习模型的分类机制似乎与人类的识别机制形成对比。人类只需看一眼图像中的物体,甚至是未知类型的物体,就可以从海量图像中快速准确地找到其他同类物体,这得益于日常对各种物体的识别。在本文中,我们试图建立一个通用的框架,模仿人类的识别机制,在图像分类任务,希望提高分类性能上看不见的类别与其他类别的注释的支持。具体来说,我们研究了一个新的任务,称为比较知识翻译(CKT)。给定一组完全标记的类别,CKT的目标是将从标记的类别中学习到的比较知识转化为一组新的类别。为此,我们提出了一个比较分类翻译网络(CCT-Net),它包括一个比较分类器和一个匹配分类器。比较分类器的设计是为了区分两幅图像是否属于同一类别,而匹配分类器则以对抗的方式共同工作,以确保分类结果是否符合事实。详尽的实验表明,CCT网络实现了令人惊讶的泛化能力上看不见的类别和SOTA性能的目标类别。
2022-05-07 cs.CV
Memory-Modular Classification: Learning to Generalize with Memory Replacement
POSTECH(浦项科技大学);Google DeepMind(谷歌DeepMind)
本文提出一种记忆模块化图像分类学习器,将知识存储于外部记忆并通过替换记忆内容实现对新类别的零样本、少样本及增量分类泛化,无需重新训练模型。
2025-04-08 cs.CV
A Universal Knowledge Embedded Contrastive Learning Framework for Hyperspectral Image Classification
School of Resource and Environmental Sciences, Wuhan University(武汉大学资源与环境科学学院);College of Science and Engineering, James Cook University(詹姆斯库克大学科学与工程学院);School of Computer Science, Wuhan University(武汉大学计算机学院)
针对现有高光谱图像分类模型依赖小型模型、数据集划分不切实际导致真实性能差的问题,提出通用知识嵌入对比学习框架KnowCL,兼容多类骨干网络,自适应融合监督与无监督损失,适配三种分类范式,缩小了与标准视觉骨干的性能差距。
2024-04-27 cs.CV
KFWC: A Knowledge-Driven Deep Learning Model for Fine-grained Classification of Wet-AMD
Beijing University of Posts and Telecommunications(北京邮电大学);Hebei Eye Hospital(河北省眼科医院)
使用深度神经网络的自动诊断可以帮助眼科医生检测致盲性眼病湿性黄斑变性(AMD)。湿性AMD有两种相似的亚型,新生血管性AMD和息肉状脉络膜血管(PCV)。然而,由于数据收集的困难和图像之间的相似性,大多数研究只实现了湿AMD的粗粒度分类,而不是湿AMD亚型的细粒度分类。为了解决这个问题,在本文中,我们提出了一个知识驱动的细粒度湿AMD分类模型(KFWC),分类细粒度的疾病数据不足。通过将输入图像的10个病变体征的先验知识引入KFWC,我们的目标是通过多标签分类预训练来加速KFWC,以在细粒度疾病分类任务中定位决定性的图像特征,从而实现更好的分类。同时,KFWC还可以提供良好的可解释性,并有效地减轻了湿性AMD细粒度疾病分类领域的数据收集和注释压力。实验证明了KFWC的有效性,其AU-ROC评分达到99.71%,并且与数据驱动的w/o Knowledge和眼科医生相比有相当大的改善,其比率超过最强基线6.69%,超过眼科医生4.14%。
2021-12-23 cs.CV eess.IV
PK-GCN: Prior Knowledge Assisted Image Classification using Graph Convolution Networks
Georgia State University(佐治亚州立大学);Computer Science Department(计算机科学系)
深度学习在各种分类任务中取得了巨大成功。通常,深度学习模型直接从数据中学习底层特征,并且不包括类之间的底层关系。类之间的相似性会影响分类的性能。在这篇文章中,我们提出了一种使用图卷积层将类相似性知识并入卷积神经网络模型的方法。我们在两个基准图像数据集:MNIST和CIFAR10上评估了我们的方法,并分析了不同数据和模型大小的结果。实验结果表明,该模型可以提高分类精度,特别是当可用数据量很小时。
2020-09-24 cs.CV cs.LG eess.IV
Image classification network enhancement methods based on knowledge injection
Xidian University(西安电子科技大学)
针对现有深度神经网络缺乏可解释性且未利用人类知识的问题,本文提出基于人类认知模型构建的多层级深度学习算法与知识注入数据集,有效提升了模型在不同规模隐藏层上的可解释性与分类性能。
2024-01-09 cs.AI cs.CV
KGTN-ens: Few-Shot Image Classification with Knowledge Graph Ensembles
University of Innsbruck(因斯布鲁克大学);University of Warsaw(华沙大学);Wageningen University & Research(瓦赫宁根大学与研究中心);Poznań University of Economics and Business(波兹南经济与商业大学)
该研究提出KGTN-ens框架扩展知识图迁移网络,可低成本融合多种知识图嵌入,构建新的维基数据嵌入知识源,在小样本图像分类任务的多数测试设置下,于ImageNet-FS数据集的top-5准确率优于原KGTN。
2022-11-06 cs.AI cs.CV cs.LG
Robust Visual Representation Learning with Multi-modal Prior Knowledge for Image Classification Under Distribution Shift
Corporate Research, Robert Bosch GmbH(罗伯特·博世公司企业研究部);University of Stuttgart(斯图加特大学);Stanford University(斯坦福大学);University of Southampton(南安普顿大学)
针对深度神经网络在分布偏移下泛化能力不足的问题,提出知识引导视觉表示学习(KGV)方法,整合知识图谱和合成图像模态知识,通过新的KGE对齐方式实现正则化学习,在多任务中提升准确性和数据效率。
2025-02-12 cs.CV cs.LG
Stitching Gaps: Fusing Situated Perceptual Knowledge with Vision Transformers for High-Level Image Classification
University of Bologna(博洛尼亚大学)
本文提出融合情境感知知识与视觉Transformer的方法,提升抽象概念图像分类的性能与可解释性,通过构建AKG和混合模型实现更丰富的语义表示。
2024-02-29 cs.AI cs.CV
Distilling and Transferring Knowledge via cGAN-generated Samples for Image Classification and Regression
University of British Columbia(不列颠哥伦比亚大学)
知识蒸馏(KD)已经被积极地研究用于深度学习中的图像分类任务,旨在基于来自教师的知识来提高学生的表现。然而,应用KD在图像回归与标量响应变量的研究很少,并存在KD方法适用于分类和回归任务尚未。此外,现有的KD方法通常需要从业者仔细选择或调整教师和学生架构,使得这些方法在实践中不太灵活。为了以统一的方式解决上述问题,我们提出了一个基于cGAN的综合KD框架,称为cGAN-KD。从根本上不同于现有的KD方法,cGAN-KD通过cGAN生成的样本将知识从教师模型提取并转移到学生模型。这种新机制使cGAN-KD适合分类和回归任务,与其他KD方法兼容,并且对教师和学生架构不敏感。在这项工作中,导出了在cGAN-KD框架中训练的学生模型的误差界,为cGAN-KD的有效性提供了理论依据,并指导了cGAN-KD的实际实施。在CIFAR-100和ImageNet-100上的大量实验表明,我们可以将最先进的KD方法与cGAN-KD框架结合起来,产生一种新的最先进的方法。此外,在Steering Angle和UTKFace上的实验证明了cGAN-KD在图像回归任务中的有效性,现有的KD方法不适用。
2022-12-27 cs.CV stat.ML
Knowledge-Free Black-Box Watermark and Ownership Proof for Image Classification Neural Networks
Shanghai Jiao Tong University(上海交通大学)
数字水印技术已经成为深度神经网络的所有权验证和知识产权保护的一个可行的候选方案。对于图像分类神经网络,当前的水印方案一致地求助于后门触发器。然而,将后门注入神经网络需要训练数据集的知识,这在现实世界的商业化中通常是不可用的。同时,现有的水印方案忽略了所有权验证过程中暴露的证据和水印算法本身的潜在破坏。这些问题使得现有的水印算法不能应用于工业领域。为了应对这些挑战,我们提出了一个无知识的黑箱水印方案的图像分类神经网络。利用从无数据蒸馏过程中获得的图像生成器来稳定后门注入期间网络的性能。设计了一个精细的编码和验证协议,以确保该方案的安全性对知识型对手。我们也给了一个开创性的分析能力的水印方案。实验结果证明了该水印方案的功能保持能力和安全性。
2022-04-09 cs.CR cs.CV cs.MM
TAKT: Target-Aware Knowledge Transfer for Whole Slide Image Classification
The Chinese University of Hong Kong(香港中文大学);The Hong Kong University of Science and Technology (HKUST)(香港科技大学);Tencent YouTu Lab(腾讯优图实验室);Nanyang Technological University(南洋理工大学)
针对全切片图像分类标注样本少、域偏移与任务差异阻碍知识迁移的问题,提出TAKT师生范式框架,结合目标感知特征对齐模块实现有效知识迁移,在多个数据集上达到SOTA性能。
2024-07-11 cs.AI cs.CV
Geo-Spatiotemporal Features and Shape-Based Prior Knowledge for Fine-grained Imbalanced Data Classification
MILA, Montreal Institute for Learning Algorithms(MILA蒙特利尔学习算法研究所);Paris-Saclay University(巴黎萨克雷大学);CentraleSupélec Paris (ECP)(巴黎中央理工学院);INRIA Paris(法国国家信息与自动化研究所巴黎分部);Operations Research Center, MIT(麻省理工学院运筹学中心);Université de Montréal(蒙特利尔大学);University of Toronto(多伦多大学);McGill University(麦吉尔大学)
细粒度分类旨在区分具有相似全局感知和模式但细节不同的项目。我们的主要挑战来自小的类间差异和大的类内差异。在这篇文章中,我们建议结合几项创新来改进野生动物用例中的细粒度分类,这对专家来说具有实际意义。我们利用地理时空数据来丰富图片信息,并进一步提高性能。我们还研究了处理不平衡数据问题的最先进的方法。
2021-03-21 cs.AI cs.CV cs.LG
End-to-End Video Classification with Knowledge Graphs
Institute for Infocomm Research(资讯通信研究院)
视频理解已经吸引了大量的研究关注,特别是最近可用的大规模视频基准。在本文中,我们解决了多标签视频分类的问题。我们首先观察到机器和人类如何学习之间存在着巨大的知识差距。也就是说,虽然包括深度神经网络在内的当前机器学习方法主要关注给定数据的表示,但人类通常会超越手头的数据,并利用外部知识来做出更好的决策。为了缩小差距,我们建议将外部知识图谱纳入视频分类。特别是,我们将传统的“无知识”机器学习模型和知识图谱统一在一个新的端到端框架中。该框架可以灵活地与大多数现有的视频分类算法一起工作,包括最先进的深度模型。最后,我们在最大的公共视频数据集YouTube-8 M上进行了广泛的实验。结果是有希望的全面,提高平均精度高达2.9%。
2017-11-06 cs.CV
Multi-Teacher Knowledge Distillation for Incremental Implicitly-Refined Classification
Peking University(北京大学)
增量学习方法可以通过在顺序学习过程中从最后一个模型(作为教师模型)到当前模型(作为学生模型)提取知识来不断学习新的类。然而,这些方法不能用于增量隐式细化分类(IIRC),这是一种增量学习扩展,其中传入的类可以有两个粒度级别,一个超类标签和一个子类标签。这是因为先前学习的超类知识可能被顺序学习的子类知识占据。为了解决这个问题,我们提出了一种新的多教师知识蒸馏(MTKD)策略。为了保留子类知识,我们使用最后一个模型作为一般教师,为学生模型提取以前的知识。由于初始模型中包含丰富的超类知识,为了保持超类知识,我们使用初始模型作为超类教师来提取超类知识。然而,从两个教师模型中提取知识可能会导致学生模型做出一些冗余的预测。我们进一步提出了一种后处理机制,称为Top-k预测限制,以减少冗余的预测。在IIRC-ImageNet 120和IIRC-CIFAR 100上的实验结果表明,与现有方法相比,该方法具有更高的分类精度。
2022-02-24 cs.CV
Model Distillation with Knowledge Transfer from Face Classification to Alignment and Verification
Beijing Orion Star Technology Co., Ltd.(北京猎户星空科技有限公司)
知识蒸馏是解决模型压缩问题的一种潜在方法。其思想是使一个小的学生网络模仿一个大的教师网络的目标,然后学生网络可以竞争的教师之一。大多数以前的研究集中在分类任务中的模型蒸馏,他们为学生网络提出了不同的架构师和初始化。然而,只有分类任务是不够的,其他相关的任务,如回归和检索几乎没有考虑。针对这一问题,本文以人脸识别为切入点,提出了从人脸分类到比对和验证的模型蒸馏和知识转移。通过选择合适的初始化和目标的知识转移,蒸馏可以更容易在非分类任务。在CelebA和CASIA-WebFace数据集上的实验表明,学生网络在对齐和验证方面可以与教师网络竞争,甚至在特定压缩率下超过教师网络。此外,为了实现更强的知识传递,我们还使用了一个常见的初始化技巧来提高分类的蒸馏性能。在CASIA-Webface和大规模MS-Celeb-1 M数据集上的评估显示了这个简单技巧的有效性。
2017-10-23 cs.CV
Multi-label Zero-shot Classification by Learning to Transfer from External Knowledge
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Alibaba Group(阿里巴巴集团)
多标签zero-shot分类的目的是预测输入图像的多个不可见的类别标签。它比单一标签更具有挑战性。一方面,分配给每个图像的标签数量不受约束,使得模型更容易过拟合那些可见的类。另一方面,在现有的多标签分类数据集中,可见和不可见的类之间存在很大的语义差距。为了解决这些难题,本文提出了一种新的多标签zero-shot分类框架,通过学习从外部知识转移。我们观察到ImageNet通常用于预训练特征提取器,并且具有大而细粒度的标签空间。这促使我们将其作为外部知识来利用,以连接可见和不可见的类并促进泛化。具体来说,我们构建了一个知识图谱,不仅包括来自目标数据集的类,还包括来自ImageNet的类。由于ImageNet标签在目标数据集中不可用,我们提出了一种新的PosVAE模块来推断它们在扩展知识图谱中的初始状态。然后,我们设计了一个关系图卷积网络(RGCN)来传播类之间的信息,实现知识转移。在两个基准数据集上的实验结果证明了该方法的有效性。
2020-07-31 cs.CV
Unlabeled Data Deployment for Classification of Diabetic Retinopathy Images Using Knowledge Transfer
Isfahan University of Technology(伊斯法罕理工大学);McMaster University(麦克马斯特大学)
卷积神经网络(CNN)在医学图像处理中具有广泛的应用前景。医学图像是丰富的,但缺乏注释数据。迁移学习用于解决标记数据不足的问题,并赋予CNN更好的训练能力。迁移学习可用于许多不同的医学应用;然而,迁移下的模型应具有与原始网络相同的大小。知识蒸馏是最近提出的一种将模型中的知识转移到另一个模型中的方法,可以弥补迁移学习的不足。但是,有些知识可能无法通过知识蒸馏得到蒸馏。提出了一种新的基于迁移学习的知识蒸馏方法,将一个模型的全部知识迁移到另一个模型。所提出的方法可以是有益的和实用的医学图像分析,其中少量的标记数据是可用的。所提出的过程进行测试糖尿病视网膜病变分类。仿真结果表明,使用所提出的方法,一个广泛的网络的知识可以转移到一个较小的模型。
2020-02-09 cs.CV
Bi-directional Weakly Supervised Knowledge Distillation for Whole Slide Image Classification
Fudan University(复旦大学)
基于全切片图像分类的计算机辅助病理诊断在临床实践中发挥着重要作用,通常将其描述为弱监督多实例学习问题。现有的方法从包分类或实例分类的角度解决了这个问题。在本文中,我们提出了一个端到端的弱监督知识蒸馏框架(WENO)的WSI分类,它集成了一个袋分类器和一个实例分类器的知识蒸馏框架,以相互提高两个分类器的性能。具体地,基于注意力的袋分类器被用作教师网络,其用弱袋标签训练,并且实例分类器被用作学生网络,其使用从教师网络获得的归一化注意力分数作为正袋中的实例的软伪标签来训练。教师和学生之间共享一个实例特征提取器,以进一步加强他们之间的知识交流。此外,我们提出了一种基于学生网络输出的硬正例挖掘策略,以迫使教师网络继续挖掘硬正例。WENO是一个即插即用的框架,可以很容易地应用于任何现有的基于注意力的袋子分类方法。在五个数据集上的实验证明了WENO的有效性。代码可在https://github.com/miccaiif/WENO上获得。
2022-10-10 cs.CV
Amalgamating Knowledge towards Comprehensive Classification
Zhejiang University(浙江大学);Stevens Institute of Technology(史蒂文斯理工学院)
随着深度学习的快速发展,已经有前所未有的大量训练过的深度网络模型可供在线使用。重复使用这些训练过的模型可以显著降低从头开始训练新模型的成本,如果不是完全不可行的话,因为用于训练原始网络的注释通常不向公众提供。本文提出研究一种新的模型重用任务,我们称之为\emph{knowledge amalgamation}。给定多个经过训练的教师网络,每个网络专门处理不同的分类问题,知识融合的目标是学习一个能够处理综合分类的轻量级学生模型。我们假设除了教师模型的输出之外没有其他注释可用,因此专注于从多个教师中提取和合并知识。为此,我们提出了一个试点两步战略,以解决知识融合的任务,通过学习第一个紧凑的功能表示教师,然后在一个分层的方式,以建立学生模型的网络参数。我们将这种方法应用于四个公共数据集,并获得了非常令人鼓舞的结果:即使没有任何人工注释,所获得的学生模型也能够处理综合分类任务,并且在大多数情况下,在单个子任务中表现优于教师。
2018-12-03 cs.CV
Remote Sensing Image Classification with Decoupled Knowledge Distillation
Chongqing Qingshan Industry Co., LTD(重庆青山工业有限公司);Chengdu Jinhui Rongzhi Data Service Co., LTD(成都金辉融智数据服务有限公司)
本文以 G-GhostNet 为骨干并引入解耦知识蒸馏,在 RSOD 和 AID 上以少 6.24 倍参数达到接近 VGG-16 的 Top-1 精度,实现遥感图像分类轻量化部署。
2025-06-09 cs.CV
Integrating Contextual Knowledge to Visual Features for Fine Art Classification
University of Bari Aldo Moro(巴里阿尔多·莫罗大学)
自动艺术品分析已经引起了模式识别和计算机视觉界日益增长的兴趣。然而,目前的大多数工作主要是完全基于数字化的艺术品图像,有时辅以一些元数据和文字评论。一个知识图谱,它整合了关于艺术品、艺术家、绘画流派等的丰富信息,可以为艺术领域中更强大的信息检索和知识发现工具提供有价值的资源。为此,本文提出了ArtGraph:一个基于WikiArt和DBpedia的艺术知识图谱。在Neo4j中实现的图已经提供了知识发现功能,而无需训练学习系统。此外,从图中提取的嵌入用于将“上下文”知识注入深度学习模型,以提高艺术品属性预测任务的准确性。
2021-09-28 cs.CV
Better and Faster: Knowledge Transfer from Multiple Self-supervised Learning Tasks via Graph Distillation for Video Classification
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
视频表示学习是视频分类中的一个重要问题。近年来出现了一种很有前途的无监督学习范式--自监督学习,它通过解决辅助任务来挖掘隐含在海量数据中的内在监督信号,进行特征学习。然而,在这方面的现有方法在扩展到视频分类时受到两个限制。首先,它们只关注单个任务,而忽略了不同任务特定特征之间的互补性,从而导致次优的视频表示。其次,高计算和内存成本阻碍了它们在现实世界场景中的应用。在本文中,我们提出了一个基于图的蒸馏框架来解决这些问题:(1)我们提出了Logits图和表示图来传递来自多个自监督任务的知识,其中前者通过解决多分布联合匹配问题来提取分类器级知识,后者从成对组合表示中提取内部特征知识,解决不同特征之间的异质性挑战。特征;(2)采用教师-学生框架的建议可以大大减少从教师那里学到的知识的冗余,从而导致更轻的学生模型,更有效地解决分类任务。在3个视频数据集上的实验结果验证了我们的建议不仅有助于学习更好的视频表示,而且还可以压缩模型以加快推理。
2018-04-26 cs.CV
Classification by Attention: Scene Graph Classification with Prior Knowledge
Ludwig Maximilian University of Munich(慕尼黑大学);Sapienza University of Rome(罗马大学);Siemens AG(西门子公司)
场景图分类中的一个主要挑战是,对象和关系的外观可以从一个图像到另一个显着不同。以前的作品已经解决了这个问题的关系推理在图像中的所有对象或将先验知识分类。与以前的作品不同,我们不考虑感知和先验知识的单独模型。相反,我们采用多任务学习方法,将分类实现为注意力层。这允许先验知识在感知模型中出现和传播。通过强制模型也代表先验,我们实现了强归纳偏差。我们表明,我们的模型可以准确地生成常识知识,这种知识的场景表示的迭代注入导致显着更高的分类性能。此外,我们的模型可以根据三元组给出的外部知识进行微调。当与自监督学习相结合时,仅使用1%的注释图像,这使得对象分类提高了3%以上,场景图分类提高了26%,谓词预测准确率提高了36%。
2020-12-17 cs.CV cs.LG
Convolutional Neural Network Committees for Melanoma Classification with Classical And Expert Knowledge Based Image Transforms Data Augmentation
Universidade Federal Fluminense(弗鲁米嫩塞联邦大学);Hospital Universitário Pedro Ernesto(佩德罗·埃内斯托大学医院);Universidade Estadual do Rio de Janeiro(里约热内卢州立大学)
皮肤癌是一个主要的公共卫生问题,是最常见的癌症类型,占全球癌症诊断的一半以上。早期发现影响疾病的结果,并激励我们的工作。我们调查了CNN委员会的组成和ISBI 2017黑色素瘤分类挑战(名为皮肤病变分析对黑色素瘤检测)的数据增强,面临着处理这样一个小的,不平衡的生物数据库的特殊性。为此,我们探索了在ISBI挑战训练数据集上训练的卷积神经网络的委员会,该训练数据集通过经典图像处理变换和由关于病变轴的专业知识指导的图像扭曲来人工增强,并提高了最终分类器对常见黑色素瘤变化的不变性。
2017-03-15 cs.CV
Query-Based Knowledge Sharing for Open-Vocabulary Multi-Label Classification
Southeast University(东南大学);Ant Group(蚂蚁集团)
本文提出基于查询的知识共享范式,利用可学习的标签无关查询token从VLP模型提取视觉知识,并结合提示池和特征匹配分类方法,在开放词汇多标签零样本分类任务上显著超越现有方法。
2024-01-02 cs.CV
Expert Knowledge-Guided Decision Calibration for Accurate Fine-Grained Tree Species Classification
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University(武汉大学测绘遥感信息工程国家重点实验室);Hubei Luojia Laboratory(湖北珞珈实验室)
本文提出EKDC-Net,通过专家知识引导的决策校准提升细粒度树种分类的准确性与精度,采用轻量级模块实现性能提升。
2026-01-23 cs.CV
Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification
The Chinese University of Hong Kong(香港中文大学);NVIDIA(英伟达);Xidian University(西安电子科技大学);SenseTime Research(商汤科技研究院);Centre for Perceptual and Interactive Intelligence (CPII)(感知与交互智能中心)
最近的知识蒸馏研究发现,集合来自多个教师或学生的"暗知识"有助于创建用于训练的更好的软目标,但以显著更多的计算和/或参数为代价。在这项工作中,我们提出了巴奇知识集成(BAKE),通过传播和集成在同一个小批量的其他样本的知识,为锚图像产生精致的软目标。具体而言,对于每个感兴趣的样本,知识的传播根据样本间亲和力进行加权,这些亲和力是用当前网络实时估计的。传播的知识然后可以被集成以形成用于蒸馏的更好的软目标。通过这种方式,我们的BAKE框架仅用一个网络实现了多个样本的在线知识集成。与现有的知识集成方法相比,它需要最小的计算和内存开销。大量的实验表明,轻量级而有效的BAKE一致地提高了多个数据集上各种架构的分类性能,例如,在ImageNet上,Swin-T的显著增益为+0.7%,仅需+1.5%的计算开销和零附加参数。BAKE不仅改进了普通基线,而且在所有基准测试中都超过了单网络的最新技术水平。
2021-11-20 cs.CV
Knowledge Distillation from Single to Multi Labels: an Empirical Study
OPPO Research Institute(OPPO研究院);Fudan University(复旦大学)
知识蒸馏(KD)在单标记图像分类中得到了广泛的研究。然而,其多标签分类的功效仍然相对未被探索。在这项研究中,我们首先研究了经典的KD技术,包括基于logit和基于特征的方法,多标签分类的有效性。我们的研究结果表明,基于logit的方法是不适合多标签分类,教师未能提供类别间的相似性信息或正则化效果的学生模型的训练。此外,我们观察到,基于特征的方法很难同时传达多个标签的紧凑信息。鉴于这些限制,我们建议合适的暗知识应该包含类信息,并与最终分类结果高度相关。为了解决这些问题,我们介绍了一种新的蒸馏方法的基础上类激活图(CAM),这是有效的和简单的实现。在广泛的设置范围内,基于CAM的蒸馏始终优于其他方法。
2023-03-15 cs.CV
SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images
Nanyang Technological University(南洋理工大学);University of British Columbia(不列颠哥伦比亚大学);Vancouver Coast Health Research Institute(温哥华海岸健康研究所);BC Cancer(不列颠哥伦比亚癌症中心)
皮肤癌是最常见的恶性肿瘤之一,影响大量人口,并在世界范围内造成沉重的经济负担。在过去的几年里,由于人工智能的进步,计算机辅助诊断得到了迅速发展,并在医疗保健和医疗实践中取得了很大进展。然而,大多数皮肤癌检测的研究都在追求高预测精度,而没有考虑便携式设备上计算资源的限制。在这种情况下,知识蒸馏(KD)已被证明是一个有效的工具,帮助提高轻量级模型在有限的资源下的适应性,同时保持高层次的表示能力。为了弥合这一差距,这项研究特别提出了一种新的方法,称为SSD-KD,它将不同的知识统一到一个通用的KD框架中,用于皮肤病分类。我们的方法模型的实例内关系特征表示,并将其与现有的KD研究。一个双关系知识蒸馏架构是自我监督训练,而加权软化输出也被利用,使学生模型,以捕捉更丰富的知识,从教师模型。为了证明我们的方法的有效性,我们在ISIC 2019上进行了实验,ISIC 2019是一个大规模开放访问的皮肤病皮肤镜图像基准。实验结果表明,我们的蒸馏轻量级模型可以达到高达85%的准确率为8种不同的皮肤疾病的分类任务,最小的参数和计算要求。消融研究证实了我们的内部和实例间的关系知识整合策略的有效性。与现有的知识蒸馏技术相比,该方法在大规模皮肤镜数据库上的多疾病分类性能得到了提高。
2022-03-30 cs.CV
Categorical Relation-Preserving Contrastive Knowledge Distillation for Medical Image Classification
Southern University of Science and Technology(南方科技大学);The Chinese University of Hong Kong(香港中文大学);Xiamen University(厦门大学);City University of Hong Kong(香港城市大学)
用于训练深度分类模型的医学图像的量通常非常稀少,使得这些深度模型易于过拟合训练数据。研究表明,知识蒸馏(KD),特别是平均教师框架,这是更强大的扰动,可以帮助减轻过拟合效应。然而,直接将KD从计算机视觉转移到医学图像分类会产生较差的性能,因为医学图像遭受较高的类内方差和类不平衡。为了解决这些问题,我们提出了一种新的保持分类的对比知识蒸馏(CRCKD)算法,它采用常用的均值-教师模型作为监督器。具体来说,我们提出了一种新的类引导对比蒸馏(CCD)模块拉近积极的图像对从同一类中的教师和学生的模型,而推开负像对从不同的类。通过这种正则化,学生模型的特征分布显示出更高的类内相似性和类间方差。此外,我们提出了一个类别关系保持(CRP)损失提取教师的关系知识,在一个强大的和类平衡的方式。由于CCD和CRP的贡献,我们的CRCKD算法可以更全面地提取相关知识。在HAM 10000和APTOS数据集上的大量实验证明了所提出的CRCKD方法的优越性。
2021-07-07 cs.CV
Multi-Dataset Cross-Domain Knowledge Distillation for Unified Medical Image Segmentation, Classification, and Detection
Faculty of Mathematics and Computer Science, University of Bucharest(布加勒斯特大学数学与计算机科学学院);Gheorghe Mihoc-Caius Iacob Institute of Mathematical Statistics and Applied Mathematics of the Romanian Academy(罗马尼亚科学院格奥尔基·米霍茨-凯奥斯·伊阿科夫学院数学统计与应用数学研究所)
本文提出了一种统一的跨领域迁移学习框架,通过多个异构医学影像数据集的知识提升分割、分类和目标检测性能,采用教师-学生范式,通过多级知识蒸馏训练任务特定的学生模型,扩展支持图像分类和目标检测,实现医学图像分析的多任务统一。
2026-05-02 cs.CV
The Staged Knowledge Distillation in Video Classification: Harmonizing Student Progress by a Complementary Weakly Supervised Framework
China Academy of Railway Sciences(中国铁道科学研究院);NVIDIA(英伟达)
针对视频分类知识蒸馏中蒸馏方法与师生结构关系被忽视的问题,提出弱监督分阶段蒸馏框架,融合渐进级联训练、伪标签优化和特征分布损失,提升学生模型效率与准确率。
2023-07-16 cs.CV
Knowledge-Aware Mamba for Joint Change Detection and Classification from MODIS Times Series
Department of Geomatics Engineering, University of Calgary, Calgary, Canada(测绘工程系,卡尔加里大学,卡尔加里,加拿大)
本文提出知识感知Mamba(KAMamba)框架,通过知识驱动转换矩阵、多任务学习及空间-光谱-时间Mamba模块,有效解耦MODIS时间序列信息,显著提升了土地覆盖变化检测与LULC分类的精度。
2025-10-08 cs.CV
Open-Vocabulary Multi-Label Classification via Multi-Modal Knowledge Transfer
Tencent(腾讯)
现实世界的识别系统经常遇到不可见标签的挑战。为了识别这样的不可见标签,多标签零样本学习(ML-SLML)专注于通过预训练的文本标签嵌入(例如,GloVe)。然而,这样的方法只利用单模态知识从语言模型,而忽略了丰富的语义信息固有的图像-文本对。相反,最近开发的基于开放词汇表(OV)的方法成功地利用这些信息的图像-文本对的目标检测,并取得了令人印象深刻的性能。受OV方法成功的启发,我们提出了一种新的开放式词汇框架,命名为多模态知识转移(MKT),用于多标签分类。具体来说,我们的方法利用基于视觉和语言预训练(VLP)模型的图像-文本对的多模态知识。为了便于传递VLP模型的图文匹配能力,采用知识蒸馏保证图像和标签嵌入的一致性,并通过提示微调进一步更新标签嵌入。为了进一步实现多个对象的识别,开发了一个简单但有效的双流模块来捕获局部和全局特征。大量的实验结果表明,我们的方法显着优于国家的最先进的方法在公共基准数据集。源代码可在https://github.com/sunanhe/MKT上获得。
2023-02-01 cs.CV
Improving Scene Graph Classification by Exploiting Knowledge from Texts
Ludwig Maximilian University of Munich(路德维希·马克西米利安慕尼黑大学)
训练场景图分类模型需要大量带注释的图像数据。同时,场景图表示可以用来自文本或知识图谱的符号数据建模的关系知识。虽然图像注释需要大量的劳动力,但收集自然场景的文本描述需要较少的努力。在这项工作中,我们调查文本场景描述是否可以取代带注释的图像数据。为此,我们采用了一个场景图分类框架,不仅从注释图像,而且从符号数据进行训练。在我们的体系结构中,符号实体首先映射到其对应的基于图像的表示,然后送入关系推理管道。即使知识的结构化形式,如知识图谱中的形式,并不总是可用的,我们可以使用基于transformer的语言模型从非结构化文本中生成它。我们表明,通过使用从文本中提取的知识微调分类管道,我们可以在场景图分类中获得约8倍的准确结果,在对象分类中获得约3倍的准确结果,在谓词分类中获得约1.5倍的准确结果,而监督基线只有1%的注释图像。
2021-10-08 cs.AI cs.CV
Medical Knowledge-Guided Deep Learning for Imbalanced Medical Image Classification
University of Pittsburgh(匹兹堡大学);National University of Defense Technology(国防科技大学);University of Pittsburgh Medical Center Children’s Hospital of Pittsburgh(匹兹堡大学医学中心匹兹堡儿童医院);Magee-Womens Hospital of University of Pittsburgh Medical Center(匹兹堡大学医学中心马吉妇女医院)
深度学习模型在各种图像分类任务上取得了卓越的性能。然而,当数据不平衡时,许多模型在临床或医疗环境中的性能有限。为了应对这一挑战,我们提出了一种医学知识指导的一类分类方法,利用特定领域的知识分类任务,以提高模型的性能。我们的方法背后的基本原理是,可以将一些现有的医学知识纳入数据驱动的深度学习中,以促进模型学习。我们为不平衡图像分类设计了一个基于深度学习的单类分类管道,并在三个用例中演示了我们如何通过生成额外的中间类来利用每个特定分类任务的医学知识,以实现更高的分类性能。我们在三个不同的临床图像分类任务(共8459张图像)上评估了我们的方法,并与六种最先进的方法相比,显示出优越的模型性能。本作品的所有代码将在论文被接受后公开提供。
2022-04-14 cs.CV eess.IV
Knowledge Transfer Based Fine-grained Visual Classification
细粒度视觉分类(FGVC)的目的是区分同一类别的子类,其本质解决方案是挖掘细微的、有区别的区域。卷积神经网络(CNN)采用交叉熵损失(CE-损失)作为损失函数,表现出较差的性能,因为模型只能学习最有区别的部分,而忽略其他有意义的区域。现有的一些工作试图通过一些检测技术或注意力机制挖掘更多的区分区域来解决这个问题。然而,大多数算法在寻找更具鉴别力的区域时会遇到背景噪声问题。在本文中,我们解决它的知识迁移学习的方式。多个模型被逐个训练,并且所有先前训练的模型都被视为教师模型来监督当前模型的训练。具体来说,正交损失(OR损失),建议鼓励网络找到不同的和有意义的区域。此外,第一个模型仅使用CE-损失进行训练。最后,将具有互补知识的所有模型的输出组合在一起,以获得最终的预测结果。我们证明了所提出的方法的优越性,并获得国家的最先进的(SOTA)性能在三个流行的FGVC数据集。
2020-12-21 cs.CV
Quantifying the Knowledge in a DNN to Explain Knowledge Distillation for Classification
Shanghai Jiao Tong University(上海交通大学)
与传统的从头开始学习相比,知识蒸馏有时会使DNN获得更好的性能。本文提供了一个新的视角来解释知识蒸馏的成功,即,基于信息论,量化DNN中间层中编码的知识点以进行分类。为此,我们将DNN中的信号处理视为逐层信息丢弃。一个知识点被称为一个输入单元,它的信息被丢弃的比其他输入设备少得多。因此,我们提出了三个假设的基础上量化的知识点的知识蒸馏。1.从知识蒸馏学习的DNN比从头开始学习的DNN编码更多的知识点。2.知识蒸馏使DNN更有可能同时学习不同的知识点。相比之下,从头开始学习的DNN倾向于顺序编码各种知识点。3.从知识蒸馏中学习的DNN通常比从头开始学习的DNN更稳定。为了验证上述假设,我们设计了三种带有前景对象标注的度量指标来分析DNN的特征表示、\textit{i.e.}知识点的数量和质量、不同知识点的学习速度以及优化方向的稳定性。在实验中,我们为不同的分类任务诊断了各种DNN,即,图像分类、三维点云分类、二值情感分类和问答等实验验证了上述假设。
2022-08-18 cs.AI cs.CV cs.LG
Iterative Self Knowledge Distillation -- From Pothole Classification to Fine-Grained and COVID Recognition
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
坑洼分类已成为道路检测车辆的重要任务,以节省司机潜在的车祸和维修费用。考虑到有限的计算能力和固定的训练次数,我们提出了迭代自知识蒸馏(ISKD)训练轻量级坑洞分类器。ISKD旨在随着时间的推移在知识蒸馏中改进教师和学生模型,ISKD在四个轻量级网络架构的三个坑洞分类数据集上优于最先进的自我知识蒸馏方法,这支持自我知识蒸馏应该迭代而不是一次完成。教师模型和学生模型之间的准确性关系表明,学生模型仍然可以受益于适度训练的教师模型。这意味着更好的教师模型通常会产生更好的学生模型,我们的研究结果证明了ISKD的设计。除了坑洞分类之外,我们还在与通用分类,细粒度分类和医学成像应用相关的六个额外数据集上证明了ISKD的有效性,这支持ISKD可以作为通用性能助推器,而无需给定的教师模型和额外的可训练参数。
2022-02-04 cs.CV eess.IV
Deep Ensemble Collaborative Learning by using Knowledge-transfer Graph for Fine-grained Object Classification
Chubu University(中部大学)
多个网络通过共享知识进行学习的相互学习提高了每个网络的性能。然而,已经经历了相互学习的网络的合奏的性能没有从没有相互学习的正常合奏的性能显著提高,即使每个网络的性能已经显著提高。这可能是由于相互学习中的知识与集成中网络的个性之间的关系。在这项研究中,我们提出了一种集成方法,使用知识转移,以提高合奏的准确性,通过引入损失的设计,促进网络之间的相互学习的多样性。我们使用注意力地图作为知识,它表示网络中间层的概率分布和信息。有许多方法可以将网络和损失设计结合起来用于知识转移方法。因此,我们使用知识转移图的自动优化来考虑各种知识转移方法,通过图形化地表示传统的相互学习和蒸馏方法,并通过超参数搜索来优化每个元素。所提出的方法包括一个机制,用于构建一个集成的知识转移图,注意力损失,和损失的设计,促进网络之间的多样性。我们通过优化知识转移图来探索最佳集成学习,以最大限度地提高集成精度。通过对Stanford Dogs、Stanford Cars和CUB-200-2011数据集的图形探索和评估实验,我们证实了所提出的方法比传统的集成方法更准确。
2021-03-27 cs.CV
Knowledge-Augmented Contrastive Learning for Abnormality Classification and Localization in Chest X-rays with Radiomics using a Feedback Loop
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院);Weill Cornell Medicine(威尔康奈尔医学院)
构建用于胸部X射线中的异常的分类和定位的高度准确的预测模型通常需要大量的异常的手动注释的标签和像素区域(边界框)。然而,获取这样的注释是昂贵的,特别是边界框。最近,对比学习在利用未标记的自然图像来产生高度概括性和区分性的特征方面显示出了强大的前景。然而,将其功能扩展到医学图像领域是未充分探索的,并且是非常重要的,因为医学图像对数据增强的可扩展性要低得多。相比之下,他们的先验知识以及放射组学特征往往至关重要。为了弥合这一差距,我们提出了一个端到端的半监督知识增强的对比学习框架,同时执行疾病分类和定位任务。我们的框架的关键旋钮是一个独特的正采样方法为医学图像量身定制,通过无缝集成放射组学特征作为知识增强。具体来说,我们首先应用一个图像编码器来分类胸部X光片,并产生图像特征。接下来,我们利用Grad-CAM来突出胸部X射线的关键(异常)区域(即使未注释),从中提取放射组学特征。然后,放射组学特征通过另一个专用编码器,以充当从同一胸部X射线生成的图像特征的阳性样本。通过这种方式,我们的框架构成了一个反馈回路的图像和放射形态特征,以相互加强对方。它们的对比产生了知识增强的表示,既强大又可解释。在NIH胸部X射线数据集上进行的大量实验表明,我们的方法在分类和定位任务方面都优于现有的基线。
2022-05-04 cs.CV
Curriculum learning for improved femur fracture classification: scheduling data with prior knowledge and uncertainty
Universitat Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚高级研究学院);Ecole Centrale de Nantes(南特中央理工学院);Technische Universität München(慕尼黑工业大学);LMU München(慕尼黑大学);Johns Hopkins University(约翰斯·霍普金斯大学)
根据X线影像对股骨近端骨折进行适当的分类,对于治疗方法的选择和患者的临床结局至关重要。我们依赖于常用的AO系统,它描述了一个层次知识树,根据骨折的位置和复杂性将图像分类为类型和子类型。本文提出了一种基于卷积神经网络(CNN)的股骨近端骨折3类和7类AO自动分类方法。众所周知,CNN需要具有可靠标签的大型代表性数据集,这对于手头的应用程序来说很难收集。在本文中,我们设计了一种课程学习(CL)方法,在这种条件下提高了基本CNN的性能。我们的新公式重新统一了三个课程策略:单独加权训练样本,重新排序训练集,和采样数据子集。这些策略的核心是对训练样本进行排序的评分函数。我们定义了两个新的评分函数:一个来自特定领域的先验知识和一个原始的自定进度的不确定性分数。我们进行实验的临床数据集股骨近端X光片。该课程提高了股骨近端骨折的分类,以达到有经验的创伤外科医生的表现。最好的课程方法根据先验知识对训练集进行重新排序,从而使分类提高了15%。使用公开的MNIST数据集,我们进一步讨论和展示了我们的统一CL配方的好处,为三个控制和具有挑战性的数字识别方案:有限的数据量,类不平衡,并在标签噪声的存在。我们的工作代码可在:https://github.com/ameliajimenez/curriculum-learning-prior-uncertainty.
2021-11-09 cs.CV
Online Sensor Hallucination via Knowledge Distillation for Multimodal Image Classification
Indian Institute of Technology Bombay(印度理工学院孟买分校)
我们处理的问题,信息融合驱动的卫星图像/场景分类,并提出了一个通用的幻觉体系结构,考虑到所有可用的传感器信息都存在于训练过程中,而一些图像模态可能会缺席,而测试。众所周知,不同的传感器能够捕获给定地理区域的补充信息,并且与仅考虑模态的子集相比,结合来自所有源的信息的分类模块预期产生改进的性能。然而,经典的分类器系统固有地要求用于训练模块的所有特征也存在于测试实例中,这对于典型的遥感应用(例如,灾害管理)可能并不总是可能的。作为一种补救措施,我们提供了一个强大的解决方案的幻觉模块,可以近似失踪的模态从可用的决策阶段。为了确保更好的知识转移过程中的模态幻觉,我们明确纳入了知识蒸馏的概念,在我们的框架中探索特权(侧)信息的目的,并随后引入一个直观的模块化训练方法。在大规模的PAN-MS图像对语料库上对所提出的网络进行了广泛的评估(场景识别)以及基准高光谱图像数据集(图像分类),其中我们遵循不同的实验场景,并发现所提出的基于幻觉的模块确实能够捕获多源信息,尽管明确缺少一些传感器信息,并有助于改善场景表征。
2019-08-28 cs.CV
Enhanced Object Detection via Fusion With Prior Beliefs from Image Classification
University of Southern California(南加州大学);Booz Allen Hamilton Inc.(博思艾伦咨询公司);U.S. Army Research Laboratory(美国陆军研究实验室)
在本文中,我们介绍了一种新的融合方法,可以通过融合两种不同类型的计算机视觉任务:目标检测和图像分类的决策,提高目标检测性能。在所提出的工作中,从图像分类获得的图像的类标签被视为关于某些对象的存在或不存在的先验知识。然后将先验知识与目标检测的决策融合,以通过减轻与先验知识强烈矛盾的目标检测器的假阳性来提高检测精度。最近推出的一种新的融合方法称为动态信念融合(DBF)被用来融合检测器输出与分类先验。实验结果表明,在基准数据集上,通过所提出的融合框架,所提出的工作中使用的所有检测算法的检测性能得到改善。
2016-10-21 cs.CV
Data and Knowledge Co-driving for Cancer Subtype Classification on Multi-Scale Histopathological Slides
Jilin University(吉林大学);China-Japan Union Hospital of Jilin University(吉林大学中日联谊医院);Nanjing University of Science and Technology(南京理工大学);Tongji University(同济大学)
针对癌症亚型诊断,本文提出D&K模型,结合bagging数据驱动模块与基于格式塔原则的3D知识空间度量,在公开和内部数据集上优于现有方法。
2023-04-18 cs.CV
APSeg: Auto-Prompt Model with Acquired and Injected Knowledge for Nuclear Instance Segmentation and Classification
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
针对SAM模型依赖精确提示且无法直接分类的问题,提出APSeg自动提示模型,通过分布引导和类别语义注入模块提升细胞核实例分割与分类的准确性。
2025-04-03 cs.CV eess.IV
DeepACC:Automate Chromosome Classification based on Metaphase Images using Deep Learning Framework Fused with Prior Knowledge
染色体分类是核型分析中的一项重要而又繁琐的工作。以往的方法都是人工分割单个染色体进行分类,与临床应用有很大的差距。在这项工作中,我们提出了一种基于检测的方法,DeepACC,定位和精细分类染色体同时基于整个中期图像。我们首先引入加性角裕度损失来提高模型的鉴别能力。为了减轻批量效应,我们通过一个连体网络,充分利用染色体通常成对出现的先验知识,对每类的决策边界进行逐例转换。此外,我们采取临床七组标准作为先验知识,并设计了一个额外的组内邻近损失,以进一步减少类间相似性。从临床实验室收集3390个中期图像并标记以评价性能。结果表明,与最先进的基线相比,新设计带来了令人鼓舞的性能增益。
2021-08-11 cs.CV
From Articles to Canopies: Knowledge-Driven Pseudo-Labelling for Tree Species Classification using LLM Experts
Institute of Theoretical and Applied Informatics, Polish Academy of Sciences(波兰科学院理论与应用信息学研究所);University of Lodz(卢布林大学);University of Warsaw, Faculty of Geography and Regional Studies, Department of Geoinformatics, Cartography and Remote Sensing(华沙大学地理与区域研究学院,地理信息学、制图与遥感系)
本文提出一种结合多传感器地球观测数据和生态知识的半监督深度学习方法,通过生物启发的伪标注提升树种分类精度,实验显示比最佳参考方法提升5.6%。
2026-10-23 cs.CV
Context-Aware Knowledge Distillation with Adaptive Weighting for Image Classification
School of Computing(计算学院)
提出自适应知识蒸馏框架,动态调整平衡因子并引入上下文感知模块,在CIFAR-10上以ResNet-50/18实现更高准确率和更稳定收敛。
2025-08-30 cs.CV
KPL: Training-Free Medical Knowledge Mining of Vision-Language Models
Zhejiang University(浙江大学);ZJU-UIUC Institute(浙江大学-伊利诺伊大学厄巴纳-香槟分校研究院);ZJU-Angelalign R&D Center for Intelligence Healthcare(浙江大学-时代天使智能医疗研发中心);Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence(浙江省医学影像人工智能重点实验室);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局前沿人工智能研究中心);Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局高性能计算研究所)
针对CLIP在医学图像零样本分类中因类别表示不足和模态差距导致的性能问题,提出知识代理学习(KPL),通过文本代理优化和多模态代理学习挖掘CLIP知识,在医学和自然数据集上超越所有基线。
2025-01-20 cs.CV
Enhancing Chest X-ray Classification through Knowledge Injection in Cross-Modality Learning
Zhejiang University(浙江大学);School of Engineering, Westlake University(西湖大学工程学院);Westlake University Research Center for Industries of the Future(西湖大学未来产业研究中心);The Second Affiliated Hospital Zhejiang University School of Medicine (SAHZU)(浙江大学医学院附属第二医院);Google Developer Relations Team(谷歌开发者关系团队)
提出基于集合论的可控知识注入框架,通过不同医学信息密度的描述微调 CLIP,并在 CheXpert 零样本 CXR 分类中证明细粒度领域知识可显著提升准确率。
2025-02-19 cs.CL cs.CV
Variational Knowledge Distillation for Disease Classification in Chest X-Rays
University of Amsterdam(阿姆斯特丹大学);Inception Institute of Artificial Intelligence(Inception人工智能研究院)
单纯依靠图像数据进行疾病分类是医学图像分析领域的研究热点。然而,通过使用电子健康记录(EHR),可以进一步改进当前的模型,其中包含有关患者的丰富信息和临床医生的发现。由于高度依赖EHR中的临床医生输入,因此将这些信息纳入疾病分类具有挑战性,限制了自动诊断的可能性。在本文中,我们提出了\textit{variational knowledge distillation}(VKD),这是一个新的概率推理框架的疾病分类的基础上,利用知识的电子病历的X射线。具体来说,我们引入了一个条件潜变量模型,在那里我们推断的潜在代表性的X射线图像的变分后验条件相关的EHR文本。通过这样做,该模型获得了在学习过程中提取与疾病相关的视觉特征的能力,因此可以仅基于X射线扫描进行推理,对未见过的患者进行更准确的分类。我们证明了我们的方法在三个公共基准数据集与配对的X射线图像和EHR的有效性。实验结果表明,变分知识提取方法能够持续提高医学图像分类的性能,显著优于现有方法。
2021-03-19 cs.CV eess.IV
GCNBoost: Artwork Classification by Label Propagation through a Knowledge Graph
Univ. Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(法国国家信息与自动化研究所布列塔尼分支);Osaka University(大阪大学);Kyoto University(京都大学)
文化文献数字化的兴起提供了大规模的内容,为人工智能系统的发展开辟了道路,以保护,搜索和提供文化遗产。组织这样的文化内容也意味着对它们进行分类,这是现代计算机科学非常熟悉的任务。上下文信息通常是构建这种真实世界数据的关键,我们建议以知识图谱的形式使用它。这样的知识图谱与内容分析相结合,增强了艺术品之间的邻近度的概念,因此它提高了分类任务的性能。在本文中,我们提出了一种新的使用知识图谱,这是建立在注释数据和伪标记数据。通过标签传播,我们通过使用图卷积网络训练模型来提高艺术品分类,依赖于知识图谱的实体之间的关系。在一个转换学习框架下,我们的实验表明,依靠知识图谱建模标记数据和未标记数据之间的关系,可以在绘画数据集和佛像数据集上实现多个分类任务的最新结果。此外,我们展示了处理不平衡数据的困难情况下的最先进的结果,在知识图谱中忽略极低程度的类的限制。
2021-05-25 cs.CV cs.LG