Modality-bridge Transfer Learning for Medical Image Classification
KAIST(韩国科学技术院)
本文提出了一种基于迁移学习的医学图像分类新方法,以缓解医学领域中标记数据不足的问题。代替从源到少量标记目标数据的直接迁移学习,我们提出了一种模态桥迁移学习,其采用与目标数据库相同的医学成像采集模态中的桥数据库。通过学习从源到桥以及从桥到目标的投影函数,可以计算源之间的域差异(例如,自然图像)和目标(例如,X射线图像)可以减轻。实验结果表明,与各种迁移学习方法相比,该方法即使对少量标记的目标医学图像也能取得较高的分类性能。
2017-08-10 cs.CV
Transfer Learning for Material Classification using Convolutional Networks
由于几何形状、反射特性和照明的复杂相互作用,自然环境中的材料分类是一项挑战。以前的材料分类工作严重依赖于视觉样本的手工设计特征。在这项工作中,我们使用了一个卷积神经网络(convnet),学习材料识别的特定任务的描述性特征。具体而言,从对象识别任务的迁移学习被利用来更有效地训练用于材料分类的良好特征。使用convnets的迁移学习方法与以前的最先进的方法相比,产生了显着更高的识别率。然后,我们分析的相对贡献的反射率和阴影信息的图像分解成其固有的组件。由于对足够和多样化的训练数据的强烈需求,即使使用迁移学习方法,也阻碍了将convnets用于材料分类。因此,我们提出了一个新的数据集,包含约10k图像分为10个材料类别。
2016-09-20 cs.CV
Transfer Learning for Endoscopic Image Classification
Hiroshima University(广岛大学);Hiroshima General Hospital of West Japan Railway Company(西日本旅客铁道株式会社广岛综合医院);Hiroshima University Hospital(广岛大学医院)
在本文中,我们提出了一种迁移学习的内窥镜图像的方法。为了在从不同(旧的和新的)内窥镜拍摄的图像中获得的特征之间进行传输,我们扩展了Hoffman等人提出的最大裕度域传输(MMDT),以便使用L2距离约束作为正则化,称为具有L2距离约束的最大裕度域传输(MMDTL 2)。此外,我们开发的对偶制定的优化问题,以减少计算成本。实验结果表明,建议的MMDTL 2优于MMDT的实际数据集采取不同的内窥镜。
2016-08-24 cs.CV
Cost-based Feature Transfer for Vehicle Occupant Classification
University of Bristol(布里斯托大学);Jaguar Land Rover(捷豹路虎)
出于设计和安全的目的,车辆制造商对车辆中人的存在和交互的知识越来越感兴趣。我们提出了一个框架来执行任务的乘员检测和乘员分类自动儿童锁和安全气囊抑制。它使用单个头顶摄像头对所有乘客座位进行操作。引入了迁移学习技术,以充分利用来自所有座位的训练数据,同时仍然保持对偏置的一些控制,这对于被设计成比其他人更多地惩罚某些错误分类的系统是必要的。一个具有挑战性的数据集与加权和未加权分类器进行评估,证明了转移过程的有效性。
2015-12-22 cs.CV
Model Distillation with Knowledge Transfer from Face Classification to Alignment and Verification
Beijing Orion Star Technology Co., Ltd.(北京猎户星空科技有限公司)
知识蒸馏是解决模型压缩问题的一种潜在方法。其思想是使一个小的学生网络模仿一个大的教师网络的目标,然后学生网络可以竞争的教师之一。大多数以前的研究集中在分类任务中的模型蒸馏,他们为学生网络提出了不同的架构师和初始化。然而,只有分类任务是不够的,其他相关的任务,如回归和检索几乎没有考虑。针对这一问题,本文以人脸识别为切入点,提出了从人脸分类到比对和验证的模型蒸馏和知识转移。通过选择合适的初始化和目标的知识转移,蒸馏可以更容易在非分类任务。在CelebA和CASIA-WebFace数据集上的实验表明,学生网络在对齐和验证方面可以与教师网络竞争,甚至在特定压缩率下超过教师网络。此外,为了实现更强的知识传递,我们还使用了一个常见的初始化技巧来提高分类的蒸馏性能。在CASIA-Webface和大规模MS-Celeb-1 M数据集上的评估显示了这个简单技巧的有效性。
2017-10-23 cs.CV
Unlabeled Data Deployment for Classification of Diabetic Retinopathy Images Using Knowledge Transfer
Isfahan University of Technology(伊斯法罕理工大学);McMaster University(麦克马斯特大学)
卷积神经网络(CNN)在医学图像处理中具有广泛的应用前景。医学图像是丰富的,但缺乏注释数据。迁移学习用于解决标记数据不足的问题,并赋予CNN更好的训练能力。迁移学习可用于许多不同的医学应用;然而,迁移下的模型应具有与原始网络相同的大小。知识蒸馏是最近提出的一种将模型中的知识转移到另一个模型中的方法,可以弥补迁移学习的不足。但是,有些知识可能无法通过知识蒸馏得到蒸馏。提出了一种新的基于迁移学习的知识蒸馏方法,将一个模型的全部知识迁移到另一个模型。所提出的方法可以是有益的和实用的医学图像分析,其中少量的标记数据是可用的。所提出的过程进行测试糖尿病视网膜病变分类。仿真结果表明,使用所提出的方法,一个广泛的网络的知识可以转移到一个较小的模型。
2020-02-09 cs.CV
STAR: Noisy Semi-Supervised Transfer Learning for Visual Classification
Concordia University(康考迪亚大学);Décathlon(迪卡侬)
半监督学习(SSL)已被证明可以有效地利用大规模未标记数据来减轻对标记数据的依赖,以便学习更好的模型用于视觉识别和分类任务。然而,最近的SSL方法依赖于数十亿规模的未标记图像数据才能很好地工作。这对于在运行时间、存储器和数据采集方面具有相对较少的未标记数据的任务变得不可行。为了解决这个问题,我们提出了嘈杂的半监督迁移学习,一种有效的SSL方法,集成了迁移学习和自我训练与嘈杂的学生到一个单一的框架,这是专为任务,可以利用未标记的图像数据的规模上千。我们评估我们的方法在二进制和多类分类任务,其目标是确定图像是否显示人们练习运动或运动类型,以及从流行的瑜伽姿势池中识别姿势。大量的实验和消融研究表明,通过利用未标记的数据,我们提出的框架显着提高了视觉分类,特别是在多类分类设置相比,国家的最先进的方法。此外,结合迁移学习不仅提高了分类性能,而且还需要减少6倍的计算时间和5倍的内存。我们还表明,我们的方法提高了视觉分类模型的鲁棒性,即使没有专门优化对抗鲁棒性。
2021-08-18 cs.CV
How Transferable are CNN-based Features for Age and Gender Classification?
Istanbul Technical University(伊斯坦布尔理工大学);Massachusetts Institute of Technology(麻省理工学院)
年龄和性别是人脸识别的互补软生物特征。从真实世界条件下拍摄的面部图像中成功估计年龄和性别可以有助于改善野外识别结果。在这项研究中,为了在野外实现强大的年龄和性别分类,我们受益于基于深度卷积神经网络的表示。我们已经探索了现有深度卷积神经网络(CNN)模型用于年龄和性别分类的可转移性。采用通用的AlexNet类架构和特定领域的VGG-Face CNN模型,并使用为不受控制的环境中的年龄和性别分类准备的Adience数据集进行微调。此外,还利用了特定于任务的GilNet CNN模型,并将其用作基线方法,以便与转移的模型进行比较。实验结果表明,这两种转移的深度CNN模型的准确率分别比Adience数据集上最先进的年龄和性别分类方法GilNet CNN模型的准确率提高了7%和4.5%。这一结果表明,传输深度CNN模型可以提供比任务特定的CNN模型更好的分类性能,后者具有有限的层数,并使用有限的数据量从头开始训练,就像GilNet一样。领域特定的VGG-Face CNN模型已被发现是更有用的,并提供更好的性能为年龄和性别分类任务,当与通用的AlexNet类模型相比,这表明,从一个更接近的域转移是更有用的。
2016-10-01 cs.CV
Enhanced Transfer Learning with ImageNet Trained Classification Layer
Federation University(联邦大学);Murdoch University(莫道克大学);Charles Sturt University(查尔斯特大学)
参数微调是一种迁移学习方法,通过该方法,将来自预训练的源网络的学习参数转移到目标网络,然后进行微调。先前的研究表明,这种方法能够提高任务绩效。然而,ImageNet预训练分类层在参数微调中的影响在文献中大多未被探索。在本文中,我们提出了一种使用预训练分类层的微调方法。我们采用逐层微调来确定哪些层应该冻结以获得最佳性能。我们的实证分析表明,所提出的微调性能优于传统的微调。这一发现表明,预先训练的分类层比之前认为的更少的类别特定信息或更多的全局信息。因此,我们假设这一层的存在对于增加网络深度以更好地适应新任务至关重要。我们的研究表明,仔细的归一化和缩放对于在目标领域自适应的预训练层和新层之间创建和谐是必不可少的。我们评估了所提出的深度增强网络在几个具有挑战性的基准数据集上进行微调,并表明它们可以实现比当代迁移学习方法更高的分类准确度。
2019-09-19 cs.CV
How Well Do Vision Transformers (VTs) Transfer To The Non-Natural Image Domain? An Empirical Study Involving Art Classification
University of Groningen(格罗宁根大学)
当涉及到涉及高维和空间组织输入(如图像)的问题时,视觉Transformer(VT)正在成为卷积神经网络(CNN)的一种有价值的替代方案。然而,它们的迁移学习(TL)特性尚未得到很好的研究,并且还不完全知道这些神经架构是否可以像CNN一样跨不同的域进行迁移。在本文中,我们研究了在流行的ImageNet数据集上预训练的VT是否学习了可转移到非自然图像域的表示。要做到这一点,我们认为三个研究充分的艺术分类问题,并使用它们作为一个替代品,研究TL的潜力,四个流行的VT。它们的性能在几个TL实验中与四种常见的CNN进行了广泛的比较。我们的研究结果表明,VT具有很强的泛化能力,并且这些网络是比CNN更强大的特征提取器。
2022-08-09 cs.CV
Weak-shot Fine-grained Classification via Similarity Transfer
Shanghai Jiao Tong University(上海交通大学)
细粒度类别的识别仍然是一个具有挑战性的任务,由于不同的从属类别之间的细微差别,这导致了大量的注释样本的需求。为了缓解数据饥饿的问题,我们考虑了在一组干净的基本类别的支持下从Web数据中学习新类别的问题,这被称为弱射学习。在这种情况下,我们提出了一种称为SimTrans的方法,将成对的语义相似性从基本类别转移到新类别。具体来说,我们首先训练干净的数据相似性网络,然后利用传输的相似性去噪网络训练数据使用两个简单而有效的策略。此外,我们在相似性网络上应用对抗损失来增强相似性的可传递性。综合实验证明了我们的弱镜头设置和我们的SimTrans方法的有效性。数据集和代码可在https://github.com/bcmi/SimTrans-Weak-Shot-Classification上获得。
2021-10-23 cs.CV
Fine-to-coarse Knowledge Transfer For Low-Res Image Classification
International Computer Science Institute, UC Berkeley(加州大学伯克利分校国际计算机科学研究所)
我们解决的困难问题,区分细粒度的对象类别在低分辨率图像。我们提出了一种简单有效的深度学习方法,将从高分辨率训练数据中获得的细粒度知识转移到粗糙的低分辨率测试场景中。这种从细到粗的知识转移有许多现实世界的应用,例如识别监控照片或卫星图像中的物体,其中测试时的图像分辨率非常低,但可以获得大量类似物体的高分辨率照片。我们在包含细粒度汽车模型和鸟类物种的两个标准基准数据集上进行的大量实验表明,我们的方法可以有效地将细细节知识转移到粗细节图像。
2016-05-21 cs.CV
Deep Transfer Learning for Land Use and Land Cover Classification: A Comparative Study
Accubits Technologies Inc(Accubits科技公司);Acharya Narendra Dev College, University of Delhi(德里大学阿查里雅·纳伦德拉·德夫学院);University of Calgary(卡尔加里大学)
高空间分辨率遥感图像分类在土地利用/土地覆盖分类中具有重要的应用价值。遥感和深度学习技术的新进展为LULC分类的时空信息提取提供了便利。此外,包括遥感在内的各种科学学科都利用了具有迁移学习的卷积神经网络(CNN)在图像分类方面的巨大改进。在这项研究中,不是从头开始训练CNN,而是将迁移学习应用于微调预训练的网络视觉几何组(VGG 16)和宽残差网络(WRN),通过使用EuroSAT数据集的红-绿-蓝版本将最终层替换为LULC分类。此外,还使用提前停止、梯度裁剪、自适应学习率和数据增强等技术对性能和计算时间进行比较和优化。所提出的方法已经解决了有限的数据问题,并取得了很好的精度。结果表明,该方法的WRN的基础上表现出更好的计算效率和准确性从98.57%到99.17%,比以前的最佳状态的结果。
2021-11-25 cs.CV
Automated Classification of Histopathology Images Using Transfer Learning
Munzur University(蒙祖尔大学)
迫切需要自动化系统来提高诊断质量并减少组织病理学图像处理中的分析时间。利用计算机辅助诊断系统对病理组织特征进行自动检测和分类是疾病早期诊断和治疗的关键步骤。一旦病理图像被显微镜扫描并加载到计算机上,它就可以用于疾病的自动检测和分类。在这项研究中,DenseNet-161和ResNet-50预训练的CNN模型已被用于通过迁移学习技术将数字组织病理学块分类到相应的整个载玻片图像中。在灰度和彩色组织病理学图像上测试了所提出的预训练模型。DenseNet-161预训练模型使用灰度图像实现了97.89%的分类准确率,ResNet-50模型对彩色图像的分类准确率为98.87%。所提出的预训练模型在所有性能指标上都优于最先进的方法,可以将数字病理学补丁分类为24个类别。
2019-11-21 cs.CV
Transfer Learning for Melanoma Detection: Participation in ISIC 2017 Skin Lesion Classification Challenge
Mayo Clinic(梅奥诊所)
本手稿描述了我们参加国际皮肤成像合作组织2017年皮肤病变分析黑色素瘤检测竞赛的情况。我们参加了第3部分:病变分类。该二元图像分类挑战的两个既定目标是区分(a)黑素瘤和(b)痣和脂溢性角化病,然后区分(a)脂溢性角化病和(b)痣和黑素瘤。我们选择了一种带有迁移学习策略的深度神经网络方法,使用预先训练的Inception V3网络作为特征提取器,为多层感知器提供输入,并对增强的Inception网络进行微调。该方法在第二个任务上产生0.84的验证集AUC,在第一个任务上产生0.76的验证集AUC,平均AUC为0.80。不幸的是,我们很晚才加入竞争,我们期待着在这些结果的基础上有所改进。
2017-03-15 cs.CV
Crowd Counting by Self-supervised Transfer Colorization Learning and Global Prior Classification
The Hong Kong University of Science and Technology(香港科技大学)
标记的人群场景图像是昂贵且稀缺的。为了显着降低对标记图像的要求,我们提出了ColorCount,这是一种新的基于CNN的方法,通过结合自监督转移着色学习和全局先验分类来利用大量可用的未标记数据。自监督着色分支通过使用其颜色分量作为伪标签来学习图像的语义和表面纹理。分类分支通过学习图像簇之间的相关性来提取全局组先验。它们融合的结果判别特征(全局先验、语义和纹理)为计数提供了充足的先验,从而显著降低了对标记图像的要求。我们对四个具有挑战性的基准进行了广泛的实验。与其他无监督方法相比,ColorCount实现了更好的性能。它的性能接近监督基线,具有显著更少的标记数据(原始数据的10%)。
2021-05-20 cs.CV
Context-Aware Learning using Transferable Features for Classification of Breast Cancer Histology Images
University of Warwick(华威大学);The Alan Turing Institute(艾伦·图灵研究所);University Hospitals Coventry & Warwickshire(考文垂与沃里克郡大学医院)
卷积神经网络(CNN)最近已被用于各种组织学图像分析。然而,大数据集的可用性是训练CNN的主要先决条件,这限制了计算病理学社区对其的使用。在以前的研究中,CNN已经证明了它们在特征概括性和可转移性方面的潜力,并具有更好的性能。考虑到CNN的这些特点,我们提出了一种简单而有效的方法,该方法利用了CNN的优势,结合了包括上下文信息的优势,特别是针对小数据集设计的。我们的方法包括两个主要步骤:首先,它使用CNN的激活特征训练的基于补丁的分类,然后它训练一个单独的分类器使用重叠补丁的功能执行基于图像的分类使用上下文信息。所提出的框架优于最先进的乳腺癌分类方法。
2018-03-06 cs.CV
Deep Transfer Learning for Breast Cancer Classification
Michigan State University(密歇根州立大学);AIMS Ghana(加纳非洲数学科学研究所)
本研究比较了VGG、ViT和Resnet在浸润性导管癌图像分类中的表现,发现Resnet-34准确率达90.40%,而VGG-16因参数少具有更高F1分数,表明深度迁移学习能有效提升乳腺癌诊断的准确性和可及性。
2024-09-05 cs.CV
Learning for Amalgamation: A Multi-Source Transfer Learning Framework For Sentiment Classification
AISIA Research Lab(AISIA研究实验室);University of Science(科学大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学);Singapore Management University(新加坡管理大学)
迁移学习在深度学习中起着重要作用,它可以显著提高目标域在训练数据不足时的性能。我们的工作超越了使用单个预训练模型的迁移学习的常见做法。我们专注于越南语情感分类的任务,并提出了LIFA,这是一个从几个预训练模型中学习统一嵌入的框架。我们还提出了另外两种LIFA变体,鼓励预先训练的模型相互合作或竞争。研究这些变量揭示了LIFA的成功,表明在模型之间共享知识对迁移学习更有益。此外,我们还构建了第一个大规模越南情感分类数据库AISIA-VN-Review-F数据集。我们对AISIA-VN-Review-F和现有基准进行了广泛的实验,以证明LIFA与其他技术相比的有效性。为了促进越南NLP研究,我们在接受后向研究社区发布我们的源代码和数据集。
2023-03-16 cs.CV
Tackling Data Bias in Painting Classification with Style Transfer
Durham University(杜伦大学)
由于领域差距造成的模型偏差和艺术风格分布不均匀造成的数据偏差,很难对绘画作品集进行训练分类器。以前的技术,如数据蒸馏,传统的数据增强和风格转移使用任务特定的训练数据集或领域自适应改进分类器训练。我们提出了一个系统来处理像Kaokore数据集这样的小型绘画数据集中的数据偏差,同时考虑到领域自适应来微调在真实世界图像上训练的模型。我们的系统包括两个阶段,即风格转换和分类。在风格转换阶段,我们使用均匀采样的内容和风格图像生成每个类的风格化训练样本,并训练每个域的风格转换网络。在分类阶段,我们可以在原始训练数据集和风格化图像上进行训练时,在注意力层解释风格层和内容层的有效性。我们可以权衡模型的性能和收敛性,通过动态变化的比例增加的样本在多数和少数类。我们实现了与SOTA相比的结果,具有更少的训练时期和更少的训练参数的分类器。
2023-01-06 cs.CV
Unsupervised Deep Transfer Feature Learning for Medical Image Classification
University of Sydney(悉尼大学);Royal Prince Alfred Hospital(阿尔弗雷德王子医院);Shanghai Jiao Tong University(上海交通大学)
使用监督式深度学习的图像分类的准确性和鲁棒性取决于大规模带注释的训练数据的可用性。然而,由于人工注释的复杂性,可获得的注释数据很少。为了克服这个问题,一种流行的方法是通过以下方式使用跨不同领域的可转移知识:1)使用已经在大规模通用图像上预训练的通用特征提取器(即,transfer-learned),但不适于从医学图像捕获特征;或者2)用相对较少数量的注释图像微调通用知识。我们的目标是通过使用一种新的分层无监督特征提取器来减少对注释训练数据的依赖,该特征提取器具有放置在预训练的卷积神经网络之上的卷积自动编码器。我们的方法将来自预训练域的丰富和通用的图像特征约束到来自未注释的医学图像域的局部图像特征的复杂表示。我们的方法比迁移学习方法具有更高的分类精度,并且与最先进的监督微调方法相比具有竞争力。
2019-03-26 cs.CV
Hyperspectral Classification Based on 3D Asymmetric Inception Network with Data Fusion Transfer Learning
Northwestern Polytechnical University(西北工业大学);The University of Adelaide(阿德莱德大学)
近年来,卷积神经网络(CNN)在高光谱图像(HSI)分类中得到了很大的改进。与RGB数据集不同,不同的HSI数据集通常由不同的遥感器捕获,并且具有不同的光谱配置。此外,每个HSI数据集只包含非常有限的训练样本,因此在使用深度CNN时容易过拟合。在本文中,我们首先提供了一个3D非对称初始网络,AINet,以克服过拟合问题。AINet强调HSI数据空间背景上的光谱特征,可以有效地传达和分类特征。此外,所提出的数据融合迁移学习策略有利于提高分类性能。大量的实验表明,所提出的方法击败了所有的国家的最先进的方法在几个HSI基准,包括帕维亚大学,印度松树和肯尼迪航天中心(KSC)。代码可以在https://github.com/UniLauX/AINet上找到。
2020-02-11 cs.CV
Enhancing Cocoa Pod Disease Classification via Transfer Learning and Ensemble Methods: Toward Robust Predictive Modeling
Caraga State University(卡拉加州立大学)
本研究针对可可豆荚病害分类问题,结合迁移学习与Bagging、Boosting、Stacking三种集成策略,基于预训练CNN基学习器在6000张平衡图像数据集上实验,Bagging获100%测试准确率,证实该方法可提升模型泛化与可靠性,助力精准农业。
2025-04-17 cs.CV
Multi-label Zero-shot Classification by Learning to Transfer from External Knowledge
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Alibaba Group(阿里巴巴集团)
多标签zero-shot分类的目的是预测输入图像的多个不可见的类别标签。它比单一标签更具有挑战性。一方面,分配给每个图像的标签数量不受约束,使得模型更容易过拟合那些可见的类。另一方面,在现有的多标签分类数据集中,可见和不可见的类之间存在很大的语义差距。为了解决这些难题,本文提出了一种新的多标签zero-shot分类框架,通过学习从外部知识转移。我们观察到ImageNet通常用于预训练特征提取器,并且具有大而细粒度的标签空间。这促使我们将其作为外部知识来利用,以连接可见和不可见的类并促进泛化。具体来说,我们构建了一个知识图谱,不仅包括来自目标数据集的类,还包括来自ImageNet的类。由于ImageNet标签在目标数据集中不可用,我们提出了一种新的PosVAE模块来推断它们在扩展知识图谱中的初始状态。然后,我们设计了一个关系图卷积网络(RGCN)来传播类之间的信息,实现知识转移。在两个基准数据集上的实验结果证明了该方法的有效性。
2020-07-31 cs.CV
Few-Shot Learning for Image Classification of Common Flora
Edward E. Whitacre Jr. College of Engineering(爱德华·E·惠特克二世工程学院)
在Few-Shot图像分类任务中使用元学习和迁移学习是一个很好的研究领域,许多论文展示了在数据丰富并且对计算资源没有重大限制的情况下,迁移学习相对于元学习的优势。在本文中,我们将展示我们的实验结果,测试各种最先进的迁移学习权重和架构,以及利用模型不可知Meta Learning(MAML)进行图像分类的元学习领域中类似的最先进作品。我们的研究结果表明,当数据集足够大时,这两种做法都提供了足够的性能,但当引入数据稀疏性以保持足够的性能时,它们也会很难。通过使用图像增强和超参数的微调,这个问题得到了适度的缓解。在本文中,我们将讨论:(1)我们为Few-Shot图像分类任务开发一个强大的多类卷积神经网络(CNN)的过程,(2)证明迁移学习是帮助创建图像分类模型的最佳方法,当数据集很大时,(3)在数据非常有限的情况下,MAML优于迁移学习。代码可以在这里找到:github.com/JBall1/Few-Shot-Limited-Data
2021-05-07 cs.CV
Transfer of Pretrained Model Weights Substantially Improves Semi-Supervised Image Classification
University of Waikato(怀卡托大学)
深度神经网络在大量标记示例上训练时会产生最先进的结果,但在少量标记示例用于训练时往往会过拟合。创建大量带标签的示例需要大量的资源、时间和精力。如果标记新的数据是不可行的,所谓的半监督学习可以实现更好的泛化比纯粹的监督学习通过采用未标记的实例以及标记的。本文中提出的工作的动机是观察到迁移学习提供了机会,通过利用在类似领域预训练的模型来进一步提高性能。更具体地说,我们探索了使用迁移学习时,使用自学习执行半监督学习。主要贡献是迁移学习的经验评估,使用不同的组合相似性度量学习方法和标签传播算法在半监督学习。我们发现,迁移学习总是大大提高模型的准确性时,很少标记的例子是可用的,无论用于训练神经网络的损失类型。这一发现是通过对SVHN、CIFAR10和Plant Village图像分类数据集进行广泛的实验,并将Imagenet的预训练权重应用于迁移学习而获得的。
2021-09-09 cs.CV
Non-binary deep transfer learning for image classification
University of New South Wales(新南威尔士大学);Australian National University(澳大利亚国立大学)
使用少量标记训练样本的各种计算机视觉任务的当前标准是从在大型图像分类数据集(如ImageNet)上预先训练的权重进行微调。迁移学习和迁移学习方法的应用趋向于严格的二元性。一个模型可以是预先训练的,也可以是没有预先训练的。预训练模型可以提高性能,也可以降低性能,后者被定义为负迁移。应用L2-SP正则化,将权重衰减到它们的预训练值,或者将所有权重衰减到0。本文重新审视了这些假设。我们的建议是基于广泛的实证评估,证明了非二元方法的应用,以达到最佳效果。(1)在每个数据集上实现最佳性能需要仔细调整通常不考虑的各种迁移学习超参数,包括要迁移的层数,不同层的不同学习率以及L2 SP和L2正则化的不同组合。(2)可以使用多种预训练权重与目标数据集的拟合程度的衡量标准来指导最佳超参数,从而实现最佳实践。我们提出了非二进制迁移学习的方法,包括结合L2 SP和L2正则化,并执行非传统的微调超参数搜索。最后,我们提出了确定最佳迁移学习超参数的方法。使用非二进制方法的好处得到了最终结果的支持,这些结果接近或超过了传统上对于迁移学习来说更困难的各种任务的最先进性能。
2021-08-30 cs.CV
Robust Multi-Disease Retinal Classification via Xception-Based Transfer Learning and W-Net Vessel Segmentation
本文提出基于Xception迁移学习和W-Net血管分割的多疾病视网膜分类方法,通过高保真血管分割提升分类准确性,减少假阳性,提高临床应用可行性。
2025-12-11 cs.CV
Joint Intermodal and Intramodal Label Transfers for Extremely Rare or Unseen Classes
University of Central Florida(中佛罗里达大学);IBM T.J. Watson Research Center(IBM T.J. Watson研究中心);University of Illinois(伊利诺伊大学)
针对图像分类任务,提出了一种从文本到图像的标签传递模型。图像分类的问题往往比文本分类更具挑战性。一方面,标记文本数据比标记图像更广泛地用于分类任务。另一方面,文本数据往往具有自然的语义可解释性,并且它们通常与类标签更直接相关。相反,图像特征与类标签中固有的概念不直接相关。本文的目标之一是开发一个模型,揭示文本和图像特征之间的功能关系,以直接转移多式联运和多式联运标签来注释图像。这是通过学习传递函数作为桥梁来实现的,以在两个多模态空间之间传播标签。然而,盲目地将噪声文本的标签转移到注释图像可能会破坏跨模式标签转移。为了缓解这个问题,我们提出了一个模内标签传输过程,它补充了联运标签传输的图像标签,而不是当相关的文本是从源语料库中缺席。此外,我们将模态间标签转移推广到零样本学习场景,其中只有文本示例可用于标记看不见的图像类,而没有任何积极的图像示例。我们评估我们的算法上的图像分类任务,并显示相对于其他比较算法的有效性。
2017-03-22 cs.CV
Development of CNN Architectures using Transfer Learning Methods for Medical Image Classification
Dakota State University(达科他州立大学)
本文通过时间线映射模型研究基于迁移学习的CNN架构在医学图像分类中的发展,为选择最优且最先进的CNN架构提供决策依据。
2024-10-22 cs.AI cs.CV
Joint Liver Lesion Segmentation and Classification via Transfer Learning
Tel-Aviv University(特拉维夫大学)
迁移学习和联合学习方法被广泛用于提高卷积神经网络(CNN)的性能。在目标数据集通常非常小的医学成像应用中,迁移学习改进了特征学习,而联合学习在提高网络的泛化和鲁棒性方面表现出了有效性。在这项工作中,我们研究了这两种方法相结合的肝脏病变分割和分类的问题。为此,332腹部CT切片包含病变分割和三种病变类型的分类进行了评价。对于特征学习,使用MICCAI 2017肝脏肿瘤分割(LiTS)挑战的数据集。联合学习在分割和分类结果方面都有改进。我们表明,一个简单的联合框架优于常用的多任务架构(Y-Net),实现了10%的分类精度的提高,相比之下,Y-Net的3%的提高。
2020-05-24 cs.CV eess.IV
Advancing Efficient Brain Tumor Multi-Class Classification -- New Insights from the Vision Mamba Model in Transfer Learning
本研究首次将视觉Mamba模型应用于脑肿瘤多类分类,通过迁移学习微调,在独立测试集上实现100%准确率,证明其轻量高效,优于现有模型,并适用于其他医学影像分类。
2024-11-06 cs.AI cs.CV
Network Signatures from Image Representation of Adjacency Matrices: Deep/Transfer Learning for Subgraph Classification
Rensselaer Polytechnic Institute(伦斯勒理工学院);Raytheon BBN Technologies(雷神BBN技术公司)
我们提出了一种新的子图图像表示的分类网络片段的目标是他们的父网络。图形图像表示基于邻接矩阵的2D图像嵌入。我们在两种模式下使用这种图像表示。首先,作为机器学习算法的输入。第二,作为对纯迁移学习者的输入。我们从几个数据集得出的结论是:(a)与基准图核和基于经典特征的方法相比,使用我们的结构化图像特征的深度学习表现最好;(b)纯迁移学习在用户干扰最小的情况下有效工作,并且对小数据具有鲁棒性。
2018-04-17 cs.CV cs.SI
A Study on Representation Transfer for Few-Shot Learning
Nokia Bell Labs(诺基亚贝尔实验室);Rutgers, The State University of New Jersey(罗格斯新泽西州立大学)
Few-Shot分类的目标是学习仅使用少量标记的示例来很好地分类新的对象类别。从其他模型转移特征表示是解决Few-Shot分类问题的一种流行方法。在这项工作中,我们进行了系统的研究,各种功能表示为Few-Shot分类,包括表示学习MAML,监督分类,和几个常见的自我监督的任务。我们发现,从更复杂的任务中学习往往会为Few-Shot分类提供更好的表示,因此我们提出使用从多个任务中学习到的表示进行Few-Shot分类。再加上特征选择和投票的新技巧来处理小样本量的问题,我们的直接迁移学习方法在几个基准数据集上提供了与最新技术相当的性能。
2022-09-05 cs.CV cs.LG
Double Transfer Learning for Breast Cancer Histopathologic Image Classification
State University of Ponta Grossa(蓬塔格罗萨州立大学);Pontifical Catholic University of Paraná(巴拉那天主教大学);Federal University of Parana(巴拉那联邦大学)
这项工作提出了一种用于乳腺癌组织病理学图像(HI)的分类方法,该方法使用迁移学习来使用ImageNet数据集预训练的Inception-v3 CNN从HI中提取特征。我们还使用迁移学习在组织标记的结直肠癌数据集上训练支持向量机(SVM)分类器,旨在从乳腺癌HI中过滤斑块并去除不相关的斑块。我们表明,在训练第二个SVM分类器之前去除不相关的补丁,提高了乳腺癌图像上恶性和良性肿瘤分类的准确性。使用特征提取迁移学习,我们能够将分类准确率提高3.7%,使用不相关补丁消除,我们能够将分类准确率提高0.7%。所提出的方法在乳腺癌数据集的四个放大因子中的三个方面优于最先进的方法。
2019-04-16 cs.CV cs.LG
Bird Species Classification using Transfer Learning with Multistage Training
Jadavpur University(贾达普大学);Delhi Technological University(德里理工大学)
鸟类种类分类在生物学和环境研究中有着广阔的应用前景,在计算机视觉领域受到越来越多的关注。鸟类识别是困难的,由于歧视性的区域定位和细粒度的特征学习的挑战。本文介绍了一种基于迁移学习的多级训练方法。我们使用了预训练的Mask-RCNN和由Inception Nets(InceptionV 3和InceptionResNetV 2)组成的集成模型,分别从图像中获取鸟类的位置和物种。我们的最终模型在CVIP 2018挑战赛中提供的数据集上获得了0.5567或55.67%的F1分数。
2018-10-11 cs.CV cs.LG
Deep transfer learning for image classification: a survey
本文综述了深度迁移学习在图像分类中的应用,提出新的分类法,分析其有效性及改进方向。
2025-12-07 cs.AI cs.CV
Multi-Classification of Brain Tumor Images Using Transfer Learning Based Deep Neural Network
Chittagong University of Engineering and Technology(吉大港工程技术大学)
在最近的进展,以计算机为基础的诊断系统,脑肿瘤图像的分类是一个具有挑战性的任务。本文主要研究基于迁移学习的深度神经网络对脑肿瘤图像的分类精度。该分类方法开始与图像增强操作,包括旋转,缩放,hori-zombie翻转,宽度移位,高度移位,和剪切,以增加图像数据集的多样性。然后,基于由Inception-v3组成的预训练的迁移学习方法提取输入脑肿瘤图像的一般特征。最后,使用具有4个定制层的深度神经网络对脑膜瘤、胶质瘤和垂体瘤等最常见的脑肿瘤类型进行分类。该模型获得了有效的性能,总体准确率为96.25%,这是大大提高了一些现有的多分类方法。然而,超参数的微调和Inception-v3模型中包含的自定义DNN导致分类精度的提高。
2022-06-17 cs.CV eess.IV
DART: Domain-Adversarial Residual-Transfer Networks for Unsupervised Cross-Domain Image Classification
Univ. of Electronic Sci & Tech.of China(电子科技大学);The Chinese University of Hong Kong(香港中文大学);University of Electronic Science and Technology of China(电子科技大学);Google Inc.(谷歌公司);Singapore Management University(新加坡管理大学)
深度学习的准确性(例如,卷积神经网络)用于图像分类任务关键地依赖于标记的训练数据的量。为了解决一个新领域的图像分类任务,缺乏标记的数据,但获得廉价可用的未标记的数据,无监督领域自适应是一种有前途的技术,以提高性能,而不会产生额外的标记成本,通过假设来自不同领域的图像共享一些不变的特征。在本文中,我们提出了一种新的无监督领域自适应方法,称为深度神经网络的域对抗残差转移(DART)学习,以解决跨域图像分类任务。与现有的无监督域自适应方法相比,所提出的DART不仅通过对抗训练来学习域不变特征,而且还通过残差转移策略来实现鲁棒的域自适应分类,所有这些都在端到端的训练框架中进行。我们评估了所提出的方法的性能跨域图像分类任务的几个著名的基准数据集,其中我们的方法明显优于国家的最先进的方法。
2018-12-30 cs.CV cs.LG
Improving Transfer Learning with a Dual Image and Video Transformer for Multi-label Movie Trailer Genre Classification
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México(墨西哥国立自治大学应用数学与系统研究所)
在本文中,我们研究了ImageNet空间和Kinetics时空表示到多标签电影预告片类型分类(MTGC)的可移植性。特别是,我们对在ImageNet和Kinetics上预训练的ConvNet和Transformer模型到Trailers 12 k的可移植性进行了广泛的评估,Trailers 12 k是一个新的手动策划的电影预告片数据集,由12,000个标记有10种不同类型和相关元数据的视频组成。我们分析了可能影响可传输性的不同方面,例如帧速率、输入视频扩展和时空建模。为了减少ImageNet/Kinetics和Trailers 12 k之间的时空结构差距,我们提出了双图像和视频Transformer架构(DIViTA),它执行镜头检测,以便将预告片分割成高度相关的片段,为预训练的骨干提供更有凝聚力的输入,并提高可移植性(ImageNet增加1.83%,Kinetics增加3.75%)。我们的研究结果表明,在ImageNet或Kinetics上学习的表示相对而言可以转移到Trailers 12 k。此外,两个数据集都提供了互补的信息,可以结合起来提高分类性能(与前一个预训练相比,提高了2.91%)。有趣的是,使用轻量级ConvNets作为预训练的骨干,与顶级Transformer相比,分类性能仅下降3.46%,同时仅需要其参数的11.82%和FLOPS的0.81%。
2023-03-29 cs.CV cs.LG
VoltaVision: A Transfer Learning model for electronic component classification
United International University(联合国际大学)
该研究提出轻量级 CNN 模型 VoltaVision,通过相似任务的迁移学习实现电子元件分类,并对比复杂模型验证其效果。
2024-04-05 cs.CV cs.LG
Classification of Beer Bottles using Object Detection and Transfer Learning
Technical University of Applied Sciences Regensburg(雷根斯堡应用技术大学)
分类问题在计算机视觉中很常见。尽管如此,目前还没有专门针对啤酒瓶分类的工作。作为硕士课程深度学习挑战的一部分,创建了一个包含5207个啤酒瓶图像和品牌标签的数据集。一个图像只包含一个啤酒瓶。在本文中,我们提出了一个深度学习模型,该模型通过两步方法对啤酒瓶图片进行分类。作为第一步,Faster-R-CNN检测与品牌无关的分类相关的图像部分。在第二步中,通过ResNet-18对相关图像部分进行分类。具有最高置信度的图像部分将作为类标签返回。我们提出了一个模型,我们超越了经典的一步迁移学习方法,并达到了99.86%的准确率在挑战的最终测试数据集。挑战结束后我们能够达到100%的准确率
2022-01-11 cs.CV cs.LG
Adversarial Examples on Segmentation Models Can be Easy to Transfer
University of Munich(慕尼黑大学);University of Oxford(牛津大学)
基于深度神经网络的图像分类可能会被具有小的和准不可感知的扰动的对抗性示例误导。此外,在一个分类模型上创建的对抗性示例也可以欺骗另一个不同的模型。对抗性示例的可转移性最近引起了越来越多的兴趣,因为它使得对分类模型的黑盒攻击变得可行。语义分割作为分类方法的一种扩展,其对抗鲁棒性也受到了广泛关注。然而,分割模型上的对抗性示例的可移植性尚未得到系统的研究。在本书中,我们深入研究了这一主题。首先,我们探讨了分类和分割模型上对抗性样本的过拟合现象。与对分类模型的观察相反,可转移性受到源模型过拟合的限制,我们发现分割上的对抗性示例并不总是过拟合源模型。即使没有过拟合,对抗性例子的可移植性也是有限的。我们将限制归因于分割模型的架构特征,即,多尺度目标识别然后,我们提出了一个简单而有效的方法,称为动态缩放,以克服限制。通过我们的方法实现的高可移植性表明,与以前的工作中的观察相反,分割模型上的对抗性示例可以很容易地转移到其他分割模型。我们的分析和建议得到了大量实验的支持。
2021-11-22 cs.CV eess.IV
Devling into Adversarial Transferability on Image Classification: Review, Benchmark, and Evaluation
HUST(华中科技大学);Xidian University(西安电子科技大学);Wuhan University(武汉大学);HFUT(合肥工业大学);SJTU(上海交通大学)
本文通过综述和基准测试,探讨图像分类中对抗迁移性的问题,提出评估框架并分析提升迁移性的策略及潜在问题。
2026-02-26 cs.AI cs.CV
Classification of Epithelial Ovarian Carcinoma Whole-Slide Pathology Images Using Deep Transfer Learning
University of British Columbia(不列颠哥伦比亚大学);Vancouver General Hospital(温哥华综合医院);BC Cancer Research Center(不列颠哥伦比亚癌症研究中心)
卵巢癌是女性生殖器官最致命的癌症。上皮性卵巢癌有$5$主要的组织学亚型,每种亚型具有不同的形态学、遗传学和临床特征。目前,这些组织型是通过病理学家对肿瘤全载玻片图像(WSI)的显微镜检查来确定的。这一过程因观察员之间的一致性差而受阻(Cohen的kappa $0.54$ - $0.67$)。我们利用基于卷积神经网络(CNN)和渐进式神经网络的\textit{two}阶段深度迁移学习算法对上皮性卵巢癌WSI进行自动分类。所提出的算法实现了$87.54\%$和科恩的$0.8106$在$305$ WSI的载玻片级分类的平均精度;表现优于标准的CNN和病理学家没有妇科特定的培训。
2020-06-29 cs.CV eess.IV
Retinal Disease Classification from Fundus Images using CNN Transfer Learning
CliftonLarsonAllen (CLA)(CliftonLarsonAllen)
本文提出了一种可重复的深度学习管道,用于从公开的视网膜图像中二分类视网膜疾病风险。通过比较基线CNN和使用预训练VGG16的迁移学习方法,展示了迁移学习在提高分类性能上的优势。
2026-03-24 cs.CV cs.LG
Scaling Object Detection by Transferring Classification Weights
Nanyang Technological University(南洋理工大学);Adobe Research(Adobe研究院)
大规模的目标检测数据集在类别和注释计数方面不断增加其大小。然而,在检测数据集中标注的对象级类别的数量比图像级分类标签小一个数量级。最先进的目标检测模型是以监督的方式训练的,这限制了它们可以检测的对象类别的数量。在本文中,我们提出了一种新的权重转移网络(WTN),可以有效地将知识从分类网络的权重转移到检测网络的权重,从而在没有框监督的情况下检测新的类。我们首先引入输入和特征规范化方案,以抑制vanilla WTN训练过程中的欠拟合。然后,我们提出了自动编码器-WTN(AE-WTN),它使用重建损失来保留目标潜在空间中所有类别的分类网络信息,以确保对新类别的泛化。与vanilla WTN相比,AE-WTN在两个Open Images评估集上获得了6%的绝对性能增益,分别为500个可见类和57个新类,在Visual Genome评估集上获得了25%的绝对性能增益,具有200个新类。该代码可在https://github.com/xternalz/AE-WTN上获得。
2019-09-15 cs.CV cs.LG
Boosting Deep Transfer Learning for COVID-19 Classification
Edith Cowan University(伊迪斯科文大学);University of Western Australia(西澳大学)
多项研究发现,使用胸部计算机断层扫描(CT)对COVID-19进行分类具有实用价值。由于缺乏注释样本,这些研究建议使用迁移学习,并探索预训练模型和数据增强的选择。然而,目前还不清楚是否有比普通迁移学习更好的策略,可以在有限的CT数据下更准确地对COVID-19进行分类。本文提供了一个肯定的答案,设计了一种新的“模型”增强技术,允许相当大的性能提升迁移学习的任务。我们的方法系统地减少了源域和目标域之间的分布变化,并考虑使用互补的表示学习技术来增强深度学习。我们用公开的数据集和模型建立了我们方法的有效性,同时确定了以前研究中的对比观察结果。
2021-02-16 cs.AI cs.CV cs.LG
Transfer learning method in the problem of binary classification of chest X-rays
Bauman Moscow State Technical University(鲍曼莫斯科国立技术大学)
通过胸部X光检查可以高精度和快速地检测病理,从而可以在早期阶段发现肺炎的发展并立即开始治疗。人工智能可以加速和定性地改进X射线分析程序,并向医生提供建议,以进一步考虑可疑图像。本研究的目的是在少量训练数据的情况下,确定迁移学习方法在二进制分类问题中的最佳模型和实现。在这篇文章中,考虑了各种增强初始数据的方法以及训练黑白X射线图像的ResNet和DenseNet模型的方法,确定了那些有助于在测试阶段获得确定肺炎病例和标准的准确性的最高结果的方法。
2023-03-19 cs.CV eess.IV
On Transfer in Classification: How Well do Subsets of Classes Generalize?
IMT Atlantique(大西洋高等电信学院)
本研究针对分类任务中类别子集间迁移的理论基础缺失问题,构建了类别子集偏序集的可迁移性理论框架,可预测最优泛化类别子集,还探究了小样本学习场景,助力理解迁移机制与模型泛化。
2024-03-06 cs.CV cs.LG
Heuristic Hyperparameter Optimization for Convolutional Neural Networks using Genetic Algorithm
近年来,来自世界各地的人们正在遭受历史上最严重的疾病之一,被称为2019冠状病毒病,简称COVID-19。当病毒到达肺部时,它有更高的概率引起肺部肺炎和败血症。X光图像是识别COVID-19患者感染典型特征的有力工具。放射科和病理科医生观察到感染患者\cite{cozzi2021ground}的胸部X线表现为磨玻璃样阴影,可作为诊断过程中的标准之一。在过去的几年中,深度学习已被证明是图像分类领域最强大的方法之一。由于正常人和受感染者\cite{rousan2020chest}之间的胸部X射线存在显著差异,因此可以使用深度模型来识别患者胸部X射线中疾病的存在。许多深层模型是复杂的,并且随着大量输入参数而演变。设计师有时会在深度模型的调优过程中遇到困难,特别是当他们从头开始构建模型时。受生物进化过程启发而产生的遗传算法在解决这类复杂问题中发挥了关键作用。在本文中,我提出了一种基于遗传的方法来优化卷积神经网络(CNN)的胸部X射线分类任务。
2021-12-14 cs.CV cs.LG cs.NE
Document Image Classification with Intra-Domain Transfer Learning and Stacked Generalization of Deep Convolutional Neural Networks
Valeo India Pvt. Ltd.(法雷奥印度私人有限公司);University of Bonn(波恩大学);Indian Statistical Institute(印度统计研究所)
在这项工作中,提出了一个基于区域的深度卷积神经网络框架,用于文档结构学习。这项工作的贡献包括有效的训练区域为基础的分类器和有效的集成文件图像分类。通过从ImageNet数据集上的预训练VGG 16架构导出权重来使用初级的“域间”迁移学习,以在整个文档图像上训练文档分类器。利用基于区域的影响建模的性质,二级“域内”迁移学习用于图像片段的深度学习模型的快速训练。最后,利用基于堆叠泛化的集成来组合基础深度神经网络模型的预测。该方法在流行的RVL-CDIP文档图像数据集上实现了92.2%的最新准确率,超过了现有算法的基准。
2018-08-30 cs.CV cs.LG
Deep Transfer Learning for Texture Classification in Colorectal Cancer Histology
Robert Bosch(罗伯特·博世公司)
组织的显微镜检查或组织病理学是检测结直肠癌的诊断程序之一。参与这种检查的病理学家通常基于纹理分析来识别组织类型,特别是关注肿瘤-间质比率。在这项工作中,我们使用深度迁移学习自动执行结直肠癌组织学样本中的组织分类任务。我们使用单周期策略进行区分性微调,并应用结构保持颜色归一化来提高我们的结果。我们还提供了深度神经网络对纹理分类的决策的视觉解释。在达到96.2%的最先进测试准确率后,我们还开始为内存有限的硬件使用称为SqueezeNet的部署友好架构。
2020-04-03 cs.CV cs.LG eess.IV
Transfer Learning for Wildlife Classification: Evaluating YOLOv8 against DenseNet, ResNet, and VGGNet on a Custom Dataset
Tribhuvan University(特里布万大学);Institute of Engineering (IOE) Pashchimanchal Campus(工程学院帕西曼查尔校区);Minnesota State University, Mankato(明尼苏达州立大学曼卡托分校)
本研究利用迁移学习在包含575张图像的自定义数据集上评估了DenseNet、ResNet、VGGNet和YOLOv8在野生动物分类中的性能,发现YOLOv8以97.39%训练准确率和96.50%验证F1分数优于其他模型,为自动化野生动物监测提供了高效方案。
2024-11-12 cs.AI cs.CV