Predicting Food Security Outcomes Using Convolutional Neural Networks (CNNs) for Satellite Tasking
获得可靠的数据，描述当地的粮食安全（FSM）的粒度，是信息决策者需要昂贵的和后勤困难的调查，特别是在发展中国家。我们训练一个CNN公开可用的卫星数据描述土地覆盖分类，并使用迁移学习和直接训练建立一个模型，FSM预测纯粹从卫星图像数据。然后，我们提出了有效的任务分配算法，高分辨率卫星资产通过迁移学习，马尔可夫搜索算法，贝叶斯网络。
2019-04-25 cs.CV cs.LG
Increasing Shape Bias in ImageNet-Trained Networks Using Transfer Learning and Domain-Adversarial Methods
Université Laval（拉瓦尔大学）
卷积神经网络（CNN）已经成为从图像数据中学习的最先进的方法。然而，最近的研究表明，它们可能在其表示中包含纹理和颜色偏见，这与它们学习图像内容的形状和人类生物学学习的直觉相反。因此，最近的工作试图增加CNN中的形状偏差，以便训练更鲁棒和准确的任务网络。一种这样的方法使用样式转移以便从数据中移除纹理线索。这项工作在四个图像分类数据集上再现了这种方法，并将该方法扩展到使用域对抗训练，以进一步增加学习表示中的形状偏差。结果表明，所提出的方法提高了CNN的鲁棒性和形状偏差，但它没有提供准确性的增益。
2019-07-30 cs.CV cs.LG stat.ML
Age and Gender Prediction using Deep CNNs and Transfer Learning
Birla Institute of Technology & Science, Pilani - Hyderabad campus（比尔拉技术与科学学院皮拉尼海得拉巴校区）；Birla Institute of Technology & Science, Pilani - Goa campus（比尔拉技术与科学学院皮拉尼果阿校区）；Silver Touch Technologies Limited（银触科技有限公司）
过去的一二十年见证了图像的繁荣。随着相机的日益普及和自拍的出现，世界上可用的面部图像数量激增。因此，人们对使用面部图像自动预测人的年龄和性别越来越感兴趣。我们在本文中专注于这个具有挑战性的问题。具体而言，本文侧重于年龄估计，年龄分类和性别分类从个人的静态面部图像。我们为每个问题训练不同的模型，我们还比较了构建自定义CNN（卷积神经网络）架构和使用各种CNN架构作为特征提取器之间的差异，即在VGGFace上预训练的VGG 16，在VGGFace 2数据集上预训练的Res-Net 50和SE-ResNet 50以及对这些提取的特征进行训练。我们还提供了各种机器学习算法在特征提取上的基线性能，这给了我们最好的结果。据观察，即使是在这种提取的特征上训练的简单线性回归，在年龄估计方面也优于从头开始训练的CNN、ResNet 50和ResNeXt 50。
2021-10-25 cs.CV cs.LG
Comparative Analysis of Custom CNN Architectures versus Pre-trained Models and Transfer Learning: A Study on Five Bangladesh Datasets
本研究比较了自定义CNN与预训练模型在不同孟加拉国数据集上的表现，发现迁移学习在复杂任务中性能更优，尤其在数据有限时效果显著。
2026-01-07 cs.CV cs.LG
Model Parallel Training and Transfer Learning for Convolutional Neural Networks by Domain Decomposition
University of Cologne（科隆大学）；Center for Data and Simulation Science, University of Cologne（科隆大学数据与模拟科学中心）
本文提出一种基于区域分解的模型并行CNN架构，将输入数据分解为子图像并行训练局部CNN，再通过DNN聚合局部分类，并对比了多种聚合方案及迁移学习策略的性能。
2024-08-26 cs.CV cs.LG cs.NA
Transfer Learning and Meta Classification Based Deep Churn Prediction System for Telecom Industry
Pakistan Institute of Engineering & Applied Sciences（巴基斯坦工程与应用科学学院）；Pakistan Institute of Nuclear Science and Technology（巴基斯坦核科学与技术研究所）；Catholic University of Daegu（大邱天主教大学）
流失预测系统指导电信服务提供商减少收入损失。然而，电信行业流失预测系统的开发是一项具有挑战性的任务，主要是由于数据的大规模，高维特征，和数据的不平衡分布。在本文中，我们提出了一个解决方案的固有问题的流失预测，使用的概念，迁移学习（TL）和集成为基础的元分类。所提出的方法TL-DeepE分两个阶段应用。第一阶段通过微调多个预训练的深度卷积神经网络（CNN）来使用TL。电信数据集通常是矢量形式的，它被转换为2D图像，因为深度CNN对图像具有很高的学习能力。在第二阶段，来自这些深度CNN的预测被附加到原始特征向量，从而用于为高级遗传编程（GP）和基于AdaBoost的集成分类器构建最终特征向量。因此，使用各种CNN作为基本分类器和GP-AdaBoost作为元分类器进行实验。通过使用10倍交叉验证，将所提出的TL-DeepE系统的性能与现有技术进行了比较，用于两个标准电信数据集：Orange和Cell 2cell。在Orange和Cell 2cell数据集上进行实验，得到的预测准确率分别为75.4%和68.2%，曲线下面积分别为0.83和0.74。
2019-03-05 cs.LG stat.ML
An accuracy-aware extension to LRP-based pruning for CNNs to prevent cascading accuracy degradation in data-scarce transfer learning
Mathematics and Computer Science National Defense Academy of Japan（日本防卫大学校数学与计算机科学系）
针对数据稀缺迁移学习中预训练CNN剪枝导致的级联精度下降问题，提出一种精度感知的剪枝控制机制，通过动态调整剪枝率和顺序来抑制精度下降，提升模型压缩后的分类性能。
2026-05-28 cs.AI cs.CV cs.LG
Do Better ImageNet Models Transfer Better... for Image Recommendation?
IMFD（数据基础千年研究所）；PUC Chile（智利天主教大学）
在ILSVRC挑战的ImageNet数据集上训练的卷积神经网络（CNN）的视觉嵌入在迁移学习方面表现出一贯的良好性能，并广泛用于包括图像推荐在内的多项任务。然而，为了将这些嵌入用于更大范围的推荐领域，一些重要的问题尚未得到回答：a）在ImageNet中表现更好的CNN是否也更适合基于内容的图像推荐中的迁移学习？，b）微调是否有助于提高性能？和c）哪种是执行微调的最佳方式？在本文中，我们比较了几个用ImageNet预训练的CNN模型，以评估它们在艺术品图像推荐任务中的迁移学习性能。我们的研究结果表明，在ImageNet挑战中具有更好性能的模型并不总是意味着推荐任务的更好迁移学习（例如NASNet与ResNet）。我们的研究结果还表明，即使是小数据集，微调也是有帮助的，但并非每次微调都有效。我们的研究结果可以告知其他研究人员和从业者如何训练他们的CNN，以更好地向图像推荐系统进行迁移学习。
2018-09-25 cs.IR cs.LG
On evaluating CNN representations for low resource medical image classification
University of Southern California（南加州大学）
卷积神经网络（CNN）在图像分类、对象跟踪和关键字定位等几个机器学习任务中的性能发生了革命性的变化。然而，考虑到它们包含大量参数，它们对低资源任务的直接适用性并不简单。在这项工作中，我们实验了CNN模型的应用，只有几千个训练样本，通过迁移学习胃肠道标志分类。与标准的迁移学习方法一样，我们在大型外部语料库上训练CNN，然后对医学图像进行表示提取。最后，在这些CNN表示上训练分类器。然而，考虑到CNN的几个变体存在，选择CNN并不明显。为了解决这个问题，我们开发了一种新的度量，可以用来预测测试性能，给定训练集上的CNN表示。我们不仅证明了基于CNN的迁移学习方法对知识驱动特征集合的优越性，而且所提出的度量还与使用各种CNN表示获得的测试集性能具有87%的相关性。
2019-03-26 cs.LG eess.IV stat.ML
Galaxy Classification Using Transfer Learning and Ensemble of CNNs With Multiple Colour Spaces
Liverpool John Moores University（利物浦约翰摩尔大学）
针对天文数据增长下的星系自动分类需求，研究探索多色彩空间变换与不同CNN架构对分类的影响，通过预训练模型与集成方法验证了色彩空间变换的效用，提升了分类准确率并提供基准参考。
2023-03-26 astro-ph.IM cs.LG
Exploring convolutional neural networks with transfer learning for diagnosing Lyme disease from skin lesion images
Université Clermont Auvergne（克莱蒙奥弗涅大学）；CNRS（法国国家科学研究中心）；ENSMSE（圣艾蒂安国立矿业工程师学校）；INRAE（法国国家农业食品与环境研究院）；VetAgro Sup（法国兽医与农学高等学院）；Université de Lyon（里昂大学）；CHU Clermont-Ferrand（克莱蒙费朗大学医院）；Inserm（法国国家健康与医学研究院）；Tous Chercheurs Laboratory（全民研究者实验室）；CPIE Champenoux（尚佩努环境倡议中心）；University Hospital of Nancy（南锡大学医院）；University Hospital of Saint Etienne（圣艾蒂安大学医院）；IHU-Méditerranée Infection（地中海感染大学医院研究所）；Aix Marseille Univ（艾克斯-马赛大学）；IRD（法国发展研究院）；AP-HM（马赛公立医院援助机构）；SSA（法国军队卫生勤务局）；Hôpitaux Universitaires（斯特拉斯堡大学医院）；Pontchaillou University Hospital（蓬查卢大学医院）；CHR Orléans（奥尔良地区中心医院）；Hospital of Villeneuve-Saint-Georges（维勒讷夫圣乔治医院）；Centre Hospitalier Universitaire de Rennes（雷恩大学医院）
莱姆病是最常见的传染性媒介传播疾病之一，在大多数情况下表现为游走性红斑（EM）皮肤病变。最近的研究表明，卷积神经网络（CNN）在从图像中识别皮肤病变方面表现良好。用于资源受限的移动设备的基于轻量级CNN的预扫描仪应用程序可以帮助用户早期诊断莱姆病，并通过适当的抗生素治疗防止转变为严重的晚期形式。此外，基于资源密集型CNN的强大计算机应用程序可以帮助非专业从业人员进行准确的诊断。本研究的主要目的是广泛分析CNN从图像诊断莱姆病的有效性，并找出考虑资源限制的最佳CNN架构。首先，我们在法国克莱蒙费朗大学医院中心的皮肤科专家的帮助下创建了一个EM数据集。其次，我们在预测性能、计算复杂性和统计显著性方面，对从VGG、ResNet、DenseNet、MobileNet、Xception、NASNet和EfficientNet架构定制的23个CNN架构的数据集进行了基准测试。第三，为了提高CNN的性能，我们使用了ImageNet预训练模型的自定义迁移学习，并使用皮肤病变数据集HAM10000对CNN进行了预训练。第四，对于模型的可解释性，我们使用了加权类激活映射来可视化对CNN进行预测有重要意义的输入区域。第五，我们提供了基于预测性能和计算复杂性的模型选择指南。
2022-02-15 cs.CV cs.LG eess.IV
Using transfer learning to detect galaxy mergers
ETH Zurich（苏黎世联邦理工学院）
我们研究了深度卷积神经网络（deep CNN）用于星系合并的自动视觉检测。此外，我们研究了迁移学习与CNN的结合使用，通过重新训练首先在日常物品图片上训练的网络。我们测试了迁移学习对提高小训练集的分类性能有用的假设。这将使迁移学习有助于在天文成像数据集中发现罕见的物体。我们发现，这些深度学习方法的性能明显优于目前基于CAS和GM $_{20}$等非参数系统的最先进的合并检测方法。我们的方法是端到端的，对图像噪声和失真具有鲁棒性;它可以直接应用，无需图像预处理。我们还发现，迁移学习在某些情况下可以作为正则化器，从而提高整体分类准确性（$p = 0.02$）。在我们的完整训练集上进行迁移学习，将错误率从0.038 $\pm$ 1降低到0.032 $\pm$ 1，相对提高了15%。最后，我们通过使用我们的方法创建合并样本，并与已经存在的手动创建的合并目录在色质分布和恒星质量函数方面进行比较，进行基本的健全性检查。
2018-05-29 astro-ph.IM cs.LG
A Transfer Learning Approach for Automated Segmentation of Prostate Whole Gland and Transition Zone in Diffusion Weighted MRI
University of Toronto（多伦多大学）；Lunenfeld-Tanenbaum Research Institute, Sinai Health System（Sinai Health System 伦内菲尔德-塔嫩鲍姆研究所）；Brigham and Women’s Hospital（布莱根妇女医院）；The Hospital for Sick Children（SickKids 医院）
磁共振扩散加权成像（DWI）中前列腺全腺和移行区的分割是设计前列腺癌计算机辅助检测算法的第一步。然而，MRI采集参数和扫描仪制造的变化导致图像中前列腺组织的不同外观。卷积神经网络（CNN）已被证明是成功的各种医学图像分析任务，包括分割通常是敏感的成像参数的变化。这种敏感性导致在源队列上训练并在来自不同扫描仪的目标队列上测试的CNN的分割性能较差，因此，它限制了CNN用于跨队列训练和测试的适用性。在DWI图像中勾画前列腺全腺和移行区的轮廓耗时且昂贵。因此，重要的是使CNN能够在源域的图像上进行预训练，以最小的要求从目标域手动分割图像来分割目标域的图像。在这项工作中，我们提出了一种基于改进的U-网络架构和损失函数的迁移学习方法，用于使用在源数据集上预训练并在目标数据集上测试的CNN分割DWI中的前列腺整个腺体和过渡区。我们探索了用于微调预训练的CNN的目标数据集子集的大小对整体分割准确度的影响。我们的研究结果表明，与微调数据少至30名患者从目标域，所提出的基于迁移学习的算法可以达到骰子得分系数为0.80的前列腺全腺和过渡区分割。使用微调数据的115例患者从目标域，骰子得分系数为0.85和0.84，分别实现了整个腺体和过渡区的分割，在目标域。
2020-10-28 cs.CV cs.LG eess.IV
Transfer Learning in 4D for Breast Cancer Diagnosis using Dynamic Contrast-Enhanced Magnetic Resonance Imaging
University of Chicago（芝加哥大学）
使用动态对比度增强磁共振成像（DCE-MRI）的深度迁移学习在乳腺病变的表征中显示出强大的预测能力。然而，预训练的卷积神经网络（CNN）需要2D输入，限制了利用DCE-MRI中固有的丰富4D（体积和时间）图像信息的能力，这些信息对病变评估具有临床价值。从头开始训练3D CNN是一种利用医学图像中高维信息的常用方法，计算成本很高，并且不适合中等规模的医疗数据集。因此，我们提出了一种使用迁移学习的新方法，该方法结合了来自DCE-MRI的4D信息，其中体积信息通过沿着垂直于横向切片的投影的最大池化在特征级被折叠，并且时间信息包含在第二次对比减影图像中。我们的方法在1161个乳腺病变的数据集上产生了0.89+/-0.01的受试者工作特征曲线下面积，显著优于先前通过使用最大强度投影（MIP）图像在DCE-MRI中结合4D信息的方法。
2019-11-08 cs.CV cs.LG eess.IV
Deep Learning and Transfer Learning Architectures for English Premier League Player Performance Forecasting
Stanford University（斯坦福大学）
本文提出基于CNN的英超球员FPL得分预测模型，以更少特征超越岭回归、LightGBM及已有最优模型，并探索新闻文本迁移学习，为FPL AI智能体和相关预测任务奠定基础。
2024-05-03 cs.LG
On the universality of neural encodings in CNNs
New York University（纽约大学）；Flatiron Institute（弗拉蒂隆研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出通过分解空间与通道维度并比较权重协方差相似性的方法，发现VGG网络在自然图像上学习到的特征向量具有跨数据集的普适性，为迁移学习提供了更基础的解释，并倡导以最大化编码普适性来构建基础模型。
2024-09-28 cs.CV cs.LG
Sex Estimation from Footwear Outsole Impressions Using CNN Transfer Learning and Interpretable Image Statistics
Fudan University（复旦大学）；University of California, Irvine（加利福尼亚大学尔湾分校）
本研究比较CNN迁移学习与传统特征分类在鞋底印痕性别估计中的表现，发现微调CNN性能最优，并揭示其与可解释图像统计的关联，为法医筛查提供新途径。
2026-09-30 cs.CV cs.LG
Learning to Select Pre-Trained Deep Representations with Bayesian Evidence Framework
Samsung Electronics（三星电子）；POSTECH（浦项科技大学）；Stradvision Inc.（Stradvision公司）
我们提出了一个贝叶斯证据框架，以促进从预训练的深度卷积神经网络（CNN）的迁移学习。我们的框架是在最小二乘支持向量机（LS-SVM）分类器的基础上制定的，该分类器在训练和测试中都是简单快速的，并且在实践中取得了有竞争力的性能。LS-SVM中的正则化参数通过最大化证据自动估计，而无需网格搜索和交叉验证，这是从多个候选者中选择性能最佳的CNN用于迁移学习的有用措施;通过采用Aitken的增量平方过程，有效地优化证据，从而加速固定点更新的收敛。提出的贝叶斯证据框架也提供了一个很好的解决方案，通过贪心算法来识别最佳的异质CNN集成。我们的迁移学习贝叶斯证据框架在12个视觉识别数据集上进行了测试，并在预测精度和建模效率方面始终如一地展示了最先进的性能。
2016-04-25 cs.CV cs.LG stat.ML
WiFiNet: WiFi-based indoor localisation using CNNs
Universidad de Alcalá（阿尔卡拉大学）
已经提出了不同的技术来提供室内定位：磁场，蓝牙，WiFi等，其中，WiFi是具有最高可用性和最高准确性的技术。这一事实使得几乎任何环境和任何设备都可以进行无处不在的准确定位。然而，基于WiFi的本地化仍然是一个悬而未决的问题。在这篇文章中，我们提出了一个新的基于WiFi的室内定位系统，利用卷积神经网络的巨大能力，在分类问题。三种不同的方法被用来实现这一目标：一种名为WiFiNet的自定义架构，专门为解决这个问题而设计和训练，以及最流行的预训练网络，使用迁移学习和特征提取。结果表明，WiFiNet是一种在中型环境（30个位置和113个接入点）中进行室内定位的好方法，因为与最先进的WiFi室内定位算法（如SVM）相比，它降低了平均定位误差（33%）和处理时间。
2021-04-14 cs.LG cs.NI
Transfer Learning in Magnetic Resonance Brain Imaging: a Systematic Review
A.I. Virtanen Institute for Molecular Sciences, University of Eastern Finland（东芬兰大学A.I.维尔塔宁分子科学研究所）
迁移学习是指专注于从相关任务中获取知识以提高感兴趣任务的泛化能力的机器学习技术。在MRI中，迁移学习对于开发解决MR图像变化的策略非常重要。此外，迁移学习有利于重新利用经过训练的机器学习模型，以解决与感兴趣的任务相关的任务。我们的目标是确定MR脑成像中应用的迁移学习方法的研究方向、知识差距、应用和广泛使用的策略。我们对将迁移学习应用于MR脑成像的文章进行了系统的文献检索。我们筛选了433项研究，并对相关信息进行了分类和提取，包括任务类型、应用和机器学习方法。此外，我们仔细研究了大脑MRI特定的迁移学习方法和其他处理隐私，看不见的目标域和未标记数据的方法。我们发现了129篇将迁移学习应用于大脑MRI任务的文章。最常见的应用是痴呆相关的分类任务和脑肿瘤分割。大多数文章在卷积神经网络（CNN）上使用了迁移学习。只有少数方法是明确的大脑MRI特定的，考虑隐私问题，看不见的目标域或未标记的数据。我们提出了一种新的分类方法，对特定的、广泛使用的方法进行分组。在脑MRI中对迁移学习的兴趣越来越大。公共数据集促进了阿尔茨海默病诊断/诊断学和肿瘤分割的普及。同样，预先训练的CNN的可用性也促进了它们的利用。最后，大多数被调查的研究没有详细检查他们的策略应用迁移学习后的解释，也没有与其他方法进行比较。
2021-04-01 cs.CV cs.LG eess.IV
DeepSpectrumLite: A Power-Efficient Transfer Learning Framework for Embedded Speech and Audio Processing from Decentralised Data
University of Augsburg（奥格斯堡大学）；Imperial College London（帝国理工学院）
深度神经语音和音频处理系统具有大量的可训练参数、相对复杂的架构，并且需要大量的训练数据和计算能力。这些限制使得将这些系统集成到嵌入式设备中并将其用于实时，真实世界的应用更具挑战性。我们通过引入DeepSpectrumLite来解决这些限制，DeepSpectrumLite是一种开源的轻量级迁移学习框架，用于使用预训练的图像卷积神经网络（CNN）进行设备上的语音和音频识别。该框架从原始音频信号中实时创建和增强Mel频谱图，然后用于微调特定的预训练CNN以用于目标分类任务。随后，当在消费级Motorola moto e7 plus智能手机上使用DenseNet121模型时，整个管道可以实时运行，平均推理延迟为242.0 ms。DeepSpectrumLite分散运行，无需上传数据进行进一步处理。通过在一组语音学任务上获得最先进的结果，我们证明了所提出的迁移学习方法对嵌入式音频信号处理的适用性，即使在数据稀缺的情况下。我们为用户和开发人员提供了一个广泛的命令行界面，该界面在https://github.com/DeepSpectrum/DeepSpectrumLite上有全面的文档记录和公开提供。
2021-04-23 cs.LG cs.SD eess.AS
Transfer learning for time series classification
IRIMAS（上阿尔萨斯大学信息学、建模、应用数学与统计学研究所）；Université de Haute-Alsace（上阿尔萨斯大学）
深度神经网络的迁移学习是首先在源数据集上训练基础网络，然后将学习到的特征（网络的权重）转移到第二个网络以在目标数据集上训练的过程。这种想法已被证明可以提高深度神经网络在许多计算机视觉任务中的泛化能力，如图像识别和对象定位。除了这些应用，深度卷积神经网络（CNN）最近也在时间序列分类（TSC）社区中流行起来。然而，与图像识别问题不同，迁移学习技术尚未被彻底研究TSC任务。这是令人惊讶的，因为如果模型从预先训练的神经网络中进行微调，而不是从头开始训练，那么TSC的深度学习模型的准确性可能会得到提高。在本文中，我们通过研究如何为TSC任务转移深度CNN来填补这一空白。为了评估迁移学习的潜力，我们使用UCR档案库进行了广泛的实验，该档案库是最大的公开可用的TSC基准，包含85个数据集。对于存档中的每个数据集，我们预先训练了一个模型，然后在其他数据集上对其进行微调，从而产生了7140个不同的深度神经网络。这些实验表明，迁移学习可以根据用于迁移的数据集来改善或降低模型的预测。因此，为了预测给定目标数据集的最佳源数据集，我们提出了一种新的方法，依赖于动态时间规整来衡量数据集之间的相似性。我们描述了我们的方法如何引导转移选择最佳源数据集，从而提高85个数据集中71个数据集的准确性。
2018-11-05 cs.AI cs.LG stat.ML
Advancing machine fault diagnosis: A detailed examination of convolutional neural networks
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）；University of Ottawa（渥太华大学）；Sant Longowal Institute of Engineering and Technology（桑特隆戈瓦尔工程技术学院）
针对机械复杂性提升与运行需求增长的背景，本文全面综述卷积神经网络（CNNs）在机械故障诊断中的理论基础、架构变体、实际应用，分析其优劣势，并探讨数据增强等最新进展，为未来研究提供方向。
2025-02-12 cs.AI cs.LG
Learning Representations from Persian Handwriting for Offline Signature Verification, a Deep Transfer Learning Approach
University of Tehran（德黑兰大学）
离线签名验证（OSV）是一个具有挑战性的模式识别任务，特别是当它被期望很好地概括在培训期间不可用的熟练的foreground。它的挑战还包括小的训练样本和大的类内变化。考虑到这些局限性，我们提出了一种新的迁移学习方法从波斯语手写域到多语言OSV域。我们训练两个残差CNN的源域分别基于两个不同的任务，词分类和作者识别。由于识别一个人的签名类似于识别一个人的笔迹，因此在特征学习阶段使用笔迹似乎非常方便。在更多样和丰富的手写数据集上学习的表示可以补偿原始任务（即OSV）中训练数据的缺乏，而不牺牲泛化能力。我们提出的OSV系统包括两个步骤：学习表示和输入签名的验证。对于第一步，签名图像被馈送到训练的残差CNN中。然后使用输出表示训练SVM进行验证。我们在三个不同的签名数据集上测试了我们的OSV系统，包括MCYT（西班牙签名数据集），UTSig（波斯签名数据集）和GPDS-Synthetic（人工数据集）。在UT-SIG上，我们实现了9.80%的等出错率（EER），这表明比文献中的最佳EER 17.45%有了实质性的改善。我们提出的方法在GPDS-Synthetic上超过了最先进的6%，达到了6.81%。在MCYT上，获得了3.98%的EER，这与先前报道的最佳结果相当。
2019-02-28 cs.CV cs.LG stat.ML
Improving Multi-fidelity Optimization with a Recurring Learning Rate for Hyperparameter Tuning
Lunit Inc.（Lunit公司）
尽管卷积神经网络（CNN）不断发展，但它们的性能令人惊讶地依赖于超参数的选择。然而，由于现代CNN的训练时间很长，因此有效地探索大型超参数搜索空间仍然具有挑战性。多保真度优化使得能够通过提前终止不希望的配置来探索更多的超参数配置。然而，这通常导致选择次优配置，因为使用高性能配置的训练通常在早期阶段收敛缓慢。在本文中，我们提出了具有循环学习率的多保真度优化（MORL），它将CNN的优化过程融入多保真度优化中。MORL消除了慢启动器的问题，并实现了更精确的低保真度近似。我们在一般图像分类、迁移学习和半监督学习上的综合实验证明了MORL相对于其他多保真度优化方法（如连续减半算法（SHA）和Hyperband）的有效性。此外，它实现了显着的性能改进，手动调整超参数配置在一个实际的预算。
2022-09-26 cs.CV cs.LG math.OC
On the Condition Monitoring of Bolted Joints through Acoustic Emission and Deep Transfer Learning: Generalization, Ordinal Loss and Super-Convergence
Institut FEMTO-ST（FEMTO-ST研究所）
本文提出基于CNN的深度迁移学习方法，利用声发射和连续小波变换监测螺栓连接状态，研究了多传感器融合、序数损失函数及超收敛技术，在ORION-AE基准上验证了该方法的高分类准确率与强泛化能力。
2024-05-29 cs.LG cs.SD eess.AS
Supervised learning of random quantum circuits via scalable neural networks
Università di Camerino（卡梅里诺大学）；INFN-Sezione di Perugia（意大利国家核物理研究所佩鲁贾分部）；CNR-INO（意大利国家研究委员会-国家光学研究所）
该研究提出可扩展的深度卷积神经网络，通过独热编码表示量子电路，在随机量子电路输出期望值预测任务中表现优于部分小型量子器件，且支持迁移学习外推大电路、具备强抗噪性。
2022-06-24 cond-mat.dis-nn cs.LG quant-ph
CG-CNN: Self-Supervised Feature Extraction Through Contextual Guidance and Transfer Learning
Auburn University at Montgomery（奥本大学蒙哥马利分校）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出自监督的 CG-CNN，利用上下文引导和迁移学习从视觉、触觉、时序及文本数据中提取可迁移特征，并在图像与文本任务上验证其优势。
2024-10-19 cs.CV cs.LG
Colorectal cancer diagnosis from histology images: A comparative study
Qatar University（卡塔尔大学）；Izmir University of Economics（伊兹密尔经济大学）；Tampere University of Technology（坦佩雷理工大学）
近年来，随着基于机器学习的方法学的兴起，基于组织病理学成像的计算机辅助诊断（CAD）得到了迅速发展。传统的方法包括使用从图像中提取的特征，基于纹理或形态学属性来训练分类模型。最近，基于深度学习的方法已直接应用于原始（未处理）数据。然而，由于生物医学部门缺乏附加说明的数据，其可用性受到影响。为了在有限的标记数据范围内利用深度卷积神经网络（CNN）的学习能力，在这项研究中，我们将研究迁移学习方法，旨在应用从解决源（例如，非医学）问题，以学习针对目标的更好的预测模型（例如，生物医学）任务。作为替代方案，我们将进一步提出一种新的自适应和紧凑的基于CNN的架构，即使在稀缺和低分辨率的数据上也可以从头开始训练。此外，我们对传统方法、基于迁移学习的方法和所提出的自适应方法进行定量比较评估，以用于从稀缺和低分辨率组织学图像中检测和识别癌症的特定任务。在为此目的形成的最大基准数据集上，所提出的自适应方法实现了更高的癌症检测准确性，具有显著的差距，而具有迁移学习的深度CNN实现了更好的癌症识别。
2019-03-28 cs.CV cs.LG eess.IV
How Well Do Sparse Imagenet Models Transfer?
IST Austria（奥地利科学技术研究所）；Neural Magic（神经魔法公司）
迁移学习是一个经典的范例，通过它，在大型“上游”数据集上预训练的模型可以在“下游”专业数据集上产生良好的结果。通常，“上游”数据集上更准确的模型往往会在“下游”提供更好的传输准确性。在这项工作中，我们在ImageNet数据集上训练的卷积神经网络（CNN）的背景下对这种现象进行了深入的研究，这些数据集已经被修剪-也就是说，通过稀疏化它们的连接来压缩。我们考虑使用非结构化修剪模型的传输，这些模型是通过应用几种最先进的修剪方法获得的，包括基于幅度的方法、二阶方法、再生长方法、彩票方法和正则化方法，在12个标准传输任务的背景下。简而言之，我们的研究表明，即使在高稀疏度下，稀疏模型也可以匹配甚至优于密集模型的传输性能，并且在这样做的同时，可以导致显著的推理甚至训练加速。同时，我们观察并分析了不同修剪方法在行为上的显著差异。
2022-04-21 cs.AI cs.CV cs.LG
Particle Swarm Optimisation for Evolving Deep Neural Networks for Image Classification by Evolving and Stacking Transferable Blocks
Victoria University of Wellington（惠灵顿维多利亚大学）
深度卷积神经网络（Deep Convolutional Neural Networks，CNN）已广泛应用于图像分类任务，但设计CNN架构的过程非常复杂，因此自动搜索最优CNN架构的神经架构搜索（Neural Architecture Search，NAS）吸引了越来越多的研究兴趣。然而，NAS的计算成本通常太高，无法将NAS应用于实际应用。在本文中，一个有效的粒子群优化方法命名为EPSO CNN提出了进化CNN架构的启发，迁移学习的想法。EPSOCNN通过将搜索空间最小化为单个块并在进化过程中利用训练集的一个小子集来评估CNN，成功地降低了计算成本。同时，EPSOCNN还通过多次堆叠进化块以适应整个数据集来保持非常有竞争力的分类精度。在CIFAR-10数据集上对所提出的EPSOCNN算法进行了评估，并与由手工制作的深度CNN组成的13个同行竞争对手进行了比较，通过强化学习方法学习并通过演化计算方法进化，在分类精度，参数数量和计算成本方面优于所有同行竞争对手，显示出非常有前途的结果。
2020-03-21 cs.CV cs.LG cs.NE
Evaluation of Deep Convolutional Nets for Document Image Classification and Retrieval
Ryerson University（瑞尔森大学）
本文提出了一种新的最先进的文档图像分类和检索，使用深卷积神经网络（CNN）学习的特征。在对象和景物分析中，深度神经网络能够学习从像素输入到简洁和描述性表示的分层抽象链。目前的工作探讨了这种能力在文档分析领域，并证实，这种表示策略优于各种流行的手工制作的替代品。实验还表明，（i）从CNN中提取的特征对压缩具有鲁棒性，（ii）在非文档图像上训练的CNN可以很好地转移到文档分析任务中，以及（iii）如果有足够的训练数据，则不需要强制执行特定于区域的特征学习。这项工作还提供了IIT-CDIP集合的一个新的标记子集，包含16个类别的40万个文档图像，可用于训练新的CNN进行文档分析。
2015-02-25 cs.CV cs.IR cs.LG
Neural Style Transfer: A Review
Microsoft Visual Perception Laboratory（微软视觉感知实验室）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Computing, Informatics, and Decision Systems Engineering, Arizona State University（亚利桑那州立大学计算、信息学与决策系统工程学院）；Department of Computer Science, The University of Hong Kong（香港大学计算机科学系）
Gatys等人的开创性工作证明了卷积神经网络（CNN）通过分离和重组图像内容和风格来创建艺术图像的能力。这种使用CNN以不同风格渲染内容图像的过程被称为神经风格转移（NST）。从那时起，NST已成为学术文献和工业应用的热门话题。它正受到越来越多的关注，并提出了各种方法来改进或扩展原始NST算法。在本文中，我们的目的是提供一个全面的概述目前的进展NST。首先，我们提出了一个分类的NST领域的当前算法。然后，我们提出了几种评价方法，并比较不同的NST算法定性和定量。评论的结论与讨论的各种应用NST和开放的问题，为今后的研究。本文讨论的论文列表、相应的代码、预训练模型和更多比较结果可在https://github.com/ycjing/Neural-Style-Transfer-Papers上公开获取。
2018-10-30 cs.CV cs.NE eess.IV
Training BatchNorm and Only BatchNorm: On the Expressive Power of Random Features in CNNs
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；CUNY Graduate Center（纽约城市大学研究生中心）；Facebook AI Research（Facebook人工智能研究院）
从风格转换到多任务学习，各种各样的深度学习技术都依赖于训练特征的仿射变换。其中最突出的是流行的特征规范化技术BatchNorm，它对激活进行规范化，然后应用学习的仿射变换。在本文中，我们的目标是了解的作用和表达能力的仿射参数用于转换功能，以这种方式。为了将这些参数的贡献与它们转换的学习特征的贡献隔离开来，我们研究了在BatchNorm中仅训练这些参数并在随机初始化时冻结所有权重时所实现的性能。考虑到这种训练方式带来的重大限制，这样做会导致令人惊讶的高性能。例如，在这种配置中，足够深的ResNet达到82%（CIFAR-10）和32%（ImageNet，前5名）的准确率，远远高于在网络中其他地方训练同等数量的随机选择参数时的准确率。BatchNorm实现这种性能的部分原因是自然地学习禁用大约三分之一的随机特征。这些结果不仅突出了仿射参数在深度学习中的表达能力，而且--从更广泛的意义上说--它们表征了简单地通过移位和重新缩放随机特征构建的神经网络的表达能力。
2021-03-21 cs.AI cs.LG cs.NE
NullHop: A Flexible Convolutional Neural Network Accelerator Based on Sparse Representations of Feature Maps
Institute of Neuroinformatics, University of Zurich and ETH Zurich（苏黎世大学与苏黎世联邦理工学院神经信息学研究所）；Robotic and Tech. of Computers Lab. University of Seville（塞维利亚大学机器人与计算机技术实验室）；iniLabs GmbH（ini实验室有限公司）
卷积神经网络（CNN）已经成为解决许多最先进（SOA）视觉处理任务的主要神经网络架构。尽管图形处理单元（GPU）最常用于训练和部署CNN，但对于单帧运行时推理，其功率效率低于10 GOp/s/W。我们提出了一种灵活高效的CNN加速器架构，称为NullHop，实现了SOA CNN，适用于低功耗和低延迟的应用场景。NullHop利用CNN中神经元激活的稀疏性来加速计算并减少内存需求。灵活的体系结构允许在1x 1到7 x7的内核大小范围内高度利用可用的计算资源。NullHop可以在一次传递中处理每层多达128个输入和128个输出特征映射。我们在Xilinx Zynq FPGA平台上实现了所提出的架构，并展示了我们的实现如何在五种不同的CNN中减少外部存储器传输和计算时间，从小型CNN到众所周知的大型VGG 16和VGG 19 CNN。使用Mentor Modelsim在28 nm工艺中进行的合成后仿真显示，VGG 19网络的时钟频率为500 MHz，达到了450 GOp/s以上。通过利用稀疏性，NullHop实现了368%的效率，保持了超过98%的MAC单元利用率，并在6.3mm $^2$的核心区域内实现了超过3 TOp/s/W的功率效率。为了进一步证明NullHop的可用性，我们将其FPGA实现与神经形态事件摄像机连接，以进行实时的交互式演示。
2018-03-06 cs.CV cs.NE
