SpectralNET: Exploring Spatial-Spectral WaveletCNN for Hyperspectral Image Classification
EURECOM
使用卷积神经网络(CNN)的高光谱图像(HSI)分类在当前文献中被广泛发现。方法从使用SVM到2D CNN,3D CNN,3D-2D CNN。除了3D-2D CNN和FuSENet之外,其他方法没有同时考虑HSI分类任务的光谱和空间特征,从而导致性能不佳。3D CNN计算量大,没有得到广泛应用,而2D CNN不考虑图像的多分辨率处理,仅限于空间特征。尽管3D-2D CNN试图对光谱和空间特征进行建模,但当应用于多个数据集时,它们的性能似乎有限。在这篇文章中,我们提出了SpectralNET,一种小波CNN,它是用于多分辨率HSI分类的2D CNN的变体。小波CNN使用小波变换的层来带出谱特征。计算小波变换比计算3D CNN更轻。然后将提取的光谱特征连接到2D CNN,其带来空间特征,从而创建用于分类的空间-光谱特征向量。总体而言,实现了一个更好的模型,可以分类多分辨率HSI数据具有高精度。在基准数据集上使用SpectralNET进行的实验,即印度松树,帕维亚大学和萨利纳斯场景证实了所提出的SpectralNET相对于最先进方法的优越性。该代码可在https://github.com/tanmay-ty/SpectralNET上公开获取。
2021-04-01 cs.CV cs.LG eess.IV
Effects of Gabor Filters on Classification Performance of CNNs Trained on a Limited Number of Conditions
Graduate School of Information Science(信息科学研究生学校);Osaka Institute of Technology(大阪技术学院);Faculty of Information Science(信息科学学部)
本文提出使用Gabor滤波器预处理,以提升在有限条件下训练的CNNs的分类性能和模型大小。
2026-01-17 cs.CV cs.LG
What's Mine is Yours: Pretrained CNNs for Limited Training Sonar ATR
Pennsylvania State University(宾夕法尼亚州立大学);U. S. Naval Research Laboratory(美国海军研究实验室)
在声纳图像中寻找水雷是一个重要问题,与航海军事和商业活动有很大关系。遗憾的是,由于缺乏大量的声纳图像数据集,自动目标识别(ATR)算法无法获得其他计算机视觉领域的一些相同进展。也就是说,卷积神经网络(CNN)的繁荣能够实现令人难以置信的结果-甚至超过人类演员-对于Sonar ATR的许多从业者来说并不是一条容易可行的路线。我们展示了将CNN纳入Sonar ATR的一种途径的力量:迁移学习。我们首先展示了一个简单,灵活的CNN特征提取策略可以用来获得令人印象深刻的,如果不是最先进的结果。其次,我们提出了一种方法,利用强大的迁移学习方法对多实例目标检测和识别内提供的合成孔径声纳数据集。
2017-06-29 cs.CV
CNN-ViT Hybrid for Pneumonia Detection: Theory and Empiric on Limited Data without Pretraining
The British College, Keele University(凯利大学英国学院);Nepal College of Information Technology, Pokhara University(尼泊尔信息技术学院,波克拉大学)
本研究提出无预训练的CNN-ViT混合模型,在有限且不平衡的肺炎检测数据上从零训练,平衡数据下召回率达0.9443,F1稳定约0.85,且在不平衡数据上优于单一模型。
2025-09-10 cs.CV eess.IV
Improved Super Resolution of MR Images Using CNNs and Vision Transformers
Inception Institute of AI(人工智能初创研究所)
使用卷积神经网络(CNN)的现有技术磁共振(MR)图像超分辨率方法(ISR)由于CNN的有限空间覆盖而利用有限的上下文信息。Vision Transformers(ViT)可以更好地学习全局背景,有助于生成高质量的HR图像。我们将CNN的局部信息和ViTs的全局信息相结合,以实现图像超分辨率,并输出比最先进方法产生的图像质量更高的超分辨率图像。我们包括额外的限制,通过多个新的损失函数,保留结构和纹理信息,从低分辨率到高分辨率的图像。
2022-07-24 cs.CV eess.IV
Unsupervised Learning of Neural Networks to Explain Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Shanghai Jiao Tong University(上海交通大学);University of California, Irvine(加利福尼亚大学尔湾分校)
本文提出了一种学习神经网络的无监督方法,即解释器,用于解释预训练的卷积神经网络(CNN),即,解释隐藏在CNN的中间卷积层中的知识表示。给定CNN的某个conv层的特征图,解释器像自动编码器一样执行,其首先将特征图分解为对象部分特征,然后将对象部分特征反转回CNN的更高conv层的特征。更具体地说,解释器包含可解释的conv层,其中每个过滤器从混沌输入特征映射中解开特定对象部分的表示。作为CNN特征的释义,对象部分的解纠缠表示帮助人们理解CNN内部的逻辑。我们还学习解释器使用对象部分特征来重建更高CNN层的特征,以最大限度地减少特征解缠期间的信息损失。更重要的是,我们通过网络蒸馏来学习解释器,而不使用样本标签、对象部分或纹理的任何注释进行监督。我们已经将我们的方法应用于不同类型的CNN进行评估,解释器显着提高了CNN特征的可解释性。
2018-05-18 cs.CV cs.LG
A Novel Hybrid Deep Learning and Chaotic Dynamics Approach for Thyroid Cancer Classification
Laboratory of Renewable Energy, Department of Electronics, University of Jijel(可再生能源实验室,电子系,杰吉尔大学);Non-Destructive Testing Laboratory, Department of Electronics, University of Jijel(无损检测实验室,电子系,杰吉尔大学);Institute of Technology, University Center Salhi Ahmed(技术学院,Salhi Ahmed大学中心);College of Engineering and Information Technology, University of Dubai(工程与信息科技学院,迪拜大学)
本文提出融合 CDF9/7 小波、n 涡卷混沌调制与自适应 CNN 的甲状腺超声分类框架,在 DDTI 上达到 98.17% 准确率,并通过跨数据集与可解释性验证其泛化性和临床适用性。
2025-09-28 cs.CV
Harmonic Networks with Limited Training Samples
ADAPT Centre(ADAPT中心);School of Computer Science & Statistics, Trinity College Dublin(都柏林圣三一学院计算机科学与统计学院)
卷积神经网络(CNN)是当今图像处理中非常流行的一种网络。CNN允许人们在(大部分)监督机器学习上下文中学习最佳滤波器。然而,这通常需要大量标记的训练数据来估计滤波器参数。已经部署了替代策略来减少要学习的参数和/或滤波器的数量,从而减少过拟合。在恢复到预设滤波器的上下文中,我们在这里提出了一个计算效率高的谐波块,它在CNN中使用离散余弦变换(DCT)滤波器。在这项工作中,我们研究了谐波网络在有限的训练数据的情况下的性能。我们通过实验验证,它的性能比较以及对散射网络,使用小波作为预设的过滤器。
2019-04-30 cs.CV cs.LG
A test case for application of convolutional neural networks to spatio-temporal climate data: Re-identifying clustered weather patterns
Rice University(莱斯大学);University of Pennsylvania(宾夕法尼亚大学)
卷积神经网络(CNN)可以为分类和识别气候和环境数据中的模式提供强大的工具。然而,由于这些数据的固有复杂性,这些数据通常是时空的、混沌的和非平稳的,因此必须针对每个特定的数据集和应用设计/评估CNN算法。首先,CNN是一种有监督的技术,需要一个大的标记数据集。标记需要(人类)专家的时间,再加上这一领域的相关示例数量有限,可能会阻碍使用CNN解决新问题。为了应对这些挑战,我们(1)提出了一种有效的自动标记策略,该策略基于使用无监督聚类算法并评估CNN在重新识别这些聚类方面的性能;(2)使用这种方法在完全耦合的气候模式的输出中标记北美数千个每日大规模天气类型,并显示CNN在重新识别4个聚类状态方面的能力。每个聚类使用$1000$样本或更多样本训练的深度CNN具有$90\%$或更好的准确度。准确度与训练集的大小单调但非线性地成比例,例如,每个聚类使用$3000$训练样本达到$94\%$。结构和超参数对CNN性能的影响进行了研究和讨论。
2018-11-12 cs.CV cs.LG physics.ao-ph
Deep learning enabled multi-wavelength spatial coherence microscope for the classification of malaria-infected stages with limited labelled data size
Thapar Institute of Engineering and Technology(塔帕尔工程技术学院)
疟疾是一种威胁生命的蚊子传播的血液疾病,因此早期发现对健康至关重要。传统的检测方法是对Giemsa染色的血涂片进行显微镜检查,这需要训练有素的熟练技术人员。疟疾不同阶段的自动分类仍然是一项具有挑战性的任务,特别是在检测早期滋养体和晚期滋养体或滋养体阶段时灵敏度差,标记数据量有限。该研究旨在开发一种快速、稳健和全自动的系统,用于在数据量有限的情况下对疟疾的不同阶段进行分类,方法是使用预先训练的卷积神经网络(CNN)作为分类器,并使用多波长来增加样本量。我们还将我们定制的CNN与其他知名CNN进行了比较,并表明我们的网络具有可比的性能,计算时间更少。我们相信,我们提出的方法可以应用到其他有限的标记生物数据集。
2019-03-14 cs.CV physics.med-ph
Depth CNNs for RGB-D scene recognition: learning from scratch better than transferring from RGB-CNNs
University of Chinese Academy of Sciences(中国科学院大学)
RGB图像的场景识别已经得到了广泛的研究,并且由于卷积神经网络(CNN)和大型场景数据集,已经达到了非常显着的识别水平。相比之下,当前的RGB-D场景数据要有限得多,因此通常通过传输预训练的RGB CNN模型并与目标RGB-D数据集进行微调来利用RGB大型数据集。然而,我们表明,这种方法具有难以到达底层的局限性,这是学习特定于模态的特征的关键。相比之下,我们专注于底层,并提出了一种替代策略来学习深度特征,该策略将局部弱监督训练与图像全局微调相结合。这种策略能够用有限的深度图像学习非常有区别的深度特定特征,而不需要求助于Places-CNN。此外,我们提出了一个修改后的CNN架构,以进一步匹配模型的复杂性和可用的数据量。对于RGB-D场景识别,通过将深度和RGB特征投影到公共空间中并进一步学习多层分类器来组合深度和RGB特征,该多层分类器在端到端网络中进行联合优化。我们的框架在NYU 2和SUN RGB-D上仅在深度和组合RGB-D数据方面都达到了最先进的精度。
2018-01-21 cs.CV stat.ML
UberNet: Training a `Universal' Convolutional Neural Network for Low-, Mid-, and High-Level Vision using Diverse Datasets and Limited Memory
CentraleSupélec - INRIA(中央高等电力学院 - 法国国家信息与自动化研究所)
在这项工作中,我们介绍了一个卷积神经网络(CNN),它在一个统一的架构中联合处理低,中,高层次的视觉任务,该架构是端到端训练的。这样一个通用的网络可以像一个“瑞士刀”的视觉任务,我们称之为UberNet的架构,以表明其总体性质。我们解决了在扩大单个CNN处理的任务范围时出现的两个主要技术挑战:(i)在依赖于不同训练集的同时训练深度架构,以及(ii)用有限的内存预算训练许多(可能是无限的)任务。正确地解决这两个问题使我们能够训练准确的预测器,而不影响准确性。通过这些进步,我们以端到端的方式训练CNN,其同时解决(a)边界检测(b)正常估计(c)显著性估计(d)语义分割(e)人体部位分割(f)语义边界检测,(g)区域提议生成和目标检测。我们获得了具有竞争力的性能,同时在单个GPU上以每帧0.7秒的速度联合处理所有这些任务。这个系统的演示可以在http://cvn.ecp.fr/ubernet/上找到。
2016-09-07 cs.AI cs.CV cs.LG
General vs Domain-Specific CNNs: Understanding Pretraining Effects on Brain MRI Tumor Classification
Islamic Azad University, Central Tehran Branch(伊斯兰阿扎德大学德黑兰中央分校);Charles University(查理大学)
本研究比较了三种CNN架构在脑肿瘤分类中的表现,发现通用网络ConvNeXt-Tiny在数据稀缺情况下表现更优,而领域特定预训练模型泛化能力有限。
2026-02-27 cs.AI cs.CV
Training Convolutional Neural Networks with Limited Training Data for Ear Recognition in the Wild
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院);Faculty of Electrical Engineering, University of Ljubljana(卢布尔雅那大学电气工程学院)
从人耳图像进行身份识别是生物识别领域的一个活跃的研究领域。从远处以隐蔽方式捕获耳朵图像的能力使得耳朵识别技术成为监视和安全应用以及相关应用领域的吸引人的选择。与其他生物识别模式相比,在不受控制的设置中捕获的大型数据集很容易获得,耳朵图像的数据集在大小上仍然有限,并且大部分具有实验室般的质量。因此,耳朵识别技术尚未受益于深度学习和卷积神经网络(CNN)的进步,并且仍然落后于其他由于深度识别技术而经历了显着性能提升的模式。在本文中,我们解决这个问题,旨在建立一个基于CNN的人耳识别模型。我们探索了不同的策略,对有限的训练数据的模型训练,并表明,通过选择一个适当的模型架构,使用积极的数据增强和选择性学习现有的(预先训练的)模型,我们能够学习一个有效的基于CNN的模型使用略多于1300训练图像。我们的工作成果是第一个基于CNN的人耳识别方法,该方法也公开提供给研究界。通过我们的模型,我们能够在从网络捕获的具有挑战性的耳朵图像数据集上将先前最先进的一级识别率提高25%以上(即,在野外)。
2019-02-01 cs.CV
AI-Enhanced Pediatric Pneumonia Detection: A CNN-Based Approach Using Data Augmentation and Generative Adversarial Networks (GANs)
本文提出一种基于CNN的儿科肺炎分类系统,结合数据增强和GANs生成合成图像以缓解数据不足与类别不平衡,并通过Flask部署实现实时诊断,在资源有限场景下提升诊断准确率与效率。
2025-07-13 cs.AI cs.CV eess.IV
A Full-Image Full-Resolution End-to-End-Trainable CNN Framework for Image Forgery Detection
Università degli Studi di Napoli Federico II(那不勒斯费德里科二世大学)
由于有限的计算和内存资源,当前的深度学习模型只接受相当小的图像输入,需要进行初步的图像预处理。这对于高级视觉问题来说不是问题,在高级视觉问题中,辨别特征几乎不受干扰影响。相反,在图像取证中,重复检测往往会破坏宝贵的高频细节,严重影响性能。人们可以通过逐块处理的方式避免重叠,代价是放弃整个图像分析。在这项工作中,我们提出了一个基于CNN的图像伪造检测框架,该框架根据从整个图像收集的全分辨率信息做出决策。由于梯度检查点,该框架是端到端可训练的,具有有限的内存资源和弱(图像级)监督,允许联合优化所有参数。在广泛的图像取证数据集上的实验证明了该方法的良好性能,其性能大大优于所有基线和所有参考方法。
2019-09-15 cs.CV
Training Vision Transformers with Only 2040 Images
National Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学)
视觉Transformer(ViTs)正在成为卷积神经网络(CNN)的替代方案,用于视觉识别。它们实现了与CNN竞争的结果,但缺乏典型的卷积归纳偏差使它们比普通CNN更需要数据。他们通常在JFT-300 M或至少ImageNet上进行预训练,很少有研究用有限的数据训练ViT。在本文中,我们研究了如何训练有限的数据(例如,2040个图像)。我们给出理论分析,我们的方法(基于参数的实例判别)是优于其他方法,因为它可以捕获的特征对齐和实例相似性。我们在各种ViT主干下的7个小数据集上从头开始训练时,获得了最先进的结果。我们还研究了小数据集的传输能力,发现从小数据集学习的表示甚至可以改善大规模ImageNet训练。
2022-01-26 cs.AI cs.CV
Joint Estimation of Age and Gender from Unconstrained Face Images using Lightweight Multi-task CNN for Mobile Applications
Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所)
基于无约束图像的自动年龄和性别分类已经成为移动设备上的基本技术。在有限的计算能力下,如何开发一个健壮的系统成为一个具有挑战性的任务。在本文中,我们提出了一种高效的卷积神经网络(CNN),称为轻量级多任务CNN,用于同时进行年龄和性别分类。轻量级多任务CNN使用深度可分离卷积来减少模型大小并节省推理时间。在公开的Adience数据集上,年龄和性别分类的准确性优于基线多任务CNN方法。
2018-06-06 cs.CV
Keypoint-Augmented Self-Supervised Learning for Medical Image Segmentation with Limited Annotation
Arizona State University(亚利桑那州立大学);New York University(纽约大学);Northwestern University(西北大学)
针对CNN在医学图像分割中难以捕捉长距离空间依赖的问题,提出关键点增强融合层与全局局部自监督预训练策略,结合关键点自注意力与对比学习,在MRI和CT任务上超越现有SSL方法并实现SOTA性能。
2023-10-18 cs.AI cs.CV
Efficient CNN-LSTM based Image Captioning using Neural Network Compression
Carnegie Mellon University(卡内基梅隆大学)
现代神经网络在计算机视觉、自然语言处理和相关垂直领域的任务上实现了最先进的性能。然而,它们因其贪婪的内存和计算需求而臭名昭著,这进一步阻碍了它们在资源有限的边缘设备上的部署。为了实现边缘部署,研究人员开发了修剪和量化算法来压缩此类网络,而不会影响其效率。这种压缩算法在独立的CNN和RNN架构上进行了广泛的实验,而在这项工作中,我们提出了一种非传统的基于CNN-LSTM的图像描述模型的端到端压缩流水线。该模型使用VGG 16或ResNet 50作为flickr 8 k数据集上的编码器和LSTM解码器进行训练。然后,我们研究了不同的压缩架构对模型的影响,并设计了一个压缩架构,与未压缩的模型相比,模型大小减少了73.1%,推理时间减少了71.3%,BLEU得分增加了7.7%。
2020-12-17 cs.AI cs.CV
A Novel Hybrid CNN-AIS Visual Pattern Recognition Engine
Indian Institute of Technology Delhi(德里印度理工学院)
机器学习方法目前用于大多数识别问题。卷积神经网络(CNN)已经一次又一次地被证明是成功的许多图像处理任务,主要是因为他们的架构。在本文中,我们建议将CNN应用于小数据集,例如,个人相册或其他类似的环境,其中训练数据集的大小是一个限制,在建议的混合CNN-AIS模型的框架内。我们使用人工免疫系统原理来增强小规模的训练数据集。克隆选择层被添加到CNN架构的局部过滤和最大池化。建议的架构进行评估,使用标准MNIST数据集,通过限制数据的大小,也有一个小的个人数据样本属于两个不同的类。实验结果表明,当训练数据的大小受到限制时,所提出的基于混合CNN-AIS的识别引擎工作良好
2015-03-11 cs.CV
Cyclic image generation using chaotic dynamics
Graduate school of Engineering, Fukuoka Institute of Technology(福冈工业大学工程学院);Faculty of Information Engineering, Fukuoka Institute of Technology(福冈工业大学信息工程学院)
本文扩展 CycleGAN 实现三类图像间的循环连续生成,并用正 Lyapunov 指数证实其混沌动力学,为多类别图像生成提供新机制。
2024-09-23 cs.CV cs.LG nlin.CD
Image Enhancement Network Trained by Using HDR images
Tokyo Metropolitan University(东京都立大学)
在本文中,提出了一种新的图像增强网络,其中HDR图像用于生成我们的网络的训练数据。大多数传统的图像增强方法,包括基于Retinex的方法,没有考虑恢复由剪切和量化引起的丢失的像素值。此外,由于网络架构,最近提出的基于CNN的方法仍然具有有限的应用范围或有限的性能。相比之下,所提出的方法比现有的基于CNN的方法具有更高的性能和更简单的网络架构。此外,所提出的方法使我们能够恢复丢失的像素值。实验结果表明,该方法可以提供更高质量的图像比传统的图像增强方法,包括CNN的方法,在TMQI和NIQE。
2019-01-25 cs.CV
Variational Partial Group Convolutions for Input-Aware Partial Equivariance of Rotations and Color-Shifts
Kim Jaechul Graduate School of AI, KAIST(金哉澈人工智能研究生院(韩国科学技术院));School of Computing, KAIST(计算机学院(韩国科学技术院));AITRICS(AITRICS公司)
本文提出变分部分G-CNN(VP G-CNN),通过以输入数据为条件的变分推断动态调整每个样本的部分等变性水平,并改进可重参数化分布以稳定训练,在多个旋转与颜色偏移数据集上验证了有效性。
2024-07-05 cs.AI cs.CV cs.LG
Real-time Human Detection Model for Edge Devices
Faculty of Computers and Artificial Intelligence, Cairo University(开罗大学计算机与人工智能学院);University of Science and technology, Zewail City of Science and Technology(泽维尔科技城科技大学)
构建一个小型快速监控系统模型以适应资源有限的设备是一项具有挑战性但又重要的任务。卷积神经网络(CNN)在检测和分类任务中已经取代了传统的特征提取和机器学习模型。提出了各种复杂的大型CNN模型,这些模型在准确性方面取得了显着的提高。轻量级的CNN模型最近被引入用于实时的【形】任务。本文提出了一种基于CNN的轻量级模型,可以适合Raspberry Pi等有限的边缘设备。我们提出的模型提供了更好的性能时间,更小的尺寸和与现有方法相当的精度。在多个基准数据集上评估模型性能。它还与现有的模型在大小,平均处理时间,和F分数。对今后的研究提出了其他改进建议。
2021-11-20 cs.CV cs.LG
Transfer Learning with Ensembles of Deep Neural Networks for Skin Cancer Detection in Imbalanced Data Sets
University of Helsinki(赫尔辛基大学)
已经报道了几种用于从医学图像中准确检测皮肤癌的机器学习技术。这些技术中的许多基于预先训练的卷积神经网络(CNN),其使得能够基于有限量的训练数据来训练模型。然而,这些模型的分类精度仍然受到恶性肿瘤代表性图像稀缺的严重限制。我们提出了一种新的基于集成的CNN架构,其中使用元学习器组合多个CNN模型,其中一些是预先训练的,一些只在手头的数据上训练,以及与输入图像相关联的元数据形式的辅助数据。该方法提高了模型处理有限和不平衡数据的能力。我们使用来自2056名患者的33126张皮肤镜图像的数据集证明了所提出的技术的好处。我们评估所提出的技术在F1测量,ROC曲线下面积(AUC-ROC)和PR曲线下面积(AUC-PR)方面的性能,并将其与七种不同的基准方法进行比较,包括两种最近基于CNN的技术。所提出的技术比较有利的所有评价指标。
2021-05-17 cs.CV cs.LG
CNN-aware Binary Map for General Semantic Segmentation
University of Genova(热那亚大学);Istituto Italiano di Tecnologia(意大利技术研究院);University of Trento(特伦托大学);Allen Institute for AI(艾伦人工智能研究所)
在本文中,我们介绍了一种新的方法,一般语义分割,可以受益于一般语义的卷积神经网络(CNN)。我们的分割提出了视觉和语义连贯的图像段。我们使用CNN特征的二进制编码来克服在高维CNN特征空间上聚类的困难。这些二进制代码对图像中的噪声和非语义变化非常鲁棒。这些二进制编码可以嵌入到CNN中,作为网络末端的额外层。这导致实时分割。据我们所知,我们的方法是第一次尝试一般语义图像分割使用CNN。所有以前的论文都局限于少数几个类别的图像(例如PASCAL VOC)。实验表明,我们的分割算法优于国家的最先进的非语义分割方法的大幅度。
2016-09-29 cs.CV
Structure-from-Motion using Dense CNN Features with Keypoint Relocalization
Tokyo Institute of Technology(东京工业大学)
由于特征重复性的损失,使用涉及极端外观变化的图像的运动恢复结构(SfM)仍然是一项具有挑战性的任务。使用通过匹配密集提取的卷积神经网络(CNN)特征获得的特征对应性显著提高了SfM重建能力。然而,重建精度受到所提取的CNN特征的空间分辨率的限制,在现有方法中,所述空间分辨率甚至不是像素级精度。由于密集特征的存储器限制和计算负担,提供具有精确关键点位置的密集特征匹配并不是微不足道的。为了实现具有高度可重复的密集特征的精确SfM重建,我们提出了一种SfM流水线,该流水线使用密集的CNN特征,并对关键点位置进行重新定位,可以有效且准确地提供像素级特征对应。然后,我们在亚琛昼夜数据集上证明,使用密集CNN特征和关键点重新定位的SfM的性能大大优于最先进的SfM(使用RootSIFT的COLMAP)。
2018-05-11 cs.CV
Hyperspectral CNN Classification with Limited Training Samples
Australian Centre for Field Robotics(澳大利亚野外机器人中心);University of Sydney(悉尼大学)
高光谱成像传感器在农业和采矿等机器人应用中越来越受欢迎,并允许基于其独特的光谱特征对场景中的材料进行逐像素专题分类。最近,卷积神经网络在分类任务中表现出了出色的性能,但需要大量的标记训练数据。这些数据必须充分涵盖环境中预期会遇到的可变性。对于高光谱数据,户外遇到的主要变化之一是由于入射照明,这可能会改变光谱形状和强度取决于场景的几何形状。例如,被太阳遮挡的区域具有较低的强度,并且它们的入射辐照度向较短的波长倾斜。在这项工作中,一个数据增强策略的基础上重新照明的高光谱卷积神经网络的训练过程中使用。它允许在室外环境中进行训练,只需给定一个小的标记区域,该区域不需要充分代表整个场景的几何变化性。这对于获得大量训练数据是费力的、危险的或困难的应用是重要的,例如标记阴影内的像素。辐射归一化方法预处理的高光谱数据进行了分析,它示出的方法的基础上的原始像素数据是足以被用作输入的分类器。这消除了对校准板等外部硬件的需求,这些硬件可能会限制高光谱传感器在机器人应用中的应用。实验进行了评估的分类系统上捕获的两个数据集从基于字段的平台。
2016-11-28 cs.CV
AFE-CNN: 3D Skeleton-based Action Recognition with Action Feature Enhancement
Australia Artificial Intelligence Institute(澳大利亚人工智能研究所);School of Electrical and Data Engineering(电气与数据工程学院);University of Technology Sydney(悉尼科技大学)
现有的基于3D图像的动作识别方法通过将手工制作的动作特征编码为图像格式并通过CNN解码来达到令人印象深刻的性能。然而,这样的方法在两个方面受到限制:a)手工制作的动作特征难以处理具有挑战性的动作,以及b)它们通常需要复杂的CNN模型来提高动作识别精度,这通常会产生沉重的计算负担。为了克服这些限制,我们引入了一种新的AFE-CNN,它致力于增强基于3D机器人的动作的特征,以适应具有挑战性的动作。我们从关键关节、骨骼向量、关键帧和时间角度提出了特征增强模块,因此AFE-CNN对相机视图和身体尺寸变化更具鲁棒性,并显着提高了对具有挑战性动作的识别精度。此外,我们的AFE-CNN采用轻量级的CNN模型来解码具有增强的动作特征的图像,这确保了比最先进的方法低得多的计算负担。我们在三个基准的基于神经网络的动作数据集上评估了AFE-CNN:NTU RGB+D,NTU RGB+D 120和UTKinect-D3 D,大量的实验结果证明了我们AFE-CNN的出色性能。
2022-08-06 cs.CV
EETnet: a CNN for Gaze Detection and Tracking for Smart-Eyewear
Department of Electronics, Information and Bioengineering (DEIB)(电子、信息与生物工程系)
本文提出EETnet,一种基于纯事件数据、可在微控制器上运行的CNN,用于智能眼镜眼动追踪,并提供分类与回归两种架构版本。
2025-11-06 cs.CV
Error Corrective Boosting for Learning Fully Convolutional Networks with Limited Data
LMU München(慕尼黑大学);Technische Universität München(慕尼黑工业大学);Indian Institute of Technology, Kharagpur(印度理工学院卡哈拉格普尔分校);IBM Almaden Research Center(IBM阿尔马登研究中心);Johns Hopkins University(约翰斯·霍普金斯大学)
训练用于语义图像分割的深度全卷积神经网络(F-CNN)需要访问大量的标记数据。虽然未标记图像数据的大型数据集在医学应用中可用,但对手动标记数据的访问非常有限。我们建议使用现有工具在最初未标记的数据上自动创建辅助标签,并将其用于预训练。对于随后使用手动标记数据对网络进行微调,我们引入了错误校正提升(ECB),它强调对准确度较低的类进行参数更新。此外,我们还介绍了SkipDeconv-Net(SD-Net),这是一种新的用于大脑分割的F-CNN架构,它将跳过连接与上采样的unpooling策略相结合。SD-Net解决了严重的类别不平衡和边界错误的挑战。应用于全脑MRI T1扫描分割,我们使用FreeSurfer在大型数据集上生成辅助标签,并使用手动注释在两个数据集上进行微调。我们的研究结果表明,包括辅助标签和ECB产生显着的改善。SD-Net在7秒内分割3D扫描,而最接近的多图谱分割方法需要30小时,同时达到类似的性能。它也优于最新的最先进的F-CNN模型。
2017-07-02 cs.CV
Physical Rule-Guided Convolutional Neural Network
Cyber Physical Systems(网络物理系统);Clark Atlanta University(克拉克亚特兰大大学);BRAC University(BRAC大学);Texas Tech University(德克萨斯理工大学)
本文提出物理引导CNN(PGCNN)架构,将LLM自动生成的动态可训练物理规则作为自定义层集成到CNN中,以解决数据有限和置信度低的问题,并在多个数据集上验证其能显著减少假阳性、提升检测置信度。
2024-09-03 cs.CV
A Novel Weight-Shared Multi-Stage CNN for Scale Robustness
Graduate School of System Informatics, Kobe University(神户大学系统信息学研究科)
卷积神经网络(CNN)在图像分类的基准任务和实际应用中表现出显着的效果。具有更深架构的CNN最近已经实现了更高的性能,这要归功于它们对图像中对象的并行移位的鲁棒性以及它们的众多参数和由此产生的高表达能力。然而,CNN对其他几何变换(如缩放和旋转)的鲁棒性有限。这限制了深度CNN的性能提高,但目前还没有确定的解决方案。这项研究的重点是规模转换,并提出了一种称为权重共享多级网络(WSMS-Net)的网络架构,该网络由多级CNN组成。提出的WSMS-Net很容易与现有的深度CNN(如ResNet和DenseNet)相结合,使它们能够获得对对象缩放的鲁棒性。在CIFAR-10、CIFAR-100和ImageNet数据集上的实验结果表明,现有的深度CNN与所提出的WSMS-Net相结合,在图像分类任务中实现了更高的准确度,而参数数量和计算时间只略有增加。
2019-04-12 cs.CV
Deep Learning-Guided Image Reconstruction from Incomplete Data
Washington University in Saint Louis(圣路易斯华盛顿大学)
提出了一种将深度学习结合在迭代图像重建框架内以从严重不完整的测量数据重建图像的方法。具体来说,我们利用卷积神经网络(CNN)作为最小二乘最小化过程中的准投影运算符。训练CNN以编码关于被成像的图像类别的高级信息;该信息用于减轻通过使用迭代法产生的中间图像中的伪影。该方法的结构受到邻近梯度下降方法的启发,其中邻近算子被深度CNN代替,并且通过使用线性重建算子来推广梯度下降步骤。它表明,这种方法提高了图像质量的几种情况下,有限的视图图像重建和使用CNN的迭代法相比,传统的图像重建方法的性能提高。我们测试我们的方法在几个有限的视图图像重建问题。定性和定量结果证明了最先进的性能。
2017-09-02 cs.CV cs.LG
On the Ability of a CNN to Realize Image-to-Image Language Conversion
Kyushu University(九州大学)
本文的目的是揭示卷积神经网络(CNN)在图像到图像语言转换的新任务上的能力。我们提出了一个新的网络来解决这一任务,直接转换成图像的语音拉丁字符相当于韩国韩文字符的图像。韩文和音标之间的转换规则没有明确提供。所提出的网络的结果表明,它是可以执行图像到图像的语言转换。此外,它表明,即使从有限的学习数据,它也可以把握韩语的结构特征。此外,它还引入了一种新的网络,当输入和输出具有显著不同的特征时使用。
2020-06-22 cs.CV
Image Inpainting for High-Resolution Textures using CNN Texture Synthesis
University of Applied Sciences Constance(康斯坦茨应用技术大学)
深度神经网络已成功应用于图像分割、图像超分辨率、着色和图像修补等问题。在这项工作中,我们提出了使用卷积神经网络(CNN)的图像修补的大区域的高分辨率纹理。由于有限的计算资源,用神经网络处理高分辨率图像仍然是一个悬而未决的问题。现有的方法将全局结构的修复和细节的传递分离,这导致在细节传递步骤中的模糊结果和全局一致性的损失。基于使用CNN的纹理合成的进展,我们提出了基于块的图像修补的CNN,能够优化全局以及细节纹理统计。我们的方法能够填充大型修复区域,通常超过高分辨率图像的可比方法的质量。对于参考补丁查找,我们建议使用与修复过程中使用的相同的汇总统计量。
2018-02-12 cs.CV
Monocular 3D Human Pose Estimation In The Wild Using Improved CNN Supervision
MPI for Informatics(马克斯·普朗克信息学研究所);EPFL(洛桑联邦理工学院);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
我们提出了一种基于CNN的方法,用于从单个RGB图像进行3D人体姿态估计,该方法解决了仅在有限的公开可用3D姿态数据上训练的模型的有限泛化性问题。仅使用现有的3D姿态数据和2D姿态数据,我们通过转移学习的特征,在建立的基准上展示了最先进的性能,同时也推广到野外场景。我们进一步引入了一个新的训练集,用于从真实人类的单目图像中进行人体姿态估计,该图像具有用多相机无标记运动捕捉系统捕获的地面实况。它补充了现有的语料库,在姿势,人类外观,服装,遮挡和观点方面具有更大的多样性,并能够增加增强的范围。我们还提供了一个新的基准,涵盖室外和室内场景,并证明我们的3D姿态数据集显示出比现有注释数据更好的野外性能,这是进一步改进结合迁移学习从2D姿态数据。总而言之,我们认为,使用迁移学习的表示与算法和数据的贡献是至关重要的一般3D身体姿势估计。
2017-10-04 cs.CV
HSD-CNN: Hierarchically self decomposing CNN architecture using class specific filter sensitivity analysis
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
传统的卷积神经网络(CNN)是在大的域数据集上训练的,因此在有限的类应用中通常被过度表示并且效率低下。将这种大型多类预训练网络转换为小型少类网络的有效方法是通过其特征图的分层分解。为了缓解这个问题,我们提出了一个自动化的框架,这种分解分层自分解CNN(HSD-CNN),在四个步骤。HSD-CNN是使用特定于类别的过滤器灵敏度分析自动导出的,该分析量化了特定特征对类别预测的影响。分解的分层网络可以直接利用和部署,以获得一个子集的类的子网络,它表现得更好,而不需要重新训练这些子网络。实验结果表明,如果使用完整的类集,HSD-CNN通常不会降低准确性。有趣的是,当对已知的类子集进行操作时,HSD-CNN的准确性得到了提高,模型尺寸小得多,需要的操作也少得多。在CIFAR 10、CIFAR 100和CALIFOR 101数据集上验证了HSD-CNN流。我们报告的准确性高达$85.6\%$($94.75\%$)的情况下,13(4)类CIFAR 100,使用预训练的VGG-16网络的完整数据集。在这种情况下,与包含所有100个类的特征的基线VGG-16相比,所提出的HSD-CNN需要$3.97 \times$更少的参数并且具有$71.22\%$的操作节省。
2018-11-21 cs.CV
Semantic and Visual Similarities for Efficient Knowledge Transfer in CNN Training
Orkis(奥基斯);EURECOM(欧洲通信学院)
近年来,表示学习方法已经扰乱了许多多媒体计算任务。在这些方法中,深度卷积神经网络(CNN)在一些受约束的图像分类任务上已经明显达到了人类水平的专业知识。尽管如此,从零开始训练CNN来完成新任务或简单的新数据是复杂而耗时的。最近,迁移学习已经成为一种有效的方法,通过只重新训练最后一个分类层,使预训练的CNN适应新的数据和类别。本文的重点是改进这一过程,以便在图像分类微调的情况下更好地在CNN架构之间传输知识,以实现更快的训练。这是通过组合和转移补充权重,基于源和目标类之间的相似性考虑。该研究包括语义和基于内容的相似性之间的比较,并强调了初始性能和训练速度的提高,以及在有限的训练样本可用时的卓越长期性能。
2019-09-13 cs.CV cs.LG cs.MM
An Ultra Lightweight CNN for Low Resource Circuit Component Recognition
Indiana University(印第安纳大学)
在本文中,我们提出了一个超轻量的系统,可以有效地识别不同的电路元件的图像非常有限的训练数据。随着系统的发布,我们还发布了为任务创建的数据集。我们的系统采用两阶段的方法。应用选择性搜索来找到每个电路元件的位置。根据其结果,我们将原始图像裁剪成更小的片段。然后将这些片段馈送到卷积神经网络(CNN)进行分类以识别每个电路元件。该方法在低资源环境下的电路元件识别中具有较好的工程应用价值。我们的系统的准确率达到93.4\%,优于支持向量机(SVM)基线(75.00%)和现有的最先进的RetinaNet解决方案(92.80%)。
2020-10-01 cs.CV
Contextual Action Recognition with R*CNN
UC Berkeley(加州大学伯克利分校);Microsoft Research(微软研究院)
图像中有多种线索可以揭示一个人正在执行的动作。例如,慢跑者具有慢跑特有的姿势,但是场景(例如,道路、小径)和其他慢跑者的存在可以是附加的信息源。在这项工作中,我们利用简单的观察,行动伴随着上下文线索,建立一个强大的动作识别系统。我们调整RCNN以使用多个区域进行分类,同时仍然保持定位动作的能力。我们称我们的系统为R*CNN。特定于动作的模型和特征图是联合训练的,从而允许出现特定于动作的表示。R*CNN在PASAL VOC Action数据集上实现了90.2%的平均AP,显著优于该领域的所有其他方法。最后,我们证明了R*CNN不仅限于动作识别。特别是,R*CNN还可以用于处理细粒度的任务,如属性分类。我们通过报告Berkeley Attributes of People数据集的最新性能来验证这一说法。
2016-03-25 cs.CV
Wavelet Convolutional Neural Networks
The University of Tokyo(东京大学);Digital Frontier Inc.(数字前沿株式会社)
空间方法和谱方法是图像分类和目标识别等图像处理任务的两种主要方法。在许多这样的算法中,卷积神经网络(CNN)最近在许多具有挑战性的任务中实现了显著的性能改进。由于CNN直接在空间域中处理图像,因此它们本质上是空间方法。鉴于空间和频谱方法具有不同的特性,将频谱方法纳入CNN将是有趣的。我们提出了一种新的CNN架构,小波CNN,它结合了多分辨率分析和CNN到一个模型。我们的见解是,CNN可以被视为多分辨率分析的有限形式。基于这一见解,我们通过小波变换来补充多分辨率分析中缺失的部分,并将它们作为额外的组件集成到整个架构中。小波CNN允许我们利用传统CNN中丢失的光谱信息,但在大多数图像处理任务中很有用。我们评估了小波CNN在纹理分类和图像注释方面的实际性能。实验表明,小波CNN在这两个任务中都可以达到比现有模型更好的精度,同时比传统CNN具有更少的参数。
2018-05-20 cs.CV cs.LG
ConvFormer: Plug-and-Play CNN-Style Transformers for Improving Medical Image Segmentation
Huazhong University of Science and Technology(华中科技大学);Union Hospital, Tongji Medical College, Huazhong University of Science and Technology(华中科技大学同济医学院附属协和医院)
本文提出即插即用的CNN风格Transformer(ConvFormer),通过引入池化、CSA和CFFN替代传统分词与注意力机制,有效解决医学图像分割中transformer的注意力坍塌问题并提升性能。
2023-09-09 cs.CV eess.IV
Libra R-CNN: Towards Balanced Learning for Object Detection
Zhejiang University(浙江大学);The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院);The University of Sydney(悉尼大学)
与模型结构相比,训练过程,这也是至关重要的检测器的成功,受到了相对较少的关注在目标检测。在这项工作中,我们仔细回顾了检测器的标准训练实践,发现检测性能往往受到训练过程中的不平衡的限制,这通常包括三个级别-样本级别,特征级别和目标级别。为了减轻由此造成的不利影响,我们提出了Libra R-CNN,这是一个简单但有效的框架,可以实现目标检测的平衡学习。它集成了三个新的组件:IoU平衡采样,平衡特征金字塔和平衡L1损失,分别用于减少样本,特征和目标级别的不平衡。得益于整体平衡的设计,Libra R-CNN显著提高了检测性能。在没有额外功能的情况下,它在MSCOCO上的平均精度(AP)分别比FPN Faster R-CNN和RetinaNet高出2.5个点和2.0个点。
2019-04-04 cs.CV
AC-CovidNet: Attention Guided Contrastive CNN for Recognition of Covid-19 in Chest X-Ray Images
Indian Institute of Information Technology, Sri City, Chittoor(印度信息技术学院,斯里城,奇图尔);Indian Institute of Information Technology, Allahabad(印度信息技术学院,阿拉哈巴德)
2019冠状病毒病全球大流行继续困扰着世界各地的医疗保健系统。目前,COVID-19检测既昂贵又耗时。胸部X射线(CXR)测试可以是一种快速,可扩展和非侵入性的方法。现有的方法由于Covid-19可用的CXR样本有限而受到影响。因此,受该领域开源工作局限性的启发,我们提出了用于CXR图像中Covid-19检测的注意力引导对比CNN架构(AC-CovidNet)。该方法在对比度损失的帮助下学习鲁棒性和区分性特征。此外,该方法在注意机制的指导下,对感染区域给予了更多的重视。我们计算了所提出的方法在公开可用的Covid-19数据集上的灵敏度。据观察,拟议的AC-CovidNet表现出非常有前途的性能相比,现有的方法,即使有限的训练数据。它可以解决研究人员面临的CXR Covid-19数据集的瓶颈。本文中使用的代码在\url{https://github.com/shivram1987/AC-CovidNet/}上公开发布。
2022-01-23 cs.CV cs.LG eess.IV
Training Strategies and Data Augmentations in CNN-based DeepFake Video Detection
Politecnico di Milano(米兰理工大学)
Deepfake视频的数量和质量的快速和持续增长要求开发可靠的检测系统,能够自动警告社交媒体和互联网上的用户这些内容的潜在不真实性。虽然算法、软件和智能手机应用程序在生成操纵视频和交换面部方面每天都在变得更好,但用于视频中面部伪造检测的自动化系统的准确性仍然非常有限,并且通常偏向于用于设计和训练特定检测系统的数据集。在本文中,我们分析了不同的训练策略和数据增强技术在同一数据集或不同数据集上训练和测试时如何影响基于CNN的深度伪造检测器。
2020-11-16 cs.CV cs.LG cs.MM
Semi-Supervised Medical Image Segmentation via Cross Teaching between CNN and Transformer
University of Electronic Science and Technology of China(电子科技大学);Shanghai AI Lab(上海人工智能实验室);SenseTime(商汤科技)
最近,使用卷积神经网络(CNN)和Transformers的深度学习在完全监督的医学图像分割中显示出令人鼓舞的结果。然而,它仍然是具有挑战性的,他们实现良好的性能与有限的注释训练。在这项工作中,我们提出了一个非常简单而有效的框架,半监督医学图像分割之间的交叉教学引入CNN和Transformer。具体来说,我们将经典的深度协同训练从一致性正则化简化为交叉教学,其中网络的预测被用作伪标签,直接端到端地监督另一个网络。考虑到CNN和Transformer之间学习范式的差异,我们引入了CNN和Transformer之间的交叉教学,而不仅仅是使用CNN。在一个公开的基准测试上的实验表明,我们的方法比现有的八种半监督学习方法更好,只是一个更简单的框架。值得注意的是,这项工作可能是首次尝试将CNN和Transformer结合起来进行半监督医学图像分割,并在公共基准上取得了有希望的结果。该代码将在https://github.com/HiLab-git/SSL4MIS上发布。
2022-03-01 cs.CV eess.IV
Confidence-Weighted Semi-Supervised Learning for Skin Lesion Segmentation Using Hybrid CNN-Transformer Networks
Faculty of Computing and IT (FCIT)(计算机与信息技术学院(FCIT));Sohar University(索哈尔大学)
提出MIRA-U半监督框架,结合不确定性感知教师-学生伪标签与混合CNN-Transformer架构,在少量标注下提升皮肤病变分割精度,ISIC-2016和PH2上DSC达0.9153。
2025-10-17 cs.CV eess.IV
TinyCNN: A Tiny Modular CNN Accelerator for Embedded FPGA
University of California, Riverside(加州大学河滨分校)
近年来,基于卷积神经网络(CNN)的方法在大量的应用中取得了巨大的成功,并且已经成为计算机视觉中最强大和最广泛使用的技术之一。然而,基于CNN的方法是计算密集型和资源消耗型的,因此很难集成到嵌入式系统中,如智能手机,智能眼镜和机器人。FPGA是加速CNN的最有前途的平台之一,但是有限的片上存储器大小限制了用于CNN的FPGA加速器的性能。在本文中,我们提出了一个框架,设计CNN加速器的嵌入式FPGA的图像分类。所提出的框架提供了一种工具,用于CNN的FPGA资源感知设计空间探索,并自动生成要在目标FPGA上编程的CNN的硬件描述。该框架由三个主要后端组成:软件、硬件生成和仿真/精度调整。软件后端用作设计者设计CNN并根据可用的硬件资源对其进行训练的API。使用CNN模型,硬件后端生成必要的硬件组件,并将其集成以生成CNN的硬件描述。最后,仿真/精度调整后端调整层间精度单元以最小化分类误差。我们在CNN加速器(FPGA)中使用16位定点数据,并将其与在ARM处理器上运行的完全相似的软件版本(32位浮点数据)进行比较。我们遇到的加速(FPGA)版本的分类约3%的准确率损失。作为回报,我们通过在FPGA上使用加速版本进行分类,获得了高达15.75倍的加速比。
2019-11-15 cs.CV cs.LG stat.ML