Tomato Multi-Angle Multi-Pose Dataset for Fine-Grained Phenotyping
Institute for Breeding Research on Horticultural Crops, Julius Kuehn-Institute(园艺作物育种研究所,朱利叶斯·克恩研究所);Computer Graphics Group, Center for Sensor Systems (ZESS), University of Siegen(计算机图形组,传感器系统中心(ZESS),希尔德斯海姆大学)
TomatoMAP数据集通过物联网成像系统和细粒度标注,为番茄多角度多姿态表型分析提供支持,结合深度学习模型验证了自动表型分析的可靠性。
2025-07-15 cs.CV
On the Image-Based Detection of Tomato and Corn leaves Diseases : An in-depth comparative experiments
Northwestern Polytechnical University(西北工业大学);Tsinghua University(清华大学)
本研究针对番茄和玉米叶片病害图像分类问题,提出基于CNN的新型检测模型,通过多组对比实验验证了不同模型及改进策略的检测性能。
2023-12-14 cs.CV
YOLO26-RipeLoc Lite: A lightweight architecture for tomato ripeness detection and picking point localization in greenhouse robotic harvesting
Department of Mechanical Engineering(机械工程系);Khalifa University(卡利法大学);University of Windsor(温莎大学)
提出基于YOLO26的轻量级架构YOLO26-RipeLoc Lite,通过轻量特征金字塔网络、成熟度感知注意力模块和紧凑检测头,实现温室番茄的成熟度分类与中心点定位,在仅2.38M参数下达到92.9% mAP@0.5。
2026-05-26 cs.CV cs.RO
Neural Network Classifiers for Natural Food Products
Institute of Computer Science(计算机科学研究所);University of the Philippines Los Baños(菲律宾大学洛斯巴诺斯分校)
两个廉价的,现成的机器视觉系统(MVS),每一个使用人工神经网络(ANN)作为分类器,开发,改进和评估,自动分类番茄成熟度和鸡蛋的可接受性,分别。6000彩色图像的人类分级番茄和750图像的人类分级鸡蛋被用来训练,测试和验证几个多层人工神经网络。人工神经网络通过接受无背景图像的光谱模式作为输入来输出相应的产品等级。在这两个MVS中,具有最高验证率的ANN通过启发式自动选择,并且将其性能与人类分级者的性能进行比较。使用验证集,MVS正确分级的番茄和鸡蛋的数据分别为97.00%和86.00%。然而,人类分级者的番茄和鸡蛋分级的日平均执行率分别为92.65%和72.67%。这一结果表明,基于人工神经网络的MVS是一个潜在的替代手动分级。
2015-07-09 cs.CV
Dual-band feature selection for maturity classification of specialty crops by hyperspectral imaging
Lincoln Institute of Agri-food Technology(林肯农业食品技术学院);University of Lincoln(林肯大学)
针对高光谱作物成熟度分类数据量大、预处理繁琐的问题,提出基于色素与叶绿素双波段的峰谷反射率及对应波长的特征选择方法,在草莓、番茄数据集上准确率和推理速度均显著优于现有前沿方法。
2024-05-17 cs.CV
Enhancing Plant Disease Detection: A Novel CNN-Based Approach with Tensor Subspace Learning and HOWSVD-MD
University of Biskra(比斯克拉大学);University Center of Barika(巴里卡大学中心);College of Engineering and Information Technology, University of Dubai(迪拜大学工程与信息技术学院);University of Sharjah(沙迦大学);Institute of Artificial Intelligence, De Montfort University(德蒙福特大学人工智能学院)
本文提出一种结合预训练CNN特征提取与张量子空间学习(HOWSVD-MDA)的新方法,用于番茄叶部病害检测与分类,在PlantVillage和台湾数据集上分别达到98.36%和89.39%的准确率,显著提升了诊断精度。
2024-05-30 cs.CV
AgriMind: An Ensemble Deep Learning Framework for Multi-Class Plant Disease Classification
RTM Al-Kabir Technical University(RTM阿克比爾技術大學);North East University Bangladesh(東北大學(孟加拉國))
本文提出AgriMind框架,利用ResNet50、EfficientNet-B0和DenseNet121模型集成,通过转移学习实现对15种植物疾病的高精度分类,集成模型在测试集上达到99.23%的准确率。
2026-05-15 cs.AI cs.CV
UtVAA: Ultra-tiny Vision Transformer with Affix Attention for Mobile Image Classification
University of Peradeniya(佩拉德尼亚大学);Charles Darwin University(查尔斯·达尔文大学)
提出超微型ViT架构UtVAA,通过Affix Attention块结合局部与全局特征,在极低参数量和FLOPs下实现高精度图像分类,适用于移动设备。
2026-06-16 cs.CV
Remote Sensing Image Scene Classification Meets Deep Learning: Challenges, Methods, Benchmarks, and Opportunities
Research & Development Institute of Northwestern Polytechnical University in Shenzhen(西北工业大学深圳研究院);School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院);School of Computer Science, Wuhan University(武汉大学计算机学院)
遥感图像场景分类是根据遥感图像的内容,对遥感图像进行语义分类的一种方法,具有广泛的应用前景。在深度神经网络强大的特征学习能力的推动下,深度学习驱动的遥感图像场景分类受到了广泛关注,并取得了重大突破。然而,据我们所知,关于深度学习的遥感图像场景分类的最新成果的全面审查仍然缺乏。考虑到该领域的快速发展,本文通过涵盖160多篇论文,对用于遥感图像场景分类的深度学习方法进行了系统的综述。具体而言,我们讨论了遥感图像场景分类和调查的主要挑战(1)基于自动编码器的遥感图像场景分类方法,(2)基于卷积神经网络的遥感图像场景分类方法,(3)基于生成对抗网络的遥感图像场景分类方法。此外,我们还介绍了用于遥感图像场景分类的基准测试,并总结了二十多个代表性算法在三个常用基准数据集上的性能。最后,我们讨论了进一步研究的前景。
2020-06-25 cs.CV
AID: A Benchmark Dataset for Performance Evaluation of Aerial Scene Classification
Wuhan University(武汉大学);Huazhong University of Science and Technology(华中科技大学)
航空场景分类是理解高分辨率遥感影像的基础问题,其目的是自动地为航空影像标注特定的语义类别。近年来,遥感图像的自动识别已成为遥感领域的一个研究热点,提出了大量的算法,包括机器学习和数据驱动的方法。然而,现有的航空场景分类数据集,如UC-Merced数据集和WHU-RS 19数据集的大小相对较小,并且它们的结果已经饱和。这在很大程度上限制了场景分类算法的发展。本文介绍了航空图像数据集(AID):一个大规模的数据集航空场景分类。AID的目标是推进遥感图像场景分类的最新技术。为了创建AID,我们收集并注释了上万幅航空场景图像。此外,对现有的空中场景分类技术以及最近广泛使用的深度学习方法进行了全面回顾。最后,我们提供了一个典型的航空场景分类和深度学习方法在AID上的性能分析,这可以作为基准测试的基线结果。
2016-08-18 cs.CV
Deep Learning for Scene Classification: A Survey
South China University of Technology(华南理工大学);University of Oulu(奥卢大学);National University of Defense Technology(国防科技大学);Chinese University of Hong Kong(香港中文大学)
场景分类是计算机视觉中一个长期存在的、基本的和具有挑战性的问题,其目的是通过理解整个图像来将场景图像分类到预定义的场景类别之一。大规模数据集的兴起,构成了不同现实世界场景的相应密集采样,以及深度学习技术的复兴,直接从大原始数据中学习强大的特征表示,已经在场景表示和分类领域取得了显着的进展。为了帮助研究人员掌握这一领域所需的进展,本文的目标是提供一个全面的调查在场景分类使用深度学习的最新成果。本次调查包括200多篇主要出版物,涵盖场景分类的不同方面,包括挑战,基准数据集,分类学以及所审查方法的定量性能比较。在回顾到目前为止所取得的成就,本文还总结了一个有前途的研究机会。
2021-02-20 cs.CV
Revisiting Classification Perspective on Scene Text Recognition
Media Intelligence Technology Co.,Ltd(媒体智能技术有限公司)
场景文本识别的流行观点是从序列到序列(seq2seq)和分割。然而,前者由许多组件组成,这使得实现和部署复杂,而后者需要昂贵的字符级注释。在本文中,我们重新分类的角度来看,模型场景文本识别作为一个图像分类问题。分类透视图有一个简单的管道,只需要单词级别的注释。我们通过设计一个名为CSTR的场景文本识别模型来恢复分类的观点,该模型的性能与其他观点的方法一样好。CSTR模型由CPNet(分类透视网络)和SPPN(分离卷积与全局平均池化预测网络)组成。CSTR与ResNet \cite{he2016deep}等图像分类模型一样简单,易于实现和部署。通过大量的实验,我们证明了分类视角对场景文本识别的有效性。此外,CSTR在包括常规文本、不规则文本在内的六个公共基准测试中达到了接近最先进的性能。该代码将在https://github.com/Media-Smart/vedastr上提供。
2021-06-12 cs.CV
Aerial Scene Parsing: From Tile-level Scene Classification to Pixel-wise Semantic Labeling
State Key Lab. LIESMARS, Wuhan University(武汉大学测绘遥感信息工程国家重点实验室);School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院)
给定航拍图像,航拍场景解析(ASP)的目标是解释图像内容的语义结构,例如,通过为图像的每个像素分配语义标签。随着数据驱动方法的普及,在过去的几十年里,ASP已经取得了可喜的进展,在使用高分辨率航空影像时,采用瓦片级场景分类或基于分割的图像分析方案来解决问题。然而,前一种方案通常产生具有瓦片式边界的结果,而后一种方案需要处理从像素到语义的复杂建模过程,这通常需要具有像素式语义标签的大规模且注释良好的图像样本。在本文中,我们解决了这些问题,在ASP中,从瓷砖级场景分类的角度,以像素明智的语义标记。具体而言,我们首先通过文献回顾重新审视航空图像判读。然后,我们提出了一个大规模的场景分类数据集,其中包含一百万航空图像,称为百万援助。使用所提供的数据集,我们还报告了使用经典卷积神经网络(CNN)的基准测试实验。最后,我们执行ASP通过统一的瓦片级场景分类和基于对象的图像分析,以实现逐像素的语义标记。密集的实验表明,Million-AID是一个具有挑战性但有用的数据集,可以作为评估新开发算法的基准。当从Million-AID传输知识时,在Million-AID上预训练的微调CNN模型在空中场景分类方面的表现始终优于预训练的ImageNet。此外,我们设计的分层多任务学习方法实现了最先进的像素级分类的具有挑战性的GID,桥接瓦片级场景分类对像素级语义标记的航空图像判读。
2022-01-09 cs.CV
Multi-Temporal Scene Classification and Scene Change Detection with Correlation based Fusion
Wuhan University(武汉大学)
对多时相城市影像进行土地利用类别分类,并检测其语义场景级变化,可以直观地反映土地利用的变化。现有的场景变化检测方法很少关注双时特征的时间相关性,主要是在小规模场景变化检测数据集上进行评估。在这项工作中,我们提出了一个CorrFusion模块,融合高度相关的组件在双时间特征嵌入。我们首先使用深度卷积网络提取双时间输入的深度表示。然后将提取的特征投影到低维空间中计算实例级相关性。将基于CorrFusion模块中计算的相关性执行跨时间融合。最终的场景分类是用softmax激活层得到的。在目标函数中,我们引入了一个新的公式来计算时间相关性。本文还详细推导了该模块的反向传播梯度。此外,我们提出了一个更大规模的场景变化检测数据集,并进行了实验。实验结果表明,我们提出的CorrFusion模块可以显着提高多时间场景分类和场景变化检测的结果。
2020-06-03 cs.CV
Classification of Point Cloud Scenes with Multiscale Voxel Deep Network
Mines ParisTech(巴黎高等矿业学院);PSL Research University(巴黎文理研究大学);Centre for Robotics(机器人中心)
在这篇文章中,我们描述了一种新的卷积神经网络(CNN)来分类城市或室内场景的3D点云。给出了解决方案的工作场景点云遇到的问题,并描述了一个网络,允许点分类只使用在多尺度邻域中的点的位置。在简化的8 Semantic3D基准上[Hackel等人,2017],这个网络排名第二,击败了点分类方法的最新技术(那些不使用正则化步骤的方法)。
2018-04-10 cs.CV
Recent advances and opportunities in scene classification of aerial images with deep models
Wuhan University(武汉大学)
场景分类是遥感图像解译的基础性工作,因其在广泛应用中的重要作用而成为遥感界的研究热点。在过去的几年里,人们为开发遥感图像场景分类的强大方法做出了巨大的努力,从传统的视觉词袋模型发展到新一代的深度卷积神经网络(CNN)。基于深度CNN的方法在性能上表现出了显着的突破,大大优于以前强烈依赖手工特征的方法。然而,深度CNN的性能在现有的公共场景数据集上逐渐趋于稳定,这是由于这些数据集的显著缺点,例如训练样本的规模小和多样性低。因此,为了促进新方法的发展,使场景分类任务更进一步,我们深入探讨了场景分类任务中存在的问题,并相应地提出了三个开放的方向。我们相信这些潜在的方向将对该领域的研究人员具有指导意义。
2018-06-04 cs.CV
A Discriminative Learned CNN Embedding for Remote Sensing Image Scene Classification
University of Electronic Science and Technology of China(电子科技大学);Leshan Normal University(乐山师范学院)
在这项工作中,一个歧视性学习CNN嵌入遥感图像场景分类。我们提出的siamese网络同时计算两个输入图像的分类损失函数和度量学习损失函数。具体来说,对于分类损失,我们使用标准的交叉熵损失函数来预测图像的类别。对于度量学习损失,我们的siamese网络学习将类内和类间输入对映射到一个特征空间,在这个特征空间中,类内输入很接近,类间输入被一个间隔隔开。具体来说,对于遥感图像场景分类,我们希望将来自同一场景的图像映射到接近的特征向量,并将来自不同场景的图像映射到相距很远的特征向量。在三个不同的遥感图像数据集上进行实验,以评估我们提出的方法的有效性。实验结果表明,该方法具有良好的分类性能.
2019-12-02 cs.CV
CNNs for Surveillance Footage Scene Classification
在这个项目中,我们采用高性能的CNN架构来区分有和没有被遗弃的行李的场景。使用来自两个视频数据集的帧,我们比较了在每个数据集上训练不同架构以及组合数据集的结果。我们还使用网络可视化技术来深入了解神经网络看到的内容以及分类决策的基础。我们希望我们的研究结果有助于将CNN应用于监视和安全相关任务的进一步工作。
2018-09-08 cs.CV
A scene perception system for visually impaired based on object detection and classification using multi-modal DCNN
Thapar Institute of Engineering and Technology(塔帕尔工程技术学院)
本文提出了一种低成本的场景感知系统,针对视障人士。我们使用的odroid系统集成了一个USB摄像头和USB激光器,可以连接在胸部。该系统将检测到的对象以及其与用户的距离进行分类,并提供语音输出。本文提供的实验结果使用室外交通场景。目标检测和分类框架利用基于多模态融合的更快RCNN,其使用运动、锐化和模糊滤波器来进行有效的特征表示。
2018-05-22 cs.CV
SGMNet: Scene Graph Matching Network for Few-Shot Remote Sensing Scene Classification
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
Few-Shot遥感场景分类是一个重要的研究课题,其目标是在较少的样本下识别新的场景类别。最近,一些研究试图通过遵循Few-Shot自然图像分类方法来解决FSRSSC问题。这些现有的方法已经取得了可喜的进展,并取得了优异的性能。然而,它们都忽略了遥感图像的两个独特的特征:(i)多个目标往往同时出现在场景图像中的目标同现性;(ii)目标空间相关性,即这些同现目标在场景图像中遵循一定的空间结构模式分布。这种独特的特性是非常有益的FSRSSC,它可以有效地缓解标记的遥感图像的稀缺性问题,因为他们可以提供更精细的描述,为每个场景类。为了充分利用这些特点,我们提出了一种新的场景图匹配为基础的元学习框架FSRSSC,称为SGMNet。在该框架中,场景图构建模块被精心设计来表示每个测试遥感图像或每个场景类作为一个场景图,其中的节点反映这些同现对象,而边捕获这些同现对象之间的空间相关性。然后,场景图匹配模块被进一步开发,以评估每个测试遥感图像和每个场景类之间的相似性得分。最后,基于相似性分数,我们通过最近邻分类器进行场景类预测。我们在UCMerced LandUse,WHU 19,AID和NWPU-RESISC 45数据集上进行了广泛的实验。实验结果表明,我们的方法获得了优越的性能比以前的国家的最先进的方法。
2021-10-09 cs.CV
Do we still need ImageNet pre-training in remote sensing scene classification?
University of Banja Luka(巴尼亚卢卡大学)
由于标记数据的稀缺性,使用ImageNet上预训练的监督模型是遥感场景分类的事实标准。近年来,随着高分辨率遥感图像数据集的不断涌现和自监督学习的发展,人们开始思考是否需要对ImageNet进行监督预训练,以及在目标遥感场景分类任务中,对HRRS图像数据集进行监督预训练和对ImageNet进行自监督预训练是否能取得更好的效果。为了回答这些问题,在本文中,我们从头开始训练模型,并在几个HRRS图像数据集上微调监督和自监督ImageNet模型。我们还评估了HRRS场景分类任务的学习表示的可转移性,并表明自监督预训练优于监督预训练,而HRRS预训练的性能与自监督预训练相似或略低。最后,我们建议使用ImageNet预训练模型结合使用域内HRRS图像的第二轮预训练,即域自适应预训练。实验结果表明,域自适应预训练的结果在HRRS场景分类基准上达到了最先进的结果。源代码和预训练模型可在\url{https://github.com/risojevicv/RSSC-transfer}上获得。
2022-05-25 cs.CV
Dual Classification Head Self-training Network for Cross-scene Hyperspectral Image Classification
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Technical University of Munich(慕尼黑工业大学);The University of Hong Kong(香港大学)
针对跨场景高光谱图像分类中的域差距问题,提出双分类头自训练网络DHSNet,通过类别级特征对齐和中心特征注意力机制,在三个数据集上显著优于现有方法。
2025-02-25 cs.CV
AID++: An Updated Version of AID on Scene Classification
Wuhan University(武汉大学)
航空影像场景分类是理解高分辨率遥感影像的基础性问题,因其在广泛应用中的重要作用而成为遥感领域的一个活跃研究课题。然而,现有场景分类数据集的小规模和低多样性等局限性严重阻碍了新一代深度卷积神经网络(CNN)的应用。尽管最近在构建大规模数据集方面做出了巨大努力,例如,尽管航空图像数据集(AID)包含10,000个图像样本,但它们仍然远远不足以完全训练高容量深度CNN模型。为此,我们提出了一个更大规模的数据集,在本文中,命名为AID++,航空场景分类的基础上AID数据集。拟议的AID++由超过400,000个图像样本组成,这些样本通过使用现有地理数据进行半自动注释。我们评估了几个流行的CNN模型在建议的数据集,结果表明,我们的数据集可以作为一个有前途的基准场景分类。
2018-06-03 cs.CV
Semantic Fisher Scores for Task Transfer: Using Objects to Classify Scenes
Microsoft(微软);University of California at San Diego(加利福尼亚大学圣迭戈分校)
被认为是一个神经网络(CNN)训练识别对象的场景分类的任务的转移。首先通过将场景图像块馈送到对象CNN,并通过随后的后验类概率向量(语义后验)来表示场景图像,来诱导语义袋(BoS)表示。然后研究了用Fisher向量(FV)对BoS进行编码。在任何概率模型的FV和用于通过最大似然估计其参数的期望最大化(EM)算法的Q函数之间建立了联系。最后,提出了一种MFA Fisher评分(MFA-FS)的网络实现,表示为MFAFSNet,以实现端到端的训练。对不同对象CNN和数据集的实验表明,该方法具有最先进的传输性能。有些令人惊讶的是,场景分类结果优于使用大型场景数据集(地点)明确训练用于场景分类的CNN的结果。这表明,整体分析是不够的场景分类。局部对象语义的建模似乎至少同样重要。这两种方法也被证明是强有力的互补性,导致非常大的场景分类收益时,结合起来,并优于所有以前的场景分类方法的一个相当大的保证金
2019-05-27 cs.CV
Residual Attention Graph Convolutional Network for Geometric 3D Scene Classification
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
几何3D场景分类是一个非常具有挑战性的任务。当前的方法仅使用RGB-D传感器提供的深度通道来提取几何信息。这些类型的方法由于在深度通道中丢失局部几何上下文而引入可能的误差。这项工作提出了一种新的剩余注意力图卷积网络,利用内在的几何上下文内的3D空间,而不使用任何类型的点特征,允许使用有组织或无组织的3D数据。在NYU Depth v1和SUN-RGBD数据集上进行了实验,研究了不同的配置,并验证了所提方法的有效性。实验结果表明,该方法优于当前国家的最先进的几何三维场景分类任务。
2019-09-30 cs.CV
Sample Dropout for Audio Scene Classification Using Multi-Scale Dense Connected Convolutional Neural Network
National University of Defense Technology(国防科技大学)
声场景分类是一个复杂的机器问题。深度卷积神经网络(CNN)作为一个新兴的研究领域,取得了令人信服的结果。在本文中,我们探索使用多尺度密集连接卷积神经网络(DenseNet)的分类任务,其目标是提高分类性能的多尺度特征可以从音频信号的时频表示中提取。另一方面,大多数先前的基于CNN的音频场景分类方法旨在通过采用不同的正则化技术(例如隐藏单元的丢弃和数据增强)来减少过拟合,从而提高分类精度。众所周知,训练集中的离群值对训练后的模型有很大的负面影响,剔除离群值可以提高分类性能,但在以往的研究中往往没有得到充分的探索。本文受语音信号处理中静音去除的启发,提出了一种新的样本丢弃方法,旨在去除训练数据集中的离群点。使用DCASE 2017音频场景分类数据集,实验结果表明,提出的多尺度DenseNet比传统的单尺度DenseNet具有更好的性能,而样本丢弃方法可以进一步提高多尺度DenseNet的分类鲁棒性。
2018-06-12 cs.CV
Harvesting Discriminative Meta Objects with Deep CNN Features for Scene Classification
The University of Hong Kong(香港大学);Microsoft Technology and Research(微软技术研究院)
最近的工作场景分类仍然使用通用的CNN功能的基本方式。在这篇ICCV 2015论文中,我们提出了一种基于深度CNN特征的新型管道,以收获用于场景分类的有区别的视觉对象和部分。我们首先使用区域提议技术来生成一组可能包含对象的高质量补丁,并应用预先训练的CNN从这些补丁中提取通用的深度特征。然后,我们执行无监督和弱监督学习来筛选这些补丁,并发现代表类别特定对象和部件的有区别的补丁。我们进一步应用通过局部CNN微调增强的判别聚类,将相似的对象和部分聚合到组中,称为Meta对象。通过在多个空间尺度上汇集所有学习的Meta对象的特征响应图来构建场景图像表示。我们已经证实,使用这种新的管道获得的场景图像表示能够在两个流行的场景基准数据集MIT Indoor 67~ \cite{MITIndoor67}和Sun 397 ~ \cite{Sun397}上提供最先进的性能
2015-10-06 cs.CV
CNNs-based Acoustic Scene Classification using Multi-Spectrogram Fusion and Label Expansions
South China Normal University(华南师范大学)
谱图在基于卷积神经网络的声场景分类中得到了广泛的应用,如STFT谱图和MFCC谱图等,它们具有不同的时频特性,在声场景识别中各有优缺点。本文提出了一种新的多谱图融合框架,使谱图之间相互补充。在该框架中,将单个CNN架构应用于多个频谱图以进行特征提取。从多个频谱图中提取的深度特征,然后融合来区分声学场景。此外,基于声学场景数据集的类间相似性,进一步提出了一种在原始类基础上构造超类标签的标签扩展方法。在扩展标签的基础上,将CNN模型转化为多任务学习形式,通过增加超类分类辅助任务,提高了声场景分类的精度。为了验证所提出的方法的有效性,在DCASE2017和LITIS Rouen数据集上进行了深入的实验。实验结果表明,该方法在两种数据集上都能取得较好的准确率。具体而言,LITIS Rouen数据集、DCASE开发集和评估集的准确度分别为0.9744、0.8865和0.7778。
2018-09-05 cs.CV
Remote Sensing Image Scene Classification: Benchmark and State of the Art
Northwestern Polytechnical University(西北工业大学)
遥感图像场景分类具有重要的应用价值,因此受到了广泛的关注。在过去的几年中,已经作出了重大努力,开发各种数据集或提出了各种方法,从遥感图像的场景分类。然而,一个系统的文献回顾有关的数据集和方法的场景分类仍然缺乏。此外,几乎所有现有的数据集都有一些局限性,包括场景类和图像数量的小规模,缺乏图像的变化和多样性,以及精度饱和。这些限制严重限制了新方法的发展,特别是基于深度学习的方法。本文首先提供了一个全面的审查最近的进展。然后,我们提出了一个大规模的数据集,称为“NWPU-RESISC 45”,这是一个公开的基准远程传感图像场景分类(RESISC),由西北工业大学(NWPU)创建。该数据集包含31,500张图像,覆盖45个场景类,每个类中有700张图像。所提出的NWPU-RESISC 45(i)在场景类别和总图像数量上是大规模的,(ii)在平移、空间分辨率、视点、对象姿态、照明、背景和遮挡方面具有很大的变化,并且(iii)具有高的类内多样性和类间相似性。该数据集的创建将使社区能够开发和评估各种数据驱动的算法。最后,几个代表性的方法进行了评估,使用建议的数据集和结果报告作为一个有用的基线,为今后的研究。
2017-03-01 cs.CV
SeasoNet: A Seasonal Scene Classification, segmentation and Retrieval dataset for satellite Imagery over Germany
TU Dortmund University(多特蒙德工业大学)
本文介绍了一种新的大规模多标签土地覆盖和土地利用场景理解数据集SeasoNet。它包括来自Sentinel-2磁贴的$1\,759\,830$图像,具有12个光谱波段和高达$ 120 \ \mathrm{px} \times 120 \ \mathrm{px}$的补丁大小。每个图像都使用德国土地覆盖模型LBM-DE 2018的大尺度像素级标签进行注释,土地覆盖类别基于CORINE土地覆盖数据库(CLC)2018和比原始CLC地图小五倍的最小映射单元(MMU)。我们提供了四季的像素同步示例,外加一个额外的雪景集。这些属性使SeasoNet成为目前最通用和最大的遥感场景理解数据集,其可能的应用范围从土地覆盖映射的场景分类到基于内容的跨季节图像检索和自监督特征学习。我们通过在场景分类和语义分割场景中对新数据集进行最先进的深度网络评估来提供基线结果。
2022-07-19 cs.CV
Improving Scene Graph Classification by Exploiting Knowledge from Texts
Ludwig Maximilian University of Munich(路德维希·马克西米利安慕尼黑大学)
训练场景图分类模型需要大量带注释的图像数据。同时,场景图表示可以用来自文本或知识图谱的符号数据建模的关系知识。虽然图像注释需要大量的劳动力,但收集自然场景的文本描述需要较少的努力。在这项工作中,我们调查文本场景描述是否可以取代带注释的图像数据。为此,我们采用了一个场景图分类框架,不仅从注释图像,而且从符号数据进行训练。在我们的体系结构中,符号实体首先映射到其对应的基于图像的表示,然后送入关系推理管道。即使知识的结构化形式,如知识图谱中的形式,并不总是可用的,我们可以使用基于transformer的语言模型从非结构化文本中生成它。我们表明,通过使用从文本中提取的知识微调分类管道,我们可以在场景图分类中获得约8倍的准确结果,在对象分类中获得约3倍的准确结果,在谓词分类中获得约1.5倍的准确结果,而监督基线只有1%的注释图像。
2021-10-08 cs.AI cs.CV
Learning Instance Representation Banks for Aerial Scene Classification
Wuhan University(武汉大学)
由于鸟瞰的关系,空中场景在物体分布和空间排列方面比自然场景更加复杂,因此学习有区别的场景表示仍然具有挑战性。最近的解决方案设计了\textit{local semantic descriptors},以便可以适当地突出显示感兴趣区域(ROI)。然而,每个局部描述符具有有限的描述能力和整体的场景表示仍然有待细化。在本文中,我们解决了这个问题,设计了一个新的表示集命名为\textit{instance representation bank}(IRB),它统一了多个本地描述符下的多实例学习(MIL)制定。这个统一的框架是不平凡的,因为所有的本地语义描述符可以对齐到相同的场景方案,增强场景表示能力。具体来说,我们的IRB学习框架包括一个骨干,一个实例表示银行,一个语义融合模块和场景方案对齐损失函数。所有组件都以端到端的方式组织。在三个空中场景基准上的大量实验表明,我们提出的方法优于最先进的方法,有很大的利润。
2022-05-27 cs.CV
An embarrassingly simple comparison of machine learning algorithms for indoor scene classification
Monash University Malaysia(马来西亚蒙纳士大学)
随着自主式室内机器人的出现,室内场景识别的计算机视觉任务受到了广泛关注。室内场景识别是计算机视觉中的一个具有挑战性的问题,它依赖于场景中的局部和全局特征。本研究旨在比较五种机器学习算法在室内场景分类任务上的性能,以确定每种分类器的优缺点。它还提供了低延迟特征提取器与巨大特征提取器的比较,以了解性能影响。最后,提出了一个简单的MnasNet的室内分类系统,它可以在23 ms的延迟达到72%的准确率。
2021-09-25 cs.CV cs.LG
Nearest Neighbor Based Out-of-Distribution Detection in Remote Sensing Scene Classification
用于图像分类的深度学习模型通常在“封闭世界”假设下使用预定义的图像类集合进行训练。然而,当模型被部署时,它们可能面临不属于训练期间遇到的类的输入图像。这种类型的场景在遥感图像分类中很常见,其中图像来自不同的地理区域、传感器和成像条件。在本文中,我们处理的问题,检测遥感图像来自不同的分布相比,训练数据-分布图像。我们提出了一个基准的分布外检测在遥感场景分类和评估检测器的最大softmax概率和最近的邻居。实验结果表明,基于最近邻的方法具有令人信服的优势。
2023-03-29 cs.CV
Scene Classification in Indoor Environments for Robots using Context Based Word Embeddings
York University(约克大学)
场景分类已经在计算机视觉文献中用许多技术解决。然而,随着现场数据集中场景类数量的增加,在机器人技术的背景下实现高精度已经变得困难。在本文中,我们实现了一种将传统的深度学习技术与自然语言处理方法相结合的方法,以生成基于词嵌入的场景分类算法。我们使用的关键思想是,图像的上下文(场景中的对象)应该代表场景标签,这意味着一组对象可以帮助预测场景类。场景中存在的对象由矢量表示,并且基于场景中存在的对象对图像进行重新分类,以通过卷积神经网络(CNN)来细化初始分类。在我们的方法中,我们使用Places365数据集的简化预处理版本训练的模型来解决室内场景分类任务,并对我们通过使用GoPro相机捕获图像序列构建的真实世界数据集进行实证分析。我们还报告了使用我们的方法在Places365数据集的一个子集上获得的结果,并在现实环境中运行的机器人上部署了我们的方法。
2019-08-18 cs.CV cs.RO
Exploring the significance of using perceptually relevant image decolorization method for scene classification
Amrita Vishwa Vidyapeetham, Amrita University(阿姆里塔大学)
彩色图像包含分别表示强度和颜色信息的亮度和色度分量。本文提出的工作的目的是显示的意义,将色度信息的任务场景分类。提出了一种改进的彩色图像到灰度图像的转换算法,通过有效地结合色度信息,利用彩色到同性结构相似性指数(C2 G-SSIM)和奇异值分解(SVD)来提高转换后灰度图像的感知质量。基于C2 G-SSIM图像质量评价和成功率(Cadik和COLOR 250数据集)的实验结果分析表明,该方法的图像脱色效果优于现有的8种图像脱色基准算法。在论文的第二部分中,使用基于深度信念网络(DBN)的图像分类系统,使用密集尺度不变特征变换(SIFT)作为特征,证明了在场景分类任务中结合色度分量的有效性。所提出的图像脱色技术纳入的色度信息的水平被确认的整体场景分类精度的提高。此外,整体场景分类性能得到改善的组合模型使用建议和传统的脱色方法。
2017-12-29 cs.CV
Dynamic Traffic Scene Classification with Space-Time Coherence
Honda Research Institute USA(美国本田研究院);Columbia University(哥伦比亚大学)
本文研究了动态交通场景分类的时空变化下的观点,所产生的车载视频捕获的移动车辆。这个问题的解决方案对于实现解释或预测道路使用者行为所需的有效驾驶辅助技术是重要的。目前,动态交通场景分类尚未得到充分解决,由于缺乏基准数据集,考虑时空演变的交通场景所造成的车辆的自我运动。本文有三个主要贡献。首先,发布了一个注释数据集,以实现动态场景分类,其中包括在旧金山湾区收集的80小时的各种高质量驾驶视频数据剪辑。该数据集包括道路位置、道路类型、天气和路面状况的时间注释。其次,我们介绍了新的基线算法,利用语义上下文和时间的数据集的动态分类的道路场景。最后,我们展示了算法和实验结果,突出了从场景分类中提取的特征如何作为强先验,并有助于战术驾驶员行为的理解。结果表明,显着的改善,从以前报道的驾驶行为检测基线的文献。
2019-05-29 cs.CV eess.IV
Visual Localization via Few-Shot Scene Region Classification
Shandong University(山东大学);ETH Zurich(苏黎世联邦理工学院);Aalto University(阿尔托大学);Fuzhou University(福州大学);Microsoft(微软);Peking University(北京大学)
视觉(重)定位解决了估计在已知场景中捕获的查询图像的6-DoF(自由度)相机姿态的问题,这是许多计算机视觉和机器人应用的关键构建块。基于结构的定位的最新进展通过使用神经网络记忆从图像像素到场景坐标的映射以构建用于相机姿态优化的2D-3D对应关系来解决这个问题。然而,这种记忆需要通过每个场景中的大量姿势图像进行训练,这是繁重且低效的。相反,Few-Shot图像通常足以覆盖场景的主要区域,以便人类操作员执行视觉定位。在本文中,我们提出了一个场景区域分类方法,以实现快速和有效的场景记忆与Few-Shot图像。我们的洞察力是利用a)预先学习的特征提取器,b)场景区域分类器和c)元学习策略来加速训练,同时减轻过拟合。我们评估我们的方法在室内和室外基准。实验验证了该方法在Few-Shot场景下的有效性,训练时间显著缩短到几分钟。可用代码:\url{https://github.com/siyandong/SRC}
2022-08-14 cs.CV
Remote Sensing Image Scene Classification with Self-Supervised Paradigm under Limited Labeled Samples
Central South University(中南大学)
随着深度学习的发展,监督学习方法在遥感影像场景分类中取得了良好的效果。然而,监督学习需要大量的注释数据进行训练。当标记的样本不够时,最常见的解决方案是使用大型自然图像数据集(例如ImageNet)微调预训练模型。然而,这种学习范式并不是万能的,特别是当目标遥感图像(例如多光谱和高光谱数据)具有与RGB自然图像不同的成像机制时。为了解决这个问题,我们引入了新的自监督学习(SSL)机制,以获得高性能的预训练模型,从大规模的未标记数据的RSIs场景分类。在三个常用的RSIs场景分类数据集上的实验表明,这种新的学习范式优于传统的主流ImageNet预训练模型。此外,我们分析了SSL中的几个因素对RSIs场景分类任务的影响,包括自监督信号的选择,源和目标数据集之间的域差异,以及预训练数据的量。从我们的研究中提炼出的见解可以帮助促进SSL在遥感界的发展。由于SSL可以从非常容易获得的未标记的大量RSI中学习,因此它将是一种潜在的有希望的方法,以减轻对标记样本的依赖,从而有效地解决许多问题,例如全局映射。
2020-10-02 cs.CV
Object-Level Context Modeling For Scene Classification with Context-CNN
IIIT Hyderabad(海德拉巴国际信息技术学院);Amazon(亚马逊)
卷积神经网络(CNN)已被广泛用于计算机视觉任务,并为图像的对象或部分产生丰富的特征表示。但是场景推理需要底层特征表示和高层语义信息的集成。我们提出了一种深度网络架构,它通过捕获对象级信息来建模场景的语义上下文。我们使用长短期记忆(LSTM)单元结合对象建议,以端到端的可训练方式整合对象-对象关系和对象-场景关系。我们在LSUN数据集上评估了我们的模型,并取得了与最新技术相当的结果。我们进一步展示了学习特征的可视化,并通过实验分析了模型,以验证我们的模型对上下文建模的能力。
2017-06-02 cs.CV
Adaptive Deep Pyramid Matching for Remote Sensing Scene Classification
Nanjing University of Information Science and Technology(南京信息工程大学);Beijing Electro-Mechanical Engineering Institute(北京机电工程研究所);University of Extremadura(埃斯特雷马杜拉大学)
卷积神经网络(CNN)在遥感领域引起了越来越多的关注。大多数CNN仅将最后的全连接层作为遥感图像分类的特征,而丢弃其他可能对分类目的也有帮助的卷积层特征。在本文中,我们提出了一种新的自适应深度金字塔匹配(ADPM)模型,利用所有的卷积层的遥感图像分类的功能。为此,从数据本身学习不同卷积层的最佳融合权重。在遥感图像中,感兴趣的目标在不同的场景中表现出不同的尺度,甚至单个场景可能包含不同大小的目标。为了解决这个问题,我们选择了具有空间金字塔池(SPP-net)的CNN作为基本深度网络,并进一步构建了多尺度ADPM模型,以从多尺度图像中学习互补信息。我们的实验已经进行了使用两个广泛使用的遥感图像数据库,结果表明,该方法显着提高了性能相比,其他国家的最先进的方法。
2016-11-11 cs.CV
Multiple instance dense connected convolution neural network for aerial image scene classification
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感信息工程学院);Faculty of Information Engineering, China University of Geosciences(中国地质大学(武汉)信息工程学院)
随着深度学习的发展,许多最先进的自然图像场景分类方法已经表现出令人印象深刻的性能。当前的卷积神经网络倾向于提取场景中的全局特征和全局语义信息,而地理空间对象可以位于航拍图像场景中的任何位置,并且它们的空间布置趋于复杂。一种可能的解决方案是保留更多的本地语义信息并增强特征传播。提出了一种端到端的多实例稠密连接卷积神经网络(MIDCCNN)用于航空影像场景分类。首先,建立一个23层的稠密连接卷积神经网络(DCCNN),并作为骨干提取卷积特征。它能够保持中低层卷积特征。然后,提出了一种基于注意力的多实例池,以突出航空图像场景中的局部语义。最后,我们最大限度地减少袋级预测和地面真值标签之间的损失,以便可以直接训练整个框架。在三个航空图像数据集上的实验表明,我们提出的方法可以大大优于当前基线。
2019-08-22 cs.CV
Classification by Attention: Scene Graph Classification with Prior Knowledge
Ludwig Maximilian University of Munich(慕尼黑大学);Sapienza University of Rome(罗马大学);Siemens AG(西门子公司)
场景图分类中的一个主要挑战是,对象和关系的外观可以从一个图像到另一个显着不同。以前的作品已经解决了这个问题的关系推理在图像中的所有对象或将先验知识分类。与以前的作品不同,我们不考虑感知和先验知识的单独模型。相反,我们采用多任务学习方法,将分类实现为注意力层。这允许先验知识在感知模型中出现和传播。通过强制模型也代表先验,我们实现了强归纳偏差。我们表明,我们的模型可以准确地生成常识知识,这种知识的场景表示的迭代注入导致显着更高的分类性能。此外,我们的模型可以根据三元组给出的外部知识进行微调。当与自监督学习相结合时,仅使用1%的注释图像,这使得对象分类提高了3%以上,场景图分类提高了26%,谓词预测准确率提高了36%。
2020-12-17 cs.CV cs.LG
VWise: A novel benchmark for evaluating scene classification for vehicular applications
Voxar Labs(沃克斯实验室);Centro de Informática(信息中心);Universidade Federal de Pernambuco(伯南布哥联邦大学);Departamento de Eletrônica e Sistemas(电子与系统系);Volkswagen Trucks and Bus(大众卡车与巴士公司)
针对车辆应用数据集的地理偏差问题,提出涵盖拉美地区道路与场景分类任务的新基准VWise,收集超520个视频片段并标注六类道路类型,基线实验中多个先进模型准确率超84%。
2024-06-05 cs.CV
RSJEV: Discriminative Remote Sensing Scene Classification with Multimodal Large Language Models
Wuhan University(武汉大学);State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University(武汉大学测绘遥感信息工程国家重点实验室)
RSJEV提出一种单次通过的多模态判别决策框架,将遥感场景分类重构为候选条件化决策,消除自回归解码,在多个基准上以0.8B参数实现更优精度与效率。
2026-10-07 cs.CV
OS-MSL: One Stage Multimodal Sequential Link Framework for Scene Segmentation and Classification
Tencent YouTu Lab(腾讯优图实验室)
场景分割和分类是视频结构化分析的关键步骤。直观地说,这两项任务的共同学习可以通过共享共同信息而相互促进。然而,场景分割更多地关注相邻镜头之间的局部差异,而分类则需要场景片段的全局表示,这可能导致模型在训练阶段被两个任务之一所主导。本文从另一个角度来克服上述挑战,我们通过一种新的预测镜头链接的形式将这两个任务合并为一个任务:链接连接两个相邻的镜头,表明它们属于同一场景或类别。最后,我们提出了一个通用的一阶段多模态顺序链接框架(OS-MSL),通过将两个学习任务转化为一个统一的任务来区分和利用双重语义。此外,我们定制了一个特定的模块称为DiffCorrNet明确提取镜头之间的差异和相关性的信息。在一个全新的大规模数据集上进行了广泛的实验,该数据集是从真实世界的应用中收集的,并且MovieScenes也是如此。这两个结果都证明了我们提出的方法对强基线的有效性。
2022-07-04 cs.CV
A Volumetric Saliency Guided Image Summarization for RGB-D Indoor Scene Classification
Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校)
针对现有RGB-D显著性检测生成的摘要多含前景或非静止物体、难以满足场景识别对静止特征需求的问题,提出体素显著性引导的室内场景分类框架,验证了方法有效性。
2024-01-19 cs.CV eess.IV
Integrating Scene Text and Visual Appearance for Fine-Grained Image Classification
Huazhong University of Science and Technology (HUST)(华中科技大学);EPITA Research and Development Laboratory(EPITA研发实验室);University of Rochester(罗切斯特大学)
自然图像中的文本包含丰富的语义,通常与对象或场景高度相关。在本文中,我们专注于充分利用场景文本的视觉理解的问题。其主要思想是将单词表示和深度视觉特征结合到一个全局可训练的深度卷积神经网络中。首先,通过场景文本阅读系统获得识别的单词。然后,我们将识别出的单词的词嵌入和深度视觉特征结合到一个单一的表示中,该表示由卷积神经网络进行优化,用于细粒度的图像分类。在我们的框架中,注意力机制被用来揭示每个识别词与给定图像之间的相关性,这进一步提高了识别性能。我们在两个数据集上进行了实验:Con-Text数据集和饮料瓶数据集,分别用于商业场所和饮料瓶的细粒度分类。实验结果一致表明,所提出的方法相结合的文本和视觉线索显着优于分类只有视觉表示。此外,我们已经表明,学习的表示提高了饮料瓶图像的检索性能的大幅度提高,使其在产品搜索中有潜在的用途。
2017-05-30 cs.CV
Scene Clustering Based Pseudo-labeling Strategy for Multi-modal Aerial View Object Classification
University of Science and Technology of China(中国科学技术大学);Ping An Technology Co., Ltd(平安科技有限公司);Hefei ZhanDa Intelligence Technology Co., Ltd(合肥展大智能科技有限公司)
自动目标识别中的多模态鸟瞰图目标分类是一个重要而又具有挑战性的问题,但一直处于研究阶段。本文首先发现,细粒度数据、类别不平衡和不同的拍摄条件限制了一般图像分类的代表性。此外,MAVOC数据集具有场景聚合特性。通过利用这些属性,我们提出了基于场景聚类的伪标记策略(SCP标签),一个简单而有效的方法,采用后处理。SCP标签通过为同一场景中的对象分配相同的标签来提高准确性,同时还可以减轻模型集成的偏差和混淆。其性能超过官方基线,在轨道1(SAR)上的准确度为+20.57%,在轨道2(SAR+EO)上的准确度为+31.86%,证明了SCP标签作为后处理的潜力。最后,我们在CVPR 2022可见光谱以外的感知(PBVS)研讨会MAVOC挑战赛中赢得了赛道1和赛道2的冠军。我们的代码可在https://github.com/HowieChangchn/SCP-Label上获得。
2022-10-09 cs.CV
SA-CNN: Dynamic Scene Classification using Convolutional Neural Networks
Indian Institute of Technology Gandhinagar(印度理工学院甘地纳加尔分校)
近年来,将自然动态场景的视频分类到适当的类中的任务得到了很多关注。当用于捕获视频的相机是动态的时,该问题尤其变得具有挑战性。在本文中,我们分析了统计聚合(SA)技术在各种预训练卷积神经网络(CNN)模型上的性能,以解决这个问题。所提出的方法通过提取视频中的多个帧的CNN激活特征来工作,然后使用聚合方案以获得视频的鲁棒特征描述符。我们通过结果表明,所提出的方法比马里兰州和YUPenn数据集的最先进的性能更好。得到的最终描述符是强大的,足以区分动态场景,甚至能够解决的情况下,相机运动是占主导地位的场景动态是复杂的。此外,本文还对各种聚集方法及其组合的性能进行了广泛的研究。我们比较了所提出的方法与其他动态场景分类算法在两个公开的数据集-马里兰州和YUPenn证明所提出的方法的优越性能。
2015-08-29 cs.CV
Predicate Classification Using Optimal Transport Loss in Scene Graph Generation
Hokkaido University(北海道大学);Nagoya City University(名古屋市立大学)
针对场景图生成中关系标签分布不平衡导致交叉熵预测有偏的问题,提出用基于预训练词语相似性定义传输成本的最优传输损失进行谓词分类,在Recall@50和100上优于现有方法并改善稀有标签召回。
2023-09-19 cs.CV
An ensemble learning method for scene classification based on Hidden Markov Model image representation
Sharif University of Technology(谢里夫理工大学)
在特征空间中的低级别图像表示对于具有高精度的分类表现不佳,因为该级别的表示不能将图像投影到有区别的特征空间中。在这项工作中,我们提出了一个有效的图像表示模型进行分类。首先,我们应用隐马尔可夫模型(HMM)表示的不同类型的图像描述符的有序网格,以包括在图像中存在的局部属性的因果关系的特征提取,然后我们训练了一个单独的分类器,这些功能集。最后,我们有效地集成这些分类器的方式,他们可以抵消对方的错误,以获得更高的精度。该方法在15个自然场景数据集上进行了评估。实验结果表明,该方法与现有的一些方法相比具有优越性
2016-10-05 cs.CV
MEET: A Million-Scale Dataset for Fine-Grained Geospatial Scene Classification with Zoom-Free Remote Sensing Imagery
针对固定分辨率遥感影像细粒度场景分类需求,本文构建百万样本、80类的无缩放MEET数据集,提出自适应融合中心与辅助场景上下文的CAT模型,并通过基准实验证明其显著优于11个基线。
2025-03-14 cs.AI cs.CV
Remote Sensing Scene Classification with Masked Image Modeling (MIM)
The MITRE Corporation(MITRE公司)
遥感场景分类在地质调查、石油勘探、交通管理、地震预报、森林火灾监测、智能监测等领域具有重要的应用价值。在过去,用于执行任务的机器学习(ML)方法主要使用以监督学习(SL)的方式预训练的骨干。掩码图像建模(Masked Image Modeling,MIM)是一种自监督学习(self-supervised learning,SSL)技术,已被证明是学习视觉特征表示的一种更好的方法,它为提高ML在场景分类任务上的性能提供了新的机会。这项研究旨在探索MIM预训练骨干在四个著名分类数据集上的潜力:Merced,AID,NWPU-RESISC 45和Optimal-31。与已发布的基准测试相比,我们表明MIM预训练的视觉Transformer(ViTs)骨干优于其他替代方案(在前1个准确度上高达18%),并且MIM技术可以比监督学习同行学习更好的特征表示(在前1个准确度上高达5%)。此外,我们表明,通用的MIM预训练的ViTs可以实现有竞争力的性能作为专门设计的但复杂的Transformer for Remote Sensing(TRS)框架。我们的实验结果也为未来的研究提供了一个性能基线。
2023-03-24 cs.CV