Weather-Aware Domain Adaptation for Street-View Weather Recognition
University of Central Florida（中佛罗里达大学）
针对自动驾驶街景天气识别中的域偏移问题，提出天气感知对抗性判别域适应（WA-ADDA），统一多数据集基准，显著提升多种骨干网络在不利天气下的识别性能。
2026-10-02 cs.CV cs.LG
Danish Airs and Grounds: A Dataset for Aerial-to-Street-Level Place Recognition and Localization
Dansk Drone Kompagni ApS（丹麦无人机公司）；Technical University of Denmark（丹麦技术大学）；Universidad de Zaragoza（萨拉戈萨大学）
地点识别和视觉定位在宽基线配置中特别具有挑战性。在本文中，我们的贡献与\emph{Danish Airs and Grounds}（DAG）数据集，一个大型的收集街道和航空图像针对这种情况。它的主要挑战在于查询和参考图像之间的极端视角差异，从而改变照明和透视。该数据集比目前公开的数据更大，更多样化，包括城市，郊区和农村地区50多公里的道路。所有图像都与精确的6-DoF元数据相关联，可以对视觉定位方法进行基准测试。我们还提出了一个地图到图像的重新定位管道，首先估计密集的3D重建从航空图像，然后匹配查询街道级图像的3D模型的街道级渲染。数据集可从以下网址下载：https://frederikwarburg.github.io/DAG
2022-02-03 cs.CV cs.RO
From Google Maps to a Fine-Grained Catalog of Street trees
California Institute of Technology（加州理工学院）；ETH Zürich（苏黎世联邦理工学院）
城市树木种群的最新目录对于市政当局监测和改善城市生活质量非常重要。尽管对树木制图的自动化进行了大量研究，主要依赖于专用的机载LiDAR或高光谱活动，但在实践中，树木大多数仍然是手工制图。我们提出了一个完全自动化的树木检测和物种识别管道，使用公开的Google MapsTM航拍和街景图像，在几个小时内处理数千棵树木。这些数据提供了从全局树形状到树皮纹理的丰富信息（视点、尺度）。我们的工作流程是围绕监督分类构建的，该分类可以自动从数千棵树和相应的公共树木库存数据中学习最具鉴别力的特征。此外，我们引入了一个变化跟踪器，以保持城市树木库存的最新情况。通过比较同一树木位置在两个不同时间的街道级图像，在城市尺度上识别单个树木的变化。利用计算机视觉和机器学习的最新进展，我们将卷积神经网络（CNN）应用于所有分类任务。我们提出了以下管道：下载所有可用的照片和感兴趣的区域的开销图像，检测每个图像的树木，并在概率框架中结合多视图检测，添加先验知识;识别检测到的树木的细粒度物种。在稍后的单独模块中，随时间跟踪树并识别更改的类型。我们相信这是第一个利用公开的图像数据在城市规模的细粒度树映射，分别超过数千棵树。在美国加利福尼亚州帕萨迪纳市的实验表明，我们可以检测到> 70%的行道树，为40种不同的物种分配正确的物种> 80%，并在> 90%的情况下正确检测和分类变化。
2019-10-07 cs.CV cs.LG
DiffPlace: Street View Generation via Place-Controllable Diffusion Model Enhancing Place Recognition
DiffPlace通过引入位置ID控制器，实现了位置可控的多视角图像生成，提升了视觉位置识别任务中的生成质量和训练支持。
2026-02-12 cs.CV cs.RO
Full-Resolution Residual Networks for Semantic Segmentation in Street Scenes
Visual Computing Institute RWTH Aachen University（亚琛工业大学视觉计算研究所）
语义图像分割是现代自动驾驶系统的重要组成部分，因为对周围场景的准确理解对于导航和行动规划至关重要。当前最先进的语义图像分割方法依赖于预先训练的网络，这些网络最初是为了将图像作为一个整体进行分类而开发的。虽然这些网络表现出出色的识别性能（即，什么是可见的？）它们缺乏定位精度（即，什么东西在哪里？）。因此，必须执行额外的处理步骤，以便在全图像分辨率下获得像素精确的分割掩模。为了缓解这个问题，我们提出了一种新的ResNet类架构，具有强大的定位和识别性能。我们通过在网络中使用两个处理流将多尺度上下文与像素级精度相结合：一个流以完整的图像分辨率携带信息，从而能够精确地遵守片段边界。另一个流经历一系列池化操作以获得用于识别的鲁棒特征。这两个流使用残差以全图像分辨率耦合。在没有额外处理步骤和预训练的情况下，我们的方法在Cityscapes数据集上实现了71.8%的交集得分。
2016-12-06 cs.CV
Benchmarking recognition results on word image datasets
Indian Institute of Science（印度科学学院）
我们已经基准的最大可获得的识别精度在各种文字图像数据集使用手动分割和目前可用的商业OCR。我们已经开发了一个Matlab程序，图形用户界面，半自动像素级分割的文字图像。我们讨论了像素级注释的优点。我们已经覆盖了五个数据库，总计超过3600字的图像。这些文字图像是从摄像机拍摄的场景、数字视频和街景图像中裁剪出来的。我们使用Nuance Omnipage OCR的试用版识别分割的单词图像。我们还讨论了如何在收购过程中引入的退化或不准确的文字图像的创建过程中引入的影响识别的图像中存在的字。文中还讨论了各种退化的字图像以及字的倾斜和弯曲性质的校正。在ICDAR 2003、Sign evaluation、Street view、Born-digital和ICDAR 2011数据集上获得的单词识别率分别为83.9%、89.3%、79.6%、88.5%和86.7%。
2012-08-30 cs.CV
SVII-3D: Advancing Roadside Infrastructure Inventory with Decimeter-level 3D Localization and Comprehension from Sparse Street Imagery
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing (LIESMARS), Wuhan University, Wuhan 430079, China（信息工程测绘遥感国家重点实验室（LIESMARS），武汉大学）；Research Institute Ltd, Chengdu 610000, China（四川省公路规划设计研究有限公司）
SVII-3D通过厘米级3D定位与稀疏影像综合理解，提升道路基础设施库存的自动化创建与细粒度状态诊断能力。
2026-01-15 cs.CV
Multimodal Interaction-aware Motion Prediction for Autonomous Street Crossing
University of Freiburg（弗赖堡大学）
对于在人行道上导航的移动机器人来说，能够安全地穿过街道交叉口至关重要。大多数现有的方法依赖于交通灯信号的识别来做出明智的交叉口决定。尽管这些方法已经成为城市导航的关键推动因素，但采用这种方法的机器人的能力仍然仅限于在包含信号交叉口的街道上导航。在本文中，我们解决这一挑战，并提出了一个多模态卷积神经网络框架来预测交叉路口的安全性。我们的架构由两个子网络组成;交互感知轨迹估计流IA-TCNN，预测场景中所有观察到的交通参与者的未来状态，以及交通灯识别流AtteNet。我们的IA-TCNN利用扩张的因果卷积来模拟场景中可观察的动态代理的行为，而不显式地为它们之间的交互分配优先级。AtteNet利用挤压激励块来学习内容感知机制，从数据中选择相关特征，从而提高噪声鲁棒性。来自交通灯识别流的学习表示与来自运动预测流的估计轨迹融合以学习交叉决策。此外，我们扩展了我们以前介绍的弗莱堡街交叉口数据集，在不同类型的交叉口捕获的序列，展示了交通参与者之间的复杂互动。在公共基准数据集和我们提出的数据集上进行的广泛实验评估表明，我们的网络在每个子任务以及交叉安全预测方面都达到了最先进的性能。
2020-08-03 cs.CV cs.RO
Semi-Supervised Recognition under a Noisy and Fine-grained Dataset
National Internet Emergency Center(CNCERT)（国家互联网应急中心）；Baidu（百度）
FGVC7是一个具有挑战性的细粒度识别竞赛。这场比赛的难点之一是如何使用未标记的数据。我们采用伪标签数据采掘来增加训练数据的数量。另一个是如何识别相似的鸟类，特别是那些有一个非常小的差异，在例子中相对较小的主体。我们结合一般的图像识别和细粒度的图像识别方法来解决这个问题。所有通用图像识别模型都使用PaddleClas进行训练。利用两种不同方式的深度识别模型相结合，最终获得大赛第三名。
2020-06-18 cs.CV
Hierarchical Bilinear Pooling for Fine-Grained Visual Recognition
Huazhong University of Science and Technology（华中科技大学）
细粒度的视觉识别是具有挑战性的，因为它高度依赖于各种语义部分的建模和细粒度的特征学习。基于双线性池的模型已被证明是有效的细粒度识别，而大多数以前的方法忽略了一个事实，即层间部分特征交互和细粒度特征学习是相互关联的，可以相互加强。在本文中，我们提出了一个新的模型来解决这些问题。首先，提出了一种跨层双线性池方法来捕获层间的零件特征关系，与其他基于双线性池的方法相比，该方法具有更好的性能。其次，我们提出了一种新的分层双线性池框架，集成多个跨层双线性特征，以提高其表示能力。我们的公式是直观的，有效的，并实现了最先进的结果，广泛使用的细粒度识别数据集。
2018-07-26 cs.CV
Improving the Annotation of DeepFashion Images for Fine-grained Attribute Recognition
Cortexica Vision Systems（Cortexica视觉系统公司）
DeepFashion是一个广泛使用的服装数据集，包含50个类别和超过20万张图像，其中每张图像都使用细粒度属性进行注释。该数据集通常用于服装识别，虽然它提供了全面的注释，但属性分布不平衡且重复，特别是对于训练细粒度属性识别模型。在这项工作中，我们通过分别关注每个类别，为细粒度属性识别任务量身定制了DeepFashion。在选择具有足够数量的图像进行训练的类别之后，我们删除非常稀缺的属性并合并每个类别中的重复属性，然后根据新的属性列表清理数据集。我们使用一个双线性卷积神经网络与成对排序损失函数的多标签细粒度属性识别，并表明新的注释改善了这样一个任务的结果。每个选定类别的详细注释供公众使用。
2018-07-31 cs.CV
Meta-Reinforced Synthetic Data for One-Shot Fine-Grained Visual Recognition
Indiana University（印第安纳大学）；Fudan University（复旦大学）
单次细粒度视觉识别经常遇到新的细粒度类的训练数据不足的问题。为了缓解这个问题，可以应用现成的图像生成器来合成额外的训练图像，但是这些合成的图像通常无助于实际提高单次细粒度识别的准确性。本文提出了一个元学习框架，将生成的图像与原始图像相结合，从而得到的“混合”训练图像可以改善一次性学习。具体而言，通用的图像生成器更新的几个新的类的训练实例，并提出了一个Meta图像增强网络（MetaIRNet）进行单次细粒度识别以及图像增强。该模型以端到端的方式进行训练，我们的实验表明，在单次细粒度图像分类基准测试中，与基线相比，该模型具有一致的改进。
2019-11-17 cs.CV
Fine-grained visual recognition with salient feature detection
Wuhan University of Technology（武汉理工大学）；National University of Singapore（新加坡国立大学）
基于计算机视觉的细粒度识别近年来受到了广泛的关注。现有的工作集中在歧视性的部分定位和特征学习。在本文中，为了提高细粒度识别的性能，我们试图精确地定位尽可能多的显著部分的对象。然后，我们计算出的分类概率，可以通过使用单独的部分对象分类。最后，在CUB 200 -2011鸟类数据集上，通过提取各部分的有效特征并将其组合，然后输入分类器进行识别，获得了比现有算法更高的准确率。
2018-08-14 cs.CV
Fine-grained Activity Recognition in Baseball Videos
Indiana University（印第安纳大学）
在本文中，我们介绍了一个具有挑战性的新数据集，MLB-YouTube，专为细粒度活动检测而设计。该数据集包含两个设置：分段视频分类以及连续视频中的活动检测。我们实验比较各种识别方法捕捉活动视频的时间结构，通过分类分割的视频和扩展这些方法，以连续的视频。我们还比较了模型的预测从广播棒球视频的音高速度和音高类型的极其困难的任务。我们发现，学习时间结构是有价值的细粒度的活动识别。
2018-04-09 cs.CV
Localizing by Describing: Attribute-Guided Attention Localization for Fine-Grained Recognition
Baidu Research（百度研究院）
细粒度识别的一个关键挑战是如何发现和表示有区别的局部区域。最近的注意力模型只能从类别标签中学习有区别的区域定位器与强化学习。然而，不利用任何明确的部分信息，他们不能准确地找到多个独特的区域。在这项工作中，我们引入了一个属性引导的注意力定位方案，局部区域定位器的部分属性描述的指导下学习。通过设计一种新的奖励策略，我们能够学习定位区域的空间和语义独特的强化学习算法。该方案的属性标注要求比传统的基于零件的细粒度识别方法所要求的精确零件位置标注更容易实现。在CUB-200-2011数据集上的实验结果表明，该方法在细粒度识别和属性识别方面都具有较好的性能。
2016-05-23 cs.CV
Mask-CNN: Localizing Parts and Selecting Descriptors for Fine-Grained Image Recognition
Nanjing University（南京大学）
细粒度图像识别是一个具有挑战性的计算机视觉问题，这是由于高度相似的从属类别引起的小的类间变化，以及姿态、尺度和旋转的大的类内变化。在本文中，我们提出了一种新的端到端Mask-CNN模型，没有完全连接的层，用于细粒度识别。基于细粒度图像的部分注释，所提出的模型由一个完全卷积的网络组成，以定位有区别的部分（例如，头部和躯干），更重要的是，生成对象/部分掩模，用于选择有用和有意义的卷积描述符。之后，构建一个四流Mask-CNN模型，用于同时聚合选定的对象级和部件级描述符。与最先进的细粒度方法相比，所提出的Mask-CNN模型具有最少的参数数量，最低的特征维度和最高的识别准确率。
2016-05-23 cs.CV
BEAR: A Video Dataset For Fine-grained Behaviors Recognition Oriented with Action and Environment Factors
Shanghai Jiao Tong University（上海交通大学）
针对现有细粒度行为识别评估不公的问题，本文提出新数据集BEAR，聚焦环境与动作两大因素，并实验探索输入模态影响，为后续研究提供重要见解。
2025-03-26 cs.CV
Panorama to panorama matching for location recognition
Inria（法国国家信息与自动化研究所）；CTU in Prague（布拉格捷克理工大学）
位置识别通常被视为“街景”图像上的视觉实例检索。数据集项目和查询是全景视图，即在单个位置拍摄的图像组。这项工作介绍了一种新的全景图到全景图的匹配过程，无论是通过聚合功能的个人图像在一个组中，或通过明确地构建一个更大的全景。在这两种情况下，都使用多个视图作为查询。我们达到接近完美的位置识别的标准基准只有四个查询视图。
2017-04-21 cs.CV
Fine-grained pose prediction, normalization, and recognition
姿态变化和外观上的细微差异是细粒度分类的关键挑战。虽然深度网络显着改善了一般识别，但许多细粒度识别方法依赖于将网络锚定到零件以提高准确性。识别零件以找到对应折扣构成变化，以便可以根据外观调整特征。为此，以前的方法已经研究了如何找到零件和提取姿势规范化的功能。这些方法通常将细粒度识别分为几个阶段，首先使用手工设计和粗定位的建议特征定位零件，然后分别学习以推断的零件位置为中心的深度描述符。我们将这些步骤统一到一个由关键点位置和类标签监督的端到端可训练网络中，该网络通过完全卷积网络定位零件，以集中学习细粒度分类任务的特征表示。在流行的CUB200数据集上的实验表明，我们的方法是最先进的，并建议继续发挥强监管的作用。
2015-11-22 cs.CV
Monocular Urban Localization using Street View
MINES ParisTech（巴黎高等矿业学院）；PSL（巴黎文理研究大学）；Institut VEDECOM（VEDECOM研究所）
本文提出了一种度量全球定位在城市环境中，只有一个单目摄像机和谷歌街景数据库。我们充分利用丰富的来源，从街景，并从其拓扑度量结构的好处，建立一个由粗到精的定位，即一个拓扑位置识别过程，然后通过局部束平差的度量姿态估计。我们的方法在3公里的城市环境中进行了测试，并证明了亚米精度和鲁棒性的观点变化，照明和遮挡。据我们所知，这是第一个简单地用单个摄像机和街景来研究全球城市定位的工作。
2016-06-16 cs.CV cs.RO
Combined CNN Transformer Encoder for Enhanced Fine-grained Human Action Recognition
Nanyang Technological University（南洋理工大学）
细粒度动作识别是计算机视觉中一个具有挑战性的课题。由于细粒度数据集在空间和时间上的类间差异很小，因此细粒度动作识别模型需要良好的时态推理和属性动作语义的区分。利用CNN在捕获高级时空特征表示方面的能力和Transformer在捕获潜在语义和全局依赖关系方面的建模效率，我们研究了两个结合CNN视觉主干和Transformer Encoder以增强细粒度动作识别的框架：1）用于学习潜在时间语义的基于视觉的编码器，以及2）多模态视频-文本交叉编码器，以利用附加文本输入并学习视觉语义和文本语义之间的交叉关联。我们的实验结果表明，我们的Transformer编码器框架有效地学习潜在的时间语义和跨模态关联，与CNN视觉模型相比，具有更好的识别性能。我们在FineGym基准数据集上为这两种架构实现了新的最先进的性能。
2022-08-03 cs.CV
LoDisc: Learning Global-Local Discriminative Features for Self-Supervised Fine-Grained Visual Recognition
Faculty of Information Science and Engineering, Ocean University of China（信息科学与工程学院，中国海洋大学）
本文提出LoDisc，一种自监督全局-局部对比学习框架，通过局部判别前置任务增强细粒度特征，提升细粒度及通用物体识别性能。
2025-10-08 cs.CV
The Unreasonable Effectiveness of Noisy Data for Fine-Grained Recognition
Stanford University（斯坦福大学）；Zoox；Google（谷歌）
目前的细粒度识别方法如下：首先，招募专家来注释图像数据集，还可以选择以零件注释和边界框的形式收集更多的结构化数据。其次，利用这些数据训练模型。为了解决细粒度识别的目标，我们引入了一种替代方法，利用来自网络的免费噪声数据和简单通用的识别方法。这种方法在性能和可伸缩性方面都有好处。我们在四个细粒度数据集上证明了它的有效性，大大超过了现有的技术水平，甚至没有手动收集一个标签，并且还显示了扩展到10，000多个细粒度类别的第一个结果。量化，我们在CUB-200-2011上达到了92.3%的前1准确率，在Birdsnap上达到了85.4%，在FGVC-Aircraft上达到了93.4%，在Stanford Dogs上达到了80.8%，而没有使用他们的注释训练集。我们将我们的方法与扩展细粒度数据集的主动学习方法进行比较。
2016-10-18 cs.CV
Oriented Feature Alignment for Fine-grained Object Recognition in High-Resolution Satellite Imagery
School of Automation, Beijing Institute of Technology（北京理工大学自动化学院）
遥感图像中的定向目标检测近年来取得了很大的进展。然而，目前的方法大多只关注于目标检测，不能很好地区分复杂场景中的细粒度目标。在这份技术报告中，我们分析了细粒度目标识别的关键问题，并使用一个有向特征对齐网络（OFA-Net）来实现高性能的光学遥感图像中的细粒度有向目标识别。OFA-Net通过旋转边界框细化模块实现精确的对象定位。在此基础上，应用边界约束旋转特征对齐模块实现局部特征提取，有利于细粒度的目标分类。该方法的单模型在高分竞赛中获得了46.51%的mAP，在ISPRS基准测试中获得了43.73%的mAP，获得了第3名。
2021-10-13 cs.CV
Few-Shot Fine-Grained Action Recognition via Bidirectional Attention and Contrastive Meta-Learning
State Key Laboratory of Virtual Reality Technology and System, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）
细粒度的动作识别正吸引越来越多的关注，由于在现实世界中的应用程序中的特定动作理解的新兴需求，而罕见的细粒度类别的数据是非常有限的。因此，我们提出了Few-Shot细粒度动作识别问题，旨在识别新的细粒度动作，只有很少的样本，为每个类。虽然已经取得了进展，在粗粒度的行动，现有的Few-Shot识别方法遇到两个问题处理细粒度的行动：无法捕捉微妙的行动细节和学习的不足，从数据与低类间方差。为了解决第一个问题，人类视觉启发的双向注意模块（BAM）的建议。BAM将自上而下的任务驱动信号与自下而上的显着刺激相结合，通过准确突出信息丰富的时空区域来捕捉微妙的动作细节。为了解决第二个问题，我们引入了对比元学习（CML）。与广泛采用的基于ProtoNet的方法相比，CML对低类间方差数据生成更具鉴别力的视频表示，因为它充分利用了每个训练片段中的潜在对比对。此外，为了公平地比较不同的模型，我们在两个大规模细粒度动作识别数据集上建立了特定的基准协议。大量的实验表明，我们的方法在评估的任务中始终达到最先进的性能。
2021-08-15 cs.CV
Designing streetscapes from street-view imagery using diffusion models
Department of Urban and Regional Planning, University of Florida（城市与区域规划系，佛罗里达大学）；Singapore-MIT Alliance for Research and Technology Centre (SMART)（新加坡-麻省理工联合研究中心（SMART））；Department of Landscape Architecture and Urban Planning, Texas A&M University（景观建筑与城市规划系，德克萨斯大学安德森分校）；Department of Agronomy, University of Florida（农业系，佛罗里达大学）
本文提出了一种生成多模态AI框架，通过目标视觉指标生成替代的街道景观，提升了城市规划和设计中的视觉探索能力。
2026-05-17 cs.CV
FIKA-Bench: From Fine-grained Recognition to Fine-Grained Knowledge Acquisition
Wangxuan Institute of Computer Technology, Peking University（北京大学计算机技术研究所）
本文提出FIKA-Bench，一个包含311个公开来源和现实实例的细粒度知识获取基准，通过过滤和审计确保实例质量，评估最新多模态模型和代理发现细粒度识别任务仍具挑战性，需改进代理设计以提升知识获取能力。
2026-05-19 cs.CV
Reinforcing Generated Images via Meta-learning for One-Shot Fine-Grained Visual Recognition
National University of Singapore（新加坡国立大学）；Fudan University（复旦大学）；Zhejiang Normal University（浙江师范大学）；Indiana University（印第安纳大学）
单次细粒度视觉识别经常遇到新的细粒度类的训练样本很少的问题。为了缓解这个问题，基于生成对抗网络（GANs）的现成图像生成技术可以创建额外的训练图像。然而，这些GAN生成的图像通常无助于实际提高单次细粒度识别的准确性。在本文中，我们提出了一个元学习框架，将生成的图像与原始图像相结合，从而使生成的“混合”训练图像改善了一次性学习。具体而言，通用的图像生成器更新的几个新的类的训练实例，并提出了一个Meta图像增强网络（MetaIRNet）进行单次细粒度识别以及图像增强。我们的实验表明，一致的改善基线上一杆细粒度图像分类基准。此外，我们的分析表明，与原始图像和GAN生成的图像相比，增强图像具有更大的多样性。
2022-04-22 cs.CV
MMS-VPR: A Fine-Grained Multimodal Street-Level Visual Place Recognition Dataset and Evaluation Benchmark for Dense Pedestrian Environments
The University of Auckland（奥克兰大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区）
MMS-VPR提出一个大规模多模态数据集和基准，用于行人环境中的街道级视觉地点识别，整合了多模态数据和统一评估平台。
2026-09-22 cs.AI cs.CV cs.LG
Instance Retrieval at Fine-grained Level Using Multi-Attribute Recognition
Cortexica Vision Systems Limited（Cortexica视觉系统有限公司）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）；the University of Adelaide（阿德莱德大学）
在本文中，我们提出了一种方法，例如排名和检索细粒度级别的基础上提取的多属性识别模型，这是不依赖于地标信息或部分基于注释的全局特征。此外，我们通过采用双线性CNN使多属性识别模型更小（在参数数量方面），使这种架构适合于移动设备应用。在DeepFashion In-Shop Clothes Retrieval和CUB 200数据集的Dress类别上进行的实验表明，细粒度级别的实例检索结果对于这些数据集是有希望的，特别是在纹理和颜色方面。
2018-11-07 cs.CV
Towards Robust Fine-grained Recognition by Maximal Separation of Discriminative Features
EPFL（洛桑联邦理工学院）
对抗攻击已被广泛研究的一般分类任务，但仍未探索的细粒度识别的上下文中，类间的相似性促进攻击者的任务。在本文中，我们将细粒度识别网络中不同类别的潜在表示的接近度确定为对抗攻击成功的关键因素。因此，我们引入了一种基于注意力的正则化机制，该机制最大限度地分离不同类别的区别性潜在特征，同时最大限度地减少非区别性区域对最终类别预测的贡献。正如我们的实验所证明的那样，这使我们能够显着提高对对抗攻击的鲁棒性，达到匹配甚至超过对抗训练的程度，但不需要访问对抗样本。
2020-06-10 cs.CV
Spatial Transformer Network with Transfer Learning for Small-scale Fine-grained Skeleton-based Tai Chi Action Recognition
Harbin Institute of Technology（哈尔滨工业大学）
人类动作识别是一个非常重要的研究领域，大多数著名的动作识别网络通常使用日常人类动作的大规模粗粒度动作数据集作为输入，以说明其网络的优越性。我们打算使用神经网络来识别我们的小规模细粒度太极动作数据集，并提出一种使用NTU RGB+D数据集来预训练我们的网络的迁移学习方法。更具体地说，所提出的方法首先使用大规模的NTU RGB+D数据集来预训练用于动作识别的基于transformer的网络，以提取人体运动之间的共同特征。然后，我们冻结除了全连接（FC）层之外的网络权重，并将太极动作作为输入，仅训练初始化的FC权重。实验结果表明，我们的通用模型流水线可以达到一个小规模的细粒度的太极动作识别，即使是很少的输入，并证明我们的方法达到了国家的最先进的性能相比，以前的太极动作识别方法。
2022-06-30 cs.CV
Cascade one-vs-rest detection network for fine-grained recognition without part annotations
细粒度识别是一项具有挑战性的任务，由于类内的小方差。大多数性能最好的细粒度识别方法利用对象的部分来获得更好的性能。因此，需要在计算上极其昂贵的部件注释。在本文中，我们提出了一种新的级联深度CNN检测框架，用于细粒度识别，该框架经过训练可以检测整个对象而不考虑部分。然而，目前大多数性能最好的检测网络使用N+1类（N个对象类别加上背景）softmax损失，并且具有更多训练样本的背景类别主导了特征学习过程，因此特征对于具有较少样本的对象类别并不好。为了弥补这一差距，我们引入了级联结构来消除背景，并利用一个与休息损失，以捕捉不同的下属类别之间的更微小的差异。实验表明，我们提出的识别框架在CUB-200-2011 Bird数据集上实现了与最先进的，无部分的，细粒度的识别方法相当的性能。此外，我们的方法甚至优于大多数基于部分的方法，而在训练阶段不需要部分注释，并在测试阶段是免费的任何注释。
2017-08-23 cs.CV
Semantic Instance Annotation of Street Scenes by 3D to 2D Label Transfer
University of Washington（华盛顿大学）；MPI for Intelligent Systems Tübingen（图宾根马克斯·普朗克智能系统研究所）
语义标注对于对象识别、语义分割或场景理解的训练模型至关重要。不幸的是，在非常大的规模上对图像进行像素级注释是劳动密集型的，并且只有很少的标记数据可用，特别是在实例级和街道场景中。在本文中，我们建议通过将语义实例标记任务从2D提升到3D来解决这个问题。鉴于从立体或激光数据重建，我们注释静态的3D场景元素与粗糙的边界图元，并开发一个模型，将此信息转移到图像域。我们利用我们的方法来获得一个新的郊区的视频数据集，我们已经收集了2D标签，导致400k的语义和实例图像注释。我们的方法与最先进的标签传输基线的比较表明，3D信息可以实现更有效的注释，同时提高准确性和时间一致性标签。
2016-04-12 cs.CV
Incorporating Intra-Class Variance to Fine-Grained Visual Recognition
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）
细粒度视觉识别的目标是在视觉上相似的类别中捕获有区别的特征。最先进的研究工作已经通过使用三元组网络的深度度量学习显著提高了细粒度识别性能。然而，类内方差对识别性能和鲁棒特征表示的影响还没有得到很好的研究。在本文中，我们提出了利用类内方差的三元组网络的度量学习，以提高细粒度识别的性能。通过将每个类别中的训练图像划分为几个组，我们形成了跨不同类别以及不同组的三重样本，这被称为组敏感的三重样本采样（GS-TRS）。相应地，通过将类内方差与GS-TRS相结合来增强三元组损失函数，这可能有助于三元组网络的优化目标。在基准数据集CompCar和VehicleID上的大量实验表明，所提出的GS-TRS在分类和检索任务方面都显着优于最先进的方法。
2017-03-01 cs.CV
Dynamic Spatio-Temporal Specialization Learning for Fine-Grained Action Recognition
Singapore University of Technology and Design（新加坡科技设计大学）；Monash University（莫纳什大学）；Lancaster University（兰卡斯特大学）；ByteDance（字节跳动）；Harbin Institute of Technology（哈尔滨工业大学）
细粒度动作识别的目标是成功区分具有细微差异的动作类别。为了解决这个问题，我们从人类视觉系统中获得灵感，该系统包含大脑中专门用于处理特定任务的专门区域。我们设计了一个新的动态时空专门化（DSTS）模块，它由专门的神经元，只激活的样本是高度相似的子集。在训练过程中，这种损失迫使专门的神经元学习有区别的细粒度差异，以区分这些相似的样本，从而提高细粒度识别。此外，时空特化方法进一步优化了特化神经元的架构，以捕获更多的空间或时间细粒度信息，从而更好地处理视频中的大范围时空变化。最后，我们设计了一个上下游学习算法来优化模型在训练过程中的动态决策，从而提高了DSTS模块的性能。我们在两个广泛使用的细粒度动作识别数据集上获得了最先进的性能。
2022-09-03 cs.CV
NavAgent: Multi-scale Urban Street View Fusion For UAV Embodied Vision-and-Language Navigation
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）
针对无人机在城市户外视觉语言导航中面临的地标匹配和复杂多模态环境编码挑战，提出首个由大型视觉语言模型驱动的导航模型NavAgent，通过融合多尺度环境信息进行导航，并构建细粒度地标数据集，在基准数据集上优于强基线。
2024-11-13 cs.CV cs.RO
Semantic Bilinear Pooling for Fine-Grained Recognition
University of Science and Technology Beijing（北京科技大学）
当然，细粒度识别，例如，车辆识别或鸟类分类具有特定的层次标签，其中细类别总是比粗类别更难分类。然而，大多数最近的基于深度学习的方法忽略了细粒度对象的语义结构，并且没有利用传统的细粒度识别技术（例如，从粗到细的分类）。在本文中，我们提出了一个新的框架与两个分支网络（粗分支和细分支），即，语义双线性池，用于使用分层标签树进行细粒度识别。该框架可以自适应地从层次结构中学习语义信息。具体而言，我们设计了一个广义交叉熵损失的训练所提出的框架，充分利用语义先验，通过考虑相邻水平之间的相关性，扩大不同的粗类样本之间的距离。此外，我们的方法在测试时只利用精细分支，因此不会增加测试时间的开销。实验结果表明，我们提出的方法在四个公共数据集上达到了最先进的性能。
2021-11-25 cs.CV
Joint Learning On The Hierarchy Representation for Fine-Grained Human Action Recognition
Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）
细粒度人体动作识别是计算机视觉的核心研究课题。受FineGym和SlowFast网络中最近提出的用于动作识别的细粒度动作的层次表示的启发，我们提出了一种新的多任务网络，该网络利用FineGym层次表示来实现有效的联合学习和预测，用于细粒度的人类动作识别。多任务网络由三个路径的SlowOnly网络组成，其中事件、集合和细粒度动作元素的帧速率逐渐增加，然后是我们提出的用于联合学习和预测的集成层。它是一种两阶段的方法，首先在每个层次上学习深度特征表示，然后进行特征编码和融合以进行多任务学习。我们在FineGym数据集上的经验结果实现了最新的性能，元素操作的Top-1准确率为91.80%，平均准确率为88.46%，比之前的最佳结果高出3.40%和7.26%。
2021-10-12 cs.CV
Semantic Clustering for Robust Fine-Grained Scene Recognition
ETH Zurich（苏黎世联邦理工学院）；UCSD（加州大学圣迭戈分校）
在领域泛化中，从一个或多个源领域学习的知识被转移到一个看不见的目标领域。在这项工作中，我们提出了一种新的领域泛化方法细粒度的场景识别。我们首先提出了一个语义场景描述符，共同捕捉细粒度的场景之间的细微差别，同时是强大的不同的对象配置跨域。我们对场景中对象的出现模式进行建模，捕获每个场景中每个对象的信息量和可辨别性。然后，我们将这种情况转化为场景概率为每个场景图像。其次，我们认为，场景图像属于隐藏的语义主题，可以通过聚类我们的语义描述符发现。为了评估所提出的方法，我们提出了一个新的细粒度的场景数据集在跨域设置。在所提出的数据集和三个基准场景数据集上进行的大量实验表明，所提出的方法在细粒度场景转换方面的有效性，优于最先进的场景识别和领域泛化方法.
2016-07-26 cs.CV
Rethinking Rotation-Invariant Recognition of Fine-grained Shapes from the Perspective of Contour Points
Tsinghua University（清华大学）；Taiyuan University of Technology（太原理工大学）
针对像素方法在细粒度形状旋转不变识别中的冗余与几何信息泄漏问题，提出基于轮廓几何感知的抗噪声旋转不变卷积模块及五级联网络，提升识别性能并增强对噪声和旋转中心的鲁棒性。
2025-03-14 cs.CV
Enhancing Energy Minimization Framework for Scene Text Recognition with Top-Down Cues
IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Inria（法国国家信息与自动化研究所）
识别场景文本是一个具有挑战性的问题，甚至比识别扫描文档更具挑战性。近年来，这个问题得到了计算机视觉界的极大关注，并且已经提出了基于能量最小化框架和深度学习方法的几种方法。在这项工作中，我们专注于能量最小化框架，并提出了一个模型，利用自下而上和自上而下的线索识别裁剪的话从街道图像中提取。自下而上的线索是从图像中的单个字符检测中得出的。我们在这些检测上建立了一个条件随机场模型，以共同模拟检测的强度以及它们之间的相互作用。这些相互作用是从基于词典的先验中获得的自上而下的线索，即，语言统计通过最小化随机场模型对应的能量函数，得到文本图像所表示的最优单词。我们在一些裁剪场景文本基准数据集上广泛评估了我们提出的算法，即街景文本，ICDAR 2003，2011和2013数据集以及IIIT 5 K-word，并显示出比同类方法更好的性能。我们对我们方法中的所有步骤进行严格的分析，并分析结果。我们还表明，国家的最先进的卷积神经网络功能可以集成在我们的框架，以进一步提高识别性能。
2016-01-13 cs.CV
Fully Convolutional Attention Networks for Fine-Grained Recognition
Baidu Research（百度研究院）
细粒度识别是具有挑战性的，因为它的微妙的局部类间差异与大的类内变化，如姿势。解决这一问题的关键是对区分性部分进行局部化，以提取姿态不变特征。然而，获得地面实况零件注释可能是昂贵的。此外，很难为许多细粒度的类定义部件。这项工作介绍了全卷积注意力网络（FCANs），一个强化学习框架，以最佳的局部判别区域适应不同的细粒度域。与以前的方法相比，我们的方法具有三个优点：1）弱监督强化学习过程不需要昂贵的部分注释; 2）全卷积架构加速了训练和测试; 3）贪婪奖励策略加速了学习的收敛。我们证明了我们的方法的有效性与广泛的实验上四个具有挑战性的细粒度基准数据集，包括CUB-200-2011，斯坦福狗，斯坦福汽车和食品-101。
2017-03-21 cs.CV
Tips and Tricks for Webly-Supervised Fine-Grained Recognition: Learning from the WebFG 2020 Challenge
Nanjing University of Science and Technology（南京理工大学）；Netease Games AI Lab（网易游戏AI实验室）；Netease Yidun AI Lab（网易易盾AI实验室）；DiDi Safety and Security Technology Group (DiDi-SSTG)（滴滴安全技术集团）
WebFG 2020是由南京理工大学、爱丁堡大学、南京大学、阿德莱德大学、早稻田大学等主办的国际挑战赛，本次挑战赛主要关注网络监督的细粒度识别问题。在文献中，现有的深度学习方法高度依赖于大规模和高质量的标记训练数据，这限制了它们在现实世界应用中的实用性和可扩展性。特别是，对于细粒度识别，需要专业知识进行标记的视觉任务，获取标记的训练数据的成本相当高。获取大量高质量的训练数据是非常困难的。因此，利用免费的Web数据训练细粒度识别模型，越来越受到细粒度领域研究者的关注。该挑战赛期望参与者开发网络监督的细粒度识别方法，该方法利用Web图像来训练细粒度识别模型，以减轻深度学习方法对大规模手动标记数据集的极端依赖，并增强其实用性和可扩展性。在这份技术报告中，我们汇总了54个参赛团队的顶级WebFG 2020解决方案，并讨论了哪些方法在获胜团队中效果最好，以及哪些方法令人惊讶地没有帮助。
2020-12-29 cs.CV
Attribute Mix: Semantic Data Augmentation for Fine Grained Recognition
Shanghai Jiaotong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
收集细粒度的标签通常需要专家级的领域知识，并且无法扩展。在本文中，我们提出了属性混合，数据增强策略在属性级扩展细粒度的样本。其原理在于细粒度子类别之间的属性特征是共享的，并且可以无缝地在图像之间传递。为了实现这一目标，我们提出了一种自动属性挖掘方法来发现属于同一个超类别的属性，属性混合是通过混合两个图像的语义有意义的属性特征。属性混合是一种简单而有效的数据增强策略，它可以在不增加推理预算的情况下显著提高识别性能。此外，由于属性可以在来自同一超类别的图像之间共享，因此我们使用来自通用域的图像进一步丰富具有属性级别标签的训练样本。广泛使用的细粒度基准测试的实验证明了我们提出的方法的有效性。
2020-07-09 cs.CV
Associating Multi-Scale Receptive Fields for Fine-grained Recognition
Suzhou University of Science and Technology（苏州科技大学）；Shanghai Institute of Technology（上海应用技术大学）；Tianjin University（天津大学）
局部特征的提取与融合已成为细粒度图像识别的关键。最近，非局部（NL）模块在图像识别中表现出了出色的改善。然而，它缺乏多尺度零件特征之间的相互作用建模机制，这对于细粒度识别至关重要。在本文中，我们提出了一种新的跨层非局部（CNL）模块关联多尺度感受野通过两个操作。首先，CNL计算查询层和所有响应层的特征之间的相关性。其次，所有响应特征根据相关性加权并添加到查询特征中。由于跨层特征的相互作用，我们的模型在多层次层之间建立了空间依赖关系，并学习了更多的区分特征。另外，将低维的深层层作为查询层，可以降低聚合代价。在三个细粒度分类基准数据集上进行的实验表明，该模型达到或超过了最先进的结果。我们的代码可以在github.com/FouriYe/CNL-ICIP2020上找到。
2020-05-19 cs.CV
Fine-Grained Car Detection for Visual Census Estimation
Stanford University（斯坦福大学）；University of Michigan（密歇根大学）
有针对性的社会经济政策需要准确了解一个国家的人口构成。为此，美国每年花费超过10亿美元收集种族、性别、教育、职业和失业率等人口普查数据。与多年来收集调查的传统方法相比，这种方法成本高，劳动密集型，数据驱动，机器学习驱动的方法更便宜，更快-具有接近实时的检测趋势的潜在能力。在这项工作中，我们利用无处不在的谷歌街景图像，并开发了一个计算机视觉管道，以预测收入，人均碳排放，犯罪率和其他城市属性从一个单一的来源，公开可用的视觉数据。我们首先在美国200个最大城市的5000万张图像中检测汽车，然后训练一个模型，使用检测到的汽车来预测人口统计属性。为了方便我们的工作，我们收集了迄今为止报道的最大和最具挑战性的细粒度数据集，包括超过2600种汽车类别，这些汽车类别由来自Google街景和其他网络来源的图像组成，由汽车专家进行分类，以解释即使是最细微的视觉差异。我们使用这些数据来构建迄今为止报道的最大规模的细粒度检测系统。我们的预测结果与真实收入数据（r=0.82），马萨诸塞州车辆登记部门以及调查犯罪率，收入隔离，人均碳排放和其他市场研究的来源相关。最后，我们了解到汽车和社区之间的有趣关系，使我们能够使用计算机视觉技术对城市进行第一次大规模的社会学分析。
2017-09-07 cs.CV
3rd Place Solution to Large-scale Fine-grained Food Recognition
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；OPPO Research Institute（OPPO研究院）
本文针对大规模细粒度食物识别挑战，提出结合Arcface loss与Circle loss训练并集成模型，最终在比赛中获得第三名。
2025-10-24 cs.CV
Generating Attention from Classifier Activations for Fine-grained Recognition
Fujitsu Research & Development Center（富士通研究开发中心）
细粒度识别的最新进展利用注意力地图来定位感兴趣的对象。虽然有很多方法可以生成注意力地图，但大多数都依赖于复杂的损失函数或复杂的训练过程。在这项工作中，我们提出了一个简单而直接的注意力生成模型的基础上输出激活的分类器。我们的模型的优点是，它可以很容易地用图像级标签和softmax损失函数进行训练。更具体地，首先采用多个线性局部分类器在高级CNN特征图的每个位置处执行细粒度分类。通过聚合和最大池化输出激活来生成注意力地图。然后将注意力图作为替代目标对象掩码来训练这些局部分类器，类似于用于语义分割的训练模型。我们的模型在三个经过严格基准测试的数据集上取得了最先进的结果，即CUB-200-2011数据集上的87.9%、斯坦福汽车数据集上的94.1%和FGVC-Aircraft数据集上的92.1%，证明了其在细粒度识别任务上的有效性。
2018-11-27 cs.CV
DIAL-GS: Dynamic Instance Aware Reconstruction for Label-free Street Scenes with 4D Gaussian Splatting
Chenpeng Su ∗ , Wenhua Wu ∗ , Chensheng Peng, Tianchen Deng, Zhe Liu, Hesheng Wang †（无明确机构）
针对现有自监督街景重建方法无法区分动态对象的问题，提出DIAL-GS方法，通过4D高斯溅射实现实例感知的动态重建，性能优于现有基线。
2026-09-04 cs.CV
DETR-based Layered Clothing Segmentation and Fine-Grained Attribute Recognition
The Hong Kong Polytechnic University（香港理工大学）
本文提出基于DETR的多层注意力模块，聚合多尺度特征以提升分层服装分割与细粒度属性识别精度，并在Fashionpedia数据集上超越现有SOTA模型。
2023-04-17 cs.CV
Spatial-Scale Aligned Network for Fine-Grained Recognition
Tencent（腾讯）；Megvii（旷视科技）；Peking University（北京大学）
现有的细粒度视觉识别方法侧重于学习基于边缘区域的表示，而忽略了空间和尺度错位，导致性能较差。在本文中，我们提出了空间尺度对齐网络（SSANET）和隐式地址在识别过程中的错位。特别地，SSANET包括：1）具有形态对齐约束的自监督建议挖掘公式; 2）判别规模挖掘（DSM）模块，其通过循环矩阵利用特征金字塔，并提供用于快速规模对齐的傅立叶求解器; 3）定向池化（OP）模块，其在几个预定义的方向上执行池化操作。每个方向定义一种空间对齐，网络通过学习自动确定哪种是最佳对齐。通过这两个模块，我们的算法可以自动确定准确的局部建议区域，并生成对各种外观变化具有不变性的更鲁棒的目标表示。大量的实验证明，SSANET是胜任学习更好的空间尺度不变的目标表示，在几个基准上的细粒度识别任务产生优越的性能。
2020-01-05 cs.CV
AddressVLM: Cross-view Alignment Tuning for Image Address Localization using Large Vision-Language Models
State Key Laboratory of Multimodal Artificial Intelligence Systems（多模态人工智能系统国家重点实验室）；CASIA（中国科学院自动化所）；Alibaba Cloud（阿里云）；School of Intelligence Science and Technology（智能科学与技术学院）；CAIR（中国科学院香港创新研究院）
本文提出AddressVLM模型，通过引入卫星图像作为宏观线索并设计跨视角对齐微调机制，结合两阶段训练协议，有效提升了大型视觉语言模型在城市细粒度街景图像地址定位任务中的准确率。
2025-08-14 cs.AI cs.CV
Fine-grained Hand Gesture Recognition in Multi-viewpoint Hand Hygiene
Willogy；AIOZ；Blood Transfusion Hematology Hospital（输血血液病医院）
本文提供了一个新的高质量的数据集，手卫生系统中的手势识别，命名为“MFH”。一般来说，目前的数据集并不集中在：（i）细粒度的动作;（ii）不同视点之间的数据不匹配，这是在现实的设置下可用。为了解决上述问题，建议MFH数据集包含由6个非重叠位置中的不同相机视图获得的总共731147个样本。此外，每个样本都属于世界卫生组织（WHO）提出的七个步骤之一。作为一个小小的贡献，受到细粒度图像识别和分布自适应的启发，本文建议使用自监督学习方法来处理这些问题。在基准MFH数据集上的大量实验表明，所介绍的方法在准确性和宏F1分数方面都具有竞争力的性能。代码和MFH数据集可在https://github.com/willogy-team/hand-gesture-recognition-smc2021上获得。
2021-09-07 cs.CV
