Text Spotting Transformers
UC San Diego（加州大学圣迭戈分校）；Shanghai Jiao Tong University（上海交通大学）；Intel Labs（英特尔实验室）
在本文中，我们提出了TExt发现TRansformers（TESTR），一个通用的端到端的文本发现框架，使用Transformers的文本检测和识别在野外。TESTR建立在一个单一的编码器和双重解码器的联合文本框控制点回归和字符识别。除了大多数现有的文献，我们的方法是免费的区域感兴趣的操作和数学驱动的后处理程序; TESTR是特别有效的处理弯曲的文本框时，需要特别照顾的适应传统的边界框表示。我们展示了我们的规范表示的控制点，适合文本实例中的贝塞尔曲线和多边形注释。此外，我们设计了一个边界框引导的多边形检测（框到多边形）过程。弯曲和任意形状的数据集上的实验证明了所提出的TESTR算法的最先进的性能。
2022-04-05 cs.CV
SPTS: Single-Point Text Spotting
South China University of Technology（华南理工大学）；Zhejiang University（浙江大学）；Huazhong University of Science and Technology（华中科技大学）；Chinese University of Hong Kong（香港中文大学）；Huawei Cloud Computing Technologies（华为云计算技术有限公司）
现有场景文本定位（即，端到端文本检测和识别）方法依赖于昂贵的限界框注释（例如，文本行、单词级或字符级边界框）。这是第一次，我们证明了训练场景文本识别模型可以通过对每个实例进行极低成本的单点注释来实现。我们提出了一个端到端的场景文本定位方法，处理场景文本定位作为一个序列预测任务。给定一幅图像作为输入，我们制定了所需的检测和识别结果作为一个序列的离散令牌，并使用自回归Transformer来预测序列。所提出的方法是简单而有效的，它可以实现国家的最先进的结果在广泛使用的基准。最重要的是，我们表明，性能是不是很敏感的点注释的位置，这意味着它可以更容易被注释，甚至自动生成比限界框，需要精确的位置。我们相信，这样的先驱尝试为比以前可能的规模大得多的场景文本发现应用程序提供了一个重要的机会。该代码可在https://github.com/shannanyinxiang/SPTS上获得。
2022-08-29 cs.CV
A New Perspective for Flexible Feature Gathering in Scene Text Recognition Via Character Anchor Pooling
Peking University（北京大学）；Megvii (Face++) Technology Inc.（旷视（Face++）科技有限公司）
不规则场景文本识别一直受到研究界的关注，这主要是由于自然场景中文本形状的复杂性。然而，最近的方法要么依赖于形状敏感的模块，如限界框回归，或放弃序列学习。为了解决这些问题，我们提出了一对耦合模块，被称为字符识别模块（CAM）和锚池模块（APM），从二维空间中提取高层次的语义，形成特征序列。所提出的CAM本地化的文本在一个形状不敏感的方式通过设计锚定字符单独。然后，APM沿着字符锚点灵活地插值和收集特征，从而实现序列学习。互补模块实现了空间信息和序列学习的和谐统一。通过所提出的模块，我们的识别系统在不规则和透视文本数据集（包括ICDAR 2015，CUTE和Total-Text）上的得分超过了以前的最先进水平，同时在常规文本数据集上的性能达到了最先进水平。
2020-02-10 cs.CV
Enhancing Table Structure Recognition via Bounding Box Guidance
South China University of Technology（华南理工大学）
针对图像到序列方法忽略边界框信息导致复杂场景错误的问题，提出BGTR框架，先预测单元格边界框再引导HTML生成，并引入合成数据集SNSTab和渐进训练，在五个基准上取得SOTA性能。
2026-09-09 cs.CV
SuperOCR: A Conversion from Optical Character Recognition to Image Captioning
Gyrfalcon Technology Inc.（隼科技有限公司）
光学字符识别（OCR）有许多实际应用。现有的方法通常检测字符的位置，然后识别每个检测到的位置的字符。因此，字符检测的性能直接影响到字符识别的准确性。在本文中，我们提出了一种识别字符的方法，而无需检测每个字符的位置。这是通过将OCR任务转换为图像描述任务来完成的。该方法的一个优点是在训练过程中不需要字符的标记边界框。实验结果表明，该方法在车牌识别和水表字符识别任务上均优于现有方法。所提出的方法也被部署到连接到Raspberry Pi 3的低功耗（300 mW）CNN加速器芯片中，用于设备上的应用。
2020-11-21 cs.CV eess.IV
Post-OCR Paragraph Recognition by Graph Convolutional Networks
Google Research（谷歌研究院）
本文提出了一种基于空间图卷积网络（GCN）的OCR文本框段落识别方法。通过行分割和行聚类两个步骤从OCR结果中提取段落。每一步都使用由边界框构建的beta骨架图，其中图形边缘为图形卷积操作提供有效支持。由于只有纯布局输入特征，GCN模型的大小比基于R-CNN的模型小3~4个数量级，同时在PubLayNet和其他数据集上实现了相当或更好的准确性。此外，GCN模型表现出良好的泛化能力，从合成的训练数据到真实世界的图像，以及良好的适应性，为可变的文档风格。
2022-11-15 cs.CV cs.LG
Towards End-to-end Text Spotting with Convolutional Recurrent Neural Networks
The University of Adelaide（阿德莱德大学）
在这项工作中，我们共同解决基于卷积循环神经网络的自然场景图像中的文本检测和识别问题。我们提出了一个统一的网络，它可以通过一次向前传递同时定位和识别文本，避免了图像裁剪和特征重新计算、单词分离或字符分组等中间过程。与现有的将文本检测和识别视为两个不同任务并逐个解决的方法相比，所提出的框架同时解决了这两个任务。整个框架可以进行端到端的训练，只需要图像，地面实况边界框和文本标签。通过端到端的训练，学习到的特征可以提供更多信息，从而提高整体性能。卷积特征仅计算一次，并由检测和识别共享，这节省了处理时间。我们提出的方法在几个基准数据集上取得了有竞争力的性能。
2017-07-13 cs.CV
Self-paced learning to improve text row detection in historical documents with missing labels
University of Bucharest（布加勒斯特大学）
光学字符识别系统的一个重要的初始步骤是检测文本行。为了解决这一任务的背景下，历史数据与丢失的标签，我们提出了一个自定步调的学习算法能够提高行检测性能。我们推测，具有更多真实边界框的页面不太可能有缺失的注释。基于这一假设，我们将训练样本按照地面实况边界框的数量降序排序，并将它们组织成k个批次。使用我们的自定进度的学习方法，我们训练一个行检测器超过k次迭代，逐步添加具有更少地面实况注释的批次。在每次迭代中，我们使用非最大值抑制将地面实况边界框与伪边界框（由模型本身预测的边界框）组合在一起，并在下一次训练迭代中包含结果注释。我们证明了我们的自定进度学习策略在两个历史文档数据集上带来了显着的性能提升，提高了YOLOv4的平均精度，其中一个数据集超过12%，另一个数据集超过39%。
2022-08-15 cs.CV cs.LG
BoxCars: Improving Fine-Grained Recognition of Vehicles using 3-D Bounding Boxes in Traffic Surveillance
Brno University of Technology（布尔诺理工大学）；Faculty of Information Technology（信息技术学院）；Centre of Excellence IT4Innovations（IT4创新卓越中心）
在本文中，我们专注于细粒度识别的车辆主要是在交通监控应用。我们提出了一种方法，是正交的细粒度识别（自动部分发现和双线性池）的最新进展。此外，与其他专注于车辆细粒度识别的方法相比，我们不局限于前/后视点，而是允许从任何视点看到车辆。我们的方法是基于3-D包围盒周围的车辆。该限界框可以从交通监视数据自动构造。对于不可能使用精确构造的情况，我们提出了一种用于估计3-D限界框的方法。3-D限界框用于通过将图像“解包”到平面中来规范化图像视点。我们还建议在卷积神经网络（CNN）的训练过程中随机改变图像的颜色，并将带有随机噪声的矩形添加到图像中的随机位置。我们已经收集了一个大型的细粒度车辆数据集BoxCars 116 k，其中包含由众多监控摄像头拍摄的来自不同视角的116 k车辆图像。我们进行了大量的实验，结果表明，我们提出的方法显着提高了CNN的分类准确性（与没有提出修改的CNN相比，准确性提高了12%，错误减少了50%）。我们还表明，我们的方法优于最先进的细粒度识别方法。
2018-03-09 cs.CV
TABLET: Table Structure Recognition using Encoder-only Transformers
iWudao Tech（iWudao科技）
本文提出一种基于拆分-合并策略、使用多个仅编码器Transformer的表格结构识别模型，通过序列标注和网格分类避免边界框预测，在FinTabNet和PubTabNet上取得高精度与高速度，适合工业部署。
2025-06-08 cs.CV cs.LG
Text Detection & Recognition in the Wild for Robot Localization
University of Waterloo（滑铁卢大学）
标识无处不在，机器人应该能够利用标识来帮助它定位（包括视觉位置识别（VPR））和地图。由于姿态、不规则文本、光照和遮挡等因素，在野外进行鲁棒的文本检测和识别具有挑战性。我们提出了一个端到端的场景文本定位模型，同时输出的文本字符串和边界框。该模型更适合于VPR。我们的主要贡献是引入了一个端到端的场景文本定位框架，以充分捕捉不规则和遮挡的文本区域在不同的挑战性的地方。为了评估我们提出的架构的VPR的性能，我们进行了几个具有挑战性的自我收集的文本位置（SCTP）基准数据集的实验。初步的实验结果表明，该方法优于SOTA方法的精度和召回方面测试时，在这个基准。
2022-05-19 cs.CV cs.RO
Sensitivity of Average Precision to Bounding Box Perturbations
Quintic AI（昆蒂克人工智能公司）
目标检测是一项基本的视觉任务。它在学术界得到了广泛的研究，并在工业界得到了广泛的应用。平均精度（AP）是评估目标检测器的标准分数。然而，我们对这个乐谱的微妙之处的理解是有限的。在这里，我们量化的敏感性AP的限界框扰动，并表明，AP是非常敏感的小平移。仅一个像素偏移就足以使模型的mAP下降8.4%。在只有一个像素偏移的小物体上的mAP下降为23.1%。当使用地面实况（GT）框作为预测时，相应的数字分别为23%和41.7%。这些结果解释了为什么随着模型变得更好，实现更高的mAP变得越来越困难。我们还研究了框缩放对AP的影响。代码和数据可在https://github.com/aliborji/AP_Box_Perturbation上获得。
2022-06-21 cs.CV
YouTube-BoundingBoxes: A Large High-Precision Human-Annotated Data Set for Object Detection in Video
Google Brain（谷歌大脑）；Google Research（谷歌研究院）
我们引入了一个新的大规模数据集的视频URL与密集采样的对象限界框注释称为YouTube的边界框（YT-BB）。该数据集由大约380，000个约19秒长的视频片段组成，自动选择以自然环境中的对象为特征，无需编辑或后处理，记录质量通常类似于手持手机相机。对象表示MS COCO标签集的子集。所有视频片段都是以每秒1帧的速度使用高精度分类标签和边界框进行人工注释的。使用一系列越来越精确的人工注释，确保每个类别和紧密边界框的标签准确率超过95%。最后，我们训练和评估知名的深度网络架构，并报告每帧分类和本地化的基线数据，为未来的工作提供比较点。我们还演示了如何视频的时间连续性可以潜在地用于改善这样的推断。请参阅PDF文件以找到下载数据的URL。我们希望如此大规模的精选语料库的可用性将刺激视频目标检测和跟踪的新进展。
2017-03-24 cs.CV
Simultaneous Food Localization and Recognition
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
自动营养日记的开发，可以客观地跟踪我们吃的每样东西，可以为关注营养模式的人们带来全新的可能性。为此，在本文中，我们提出了第一种方法，同时食品定位和识别。我们的方法是基于两个主要步骤，其中包括，第一，在输入图像上产生食物激活图（即概率热图），用于生成边界框建议，第二，识别每个限界框中存在的每个食物类型或食物相关对象。我们证明，我们的建议，相比最相似的问题，现在-对象定位，是能够获得高精度和合理的召回水平，只有几个边界框。此外，我们表明，它是适用于传统的和自我中心的图像。
2017-01-19 cs.CV
Improving Table Structure Recognition with Visual-Alignment Sequential Coordinate Modeling
Huawei Technologies Ltd.（华为技术有限公司）；Peking University（北京大学）
表格结构识别的目的是将非结构化表格图像的逻辑和物理结构提取为机器可读的格式。最新的端到端图像到文本方法通过两个解码器同时预测两个结构，其中物理结构（单元的边界框）的预测基于逻辑结构的表示。然而，以前的方法与不精确的边界框作斗争，因为逻辑表示缺乏局部视觉信息。为了解决这个问题，我们提出了一个端到端的顺序建模框架表结构识别称为VAST。它包含了一个新的坐标序列解码器触发的非空单元从逻辑结构解码器的表示。在坐标序列解码器中，我们将限界框坐标建模为语言序列，其中左、上、右和下坐标被顺序解码以利用坐标间依赖性。此外，我们提出了一个辅助的视觉对齐损失，以强制非空单元格的逻辑表示包含更多的本地视觉细节，这有助于产生更好的单元格边界框。大量的实验表明，我们提出的方法可以实现国家的最先进的结果，在逻辑和物理结构识别。消融研究也验证了所提出的坐标序列解码器和视觉对齐损失是我们的方法成功的关键。
2023-03-20 cs.CV
Loss Guided Activation for Action Recognition in Still Images
National University of Singapore（新加坡国立大学）；Yale-NUS College（耶鲁-新加坡国立大学学院）；DATA61-CSIRO（澳大利亚联邦科学与工业研究组织数据61所）；Australian National University（澳大利亚国立大学）
基于深度学习的人类动作识别的一个重要问题是，它很容易被不相关的物体或背景所误导。现有的方法通常通过在训练和测试阶段将目标人类上的边界框作为输入的一部分来解决这个问题。需要将边界框作为输入的一部分，以使方法能够忽略不相关的上下文并仅提取人类特征。然而，我们认为这种解决方案是低效的，因为边界框可能不可用。因此，而不是使用一个人的限界框作为输入，我们引入了一个人的面具损失，自动引导激活的功能地图的目标人谁是执行的行动，从而抑制激活误导性的背景。我们提出了一种多任务深度学习方法，该方法联合预测人类动作类和人类位置热图。大量的实验表明，我们的方法是更强大的基线方法相比，存在不相关的误导性的背景下。该方法在Stanford 40和MPII数据集上分别获得了94.06%和40.65%的mAP，比文献报道的最佳结果分别提高了3.14%和12.6%，从而创造了新的最先进的结果。此外，与一些现有的方法，我们消除了使用一个人的限界框作为测试过程中的输入的要求。
2018-12-11 cs.CV
Real-time Egocentric Gesture Recognition on Mobile Head Mounted Displays
Google Inc.（谷歌公司）
移动虚拟现实（VR）盔装显示器（HMD）近年来在消费者中变得流行。在这项工作中，我们展示了实时的自我为中心的手势检测和定位移动头戴式显示器。我们的主要贡献是：1）一种新颖的混合现实数据汇集工具，用于自动注释边界框和手势标签; 2）迄今为止最大的以自我为中心的手势和限界框数据集，具有超过400，000个注释帧; 3）一个神经网络，在现代移动CPU上实时的运行，并在8个类别的手势识别上实现高于76%的精度。
2017-12-13 cs.CV
LGPMA: Complicated Table Structure Recognition with Local and Global Pyramid Mask Alignment
Hikvision Research Institute（海康威视研究院）；Zhejiang University（浙江大学）
由于表格结构的多样性和复杂的单元格生成关系，表格结构识别是一项具有挑战性的任务。以前的方法从不同粒度的元素（行/列，文本区域）开始处理这个问题，这在某种程度上陷入了有损启发式规则或忽略空单元格划分等问题。基于表格结构的特点，我们发现获取对齐的文本区域边界框可以有效地保持不同单元格的整个相关范围。然而，由于视觉模糊性，对齐的边界框很难被准确地预测。在本文中，我们的目标是获得更可靠的对齐边界框，充分利用视觉信息，从两个文本区域在建议的本地功能和细胞关系的全球功能。具体地说，我们提出了局部和全局金字塔模板对齐的框架，它在局部和全局特征映射中采用了软金字塔模板学习机制。它允许边界框的预测边界突破原始建议的限制。一个金字塔掩模重新评分模块，然后集成到妥协的局部和全局信息和细化预测的边界。最后，我们提出了一个健壮的表结构恢复流水线来获得最终的结构，其中我们也有效地解决了空单元的定位和划分问题。实验结果表明，该方法实现了竞争力，甚至新的国家的最先进的性能在几个公共基准。
2022-04-20 cs.CV
Detector-Free Weakly Supervised Group Activity Recognition
POSTECH（浦项科技大学）
群体活动识别是在多人视频中理解由一组人作为整体进行的活动的任务。现有的模型，这项任务往往是不切实际的，因为他们需要地面实况限界框标签的演员，即使在测试或依赖于现成的对象检测器。受此启发，我们提出了一种新的模型，既不依赖于限界框标签，也不依赖于对象检测器的群体活动识别。我们的模型基于Transformer，通过利用注意力机制对群体活动的部分上下文进行定位和编码，并将视频片段表示为一组部分上下文嵌入。然后，将嵌入向量聚合以形成反映活动的整个上下文的单个组表示，同时捕获每个部分上下文的时间演变。我们的方法在排球和NBA两个基准数据集上取得了出色的性能，不仅超过了用相同水平的监督训练的最先进的模型，而且超过了一些依赖于更强监督的现有模型。
2022-04-05 cs.CV
Exploit Bounding Box Annotations for Multi-label Object Recognition
Nanyang Technological University（南洋理工大学）；A*STAR（新加坡科技研究局）；Bioinformatics Institute A*STAR（新加坡科技研究局生物信息学研究所）；Nanjing University（南京大学）
卷积神经网络（CNN）作为对象识别应用的一般特征表示已经显示出很好的性能。然而，对于包含来自不同类别、尺度和位置的多个对象的多标签图像，全局CNN特征不是最佳的。在本文中，我们将当地的信息，以提高功能的区分能力。特别是，我们首先从每个图像中提取对象建议。将每个图像视为一个包，并将从中提取的对象建议视为实例，我们将多标签识别问题转化为多类多实例学习问题。然后，除了从每个建议中提取典型的CNN特征表示之外，我们还建议使用地面实况限界框注释（强标签），通过使用局部区域的最近邻关系来添加另一个级别的局部信息，以形成多视图管道。所提出的多视图多实例框架有效地利用了弱标签和强标签，更重要的是，它具有泛化能力，甚至可以通过来自其他类别的部分强标签来提高看不见的类别的性能。我们的框架被广泛地与最先进的手工制作的基于特征的方法和基于CNN的方法在两个多标签基准数据集上进行比较。实验结果验证了该框架的鉴别能力和泛化能力。通过强大的标签，我们的框架能够在两个数据集中实现最先进的结果。
2016-06-03 cs.CV cs.LG
RepPoints: Point Set Representation for Object Detection
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）
现代的目标检测器在很大程度上依赖于矩形边界框，如锚，建议和最终预测，以表示在各个识别阶段的对象。限界框使用方便，但仅提供对象的粗略定位，并导致对象特征的相应粗略提取。在本文中，我们提出了\textbf{RepPoints}（代表点），一个新的更精细的表示对象作为一组样本点的定位和识别有用。给定用于训练的地面实况定位和识别目标，RepPoint学习以限制对象的空间范围并指示语义上重要的局部区域的方式自动排列自己。此外，它们不需要使用锚来对边界框的空间进行采样。我们表明，基于RepPoints的无锚对象检测器可以与最先进的基于锚的检测方法一样有效，使用ResNet-101模型，在COCO测试开发检测基准上具有46.5 AP和67.4 $AP_{50}$。代码可在https://github.com/microsoft/RepPoints上获得。
2019-08-19 cs.CV
Approximate Query Matching for Image Retrieval
Georgia Tech（佐治亚理工学院）
传统的图像识别涉及识别具有单个对象焦点的肖像类型图像中的关键对象（ILSVRC，AlexNet和VGG）。最近的方法考虑密集图像识别-用适当的边界框分割图像并在这些边界框内执行图像识别（语义分割）。Visual Genome数据集[5]试图将这些不同的方法连接到每个子任务的内聚数据集-限界框生成，图像识别，字幕和一个新的操作：场景图生成。我们的重点是使用这样的场景图执行图像数据库上的图形搜索，从整体上检索图像的搜索标准的基础上。我们开发了一种方法来存储场景图和元数据在图形数据库（使用Neo4J），并执行快速近似检索的图像的基础上的图形搜索查询。我们处理比单一对象搜索更复杂的查询，例如“吃蛋糕的女孩”检索包含指定关系以及变化的图像。
2018-03-14 cs.CV cs.IR
Self-taught Object Localization with Deep Networks
Dartmouth College（达特茅斯学院）；Google Inc.（谷歌公司）
本文介绍了自学对象定位，这是一种新方法，它利用经过训练的深度卷积网络进行全图像识别，在没有额外人工监督的情况下定位图像中的对象，即，无需使用任何真实边界框进行训练。其关键思想是分析人工掩盖图像不同区域时识别分数的变化。对包括对象的区域进行掩蔽通常会导致识别分数的显著下降。这个想法是嵌入到凝聚聚类技术，产生自学本地化的假设。我们的对象定位方案在精确度和召回率方面优于现有的建议方法，用于少量的子窗口建议（例如，在ILSVRC-2012上，它比最先进的前1假设产生了23.4%的相对增益）。此外，我们的实验表明，自动生成的注释，我们的方法可以用来训练对象检测器产生识别结果非常接近那些通过人工标注的边界框上的训练。
2016-02-02 cs.CV
Visual Diver Recognition for Underwater Human-Robot Collaboration
The University of Minnesota（明尼苏达大学）
本文提出了一种水下机器人视觉检测和识别潜水员的方法。所提出的方法使自主水下机器人检测多个潜水员在视觉场景中，并区分他们。这样的方法对于机器人识别人类领导者是有用的，例如，在多人/机器人团队中，其中仅指定的个人被允许命令或倾斜机器人团队。初始潜水员识别使用Faster R-CNN算法与区域建议网络进行，该区域建议网络在潜水员位置周围产生边界框。随后，从边界框中提取一套空间和频域描述符以创建特征向量。此后，K均值聚类算法（其中k被设置为检测到的边界框的数量）基于这些特征向量来识别检测到的潜水员。我们评估所提出的方法的性能的潜水员在移动机器人前面游泳的视频片段，并证明其准确性。
2018-09-19 cs.CV cs.RO
Modified Segmentation Algorithm for Recognition of Older Geez Scripts Written on Vellum
Faculty of Informatics, University of Gondar（贡达尔大学信息学院）
手写文档识别的目的是将文档图像转换为机器可理解的格式。手写文档识别是模式识别领域中最具挑战性的研究方向。当一份文件在几百年前写在牛皮纸上时，它就变得更加复杂了，就像更古老的吉兹脚本一样。在这项研究中，我们介绍了一种改进的分割方法来识别旧的吉兹脚本。我们使用自适应滤波降噪，Isodata迭代全局阈值的文档图像二值化，修改限界框投影分割Geez字符，数字和标点符号之间的不同笔画。SVM多类分类器在改进的分割算法下获得了79.32%的识别准确率。
2020-05-31 cs.CV
Geometry-constrained Car Recognition Using a 3D Perspective Network
Queensland University of Technology（昆士兰科技大学）；Monash University（莫纳什大学）
我们提出了一种新的学习框架，从一个单一的RGB图像的车辆识别。不同于现有的方法，只使用注意力机制来定位二维判别信息，我们的工作学习一种新的三维透视特征表示的车辆，然后与二维外观特征融合来预测类别。该框架由一个全局网络（GN），一个三维透视网络（3DPN），和一个融合网络。GN用于定位感兴趣区域（RoI）并生成2D全局特征。在RoI的帮助下，3DPN在建议的消失点损失的指导下估计3D限界框，这提供了透视几何约束。然后通过透视变换消除三维限界框的视点方差，生成建议的三维表示。最后，融合3D和2D特征来预测车辆的类别。我们在BoxCars数据集中对车辆分类和验证任务进行了定性和定量分析。结果表明，通过学习这种简洁的3D表示，我们可以实现优于仅使用2D信息的方法的性能，同时保留3D有意义的信息，而不需要3D CAD模型的挑战。
2019-11-18 cs.CV
Class Attention to Regions of Lesion for Imbalanced Medical Image Recognition
Hong Kong University of Science and Technology（香港科技大学）；Sun Yat-sen University（中山大学）；Southern University of Science and Technology（南方科技大学）；Peng Cheng Laboratory（鹏城实验室）
针对医学图像类别不平衡问题，提出CARE框架，通过训练阶段嵌入注意力模块让CNN关注罕见病病灶区域，还开发自动生成边界框的变体，实验验证其可显著提升罕见病分类性能。
2023-07-20 cs.CV
Alpha-Refine: Boosting Tracking Performance by Precise Bounding Box Estimation
Dalian University of Technology（大连理工大学）；Peng Cheng Laboratory（鹏城实验室）；Remark AI
视觉目标跟踪的目标是精确地估计给定目标的限界框，这是一个具有挑战性的问题，由于变形和遮挡等因素。近年来，许多跟踪器采用多阶段跟踪策略来提高限界框估计的质量。这些方法首先粗略地定位目标，然后在接下来的阶段中细化初始预测。然而，现有的方法仍然受到有限的精度，不同阶段的耦合严重限制了方法的可移植性。本文提出了一种新的、灵活的、精确的细化模块Alpha-Refine（AR），它可以显著提高基本跟踪器的框估计质量。通过探索一系列的设计方案，我们得出结论，成功的细化的关键是提取和维护尽可能详细的空间信息。遵循这一原则，Alpha-Refine采用逐像素相关、角点预测头和辅助掩模头作为核心部件。在TrackingNet、LaSOT、GOT-10 K和VOT 2020基准测试中，使用多个基本跟踪器进行的综合实验表明，我们的方法在几乎没有额外延迟的情况下显着提高了基本跟踪器的性能。所提出的Alpha-Refine方法导致了一系列增强的跟踪器，其中ARSiamRPN（AR增强的SiamRPNpp）和ARDiMP 50（AR增强的DiMP 50）实现了良好的效率-精度权衡，而ARDiMPsuper（AR增强的DiMP-super）在实时速度上实现了非常有竞争力的性能。代码和预训练模型可在https://github.com/MasterBin-IIAU/AlphaRefine上获得。
2021-07-11 cs.CV
Deep learning for class-generic object detection
我们研究了深度神经网络在类通用目标检测新任务中的应用。我们表明，最初设计用于图像识别的神经网络可以被训练来检测图像中的对象，无论其类别如何，包括没有提供限界框标签的对象。此外，我们还表明，限界框标签在ImageNet识别挑战中的性能提高了1%。
2013-12-24 cs.CV cs.LG cs.NE
Improving precision and recall of face recognition in SIPP with combination of modified mean search and LSH
虽然随着深度神经网络的发展，人脸识别技术得到了很大的改进，但人脸识别中的单图像问题（SingleImagePperPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPerPer…
2018-02-27 cs.CV
Bounding-box deep calibration for high performance face detection
Jilin University（吉林大学）
现代基于卷积神经网络（CNN）的人脸检测器由于大的注释数据集而取得了巨大的进步。然而，检测置信度高但定位精度低的失调结果限制了检测性能的进一步提高。在本文中，作者首先预测训练集本身的高置信度检测结果。令人惊讶的是，其中相当一部分存在着同样的错位问题。然后，作者仔细检查了这些情况，并指出注释错位是主要原因。随后，对预测边界盒和标注边界盒之间的替换合理性进行了全面的讨论。最后，作者提出了一种新的限界框深度校准（BDC）方法，以合理地替换未对齐的注释与模型预测的边界框，并提供校准的注释的训练集。在多个检测器和两个流行的基准数据集上进行的大量实验表明，BDC在提高模型的准确率和召回率方面是有效的，而不会增加额外的推理时间和内存消耗。我们简单而有效的方法提供了一个通用的策略，提高人脸检测，特别是在实时情况下的轻量级检测器。
2022-07-22 cs.CV
Evaluation of Environmental Conditions on Object Detection using Oriented Bounding Boxes for AR Applications
Kingston University（金斯顿大学）；University of Westminster（威斯敏斯特大学）；International Hellenic University（国际希腊大学）；University of Western Macedonia（西马其顿大学）
本研究提出一种结合定向边界框与深度网络的AR目标检测新方法，通过真实和合成数据集评估，证明其在多数环境条件下能提升小目标的平均精度与准确性。
2024-11-11 cs.AI cs.CV
Table Structure Recognition with Conditional Attention
University of Ottawa（渥太华大学）；Lytica（Lytica公司）
数字文档中的表格数据被广泛用于表达紧凑的重要信息。然而，由于表格结构的复杂性和元信息的缺失，将PDF和图像等非结构化数字文档中的表格解析为机器可读格式具有挑战性。表结构识别（TSR）问题的目的是识别表的结构，并将非结构化的表转换成结构化的、机器可读的格式，以便于后续的语义建模和信息检索等任务对表数据进行进一步的分析。在这项研究中，我们假设一个复杂的表结构可以表示为一个图，其顶点和边分别代表细胞和细胞之间的关联。然后，我们定义的表结构识别问题的细胞关联分类问题，并提出了一个条件注意力网络（CATT-Net）。实验结果表明，我们提出的方法优于国家的最先进的方法在各种数据集上。此外，我们还研究了单元格限界框对齐方式和文本对齐方式对模型性能的影响。由于缺乏基于这两种方法的公共数据集注释，我们进一步注释了ICDAR 2013数据集，提供了两种类型的边界框，这可以成为评估该领域方法的新基准数据集。实验结果表明，对齐单元格限界框可以帮助提高微观平均F1分数从0.915到0.963，和宏观平均F1分数从0.787到0.923。
2022-03-08 cs.CV cs.IR
Navigating limitations with precision: A fine-grained ensemble approach to wrist pathology recognition on a limited x-ray dataset
Norwegian University of Science & Technology (NTNU)（挪威科技大学）；Linnaeus University（林奈大学）；Sukkur IBA University（苏库尔IBA大学）
本研究将腕部病理识别视为细粒度视觉识别问题，提出基于FGVR的专用集成方法并结合Grad-CAM技术，在有限定制数据集上有效提升了识别准确性并超越传统SOTA方法。
2024-12-18 cs.CV
Oriented Feature Alignment for Fine-grained Object Recognition in High-Resolution Satellite Imagery
School of Automation, Beijing Institute of Technology（北京理工大学自动化学院）
遥感图像中的定向目标检测近年来取得了很大的进展。然而，目前的方法大多只关注于目标检测，不能很好地区分复杂场景中的细粒度目标。在这份技术报告中，我们分析了细粒度目标识别的关键问题，并使用一个有向特征对齐网络（OFA-Net）来实现高性能的光学遥感图像中的细粒度有向目标识别。OFA-Net通过旋转边界框细化模块实现精确的对象定位。在此基础上，应用边界约束旋转特征对齐模块实现局部特征提取，有利于细粒度的目标分类。该方法的单模型在高分竞赛中获得了46.51%的mAP，在ISPRS基准测试中获得了43.73%的mAP，获得了第3名。
2021-10-13 cs.CV
BPT: Binary Point Cloud Transformer for Place Recognition
Nanjing University of Science and Technology（南京理工大学）；Illinois Institute of Technology（伊利诺伊理工学院）
地点识别是一种识别重访地点的算法，在完整的SLAM系统中起着后端优化触发器的作用。许多搭载了深度学习工具的作品，如MLP、CNN、Transformer等，在这一研究领域取得了很大的进步。点云Transformer是机器人位置识别的优秀框架之一，但点云Transformer网络的内存消耗大、计算量大，不利于在移动或嵌入式设备中广泛部署。为了解决这个问题，我们提出了一个二进制点云Transformer的地点识别。因此，32位全精度模型可以减少到1位模型，具有更少的内存占用和更快的二进制逐位操作。据我们所知，这是第一个可以部署在移动设备上的二进制点云Transformer，用于在线应用，如位置识别。在多个标准基准上的实验表明，该方法可以获得与相应的全精度Transformer模型相当的结果，甚至优于一些全精度深度学习方法。例如，在Oxford RobotCar数据集上，就平均召回率的度量而言，所提出的方法在顶部@1%处达到93.28%，在顶部@1%处达到85.74%。同时，在相同的Transformer结构下，模型的规模和浮点运算精度分别比原始模型的精度降低了56.1%和34.1%。
2023-03-02 cs.CV
QuantFace: Towards Lightweight Face Recognition by Synthetic Data Low-bit Quantization
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
基于深度学习的人脸识别模型遵循深度神经网络的共同趋势，利用具有高计算成本的全精度浮点网络。在受计算需求约束的用例中部署此类网络通常是不可行的，因为全精度模型需要大量内存。以前的紧凑型人脸识别方法提出设计特殊的紧凑型架构，并使用真实的训练数据从头开始训练它们，由于隐私问题，这可能在真实世界的场景中不可用。在这项工作中，我们提出了QuantFace解决方案的基础上，低比特精度格式模型量化。QuantFace降低了现有人脸识别模型所需的计算成本，而无需设计特定的架构或访问真实的训练数据。QuantFace将隐私友好的合成人脸数据引入量化过程，以减轻潜在的隐私问题和与真实训练数据的可访问性相关的问题。通过对七个基准测试和四个网络架构进行广泛的评估实验，我们证明QuantFace可以成功地将模型大小减少到5倍，同时在很大程度上保持全精度模型的验证性能，而无需访问真实的训练数据集。
2022-06-21 cs.CV
CWD30: A Comprehensive and Holistic Dataset for Crop Weed Recognition in Precision Agriculture
Jeonbuk National University（全北国立大学）；Core Research Institute of Intelligent Robots, Jeonbuk National University（全北国立大学智能机器人核心研究所）；Universitas Udayana（乌达亚纳大学）；Rural Development Administration, National Institute of Crop Science（农村振兴厅国家作物科学研究所）
针对精准农业中作物杂草识别数据集规模与多样性不足的问题，提出了包含超21万张图像、涵盖30种植物的层次化CWD30数据集，并验证其能有效提升下游模型性能。
2023-05-17 cs.CV
Ef-QuantFace: Streamlined Face Recognition with Small Data and Low-Bit Precision
Indonesia Vision AI（印度尼西亚视觉人工智能）；Bina Nusantara University（宾纳万萨大学）
本文提出Ef-QuantFace效率驱动量化方法，仅用比MS1M小440倍的至多14,000张图像微调，并结合基于评估的度量损失，在IJB-C上达到96.15%准确率。
2024-02-28 cs.CV
End-To-End Face Detection and Recognition
Zhejiang University（浙江大学）
几十年来，人们提出了许多人脸检测和识别的方法，并取得了令人满意的结果。常见的人脸识别流程包括：1）人脸检测，2）人脸对齐，3）特征提取，4）相似度计算，这些流程是相互分离和独立的。人脸分析阶段的分离导致了模型的冗余计算，难以进行端到端的训练。在本文中，我们提出了一种新的端到端的可训练卷积网络框架，用于人脸检测和识别，其中直接学习几何变换矩阵来对齐人脸，而不是预测人脸标志。在训练阶段，我们的单个CNN模型仅由面部边界框和个人身份进行监督，这些边界框和个人身份可从WIDER FACE \cite{Yang2016}数据集和CASIA-WebFace \cite{Yi2014}数据集公开获得。在人脸检测数据集和基准数据集（FDDB）\cite{Jain2010}数据集和野生标记人脸（LFW）\cite{Huang2007}数据集上进行测试，人脸检测任务的召回率达到89.24%，人脸识别任务的验证准确率达到98.63%，与最新的人脸检测和人脸识别结果相当。
2017-03-31 cs.CV
Verifying Deep Learning-based Decisions for Facial Expression Recognition
Fraunhofer Institute for Integrated Circuits（弗劳恩霍夫集成电路研究所）；University of Bamberg（班贝格大学）
高性能的神经网络仍然可能偏向于不相关的特征。然而，可靠性和鲁棒性对于临床疼痛治疗等高风险领域尤为重要。因此，我们提出了一个核查管道，其中包括三个步骤。首先，我们用神经网络对面部表情进行分类。接下来，我们应用逐层相关传播来创建基于像素的解释。最后，我们量化这些视觉解释的基础上的边界框方法相对于面部区域。虽然我们的研究结果表明，神经网络达到国家的最先进的结果，视觉解释的评价表明，相关的面部区域可能不会被考虑。
2020-02-14 cs.CV
Learning High-Precision Bounding Box for Rotated Object Detection via Kullback-Leibler Divergence
Shanghai Jiao Tong University（上海交通大学）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Institute of Technology（北京理工大学）；Huawei Inc.（华为公司）
现有的旋转对象检测器大多继承自水平检测范式，因为后者已经发展成为一个成熟的领域。然而，由于当前回归损失设计的限制，这些检测器很难在高精度检测中表现突出，特别是对于具有大纵横比的对象。基于水平检测是旋转目标检测的一个特例的观点，根据旋转与水平检测的关系，将旋转回归损失的设计从归纳范式转变为演绎方法。我们发现，一个重要的挑战是如何调制的旋转回归损失的耦合参数，这样的估计参数可以相互影响，在动态联合优化，在自适应和协同的方式。具体来说，我们首先将旋转的限界框转换为2-D高斯分布，然后计算高斯分布之间的Kullback-Leibler散度（KLD）作为回归损失。通过分析每个参数的梯度，我们表明，KLD（及其衍生物）可以动态调整参数梯度根据对象的特性。它将根据纵横比调整角度参数的重要性（梯度权重）。这种机制对于高精度检测至关重要，因为微小的角度误差会导致大纵横比物体的精度严重下降。更重要的是，我们证明了KLD是尺度不变的。我们进一步表明，KLD损失可以退化成流行的$l_{n}$ -范数损失水平检测。使用不同检测器在七个数据集上进行的实验结果表明了其一致的优越性，代码可在https://github.com/yangxue0827/RotationDetection和https://github.com/open-mmlab/mmrotate上获得。
2022-04-18 cs.AI cs.CV cs.LG
A Parallel Implementation of Computing Mean Average Precision
平均精度（mAP）已被广泛用于评估对象检测器的质量，但仍然缺乏一个有效的实现。当前的实现只能通过顺序地循环该类的每个检测来一次计数一个类的真阳性（TP）和假阳性（FP）。这些方法不仅效率低下，而且在训练期间报告验证mAP也不方便。我们提出了一个并行化的替代方案，可以处理小批量的检测到的边界框（DTBB的）和地面实况边界框（GTBB的）的推理去，这样的mAP可以立即计算推理完成后。顺序实现中的循环和控制语句被广播、掩码和索引的广泛使用所取代。所有涉及的运算符都由流行的机器学习框架支持，如PyTorch和TensorFlow。因此，我们的实现速度要快得多，可以很容易地适应典型的训练例程。我们实现的PyTorch版本可以在https://github.com/bwangca/fast-map上获得。
2022-06-19 cs.AI cs.CV
Automated Transcription for Pre-Modern Japanese Kuzushiji Documents by Random Lines Erasure and Curriculum Learning
Center for Open Data in The Humanities（人文开放数据中心）
由于日本历史文献的布局/背景复杂，书写风格复杂，如草书和连笔字，识别整页是一个具有挑战性的问题。以往的方法大多将识别过程分为字符分割和识别两部分。但是，这些方法只提供字符边界框和类，而不提供文本转录。在本文中，我们扩大了我们以前的人类启发识别系统从多行到Kuzushiji文件的整页。人类启发的识别系统在阅读过程中模拟人眼运动。针对训练数据不足的问题，提出了一种随机文本行擦除方法，该方法可以随机擦除文本行并使文档失真。对于识别系统的收敛性问题，我们采用了课程学习的方法，从简单的层次（几行文本）到困难的层次（整页文档）逐步训练识别系统。我们在Kaggle上的Kuzushiji识别竞赛的数据集上测试了步骤训练方法和随机文本行擦除方法。实验结果证明了所提方法的有效性。这些结果与Kuzushiji识别竞争的其他参与者具有竞争力。
2020-05-06 cs.CV
Towards Few-shot Entity Recognition in Document Images: A Graph Neural Network Approach Robust to Image Manipulation
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文提出LAGER模型，通过基于k近邻边界框构建拓扑邻接图并引入图神经网络，利用词元相对位置信息，提升文档图像少样本实体识别的性能和对图像操作的鲁棒性。
2024-02-23 cs.CL cs.CV
Collaborative Learning for 3D Hand-Object Reconstruction and Compositional Action Recognition from Egocentric RGB Videos Using Superquadrics
University of Birmingham（伯明翰大学）；Jilin University（吉林大学）；Dongguk University（东国大学）
针对现有手物动作识别方法泛化性差的问题，提出用超二次曲面替代3D边界框表示物体，构建协同学习框架推理手物几何关系，在组合动作识别上超越现有最优水平。
2025-01-13 cs.AI cs.CV
DFPENet-geology: A Deep Learning Framework for High Precision Recognition and Segmentation of Co-seismic Landslides
Institute of Mountain Hazards and Environment, Chinese Academy of Sciences（中国科学院成都山地灾害与环境研究所）；CAS Center for Excellence in Tibetan Plateau Earth Sciences, Chinese Academy of Sciences（中国科学院青藏高原地球科学卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）；Chengdu University of Technology（成都理工大学）；Sichuan Geomatics Center（四川省测绘地理信息中心）
本文提出DFPENet深度学习框架，融合多尺度图像特征、地质特征与迁移学习，实现仅用RGB图像的高精度同震滑坡识别与分割，并在九寨沟和北海道地震数据上验证了有效性。
2023-10-26 cs.CV
C-Norm: Cell-Distribution Normalization Enables Precision Recognition of Medical-Cell Image
Chongqing University Cancer Hospital（重庆大学附属肿瘤医院）；Chongqing University of Posts and Telecommunications（重庆邮电大学）；Shanghai First Maternity and Infant Hospital, Tongji University（同济大学附属第一妇婴保健院）
针对TCT图像人工阅片问题及现有AI检测模型局限，提出C-Norm方法，通过解耦重组合并细胞、集成YOLOv12与DINOv3模块，实现细胞群体均匀分布，提升TCT图像识别性能，优于主流算法。
2026-07-16 cs.CV
Learning Orientation-Estimation Convolutional Neural Network for Building Detection in Optical Remote Sensing Image
Chongqing University（重庆大学）
得益于深度学习在计算机视觉领域的巨大成功，基于CNN的目标检测方法受到了广泛关注。已经提出了各种框架，这些框架在大范围的数据集上表现出令人敬畏和强大的性能。然而，对于遥感图像中的建筑物检测，建筑物往往构成了多样性的方向，这使得它的应用是一个挑战，现成的方法来建筑物检测。在这项工作中，我们的目标是将方向回归到流行的轴对齐的边界框检测方法来解决这个问题。为了使轴对齐的包围盒适应任意方向的包围盒，我们还开发了一种算法来估计任意两个任意方向的包围盒之间的交集重叠（IoU），该算法便于在图形处理单元（GPU）中实现以加速计算。该方法利用CNN进行稳健的特征提取和旋转限界框回归。我们以端到端的方式呈现我们的模型，使其易于训练。该模型被制定和训练，以预测方向，位置和范围，同时获得更紧密的限界框，因此，更高的平均平均精度（mAP）。在不同尺度的遥感图像上进行的实验表明，该算法的性能优于传统算法。
2019-03-14 cs.CV
Enhancing 3D Object Detection in Autonomous Vehicles Based on Synthetic Virtual Environment Analysis
Metamind（美塔迈德公司）；Sidroco（西德罗科公司）；Yahoo（雅虎）
本研究针对自动驾驶车辆3D目标检测需求，借助AR生态与合成虚拟数据集提升检测性能，在多样环境、天气及相机设置的测试场景下取得了有竞争力的结果。
2024-12-10 cs.CV
EV-Flying: an Event-based Dataset for In-The-Wild Recognition of Flying Objects
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
本文提出事件基飞行物体数据集EV-Flying，并采用受PointNet启发的轻量级点云方法对鸟类、昆虫和无人机进行分类，以解决传统RGB方法在高速小目标识别中的难题。
2025-06-04 cs.CV
Do Object Detection Localization Errors Affect Human Performance and Trust?
Delft University of Technology（代尔夫特理工大学）
该研究探究目标检测边界框定位误差对人类任务表现与信任的影响，通过多目标计数实验发现定位误差无显著影响、召回率和精确率误差有影响，还提出用中心点改进边界框以提升表现和抗定位误差能力。
2024-01-31 cs.CV cs.HC
GreenEye: Development of Real-Time Traffic Signal Recognition System for Visual Impairments
Korea International School, Jeju Campus（韩国国际学校济州校区）
本文开发 GreenEye 实时系统，帮助视障人士识别信号灯颜色与过街剩余时间，并通过补充标注、平衡数据集将14类识别精确率提升至99.5%。
2024-10-21 cs.AI cs.CV
Deep Fusion of Local and Non-Local Features for Precision Landslide Recognition
Southwest Jiaotong University（西南交通大学）；China Railway First Survey and Design Institute Co. Ltd.（中铁第一勘察设计院集团有限公司）；Wuhan University（武汉大学）；Central South University（中南大学）
精确绘制滑坡清单对于减灾至关重要。大多数滑坡通常与其他令人困惑的地质特征共存，只有在大规模下才能明确地推断出这些地区的存在。此外，局部信息对于保持对象边界也很重要。针对这一问题，本文提出了一种融合局部和非局部特征的有效方法来克服上下文问题。建立在遥感界广泛采用的U-Net架构上，我们利用了两个额外的模块。第一个使用扩张卷积和相应的atrous空间金字塔池化，在不牺牲空间分辨率或增加内存使用的情况下扩大了感受野。第二种方法使用尺度注意机制，通过学习的权重图来引导粗级别的特征的上采样。在实现中，原始U-Net的计算开销仅为几个卷积层。实验评估表明，该方法优于国家的最先进的通用语义分割方法。此外，消融研究表明，这两个模型提供了广泛的增强滑坡识别性能。
2020-02-20 cs.CV eess.IV
