I3CL:Intra- and Inter-Instance Collaborative Learning for Arbitrary-shaped Scene Text Detection
Wuhan University（武汉大学）；The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
用于自然场景中的任意形状文本检测的现有方法面临两个关键问题，即，1)在文本实例中的间隙处的断裂检测;以及2）具有不同背景上下文的任意形状的文本实例的不准确检测。为了解决这些问题，我们提出了一种新的方法命名为内和实例间协作学习（I3 CL）。具体来说，为了解决第一个问题，我们设计了一个具有多个感受野的有效卷积模块，它能够在文本实例中的局部和长范围内协作学习更好的字符和间隙特征表示。为了解决第二个问题，我们设计了一个基于实例的Transformer模块，利用不同文本实例之间的依赖关系和一个全局上下文模块，利用语义上下文从共享的背景，这是能够协作学习更多的歧视性文本特征表示。通过这种方式，I3 CL可以在统一的端到端可训练框架中有效地利用实例内和实例间的依赖关系。此外，为了充分利用未标记的数据，我们设计了一种有效的半监督学习方法，通过集成策略来利用伪标签。在没有花里胡哨的情况下，实验结果表明，所提出的I3 CL在三个具有挑战性的公共基准上设置了新的最先进的结果，即，ICDAR 2019-ArT的F测量值为77.5%，Total-Text为86.9%，CTW-1500为86.4%。值得注意的是，我们采用ResNeSt-101主干的I3 CL在ICDAR 2019-ArT排行榜上排名第一。源代码将在https://github.com/ViTAE-Transformer/ViTAE-Tran…
2022-04-20 cs.CV
ICDAR2019 Robust Reading Challenge on Arbitrary-Shaped Text (RRC-ArT)
University of Malaya（马来亚大学）；South China University of Technology（华南理工大学）；Baidu Inc（百度公司）；Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）
本文报告了ICDAR 2019年关于文本形状文本的鲁棒阅读挑战赛（RRC-ArT），其中包括三个主要挑战：i）场景文本检测，ii）场景文本识别和iii）场景文本定位。是次比赛共收到来自46队/个人的78份参赛作品。每种挑战的最高表现分数如下：i）T1 - 82.65%，ii）T2.1 - 74.3%，iii）T2.2 - 85.32%，iv）T3.1 - 53.86%，和v）T3.2 - 54.91%。除了结果，本文还详细介绍了ArT数据集，任务描述，评估指标和参与者的方法。数据集、评估工具包以及结果可在https://rrc.cvc.uab.es/?上公开获取ch=14
2019-09-16 cs.CV
ReLaText: Exploiting Visual Relationships for Arbitrary-Shaped Scene Text Detection with Graph Convolutional Networks
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；South China University of Technology（华南理工大学）
我们介绍了一种新的任意形状的文本检测方法命名为ReLaText制定文本检测作为一个视觉关系检测问题。为了证明这种新的配方的有效性，我们开始从使用“链接”的关系，以解决具有挑战性的文本行分组问题。其核心思想是将文本检测分解为两个子问题，即文本基元检测和相邻文本基元对之间的链接关系预测。具体地说，基于无锚区域建议网络的文本检测器首先用于从特征金字塔网络的不同特征图中检测不同尺度的文本基元，通过将从同一特征图中检测到的每对相邻文本基元与边缘连接来构建文本基元图。然后，使用基于图卷积网络（GCN）的链接关系预测模块来修剪文本基元图中错误链接的边，以生成多个不相交的子图，每个子图表示检测到的文本实例。由于GCN可以有效地利用上下文信息来提高链接预测的准确性，我们基于GCN的文本行分组方法可以实现更好的文本检测准确性比以前的文本行分组方法，特别是当处理文本实例与大字符间或非常小的行距。因此，所提出的ReLaText在五个公共文本检测基准上实现了最先进的性能，即RCTW-17，MSRA-TD 500，Total-Text，CTW 1500和DAST 1500。
2020-03-16 cs.CV
Mask is All You Need: Rethinking Mask R-CNN for Dense and Arbitrary-Shaped Scene Text Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Guangzhou University（广州大学）；Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
由于在目标检测和实例分割方面的巨大成功，Mask R-CNN引起了极大的关注，并被广泛用作任意形状场景文本检测和定位的强基线。然而，有两个问题尚待解决。第一种是密集文本情况，这是很容易被忽视，但相当实用。在一个方案中可能存在多个实例，这使得掩模头难以区分不同的实例，从而降低性能。在这项工作中，我们认为，性能下降的结果，从学习混乱的问题，在面具头。我们建议在掩码头中使用MLP解码器而不是“deconv-conv”解码器，这解决了问题并显著提高了鲁棒性。我们提出了实例感知的掩码学习，其中掩码头学习预测整个实例的形状，而不是将每个像素分类为文本或非文本。通过实例感知掩码学习，掩码分支可以学习分离和紧凑的掩码。其次，由于比例和长宽比的变化很大，RPN需要复杂的锚点设置，因此很难在不同的数据集之间进行维护和传输。为了解决这个问题，我们提出了一个自适应的标签分配，其中所有的实例，特别是那些极端的长宽比，保证与足够的锚。配备了这些组件，所提出的名为MAYOR的方法在包括DAST 1500，MSRA-TD 500，ICDAR 2015，CTW 1500和Total-Text在内的五个基准上实现了最先进的性能。
2021-09-08 cs.CV
DEER: Detection-agnostic End-to-End Recognizer for Scene Text Spotting
NAVER Clova（NAVER Clova（NAVER 克洛韦））
最近的端到端场景文本定位器在识别任意形状的文本实例方面取得了很大的进步。文本识别的常见方法使用感兴趣区域池或分割掩码来将特征限制为单个文本实例。然而，当检测不准确时，即一个或多个字符被裁剪时，这使得识别器难以解码正确的序列。考虑到它是很难准确地确定词的边界，只有检测器，我们提出了一种新的检测不可知的端到端识别器，DEER，框架。所提出的方法减少了检测和识别模块之间的紧密依赖性，通过为每个文本实例桥接它们，而不是使用检测到的区域。所提出的方法允许解码器识别由参考点指示的文本，具有来自整个图像的特征。由于只需要一个点来识别文本，所提出的方法使文本定位没有任意形状的检测器或边界多边形注释。实验结果表明，该方法在规则和任意形状的文本检测基准上取得了有竞争力的结果。进一步的分析表明，DEER对检测误差具有鲁棒性。代码和数据集将公开提供。
2022-03-10 cs.CV
TextRay: Contour-based Geometric Modeling for Arbitrary-shaped Scene Text Detection
College of Computer Science, Zhejiang University（浙江大学计算机学院）
由于文本的复杂几何布局，如大的纵横比，各种比例，随机旋转和曲线形状，因此形状复杂的文本检测是一项具有挑战性的任务。大多数最先进的方法从自下而上的角度解决这个问题，试图用简单的局部单元（例如，局部框或像素）并利用启发式后处理生成检测。在这项工作中，我们提出了一种任意形状的文本检测方法，即TextRay，它进行自上而下的基于轮廓的几何建模和几何参数学习在一个单镜头锚无框架。在极坐标系下进行几何建模，采用形状空间和参数空间的双向映射方案，将复杂的几何布局编码成统一的表示。为了有效地学习表示，我们设计了一个中心加权的训练策略和内容损失，建立几何编码和视觉内容之间的传播路径。TextRay在一个通道中输出简单的多边形检测，只有一个NMS后处理。在多个基准数据集上的实验证明了该方法的有效性。该代码可在https://github.com/LianaWang/TextRay上获得。
2020-08-12 cs.CV cs.LG
MT: Multi-Perspective Feature Learning Network for Scene Text Detection
Northwestern Polytechnical University（西北工业大学）
文本检测作为理解场景文本的关键技术，已成为一个引人注目的研究课题.为了检测各种场景文本，研究人员提出了大量具有不同优点的检测器：基于检测的模型具有快速的检测速度，基于分割的算法不受文本形状的限制。然而，对于大多数智能系统，检测器需要同时高速和准确地检测任意形状的文本。因此，在这项研究中，我们设计了一个高效的管道命名为MT，它可以检测粘附任意形状的文本，只有一个单一的二进制掩码在推理阶段。本文在三个方面做出了贡献：（1）设计了一个轻量级的检测框架，在保持高检测精度的同时加快推理过程;（2）提出了一个多视角特征模块，用于学习更多的判别表示，以准确地分割掩模;（3）引入多因素约束IoU最小损失来训练所提出的模型。在四个真实场景文本数据集上对机器翻译的有效性进行了评估，它在很大程度上超过了所有最先进的竞争对手。
2021-05-12 cs.CV
RSCA: Real-time Segmentation-based Context-Aware Scene Text Detection
UIUC（伊利诺伊大学厄巴纳-香槟分校）；University of Oregon（俄勒冈大学）；OPPO US Research Center（OPPO美国研究中心）；InnoPeak Technology（InnoPeak科技）
基于分割的场景文本检测方法近年来被广泛应用于任意形状的文本检测，因为它们可以对弯曲文本实例进行精确的像素级预测，并且可以促进实时的【形】推理，而无需耗时的锚点处理。然而，目前基于分割的模型无法学习弯曲文本的形状，并且通常需要复杂的标签分配或重复的特征聚合以进行更准确的检测。在本文中，我们提出了RSCA：一个基于实时的【形】分割的上下文感知模型，用于任意形状的场景文本检测，它为场景文本检测设置了一个强大的基线，具有两个简单而有效的策略：局部上下文感知上采样和动态文本脊标记，分别对局部空间变换和简化标签分配进行建模。基于这些策略，RSCA在速度和准确性方面都达到了最先进的性能，而无需复杂的标签分配或重复的特征聚合。我们在多个基准上进行了大量的实验，以验证我们的方法的有效性。RSCA-640在CTW 1500数据集上以48.3 FPS达到83.9%的F测量值。
2021-05-26 cs.CV
MEVL-STP: Multi-Encoder and Vision Language Model for Arbitrarily Shaped Scene Text Spotting
Rajiv Gandhi Institute of Petroleum Technology（拉吉夫·甘地石油技术学院）；Indian Institute of Technology (ISM) Dhanbad（印度理工学院（ISM）丹巴德分校）；University of Salford（索尔福德大学）
提出两阶段场景文本识别方法，用多冻结视觉编码器融合分割生成多边形掩码，再经LoRA微调的视觉语言模型识别，在CTW1500上达到SOTA，无需合成数据。
2026-09-25 cs.CV
PAN++: Towards Efficient and Accurate End-to-End Spotting of Arbitrarily-Shaped Text
Nanjing University（南京大学）；The University of Hong Kong（香港大学）；Nanjing University of Science and Technology（南京理工大学）；SenseTime Group Limited（商汤集团有限公司）；Alibaba Group（阿里巴巴集团）；Monash University（莫纳什大学）
在过去的几年中，场景文本检测和识别已经得到了很好的探索。尽管取得了进展，但有效和准确的端到端定位任意形状的文本仍然具有挑战性。在这项工作中，我们提出了一个端到端的文本定位框架，称为PAN++，它可以有效地检测和识别自然场景中的任意形状的文本。PAN++基于内核表示，将文本行重新表示为由外围像素包围的文本内核（中心区域）。通过与现有场景文本表示的系统比较，我们表明，我们的核表示不仅可以描述任意形状的文本，而且可以很好地区分相邻的文本。此外，作为一种基于像素的表示，核表示可以通过单个全卷积网络进行预测，这对实时应用非常友好。利用核表示的优点，我们设计了一系列组件：1）由堆叠的特征金字塔增强模块（FPEM）组成的计算效率高的特征增强网络; 2）与像素聚合（PA）合作的轻量级检测头;以及3）具有掩蔽RoI的高效基于注意力的识别头。得益于核表示和定制的组件，我们的方法实现了高推理速度，同时保持竞争力的准确性。大量的实验表明了该方法的优越性。例如，提出的PAN++在Total-Text数据集上以29.2 FPS实现了64.9的端到端文本识别F-测量，这明显优于以前的最佳方法。代码将在https://git.io/PAN上提供。
2021-08-02 cs.CV
SwinTextSpotter: Scene Text Spotting via Better Synergy between Text Detection and Text Recognition
South China University of Technology（华南理工大学）；Chinese University of Hong Kong（香港中文大学）；Huawei Cloud AI（华为云人工智能部门）；IntSig Information Co., Ltd（合合信息科技股份有限公司）；Peng Cheng Laboratory（鹏城实验室）
端到端的场景文本发现由于成功地挖掘了场景文本检测与识别的内在协同作用，近年来引起了人们的极大关注。然而，最近的国家的最先进的方法通常只是通过共享骨干，这并不直接利用这两个任务之间的功能相互作用，将检测和识别。在本文中，我们提出了一个新的端到端的场景文本定位框架，称为SwinTextSpotter。使用一个Transformer编码器与动态头作为检测器，我们统一了这两个任务与一个新的识别转换机制，明确指导文本定位通过识别损失。这种简单的设计产生了一个简洁的框架，既不需要额外的校正模块，也不需要对任意形状的文本进行字符级注释。在多方向数据集RoIC13和ICDAR 2015、任意形状数据集Total-Text和CTW1500以及多语言数据集ReCTS（中文）和VinText（越南语）上的定性和定量实验表明，SwinTextSpotter显著优于现有方法。代码可在www.example.com上获得。
2022-03-19 cs.CV
Efficient and Accurate Arbitrary-Shaped Text Detection with Pixel Aggregation Network
National Key Lab for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Tongji University（同济大学）；Megvii (Face++) Technology Inc.（旷视科技（Face++））；University of Electronic Science and Technology of China（电子科技大学）；The University of Adelaide（阿德莱德大学）
场景文本检测是场景文本阅读系统中的重要环节，近年来随着卷积神经网络的发展得到了迅速的发展。尽管如此，仍然存在两个主要挑战，并阻碍其部署到现实世界的应用程序。第一个问题是速度和准确性之间的权衡。第二种方法是对任意形状的文本实例进行建模。近年来，针对任意形状文本的检测问题，提出了一种高效、准确的任意形状文本检测算法--像素聚合网络（PAN），该算法具有低计算成本的分割头和可学习的后处理机制。更具体地，分割头由特征金字塔增强模块（FPEM）和特征融合模块（FFM）组成。FPEM是一个可扩展的U型模块，它可以引入多层次的信息来指导更好的分割。FFM可以将不同深度的FPEM给出的特征聚集到最终的特征中用于分割。可学习的后处理由像素聚合（PA）实现，它可以精确地聚合文本像素预测的相似性向量。在几个标准基准上的实验验证了所提出的PAN的优越性。值得注意的是，我们的方法可以在CTW 1500上以84.2 FPS实现79.9%的竞争力F测量。
2020-08-02 cs.CV
MaRINeR: Enhancing Novel Views by Matching Rendered Images with Nearby References
ETH Zurich（苏黎世联邦理工学院）；Microsoft Mixed Reality & AI Lab（微软混合现实与人工智能实验室）
MaRINeR通过匹配渲染图像与邻近参考，利用深度特征和层次化细节转移改进新视角渲染质量，适用于显式和隐式场景表示及多项下游任务。
2024-07-18 cs.CV
ABCNet: Real-time Scene Text Spotting with Adaptive Bezier-Curve Network
South China University of Technology（华南理工大学）；University of Adelaide（阿德莱德大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
场景文本的检测与识别受到了越来越多的研究关注。现有的方法可以大致分为两类：基于字符的和基于分割的。这些方法要么是字符注释成本高，要么需要维护一个复杂的管道，这往往是不适合实时的【形】应用。在这里，我们通过提出自适应Bezier曲线网络（ABCNet）来解决这个问题。我们的贡献是三方面的：1）第一次，我们适应性地适合任意形状的文本的参数化Bezier曲线。2)我们设计了一个新的BezierAlign层，用于提取具有任意形状的文本实例的准确卷积特征，与以前的方法相比，显着提高了精度。3)与标准的限界框检测相比，我们的Bezier曲线检测引入的计算开销可以忽略不计，从而使我们的方法在效率和准确性上都具有优势。在任意形状的基准数据集Total-Text和CTW 1500上进行的实验表明，ABCNet实现了最先进的准确性，同时显着提高了速度。特别是，在Total-Text上，我们的实时版本比最近的最先进的方法快10倍以上，具有竞争力的识别准确性。代码可在https://tinyurl.com/AdelaiDet上获得
2020-02-25 cs.CV
StereoGaussians: Feed-Forward 3D Gaussian Splatting from Stereo Images
Goertek Alpha Labs（歌尔Alpha实验室）
提出StereoGaussians，从单个立体图像对前馈预测度量3DGS表示，通过复用预训练立体网络特征与视差锚定几何，并增设高斯层和扩展画布处理遮挡与视野外内容，在立体基准上超越强基线。
2026-10-01 cs.CV
Dynamic Region Division for Adaptive Learning Pedestrian Counting
East China Normal University（华东师范大学）；East China University of Science and Technology（华东理工大学）；Shanghai Jiao Tong University（上海交通大学）
准确的行人计数算法是消除拥挤公共场景中不安全因素的关键。然而，在拥挤的场景中计数行人经常遭受严重的透视失真。本文在直线双区域行人计数方法的基础上，提出了一种动态区域划分算法，以保持计数对象的完整性。利用YoloV3算法得到的目标包围盒和场景的期望分割线，在保持整个头部的前提下，生成近、远区域的边界。进一步地，适当的学习模型被应用于在每个获得的区域中的行人计数。在远区，提出了一种新的初始扩张卷积神经网络，解决了扩张率的选择问题。在邻近区域，使用YoloV3进行多尺度行人检测。因此，通过融合附近区域和远处区域的结果来获得每帧中的行人总数。本文选取了一个典型的地铁行人视频数据集进行实验。实验结果表明，该算法在总体性能上优于现有的基于机器学习的方法。
2019-08-12 cs.CV
EK-Net:Real-time Scene Text Detection with Expand Kernel Distance
South China University of Technology（华南理工大学）；Peng Cheng Laboratory（鹏城实验室）
针对场景文本检测中收缩核导致的精度偏差问题，提出基于扩展核距离和三阶段回归的 EK-Net，在实现任意形状文本精确定位的同时兼顾速度，并在 ICDAR 2015 与 CTW1500 上取得先进性能。
2024-01-22 cs.CV
CT-Net: Arbitrary-Shaped Text Detection via Contour Transformer
China University of Mining and Technology（中国矿业大学）；Engineering Research Center of Mine Digitization, Ministry of Education of the People’s Republic of China（中华人民共和国教育部矿山数字化工程研究中心）；Shanghai Jiao Tong University（上海交通大学）
针对基于轮廓的场景文本检测中初始化不准、误差累积和局部信息聚合不足的问题，提出CT-Net框架，采用轮廓初始化与迭代细化模块，结合自适应训练和重评分机制，在四个数据集上取得优于现有方法的精度与速度。
2023-07-25 cs.CV
LVT: Large-Scale Scene Reconstruction via Local View Transformers
Google, USA（美国谷歌公司）；Northeastern University USA（美国东北大学）
针对标准 Transformer 二次复杂度限制大规模 3D 场景扩展的问题，本文提出 LVT，利用局部邻域视图、相对几何位置编码和 3D Gaussian Splat 表示，实现单次前向传播重建任意大的高分辨率场景。
2025-09-29 cs.CV cs.LG
Bidirectional Regression for Arbitrary-Shaped Text Detection
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
随着深度学习算法的普及，异形文本检测近年来得到了迅速的发展。然而，现有的方法往往得到不准确的检测结果，主要是由于相对较弱的能力，利用上下文信息和不适当的选择偏移参考。本文提出了一种新颖的文本实例表达式，它将前景和背景信息集成到管道中，并自然地使用文本边界附近的像素作为偏移开始。此外，本文还设计了相应的后处理算法，将四种预测结果依次组合，准确重构文本实例。我们评估我们的方法在几个具有挑战性的场景文本基准，包括弯曲和多方向的文本数据集。实验结果表明，所提出的方法获得了优越的或有竞争力的性能相比，其他国家的最先进的方法，例如，Total-Text的F分数为83.4%，MSRA-TD 500的F分数为82.4%等。
2021-07-13 cs.CV
UNeRF: Time and Memory Conscious U-Shaped Network for Training Neural Radiance Fields
University of British Columbia（不列颠哥伦比亚大学）
神经辐射场（NeRF）增加了新视图合成和场景重建的重建细节，其应用范围从大型静态场景到动态人体运动。然而，这种神经场的分辨率和无模型性质的提高是以高训练时间和过多的内存需求为代价的。最近的进展通过使用互补数据结构来改善推理时间，然而这些方法不适合于动态场景并且经常增加存储器消耗。在减少培训所需资源方面几乎没有做什么工作。我们提出了一种方法来利用冗余的NeRF的基于样本的计算，部分共享相邻样本点的评价。我们的UNeRF架构受到UNet的启发，其中空间分辨率在网络中间降低，并且信息在相邻样本之间共享。虽然这一变化违反了严格和有意识的分离的NeRF方法中的视图相关的外观和视图无关的密度估计，我们表明，它提高了新的视图合成。我们还介绍了一种替代的子采样策略，该策略在最大限度地减少任何违反视图不变性的情况下共享计算。UNeRF是原始NeRF网络的插件模块。我们的主要贡献包括减少内存占用，提高准确性，减少训练和推理过程中的摊销处理时间。只有弱假设的地方，我们实现了各种神经辐射场任务的资源利用率提高。我们展示了应用程序的静态场景，以及动态的人体形状和运动的新颖的视图合成。
2022-06-23 cs.CV cs.GR
All You Need Is Boundary: Toward Arbitrary-Shaped Text Spotting
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）
最近，旨在从杂乱图像中同时检测和识别文本的端到端文本定位在计算机视觉中特别受到越来越多的关注。与现有的将文本检测归结为限界框提取或实例分割的方法不同，本文在文本实例的边界上定位一组点。利用这些边界点的表示，我们建立了一个简单而有效的端到端文本识别方案，它可以读取任意形状的文本。在ICDAR 2015、TotalText和COCO-Text三个具有挑战性的数据集上的实验表明，该方法在场景文本检测和端到端文本识别任务中始终优于最先进的方法。
2019-11-21 cs.CV
DNTextSpotter: Arbitrary-Shaped Scene Text Spotting via Improved Denoising Training
Soochow University（苏州大学）；bilibili Inc.（哔哩哔哩公司）；The Hong Kong Polytechnic University（香港理工大学）
本文提出DNTextSpotter去噪训练方法，通过分解带噪查询、Bezier控制点生成位置查询和掩码字符滑动初始化内容查询，解决任意形状文本识别中二分图匹配不稳定问题，并在多个基准上取得最优性能。
2025-06-02 cs.AI cs.CV
Corner Detection Based on Multi-directional Gabor Filters with Multi-scales
CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61所）
Gabor小波是图像分析和计算机视觉的重要工具。多尺度局部结构张量在局部特征提取中有着广泛的应用。研究表明，目前基于Gabor小波的角点检测方法不能有效地应用于复杂场景。在这项工作中，Gabor函数的能力来区分阶跃边缘，L形角，Y形或T形角，X形角，和星形角的强度变化进行了研究。研究了Gabor小波对仿射图像变换的抑制特性。在此基础上，提出了一种新的角点提取方法。为了充分利用调整后的Gabor滤波器的结构信息，构造了一种新的多方向结构张量进行角点检测，并提出了一种多尺度角点测量函数来去除虚假候选角点。此外，我们比较了所提出的方法与12个当前国家的最先进的方法，表现出最佳的性能和实际应用的三维重建具有良好的应用潜力。
2023-03-08 cs.CV
Unitail: Detecting, Reading, and Matching in Retail Scene
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）；Tsinghua University（清华大学）
要在门店中充分利用计算机视觉技术，需要考虑贴合零售场景特点的实际需求。为了实现这一目标，我们引入了联合零售数据集（Unitail），这是一个针对产品基本视觉任务的大规模基准，挑战了检测、读取和匹配算法。通过标注180万个四边形实例，Unitail提供了一个检测数据集，可以更好地对齐产品外观。此外，它还提供了一个画廊式的OCR数据集，包含1454个产品类别，30k个文本区域和21k个transname，以实现对产品的强大阅读并促进增强的产品匹配。除了使用各种最先进的技术对数据集进行基准测试外，我们还为产品检测定制了一个新的检测器，并提供了一个简单的基于OCR的匹配解决方案，以验证其有效性。
2022-07-20 cs.CV
LRANet: Towards Accurate and Efficient Scene Text Detection with Low-Rank Approximation Network
Fudan University（复旦大学）；Baidu Inc.（百度）；China University of Mining and Technology（中国矿业大学）；Tomorrow Advancing Life（好未来）
本文提出LRANet，通过低秩近似参数化文本形状并结合稀疏与密集双重分配，在多个基准上实现了准确高效的任意形状场景文本检测。
2024-01-24 cs.CV
PanoRoom: From the Sphere to the 3D Layout
Université de Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）；Universidad de Zaragoza（萨拉戈萨大学）
我们提出了一种新的FCN能够与全向图像，输出准确的概率图表示的主要结构的室内场景，这是能够概括不同的数据。我们的方法处理闭塞和恢复复杂形状的房间更忠实于真实场景的实际形状。我们不仅在3D模型的准确性方面，而且在速度方面都优于最先进的技术。
2018-08-29 cs.CV
Refined Plane Segmentation for Cuboid-Shaped Objects by Leveraging Edge Detection
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））
从单个RGB图像的平面分割领域的最新进展显示出很强的准确性改进，现在可以可靠地将室内场景分割成平面。尽管如此，这些分割掩模的细粒度细节仍然缺乏准确性，因此限制了这些技术在许多应用中的更大规模的可用性，例如用于增强现实用例的修复。我们提出了一个后处理算法，以对齐分割的平面掩模与图像中检测到的边缘。这使我们能够提高最先进方法的准确性，同时将自己限制在长方体形状的物体上。我们的方法是出于物流，其中这个假设是有效的和完善的飞机可以用来执行强大的目标检测，而不需要监督学习。两个基线的结果和我们的方法在我们自己的数据集上报告，我们公开提供。结果表明，在国家的最先进的一致的改善。的影响，事先分割和边缘检测的调查，最后，未来的研究领域提出了建议。
2020-03-28 cs.CV
Natural scene statistics mediate the perception of image complexity
人类对模式的复杂性和规律性很敏感。模式复杂性的主观感知与计算机科学中定义的算法（Kolmogorov-Chaitin）复杂性相关，但也与自然发生模式的频率相关。然而，自然频率在感知算法复杂性中可能的中介作用仍然不清楚。在这里，我们通过中介分析重新分析Hsu et al.（2010），并在一个新的实验中补充他们的结果。我们的结论是，人类感知的复杂性似乎部分塑造了自然场景的统计，从而建立了一个复杂性的感知和自然场景的统计效果之间的联系。
2015-09-14 cs.AI cs.CV
Fourier Contour Embedding for Arbitrary-Shaped Text Detection
South China University of Technology（华南理工大学）；SenseTime Research（商汤科技研究院）；Pazhou Lab（琶洲实验室）；Shanghai AI Laboratory（上海人工智能实验室）
任意形状文本检测的主要挑战之一是设计一个良好的文本实例表示，允许网络学习不同的文本几何变化。现有的方法大多是在图像空间域中通过笛卡尔坐标系或极坐标系中的掩码或轮廓点序列来对文本实例进行建模。然而，掩模表示可能导致昂贵的后处理，而点序列表示可能具有有限的能力来建模具有高度弯曲形状的文本。为了解决这些问题，我们在傅立叶域中的文本实例建模，并提出了一种新的傅立叶轮廓嵌入（FCE）方法来表示任意形状的文本轮廓紧凑的签名。我们进一步构建FCENet的骨干，特征金字塔网络（FPN）和一个简单的后处理与逆傅立叶变换（IFT）和非最大值抑制（NMS）。与以往的方法不同，FCENet首先预测文本实例的紧凑傅立叶特征，然后在测试过程中通过IFT和NMS重建文本轮廓。大量的实验表明，FCE是准确和鲁棒的，以适应场景文本的轮廓，即使是高度弯曲的形状，也验证了FCENet的有效性和良好的泛化能力，为任意形状的文本检测。此外，实验结果表明，我们的FCENet是优于国家的最先进的（SOTA）方法CTW 1500和Total-Text，特别是在具有挑战性的高度弯曲的文本子集。
2021-04-22 cs.CV
Semantic Scene Completion via Integrating Instances and Scene in-the-Loop
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；Samsung Research Institute China - Beijing（三星中国研究院（北京））；Xidian University（西安电子科技大学）
语义场景完成旨在从单视图深度或RGBD图像重建具有精确体素语义的完整3D场景。这是室内场景理解的一个关键而又具有挑战性的问题。在这项工作中，我们提出了一个新的框架命名为场景实例场景网络（\textit{SISNet}），它利用实例和场景级语义信息。我们的方法是能够推断细粒度的形状细节，以及附近的对象，其语义类别很容易混淆。关键的见解是，我们解耦的实例从一个粗略完成的语义场景，而不是一个原始的输入图像，以指导重建的实例和整个场景。SISNet进行迭代的场景到实例（SI）和实例到场景（IS）语义完成。具体地，SI能够对对象的周围上下文进行编码，以有效地将实例与场景解耦，并且每个实例可以被体素化为更高的分辨率以捕获更精细的细节。使用IS，细粒度的实例信息可以被集成回3D场景中，从而导致更准确的语义场景完成。利用这种迭代机制，场景和实例完成彼此受益，以实现更高的完成精度。广泛的实验表明，我们提出的方法在真实的NYU，NYUCAD和合成SUNG-RGBD数据集上的性能始终优于最先进的方法。代码和补充材料可在\url{https://github.com/yjcaimeow/SISNet}上获得。
2021-06-06 cs.CV
Free View Synthesis
Intel Labs（英特尔研究院）
我们提出了一种新的视图合成方法，从输入图像，自由分布在一个场景。我们的方法不依赖于输入视图的规则排列，可以通过场景合成自由相机移动的图像，并且适用于具有不受约束的几何布局的一般场景。我们通过SfM校准输入图像，并通过MVS建立一个粗略的几何支架。这个支架用于为场景的新视图创建代理深度图。基于该深度图，递归编码器-解码器网络处理来自附近视图的重新投影特征并合成新视图。我们的网络不需要针对特定场景进行优化。在数据集上训练后，它可以在以前看不见的环境中工作，无需微调或按场景优化。我们评估了具有挑战性的现实世界的数据集，包括坦克和寺庙，在那里我们展示了成功的视图合成的第一次，并大大优于先前和并发的工作所提出的方法。
2020-08-12 cs.CV
FAST: Faster Arbitrarily-Shaped Text Detector with Minimalist Kernel Representation
Nanjing University（南京大学）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
我们提出了一个准确和有效的场景文本检测框架，称为FAST（即，更快的任意形状的文本检测器）。与最近使用复杂的后处理和手工制作的网络架构导致推理速度较低的高级文本检测器不同，FAST有两个新的设计。(1)我们设计了一个极简的内核表示（只有1通道输出）来对任意形状的文本进行建模，以及一个GPU并行的后处理来有效地组装文本行，时间开销可以忽略不计。(2)我们搜索为文本检测量身定制的网络架构，从而获得比大多数用于图像分类的网络更强大的功能。得益于这两种设计，FAST在几个具有挑战性的数据集（包括Total Text、CTW 1500、ICDAR 2015和MSRA-TD 500）上实现了准确性和效率之间的出色平衡。例如，FAST-T在Total-Text上以152 FPS的速度产生81.6%的F-measure，在准确性和速度方面比之前最快的方法高出1.7分和70 FPS。通过TensorRT优化，推理速度可以进一步加快到600 FPS以上。代码和模型将在https://github.com/czczup/FAST上发布。
2023-01-11 cs.CV
SeeThrough: Finding Chairs in Heavily Occluded Indoor Scene Images
University College London（伦敦大学学院）；Adobe Systems（Adobe系统公司）
从单个室内图像中发现对象的3D布置是重要的，因为其许多应用包括室内设计、内容创建等。虽然近年来大量研究，但现有方法在中等或重度遮挡下失效，因为核心目标检测模块在没有直接可见线索的情况下开始失效。相反，我们考虑到整体的上下文3D信息，利用室内场景中的物体大多以典型的近规则配置共同出现的事实。首先，我们使用一个神经网络在真实的室内注释图像上训练，以提取2D关键点，并将它们馈送到3D候选对象生成阶段。然后，我们解决了一个全球性的选择问题，这些3D候选人使用成对共现统计发现从一个大型的3D场景数据库。我们对该过程进行了改进，允许基于已经发现的附近对象的位置来增量地检测具有低关键点响应的候选对象。专注于椅子上，我们展示了显着的性能改善的国家的最先进的方法的组合，特别是对于中度到严重遮挡对象的场景。
2017-12-04 cs.CV
Diving into the Depths of Spotting Text in Multi-Domain Noisy Scenes
Indian Statistical Institute（印度统计研究所）；Computer Vision Center（计算机视觉中心）；Universitat Autónoma de Barcelona（巴塞罗那自治大学）
本文研究领域无关的场景文本检测与识别问题，提出水下噪声场景基准UWT，并设计了基于超分辨率的端到端transformer基线DA-TextSpotter，在多域泛化性能与效率上取得显著提升。
2024-02-17 cs.CV
Text Perceptron: Towards End-to-End Arbitrary-Shaped Text Spotting
Hikvision Research Institute, China（海康威视研究院）；Zhejiang University, China（浙江大学）
近年来，人们提出了许多方法来检测不规则场景文本，并取得了良好的效果。然而，它们的定位结果可能不能很好地满足以下文本识别部分，主要是因为两个原因：1）识别任意形状的文本仍然是一项具有挑战性的任务，以及2）文本检测和文本识别之间普遍的不可训练的管道策略将导致次优性能。为了解决这个不兼容的问题，在本文中，我们提出了一个端到端的可训练的文本识别方法命名为文本感知器。具体地说，文本感知器首先采用一种高效的基于分割的文本检测器，学习潜在的文本阅读顺序和边界信息。然后提出了一种新的形状变换模块（Shape Transform Module，简称Shape Transform）。STM）的目的是将检测到的特征区域转换成规则的形态，而无需额外的参数。它将文本检测和后续的识别部分统一到一个整体框架中，帮助整个网络实现全局优化。实验表明，我们的方法在两个标准的文本基准测试中取得了有竞争力的性能，ICDAR 2013和ICDAR 2015，在不规则文本基准SCUT-CTW 1500和Total-Text上也明显优于现有方法。
2021-10-25 cs.CV
Vision-based Neural Scene Representations for Spacecraft
European Space Agency（欧洲空间局）
在具有高度自主性的先进任务概念中，航天器需要在内部模拟附近轨道物体的姿态和形状。最近的工作在神经场景表示的推断一般的三维场景从光学图像显示出有前途的结果。神经辐射场（NeRF）已经在使用大量图像及其姿势渲染高度镜面反射表面方面显示出成功。最近，生成辐射场（GRAF）实现了完整的体积重建的场景从unposed图像，由于使用对抗框架训练NeRF。在本文中，我们比较和评估NeRF和GRAF的潜力，使新的意见和提取的3D形状的两个不同的航天器，土壤水分和海洋盐度卫星欧空局的生命星球计划和一个通用的立方体卫星。考虑到这两种模型的最佳性能，我们观察到NeRF有能力在航天器的材料镜面反射及其姿态方面呈现更准确的图像。就其本身而言，GRAF即使在卫星的部分被遮蔽时也能生成具有精确细节的精确新颖视图，同时具有不需要任何有关相对姿态的信息的显著优势。
2021-05-11 cs.CV
Dataset and Benchmark for Urdu Natural Scenes Text Detection, Recognition and Visual Question Answering
Huazhong University of Science and Technology（华中科技大学）
本研究构建了包含超1000张图像、带细粒度标注的乌尔都语自然场景多任务数据集，覆盖文本检测、识别与VQA任务，填补了该领域数据集与基准的空白。
2024-05-21 cs.CV
HouseCrafter: Lifting Floorplans to 3D Scenes with 2D Diffusion Model
Northeastern University（东北大学）；Stability AI
HouseCrafter通过适配2D扩散模型自回归生成一致的RGB-D图像，将平面图提升为房屋尺度的高质量3D室内场景，并在3D-Front上验证了有效性。
2025-08-19 cs.CV
FastTextSpotter: A High-Efficiency Transformer for Multilingual Scene Text Spotting
Indian Statistical Institute（印度统计研究所）；Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
本文提出FastTextSpotter框架，通过结合Swin Transformer骨干网络与编码器-解码器架构，并引入更快的自注意力单元SAC2，在多语言场景文本检测与识别中同时提升了精度和效率。
2025-03-12 cs.CV
Shot Contrastive Self-Supervised Learning for Scene Boundary Detection
Amazon Prime Video（亚马逊Prime Video）
场景在将电影和电视剧的故事情节分解成语义上有凝聚力的部分方面起着至关重要的作用。然而，鉴于其复杂的时间结构，寻找场景边界可能是一项具有挑战性的任务，需要大量的标记训练数据。为了解决这一挑战，我们提出了一个自我监督的镜头对比学习方法（ShotCoL）学习镜头表示，最大限度地提高附近的镜头之间的相似性相比，随机选择的镜头。我们展示了如何将我们学习的镜头表示应用于场景边界检测任务，以在MovieNet数据集上提供最先进的性能，同时只需要约25%的训练标签，使用9倍的模型参数，并提供7倍的运行时间。为了评估ShotCoL在场景边界检测的新应用中的有效性，我们承担了在电影和电视剧中找到时间戳的问题，其中可以插入视频广告，同时提供最小的破坏性观看体验。为此，我们收集了一个名为AdCuepoints的新数据集，其中包含3，975部电影和电视剧集，220万个镜头和19，119个最小破坏性广告提示点标签。我们对该数据集进行了全面的实证分析，证明了ShotCoL用于广告提示点检测的有效性。
2021-04-28 cs.CV
Constraining Depth Map Geometry for Multi-View Stereo: A Dual-Depth Approach with Saddle-shaped Depth Cells
Huazhong University of Science and Technology（华中科技大学）
针对现有多视图立体方法忽略深度几何结构的问题，提出由鞍形单元构成的理想深度几何，构建Dual-MVSNet框架，通过双深度预测、新型损失与棋盘选择策略约束深度几何，在多个基准上取得优异性能并开辟新研究方向。
2023-07-18 cs.CV
A Probabilistic Framework for Visual Localization in Ambiguous Scenes
KTH Royal Institute of Technology（KTH皇家理工学院）；Univrses AB（Univrses公司）
视觉定位允许自主机器人在失去其姿势时通过将其当前观察与过去的观察相匹配来重新定位。然而，模糊的场景对这样的系统提出了挑战，因为重复的结构可以从许多不同的、同样可能的相机姿势中观察到，这意味着产生单个最佳姿势假设是不够的。在这项工作中，我们提出了一个概率框架，对于一个给定的图像预测其相机姿态的任意形状的后验分布。我们这样做，通过一个新的配方相机姿态回归使用变分推理，它允许从预测的分布采样。我们的方法优于现有的方法定位在模糊的场景。代码和数据将在https://github.com/efreidun/vapor上发布。
2023-01-05 cs.CV cs.RO
Fysiverse-3D-SimReady Technical Report: Agentic Physical Simulation for Pragmatic 3D World Reconstruction
提出Fysiverse-3D-SimReady框架，从单张RGB图像重建仿真就绪多物体场景，通过可微渲染和接触校正提升物理稳定性，支持智能体目标驱动的物理仿真。
2026-09-29 cs.CV
IBRNet: Learning Multi-View Image-Based Rendering
Google Research（谷歌研究院）；Cornell Tech Cornell University（康奈尔大学康奈尔科技校区）；Princeton University（普林斯顿大学）
我们提出了一种方法，通过插值稀疏的附近的意见，合成复杂场景的新观点。我们的方法的核心是一个网络架构，包括一个多层感知器和一个射线Transformer，估计辐射和体积密度在连续的5D位置（3D空间位置和2D观看方向），绘制外观信息的飞行从多个源视图。通过在渲染时绘制源视图，我们的方法可以追溯到基于图像的渲染（IBR）的经典工作，并允许我们渲染高分辨率的图像。与神经场景表示工作，优化每个场景的渲染功能，我们学习一个通用的视图插值函数，概括到新的场景。我们使用经典的体渲染渲染图像，这是完全可区分的，并允许我们训练只使用多视图构成的图像作为监督。实验表明，我们的方法优于最近的新的视图合成方法，也寻求推广到新的场景。此外，如果对每个场景进行微调，我们的方法与最先进的单场景神经渲染方法相比具有竞争力。项目页面：https://ibrnet.github.io/
2021-04-06 cs.CV
Harnessing the Power of Multi-Lingual Datasets for Pre-training: Towards Enhancing Text Spotting Performance
Indian Statistical Institute（印度统计学院）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Indian Institute of Technology, Kharagpur（印度理工学院卡哈拉格普尔分校）
针对场景文本定位的跨领域适应难题，本文研究多领域源数据训练与中间特征表示，并基于 Swin-TESTR 评估规则及任意形状文本，在多领域基准上提升准确率与效率。
2023-11-01 cs.CV
MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo
ShanghaiTech University（上海科技大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Adobe Research（Adobe研究院）
我们提出了MVSNeRF，一种新的神经渲染方法，可以有效地重建神经辐射场的视图合成。与先前在神经辐射场上考虑密集捕获图像上的每场景优化的工作不同，我们提出了一种通用的深度神经网络，该网络可以通过快速网络推理从仅三个附近的输入视图重建辐射场。我们的方法利用平面扫描成本卷（广泛用于多视图立体视觉）的几何感知场景推理，并将其与基于物理的体渲染神经辐射场重建。我们在DTU数据集中的真实对象上训练我们的网络，并在三个不同的数据集上对其进行测试，以评估其有效性和通用性。我们的方法可以概括跨场景（即使是室内场景，完全不同于我们的训练场景的对象），并生成逼真的视图合成结果，仅使用三个输入图像，显着优于并发工作的可概括的辐射场重建。此外，如果捕获密集图像，我们估计的辐射场表示可以很容易地进行微调;这导致快速的每场景重建，具有更高的渲染质量和比NeRF少得多的优化时间。
2021-08-24 cs.CV
A Single-Shot Arbitrarily-Shaped Text Detector based on Context Attended Multi-Task Learning
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）；Department of Computer Vision Technology (VIS), Baidu Inc.（百度公司计算机视觉技术部（VIS））
在过去的几年里，检测任意形状的场景文本一直是一项具有挑战性的任务。在本文中，我们提出了一种新的分割为基础的文本检测器，即SAST，它采用了一个上下文出席的多任务学习框架的基础上全卷积网络（FCN）学习各种几何属性的多边形表示的文本区域的重建。考虑到文本的序列特征，引入上下文注意块来捕获像素信息的长程依赖性，从而获得更可靠的分割。在后处理中，提出了一种点到四边形分配方法，通过在Single Shot中集成高层对象知识和低层像素信息来将像素聚类为文本实例。此外，多边形表示的任意形状的文本可以更有效地提取与所提出的几何属性。在ICDAR2015、ICDAR2017-MLT、SCUT-CTW1500和Total-Text等多个基准测试上的实验表明，SAST在准确性方面实现了更好或相当的性能。此外，该算法在SCUT-CTW1500上以27.63 FPS运行，在单个NVIDIA Titan Xp图形卡上的Hmean为81.0%，超过了大多数现有的基于分割的方法。
2019-08-15 cs.CV
From Explicit References to Scene Manifolds: Distributional Fidelity and Realism for Radiance Field Quality Assessment
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec（imec研究院）；Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院（ETRI））
针对辐射场渲染视图质量评估，提出SCODA方法，通过场景流形建模和失真感知判别器，实现无需参考图像的客观评估，在多个基准上验证了与人类判断的高度一致性。
2026-09-09 cs.CV
Building Rome from a Single Image
本文提出一种基于单张图像生成完整3D场景网格的方法，通过自适应分块、显式2D-3D对应及合成户外数据，重新设计物体中心生成器，在室内外场景中均优于现有基线。
2026-10-07 cs.CV
Hole-robust Wireframe Detection
Samsung Research AI Center（三星研究AI中心）
“线框”是一种基于线段的表示方法，旨在很好地捕捉我们周围规则的、结构形状的人造场景的大规模视觉特性。与线框不同，传统的边或线段集中在所有可见的边和线上，而没有特别区分它们中的哪一个对人造结构信息更突出。现有的线框检测模型依赖于监督的注释数据，但没有明确注意了解如何组成的场景的结构形状。此外，我们经常面临的是，许多前景物体遮挡了背景场景，干扰了对它们后面的整个场景结构的正确推断。为了解决这些问题，我们首次在该领域提出了新的条件数据生成和训练，帮助模型理解如何忽略由孔指示的遮挡，例如图像上掩盖的前景对象区域。此外，我们首次在模型中结合GAN，让模型更好地预测底层场景结构，即使在大的洞。我们还引入了伪标记来进一步扩大模型容量，以克服小规模标记数据。我们定性和定量地表明，我们的方法显着优于以前的作品无法处理孔，以及提高普通检测没有孔。
2021-11-30 cs.CV
Conceptual Text Region Network: Cognition-Inspired Accurate Scene Text Detection
School of Mathematics, Tianjin University（天津大学数学学院）；School of Computing, Merchiston Campus, Edinburgh Napier University（爱丁堡龙比亚大学计算学院）
基于分割的方法在描述任意形状的文本实例方面具有优越性，因此被广泛应用于场景文本检测。然而，仍然存在两个主要问题：1）目前的标签生成技术大多是经验性的，缺乏理论支持，阻碍了精细的标签设计; 2）因此，大多数方法严重依赖于文本核分割，这是不稳定的，需要刻意调整。为了应对这些挑战，我们提出了一个人类认知启发的框架，称为概念文本区域网络（CTRNet）。该框架利用概念文本区域（CTR），这是一类基于认知的工具，继承了良好的数学属性，允许复杂的标签设计。CTRNet的另一个组件是一个推理管道，在CTR的帮助下，它完全省略了文本内核分割的需要。与以前的分割方法相比，我们的方法不仅更可解释，而且更准确。实验结果表明，CTRNet在基准CTW 1500、Total-Text、MSRA-TD 500和ICDAR 2015数据集上实现了最先进的性能，性能提升高达2.0%。值得注意的是，据我们所知，CTRNet是第一个在所有四个基准测试中实现F测量值高于85.0%的检测模型之一，具有显着的一致性和稳定性。
2021-03-16 cs.CV
A Text Attention Network for Spatial Deformation Robust Scene Text Image Super-resolution
The Hong Kong Polytechnic University（香港理工大学）；OPPO Research（OPPO研究院）
场景文本图像超分辨率的目的是提高低分辨率图像中文本的分辨率和可读性。虽然深度卷积神经网络（CNN）已经取得了显着的改善，它仍然很难重建高分辨率的图像空间变形的文本，特别是旋转和曲线形状的。这是因为当前基于CNN的方法采用基于局部的操作，这对于处理由变形引起的变化是无效的。在本文中，我们提出了一个基于CNN的文本注意网络（TATT）来解决这个问题。首先通过文本识别模块提取文本的语义作为文本的先验信息。然后，我们设计了一个新的基于transformer的模块，它利用全局注意力机制，发挥文本的语义指导之前的文本重建过程。此外，我们提出了一个文本结构的一致性损失，以改善的视觉外观，通过施加结构的一致性重建的规则和变形的文本。在TextZoom基准数据集上的实验表明，该算法不仅在PSNR/SSIM指标上达到了最佳性能，而且在后续文本识别任务中显著提高了识别精度，尤其是对于多方向和弯曲形状的文本实例。代码可在https://github.com/mjq11302010044/TATT上获得。
2022-03-18 cs.CV
Recurrent Scene Parsing with Perspective Understanding in the Loop
University of California, Irvine（加州大学尔湾分校）
物体可能以任意尺度出现在场景的透视图像中，这对以固定分辨率处理图像的识别系统构成了挑战。我们提出了一个深度感知门控模块，根据对象尺度（与深度成反比）自适应地选择卷积网络架构中的池域大小，以便为远处的对象保留小细节，而较大的感受野用于附近的对象。深度选通信号由立体视差提供或直接从单目输入估计。我们将这种深度感知门控集成到一个循环卷积神经网络中，以执行语义分割。我们的循环模块迭代地细化分割结果，利用以前迭代的深度和语义预测。通过在四个流行的大规模RGB-D数据集上的广泛实验，我们证明了这种方法具有竞争力的语义分割性能，模型更加紧凑。我们对这种架构进行了广泛的分析，包括在单目RGB上操作但在训练过程中使用深度作为边信息的变体，无监督门控作为通用注意力机制，以及多分辨率门控。我们发现，联合语义分割和深度的门控池产生定量单目深度估计的最先进的结果。
2017-12-06 cs.CV
