In recent years, the dominant paradigm for text spotting is to combine the tasks of text detection and recognition into a single end-to-end framework. Under this paradigm, both tasks are accomplished by operating over a shared global feature map extracted from the input image. Among the main challenges that end-to-end approaches face is the performance degradation when recognizing text across scale variations (smaller or larger text), and arbitrary word rotation angles. In this work, we address these challenges by proposing a novel global-to-local attention mechanism for text spotting, termed GLASS, that fuses together global and local features. The global features are extracted from the shared backbone, preserving contextual information from the entire image, while the local features are computed individually on resized, high-resolution rotated word crops. The information extracted from the local crops alleviates much of the inherent difficulties with scale and word rotation. We show a performance analysis across scales and angles, highlighting improvement over scale and angle extremities. In addition, we introduce an orientation-aware loss term supervising the detection task, and show its contribution to both detection and recognition performance across all angles. Finally, we show that GLASS is general by incorporating it into other leading text spotting architectures, improving their text spotting performance. Our method achieves state-of-the-art results on multiple benchmarks, including the newly released TextOCR.
Huazhong University of Science and Technology（华中科技大学）；bytedance（字节跳动）；South China University of Technology（华南理工大学）；Zhejiang University（浙江大学）；Chinese University of Hong Kong（香港中文大学）
South China University of Technology（华南理工大学）；Zhejiang University（浙江大学）；Huazhong University of Science and Technology（华中科技大学）；Chinese University of Hong Kong（香港中文大学）；Huawei Cloud Computing Technologies（华为云计算技术有限公司）
SwinTextSpotter: Scene Text Spotting via Better Synergy between Text Detection and Text Recognition
South China University of Technology（华南理工大学）；Chinese University of Hong Kong（香港中文大学）；Huawei Cloud AI（华为云人工智能部门）；IntSig Information Co., Ltd（合合信息科技股份有限公司）；Peng Cheng Laboratory（鹏城实验室）
TextBlockV2: Towards Precise-Detection-Free Scene Text Spotting with Pre-trained Language Model
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Lenovo Research（联想研究院）；School of Cyber Science and Engineering, Nanjing University of Science and Technology（南京理工大学网络空间科学与工程学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
Towards End-to-End Text Spotting in Natural Scenes
Northwestern Polytechnical University（西北工业大学）；National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（空天地海一体化大数据应用技术国家工程实验室）；Samsung Research（三星研究院）；Monash University（莫纳什大学）；The University of Adelaide（阿德莱德大学）
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Institut de Robòtica i Informàtica Industrial, CSIC-UPC（机器人与工业信息研究所（CSIC-UPC））
野外文本识别包括检测和识别图像中出现的文本（例如，标志牌、交通信号或衣服或物体中的品牌）。这是一个具有挑战性的问题，因为文本出现的上下文的复杂性（不均匀的背景，阴影，遮挡，透视扭曲等）。只有少数方法尝试利用文本与其周围环境之间的关系来更好地识别场景中的文本。在本文中，我们提出了一个用于文本识别的视觉上下文数据集，其中公开可用的数据集COCO-text [Veit et al. 2016]已经扩展了有关场景的信息（例如图像中出现的对象和地点），使研究人员能够在他们的文本识别系统中包含文本和场景之间的语义关系，并为这些方法提供一个通用框架。对于图像中的每个文本，我们提取三种上下文信息：场景中的对象，图像位置标签和文本图像描述（标题）。我们使用最先进的现成可用工具来提取这些额外信息。由于这些信息具有文本形式，因此可以将文本相似性或语义关系方法用于文本识别系统，无论是作为后处理还是端到端的训练策略。我们的数据可在https://git.io/JeZTb上公开获取。
Visual Re-ranking with Natural Language Understanding for Text Spotting
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Institut de Robòtica i Informàtica Industrial (CSIC-UPC)（工业机器人与信息技术研究所（西班牙国家研究委员会-加泰罗尼亚理工大学））
Date-Field Retrieval in Scene Image and Video Frames using Text Enhancement and Shape Coding
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Institute of Engineering & Management, Kolkata（加尔各答工程与管理学院）；Indian Statistical Institute, Kolkata（印度统计学院加尔各答分校）
SwinTextSpotter v2: Towards Better Synergy for Scene Text Spotting
South China University of Technology（华南理工大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Chinese University of Hong Kong（香港中文大学）；Huazhong University of Science and Technology（华中科技大学）
When Semantics Mislead Vision: Mitigating Large Multimodal Models Hallucinations in Scene Text Spotting and Understanding
University of Trento（特伦托大学）；Hong Kong University of Science and Technology（香港科学与技术大学）；University of International Relations（国际关系大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；Nanjing University of Science and Technology（南京理工大学）；VCIP & TMCC & DISSec, College of Computer Science, Nankai University（南开大学计算机学院）；University of Central Florida（佛罗里达中央大学）
PAN++: Towards Efficient and Accurate End-to-End Spotting of Arbitrarily-Shaped Text
Nanjing University（南京大学）；The University of Hong Kong（香港大学）；Nanjing University of Science and Technology（南京理工大学）；SenseTime Group Limited（商汤集团有限公司）；Alibaba Group（阿里巴巴集团）；Monash University（莫纳什大学）
Word length-aware text spotting: Enhancing detection and recognition in dense text image
Wuhan Institute of Technology（武汉工程大学）；Hubei Key Laboratory of Intelligent Robot（湖北省智能机器人重点实验室）；Hubei University of Arts and Science（湖北文理学院）；Wuhan University（武汉大学）
TALP Research Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学TALP研究中心）；Institut de Robòtica i Informàtica Industrial (CSIC-UPC)（工业机器人与信息技术研究所（西班牙国家研究委员会-加泰罗尼亚理工大学））
Cascaded Segmentation-Detection Networks for Word-Level Text Spotting
University of California Santa Cruz（加州大学圣克鲁兹分校）
我们介绍了一种算法，字级的文本发现，能够准确可靠地确定文本的单个单词的边界区域“在野外”。我们的系统是由两个卷积神经网络级联而成。第一个网络是完全卷积的，负责检测包含文本的区域。这导致输入图像的非常可靠但可能不准确的分割。第二个网络（受流行的YOLO架构的启发）分析第一阶段产生的每个片段，并预测包含单个单词的定向矩形区域。不需要后处理（例如文本行分组）。在Titan X GPU上处理1000 x 560图像的执行时间为450 ms，我们的系统在ICDAR 2015 Incidental Scene Text数据集基准测试中获得了迄今为止已发布算法中的最高分数。
TraRA: Trajectory-level Recognition Aggregation for Video Text Spotting in Urban Surveillance
RIKEN（日本理化学研究所）；Hanoi University of Science and Technology（河内科学技术大学）；Nagoya University（名古屋大学）；Lawrence Technological University（劳伦斯技术大学）；Ritsumeikan University（立命馆大学）
TPSNet: Reverse Thinking of Thin Plate Splines for Arbitrary Shape Scene Text Representation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Mashang Consumer Finance Co., Ltd（马上消费金融股份有限公司）
近年来，场景文本检测和识别的研究重点转向了任意形状的文本，其中文本形状表示是一个基本问题。一个理想的表示应该是紧凑的，完整的，有效的，并可重用的后续识别在我们看来。然而，以前的表述在一个或多个方面存在缺陷。薄板样条（TPS）变换在场景文本识别中取得了很大的成功。受此启发，我们重新思考了TPS的用法，并最终将TPS作为任意形状文本表示的一种精致表示。TPS表示是紧凑、完整和高效的。利用预测的TPS参数，可以直接将检测到的文本区域校正为近水平的文本区域，以辅助后续的识别。为了进一步利用TPS表示的潜力，提出了边界对齐损失。在此基础上，实现了文本检测器TPSNet，该文本检测器可以方便地扩展为文本检测器。广泛的评估和消融的几个公共基准证明了所提出的方法的有效性和优越性的文本表示和定位。特别是，TPSNet在Art数据集上实现了4.4\%的检测F-Measure改进（78.4\% vs. 74.0\%），在Total-Text上实现了5.0\%的端到端点样F-Measure改进（78.5\% vs. 73.5\%），这是大边距，没有花里胡哨的。
