Towards End-to-End Text Spotting in Natural Scenes
Northwestern Polytechnical University（西北工业大学）；National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（空天地海一体化大数据应用技术国家工程实验室）；Samsung Research（三星研究院）；Monash University（莫纳什大学）；The University of Adelaide（阿德莱德大学）
Peng Wang, Hui Li, Chunhua Shen
备注：
Accepted to IEEE Trans. Pattern Analysis and Machine Intelligence (TPAMI). 16 pages
Text spotting in natural scene images is of great importance for many image understanding tasks. It includes two sub-tasks: text detection and recognition. In this work, we propose a unified network that simultaneously localizes and recognizes text with a single forward pass, avoiding intermediate processes such as image cropping and feature re-calculation, word separation, and character grouping.
In contrast to existing approaches that consider text detection and recognition as two distinct tasks and tackle them one by one, the proposed framework settles these two tasks concurrently. The whole framework can be trained end-to-end and is able to handle text of arbitrary shapes. The convolutional features are calculated only once and shared by both detection and recognition modules. Through multi-task training, the learned features become more discriminate and improve the overall performance. By employing the $2$D attention model in word recognition, the irregularity of text can be robustly addressed. It provides the spatial location for each character, which not only helps local feature extraction in word recognition, but also indicates an orientation angle to refine text localization. Our proposed method has achieved state-of-the-art performance on several standard text spotting benchmarks, including both regular and irregular ones.
South China University of Technology（华南理工大学）；Zhejiang University（浙江大学）；Huazhong University of Science and Technology（华中科技大学）；Chinese University of Hong Kong（香港中文大学）；Huawei Cloud Computing Technologies（华为云计算技术有限公司）
SwinTextSpotter: Scene Text Spotting via Better Synergy between Text Detection and Text Recognition
South China University of Technology（华南理工大学）；Chinese University of Hong Kong（香港中文大学）；Huawei Cloud AI（华为云人工智能部门）；IntSig Information Co., Ltd（合合信息科技股份有限公司）；Peng Cheng Laboratory（鹏城实验室）
TextBlockV2: Towards Precise-Detection-Free Scene Text Spotting with Pre-trained Language Model
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Lenovo Research（联想研究院）；School of Cyber Science and Engineering, Nanjing University of Science and Technology（南京理工大学网络空间科学与工程学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
Visual Re-ranking with Natural Language Understanding for Text Spotting
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Institut de Robòtica i Informàtica Industrial (CSIC-UPC)（工业机器人与信息技术研究所（西班牙国家研究委员会-加泰罗尼亚理工大学））
Date-Field Retrieval in Scene Image and Video Frames using Text Enhancement and Shape Coding
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Institute of Engineering & Management, Kolkata（加尔各答工程与管理学院）；Indian Statistical Institute, Kolkata（印度统计学院加尔各答分校）
SwinTextSpotter v2: Towards Better Synergy for Scene Text Spotting
South China University of Technology（华南理工大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Chinese University of Hong Kong（香港中文大学）；Huazhong University of Science and Technology（华中科技大学）
When Semantics Mislead Vision: Mitigating Large Multimodal Models Hallucinations in Scene Text Spotting and Understanding
University of Trento（特伦托大学）；Hong Kong University of Science and Technology（香港科学与技术大学）；University of International Relations（国际关系大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；Nanjing University of Science and Technology（南京理工大学）；VCIP & TMCC & DISSec, College of Computer Science, Nankai University（南开大学计算机学院）；University of Central Florida（佛罗里达中央大学）
TALP Research Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学TALP研究中心）；Institut de Robòtica i Informàtica Industrial (CSIC-UPC)（工业机器人与信息技术研究所（西班牙国家研究委员会-加泰罗尼亚理工大学））
PAN++: Towards Efficient and Accurate End-to-End Spotting of Arbitrarily-Shaped Text
Nanjing University（南京大学）；The University of Hong Kong（香港大学）；Nanjing University of Science and Technology（南京理工大学）；SenseTime Group Limited（商汤集团有限公司）；Alibaba Group（阿里巴巴集团）；Monash University（莫纳什大学）
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Institut de Robòtica i Informàtica Industrial, CSIC-UPC（机器人与工业信息研究所（CSIC-UPC））
野外文本识别包括检测和识别图像中出现的文本（例如，标志牌、交通信号或衣服或物体中的品牌）。这是一个具有挑战性的问题，因为文本出现的上下文的复杂性（不均匀的背景，阴影，遮挡，透视扭曲等）。只有少数方法尝试利用文本与其周围环境之间的关系来更好地识别场景中的文本。在本文中，我们提出了一个用于文本识别的视觉上下文数据集，其中公开可用的数据集COCO-text [Veit et al. 2016]已经扩展了有关场景的信息（例如图像中出现的对象和地点），使研究人员能够在他们的文本识别系统中包含文本和场景之间的语义关系，并为这些方法提供一个通用框架。对于图像中的每个文本，我们提取三种上下文信息：场景中的对象，图像位置标签和文本图像描述（标题）。我们使用最先进的现成可用工具来提取这些额外信息。由于这些信息具有文本形式，因此可以将文本相似性或语义关系方法用于文本识别系统，无论是作为后处理还是端到端的训练策略。我们的数据可在https://git.io/JeZTb上公开获取。
Huazhong University of Science and Technology（华中科技大学）；bytedance（字节跳动）；South China University of Technology（华南理工大学）；Zhejiang University（浙江大学）；Chinese University of Hong Kong（香港中文大学）
Word length-aware text spotting: Enhancing detection and recognition in dense text image
Wuhan Institute of Technology（武汉工程大学）；Hubei Key Laboratory of Intelligent Robot（湖北省智能机器人重点实验室）；Hubei University of Arts and Science（湖北文理学院）；Wuhan University（武汉大学）
Cascaded Segmentation-Detection Networks for Word-Level Text Spotting
University of California Santa Cruz（加州大学圣克鲁兹分校）
我们介绍了一种算法，字级的文本发现，能够准确可靠地确定文本的单个单词的边界区域“在野外”。我们的系统是由两个卷积神经网络级联而成。第一个网络是完全卷积的，负责检测包含文本的区域。这导致输入图像的非常可靠但可能不准确的分割。第二个网络（受流行的YOLO架构的启发）分析第一阶段产生的每个片段，并预测包含单个单词的定向矩形区域。不需要后处理（例如文本行分组）。在Titan X GPU上处理1000 x 560图像的执行时间为450 ms，我们的系统在ICDAR 2015 Incidental Scene Text数据集基准测试中获得了迄今为止已发布算法中的最高分数。
LRANet++: Low-Rank Approximation Network for Accurate and Efficient Text Spotting
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；Institute of Trustworthy Embodied AI, College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学可信具身人工智能研究院）；School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学与技术学院）
GoMatching++: Parameter- and Data-Efficient Arbitrary-Shaped Video Text Spotting and Benchmarking
School of Computer Science, National Engineering Research Center for Multimedia Software, and Institute of Artificial Intelligence, Wuhan University（计算机学院、多媒体软件国家工程研究中心及人工智能学院，武汉大学）
ICDAR 2021 Competition on Integrated Circuit Text Spotting and Aesthetic Assessment
University of Malaya（马来亚大学）；ViTrox Technologies Sdn. Bhd.（ViTrox科技有限公司）；The University of Adelaide（阿德莱德大学）；The Chinese University of Hong Kong（香港中文大学）；South China University of Technology（华南理工大学）；Baidu（百度）；Webank（微众银行）
