Urdu text in natural scene images: a new dataset and preliminary text detection
COMSATS University Islamabad（COMSATS大学伊斯兰堡分校）；Jashore University of Science and Technology（杰索尔科学技术大学）
自然场景图像中的文本检测用于内容分析是一项有趣的任务。研究界已经看到了英语/普通话文本检测的一些重大发展。然而，在自然场景图像中的乌尔都语文本提取是一个任务没有很好地解决。在这项工作中，首先，一个新的数据集介绍了自然场景图像中的乌尔都语文本。该数据集包括从真实场景中获取的500幅独立图像。其次，信道增强的最大稳定极值区域（MSER）的方法被应用到提取乌尔都语文本区域作为候选的图像。两阶段过滤机制被用来消除非候选区域。在第一阶段中，文本和噪声根据其几何特性进行分类。在第二阶段中，训练支持向量机分类器以丢弃非文本候选区域。在此之后，使用基于质心的垂直和水平距离链接文本候选区域。基于HOG特征的不同分类器进一步分析文本行以去除非文本区域。在本地开发的数据集上进行了大量的实验，以评估性能。实验结果表明，测试集图像的良好性能。该数据集将可供研究使用。据我们所知，这项工作是乌尔都语的第一次，将为免费研究提供一个很好的数据集，并作为乌尔都语文本提取任务的基准性能。
2021-09-16 cs.CV cs.LG eess.IV
TextDS: Parameter-Efficient Representation Alignment for Scene Text Detection under Distribution Shifts
School of Electrical Engineering, Xi’an Jiaotong University（西安交通大学电气工程学院）；Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University（香港理工大学电机及电子工程学系）
提出TextDS框架，通过视觉基础模型、逐步LoRA适应和公共子空间融合，仅用4.9M参数实现跨域和退化条件下的鲁棒场景文本检测。
2026-06-29 cs.CV
KhmerST: A Low-Resource Khmer Scene Text Detection and Recognition Benchmark
La Rochelle University（拉罗谢尔大学）；Cambodia Academy of Digital Technology（柬埔寨数字技术学院）
针对高棉语低资源场景文本检测与识别缺乏数据的问题，本文构建含1,544张专家标注图像的KhmerST数据集及基线模型，并公开发布。
2024-10-23 cs.CV
Efficient Scene Text Detection with Textual Attention Tower
Xidian University（西安电子科技大学）；OrionStar Ltd.（猎户星空有限公司）；University of Western Australia（西澳大学）
场景文本检测多年来一直受到关注，并在各种基准测试中取得了令人印象深刻的性能。在这项工作中，我们提出了一个有效的和准确的方法来检测场景图像中的多方向文本。所提出的特征融合机制允许我们使用较浅的网络来降低计算复杂性。采用自注意力机制来抑制误报检测。在ICDAR 2013、ICDAR 2015和MSRA-TD 500等公共基准上的实验表明，该方法能够以较少的参数和较少的计算代价获得更好或相当的性能。
2020-01-30 cs.CV
Scene Text Detection with Scribble Lines
Huazhong University of Science and Technology（华中科技大学）；Meituan（美团）
场景文本检测是当前学术界和工业界研究的热点问题之一，它需要足够的训练数据才能取得显著的效果。然而，由于文本形状的多样性，使用传统的标注方法进行场景文本检测的标注成本是巨大的。因此，在不损害检测性能的情况下研究更简单的标记方法是实用和有见地的。在本文中，我们提出了一种新的文本检测方法，即用涂鸦线代替多边形来标注文本。它是一种通用的标注方法，适用于各种形状的文本，标注成本低。此外，提出了一种弱监督场景文本检测框架，利用涂鸦线进行文本检测。实验结果表明，该方法弥补了弱标记方法和基于特征的标记方法之间的性能差距，具有更好的性能.我们将在我们的实验中发布基准测试的弱注释，并希望它将有利于场景文本检测领域，以更简单的注释实现更好的性能。
2020-12-10 cs.CV
Contextual Text Block Detection towards Scene Text Understanding
Nanyang Technological University（南洋理工大学）；ByteDance Inc.（字节跳动公司）
大多数现有的场景文本检测器专注于检测由于缺少上下文信息而仅捕获部分文本消息的字符或单词。为了更好地理解场景中的文本，更期望检测由一个或多个整体文本单元（例如，字符、单词或短语），并传输某些完整的文本消息。本文介绍了上下文文本检测，一个新的设置，检测CTB更好地理解场景中的文本。我们制定了一个双重检测任务，首先检测完整的文本单元，然后将它们分组到一个CTB的新的设置。为此，我们设计了一种新的场景文本聚类技术，将完整的文本单元作为标记，并将它们（属于同一个CTB）分组为有序的标记序列。此外，我们创建了两个数据集SCUT-CTW-Context和ReCTS-Context，以方便未来的研究，其中每个CTB都由有序的完整文本单元序列进行了注释。此外，我们还介绍了三个衡量上下文文本检测的指标，包括局部准确性、连续性和全局准确性。大量的实验表明，我们的方法准确地检测CTB，有效地促进下游任务，如文本分类和翻译。该项目可在https://sg-vilab.github.io/publication/xue2022contextual/查阅。
2022-07-26 cs.CV
On Exploring and Improving Robustness of Scene Text Detection Models
University of Science and Technology of China（中国科学技术大学）；the University of Sydney（悉尼大学）
由于场景文本检测技术有许多实际应用，因此了解文本检测模型对广泛损坏的鲁棒性至关重要。为了系统地探索这个问题，我们提出了两个数据集来评估场景文本检测模型：ICDAR 2015-C（IC 15-C）和CTW 1500-C（CTW-C）。我们的研究扩展了建议的区域建议，回归和基于分割的场景文本检测框架的性能和鲁棒性的调查。此外，我们进行了鲁棒性分析的六个关键组成部分：前训练数据，骨干，特征融合模块，多尺度预测，文本实例的表示和损失函数。最后，我们提出了一种简单而有效的基于数据的方法，通过合并背景和前景来破坏文本区域的平滑性，这可以显着提高不同文本检测网络的鲁棒性。我们希望这项研究将提供有效的数据点，以及未来的研究经验。将在\url{https://github.com/wushilian/robust-scene-text-detection-benchmark}上提供基准、代码和数据。
2021-10-12 cs.CV
Arbitrary Shape Scene Text Detection with Adaptive Text Region Representation
Samsung Research China - Beijing（三星中国研究院-北京）；University of Chinese Academy of Sciences（中国科学院大学）；Samsung Research（三星研究院）
场景文本检测在计算机视觉中有着广泛的应用，如实时文本翻译、自动信息录入、盲人辅助、机器人感知等。为了解决这个问题，我们提出了一个鲁棒的场景文本检测方法与自适应文本区域表示。给定输入图像，首先使用文本区域建议网络来提取文本建议。然后，这些建议进行了验证和细化网络。本文提出了一种基于递归神经网络的自适应文本区域表示方法，该方法在每个时间步长内预测一对边界点，直到没有新的边界点为止，从而检测出任意形状的文本区域，并使用自适应的边界点数目来表示。这样可以更准确地描述文本区域。在CTW1500、TotalText、ICDAR2013、ICDAR2015和MSRATD500五个基准测试集上的实验结果表明，该方法在场景文本检测方面达到了最先进的水平。
2019-05-15 cs.CV
BPDO:Boundary Points Dynamic Optimization for Arbitrary Shape Scene Text Detection
Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出BPDO任意形状场景文本检测器，通过文本感知模块提取中心区域边界点，并利用可变形注意力动态优化边界点位置，在多个数据集上取得优于或可比于最先进算法的性能。
2024-01-18 cs.CV
SceneEval: Evaluating Semantic Coherence in Text-Conditioned 3D Indoor Scene Synthesis
Simon Fraser University（西蒙弗雷泽大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔人工智能研究所）
SceneEval通过引入细粒度度量标准评估文本条件3D室内场景合成中的语义连贯性，揭示了现有方法的不足，推动更可控的场景生成研究。
2026-03-07 cs.CV cs.GR
Skeleton Matching based approach for Text Localization in Scene Images
Mangalore University（芒格洛尔大学）；KVG College of Engineering（KVG工程学院）
在本文中，我们提出了一种基于骨架匹配的方法，它有助于在场景图像中的文本定位。对输入图像进行预处理，并使用连通分量分析将其分割成块。我们使用基于形态学的方法获得分割块的骨架。将已分类的图像与数据库中的训练模板进行比较，以将其分类为文本和非文本块。此外，新设计的几何规则和形态学操作上检测到的文本块场景文本定位。在公开的标准数据集上的实验结果表明，该方法可以检测和定位各种大小、字体和颜色的文本。
2015-02-13 cs.CV
ShopSign: a Diverse Scene Text Dataset of Chinese Shop Signs in Street Views
Henan University（河南大学）；South China University of Technology（华南理工大学）
本文介绍了ShopSign数据集，这是一个新开发的自然场景文本数据集的中文商店标志在街景。虽然一些场景文本数据集已经公开（例如ICDAR 2015，COCO-Text），但这些数据集中包含中文文本/字符的图像很少。因此，我们收集和注释的ShopSign数据集，以推进中文场景文本检测和识别的研究。新的数据集具有三个显著特点：（1）大规模：它包含25，362个中文商店标志图像，总文本行数为196，010行。(2)多样性：ShopSign中的图像是在不同的场景中拍摄的，从市中心到发展中地区，使用了50多种不同的手机。(3)困难：数据集非常稀疏和不平衡。它还包括五种类型的硬图像（镜子，木，变形，暴露和模糊）。为了说明ShopSign中的挑战，我们使用最先进的场景文本检测方法（包括CTPN，TextBoxes++和EAST）和交叉数据集验证来运行基线实验，以比较它们在相关数据集（如CTW，RCTW和ICPR 2018 MTWI挑战数据集）上的相应性能。我们的ShopSign数据集的示例图像和详细描述可在https://github.com/chongshengzhang/shopsign上公开获取。
2019-03-25 cs.CV
Text-Scene: A Scene-to-Language Parsing Framework for 3D Scene Understanding
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本文提出Text-Scene框架，通过几何分析与多模态大语言模型将三维场景自动解析为准确、详细的文本描述，并构建InPlan3D基准验证其在三维任务规划中的推理能力。
2025-09-20 cs.AI cs.CV cs.RO
Attention-based Feature Decomposition-Reconstruction Network for Scene Text Detection
Beihang（北京航空航天大学）
近年来，场景文本检测一直是一个具有挑战性的任务。具有任意形状或大纵横比的文本通常很难检测。以前的基于分割的方法可以更准确地描述曲线文本，但遭受过度分割和文本粘连。在本文中，我们提出了基于注意力的特征分解-重构网络的场景文本检测，它利用上下文信息和低级别的功能，以提高基于分割的文本检测器的性能。在特征融合阶段，我们引入跨层次注意模块，通过在融合的多尺度特征上增加注意力机制来丰富文本的上下文信息。在概率图生成阶段，提出了一种特征分解-重构模块，该模块根据文本特征的频率特性对文本特征进行分解，然后通过添加低层特征进行重构，以缓解大纵横比文本的过分割问题。在两个公共基准数据集上进行了实验，结果表明，我们提出的方法达到了最先进的性能。
2021-11-29 cs.CV
Scene text removal via cascaded text stroke detection and erasing
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
最近的学习为基础的方法显示出有前途的场景文本删除任务的性能改善。然而，这些方法通常会留下一些文本残留，并获得视觉上不愉快的结果。在这项工作中，我们提出了一种新的“端到端”框架的基础上准确的文本笔画检测。具体来说，我们解耦的文本删除问题，以文本笔划检测和笔划删除。我们设计了一个文本笔画检测网络和一个文本去除生成网络来分别解决这两个子问题。然后，我们将这两个网络结合起来作为一个处理单元，并将这个单元级联起来，以获得最终的文本去除模型。实验结果表明，所提出的方法显着优于国家的最先进的方法定位和删除场景文本。由于目前公开可用的数据集都是合成的，无法正确衡量不同方法的性能，因此我们构建了一个新的真实世界数据集，并将其发布以促进相关研究。
2020-11-19 cs.CV
Synthetic-to-Real Unsupervised Domain Adaptation for Scene Text Detection in the Wild
Zhejiang University（浙江大学）；Tencent（腾讯）；University of Hong Kong（香港大学）
基于深度学习的场景文本检测在有足够的标记训练数据的情况下可以取得较好的性能。然而，手动标记是耗时且费力的。在极端情况下，相应的注释数据不可用。利用合成数据是一个非常有前途的解决方案，除了合成数据集和真实数据集之间的域分布失配。为了解决严重的域分布不匹配问题，提出了一种基于领域自适应的场景文本检测方法，将合成数据（源域）的知识转移到真实数据（目标域）。本文介绍了一种文本自训练（TST）方法和对抗性文本实例对齐（ATA）的领域自适应场景文本检测。ATA通过以对抗方式训练域分类器来帮助网络学习域不变特征。TST减少了由不准确的伪标记引起的假阳性~（FP）和假阴性~（FN）的不利影响。这两个组成部分对提高场景文本检测器从合成场景到真实场景的适应性能有积极的影响。我们通过从SynthText，VISD转移到ICDAR 2015，ICDAR 2013来评估所提出的方法。实验结果表明，该方法的有效性达到了10%以上，对领域自适应场景文本检测具有重要的探索意义。代码可在https://github.com/weijiawu/SyntoReal_STD上获得
2020-09-03 cs.AI cs.CV
Beyond Cropped Regions: New Benchmark and Corresponding Baseline for Chinese Scene Text Retrieval in Diverse Layouts
Nankai University（南开大学）
本文提出中文场景文本检索基准DL-CSVTR和模型CSTR-CLIP，通过全局视觉信息与多粒度对齐训练处理垂直、跨行等多样布局，准确率较此前最优模型提升18.82%。
2025-06-05 cs.CV
Total-Text: A Comprehensive Dataset for Scene Text Detection and Recognition
University of Malaya（马来亚大学）
曲线方向的文本尽管是现实世界环境中常见的文本方向之一，但在广受欢迎的场景文本数据集中（如ICDAR 2013和MSRA-TD 500）几乎为零。Total-Text的主要动机是填补这一空白，并为场景文本社区提供新的研究方向。在传统的水平和多方向的文本之上，它以弯曲方向的文本为特色。全文本在取向上是高度多样化的，其半数以上的图像具有两个以上取向的组合。最近，一种新的解决方案，铸造文本检测作为一个分割问题已经证明了他们的有效性对多方向的文本。为了评估它对弯曲文本的鲁棒性，我们对DeconvNet进行了微调，并在Total-Text上进行了基准测试。Total-Text及其注释可在https://github.com/cs-chan/Total-Text-Dataset上获得
2017-10-28 cs.CV
Exploring Stroke-Level Modifications for Scene Text Editing
University of Science and Technology of China（中国科学技术大学）；GuangZhou University（广州大学）
场景文本编辑（STE）的目的是在保留原始文本的背景和样式的同时，用所需的文本替换文本。然而，由于复杂的背景纹理和各种各样的文本样式，现有的方法在生成清晰和易读的编辑文本图像不足。在本研究中，我们将编辑绩效差归因于两个问题：1）内隐解耦结构。以前的编辑整个图像的方法必须同时学习背景和文本区域的不同翻译规则。2)域间隙。由于缺乏编辑过的真实场景文本图像，该网络只能在合成对上进行良好的训练，而在真实世界的图像上表现不佳。为了解决上述问题，我们提出了一种新的网络通过修改场景文本图像在strokE水平（MOSTEL）。首先，我们生成笔画指导图，以明确指示要编辑的区域。与直接在图像级别修改所有像素的隐式指令不同，这种显式指令过滤掉背景的干扰，并引导网络专注于文本区域的编辑规则。其次，我们提出了一个半监督混合学习训练网络与标记的合成图像和未配对的真实场景文本图像。因此，STE模型适用于真实世界的数据集分布。此外，两个新的数据集（篡改Syn2k和篡改场景）被提出来填补公共评估数据集的空白。大量的实验表明，我们的MOSTEL优于以前的方法在定性和定量。数据集和代码将在https://github.com/qqqyd/MOSTEL上提供。
2022-12-05 cs.CV
Runner-Up Solution to ECCV 2022 Challenge on Out of Vocabulary Scene Text Understanding: Cropped Word Recognition
ByteDance Inc.（字节跳动公司）
本报告介绍了我们在ECCV 2022挑战词汇外场景文本理解（OOV-ST）方面的第二名解决方案：裁剪单词识别。这项挑战是在ECCV 2022关于一切文本（TiE）的研讨会上举行的，该研讨会旨在从自然场景图像中提取词汇外的单词。在比赛中，我们首先在合成数据集上预训练SCATTER，然后通过数据增强在训练集上微调模型。与此同时，另外两个模型专门针对长文本和垂直文本进行训练。最后，我们将不同模型的输出与不同的层、不同的主干和不同的种子相结合，作为最终结果。当只考虑词汇表外的单词时，我们的解决方案实现了59.45%的单词准确率。
2022-08-31 cs.CV
Text Flow: A Unified Text Detection System in Natural Scene Images
National University of Singapore（新加坡国立大学）；Baidu Research（百度研究院）；Institute for Infocomm Research（资讯通信研究院）
流行的场景文本检测方法遵循四个顺序步骤，包括候选字符检测，虚假候选字符去除，文本行提取和文本行验证。然而，在这些顺序步骤中的每一个步骤中都会发生并积累错误，这通常导致低检测性能。为了解决这些问题，我们提出了一个统一的场景文本检测系统，即文本流，利用最小成本（min-cost）流网络模型。最小成本流网络模型通过级联提升检测候选字符，将最后三个连续步骤整合为一个过程，有效解决了字符级和文本行级的错误累积问题。该方法在ICDAR 2011、ICDAR 2013和一个多语种数据集上进行了测试，结果表明，该方法在所有三个数据集上的性能都优于现有方法，具有更高的召回率和F值。在多语言数据集上的良好性能表明，该技术可用于不同语言的文本检测。
2016-04-23 cs.CV
A Large-scale Dataset for Robust Complex Anime Scene Text Detection
Sun Yat-sen University（中山大学）；DeepGHS (Deep Generative anime Hobbyist Syndicate)（DeepGHS（深度生成动漫爱好者协会））；Nanchang Hangkong University（南昌航空大学）
针对动漫场景文本检测数据集的空白，提出大规模数据集AnimeText，含73.5万图像和420万标注块，通过跨数据集基准测试证明其训练模型在动漫文本检测上优于现有数据集。
2025-10-09 cs.AI cs.CV
Commonsense Knowledge from Scene Graphs for Textual Environments
IBM Research（IBM研究院）
基于文本的游戏作为真实世界的仿真环境，在强化学习中越来越普遍。它们通常是不完全信息博弈，它们之间的互动仅限于语篇模态。为了挑战这些游戏，通过提供游戏之外的知识（例如人类常识）来补充缺失的信息是有效的。然而，这样的知识只可从文本信息在以前的作品。在本文中，我们调查的优势，采用常识推理从视觉数据集，如场景图数据集。一般来说，与人类的文本相比，图像传达更全面的信息。该属性使得能够提取对于在游戏中有效地行动更有用的常识关系知识。我们比较了Visual Genome（场景图数据集）和ConceptNet（基于文本的知识）中可用的空间关系的统计数据，以分析引入场景图数据集的有效性。我们还进行了基于文本的游戏任务，需要常识推理的实验。我们的实验结果表明，我们提出的方法具有更高的和有竞争力的性能比现有的国家的最先进的方法。
2022-10-19 cs.AI cs.CV
Vision-Language Pre-Training for Boosting Scene Text Detectors
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Huazhong University of Science and Technology（华中科技大学）
最近，视觉语言联合表示学习已被证明是非常有效的各种场景。在本文中，我们专门将视觉-语言联合学习用于场景文本检测，这是一项本质上涉及两种模态之间的跨模态交互的任务：视觉和语言，因为文本是语言的书面形式。具体来说，我们建议通过视觉语言预训练来学习上下文化的联合表示，以提高场景文本检测器的性能。为此，我们设计了一个预训练架构的图像编码器，文本编码器和跨模态编码器，以及三个借口的任务：图像-文本对比学习（ITC），掩蔽语言建模（MLM）和图像中的词预测（EML）。预训练的模型能够产生具有更丰富语义的更多信息表示，这可以很容易地使下游文本检测任务中的现有场景文本检测器（如EAST和PSENet）受益。在标准基准上的大量实验表明，所提出的范例可以显着提高各种代表性的文本检测器的性能，优于以前的预训练方法。代码和预训练模型将公开发布。
2022-04-29 cs.AI cs.CL cs.CV
Selective Scene Text Removal
Kyushu University（九州大学）；NTT Corporation（NTT公司）
针对传统场景文本移除方法只能移除所有文本无法选择目标的问题，提出选择性场景文本移除（SSTR）任务及多模块结构，可高效训练并按预期移除用户指定目标单词。
2023-10-03 cs.CV cs.LG
Scene Text Detection for Augmented Reality -- Character Bigram Approach to reduce False Positive Rate
Indian Institute of Science（印度科学学院）
自然场景文本检测是场景理解的一个重要方面，是构建引人入胜的增强现实应用的有用工具。在这项工作中，我们解决了文本识别中的误报问题。我们建议通过查找字符对（bigram）而不是单个字符来提高滑动窗口文本定位器的性能。设计并训练了一个高效的卷积神经网络来检测二元组。该检测器在ICDAR 2015数据集上将假阳性率降低了28.16%。我们证明，检测bigrams是一种计算成本低廉的方式来提高滑动窗口文本定位。
2020-12-26 cs.CV cs.LG
Scene Text Magnifier
Kyushu University（九州大学）；Wuhan University of Technology（武汉理工大学）
场景文本放大镜的目的是放大自然场景图像中的文本而不被识别。它可以帮助有近视或阅读障碍的特殊群体更好地理解场景。在本文中，我们设计了场景文本放大器，通过相互作用的四个基于CNN的网络：字符擦除，字符提取，字符放大，图像合成。在沙漏型编解码器的基础上扩展了网络结构。它输入原始场景文本图像，并在保持背景不变的情况下输出文本放大图像。通过插入，我们可以得到文本擦除和文本提取的侧输出结果。这四个子网络首先独立训练，并以端到端模式进行微调。每个阶段的训练样本通过一个流程进行处理，该流程以ICDAR 2013和Flickr数据集中的原始图像和文本注释作为输入，并以相应的文本擦除图像、放大的文本注释和文本放大的场景图像作为输出。为了评价文本放大器的性能，本文采用结构相似度来度量文本放大器中每个字符区域的区域变化。实验结果表明，该方法能在不影响背景的情况下有效地放大场景文本。
2019-07-05 cs.CV cs.LG stat.ML
A pooling based scene text proposal technique for scene text reading in the wild
Sorbonne University - University Pierre and Marie CURIE（索邦大学 - 皮埃尔和玛丽·居里大学）；Image & Pervasive Access Lab（图像与普适访问实验室）；CNRS（法国国家科学研究中心）；I2R（资讯通信研究院）；Nanyang Technological University（南洋理工大学）；Tencent Co. LTD（腾讯有限公司）；Institut Mines-Telecom（矿业电信学院）
由于文本中含有丰富的语义信息，对场景理解非常有用，因此，近年来，场景文本的自动阅读引起了人们越来越多的关注。在本文中，我们提出了一种新的场景文本建议技术，旨在准确阅读文本的场景。受深度神经网络体系结构中池化层的启发，提出了一种基于池化的场景文本建议技术。设计了一种新的评分函数，该函数利用了方向梯度的直方图，并能够根据提案的文本概率对提案进行排名。一个端到端的场景文本阅读系统也已开发，结合建议的场景文本建议技术，其中虚警消除和单词识别同时进行。在多个公开数据集上的实验表明，该方法能够处理多方向、多语言的场景文本，并获得了良好的推荐性能.开发的端到端系统还实现了非常有竞争力的场景文本发现和阅读性能。
2018-11-25 cs.CV
Ensemble Learning for Vietnamese Scene Text Spotting in Urban Environments
Faculty of Information Technology, University of Science, VNU-HCM（越南胡志明市国家大学科学学院信息技术学院）；Vietnam National University, Ho Chi Minh City（越南胡志明市国家大学）
本文提出一种简单高效的集成学习框架，通过在VinText数据集上组合多个模型，将越南语城市场景文本定位准确率提升5%，验证了其在标牌、广告等真实场景中的应用潜力。
2024-04-01 cs.CV cs.LG
Scene Text Recognition with Semantics
University of Edinburgh（爱丁堡大学）；Imperial College London（帝国理工学院）
场景文本识别（STR）模型近年来在基准数据集上取得了很高的性能，其中文本图像以最小的噪声呈现。传统的STR识别管道将裁剪的图像作为唯一输入，并尝试识别存在的字符。在输入图像有噪声或文本部分模糊的情况下，这种基础设施可能会失败。本文提出了使用语义信息从更大的场景上下文化预测。我们使用对象标签生成语义向量，并将此信息融合到基于transformer的架构中。结果表明，我们的多模态方法产生更高的性能比传统的基准模型，特别是在嘈杂的情况下。
2022-10-19 cs.CV cs.LG
ESIR: End-to-end Scene Text Recognition via Iterative Image Rectification
Nanyang Technological University（南洋理工大学）
多年来，场景中文本的自动识别一直是一个研究挑战，这主要是由于文本外观在透视失真、文本行曲率、文本样式和不同类型的成像伪影中的任意变化。最近的深度网络能够学习关于成像伪影和文本样式变化的鲁棒表示，但在处理具有透视和曲率失真的场景文本时仍然面临各种问题。本文提出了一个端到端的可训练场景文本识别系统（ESIR），迭代地消除透视失真和文本行曲率驱动的更好的场景文本识别性能。提出了一种新的校正网络，它采用一种新的线拟合变换来估计场景中文本行的姿态。此外，开发了一个迭代校正管道，其中场景文本失真被迭代地校正到前平行视图。ESIR对参数初始化也是鲁棒的，并且训练只需要场景文本图像和大多数场景文本识别系统所需的单词级注释。在大量公开数据集上的实验表明，所提出的ESIR能够准确地校正场景文本失真，对正常场景文本图像和那些遭受透视和曲率失真的图像都实现了优异的识别性能。
2019-04-02 cs.CV
Text-to-Scene with Large Reasoning Models
该研究针对当前文本到场景方法在复杂几何、对象变换和指令遵循上的局限，提出Reason-3D模型，结合大型推理模型实现多属性对象检索、约束布局放置及碰撞感知优化，显著提升生成性能并发布代码库。
2025-11-13 cs.CV cs.LG
Beyond Visual Semantics: Exploring the Role of Scene Text in Image Understanding
IIT Jodhpur（印度理工学院焦特布尔分校）；University of Rouen（鲁昂大学）；Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）
具有视觉和场景文本内容的图像在日常生活中无处不在。然而，当前的图像判读系统大多局限于仅使用视觉特征，而忽略了利用场景文本内容。在本文中，我们提出了联合使用场景文本和视觉通道强大的图像语义解释。我们不仅提取和编码视觉和场景文本线索，而且还建模它们的相互作用，以生成具有更丰富语义的上下文联合嵌入。因此产生的上下文嵌入应用于检索和分类任务的多媒体图像，场景文本内容，以证明其有效性。在检索框架中，我们增加了我们学到的文本视觉语义表示与场景文本线索，以减轻词汇失误，可能发生在语义嵌入。为了处理场景文本的不相关或错误识别，我们还将基于查询的注意力应用于我们的文本通道。我们展示了如何多通道的方法，涉及视觉语义和场景文本，提高了最先进的。
2019-12-04 cs.CV
GraphDreamer: Compositional 3D Scene Synthesis from Scene Graphs
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）；University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；University of Cambridge（剑桥大学）
本文提出GraphDreamer框架，利用场景图中的节点和边信息引导预训练文本到图像扩散模型，并结合有符号距离场与穿透约束，实现无需图像级监督的组合式3D场景生成与对象解耦。
2024-06-10 cs.CV cs.GR cs.LG
Make-A-Scene: Scene-Based Text-to-Image Generation with Human Priors
Meta AI Research（元人工智能研究院）
最近的文本到图像的生成方法提供了一个简单而令人兴奋的文本和图像域之间的转换能力。虽然这些方法逐步提高了生成的图像保真度和文本相关性，但仍有几个关键的差距没有得到解决，限制了适用性和质量。我们提出了一种新的文本到图像的方法，通过（i）启用一个简单的控制机制，以场景的形式补充文本，（ii）引入元素，通过在关键图像区域（面部和显着对象）上采用特定领域的知识，大大提高了标记化过程，以及（iii）适应无分类器的指导Transformer用例。我们的模型实现了最先进的FID和人类评估结果，解锁了以512 x512像素的分辨率生成高保真图像的能力，显着提高了视觉质量。通过场景可控性，我们引入了几个新功能：（i）场景编辑，（ii）锚场景的文本编辑，（iii）克服分发文本提示，以及（iv）故事插图生成，如我们所写的故事中所示。
2022-03-24 cs.AI cs.CL cs.CV
UnrealText: Synthesizing Realistic Scene Text Images from the Unreal World
Carnegie Mellon University（卡内基梅隆大学）；Megvii (Face++) Technology Inc.（旷视科技）
合成数据已成为训练场景文本检测和识别模型的重要工具。一方面，在训练场景文本识别器时，合成文字图像已被证明是真实图像的成功替代。然而，另一方面，场景文本检测器仍然严重依赖于大量的手动注释的真实世界的图像，这是昂贵的。在本文中，我们介绍了UnrealText，一种高效的图像合成方法，通过3D图形引擎渲染逼真的图像。3D合成引擎通过整体渲染场景和文本来提供逼真的外观，并允许更好的文本区域建议，同时可以访问精确的场景信息，例如正常和均匀的对象网格。综合实验验证了该方法在场景文本检测和识别上的有效性。我们还生成了多语言版本，用于未来多语言场景文本检测和识别的研究。此外，我们以区分大小写的方式重新注释场景文本识别数据集，并包括标点符号以进行更全面的评估。代码和生成的数据集发布于：https://github.com/Jyouhou/UnrealText/。
2020-08-18 cs.CV
ViSTA: Vision and Scene Text Aggregation for Cross-Modal Retrieval
Baidu Inc（百度公司）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
视觉外观被认为是跨模态检索中理解图像的最重要线索，而有时图像中出现的场景文本可以为理解视觉语义提供有价值的信息。现有的大多数跨模态检索方法都忽略了场景文本信息的使用，直接添加这些信息可能会导致无场景文本场景检索性能下降。为了解决这个问题，我们提出了一个完整的Transformer架构，以统一这些跨模态检索场景在一个单一的$\textbf{Vi}$ sion和$\textbf{S}$ cene $\textbf{T}$ ext $\textbf{A}$ ggregation框架（VisTA）。具体而言，ViSTA利用Transformer块直接编码图像块并融合场景文本嵌入，以学习用于跨模态检索的聚合视觉表示。为了解决场景文本的模态缺失问题，提出了一种新的基于融合标记的Transformer聚合方法，只通过融合标记交换必要的场景文本信息，并集中在每个模态中最重要的特征上。为了进一步加强视觉模态，我们开发了双重对比学习损失，将图像-文本对和融合-文本对嵌入到一个公共的跨模态空间中。与现有的方法相比，VisTA能够聚合相关的场景文本语义与视觉外观，从而改善场景文本自由和场景文本感知场景下的结果。实验结果表明，对于场景文本感知的检索任务，VisTA在Recall@1处的性能至少比其他方法高出$\bf{8.4}\%$.与最先进的场景文本免费检索方法相比，ViSTA可以实现更好的准确性在Flic…
2022-03-31 cs.CV
TextContourNet: a Flexible and Effective Framework for Improving Scene Text Detection Architecture with a Multi-task Cascade
The Penn State University（宾夕法尼亚州立大学）
本文研究了从图像中提取文本实例轮廓信息的问题，并将其用于辅助场景文本检测。我们提出了一个新颖有效的框架，并通过实验证明：（1）一个CNN，可以有效地用于从自然图像中提取实例级文本轮廓。(2)提取的轮廓信息可以用于更好的场景文本检测。我们提出了两种方法来学习轮廓任务和场景文本检测：（1）作为辅助任务和（2）作为多任务级联。对不同基准数据集的大量实验表明，这两种设计都提高了最先进的场景文本检测器的性能，并且多任务级联设计实现了最佳性能。
2018-12-03 cs.CV
TextBoxes++: A Single-Shot Oriented Scene Text Detector
Huazhong University of Science and Technology（华中科技大学）
场景文本检测是场景文本识别系统的重要环节，也是一个具有挑战性的问题。与一般的目标检测不同，场景文本检测的主要挑战在于自然图像中文本的任意方向、小尺寸和显著变化的长宽比。在本文中，我们提出了一个端到端可训练的快速场景文本检测器，名为TextBoxes++，它可以在单个网络前向传递中以高精度和高效率检测任意方向的场景文本。除了有效的非最大抑制之外，不涉及后处理。我们已经在四个公共数据集上评估了拟议的TextBoxes++。在所有实验中，TextBoxes++在文本定位准确性和运行时间方面优于竞争方法。更具体地说，TextBoxes++对于1024*1024 ICDAR 2015 Incidental文本图像在11.6fps下的f值为0.817，对于768*768 COCO-Text图像在19.8fps下的f值为0.5591。此外，与文本识别器相结合，TextBoxes++在流行的基准测试中显著优于最先进的单词识别和端到端文本识别任务方法。代码可在：https://github.com/MhLiao/TextBoxes_plusplus
2018-04-27 cs.CV
A3S: Adversarial learning of semantic representations for Scene-Text Spotting
Fast Accounting Co., Ltd.（快速会计有限公司）
场景文本识别是在自然场景图像上预测文本区域并同时识别文本字符的任务。近年来，由于其广泛的应用，它引起了人们的广泛关注。现有的研究主要集中在改进文本区域检测，而不是文本识别。因此，虽然提高了检测精度，但端到端的精度不足。自然场景图像中的文本往往不是随机的字符串，而是有意义的字符串，即单词。因此，我们提出了对场景文本识别（A3S）的语义表示进行对抗性学习，以提高端到端的准确性，包括文本识别。A3S同时预测检测到的文本区域中的语义特征，而不是仅基于现有的视觉特征进行文本识别。在公开数据集上的实验结果表明，该方法比其他方法具有更好的准确性。
2023-02-21 cs.CV
Scene Text Retrieval via Joint Text Detection and Similarity Learning
Huazhong University of Science and Technology（华中科技大学）；Huawei Cloud & AI（华为云与人工智能）
场景文本检索的目标是从图像库中定位和搜索与给定查询文本相同或相似的所有文本实例。这样的任务通常通过将查询文本与由端到端场景文本定位器输出的识别的单词进行匹配来实现。在本文中，我们通过直接学习查询文本和自然图像中的每个文本实例之间的跨模态相似度来解决这个问题。具体来说，我们建立了一个端到端的可训练网络，共同优化场景文本检测和跨模态相似性学习的过程。以这种方式，场景文本检索可以简单地通过将检测到的文本实例与学习到的相似性进行排名来执行。在三个基准数据集上的实验表明，我们的方法始终优于最先进的场景文本定位/检索方法。特别是，所提出的联合检测和相似性学习的框架实现了显着更好的性能比单独的方法。代码可从以下网址获得：https://github.com/lanfeng4659/STR-TDSL。
2021-04-04 cs.CV
Text-To-4D Dynamic Scene Generation
Meta AI
我们提出了MAV 3D（Make-A-Video 3D），一种从文本描述生成三维动态场景的方法。我们的方法使用了一个4D动态神经辐射场（NeRF），这是优化的场景外观，密度和运动的一致性，通过查询文本到视频（T2 V）的扩散为基础的模型。从所提供的文本生成的动态视频输出可以从任何摄像机位置和角度观看，并且可以合成到任何3D环境中。MAV 3D不需要任何3D或4D数据，T2 V模型仅在文本图像对和未标记的视频上训练。我们使用全面的定量和定性实验证明了我们的方法的有效性，并显示出比以前建立的内部基线的改进。据我们所知，我们的方法是第一个生成3D动态场景的文字描述。
2023-01-26 cs.AI cs.CV cs.LG
RoomDreamer: Text-Driven 3D Indoor Scene Synthesis with Coherent Geometry and Texture
Apple Inc.（苹果公司）；University at Buffalo（布法罗大学）
提出RoomDreamer框架，通过Geometry Guided Diffusion和Mesh Optimization两个组件，利用自然语言同时合成与输入场景结构和提示对齐的几何与纹理，生成不同风格的3D室内场景。
2023-05-18 cs.CV
Text Prior Guided Scene Text Image Super-resolution
The Hong Kong Polytechnic University（香港理工大学）
场景文本图像超分辨率（STISR）旨在提高低分辨率场景文本图像的分辨率和视觉质量，从而提高文本识别的性能。然而，现有的STISR方法大多将文本图像视为自然场景图像，忽略了文本的类别信息。在本文中，我们做了一个鼓舞人心的尝试，将分类文本先验嵌入STISR模型训练。具体地说，我们采用字符概率序列作为文本先验，它可以方便地从文本识别模型中获得。文本先验提供分类指导以恢复高分辨率（HR）文本图像。另一方面，重建的HR图像可以反过来细化文本先验。最后，我们提出了一个多阶段的文本先验引导超分辨率（TPGSR）框架STISR。在TextZoom基准数据集上的实验表明，TPGSR不仅能有效提高场景文本图像的视觉质量，而且与现有的STISR方法相比，文本识别的准确率也有显著提高。我们在TextZoom上训练的模型也对其他数据集中的LR图像表现出一定的泛化能力。
2021-06-30 cs.CV
TextOCR: Towards large-scale end-to-end reasoning for arbitrary-shaped scene text
Facebook AI Research（脸书人工智能研究院）
TextVQA和TextCaps数据集所需的基于场景文本的推理的一个关键组成部分涉及使用光学字符识别（OCR）系统检测和识别图像中存在的文本。当前的系统由于这些数据集的地面真实文本注释的不可用以及缺乏真实图像上的场景文本检测和识别数据集而受到削弱，从而不允许OCR领域的进展以及与OCR系统隔离的基于场景文本的推理的评估。在这项工作中，我们提出了TextOCR，一个任意形状的场景文本检测和识别与900k注释的话收集的真实图像从TextVQA数据集。我们发现，目前最先进的文本识别（OCR）模型在TextOCR上表现不佳，而在TextOCR上进行训练也有助于在多个其他OCR数据集上实现最先进的性能。我们使用TextOCR训练的OCR模型来创建PixelM4C模型，该模型可以以端到端的方式对图像进行基于场景文本的推理，使我们能够重新审视几种设计选择，以在TextVQA数据集上实现最先进的性能。
2021-05-12 cs.CV
E2E-MLT - an Unconstrained End-to-End Method for Multi-Language Scene Text
Czech Technical University（捷克技术大学）；Carnegie Mellon University（卡内基梅隆大学）
提出了一种端到端可训练（完全可区分）的多语言场景文本定位与识别方法。该方法基于单个全卷积网络（FCN），具有用于两个任务的共享层。E2 E-MLT是第一个发布的场景文本多语言OCR。虽然在多语言设置中进行了培训，但与仅针对英语场景文本进行培训的其他方法相比，E2 E-MLT表现出了竞争力。实验表明，获得准确的多语言多脚本注释是一个具有挑战性的问题。
2018-12-05 cs.CV
Text Region Multiple Information Perception Network for Scene Text Detection
Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对基于分割的场景文本检测忽略文本区域边缘、距离等信息的问题，本文提出即插即用的 RMIPM 模块以融合前景分类图、距离图和方向图等多类信息，并在 MSRA-TD500 与 TotalText 上达到与最先进方法相当的性能。
2024-01-18 cs.CV
Towards End-to-End Unified Scene Text Detection and Layout Analysis
Google Research（谷歌研究院）
场景文本检测和文档布局分析一直被视为两个独立的任务，在不同的图像领域。在本文中，我们把它们结合起来，并介绍了统一的场景文本检测和版面分析的任务。第一层次场景文本数据集的引入，使这一新的研究任务。我们还提出了一种新的方法，能够同时检测场景文本，并形成文本集群在一个统一的方式。综合实验表明，我们的统一模型实现了更好的性能比多个精心设计的基线方法。此外，该模型在多个场景文本检测数据集上实现了最先进的结果，而无需复杂的后处理。数据集和代码：https://github.com/google-research-datasets/hiertext和https://github.com/tensorflow/models/tree/master/official/projects/unified_detector。
2022-06-03 cs.CV
DiffusionSTR: Diffusion Model for Scene Text Recognition
FA Research, Fast Accounting Co., Ltd.（快速会计有限公司FA研究院）
本文提出DiffusionSTR，首次将扩散模型应用于场景文本识别，将其视为图像条件下的文本到文本任务，在公开数据集上取得了具竞争力的准确率。
2023-06-29 cs.CV
Stroke-Based Scene Text Erasing Using Synthetic Data for Training
Tohoku University（东北大学）
场景文本擦除是将自然图像中的文本区域替换为合理的内容，近年来在计算机视觉界引起了极大的关注。在场景文本擦除中有两个潜在的子任务：文本检测和图像修补。这两个子任务都需要大量的数据来实现更好的性能;然而，缺乏大规模的真实世界场景文本删除数据集并不允许现有的方法实现其潜力。为了弥补成对真实世界数据的不足，我们在额外增强后大量使用了合成文本，随后仅在改进的合成文本引擎生成的数据集上训练我们的模型。我们提出的网络包含一个笔划掩码预测模块和背景修复模块，可以从裁剪的文本图像中提取文本笔划作为一个相对较小的洞，以保持更多的背景内容，以获得更好的修复效果。该模型可以部分地擦除场景图像中的文本实例与限界框或与现有的场景文本检测器自动场景文本擦除。对SCUT-Syn、ICDAR 2013和SCUT-EnsText数据集进行定性和定量评估的实验结果表明，即使在真实数据上进行训练，我们的方法也明显优于现有的最先进方法。
2021-12-03 cs.CV
TALC: Time-Aligned Captions for Multi-Scene Text-to-Video Generation
University of California Los Angeles（加州大学洛杉矶分校）；Google Research（谷歌研究院）
本文提出TALC框架，通过时间对齐字幕增强文本条件机制，使预训练T2V模型能生成多场景视频，微调后总体得分相对提升29%。
2024-11-08 cs.AI cs.CV cs.LG
Fused Text Segmentation Networks for Multi-oriented Scene Text Detection
Shanghai Jiao Tong University（上海交通大学）；Westone Cryptologic Research Center（威斯顿密码学研究中心）；Xiamen No.1 High School（厦门第一中学）
本文从实例感知的语义分割角度提出了一种面向多方向场景文本检测的端-端框架。我们提出了融合文本分割网络，它在特征提取过程中结合了多层次特征，因为文本实例可能依赖于比一般对象更精细的特征表达。该算法结合语义分割任务和基于区域建议的目标检测任务的优点，同时对文本实例进行检测和分割。在不涉及任何额外管道的情况下，我们的方法在多方向场景文本检测基准上超过了当前最先进的水平：ICDAR 2015偶然场景文本和MSRA-TD 500分别达到Hmean 84.1%和82.0%。此外，我们报告了包含弯曲文本的总文本的基线，这表明所提出的方法的有效性。
2018-05-07 cs.CV
Domain Adaptive Scene Text Detection via Subcategorization
Nanyang Technological University（南洋理工大学）；ByteDance Inc.（字节跳动公司）
现有的大部分场景文本检测器需要大规模的训练数据，由于两个主要因素，训练数据不能很好地扩展：1）场景文本图像通常具有特定领域的分布; 2）收集大规模的带注释的场景文本图像是费力的。我们研究域自适应场景文本检测，这是一项在很大程度上被忽视但非常有意义的任务，旨在优化标记场景文本图像的传输，同时处理各种新领域中的未标记图像。具体来说，我们设计了SCAST，一个子类别感知的自训练技术，有效地减轻了网络过拟合和噪声伪标签域自适应场景文本检测。SCAST由两种新颖的设计组成。对于带标签的源数据，它为前景文本和背景材料引入伪子类，这有助于训练具有多类检测目标的更一般化的源模型。对于未标记的目标数据，它通过共正则化在源域中训练的二进制和子类分类器来减轻网络过拟合。大量的实验表明，SCAST在多个公共基准测试中一致地实现了卓越的检测性能，并且它也很好地推广到其他领域的自适应检测任务，如车辆检测。
2022-12-01 cs.CV
DGST : Discriminator Guided Scene Text detector
Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
场景文本检测任务由于其广泛的应用而在计算机视觉中引起了相当大的关注。近年来，许多研究者将语义分割的方法引入到场景文本检测中，取得了很好的效果。为了提高场景文本检测的分割效果，提出了一种基于条件生成对抗网络的场景文本检测器框架--DGST（Discriminator Guided Scene Text detector）。该方法取代了现有的基于语义分割的二值文本评分图，生成了包含更多信息的多尺度软文本评分图，更合理地表示文本位置，解决了文本提取过程中文本像素粘连的问题。标准数据集上的实验表明，所提出的DGST带来了显着的增益，并优于国家的最先进的方法。具体而言，它在ICDAR 2015数据集上实现了87%的F-测量。
2020-02-28 cs.CV
