TC-OCR: TableCraft OCR for Efficient Detection & Recognition of Table Structure & Content
Indraprastha Institute of Information Technology, Delhi（德里英迪拉普拉斯塔信息技术学院）
本研究提出TC-OCR端到端流水线，集成DETR、CascadeTabNet和PP OCR v2，实现表格检测、结构识别与内容识别，IOU达0.96，OCR准确率78%，较Table Transformer提升约25%。
2024-04-19 cs.CV
The Solution for the ICCV 2023 1st Scientific Figure Captioning Challenge
Nanjing University of Science and Technology（南京理工大学）；Baidu,Inc（百度公司）；Boss Zhipin（Boss直聘）
本文提出一种提升论文图像描述生成质量的解决方案，通过 PaddleOCR 提取 OCR 信息，利用 LLaMA 过滤无关文本，并集成 BRIO 框架对齐生成与评估过程，最终在挑战赛中排名第一。
2024-03-26 cs.AI cs.CV
An End-to-End OCR Framework for Robust Arabic-Handwriting Recognition using a Novel Transformers-based Model and an Innovative 270 Million-Words Multi-Font Corpus of Classical Arabic with Diacritics
Helwan University（赫尔万大学）
这项研究是第二阶段，在一系列的调查，发展光学字符识别（OCR）的阿拉伯历史文件，并研究如何不同的建模程序与问题的相互作用。第一项研究研究了Transformers对我们定制的阿拉伯语数据集的影响。第一次研究的缺点之一是训练数据的大小，由于缺乏资源，我们的3000万张图像中只有15000张图像。此外，我们还添加了图像增强层、时间和空间优化以及后校正层，以帮助模型预测正确上下文的正确单词。值得注意的是，我们提出了一种端到端的文本识别方法，使用视觉Transformer作为编码器，即BEIT，并使用vanilla Transformer作为解码器，消除了用于特征提取的CNN，并降低了模型的复杂性。实验表明，我们的端到端模型优于卷积骨干。该模型获得了4.46%的CER。
2022-08-26 cs.CL cs.CV cs.LG
Scaling State-Space Models from Lines to Paragraphs: An Ablation of Mamba-based OCR
LITIS EA4108, University of Rouen Normandy（鲁昂大学LITIS EA4108实验室）；LITIS EA4108, INSA of Rouen Normandy（鲁昂国立应用科学学院LITIS EA4108实验室）
研究Mamba状态空间模型在OCR中从行到段落的缩放行为，发现循环状态维度和扩展因子是关键超参数，SSM在合成数据上速度更快但精度相当，在真实手写数据上因数据稀缺而落后于Transformer。
2026-06-23 cs.CV
Mixed Text Recognition with Efficient Parameter Fine-Tuning and Transformer
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences, China（深圳先进技术研究院，中国科学院，中国）；The Institute of Technological Sciences, Wuhan University, China（技术科学学院，武汉大学，中国）
本文提出DLoRA-TrOCR方法，通过在预训练OCR Transformer中嵌入DoRA和LoRA模块，以不超过0.7%的可训练参数实现混合文本场景的高效微调，并在多个数据集上取得领先性能。
2025-05-09 cs.CV
Arabic-Nougat: Fine-Tuning Vision Transformers for Arabic OCR and Markdown Extraction
Faculty of Engineering Ain Shams University（艾因夏姆斯大学工程学院）
本文提出Arabic-Nougat——基于Meta的Nougat架构微调的阿拉伯语OCR模型套件，含三个专用模型，在合成数据集arabic-img2md上训练，还贡献了Aranizer-PBE-86k分词器，模型性能领先且相关资源开源。
2024-11-19 cs.AI cs.CL cs.CV
Training Kindai OCR with parallel textline images and self-attention feature distance-based loss
针对近代日文文档OCR标注数据稀缺问题，提出利用并行文本行图像及基于自注意力特征距离的损失函数，有效降低字符错误率并提升识别性能。
2025-08-12 cs.CV
Institutional Books - Visual Elements: An open-source pipeline for extracting, classifying, deduplicating, and captioning visual elements from digital book collections
该研究推出开源管道Institutional Books - Visual Elements，可对历史藏书的视觉元素进行提取等处理，并发布含2260万个元素的数据集，助力数字化藏书的新计算应用。
2026-08-20 cs.CV cs.DL
Vulnerability Analysis of Transformer-based Optical Character Recognition to Adversarial Attacks
University of Edinburgh（爱丁堡大学）
本文提出评估TrOCR模型对抗攻击鲁棒性的框架，发现其对无目标攻击高度脆弱，手写数据集上CER可超1且肉眼不可见，有目标攻击成功率约25%。
2023-11-28 cs.AI cs.CV
UPOCR: Towards Unified Pixel-Level OCR Interface
South China University of Technology（南方科技大学）；INTSIG Information Co. Ltd（INTSIG信息有限公司）；INTSIG-SCUT Joint Lab of Document Image Analysis（INTSIG-SCUT文档图像分析联合实验室）
提出UPOCR，一种基于ViT编码器-解码器和可学习任务提示的统一像素级OCR模型，在文本移除、分割和篡改检测三个任务上以单一模型实现最先进性能。
2026-05-26 cs.CV
STN-OCR: A single Neural Network for Text Detection and Text Recognition
Hasso Plattner Institute, University of Potsdam（波茨坦大学哈索·普拉特纳学院）
在自然场景图像中检测和识别文本是一个具有挑战性的，但尚未完全解决的任务。近年来，已经提出了几种尝试解决两个子任务（文本检测和文本识别）中的至少一个的新系统。在本文中，我们提出了STN-OCR，半监督神经网络场景文本识别的一步，可以优化端到端。与大多数由多个深度神经网络和几个预处理步骤组成的现有作品相比，我们建议使用单个深度神经网络，该网络以半监督的方式学习从自然图像中检测和识别文本。STN-OCR是一种网络，它集成并联合学习空间Transformer网络和文本识别网络，空间transformer网络可以学习检测图像中的文本区域，文本识别网络可以获取识别的文本区域并识别其文本内容。我们研究了我们的模型在一系列不同任务（字符和文本行的检测和识别）上的行为。在公共基准数据集上的实验结果表明，我们的模型能够处理各种不同的任务，而不会对其整体网络结构进行实质性的改变。
2017-07-27 cs.CV
DiT: Self-supervised Pre-training for Document Image Transformer
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure AI（微软Azure人工智能部门）
Image Transformer最近在自然图像理解方面取得了重大进展，无论是使用监督（ViT，DeiT等）或自我监督（BEiT，MAE等）预训练技术。在本文中，我们提出了\textbf{DiT}，这是一种自监督的预训练\textbf{D}或\textbf{I}图像\textbf{T} transformer模型，使用大规模未标记的文本图像进行文档AI任务，这是必不可少的，因为由于缺乏人类标记的文档图像，因此不存在监督的对应物。我们利用DiT作为各种基于视觉的文档AI任务的骨干网络，包括文档图像分类、文档布局分析、表格检测以及OCR的文本检测。实验结果表明，自监督预训练DiT模型在这些下游任务上实现了新的最先进的结果，例如文档图像分类（91.11 $\rightarrow$ 92.69）、文档布局分析（91.0 $\rightarrow$ 94.9）、表格检测（94.23 $\rightarrow$ 96.55）和OCR文本检测（93.07 $\rightarrow$ 94.29）。代码和预训练模型可在\url{https://aka.ms/msdit}上公开获得。
2022-07-19 cs.CV
Confidence-aware Non-repetitive Multimodal Transformers for TextCaps
Beihang University（北京航空航天大学）；Alibaba Group（阿里巴巴集团）；University of Adelaide（阿德莱德大学）
在描述图像时，阅读视觉场景中的文本对于理解关键信息至关重要。最近的工作探索了TextCaps任务，即带有读取光学字符识别（OCR）标记的图像字幕，这需要模型读取文本并将其覆盖在生成的字幕中。现有的方法无法生成准确的描述，因为它们（1）阅读能力差;（2）无法在所有提取的OCR标记中选择关键词;（3）预测字幕中的单词重复。为此，我们提出了一种置信度感知的非重复多模态Transformers（CNMT）来解决上述挑战。我们的CNMT由阅读，推理和生成模块组成，其中阅读模块采用更好的OCR系统来增强文本阅读能力，并采用置信度嵌入来选择最值得注意的标记。为了解决字幕中单词冗余的问题，我们的生成模块包括一个重复掩码，以避免预测字幕中重复的单词。我们的模型在TextCaps数据集上的表现优于最先进的模型，在CIDEr中从81.0提高到93.0。我们的源代码是公开的。
2021-03-21 cs.CL cs.CV
RoundTripOCR: A Data Generation Technique for Enhancing Post-OCR Error Correction in Low-Resource Devanagari Languages
Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对低资源天城文语言OCR后纠错数据稀缺问题，提出RoundTripOCR合成数据生成技术，并发布六种语言数据集，利用预训练变换器模型将OCR错误视为误译进行纠正。
2025-02-23 cs.CL cs.CV
SciCap+: A Knowledge Augmented Dataset to Study the Challenges of Scientific Figure Captioning
Tokyo Institute of Technology（东京工业大学）；National Institute of Information and Communications Technology（信息通信研究机构）
本文构建含提及段落与 OCR 标记的 SciCap+ 知识增强数据集，并以 M4C-Captioner 为基线验证跨模态知识可显著提升科学图表字幕生成效果。
2023-06-06 cs.CL cs.CV
Handwriting Recognition in Historical Documents with Multimodal LLM
针对历史手写文献OCR难度大、现有Transformer模型依赖人工标注且泛化性差的问题，本文评估了多模态大模型Gemini的手写文档转录准确率，并与当前最优Transformer方法做对比。
2024-10-31 cs.CV
HunyuanOCR-1.5: Making Lightweight OCR VLMs Faster and Better
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Large Language Model Department, Tencent（腾讯大语言模型部）；Nankai University（南开大学）
研究改进轻量级端到端OCR视觉语言模型。基于HunyuanOCR-1.0架构，用DFlash提升效率，提出Agentic Data Flow增强能力，在多任务表现出色，还将发布模型权重和代码。
2026-09-18 cs.CV
Robustness Evaluation of Transformer-based Form Field Extractors via Form Attacks
Salesforce Research（Salesforce研究中心）
我们提出了一个新的框架来评估基于变换的形式字段提取方法通过形式攻击的鲁棒性。我们介绍了14种新的形式变换，以评估最先进的字段提取器对OCR级别和表单级别的形式攻击的脆弱性，包括OCR位置/顺序重排，表单背景操作和表单字段值增强。我们使用真实的发票和收据进行稳健性评估，并进行全面的研究分析。实验结果表明，被评估的模型是非常容易受到形式扰动，如字段值的变化（约15%的F1分数下降），输入文本顺序的混乱（约15%的F1分数下降）和字段值的相邻词的中断（约10%的F1分数下降）。在分析的指导下，我们提出了建议，以改善现场提取器的设计和数据汇集的过程。
2021-10-08 cs.AI cs.CV
Hamming OCR: A Locality Sensitive Hashing Neural Network for Scene Text Recognition
Ping An Property & Casualty Insurance（平安财产保险）
近年来，受Transformer的启发，基于自注意的场景文本识别方法取得了优异的性能。然而，我们发现，随着词典的增加，模型的规模迅速扩大。具体来说，softmax分类层和输出嵌入层的参数数量与词汇大小成正比。它阻碍了轻量级文本识别模型的发展，特别是适用于中文和多种语言。因此，我们提出了一个轻量级的场景文本识别模型命名为汉明OCR。在该模型中，提出了一种新的Hamming分类器，该分类器采用局部敏感哈希（LSH）算法对每个字符进行编码，以代替softmax回归，并直接使用生成的LSH码代替输出嵌入。我们也提出了一个简化的Transformer解码器，以减少参数的数量，通过去除前馈网络和使用跨层参数共享技术。与传统方法相比，分类层和嵌入层的参数个数与词汇量无关，在保证准确率的前提下，大大降低了存储量。实验结果表明，Hamming OCR在4个公共基准测试集和一个由SynthText合成的超过20，000个字符的中文文本数据集上取得了较好的效果。
2020-09-23 cs.AI cs.CV cs.LG
Multimodal Transformer for Comics Text-Cloze
CVC, Universitat Autonóma de Barcelona（巴塞罗那自治大学计算机视觉中心）；MICC, University of Florence（佛罗伦萨大学多媒体通信与认知中心）
针对漫画文本完形填空任务，提出基于域自适应ResNet-50视觉编码器的多模态大语言模型架构，结合新OCR标注实现性能提升，并扩展任务至生成式形式建立新基准。
2024-03-06 cs.CV
Automated Invoice Data Extraction: Using LLM and OCR
K.J. Somaiya School of Engineering（K.J.索迈亚工程学院）；Somaiya Vidyavihar University（索迈亚维迪亚维哈尔大学）
本文提出一个结合OCR、深度学习、LLMs和图分析的AI平台，以提高发票数据提取的质量和一致性。
2026-01-08 cs.AI cs.CV
Reference-Based Post-OCR Processing with LLM for Precise Diacritic Text in Historical Document Recognition
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
针对历史变音符号文档OCR错误，提出利用电子书参考与LLM的后处理方法，生成高精度伪标签，平均评分8.72，优于现有模型，并公开数据集。
2025-02-27 cs.CL cs.CV
Mind the Gap: Analyzing Lacunae with Transformer-Based Transcription
Khoury College of Computer Sciences（Khoury计算机学院）；Northeastern University（东北大学）
本文利用在含lacunae合成数据上训练的Transformer OCR模型检测和恢复历史文献中的文本缺损，恢复成功率达65%，并发现转录对数概率可有效识别缺损和错误，为损坏文献分析提供了新方向。
2024-06-28 cs.CL cs.CV
A Survey of OCR Evaluation Methods and Metrics and the Invisibility of Historical Documents
The Pennsylvania State University（宾夕法尼亚州立大学）
本文探讨OCR系统在历史文档中的评估问题，指出现代文档评估方法忽视了历史档案的布局、字体和材料退化，导致结构性不可见和代表性伤害。
2026-03-26 cs.CV cs.DL
LOCR: Location-Guided Transformer for Optical Character Recognition
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Jiaotong University（上海交通大学）；University of Oxford（牛津大学）
本文提出 LOCR，在自回归 transformer 中引入位置引导，并利用大规模文本-位置对训练，显著提升学术与 OOD 文档 OCR 准确率、降低重复率，还支持基于位置提示的交互式识别。
2024-03-04 cs.AI cs.CL cs.CV
Persian Pixel: A large-scale synthetic OCR dataset for Persian language
研究针对波斯语OCR不太成熟的问题，介绍波斯像素数据集。该数据集用SynthOCR - Gen框架从波斯语料库生成超34.3万个图像文本对，经多种退化模型增强，为训练OCR架构提供资源，推动波斯语OCR发展。
2026-07-23 cs.AI cs.CV
Geometry Attention Transformer with Position-aware LSTMs for Image Captioning
University of Electronic Science and Technology of China（电子科技大学）
近年来，Transformer结构已经广泛应用于图像描述中，并具有令人印象深刻的性能。为了获得良好的字幕效果，不同视觉对象的几何形状和位置关系通常被认为是关键信息。为了进一步促进基于Transformers的图像描述，提出了一种改进的几何注意力Transformer（GAT）模型.为了进一步利用几何信息，两个新的几何感知架构分别设计的编码器和解码器在我们的GAT。此外，该模型还包括两个工作模块：1）几何门控自注意细化器，用于在编码步骤中显式地将相对空间信息合并到图像区域表示中; 2）一组位置LSTM，用于在生成字幕文本时精确地通知解码器相对单词位置。在MS COCO和Flickr 30 K数据集上的实验结果表明，该方法具有较好的效果，并且性能优于现有的图像描述模型.
2021-10-01 cs.CV
Bornon: Bengali Image Captioning with Transformer-based Deep learning approach
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）
使用基于编码器-解码器的方法的图像描述，其中CNN用作编码器，并且序列生成器如RNN用作解码器，已被证明是非常有效的。然而，这种方法有一个缺点，那就是序列需要按顺序处理。为了克服这个缺点，一些研究人员已经利用Transformer模型从使用英语数据集的图像生成字幕。然而，没有一个使用Transformer模型生成孟加拉语字幕。因此，我们利用三个不同的孟加拉语数据集，使用Transformer模型从图像中生成孟加拉语字幕。此外，我们比较了基于变换器的模型与基于视觉注意力的编码器-解码器方法的性能。最后，我们比较了基于transformer的模型的结果与其他模型，采用不同的孟加拉语图像描述数据集。
2021-09-11 cs.CV
OSPC: Detecting Harmful Memes with Large Language Model as a Catalyst
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出融合 BLIP、PP-OCR、TrOCR 与 Qwen 的多语言有害表情包检测框架，并通过 GPT-4V 标注数据蒸馏提升性能，在 Online Safety Prize Challenge 中以 AUROC 0.7749 排名第一。
2024-06-14 cs.AI cs.CL cs.CV
CPTR: Full Transformer Network for Image Captioning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们认为图像描述任务从一个新的序列到序列的预测的角度来看，并提出了CPTR（CPTR），它需要序列化的原始图像作为输入到Transformer。与“CNN+Transformer”设计范式相比，我们的模型可以从一开始就在每个编码器层对全局上下文进行建模，并且完全无卷积。大量的实验证明了所提出的模型的有效性，我们超越了传统的“CNN+Transformer”的方法在MSCOCO数据集。此外，我们提供了详细的可视化的自我注意之间的补丁在编码器和“字到补丁”的注意在解码器感谢完整的Transformer架构。
2021-01-28 cs.CV
Image Captioning through Image Transformer
University of Surrey（萨里大学）；Leibniz University of Hanover（莱布尼茨汉诺威大学）；Nokia Technologies（诺基亚技术公司）；University of Twente（特温特大学）；University of Glasgow（格拉斯哥大学）
图像的自动字幕是一项结合了图像分析和文本生成的挑战的任务。字幕的一个重要方面是注意力的概念：如何决定描述什么以及以什么顺序。受文本分析和翻译成功的启发，以前的工作提出了用于图像描述的\textit{transformer}架构。然而，图像中的\textit{semantic units}（通常是来自目标检测模型的检测区域）和句子（每个单词）之间的结构是不同的。为了使Transformer的内部架构适应图像，已经做了有限的工作。在这项工作中，我们介绍了\textbf{\textit{image transformer}}，它包括一个修改的编码Transformer和一个隐式解码Transformer，动机的图像区域之间的相对空间关系。我们的设计扩展了原有的Transformer层的内部架构，以适应图像的结构。只有区域特征作为输入，我们的模型在MSCOCO离线和在线测试基准上都实现了新的最先进的性能。
2020-10-02 cs.CV
ReFormer: The Relational Transformer for Image Captioning
InnoPeak Technology, Inc.（InnoPeak科技公司）；Stony Brook University（石溪大学）
图像描述通过使用场景图来表示图像中对象的关系，能够实现更好的性能。目前的字幕编码器通常使用图卷积网络（GCN）来表示关系信息，并通过级联或卷积将其与对象区域特征合并，以获得用于句子解码的最终输入。然而，由于两个原因，现有方法中基于GCN的编码器对于字幕效果较差。首先，使用图像描述作为目标（即，最大似然估计）而不是以关系为中心的损失不能充分发掘编码器的潜力。其次，使用预先训练的模型而不是编码器本身来提取关系是不灵活的，并且不能有助于模型的可解释性。为了提高图像描述的质量，我们提出了一种新的体系结构ReFormer --一个关系Transformer来生成嵌入了关系信息的特征，并显式地表达图像中对象之间的成对关系。ReFormer采用一种改进的Transformer模型，将场景图生成的目标与图像描述的目标相结合。这种设计允许ReFormer不仅可以生成更好的图像字幕，而且可以提取强关系的图像特征，还可以生成场景图来显式描述成对关系。在公开数据集上的实验表明，我们的模型在图像描述和场景图生成方面明显优于现有的方法
2022-07-14 cs.CV
Semi-Autoregressive Transformer for Image Captioning
Hefei University of Technology（合肥工业大学）；Tencent AI Lab（腾讯AI实验室）；Key Laboratory of Knowledge Engineering with Big Data (Ministry of Education)（大数据知识工程教育部重点实验室）
当前最先进的图像描述模型采用自回归解码器\ie，它们通过调节先前生成的单词来生成每个单词，这导致推理期间的严重延迟。为了解决这个问题，最近提出了非自回归图像描述模型，通过并行生成所有单词来显著加快推理速度。然而，这些非自回归模型不可避免地遭受大的生成质量下降，因为他们删除字依赖过度。为了在速度和质量之间取得更好的平衡，我们引入了一个用于图像描述~的半自回归模型（SATIC），该模型在全局上保持自回归特性，但在局部上生成单词。在Transformer的基础上，只需要做一些修改就可以实现SATIC。在MSCOCO图像描述基准测试上的实验结果表明，SATIC可以实现良好的权衡，而无需花里胡哨。代码可在{ \color{magenta} \url{https://github.com/YuanEZhou/satic} }获得。
2021-08-17 cs.CV
Analyzing Transformer Models and Knowledge Distillation Approaches for Image Captioning on Edge AI
本文研究在资源受限的边缘设备上部署Transformer图像描述模型，通过评估轻量级Transformer架构并结合知识蒸馏技术，在保持模型性能的同时加速推理，为工业自动化和自主机器人提供实时场景理解能力。
2025-06-04 cs.CV
UniT3D: A Unified Transformer for 3D Dense Captioning and Visual Grounding
Technical University of Munich（慕尼黑工业大学）；Meta AI；Simon Fraser University（西蒙菲莎大学）
执行3D密集字幕和视觉基础需要对潜在的多模态关系有共同的理解。然而，尽管之前有一些尝试将这两个相关的任务与高度任务特异性的神经模块连接起来，但如何明确描述它们的共享性质以同时学习它们仍然没有得到充分研究。在这项工作中，我们提出了UniT 3D，一个简单而有效的完全统一的基于变压器的架构，共同解决三维视觉接地和密集字幕。UniT 3D通过具有双向和seq-to-seq目标的监督联合预训练方案，可以在两个任务中学习强大的多模态表示。通过通用架构设计，UniT 3D允许将预训练范围扩展到更多不同的训练源，例如来自2D先验知识的合成数据，以利于3D视觉语言任务。大量的实验和分析表明，UniT 3D获得了显着的收益，为3D密集字幕和视觉接地。
2022-12-01 cs.CV
End-to-End Dense Video Captioning with Masked Transformer
University of Michigan（密歇根大学）；Salesforce Research（Salesforce研究院）
密集视频描述旨在为未修剪视频中的所有事件生成文本描述。这包括检测和描述事件。因此，所有以前的密集视频描述的方法解决这个问题，通过建立两个模型，即事件建议和字幕模型，这两个子问题。这些模型可以单独训练，也可以交替训练。这防止了语言描述对事件提议的直接影响，这对于生成准确的描述是重要的。为了解决这个问题，我们提出了一个端到端的Transformer模型密集的视频描述。编码器将视频编码成适当的表示。建议解码器从具有不同锚的编码解码以形成视频事件建议。字幕解码器采用掩蔽网络来限制其对编码特征上的提议事件的注意力。该掩码网络将事件提案转换为可区分的掩码，以确保在训练期间提案和字幕之间的一致性。此外，我们的模型采用了自我注意力机制，这使得在编码过程中使用高效的非递归结构，并导致性能的改善。我们在ActivityNet Captions和YouCookII数据集上证明了这种端到端模型的有效性，我们分别获得了10.12和6.58的METEOR分数。
2018-04-03 cs.CV
Rethinking Surgical Captioning: End-to-End Window-Based MLP Transformer Using Patches
The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；Imperial College London（帝国理工学院）；National University of Singapore (Suzhou) Research Institute（新加坡国立大学（苏州）研究院）
手术字幕在手术指导预测和报告生成中起着重要作用。然而，大多数字幕模型仍然依赖于繁重的计算对象检测器或特征提取器来提取区域特征。此外，检测模型需要额外的限界框注释，这是昂贵的并且需要熟练的注释者。这些导致推理延迟并限制字幕模型在实时机器人手术中部署。为此，我们设计了一个端到端的检测器和特征提取器的自由字幕模型，利用基于补丁的移动窗口技术。本文提出了基于移动窗口的多层感知器Transformer字幕模型（SwinMLP-TranCAP），该模型具有更快的推理速度和更少的计算量。SwinMLP-TranCAP用基于窗口的多头MLP代替了多头注意力模块。此类部署主要关注图像理解任务，但很少有工作研究字幕生成任务。SwinMLP-TranCAP还扩展为视频版本，用于使用3D补丁和窗口的视频描述任务。与以前的基于检测器或基于特征提取器的模型相比，我们的模型大大简化了架构设计，同时保持了两个手术数据集的性能。该代码可在https://github.com/XuMengyaAmy/SwinMLP_TranCAP上公开获取。
2022-06-30 cs.CV
Describing and Localizing Multiple Changes with Transformers
National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所）；Waseda University（早稻田大学）
改变字幕任务旨在检测在场景改变之前和之后观察到的图像对中的改变，并生成改变的自然语言描述。现有的变化字幕研究主要集中在单个变化上，而检测和描述图像对中的多个变化部分对于增强对复杂场景的适应性至关重要。我们从三个方面解决了上述问题：（i）提出了一个基于模拟的多变化字幕数据集;（ii）对现有的单变化字幕方法进行了多变化字幕的基准测试;（iii）我们进一步提出多变化字幕Transformers（MCCFormers）其通过密集地关联图像对中的不同区域来识别变化区域，句子.所提出的方法获得了最高的分数在四个传统的变化字幕多变化字幕的评价指标。此外，我们提出的方法可以分离注意力地图的每一个变化，并表现良好的变化定位。此外，该框架在现有的更改字幕基准CLEVR-Change上的表现优于以前的最先进方法（BLEU-4评分为+6.1，CIDER评分为+9.7），表明其在更改字幕任务中的一般能力。
2021-09-14 cs.CV
Multimodal Transformer with Multi-View Visual Representation for Image Captioning
Hangzhou Dianzi University（杭州电子科技大学）；University of Chinese Academy of Sciences（中国科学院大学）
图像描述的目标是自动生成给定图像的自然语言描述，并且大多数最先进的模型都采用了编码器-解码器框架。该框架包括一个基于卷积神经网络（CNN）的图像编码器，从输入图像中提取基于区域的视觉特征，和一个基于递归神经网络（RNN）的字幕解码器，基于视觉特征与注意力机制生成输出字幕词。尽管现有的研究取得了成功，目前的方法只建模的共同注意的特点，通道间的相互作用，而忽略了自我注意的特点，通道内的相互作用。受Transformer模型在机器翻译中成功应用的启发，本文将其扩展为一个用于图像描述的多模态Transformer（MT）模型。与现有的图像描述方法相比，MT模型在统一的注意力块中同时捕获模态内和模态间的交互。由于这种注意力块的深入模块化组成，MT模型可以执行复杂的多模态推理并输出准确的字幕。此外，为了进一步提高图像描述的性能，多视角视觉特征被无缝地引入到MT模型中。我们使用基准MSCOCO图像描述数据集定量和定性地评估我们的方法，并进行广泛的消融研究，以调查其有效性背后的原因。实验结果表明，我们的方法显着优于以前的国家的最先进的方法。在撰写本文时，我们的解决方案在MSCOCO图像描述挑战赛的实时排行榜上排名第一。
2019-05-20 cs.CV
VLTinT: Visual-Linguistic Transformer-in-Transformer for Coherent Video Paragraph Captioning
University of Arkansas（阿肯色大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohammed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
视频段落字幕的目的是生成一个多句子的描述一个未经修剪的视频与几个时间事件的位置在连贯的故事。在人类的感知过程中，场景被有效地理解分解成视觉（如人类，动物）和非视觉组件（如动作，关系）的视觉和语言的相互影响下，我们首先提出了一个视觉语言（VL）功能。在所提出的VL功能，场景建模的三个模态，包括（i）一个全球性的视觉环境;（ii）本地视觉主代理;（iii）语言场景元素。然后，我们引入了自回归变换器中的Transformer（TinT），同时捕获视频内的事件内和事件间内容的语义一致性。最后，我们提出了一个新的VL对比损失函数，以保证学习的嵌入特征与字幕语义相匹配。在ActivityNet Captions和YouCookII数据集上进行的全面实验和广泛的消融研究表明，所提出的视觉语言转换器（VLTinT）在准确性和多样性方面优于现有的最先进的方法。源代码可在https://github.com/UARK-AICV/VLTinT上公开获取。
2023-02-16 cs.CV
SwinBERT: End-to-End Transformers with Sparse Attention for Video Captioning
Microsoft（微软）
视频描述的规范方法规定了从离线提取的密集视频特征中学习的字幕生成模型。这些特征提取器通常对以固定帧速率采样的视频帧进行操作，并且通常在图像/视频理解任务上进行训练，而不适应视频描述数据。在这项工作中，我们提出了SwinBERT，一个端到端的基于转换器的模型视频描述，它需要视频帧补丁直接作为输入，并输出一个自然语言的描述。我们的方法不是利用多个2D/3D特征提取器，而是采用视频Transformer来编码时空表示，该时空表示可以适应可变长度的视频输入，而无需针对不同的帧速率进行专门的设计。基于这个模型架构，我们表明，视频描述可以从更密集的采样视频帧中受益，而不是以前的成功与稀疏采样视频帧的视频和语言理解任务（例如，视频问答）。此外，为了避免连续视频帧中的固有冗余，我们提出了自适应学习稀疏注意力掩码并通过更好的长距离视频序列建模来优化它以提高特定任务的性能。通过对5个视频描述数据集的广泛实验，我们表明SwinBERT比以前的方法实现了全面的性能改进，通常是大幅度的。此外，学习的稀疏注意力掩码将限制推到了新的技术水平，并且可以在不同的视频长度之间和不同的数据集之间传输。代码可在https://github.com/microsoft/SwinBERT上获得
2022-06-18 cs.CV
A Novel Lightweight Transformer with Edge-Aware Fusion for Remote Sensing Image Captioning
针对遥感图像描述模型计算成本高且忽视边缘等细粒度结构的问题，本文提出结合 GPT-2 蒸馏解码器、知识蒸馏与边缘感知增强的轻量级 Transformer，显著提升描述质量。
2025-06-11 cs.CV
A Lightweight Sparse Focus Transformer for Remote Sensing Image Change Captioning
本文提出一种轻量级Sparse Focus Transformer（SFT），通过引入稀疏聚焦注意力机制，在保持性能的同时大幅降低Transformer编码器的参数量和计算复杂度，用于遥感图像变化描述任务。
2024-10-11 cs.CV
DODO: Discrete OCR Diffusion Models
Technion - Israel Institute of Technology, Haifa, Israel.（特拉维夫大学-以色列理工学院，海法，以色列。）；Amazon Web Services（亚马逊网络服务）
针对OCR任务中自回归解码速度慢的问题，提出首个利用块离散扩散的VLM模型DODO，在保持高精度的同时实现高达5倍的推理加速。
2026-05-27 cs.CV
Linguistically Informed Multimodal Fusion for Vietnamese Scene-Text Image Captioning: Dataset, Graph Framework, and Phonological Attention
Faculty of Information Science and Engineering（信息科学与工程学院）；University of Information Technology（信息技术大学）；Vietnam National University（越南国家大学）
本文提出HSTFG和PhonoSTFG框架，通过图拓扑分析发现跨模态边对场景文本融合有害，并构建首个大规模越南语场景文本描述数据集ViTextCaps，揭示52.8%词汇存在声调符号冲突风险。
2026-04-30 cs.CL cs.CV
Spatiality-guided Transformer for 3D Dense Captioning on Point Clouds
University of Sydney（悉尼大学）
3D点云中的密集字幕是一项新兴的视觉和语言任务，涉及对象级3D场景理解。除了传统3D目标检测中的粗略语义类预测和限界框回归之外，3D密集字幕旨在为每个感兴趣的场景对象产生关于视觉外观和空间关系的自然语言描述的更进一步和更精细的实例级标签。为了检测和描述场景中的对象，遵循神经机器翻译的精神，我们提出了一种基于转换器的编码器-解码器架构，即SpaCap 3D，将对象转换为描述，其中，我们特别研究了3D场景中对象的相对空间性，并通过令牌到令牌空间关系学习目标和以对象为中心的解码器设计了空间性引导的编码器，以实现精确和空间性。增强的对象标题生成。在两个基准数据集ScanRefer和ReferIt 3D上进行评估，我们提出的SpaCap 3D在CIDEr@0.5IoU上分别比基线方法Scan 2Cap高出4.94%和9.61%。包含源代码和补充文件的项目页面可在https://SpaCap3D.github.io/上找到。
2022-04-22 cs.CV
Simple is not Easy: A Simple Strong Baseline for TextVQA and TextCaps
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；School of Software, Northwestern Polytechnical University（西北工业大学软件学院）；University of Adelaide（阿德莱德大学）
在日常场景中出现的文字，可以被OCR（光学字符识别）工具识别，包含重要的信息，如街道名称，产品品牌和价格。两个任务--基于文本的视觉问答和基于文本的图像描述，以及现有视觉语言应用程序的文本扩展，正在迅速流行起来。为了解决这些问题，许多复杂的多模态编码框架（如异构图结构）正在使用。在本文中，我们认为，一个简单的注意力机制可以做同样的，甚至更好的工作，没有任何花里胡哨。在这种机制下，我们简单地将OCR标记特征分成单独的视觉和语言注意力分支，并将它们发送到流行的Transformer解码器以生成答案或标题。令人惊讶的是，我们发现这个简单的基线模型相当强大-它在两个流行的基准测试中始终优于最先进的（SOTA）模型，TextVQA和ST-VQA的所有三个任务，尽管这些SOTA模型使用更复杂的编码机制。将其转移到基于文本的图像描述，我们也超越了TextCaps Challenge 2020的获奖者。我们希望这项工作为这两个OCR文本相关的应用程序设置新的基线，并激发多模态编码器设计的新思维。代码可在https://github.com/ZephyrZhuQi/ssbaseline上获得
2020-12-09 cs.CV
UIT-DarkCow team at ImageCLEFmedical Caption 2024: Diagnostic Captioning for Radiology Images Efficiency with Transformer Models
University of Information Technology（信息科技大学）；Vietnam National University（越南国家大学）
本研究利用Transformer模型从放射学图像自动生成诊断性描述，VisionDiagnostor-BioBART取得最佳BERTScore 0.6267，团队获排行榜第三，旨在提升医疗报告质量与效率。
2024-05-28 cs.CV
Improving Image Captioning by Leveraging Intra- and Inter-layer Global Representation in Transformer Network
Xiamen University（厦门大学）；Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）；Tencent Youtu Lab（腾讯云图实验室）；Tsinghua University（清华大学）
基于变换器的体系结构在图像描述中取得了巨大的成功，其中对象区域被编码，然后被加入到矢量表示中以指导字幕解码。然而，这种矢量表示只包含区域级信息，而没有考虑反映整个图像的全局信息，这未能扩展图像描述中复杂多模态推理的能力。在本文中，我们引入了一个全球增强的Transformer（简称GET），使提取更全面的全球表示，然后自适应地引导解码器生成高质量的字幕。在GET中，设计了全局增强编码器用于全局特征的嵌入，设计了全局自适应解码器用于指导字幕的生成。前者模型内和层间的全局表示，利用所提出的全球增强注意力和逐层融合模块。后者包含一个全局自适应控制器，它可以自适应地将全局信息融合到解码器中，以指导字幕生成。在MS COCO数据集上的大量实验表明，我们的GET优于许多国家的艺术。
2020-12-13 cs.CV
Geometry-Entangled Visual Semantic Transformer for Image Captioning
图像描述的最新进展具有视觉语义融合或几何辅助注意力细化的特征。然而，这些基于融合的模型，他们仍然受到批评，缺乏几何信息的帧间和帧内注意力细化。另一方面，基于几何辅助注意的模型仍然受到视觉和语义信息之间的模态差距的影响。在本文中，我们介绍了一种新的几何纠缠视觉语义Transformer（GEVST）网络，实现视觉语义融合和几何辅助注意力细化的优势互补。具体地说，一个稠密字幕模型首先提出了一些具有相应的几何信息的稠密字幕。然后，为了使GEVS具有弥合视觉和语义信息之间的模态差距的能力，我们构建了四个并行的Transformer编码器VV（Pure Visual），VS（Semantic fused to Visual），SV（Visual fused to Semantic），SS（Pure Semantic）用于最终字幕生成。视觉和语义几何特征都用于融合模块和自我注意力模块，以更好地测量注意力。为了验证我们的模型，我们在MS-COCO数据集上进行了大量的实验，实验结果表明，我们的GEVST模型可以获得很好的性能增益。
2021-09-29 cs.CV
Text with Knowledge Graph Augmented Transformer for Video Captioning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；ByteDance Inc.（字节跳动公司）
视频描述旨在使用自然语言描述视频的内容。虽然已经取得了重大进展，但对于实际应用程序来说，仍然有很大的空间来提高性能，主要是由于长尾词的挑战。在本文中，我们提出了一个文本与知识图谱增强Transformer（TextKG）的视频描述。值得注意的是，TextKG是一个双流Transformer，由外部流和内部流组成。外部流被设计为吸收附加知识，其对附加知识之间的交互进行建模，例如，预先构建的知识图谱，以及视频的内置信息，例如，显著对象区域、语音转录和视频字幕，以减轻长尾词挑战。同时，内部流被设计为利用视频中的多模态信息（例如，视频帧、语音转录和视频字幕的外观）以确保字幕结果的质量。此外，在两个流之间还使用交叉注意力机制来共享信息。通过这种方式，两个流可以相互帮助，获得更准确的结果。在四个具有挑战性的视频描述数据集上进行了广泛的实验，即，YouCookII，ActivityNet Captions，MSRVTT和MSVD，表明所提出的方法与最先进的方法相比表现良好。具体来说，所提出的TextKG方法通过在YouCookII数据集上提高18.7%的绝对CIDER分数，优于最好的公布结果。
2023-03-25 cs.CV
Image Captioning In the Transformer Age
Southeast University（东南大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）；Alibaba Group（阿里巴巴集团）；Monash University（莫纳什大学）
图像描述（IC）通过将各种技术结合到CNN-RNN编码器-解码器架构中而取得了惊人的发展。然而，由于CNN和RNN不共享基本网络组件，因此这种异构流水线难以端到端地训练，其中视觉编码器将不会从字幕监督中学习任何东西。这一缺陷激发了研究人员开发一种促进端到端训练的同构架构，其中Transformer是完美的架构，它已被证明在视觉和语言领域具有巨大潜力，因此可以用作IC流水线中视觉编码器和语言解码器的基本组件。同时，自监督学习释放了Transformer架构的力量，预先训练的大规模学习可以推广到包括IC在内的各种任务。这些大规模模型的成功似乎削弱了单一IC任务的重要性。然而，我们通过分析IC与一些流行的自监督学习范式之间的联系，证明IC在这个时代仍然有其特定的意义。由于篇幅限制，我们在这个简短的调查中只提到非常重要的论文，更多相关的作品可以在https://github.com/SjokerLily/awesome-image-captioning上找到。
2022-04-15 cs.CV
Dual Graph Convolutional Networks with Transformer and Curriculum Learning for Image Captioning
Wuhan University（武汉大学）；JD Finance America Corporation（京东金融美国公司）；OPPO US Research Center, InnoPeak Technology Inc.（OPPO美国研究中心，英诺峰科技有限公司）
现有的图像描述方法只关注于理解单个图像中对象或实例之间的关系，而没有探索上下文图像之间存在的上下文相关性。在本文中，我们提出了双图卷积网络（Dual-GCN）与Transformer和课程学习的图像描述。特别地，我们不仅使用对象级GCN来捕获单个图像内的对象到对象的空间关系，而且还采用图像级GCN来捕获相似图像提供的特征信息。通过设计良好的Dual-GCN，可以使语言转换器Transformer更好地理解单个图像中不同对象之间的关系，并充分利用相似图像作为辅助信息，为单个图像生成合理的字幕描述。同时，通过引入交叉复习策略来确定难度水平，我们采用课程学习作为训练策略，以提高我们提出的模型的鲁棒性和泛化能力。我们在大规模MS COCO数据集上进行了大量的实验，实验结果有力地证明了我们提出的方法优于最近的最先进的方法。它的BLEU-1得分为82.2，BLEU-2得分为67.6。我们的源代码位于{ \em \color{magenta}{\url{https://github.com/Unbear430/DGCN-for-image-captioning}} }。
2021-08-05 cs.CV
Collaborative Three-Stream Transformers for Video Captioning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of North Texas（北德克萨斯大学）
本文提出协同三流Transformer（COST）框架，分别建模主语、谓语和宾语，并通过跨粒度注意力对齐三个分支的视觉-语言交互，在三个视频字幕数据集上取得了优于现有方法的性能。
2023-09-18 cs.CV
