TC-OCR: TableCraft OCR for Efficient Detection & Recognition of Table Structure & Content
Indraprastha Institute of Information Technology, Delhi(德里英迪拉普拉斯塔信息技术学院)
本研究提出TC-OCR端到端流水线,集成DETR、CascadeTabNet和PP OCR v2,实现表格检测、结构识别与内容识别,IOU达0.96,OCR准确率78%,较Table Transformer提升约25%。
2024-04-19 cs.CV
Table Structure Recognition using Top-Down and Bottom-Up Cues
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
表格是文档图像中信息丰富的结构化对象。虽然在将表格定位为文档图像中的图形对象方面已经做了大量的工作,但在表格结构识别方面只存在有限的尝试。大多数现有的文献结构识别依赖于从PDF文档中提取的元特征或光学字符识别(OCR)模型,从图像中提取低级别的布局特征。然而,这些方法不能很好地推广,因为当表格布局和文本组织存在显著差异时,OCR会产生元特征或错误。在我们的工作中,我们专注于具有复杂结构,密集内容和不同布局的表格,而不依赖于元特征和/或OCR。我们提出了一种表格结构识别的方法,它结合了单元格检测和交互模块来定位单元格,并预测它们与其他检测到的单元格的行和列关联。我们将结构约束作为额外的差分组件的损失函数的细胞检测。我们在公开可用的真实世界数据集上经验验证了我们的方法- ICDAR-2013,ICDAR-2019(cTDaR)存档,UNLV,SciTSR,SciTSR-COMP,TableBank和PubTabNet。我们的尝试开辟了一个新的方向,表结构识别相结合的自上而下(表单元格检测)和自自底向上的【形】(结构识别)的线索在视觉上理解的表。
2020-10-09 cs.CV
Rethinking Image-based Table Recognition Using Weakly Supervised Methods
National Institute of Informatics (NII)(国立信息学研究所)
以前的大多数表格识别方法都依赖于包含许多丰富注释的表格图像的训练数据集。详细的表格图像注释,例如,然而,单元格或文本限界框注释是昂贵的并且通常是主观的。在本文中,我们提出了一个名为WSTabNet的弱监督模型,用于表格识别,该模型仅依赖于表格图像的HTML(或LaTeX)代码级注释。该模型由三个主要部分组成:用于特征提取的编码器、用于生成表结构的结构解码器和用于预测表中每个单元的内容的单元解码器。我们的系统是通过随机梯度下降算法进行端到端训练的,只需要表格图像和它们的真实HTML(或LaTeX)表示。为了通过深度学习促进表格识别,我们创建并发布了WikiTableSet,这是从维基百科构建的最大的公开可用的基于图像的表格识别数据集。WikiTableSet包含近400万张英文表格图像、59万张日文表格图像和64万张法文表格图像,以及相应的HTML表示和单元格边界框。在WikiTableSet和两个大规模数据集FinTabNet和PubTabNet上进行的广泛实验表明,与所有基准数据集上的最先进模型相比,所提出的弱监督模型实现了更好或相似的精度。
2023-03-14 cs.CV
Flexible Table Recognition and Semantic Interpretation System
Fraunhofer IAIS(弗劳恩霍夫智能分析和信息系统研究所);University of Bonn(波恩大学);University of Cologne(科隆大学)
表抽取是一个重要但尚未解决的问题。在本文中,我们介绍了一个灵活的和模块化的表提取系统。我们开发了两个基于规则的算法,执行完整的表识别过程,包括表检测和分割,并支持最常见的表格格式。此外,结合语义信息的提取,我们开发了一个基于图的表解释方法。我们对具有挑战性的表格识别基准ICDAR 2013和ICDAR 2019进行了广泛的实验,取得了与最先进方法相竞争的结果。我们完整的信息抽取系统表现出很高的F1得分为0.7380。为了支持未来的研究信息抽取从文件中,我们使资源(地面实况注释,评估脚本,算法参数)从我们的表解释实验公开。
2021-12-02 cs.CV
CascadeTabNet: An approach for end to end table detection and structure recognition from image-based documents
Pune Institute of Computer Technology(浦那计算机技术学院)
一种用于文档图像中表格数据解释的表格自动识别方法,主要解决表格检测和表格结构识别两个问题。先前的工作涉及使用两种不同的方法独立地解决这两个问题。最近的工作意味着使用基于深度学习的解决方案,同时也试图设计端到端的解决方案。在本文中,我们提出了一种改进的基于深度学习的端到端方法,用于使用单个卷积神经网络(CNN)模型解决表格检测和结构识别这两个问题。我们建议CascadeTabNet:基于级联掩码区域的CNN高分辨率网络(级联掩码R-CNN HRNet)的模型,其检测表的区域并同时从检测到的表识别结构体单元。我们在ICDAR 2013、ICDAR 2019和TableBank公共数据集上评估了我们的结果。我们在ICDAR 2019竞赛后的表格检测结果中排名第三,同时在ICDAR 2013和TableBank数据集中获得了最佳准确性结果。我们还在ICDAR 2019表格结构识别数据集上获得了最高的准确率结果。此外,我们展示了有效的迁移学习和图像增强技术,使CNN能够实现非常准确的表检测结果。代码和数据集已在以下网址提供:https://github.com/DevashishPrasad/CascadeTabNet
2020-05-28 cs.CV
ConRTF: Edge-Constrained Boundary Distribution Refinement for Realtime TransFormer Table Structure Recognition
L3i, La Rochelle University(拉罗谢尔大学L3i实验室);Yooz(Yooz公司);Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院)
提出边缘约束细粒度定位损失(EFL),编码表格结构不对称性,在实时检测器D-FINE中仅训练时指导边界细化,提升表格结构识别精度,数据高效且推理速度不变。
2026-07-02 cs.AI cs.CV
ICDAR 2021 Competition on Scientific Table Image Recognition to LaTeX
Indian Institute of Technology, Gandhinagar(印度理工学院甘地纳格尔分校)
在许多科学文献中,表格简明扼要地提供了重要信息。数学符号、方程和跨越单元格等视觉特征使得从嵌入在研究文档中的表格中提取结构和内容变得困难。本文讨论了ICDAR 2021科学表格图像识别竞赛的数据集、任务、参与者的方法和结果。具体来说,比赛的任务是将表格图像转换为相应的LaTeX源代码。我们提出了两个子任务。在子任务1中,我们要求参与者从图像中重建LaTeX结构代码。在子任务2中,我们要求参与者从图像中重建LaTeX内容代码。本报告描述了数据集和地面实况规范,详细说明了使用的性能评估指标,提供了最终结果,并总结了参与方法。由VC Group团队提交的提交在子任务1和子任务2中分别获得了74%和55%的最高精确匹配准确度分数,分别超过了之前的基线5%和12%。尽管模型的识别能力仍有待改进,但这项竞赛通过挑战从业者在特定约束条件下解决问题并分享他们的方法,有助于全自动表格识别系统的开发;该平台将继续供挑战后提交,网址为https://competitions.codalab.org/competitions/26979。
2021-11-11 cs.AI cs.CV cs.IR
A large-scale dataset for end-to-end table recognition in the wild
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息工程学院);Zhuzhou CRRC Times Electric Co., Ltd(株洲中车时代电气股份有限公司);Pazhou Lab(琶洲实验室);College of Automation Science and Engineering, South China University of Technology(华南理工大学自动化科学与工程学院)
本文提出首个大规模双语端到端表格识别数据集TabRecSet,包含38.1K个多样真实场景表格及完整多边形标注,并开发了可视化标注工具TableMe,填补了端到端TR研究缺乏基准数据集的空白。
2023-03-27 cs.CV
Current Status and Performance Analysis of Table Recognition in Document Images with Deep Neural Networks
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Kaiserslautern(凯泽斯劳滕大学);Mindgrage;Luleå University of Technology(吕勒奥理工大学);Bilojix Soft Technologies(Bilojix软件技术公司)
表格识别的第一阶段是检测文档中的表格区域。随后,在第二阶段中识别表格结构,以便从各个单元提取信息。表格检测和结构识别是表格理解领域的关键问题。然而,表格分析是一个复杂的任务,由于大量的多样性和不对称的表格。因此,它是文档图像分析中一个活跃的研究领域。图形处理单元的计算能力的最新进展使得深度神经网络能够优于传统的最先进的机器学习方法。表理解已经从深度神经网络的最新突破中受益匪浅。然而,对于用于表格检测和表格结构识别的深度学习方法还没有统一的描述。这篇综述论文对利用深度神经网络的现代方法进行了全面分析。这项工作提供了一个全面的了解目前的最先进的和相关的挑战,在文档图像中的表格理解。此外,主要数据集及其复杂性已与定量结果一起阐述。此外,简要概述了有前途的方向,可以作为指导,以进一步提高文件图像中的表分析。
2021-05-08 cs.CV
Image-based table recognition: data, model, and evaluation
IBM Research Australia(澳大利亚IBM研究院)
文档中与特定主题相关的重要信息通常以表格格式组织,以帮助读者进行信息检索和比较,这可能难以用自然语言提供。然而,非结构化数字文档中的表格数据,例如,可移植文档格式(PDF)和图像由于其结构和风格的复杂性和多样性而难以解析成结构化的机器可读格式。为了通过深度学习促进基于图像的表格识别,我们开发了最大的公开可用表格识别数据集PubTabNet(https://github.com/ibm-aur-nlp/PubTabNet),其中包含568 k表格图像以及相应的结构化HTML表示。PubTabNet通过匹配PubMed Central开放获取子集(PMCOA)中科学文章的XML和PDF表示自动生成。我们还提出了一种新的注意力为基础的编码器双解码器(EDD)架构,将图像的表到HTML代码。该模型有一个结构解码器,它重建表结构,并帮助单元解码器识别单元内容。此外,我们提出了一个新的树编辑距离为基础的相似性(TEDS)指标的表识别,更适当地捕捉多跳细胞错位和OCR错误比预先建立的度量。实验表明,EDD模型可以准确地识别复杂的表格,完全依赖于图像表示,超过9.7%的绝对TEDS得分的最先进的。
2020-03-04 cs.CV
TABLET: Table Structure Recognition using Encoder-only Transformers
iWudao Tech(iWudao科技)
本文提出一种基于拆分-合并策略、使用多个仅编码器Transformer的表格结构识别模型,通过序列标注和网格分类避免边界框预测,在FinTabNet和PubTabNet上取得高精度与高速度,适合工业部署。
2025-06-08 cs.CV cs.LG
Hierarchical Modeling Approach to Fast and Accurate Table Recognition
Preferred Networks, Inc.(Preferred Networks公司)
本文提出了一种基于非因果注意力和并行推理的分层建模方法,用于提升表格识别的准确性和效率。
2025-12-24 cs.CV cs.LG
DenTab: A Dataset for Table Recognition and Visual QA on Real-World Dental Estimates
LITIS, Normandy, France(诺曼底大学LITIS实验室);Malakoff Humanis, Paris, France(巴黎Malakoff Humanis机构)
DenTab数据集包含2000张牙科估算表图像,用于评估表识别和视觉问答性能,包含2208个问题,涵盖检索、聚合和逻辑一致性检查。
2026-04-17 cs.CV
Revisiting Structural Dependency in Autoregressive Multi-Task Table Recognition via Order-Independent Cell-Level Representations
Preferred Networks, Inc.(Preferred Networks公司)
针对自回归多任务表格识别中单元格表示顺序依赖导致全局一致性下降的问题,提出通过非因果注意力生成顺序无关的单元格特征,实现并行推理,在两大数据集上提升定位与识别性能,推理时间减少约3倍。
2026-06-17 cs.CV cs.LG
Synthesizing Realistic Data for Table Recognition
iWudao Tech(悟道科技);Huazhong University of Science and Technology(华中科技大学)
本文提出一种基于现有复杂表格结构与内容合成真实标注数据的方法,构建了中国金融公告表格识别数据集与基准,并通过扩充FinTabNet验证了该方法能有效提升模型对复杂表格的识别性能。
2024-07-09 cs.CV cs.LG
SPRINT: Script-agnostic Structure Recognition in Tables
IIT Bombay(印度理工学院孟买分校);Department of Computer Science and Engineering, IIT Bombay(印度理工学院孟买分校计算机科学与工程系)
本文提出语言无关的表格结构识别框架SPRINT,利用OTSL序列与预训练网格估计器提升多语言TSR性能,降低延迟,并发布13语言MUSTARD数据集。
2025-03-15 cs.CV
ClusterTabNet: Supervised clustering method for table detection and table structure recognition
SAP Business AI(SAP商业人工智能部门)
提出ClusterTabNet,利用Transformer编码器预测单词间关系图,实现表格检测与结构识别,在多个数据集上以更小模型达到或超越现有方法。
2024-05-23 cs.CV cs.LG
Comparing Machine Learning Approaches for Table Recognition in Historical Register Books
Bischöfliches Ordinariat(主教公署);TU Wien(维也纳工业大学);Passau Computer Vision Lab(帕绍计算机视觉实验室);Naver Labs Europe(Naver欧洲实验室);Archiv des Bistums Passau(帕绍教区档案馆)
我们提出了在本文中的实验表识别手写登记簿。我们首先解释如何对行和列检测问题进行建模,然后比较两种用于检测这些表元素的机器学习方法(条件随机场和图卷积网络)。对帕绍教区档案馆提供的死亡记录进行了评估。两种方法显示出相似的结果,89 F1分数,允许信息抽取的质量。软件和数据集都是开源/数据。
2019-06-14 cs.CV cs.IR cs.LG
Rethinking Table Recognition using Graph Neural Networks
National University of Sciences and Technology (NUST)(国立科技大学);National Center of Artificial Intelligence (NCAI)(国家人工智能中心)
文档结构分析,如区域分割和表格识别,是文档处理中的一个复杂问题,也是一个活跃的研究领域。深度学习最近在解决各种计算机视觉和机器学习问题方面取得的成功尚未反映在文档结构分析中,因为传统的神经网络不太适合问题的输入结构。在本文中,我们提出了一个架构的基础上,图网络作为一个更好的替代标准神经网络的表识别。我们认为,图网络是一个更自然的选择,这些问题,并探讨两个基于梯度的图神经网络。我们提出的架构结合了用于视觉特征提取的卷积神经网络和用于处理问题结构的图网络的优点。我们的经验表明,我们的方法优于基线的显着保证金。此外,我们确定缺乏大规模数据集作为结构分析的深度学习研究的主要障碍,并提出了一个新的大规模合成数据集的表识别问题。最后,我们开源了数据集生成的实现和我们的图网络的训练框架,以促进这一方向的可重复研究。
2019-07-03 cs.CV cs.LG
Design and Implementation of an OCR-Powered Pipeline for Table Extraction from Invoices
本文设计并实现了一种基于Tesseract OCR的流水线,通过动态预处理、表格边界检测和行列映射,从扫描发票中高效提取结构化表格数据,显著提升准确性与一致性,适用于自动化财务和数字归档。
2025-07-09 cs.AI cs.CV
MonkeyOCR v1.5 Technical Report: Unlocking Robust Document Parsing for Complex Patterns
KingSoft Office Zhuiguang AI Lab(金山办公紫光人工智能实验室);Huazhong University of Science and Technology(华中科技大学)
针对现有OCR系统难以处理含多级表格、嵌入图像等复杂布局文档的问题,提出MonkeyOCR v1.5两阶段视觉语言框架,通过多模态布局预测、局部识别及专用表格模块,在OmniDocBench v1.5上性能超越PPOCR-VL等,提升复杂文档解析鲁棒性。
2025-11-16 cs.AI cs.CV
PdfTable: A Unified Toolkit for Deep Learning-Based Table Extraction
Automated institute, Wuhan University of Technology(武汉理工大学自动化学院);School of Software, University of Science and Technology of China(中国科学技术大学软件学院)
本文提出 PdfTable 统一工具包,集成表格识别、OCR 与版面分析模型,以适配数字/图像 PDF、有线/无线表格等多场景,并在自建和 PubTabNet 数据集上验证有效。
2024-09-08 cs.CV
OmniParser: A Unified Framework for Text Spotting, Key Information Extraction and Table Recognition
Alibaba Group(阿里巴巴集团);Huazhong University of Science and Technology(华中科技大学)
本文提出统一框架OmniParser,以共享的编码器-解码器架构和点条件文本生成目标同时处理文本定位、关键信息提取与表格识别,在7个数据集上取得SOTA或极具竞争力的结果。
2024-03-28 cs.CV
TableSeq: Unified Generation of Structure, Content, and Layout
univ-rouen(鲁昂大学);LITIS(LITIS研究所);Malakoff Humanis(马拉科夫人文学院)
TableSeq提出一个端到端框架,统一处理表格结构识别、内容识别和单元定位,通过单一序列生成问题实现逻辑结构、文本内容和单元几何的对齐,无需外部OCR或复杂后处理。
2026-04-17 cs.CV
Kannada Character Recognition System A Review
M. S. Ramaiah Institute of Technology(M. S. 拉迈亚理工学院)
在过去的几十年里,人们对光学字符识别ocr进行了深入的研究,并发表了大量的论文。现在市场上有许多商业OCR系统,但这些系统大多适用于罗马,中文,日语和阿拉伯语字符。在印度的12种主要文字中,没有足够数量的关于印度语言字符识别的作品,特别是卡纳达语。本文介绍了现有的工作,印刷卡纳达文和他们的结果。详细讨论了卡纳达文的特点和卡纳达文字符识别系统kcr。最后提出在分类器级进行融合以提高识别精度。
2010-01-29 cs.CV
TGRNet: A Table Graph Reconstruction Network for Table Structure Recognition
Beijing Jiaotong University(北京交通大学);The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院)
表格是一种非常有效的数据结构,在商业和科学研究中得到了广泛的应用。考虑到在线和离线文档中的大规模表格数据,自动表格识别越来越受到文档分析界的关注。虽然人类可以很容易地理解表格的结构,但对于机器来说,理解这一点仍然是一个挑战,特别是由于各种不同的表格布局和风格。现有方法通常将表格建模为标记序列或不同表格单元格之间的邻接矩阵,未能解决表格单元格的逻辑位置的重要性,例如,单元格位于表格的第一行和第二列中。本文将表结构识别问题转化为表图重构问题,提出了一种用于表结构识别的端到端可训练表图重构网络(TGRNet)。具体地,所提出的方法具有两个主要分支,小区检测分支和小区逻辑位置分支,以联合预测不同小区的空间位置和逻辑位置。三个流行的表识别数据集和一个新的数据集与表图注释(TableGraph-350 K)的实验结果表明,所提出的TGRNet表结构识别的有效性。代码和注释将公开提供。
2021-08-17 cs.AI cs.CV
The Socface Project: Large-Scale Collection, Processing, and Analysis of a Century of French Censuses
TEKLIA(泰克利娅公司);Institut National d’Etudes Démographiques (INED)(法国国家人口研究院);Paris School of Economics (PSE)(巴黎经济学院)
本文提出针对1836-1936年法国人口普查名单的完整处理工作流,涵盖大规模数据收集、协作标注、模型训练与批量处理,并证明单一表格识别模型可处理超45万张图像。
2024-06-03 cs.CV
Low-Resource Heuristics for Bahnaric Optical Character Recognition Improvement
Faculty of Computer Science and Engineering(计算机科学与工程学院);Ho Chi Minh City University of Technology(胡志明市技术大学)
本研究提出低资源环境下提升巴纳里语OCR识别准确率的启发式方法,通过结合表格检测与概率后处理技术,使识别准确率从72.86%提升至79.26%。
2026-01-06 cs.CL cs.CV cs.LG
Handwritten Character Recognition of South Indian Scripts: A Review
Cochin University of Science and Technology(科钦科技大学)
手写体字符识别一直是模式识别和图像处理领域的前沿研究领域,对手写体文档的OCR有着很大的需求。尽管对汉语、日语和阿拉伯语等外国文字的研究已经很充分,但对印度文字的手写字符识别,特别是对南印度文字的手写字符识别,只有很少的研究可以追溯。本文提供了一个概述脱机手写字符识别在南印度群岛,即马拉雅拉姆语,泰米尔语,卡纳达语和泰伦古语。
2011-06-01 cs.CL cs.CV cs.CY
A Review of Research on Devnagari Character Recognition
Government Polytechnic, Nagpur(那格浦尔政府理工学院)
英语字符识别(CR)在过去的半个世纪中得到了广泛的研究,并发展到足以产生技术驱动的应用程序的水平。但印度语言的情况并非如此,它们在结构和计算方面都很复杂。快速增长的计算能力可以实现Indic CR方法。数字文档处理在办公室和图书馆自动化、银行和邮政服务、出版社和通信技术中的应用越来越普及。Devnagari是印度的国语,有5亿多人使用,应给予特别关注,以便有效地进行文献检索和分析丰富的古代和现代印度文学。本文旨在为在Devnagari光学字符识别(DOCR)领域工作的读者提供指导和更新。概述了DOCR系统和现有的DOCR技术进行了审查。讨论了DOCR的现状,并对未来的研究方向提出了建议。
2011-01-13 cs.CV
Handwritten Optical Character Recognition (OCR): A Comprehensive Systematic Literature Review (SLR)
Barrett Hodgson University(巴雷特霍奇森大学);Quest International University(奎斯特国际大学);NED University of Engineering and technology(NED工程技术大学);Université Claude Bernard Lyon1(里昂第一大学)
鉴于手写文档在人类交易中的普遍性,文档的光学字符识别(OCR)具有非常宝贵的实用价值。光学字符识别是一门能够将各种类型的文档或图像转换为可分析、可编辑和可搜索的数据的科学。在过去的十年中,研究人员已经使用人工智能/机器学习工具来自动分析手写和打印文档,以便将其转换为电子格式。这篇综述的目的是总结已经进行的手写文档的字符识别的研究,并提供研究方向。在本系统性文献综述(SLR)中,我们收集、综合和分析了2000年至2018年期间发表的关于手写OCR主题(以及密切相关主题)的研究文章。我们遵循广泛使用的电子数据库,遵循预定义的审查协议。使用关键词、前向参考文献检索和后向参考文献检索进行文献检索,以检索与主题相关的所有文献。在仔细遵循研究选择过程后,为本SLR选择了142篇文章。这篇综述文章的目的是介绍OCR的最新成果和技术,并通过突出研究差距提供研究方向。
2020-01-01 cs.CV cs.LG
CTE: A Dataset for Contextualized Table Extraction
Dipartimento di Ingegneria dell’Informazione (DINFO) Università degli studi di Firenze(佛罗伦萨大学信息工程系)
文件中的相关信息通常以表格形式概括,帮助读者识别有用的事实。大多数基准数据集支持文档布局分析或表格理解,但缺乏以统一的方式应用这两项任务的数据。我们定义了上下文化表提取(CTE)的任务,其目的是提取和定义表的结构,考虑到文档的文本上下文。该数据集包含75 k页完整注释的科学论文,包括超过35 k个表格。数据从PubMed Central收集,合并了PubTables-1 M和PubLayNet数据集中注释提供的信息。该数据集可以支持CTE并向原始类添加新类。生成的注释可用于开发各种任务的端到端管道,包括文档布局分析、表格检测、结构识别和功能分析。我们正式定义CTE和评估指标,显示哪些子任务可以解决,描述的优势,局限性,以及未来的工作,这个数据集。注释和代码可通过https://github.com/AILab-UniFI/cte-dataset访问。
2023-02-13 cs.CL cs.CV
ExTTNet: A Deep Learning Algorithm for Extracting Table Texts from Invoice Images
International Computer Institute, Ege University(埃杰大学国际计算机学院)
提出ExTTNet深度学习算法,结合OCR和特征提取,用多层神经网络从发票图像中自动提取表格文本,F1分数达0.92。
2024-02-03 cs.AI cs.CV cs.IR
TableBank: A Benchmark Dataset for Table Detection and Recognition
Microsoft Research Asia(微软亚洲研究院)
我们提出了TableBank,一个新的基于图像的表格检测和识别数据集,该数据集是从互联网上的Word和Latex文档中构建的。基于图像的表格检测和识别的现有研究通常使用几千个人工标记的示例对域外数据进行预训练模型进行微调,这很难在现实世界的应用中推广。通过包含417K高质量标记表的TableBank,我们使用最先进的模型和深度神经网络构建了几个强大的基线。我们公开了TableBank,并希望它能在表格检测和识别任务中支持更多的深度学习方法。数据集和模型可在\url{https://github.com/doc-analysis/TableBank}上获得。
2020-07-06 cs.CV
DTGen: Generative Diffusion-Based Few-Shot Data Augmentation for Fine-Grained Dirty Tableware Recognition
本文提出DTGen,一种基于生成式扩散模型的少样本数据增强方案,通过LoRA、结构化提示和CLIP过滤合成高质量样本,显著提升细粒度脏餐具识别性能,并支持嵌入式洗碗机的轻量化部署。
2025-09-15 cs.AI cs.CV
Global Table Extractor (GTE): A Framework for Joint Table Identification and Cell Structure Recognition Using Visual Context
University of Michigan(密歇根大学);IBM Research-Almaden(IBM阿尔马登研究中心);IBM Research Australia(IBM澳大利亚研究中心)
文档通常用于商业和科学中的知识共享和保存,其中包含捕获大多数关键数据的表格。不幸的是,大多数文档都是以PDF或扫描图像的形式存储和分发的,这无法保留逻辑表结构。最近提出了基于视觉的深度学习方法来解决这一差距,但大多数仍然无法实现最先进的结果。我们提出了全局表提取器(GTE),一个视觉引导的联合表检测和细胞结构化识别的系统框架,它可以建立在任何目标检测模型之上。与GTE-Table,我们发明了一个新的惩罚的基础上自然细胞遏制约束表训练我们的表网络的细胞位置预测的帮助。GTE-Cell是一个新的分层细胞检测网络,利用表格样式。此外,我们设计了一种方法来自动标记现有文档中的表和单元格结构,以廉价地创建大型训练和测试数据语料库。我们使用它来增强PubTabNet与单元格标签,并创建FinTabNet,真实世界和复杂的科学和金融数据集,详细的表结构注释,以帮助训练和测试结构识别。我们的框架在表格检测和细胞结构识别方面都超过了ICDAR 2013和ICDAR 2019表格竞赛的最新结果,在全表格提取系统中显着提高了5.8%。进一步的实验表明,与我们新的域外FinTabNet中的香草RetinaNet目标检测模型相比,细胞结构识别的改进超过45%。
2020-12-02 cs.CV
Robust Table Detection and Structure Recognition from Heterogeneous Document Images
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
我们介绍了一种新的表检测和结构识别方法RobusTabNet检测表的边界,并从异构文档图像中重建每个表的细胞结构。对于表格检测,我们建议使用CornerNet作为新的区域建议网络,为Faster R-CNN生成更高质量的表格建议,这显著提高了Faster R-CNN用于表格检测的定位准确性。因此,我们的表检测方法仅使用轻量级ResNet-18骨干网络,在三个公共表检测基准(即cTDaR TrackA,PubLayNet和IIIT-AR-13 K)上实现了最先进的性能。在此基础上,提出了一种新的基于分割合并的表格结构识别方法,该方法采用基于空间CNN的分割线预测模块将检测到的表格分割成网格单元,并采用基于网格CNN的单元合并模块恢复生成单元。由于空间CNN模块可以有效地在整个表格图像中传播上下文信息,因此我们的表格结构识别器可以鲁棒地识别具有大空白空间的表格和几何扭曲(甚至弯曲)的表格。由于这两种技术,我们的表结构识别方法在三个公共基准上实现了最先进的性能,包括SciTSR,PubTabNet和cTDaR TrackB 2-Modern。此外,我们还进一步证明了我们的方法在识别具有复杂结构,大空白空间以及几何扭曲甚至弯曲形状的表格方面的优势。
2022-09-16 cs.CV
Table Tennis Stroke Detection and Recognition Using Ball Trajectory Data
在这项工作中,检测和分类乒乓球击球单独使用球轨迹的新任务进行了探索。一个单一的摄像机设置定位在裁判员的视图已被用来获取由四个专业乒乓球运动员执行的六个中风类组成的数据集。球跟踪使用YOLOv4,一个传统的目标检测模型,和TrackNetv2,一个时间热图为基础的模型,已经实现了我们的数据集和他们的性能已经基准。开发了一种数学方法来使用球轨迹数据提取击球的时间边界,在我们的数据集中总共产生了2023个有效击球,同时还成功地检测了发球和失误击球。开发的时间卷积网络对完全看不见的数据进行了笔划识别,准确率为87.155%。几种基于机器学习和深度学习的模型架构已经被训练用于使用球轨迹输入的击球识别,并基于它们的性能进行基准测试。虽然乒乓球领域中的击球识别已经基于使用关注于运动员动作的视频数据的人类动作识别而被广泛探索,但是球轨迹数据的使用对于该运动是未探索的特征。因此,这项工作背后的动机是证明可以使用最少的输入信息得出有意义的推断,如笔画检测和识别。
2023-02-19 cs.AI cs.CV cs.LG
TabAug: Data Driven Augmentation for Enhanced Table Structure Recognition
National University of Sciences and Technology (NUST)(国立科技大学)
表格结构识别是文档图像中端到端表格数据抽取的重要组成部分。最近深度学习模型架构在计算机视觉中的成功在表结构识别中仍然是非反射性的,这主要是因为该领域的大量数据集仍然不可用,而标记新数据是昂贵且耗时的。传统上,在计算机视觉中,这些挑战通过基于图像变换(如颜色抖动和随机裁剪)的标准增强技术来解决。正如我们的实验所示,这些技术是不有效的表结构识别的任务。在本文中,我们提出了TabAug,一个重新想象的数据增强技术,通过复制和删除行和列,在表图像中产生结构变化。它还包括一个数据驱动的概率模型,允许控制增强过程。为了证明我们的方法的有效性,我们在ICDAR 2013数据集上进行了实验,我们的方法在评估指标的各个方面都有一致的改进,细胞水平的正确检测率从基线的92.16%提高到96.11%。
2021-05-15 cs.AI cs.CV cs.LG
RAPTOR: Refined Approach for Product Table Object Recognition
Yooz;La Rochelle Université(拉罗谢尔大学)
RAPTOR是一个模块化后处理系统,通过遗传算法优化参数,增强DETR和TATR模型,解决产品表格检测与结构识别中的常见错误,在私有和公共数据集上提升精度与结构预测性能。
2025-02-24 cs.AI cs.CV cs.IR
Evaluating Table Structure Recognition: A New Perspective
American Express AI Labs(美国运通人工智能实验室)
用于评估表格结构识别算法的现有度量在捕获文本和空单元格对齐方面存在缺点。在本文中,我们建立在以前的工作,并提出了一个新的度量- TEDS基于IOU相似性(TEDS(IOU))的表结构识别,使用包围盒,而不是文本,同时对上述缺点是强大的。我们证明了我们的指标对以前的指标通过各种例子的有效性。
2022-07-31 cs.CV cs.LG
Guided Table Structure Recognition through Anchor Optimization
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Kaiserslautern(凯泽斯劳滕大学);Mindgrage;Luleå University of Technology(吕勒奥理工大学);Bilojix Soft Technologies(Bilojix软件技术公司)
本文提出了一种利用引导锚点进行表格结构识别的新方法。该概念不同于当前用于表格结构识别的最先进的方法,该方法天真地应用目标检测方法。与现有技术相比,首先,我们估计表结构识别的可行锚。随后,利用这些锚点来定位表格图像中的行和列。此外,本文还介绍了一种简单有效的方法,通过在现实场景中使用表格布局来改善结果。在ICDAR-2013和TabStructDB两个公开的表结构识别数据集上对所提出的方法进行了详尽的评估。我们在ICDAR-2013数据集上完成了最先进的结果,平均F-Measure为95.05 $\%$(行为94.6 $\%$,列为96.32 $\%$),并超过了TabStructDB数据集上的基线结果,平均F-Measure为94.17 $\%$(行为94.08 $\%$,列为95.06 $\%$)。
2021-04-21 cs.CV
TableCenterNet: A one-stage network for table structure recognition
School of Information Engineering(信息工程学院)
本文提出单阶段端到端网络 TableCenterNet,将表格空间与逻辑结构预测统一为并行回归,在提升训练和推理效率的同时于 TableGraph-24k 上达到最优性能。
2025-05-12 cs.CV
TabSniper: Towards Accurate Table Detection & Structure Recognition for Bank Statements
American Express(美国运通)
针对银行对账单版式多样、长表格交易提取不准的问题,提出基于DETR微调并加特征增强的TabSniper方法,实现表格检测分类与结构识别,经后处理输出结构化交易数据,性能优于基线。
2024-12-17 cs.CV
Neural Collaborative Graph Machines for Table Structure Recognition
Tencent YouTu Lab(腾讯优图实验室)
最近,表结构识别在深度图模型的帮助下取得了令人印象深刻的进展。他们中的大多数人利用单一的视觉线索的表格元素或简单地结合视觉线索与其他形式通过早期融合,推理他们的图形关系。然而,无论是早期的融合,也不是单独的推理,在多个模态,可以是适当的所有品种的表结构具有很大的多样性。相反,预计不同的模式将以不同的模式为不同的表的情况下相互合作。在社区中,表结构推理的模态内-模态间交互的重要性仍然是未被探索的。在本文中,我们定义它为异构表结构识别(Hetero-TSR)问题。为了填补这一空白,我们提出了一种新的神经协作图机(NCGM)配备了堆叠的协作块,交替提取内模态上下文和模型间的模态交互的分层方式。它能更鲁棒地表示表格元素的模态间关系,从而显著提高识别性能。我们还表明,建议的NCGM可以调节合作模式的不同形式的条件下的上下文内的模态线索,这是至关重要的多样化表的情况下。基准测试的实验结果表明,我们提出的NCGM实现了最先进的性能,并击败了其他当代方法的大幅度,特别是在具有挑战性的情况下。
2022-03-10 cs.CV
Enhancing Table Structure Recognition via Bounding Box Guidance
South China University of Technology(华南理工大学)
针对图像到序列方法忽略边界框信息导致复杂场景错误的问题,提出BGTR框架,先预测单元格边界框再引导HTML生成,并引入合成数据集SNSTab和渐进训练,在五个基准上取得SOTA性能。
2026-09-09 cs.CV
Grab What You Need: Rethinking Complex Table Structure Recognition with Flexible Components Deliberation
Tencent YouTu Lab(腾讯优图实验室)
最近,表结构识别(TSR)任务,旨在识别表结构到机器可读的格式,在社会上受到越来越多的关注。虽然基于单表组件的方法取得了令人印象深刻的成功,但大多数基于单表组件的方法不能很好地处理因内部结构复杂和外部捕获失真而分散注意力的非正则表情况。在本文中,我们将其提出为复杂的TSR问题,其中现有方法的性能退化归因于其低效的组件使用和冗余的后处理。为了减轻它,我们将我们的视角从表组件提取转向有效的多组件利用,这有待于在该领域的进一步探索。具体来说,我们提出了一个开创性的方法,称为GrabTab,配备了新提出的组件审议。由于其渐进式的审议机制,我们的GrabTab可以灵活地适应最复杂的表格,选择合理的组件,但不涉及复杂的后处理。公共基准上的定量实验结果表明,我们的方法显着优于最先进的,特别是在更具挑战性的场景。
2023-03-16 cs.CV
GriTS: Grid table similarity metric for table structure recognition
Microsoft(微软)
本文提出了用于表格结构识别评估的网格表格相似度度量GriTS,通过多项式时间启发式算法求解矩阵相似度,统一了单元格拓扑、位置与内容识别三个子任务,简化了评估并提升了比较意义。
2023-05-23 cs.CV cs.LG
LORE: Logical Location Regression Network for Table Structure Recognition
Zhejiang University(浙江大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
表格结构识别(TSR)的目的是将图像中的表格提取为机器可理解的格式。最近的方法解决了这个问题,通过预测检测到的单元格框的邻接关系,或学习从表图像生成相应的标记序列。然而,它们要么依靠额外的启发式规则来恢复表结构,要么需要大量的训练数据和耗时的顺序解码器。在本文中,我们提出了另一种范式。我们将TSR建模为一个逻辑位置回归问题,并提出了一个新的TSR框架LORE,代表逻辑位置回归网络,首次将逻辑位置回归与表单元格的空间位置回归结合起来。我们提出的LORE是概念上更简单,更容易训练和更准确的比以前的TSR模型的其他范例。在标准基准上的实验表明,LORE始终优于现有技术。代码可在https://www.example.com上获得。github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/DocumentUnderstanding/LORE-TSR
2023-03-07 cs.CV
UniTabNet: Bridging Vision and Language Models for Enhanced Table Structure Recognition
University of Science and Technology of China(中国科学技术大学);iFLYTEK AI Research(讯飞AI研究院)
本文提出UniTabNet框架,通过图像到文本模型结合物理与逻辑解码器重建表格结构,并引入Vision Guider和Language Guider提升预测准确性与文本语义理解,在多个数据集上达到最先进性能。
2024-09-20 cs.CV
Optimized Table Tokenization for Table Structure Recognition
IBM Research(IBM研究院)
针对表格结构识别中Im2Seq模型的标记表示影响性能的问题,提出优化表格结构语言OTSL,减少标记数与序列长度,提升精度、减半推理时间且消除多数后处理需求。
2023-05-05 cs.CV
Deep learning for table detection and structure recognition: A survey
Assiut University(艾斯尤特大学);Satbayev University(萨特巴耶夫大学);Chungbuk National University(忠北国立大学);International IT University(国际信息技术大学);KazMunayGas Engineering LLP(哈萨克斯坦国家石油天然气工程有限责任合伙公司)
桌子无处不在,从科学期刊、论文、网站和报纸到我们在超市购买的物品。因此,检测它们对于自动理解文档的内容至关重要。由于深度学习网络的快速发展,表检测的性能大幅提高。本调查的目标是提供对表检测领域主要发展的深刻理解,提供对不同方法的深入了解,并提供不同方法的系统分类。此外,我们提供了一个经典的和新的应用领域的分析。最后,现有模型的数据集和源代码被组织起来,为读者提供了对这一庞大文献的指南针。最后,我们去了利用各种目标检测和表结构识别方法,以创建一个有效的和高效的系统的架构,以及一组发展趋势,以跟上国家的最先进的算法和未来的研究。我们还建立了一个公共GitHub存储库,我们将在其中更新最新的出版物,开放数据和源代码。GitHub存储库位于https://github.com/abdoelsayed2016/table-detection-structure-recognition。
2022-11-15 cs.CV
InstructTable: Improving Table Structure Recognition Through Instructions
Meituan(美团);Beijing Institute of Technology(北京理工大学)
本文提出InstructTable框架,通过指令引导多阶段训练提升表格结构识别,结合指令预训练和细调,构建BCDSTab基准,实现在复杂表格识别中的最优性能。
2026-04-17 cs.CV
TSR-DSAW: Table Structure Recognition via Deep Spatial Association of Words
TCS Research(塔塔咨询服务研究院)
现有的用于从相机捕获或扫描的文档进行表格结构识别(TSR)的方法在由嵌套的行/列、多行文本和缺失的单元格数据组成的复杂表格上表现不佳。这是因为当前的数据驱动方法通过简单地在大量数据上训练深度模型来工作,并且在遇到不可见的表结构时无法泛化。在本文中,我们提出训练一个深度网络来捕获表格图像中不同单词对之间的空间关联,以解开表格结构。我们提出了一个端到端的管道,名为TSR-DSAW:TSR通过深空间关联的单词,它输出一个数字表示的表格图像在一个结构化的格式,如HTML。给定一个表格图像作为输入,所提出的方法开始使用CRAFT这样的文本检测网络检测图像中存在的所有单词,然后使用动态规划生成单词对。这些单词对在单独的图像中突出显示,随后输入到DenseNet-121分类器中,该分类器经过训练以捕获空间关联,例如同行,同列,同单元格或无。最后,我们对分类器输出进行后处理,以生成HTML格式的表结构。我们在两个公共表格图像数据集- PubTabNet和ICDAR 2013上评估了我们的TSR-DSAW管道,并证明了比以前的方法(如TableNet和DeepDeSRT)的改进。
2022-03-14 cs.CV