CISOL: An Open and Extensible Dataset for Table Structure Recognition in the Construction Industry
Bauhaus-Universität Weimar(魏玛包豪斯大学)
本文提出了CISOL数据集,包含800多张土木工程文档图像和超12万标注实例,为表格结构识别与检测任务提供基础,YOLOv8基准测试达67.22 mAP,优于TATR模型。
2025-01-26 cs.CV
UniTable: Towards a Unified Framework for Table Recognition via Self-Supervised Pretraining
Georgia Tech(佐治亚理工学院);ADP, Inc.(ADP公司)
UniTable提出统一表格识别框架,通过自监督预训练和语言建模目标,在四个最大数据集上达到SOTA,超越现有方法及GPT-4o等视觉语言模型。
2024-05-27 cs.CV cs.LG
TableNet: Deep Learning model for end-to-end Table detection and Tabular data extraction from Scanned Document Images
TCS Research(塔塔咨询服务公司研究院)
随着移动电话和扫描仪广泛用于拍摄和上传文档,提取非结构化文档图像(如零售收据、保险索赔表和财务发票)中的信息的需求变得越来越迫切。实现这一目标的一个主要障碍是,这些图像通常包含表格形式的信息,从表格子图像中提取数据提出了一系列独特的挑战。这包括准确检测图像内的表格区域,以及随后从检测到的表格的行和列中检测和提取信息。虽然在表检测方面已经取得了一些进展,但提取表内容仍然是一个挑战,因为这涉及到更细粒度的表结构(行和列)识别。先前的方法已经尝试使用两个单独的模型来独立地解决表检测和结构识别问题。在本文中,我们提出了TableNet:一种用于表格检测和结构识别的新型端到端深度学习模型。该模型利用表检测和表结构识别的孪生任务之间的相互依赖性来分割出表和列区域。这之后是从所识别的表格子区域中基于语义规则的行提取。在公开可用的ICDAR 2013和Marmot Table数据集上对所提出的模型和提取方法进行了评价,获得了最新的结果。此外,我们还证明了提供额外的语义特征进一步提高了模型性能,并且该模型具有跨数据集的迁移学习。本文的另一个贡献是为Marmot数据提供额外的表结构注释,目前只有表检测的注释。
2020-01-06 cs.CV cs.LG eess.IV
Aligning benchmark datasets for table structure recognition
Microsoft(微软)
本文通过固定Table Transformer (TATR)模型架构,采用以数据为中心的方法,消除基准数据集间的标注错误与不一致性,使ICDAR-2013上的评估准确率大幅提升,证明了数据集对齐对TSR模型性能和基准设计的重要意义。
2023-05-23 cs.CV cs.LG
Graph Neural Networks and Representation Embedding for Table Extraction in PDF Documents
University of Florence(佛罗伦萨大学)
表格广泛用于几种类型的文档中,因为它们可以以结构化的方式带来重要信息。在科学论文中,表格可以总结新颖的发现和总结实验结果,使研究具有可比性,易于学者理解。有几种方法对文档图像执行表格分析,在从PDF文件转换过程中丢失了有用的信息,因为OCR工具很容易识别错误,特别是对于表格中的文本。本文的主要工作是利用图神经网络解决表格抽取问题。节点特征通过适当设计的表示嵌入而丰富。这些表示法不仅有助于更好地区分表格和纸张的其他部分,还有助于更好地区分表格单元格和表格标题。我们在一个新的数据集上对所提出的方法进行了实验评估,该数据集是通过合并PubLayNet和PubTables-1 M数据集中提供的信息获得的。
2022-08-23 cs.CV
P2ANet: A Dataset and Benchmark for Dense Action Detection from Table Tennis Match Broadcasting Videos
Baidu Inc.(百度公司)
本文发布了乒乓球比赛转播视频的密集动作检测数据集与基准 P2ANet,包含 2,721 个视频片段和 14 类细粒度动作标签,并评估多种动作定位与识别模型,发现现有方法表现有限,证实该任务仍具挑战性。
2024-03-26 cs.CV cs.LG
An End-to-End Multi-Task Learning Model for Image-based Table Recognition
National Institute of Informatics (NII)(国立情报学研究所)
由于表格样式的多样性和表格结构的复杂性,基于图像的表格识别是一项具有挑战性的任务。大多数以前的方法集中在一个非端到端的方法,将问题分为两个单独的子问题:表结构识别和单元格内容识别,然后尝试使用两个单独的系统来独立地解决每个子问题。在本文中,我们提出了一个端到端的多任务学习模型,基于图像的表格识别。该模型由一个共享的编码器,一个共享的解码器,和三个独立的解码器,用于学习三个子任务的表识别:表结构识别,单元格检测,单元格内容识别。整个系统可以很容易地以端到端的方式进行训练和推断。在实验中,我们评估了两个大规模数据集:FinTabNet和PubTabNet的性能。实验结果表明,该模型在所有基准数据集上的性能优于现有的方法。
2023-03-29 cs.CV
TC-OCR: TableCraft OCR for Efficient Detection & Recognition of Table Structure & Content
Indraprastha Institute of Information Technology, Delhi(德里英迪拉普拉斯塔信息技术学院)
本研究提出TC-OCR端到端流水线,集成DETR、CascadeTabNet和PP OCR v2,实现表格检测、结构识别与内容识别,IOU达0.96,OCR准确率78%,较Table Transformer提升约25%。
2024-04-19 cs.CV
Table Structure Recognition using Top-Down and Bottom-Up Cues
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
表格是文档图像中信息丰富的结构化对象。虽然在将表格定位为文档图像中的图形对象方面已经做了大量的工作,但在表格结构识别方面只存在有限的尝试。大多数现有的文献结构识别依赖于从PDF文档中提取的元特征或光学字符识别(OCR)模型,从图像中提取低级别的布局特征。然而,这些方法不能很好地推广,因为当表格布局和文本组织存在显著差异时,OCR会产生元特征或错误。在我们的工作中,我们专注于具有复杂结构,密集内容和不同布局的表格,而不依赖于元特征和/或OCR。我们提出了一种表格结构识别的方法,它结合了单元格检测和交互模块来定位单元格,并预测它们与其他检测到的单元格的行和列关联。我们将结构约束作为额外的差分组件的损失函数的细胞检测。我们在公开可用的真实世界数据集上经验验证了我们的方法- ICDAR-2013,ICDAR-2019(cTDaR)存档,UNLV,SciTSR,SciTSR-COMP,TableBank和PubTabNet。我们的尝试开辟了一个新的方向,表结构识别相结合的自上而下(表单元格检测)和自自底向上的【形】(结构识别)的线索在视觉上理解的表。
2020-10-09 cs.CV
TNCR: Table Net Detection and Classification Dataset
Satbayev University(萨特巴耶夫大学);National Open Research Laboratory for Information and Space Technologies, Satbayev University(萨特巴耶夫大学国家信息与空间技术开放研究实验室)
我们提出了TNCR,一个新的表格数据集,从免费网站收集的图像质量不同。TNCR数据集可用于扫描文档图像中的表格检测,并将其分类为5个不同的类别。TNCR包含9428个高质量标记图像。在本文中,我们实现了最先进的基于深度学习的表格检测方法,以创建多个强基线。与其他方法相比,Cascade Mask R-CNN与ResNeXt-101- 64 x4 d Backbone Network实现了最高的性能,在TNCR数据集上的精度为79.7%,召回率为89.8%,f1得分为84.4%。我们将TNCR开源,希望鼓励更多的深度学习方法来进行表检测、分类和结构识别。数据集和训练模型检查点可在https://github.com/abdoelsayed2016/TNCR_Dataset上获得。
2021-06-19 cs.AI cs.CV
Rethinking Image-based Table Recognition Using Weakly Supervised Methods
National Institute of Informatics (NII)(国立信息学研究所)
以前的大多数表格识别方法都依赖于包含许多丰富注释的表格图像的训练数据集。详细的表格图像注释,例如,然而,单元格或文本限界框注释是昂贵的并且通常是主观的。在本文中,我们提出了一个名为WSTabNet的弱监督模型,用于表格识别,该模型仅依赖于表格图像的HTML(或LaTeX)代码级注释。该模型由三个主要部分组成:用于特征提取的编码器、用于生成表结构的结构解码器和用于预测表中每个单元的内容的单元解码器。我们的系统是通过随机梯度下降算法进行端到端训练的,只需要表格图像和它们的真实HTML(或LaTeX)表示。为了通过深度学习促进表格识别,我们创建并发布了WikiTableSet,这是从维基百科构建的最大的公开可用的基于图像的表格识别数据集。WikiTableSet包含近400万张英文表格图像、59万张日文表格图像和64万张法文表格图像,以及相应的HTML表示和单元格边界框。在WikiTableSet和两个大规模数据集FinTabNet和PubTabNet上进行的广泛实验表明,与所有基准数据集上的最先进模型相比,所提出的弱监督模型实现了更好或相似的精度。
2023-03-14 cs.CV
Flexible Table Recognition and Semantic Interpretation System
Fraunhofer IAIS(弗劳恩霍夫智能分析和信息系统研究所);University of Bonn(波恩大学);University of Cologne(科隆大学)
表抽取是一个重要但尚未解决的问题。在本文中,我们介绍了一个灵活的和模块化的表提取系统。我们开发了两个基于规则的算法,执行完整的表识别过程,包括表检测和分割,并支持最常见的表格格式。此外,结合语义信息的提取,我们开发了一个基于图的表解释方法。我们对具有挑战性的表格识别基准ICDAR 2013和ICDAR 2019进行了广泛的实验,取得了与最先进方法相竞争的结果。我们完整的信息抽取系统表现出很高的F1得分为0.7380。为了支持未来的研究信息抽取从文件中,我们使资源(地面实况注释,评估脚本,算法参数)从我们的表解释实验公开。
2021-12-02 cs.CV
Global Table Extractor (GTE): A Framework for Joint Table Identification and Cell Structure Recognition Using Visual Context
University of Michigan(密歇根大学);IBM Research-Almaden(IBM阿尔马登研究中心);IBM Research Australia(IBM澳大利亚研究中心)
文档通常用于商业和科学中的知识共享和保存,其中包含捕获大多数关键数据的表格。不幸的是,大多数文档都是以PDF或扫描图像的形式存储和分发的,这无法保留逻辑表结构。最近提出了基于视觉的深度学习方法来解决这一差距,但大多数仍然无法实现最先进的结果。我们提出了全局表提取器(GTE),一个视觉引导的联合表检测和细胞结构化识别的系统框架,它可以建立在任何目标检测模型之上。与GTE-Table,我们发明了一个新的惩罚的基础上自然细胞遏制约束表训练我们的表网络的细胞位置预测的帮助。GTE-Cell是一个新的分层细胞检测网络,利用表格样式。此外,我们设计了一种方法来自动标记现有文档中的表和单元格结构,以廉价地创建大型训练和测试数据语料库。我们使用它来增强PubTabNet与单元格标签,并创建FinTabNet,真实世界和复杂的科学和金融数据集,详细的表结构注释,以帮助训练和测试结构识别。我们的框架在表格检测和细胞结构识别方面都超过了ICDAR 2013和ICDAR 2019表格竞赛的最新结果,在全表格提取系统中显着提高了5.8%。进一步的实验表明,与我们新的域外FinTabNet中的香草RetinaNet目标检测模型相比,细胞结构识别的改进超过45%。
2020-12-02 cs.CV
CascadeTabNet: An approach for end to end table detection and structure recognition from image-based documents
Pune Institute of Computer Technology(浦那计算机技术学院)
一种用于文档图像中表格数据解释的表格自动识别方法,主要解决表格检测和表格结构识别两个问题。先前的工作涉及使用两种不同的方法独立地解决这两个问题。最近的工作意味着使用基于深度学习的解决方案,同时也试图设计端到端的解决方案。在本文中,我们提出了一种改进的基于深度学习的端到端方法,用于使用单个卷积神经网络(CNN)模型解决表格检测和结构识别这两个问题。我们建议CascadeTabNet:基于级联掩码区域的CNN高分辨率网络(级联掩码R-CNN HRNet)的模型,其检测表的区域并同时从检测到的表识别结构体单元。我们在ICDAR 2013、ICDAR 2019和TableBank公共数据集上评估了我们的结果。我们在ICDAR 2019竞赛后的表格检测结果中排名第三,同时在ICDAR 2013和TableBank数据集中获得了最佳准确性结果。我们还在ICDAR 2019表格结构识别数据集上获得了最高的准确率结果。此外,我们展示了有效的迁移学习和图像增强技术,使CNN能够实现非常准确的表检测结果。代码和数据集已在以下网址提供:https://github.com/DevashishPrasad/CascadeTabNet
2020-05-28 cs.CV
Robust Table Detection and Structure Recognition from Heterogeneous Document Images
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
我们介绍了一种新的表检测和结构识别方法RobusTabNet检测表的边界,并从异构文档图像中重建每个表的细胞结构。对于表格检测,我们建议使用CornerNet作为新的区域建议网络,为Faster R-CNN生成更高质量的表格建议,这显著提高了Faster R-CNN用于表格检测的定位准确性。因此,我们的表检测方法仅使用轻量级ResNet-18骨干网络,在三个公共表检测基准(即cTDaR TrackA,PubLayNet和IIIT-AR-13 K)上实现了最先进的性能。在此基础上,提出了一种新的基于分割合并的表格结构识别方法,该方法采用基于空间CNN的分割线预测模块将检测到的表格分割成网格单元,并采用基于网格CNN的单元合并模块恢复生成单元。由于空间CNN模块可以有效地在整个表格图像中传播上下文信息,因此我们的表格结构识别器可以鲁棒地识别具有大空白空间的表格和几何扭曲(甚至弯曲)的表格。由于这两种技术,我们的表结构识别方法在三个公共基准上实现了最先进的性能,包括SciTSR,PubTabNet和cTDaR TrackB 2-Modern。此外,我们还进一步证明了我们的方法在识别具有复杂结构,大空白空间以及几何扭曲甚至弯曲形状的表格方面的优势。
2022-09-16 cs.CV
A large-scale dataset for end-to-end table recognition in the wild
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息工程学院);Zhuzhou CRRC Times Electric Co., Ltd(株洲中车时代电气股份有限公司);Pazhou Lab(琶洲实验室);College of Automation Science and Engineering, South China University of Technology(华南理工大学自动化科学与工程学院)
本文提出首个大规模双语端到端表格识别数据集TabRecSet,包含38.1K个多样真实场景表格及完整多边形标注,并开发了可视化标注工具TableMe,填补了端到端TR研究缺乏基准数据集的空白。
2023-03-27 cs.CV
Current Status and Performance Analysis of Table Recognition in Document Images with Deep Neural Networks
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Kaiserslautern(凯泽斯劳滕大学);Mindgrage;Luleå University of Technology(吕勒奥理工大学);Bilojix Soft Technologies(Bilojix软件技术公司)
表格识别的第一阶段是检测文档中的表格区域。随后,在第二阶段中识别表格结构,以便从各个单元提取信息。表格检测和结构识别是表格理解领域的关键问题。然而,表格分析是一个复杂的任务,由于大量的多样性和不对称的表格。因此,它是文档图像分析中一个活跃的研究领域。图形处理单元的计算能力的最新进展使得深度神经网络能够优于传统的最先进的机器学习方法。表理解已经从深度神经网络的最新突破中受益匪浅。然而,对于用于表格检测和表格结构识别的深度学习方法还没有统一的描述。这篇综述论文对利用深度神经网络的现代方法进行了全面分析。这项工作提供了一个全面的了解目前的最先进的和相关的挑战,在文档图像中的表格理解。此外,主要数据集及其复杂性已与定量结果一起阐述。此外,简要概述了有前途的方向,可以作为指导,以进一步提高文件图像中的表分析。
2021-05-08 cs.CV
Guided Table Structure Recognition through Anchor Optimization
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Kaiserslautern(凯泽斯劳滕大学);Mindgrage;Luleå University of Technology(吕勒奥理工大学);Bilojix Soft Technologies(Bilojix软件技术公司)
本文提出了一种利用引导锚点进行表格结构识别的新方法。该概念不同于当前用于表格结构识别的最先进的方法,该方法天真地应用目标检测方法。与现有技术相比,首先,我们估计表结构识别的可行锚。随后,利用这些锚点来定位表格图像中的行和列。此外,本文还介绍了一种简单有效的方法,通过在现实场景中使用表格布局来改善结果。在ICDAR-2013和TabStructDB两个公开的表结构识别数据集上对所提出的方法进行了详尽的评估。我们在ICDAR-2013数据集上完成了最先进的结果,平均F-Measure为95.05 $\%$(行为94.6 $\%$,列为96.32 $\%$),并超过了TabStructDB数据集上的基线结果,平均F-Measure为94.17 $\%$(行为94.08 $\%$,列为95.06 $\%$)。
2021-04-21 cs.CV
Image-based table recognition: data, model, and evaluation
IBM Research Australia(澳大利亚IBM研究院)
文档中与特定主题相关的重要信息通常以表格格式组织,以帮助读者进行信息检索和比较,这可能难以用自然语言提供。然而,非结构化数字文档中的表格数据,例如,可移植文档格式(PDF)和图像由于其结构和风格的复杂性和多样性而难以解析成结构化的机器可读格式。为了通过深度学习促进基于图像的表格识别,我们开发了最大的公开可用表格识别数据集PubTabNet(https://github.com/ibm-aur-nlp/PubTabNet),其中包含568 k表格图像以及相应的结构化HTML表示。PubTabNet通过匹配PubMed Central开放获取子集(PMCOA)中科学文章的XML和PDF表示自动生成。我们还提出了一种新的注意力为基础的编码器双解码器(EDD)架构,将图像的表到HTML代码。该模型有一个结构解码器,它重建表结构,并帮助单元解码器识别单元内容。此外,我们提出了一个新的树编辑距离为基础的相似性(TEDS)指标的表识别,更适当地捕捉多跳细胞错位和OCR错误比预先建立的度量。实验表明,EDD模型可以准确地识别复杂的表格,完全依赖于图像表示,超过9.7%的绝对TEDS得分的最先进的。
2020-03-04 cs.CV
TableCenterNet: A one-stage network for table structure recognition
School of Information Engineering(信息工程学院)
本文提出单阶段端到端网络 TableCenterNet,将表格空间与逻辑结构预测统一为并行回归,在提升训练和推理效率的同时于 TableGraph-24k 上达到最优性能。
2025-05-12 cs.CV
TabSniper: Towards Accurate Table Detection & Structure Recognition for Bank Statements
American Express(美国运通)
针对银行对账单版式多样、长表格交易提取不准的问题,提出基于DETR微调并加特征增强的TabSniper方法,实现表格检测分类与结构识别,经后处理输出结构化交易数据,性能优于基线。
2024-12-17 cs.CV
DenTab: A Dataset for Table Recognition and Visual QA on Real-World Dental Estimates
LITIS, Normandy, France(诺曼底大学LITIS实验室);Malakoff Humanis, Paris, France(巴黎Malakoff Humanis机构)
DenTab数据集包含2000张牙科估算表图像,用于评估表识别和视觉问答性能,包含2208个问题,涵盖检索、聚合和逻辑一致性检查。
2026-04-17 cs.CV
Grab What You Need: Rethinking Complex Table Structure Recognition with Flexible Components Deliberation
Tencent YouTu Lab(腾讯优图实验室)
最近,表结构识别(TSR)任务,旨在识别表结构到机器可读的格式,在社会上受到越来越多的关注。虽然基于单表组件的方法取得了令人印象深刻的成功,但大多数基于单表组件的方法不能很好地处理因内部结构复杂和外部捕获失真而分散注意力的非正则表情况。在本文中,我们将其提出为复杂的TSR问题,其中现有方法的性能退化归因于其低效的组件使用和冗余的后处理。为了减轻它,我们将我们的视角从表组件提取转向有效的多组件利用,这有待于在该领域的进一步探索。具体来说,我们提出了一个开创性的方法,称为GrabTab,配备了新提出的组件审议。由于其渐进式的审议机制,我们的GrabTab可以灵活地适应最复杂的表格,选择合理的组件,但不涉及复杂的后处理。公共基准上的定量实验结果表明,我们的方法显着优于最先进的,特别是在更具挑战性的场景。
2023-03-16 cs.CV
LORE: Logical Location Regression Network for Table Structure Recognition
Zhejiang University(浙江大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
表格结构识别(TSR)的目的是将图像中的表格提取为机器可理解的格式。最近的方法解决了这个问题,通过预测检测到的单元格框的邻接关系,或学习从表图像生成相应的标记序列。然而,它们要么依靠额外的启发式规则来恢复表结构,要么需要大量的训练数据和耗时的顺序解码器。在本文中,我们提出了另一种范式。我们将TSR建模为一个逻辑位置回归问题,并提出了一个新的TSR框架LORE,代表逻辑位置回归网络,首次将逻辑位置回归与表单元格的空间位置回归结合起来。我们提出的LORE是概念上更简单,更容易训练和更准确的比以前的TSR模型的其他范例。在标准基准上的实验表明,LORE始终优于现有技术。代码可在https://www.example.com上获得。github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/DocumentUnderstanding/LORE-TSR
2023-03-07 cs.CV
SPRINT: Script-agnostic Structure Recognition in Tables
IIT Bombay(印度理工学院孟买分校);Department of Computer Science and Engineering, IIT Bombay(印度理工学院孟买分校计算机科学与工程系)
本文提出语言无关的表格结构识别框架SPRINT,利用OTSL序列与预训练网格估计器提升多语言TSR性能,降低延迟,并发布13语言MUSTARD数据集。
2025-03-15 cs.CV
UniTabNet: Bridging Vision and Language Models for Enhanced Table Structure Recognition
University of Science and Technology of China(中国科学技术大学);iFLYTEK AI Research(讯飞AI研究院)
本文提出UniTabNet框架,通过图像到文本模型结合物理与逻辑解码器重建表格结构,并引入Vision Guider和Language Guider提升预测准确性与文本语义理解,在多个数据集上达到最先进性能。
2024-09-20 cs.CV
Optimized Table Tokenization for Table Structure Recognition
IBM Research(IBM研究院)
针对表格结构识别中Im2Seq模型的标记表示影响性能的问题,提出优化表格结构语言OTSL,减少标记数与序列长度,提升精度、减半推理时间且消除多数后处理需求。
2023-05-05 cs.CV
TGRNet: A Table Graph Reconstruction Network for Table Structure Recognition
Beijing Jiaotong University(北京交通大学);The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院)
表格是一种非常有效的数据结构,在商业和科学研究中得到了广泛的应用。考虑到在线和离线文档中的大规模表格数据,自动表格识别越来越受到文档分析界的关注。虽然人类可以很容易地理解表格的结构,但对于机器来说,理解这一点仍然是一个挑战,特别是由于各种不同的表格布局和风格。现有方法通常将表格建模为标记序列或不同表格单元格之间的邻接矩阵,未能解决表格单元格的逻辑位置的重要性,例如,单元格位于表格的第一行和第二列中。本文将表结构识别问题转化为表图重构问题,提出了一种用于表结构识别的端到端可训练表图重构网络(TGRNet)。具体地,所提出的方法具有两个主要分支,小区检测分支和小区逻辑位置分支,以联合预测不同小区的空间位置和逻辑位置。三个流行的表识别数据集和一个新的数据集与表图注释(TableGraph-350 K)的实验结果表明,所提出的TGRNet表结构识别的有效性。代码和注释将公开提供。
2021-08-17 cs.AI cs.CV
Deep learning for table detection and structure recognition: A survey
Assiut University(艾斯尤特大学);Satbayev University(萨特巴耶夫大学);Chungbuk National University(忠北国立大学);International IT University(国际信息技术大学);KazMunayGas Engineering LLP(哈萨克斯坦国家石油天然气工程有限责任合伙公司)
桌子无处不在,从科学期刊、论文、网站和报纸到我们在超市购买的物品。因此,检测它们对于自动理解文档的内容至关重要。由于深度学习网络的快速发展,表检测的性能大幅提高。本调查的目标是提供对表检测领域主要发展的深刻理解,提供对不同方法的深入了解,并提供不同方法的系统分类。此外,我们提供了一个经典的和新的应用领域的分析。最后,现有模型的数据集和源代码被组织起来,为读者提供了对这一庞大文献的指南针。最后,我们去了利用各种目标检测和表结构识别方法,以创建一个有效的和高效的系统的架构,以及一组发展趋势,以跟上国家的最先进的算法和未来的研究。我们还建立了一个公共GitHub存储库,我们将在其中更新最新的出版物,开放数据和源代码。GitHub存储库位于https://github.com/abdoelsayed2016/table-detection-structure-recognition。
2022-11-15 cs.CV
InstructTable: Improving Table Structure Recognition Through Instructions
Meituan(美团);Beijing Institute of Technology(北京理工大学)
本文提出InstructTable框架,通过指令引导多阶段训练提升表格结构识别,结合指令预训练和细调,构建BCDSTab基准,实现在复杂表格识别中的最优性能。
2026-04-17 cs.CV
TSR-DSAW: Table Structure Recognition via Deep Spatial Association of Words
TCS Research(塔塔咨询服务研究院)
现有的用于从相机捕获或扫描的文档进行表格结构识别(TSR)的方法在由嵌套的行/列、多行文本和缺失的单元格数据组成的复杂表格上表现不佳。这是因为当前的数据驱动方法通过简单地在大量数据上训练深度模型来工作,并且在遇到不可见的表结构时无法泛化。在本文中,我们提出训练一个深度网络来捕获表格图像中不同单词对之间的空间关联,以解开表格结构。我们提出了一个端到端的管道,名为TSR-DSAW:TSR通过深空间关联的单词,它输出一个数字表示的表格图像在一个结构化的格式,如HTML。给定一个表格图像作为输入,所提出的方法开始使用CRAFT这样的文本检测网络检测图像中存在的所有单词,然后使用动态规划生成单词对。这些单词对在单独的图像中突出显示,随后输入到DenseNet-121分类器中,该分类器经过训练以捕获空间关联,例如同行,同列,同单元格或无。最后,我们对分类器输出进行后处理,以生成HTML格式的表结构。我们在两个公共表格图像数据集- PubTabNet和ICDAR 2013上评估了我们的TSR-DSAW管道,并证明了比以前的方法(如TableNet和DeepDeSRT)的改进。
2022-03-14 cs.CV
GridFormer: Towards Accurate Table Structure Recognition via Grid Prediction
Baidu Inc.(百度公司);South China University of Technology(华南理工大学)
本文提出 GridFormer,以 M×N 网格表示表格并用 DETR 风格识别器单次预测顶点和边,在五类表格基准上取得具有竞争力的结构识别性能。
2023-09-26 cs.CV
A Review On Table Recognition Based On Deep Learning
China Pacific Insurance (Group) Co., Ltd.(中国太平洋保险(集团)股份有限公司)
本文综述基于深度学习的表格识别,梳理数据集、评价指标、两阶段模型、端到端及以数据为中心方法,并比较实验结果与未来趋势。
2023-12-08 cs.AI cs.CV
Improving Table Structure Recognition with Visual-Alignment Sequential Coordinate Modeling
Huawei Technologies Ltd.(华为技术有限公司);Peking University(北京大学)
表格结构识别的目的是将非结构化表格图像的逻辑和物理结构提取为机器可读的格式。最新的端到端图像到文本方法通过两个解码器同时预测两个结构,其中物理结构(单元的边界框)的预测基于逻辑结构的表示。然而,以前的方法与不精确的边界框作斗争,因为逻辑表示缺乏局部视觉信息。为了解决这个问题,我们提出了一个端到端的顺序建模框架表结构识别称为VAST。它包含了一个新的坐标序列解码器触发的非空单元从逻辑结构解码器的表示。在坐标序列解码器中,我们将限界框坐标建模为语言序列,其中左、上、右和下坐标被顺序解码以利用坐标间依赖性。此外,我们提出了一个辅助的视觉对齐损失,以强制非空单元格的逻辑表示包含更多的本地视觉细节,这有助于产生更好的单元格边界框。大量的实验表明,我们提出的方法可以实现国家的最先进的结果,在逻辑和物理结构识别。消融研究也验证了所提出的坐标序列解码器和视觉对齐损失是我们的方法成功的关键。
2023-03-20 cs.CV
TSRFormer: Table Structure Recognition with Transformers
Microsoft Research Asia(微软亚洲研究院);University of Chinese Academy of Sciences(中国科学院大学);CASIA(中国科学院自动化研究所);University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学)
我们提出了一种新的表结构识别(TSR)的方法,称为TSRFormer,鲁棒地识别复杂的表与几何失真的结构,从各种表图像。与以前的方法不同,我们制定表分离线预测作为一个线性回归问题,而不是一个图像分割问题,并提出了一个新的两阶段DETR为基础的分离预测方法,称为\textbf{Sep} arator \textbf{RE} gression \textbf{TR} ansformer(SepRETR),直接从表图像预测分离线。为了使两阶段DETR框架有效地用于分离线预测任务,我们提出了两项改进:1)先验增强匹配策略,以解决DETR收敛缓慢的问题; 2)新的交叉注意模块,直接从高分辨率卷积特征图中采样特征,从而以低计算成本实现高定位精度。在分离线预测之后,使用基于简单关系网络的单元合并模块来恢复跨越单元。通过这些新技术,我们的TSRFormer在几个基准数据集上实现了最先进的性能,包括SciTSR,PubTabNet和WTW。此外,我们已经验证了我们的方法对具有复杂结构,无边界单元格,大空白空间,空或跨单元格以及更具有挑战性的真实世界内部数据集上的扭曲甚至弯曲形状的表格的鲁棒性。
2022-08-09 cs.CV
Multi-Type-TD-TSR -- Extracting Tables from Document Images using a Multi-stage Pipeline for Table Detection and Table Structure Recognition: from OCR to Structured Table Representations
随着全球趋势转向数据驱动型行业,对能够将扫描文档的数字图像转换为机器可读信息的自动算法的需求正在迅速增长。除了数据数字化为数据分析工具的应用提供了机会外,流程自动化也有了巨大的改进,而以前需要手动检查文件。虽然光学字符识别技术的引入主要解决了将人类可读的字符从图像转换为机器可读的字符的任务,但多年来提取表语义的任务较少关注。表格的识别主要包括两个任务,即表格检测和表格结构识别。关于这个问题的大多数先前工作集中在没有提供端到端解决方案的任务上,或者关注真实的应用条件,如旋转图像或文档图像内的噪声伪影。最近的工作显示了一个明显的趋势,即深度学习方法加上迁移学习用于表结构识别任务,因为缺乏足够大的数据集。在本文中,我们提出了一个多级流水线命名为多类型TD-TSR,它提供了一个端到端的解决方案,表识别的问题。它利用最先进的深度学习模型进行表格检测,并根据表格的边界区分3种不同类型的表格。对于表结构的识别,我们使用一个确定性的非数据驱动的算法,它适用于所有的表类型。我们还提出了两个算法。一个是无边框表,一个是有边框表,这是所使用的表结构识别算法的基础。我们在ICDAR 2019表格结构识别数据集上评估了Multi-Type-TD-TSR,并实现了新的最先进技术。
2021-05-23 cs.AI cs.CV cs.LG
PingAn-VCGroup's Solution for ICDAR 2021 Competition on Scientific Literature Parsing Task B: Table Recognition to HTML
Visual Computing Group, Ping An Property & Casualty Insurance Company(平安财产保险股份有限公司视觉计算组);Ping An Technology Company(平安科技公司)
本文介绍了ICDAR 2021竞赛科学文献解析任务B的解决方案:HTML的表格识别。该方法将表格内容识别任务分为表格结构识别、文本行检测、文本行识别和文本框分配四个子任务,表格结构识别算法是基于MASTER [1]算法定制的。PSENet [2]用于检测表格图像中的每个文本行。对于文本行识别,我们的模型也建立在MASTER上。最后,在框分配阶段,将PSENet检测到的文本框与表结构预测重构的结构项相关联,并将文本行的识别内容填充到相应的结构项中。我们提出的方法在开发阶段的9,115个验证样本上获得了96.84%TEDS分数,在最终评估阶段的9,064个样本上获得了96.32%TEDS分数。
2021-05-05 cs.AI cs.CV
Evaluating Table Structure Recognition: A New Perspective
American Express AI Labs(美国运通人工智能实验室)
用于评估表格结构识别算法的现有度量在捕获文本和空单元格对齐方面存在缺点。在本文中,我们建立在以前的工作,并提出了一个新的度量- TEDS基于IOU相似性(TEDS(IOU))的表结构识别,使用包围盒,而不是文本,同时对上述缺点是强大的。我们证明了我们的指标对以前的指标通过各种例子的有效性。
2022-07-31 cs.CV cs.LG
TRUST: An Accurate and End-to-End Table structure Recognizer Using Splitting-based Transformers
Baidu Inc.(百度公司);Dalian University of technology(大连理工大学)
表格结构识别是文档图像分析领域的重要组成部分。其难点在于需要同时解析每个单元的物理坐标和逻辑索引。然而,现有的方法很难同时实现这两个目标,特别是当桌子分裂线模糊或倾斜时。在本文中,我们提出了一个准确的和端到端的转换器为基础的表结构识别方法,简称为TRUST。Transformers具有全局计算、完美存储和并行计算等优点,适合于表格结构识别。通过引入新的基于转换器的查询拆分模块和顶点合并模块,将表结构识别问题解耦为两个联合优化子任务:多方向表行/列拆分和表网格合并。基于查询的拆分模块通过Transformer网络从长依赖关系中学习强上下文信息,准确预测多方向表行/列分隔符,并据此获得表的基本网格。基于顶点的合并模块能够聚合相邻基本网格之间的局部上下文信息,提供了准确合并属于同一生成单元的基本网格的能力。我们在PubTabNet和SynthTable等几个流行的基准测试上进行了实验,我们的方法取得了新的最先进的结果。特别是,TRUST在PubTabNet上以10 FPS的速度运行,大大超过了以前的方法。
2022-08-31 cs.CV
TABLET: Table Structure Recognition using Encoder-only Transformers
iWudao Tech(iWudao科技)
本文提出一种基于拆分-合并策略、使用多个仅编码器Transformer的表格结构识别模型,通过序列标注和网格分类避免边界框预测,在FinTabNet和PubTabNet上取得高精度与高速度,适合工业部署。
2025-06-08 cs.CV cs.LG
TFLOP: Table Structure Recognition Framework with Layout Pointer Mechanism
Upstage AI
本文提出TFLOP表格结构识别框架,通过布局指针机制将文本区域预测与匹配直接转化为指向问题,并采用跨度感知对比监督,在多个基准上达到最先进性能。
2025-01-21 cs.CV
Hierarchical Modeling Approach to Fast and Accurate Table Recognition
Preferred Networks, Inc.(Preferred Networks公司)
本文提出了一种基于非因果注意力和并行推理的分层建模方法,用于提升表格识别的准确性和效率。
2025-12-24 cs.CV cs.LG
Revisiting Structural Dependency in Autoregressive Multi-Task Table Recognition via Order-Independent Cell-Level Representations
Preferred Networks, Inc.(Preferred Networks公司)
针对自回归多任务表格识别中单元格表示顺序依赖导致全局一致性下降的问题,提出通过非因果注意力生成顺序无关的单元格特征,实现并行推理,在两大数据集上提升定位与识别性能,推理时间减少约3倍。
2026-06-17 cs.CV cs.LG
Synthesizing Realistic Data for Table Recognition
iWudao Tech(悟道科技);Huazhong University of Science and Technology(华中科技大学)
本文提出一种基于现有复杂表格结构与内容合成真实标注数据的方法,构建了中国金融公告表格识别数据集与基准,并通过扩充FinTabNet验证了该方法能有效提升模型对复杂表格的识别性能。
2024-07-09 cs.CV cs.LG
TDATR: Improving End-to-End Table Recognition via Table Detail-Aware Learning and Cell-Level Visual Alignment
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(iFLYTEK研究院)
TDATR通过表格细节感知学习和单元级视觉对齐改进端到端表格识别,采用感知-融合策略,提升模型鲁棒性和识别精度,无需数据集特定微调即可在七个基准上取得领先性能。
2026-03-24 cs.AI cs.CV
GriTS: Grid table similarity metric for table structure recognition
Microsoft(微软)
本文提出了用于表格结构识别评估的网格表格相似度度量GriTS,通过多项式时间启发式算法求解矩阵相似度,统一了单元格拓扑、位置与内容识别三个子任务,简化了评估并提升了比较意义。
2023-05-23 cs.CV cs.LG
SepFormer: Coarse-to-fine Separator Regression Network for Table Structure Recognition
Data Services Center, Viettel Group, Lot D26 Cau Giay New Urban Area, Cau Giay District, Hanoi, Vietnam Faculty of Computer Science \& Engineering, Ho Chi Minh City University of Technology (HCMUT), VNU-HCM, Ho Chi Minh City, Vietnam
提出SepFormer,一种从粗到细的表格结构识别网络,通过DETR风格架构将分割与合并范式集成于单步分割线回归中,在多个基准数据集上达到与SOTA方法相当的性能且平均运行速度达25.6 FPS。
2025-06-27 cs.CV
LATTE: Improving Latex Recognition for Tables and Formulae with Iterative Refinement
Purdue University(普渡大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对PDF图像中LaTeX公式和表格难以提取修改的问题,提出迭代优化框架LATTE,通过delta-view反馈迭代优化LaTeX源代码生成,显著提升复杂公式和表格的识别精度,优于现有技术及GPT-4V。
2025-02-13 cs.CV
Self-Supervised Pre-Training for Table Structure Recognition Transformer
Georgia Institute of Technology(佐治亚理工学院);ADP, Inc.(ADP公司)
针对表格结构识别中线性投影Transformer替换CNN骨干后性能下降的问题,提出自监督预训练方法缩小性能差距,并通过消融实验和开源代码验证其有效性。
2024-02-23 cs.CV
PingAn-VCGroup's Solution for ICDAR 2021 Competition on Scientific Table Image Recognition to Latex
Visual Computing Group, Ping An Property & Casualty Insurance Company(平安财产保险股份有限公司视觉计算组);Ping An Technology Company(平安科技公司)
本文介绍了我们为ICDAR 2021科学表格图像识别竞赛提供的解决方案。该竞赛有两个子任务:表结构重构(TSR)和表内容重构(TCR)。我们把这两个子任务作为两个单独的图像序列识别问题。我们利用我们以前提出的算法MASTER \cite{lu2019master},这是最初提出的场景文本识别。从网络结构、优化器、归一化方法、预训练模型、输入图像分辨率、数据增强和模型集成等方面对MASTER模型进行了优化。我们的方法在TSR任务上获得0.7444精确匹配和0.8765精确匹配@95%,在TCR任务上获得0.5586精确匹配和0.7386精确匹配95%。
2021-05-05 cs.AI cs.CV
LORE++: Logical Location Regression Network for Table Structure Recognition with Pre-training
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
本文将表格结构识别建模为逻辑位置回归问题,提出统一网络LORE回归表格单元格的逻辑与空间位置,并引入两个预训练任务构建升级版LORE++,显著提升了识别准确率、泛化及少样本能力。
2024-01-03 cs.CV
ClusterTabNet: Supervised clustering method for table detection and table structure recognition
SAP Business AI(SAP商业人工智能部门)
提出ClusterTabNet,利用Transformer编码器预测单词间关系图,实现表格检测与结构识别,在多个数据集上以更小模型达到或超越现有方法。
2024-05-23 cs.CV cs.LG
TRivia: Self-supervised Fine-tuning of Vision-Language Models for Table Recognition
The University of Hong Kong(香港大学);Shanghai AI Laboratory(上海人工智能实验室);Peking University(北京大学);Shanghai Jiaotong University(上海交通大学);Sensetime
TRivia通过自监督微调方法,使预训练视觉-语言模型直接从未标注的表格图像中学习表格识别,无需人工标注,提升了表格识别性能。
2026-03-24 cs.CV
Enhancing Table Recognition with Vision LLMs: A Benchmark and Neighbor-Guided Toolchain Reasoner
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China(认知智能国家重点实验室,中国科学技术大学);Artificial Intelligence Research Institute, iFLYTEK Co., Ltd(iFLYTEK公司人工智能研究院)
针对视觉大语言模型在非结构化表格识别中受低质量图像限制的问题,提出了分层评估基准与NGTR框架,通过集成轻量级视觉工具、迁移邻居工具选择经验及反思模块,显著提升了原始模型的识别能力。
2026-10-26 cs.AI cs.CV