Tables Decoded: DELTA for Structure, TARQA for Understanding
Indian Institute of Technology Bombay(印度理工学院孟买分校);BharatGen
针对表格理解,提出基于结构化文本的DELTA和TARQA,分别处理结构识别和问答,在多个基准上达到先进性能,并验证了多语言鲁棒性。
2026-09-16 cs.CV cs.LG
PubTables-1M: Towards comprehensive table extraction from unstructured documents
Microsoft(微软)
近年来,将机器学习应用于非结构化文档的表结构推理和抽取问题取得了重大进展。然而,最大的挑战之一仍然是创建具有完整,明确的大规模地面真相的数据集。为了解决这个问题,我们开发了一个新的,更全面的数据集表提取,称为PubTables-1 M。PubTables-1 M包含来自科学文章的近一百万个表格,支持多种输入方式,并包含表格结构的详细标题和位置信息,使其适用于各种建模方法。它还解决了一个重要的来源,地面真理不一致的观察到在以前的数据集称为过度分割,使用一种新的规范化程序。我们证明,这些改进导致训练性能的显着增加,并在评估表结构识别模型性能的更可靠的估计。此外,我们表明,基于转换器的目标检测模型PubTables-1 M上训练产生的检测,结构识别和功能分析的所有三个任务,而不需要任何特殊的定制这些任务的优秀结果。数据和代码将在https://github.com/microsoft/table-transformer上发布。
2021-11-18 cs.CV cs.LG
Uncertainty Quantification in Table Structure Recognition
Old Dominion University(奥多明尼昂大学)
本文针对表格结构识别提出基于 TTA 专家混合的不确定性量化方法,通过掩码与单元格复杂度量化定位高不确定性单元格,并在标准基准上验证其有效性。
2024-07-01 cs.CV
A Study on Reproducibility and Replicability of Table Structure Recognition Methods
Old Dominion University(欧道明大学);Pennsylvania State University(宾夕法尼亚州立大学)
本文系统评估16种表格结构识别方法的可复现性与可复制性,发现仅4项结果可复现、2项在相似数据上可复制,而在新数据集GenTSR上无一可复制。
2023-04-20 cs.CV
Representation Learning for Tablet and Paper Domain Adaptation in Favor of Online Handwriting Recognition
Fraunhofer IIS(弗劳恩霍夫集成电路研究所);LMU Munich(慕尼黑大学);RWTH Aachen(亚琛工业大学)
针对平板与纸张书写的域偏移导致在线手写识别性能下降问题,提出有监督域适应方法,结合多种损失函数学习域不变特征,通过成对学习与早期融合提升了纸张域识别效果。
2023-01-16 cs.CV
FormStruct-Bench:A Hierarchical and Diagnostic Benchmark for Table-Form Document Structure Recognition
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Washington(华盛顿大学)
该研究提出FormStruct-Bench基准,通过分层评估表格型文档结构识别,发现现有系统在细粒度结构恢复上远弱于内容读取,为相关任务提供诊断依据。
2026-08-12 cs.CV
CISOL: An Open and Extensible Dataset for Table Structure Recognition in the Construction Industry
Bauhaus-Universität Weimar(魏玛包豪斯大学)
本文提出了CISOL数据集,包含800多张土木工程文档图像和超12万标注实例,为表格结构识别与检测任务提供基础,YOLOv8基准测试达67.22 mAP,优于TATR模型。
2025-01-26 cs.CV
Aligning Correlation Information for Domain Adaptation in Action Recognition
Nanyang Technological University(南洋理工大学)
领域自适应(DA)方法解决了域转移,并使网络能够应用于不同的场景。虽然近年来已经提出了各种图像DA的方法,有有限的研究对视频DA。这部分是由于在适应不同形式的视频中的功能,其中包括相关特征提取的长期依赖性的像素跨时空维度的复杂性。相关性特征与动作类高度相关,并通过监督动作识别任务证明了它们在准确的视频特征提取中的有效性。然而,由于域转移,同一动作的相关特征在不同域之间会有所不同。因此,我们提出了一种新的对抗相关自适应网络(ACAN),通过对齐像素相关性来对齐动作视频。ACAN的目标是最小化相关信息的分布,称为像素相关离散(PCD)。此外,视频DA研究也受到缺乏具有较大域偏移的跨域视频数据集的限制。因此,我们引入了一种新的HMDB-ARID数据集,该数据集具有由域之间较大的统计差异引起的较大的域偏移。该数据集是内置的,旨在利用当前数据集进行暗视频分类。实证结果表明,现有的和新的视频DA数据集,我们提出的ACAN的最先进的性能。
2022-12-08 cs.AI cs.CV
P2ANet: A Dataset and Benchmark for Dense Action Detection from Table Tennis Match Broadcasting Videos
Baidu Inc.(百度公司)
本文发布了乒乓球比赛转播视频的密集动作检测数据集与基准 P2ANet,包含 2,721 个视频片段和 14 类细粒度动作标签,并评估多种动作定位与识别模型,发现现有方法表现有限,证实该任务仍具挑战性。
2024-03-26 cs.CV cs.LG
Graph Neural Networks and Representation Embedding for Table Extraction in PDF Documents
University of Florence(佛罗伦萨大学)
表格广泛用于几种类型的文档中,因为它们可以以结构化的方式带来重要信息。在科学论文中,表格可以总结新颖的发现和总结实验结果,使研究具有可比性,易于学者理解。有几种方法对文档图像执行表格分析,在从PDF文件转换过程中丢失了有用的信息,因为OCR工具很容易识别错误,特别是对于表格中的文本。本文的主要工作是利用图神经网络解决表格抽取问题。节点特征通过适当设计的表示嵌入而丰富。这些表示法不仅有助于更好地区分表格和纸张的其他部分,还有助于更好地区分表格单元格和表格标题。我们在一个新的数据集上对所提出的方法进行了实验评估,该数据集是通过合并PubLayNet和PubTables-1 M数据集中提供的信息获得的。
2022-08-23 cs.CV
Evaluating Table Structure Recognition: A New Perspective
American Express AI Labs(美国运通人工智能实验室)
用于评估表格结构识别算法的现有度量在捕获文本和空单元格对齐方面存在缺点。在本文中,我们建立在以前的工作,并提出了一个新的度量- TEDS基于IOU相似性(TEDS(IOU))的表结构识别,使用包围盒,而不是文本,同时对上述缺点是强大的。我们证明了我们的指标对以前的指标通过各种例子的有效性。
2022-07-31 cs.CV cs.LG
TABLET: Table Structure Recognition using Encoder-only Transformers
iWudao Tech(iWudao科技)
本文提出一种基于拆分-合并策略、使用多个仅编码器Transformer的表格结构识别模型,通过序列标注和网格分类避免边界框预测,在FinTabNet和PubTabNet上取得高精度与高速度,适合工业部署。
2025-06-08 cs.CV cs.LG
Hierarchical Modeling Approach to Fast and Accurate Table Recognition
Preferred Networks, Inc.(Preferred Networks公司)
本文提出了一种基于非因果注意力和并行推理的分层建模方法,用于提升表格识别的准确性和效率。
2025-12-24 cs.CV cs.LG
Revisiting Structural Dependency in Autoregressive Multi-Task Table Recognition via Order-Independent Cell-Level Representations
Preferred Networks, Inc.(Preferred Networks公司)
针对自回归多任务表格识别中单元格表示顺序依赖导致全局一致性下降的问题,提出通过非因果注意力生成顺序无关的单元格特征,实现并行推理,在两大数据集上提升定位与识别性能,推理时间减少约3倍。
2026-06-17 cs.CV cs.LG
GriTS: Grid table similarity metric for table structure recognition
Microsoft(微软)
本文提出了用于表格结构识别评估的网格表格相似度度量GriTS,通过多项式时间启发式算法求解矩阵相似度,统一了单元格拓扑、位置与内容识别三个子任务,简化了评估并提升了比较意义。
2023-05-23 cs.CV cs.LG
TNCR: Table Net Detection and Classification Dataset
Satbayev University(萨特巴耶夫大学);National Open Research Laboratory for Information and Space Technologies, Satbayev University(萨特巴耶夫大学国家信息与空间技术开放研究实验室)
我们提出了TNCR,一个新的表格数据集,从免费网站收集的图像质量不同。TNCR数据集可用于扫描文档图像中的表格检测,并将其分类为5个不同的类别。TNCR包含9428个高质量标记图像。在本文中,我们实现了最先进的基于深度学习的表格检测方法,以创建多个强基线。与其他方法相比,Cascade Mask R-CNN与ResNeXt-101- 64 x4 d Backbone Network实现了最高的性能,在TNCR数据集上的精度为79.7%,召回率为89.8%,f1得分为84.4%。我们将TNCR开源,希望鼓励更多的深度学习方法来进行表检测、分类和结构识别。数据集和训练模型检查点可在https://github.com/abdoelsayed2016/TNCR_Dataset上获得。
2021-06-19 cs.AI cs.CV
Multi-Type-TD-TSR -- Extracting Tables from Document Images using a Multi-stage Pipeline for Table Detection and Table Structure Recognition: from OCR to Structured Table Representations
随着全球趋势转向数据驱动型行业,对能够将扫描文档的数字图像转换为机器可读信息的自动算法的需求正在迅速增长。除了数据数字化为数据分析工具的应用提供了机会外,流程自动化也有了巨大的改进,而以前需要手动检查文件。虽然光学字符识别技术的引入主要解决了将人类可读的字符从图像转换为机器可读的字符的任务,但多年来提取表语义的任务较少关注。表格的识别主要包括两个任务,即表格检测和表格结构识别。关于这个问题的大多数先前工作集中在没有提供端到端解决方案的任务上,或者关注真实的应用条件,如旋转图像或文档图像内的噪声伪影。最近的工作显示了一个明显的趋势,即深度学习方法加上迁移学习用于表结构识别任务,因为缺乏足够大的数据集。在本文中,我们提出了一个多级流水线命名为多类型TD-TSR,它提供了一个端到端的解决方案,表识别的问题。它利用最先进的深度学习模型进行表格检测,并根据表格的边界区分3种不同类型的表格。对于表结构的识别,我们使用一个确定性的非数据驱动的算法,它适用于所有的表类型。我们还提出了两个算法。一个是无边框表,一个是有边框表,这是所使用的表结构识别算法的基础。我们在ICDAR 2019表格结构识别数据集上评估了Multi-Type-TD-TSR,并实现了新的最先进技术。
2021-05-23 cs.AI cs.CV cs.LG
ClusterTabNet: Supervised clustering method for table detection and table structure recognition
SAP Business AI(SAP商业人工智能部门)
提出ClusterTabNet,利用Transformer编码器预测单词间关系图,实现表格检测与结构识别,在多个数据集上以更小模型达到或超越现有方法。
2024-05-23 cs.CV cs.LG
Multi-Cell Decoder and Mutual Learning for Table Structure and Character Recognition
Preferred Networks, Inc.(Preferred Networks公司)
针对现有端到端表格识别模型单向识别结构、单元格内容独立识别无法利用邻域信息的问题,提出多单元内容解码器与双向互学习机制,在两个大数据集上验证其性能可媲美SOTA模型,适配长表格场景。
2024-05-12 cs.CV cs.LG
Rethinking Table Recognition using Graph Neural Networks
National University of Sciences and Technology (NUST)(国立科技大学);National Center of Artificial Intelligence (NCAI)(国家人工智能中心)
文档结构分析,如区域分割和表格识别,是文档处理中的一个复杂问题,也是一个活跃的研究领域。深度学习最近在解决各种计算机视觉和机器学习问题方面取得的成功尚未反映在文档结构分析中,因为传统的神经网络不太适合问题的输入结构。在本文中,我们提出了一个架构的基础上,图网络作为一个更好的替代标准神经网络的表识别。我们认为,图网络是一个更自然的选择,这些问题,并探讨两个基于梯度的图神经网络。我们提出的架构结合了用于视觉特征提取的卷积神经网络和用于处理问题结构的图网络的优点。我们的经验表明,我们的方法优于基线的显着保证金。此外,我们确定缺乏大规模数据集作为结构分析的深度学习研究的主要障碍,并提出了一个新的大规模合成数据集的表识别问题。最后,我们开源了数据集生成的实现和我们的图网络的训练框架,以促进这一方向的可重复研究。
2019-07-03 cs.CV cs.LG
A Registration-aided Domain Adaptation Network for 3D Point Cloud Based Place Recognition
Shanghai Jiao Tong University(上海交通大学);Beijing Institute of Technology(北京理工大学)
在自动驾驶和移动机器人的大规模SLAM领域,基于3D点云的地点识别由于其对白天和天气变化剧烈的变化环境的鲁棒性而引起了重大的研究兴趣。然而,这是耗时和精力成本高,以获得高质量的点云数据的位置识别模型的训练和地面真理注册在现实世界中。为此,提出了一种新的配准辅助三维领域自适应网络的点云位置识别。引入结构感知配准网络来帮助学习具有几何信息的特征,并且可以估计具有部分重叠的两个点云之间的6-DoF姿态。该模型通过GTA-V的合成虚拟LiDAR数据集进行训练,具有不同的天气和白天条件,并通过对齐全局特征来实现领域自适应。我们的结果优于最先进的3D位置识别基线,或者在现实世界的Oxford RobotCar数据集上实现与虚拟数据集上的注册可视化相当。
2021-08-04 cs.CV cs.RO
An End-to-End Multi-Task Learning Model for Image-based Table Recognition
National Institute of Informatics (NII)(国立情报学研究所)
由于表格样式的多样性和表格结构的复杂性,基于图像的表格识别是一项具有挑战性的任务。大多数以前的方法集中在一个非端到端的方法,将问题分为两个单独的子问题:表结构识别和单元格内容识别,然后尝试使用两个单独的系统来独立地解决每个子问题。在本文中,我们提出了一个端到端的多任务学习模型,基于图像的表格识别。该模型由一个共享的编码器,一个共享的解码器,和三个独立的解码器,用于学习三个子任务的表识别:表结构识别,单元格检测,单元格内容识别。整个系统可以很容易地以端到端的方式进行训练和推断。在实验中,我们评估了两个大规模数据集:FinTabNet和PubTabNet的性能。实验结果表明,该模型在所有基准数据集上的性能优于现有的方法。
2023-03-29 cs.CV
Table Tennis Stroke Recognition Using Two-Dimensional Human Pose Estimation
我们介绍了一种新的方法来收集乒乓球视频数据和执行中风检测和分类。一个多样化的数据集,包含11个基本的中风从14个专业乒乓球运动员的视频数据,总结了共22111视频已收集使用建议的设置。使用二维姿态估计开发的时间卷积神经网络模型对这11种乒乓球击球进行多类分类,验证准确率为99.37%。此外,神经网络很好地概括了从训练和验证数据集中排除的球员的数据,以98.72%的总体最佳准确度对新的击球进行分类。使用基于机器学习和深度学习的方法的各种模型架构已经被训练用于笔划识别,并且它们的性能已经被比较和基准测试。并讨论了该模型对运动员的成绩监测和击球比较等方面的应用。因此,我们正在为乒乓球运动开发基于计算机视觉的运动分析系统做出贡献,该系统专注于这项运动以前未开发的方面,即,球员的击球,这是非常有见地的性能提高。
2021-05-31 cs.CV cs.LG
TC-OCR: TableCraft OCR for Efficient Detection & Recognition of Table Structure & Content
Indraprastha Institute of Information Technology, Delhi(德里英迪拉普拉斯塔信息技术学院)
本研究提出TC-OCR端到端流水线,集成DETR、CascadeTabNet和PP OCR v2,实现表格检测、结构识别与内容识别,IOU达0.96,OCR准确率78%,较Table Transformer提升约25%。
2024-04-19 cs.CV
Table Structure Recognition using Top-Down and Bottom-Up Cues
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
表格是文档图像中信息丰富的结构化对象。虽然在将表格定位为文档图像中的图形对象方面已经做了大量的工作,但在表格结构识别方面只存在有限的尝试。大多数现有的文献结构识别依赖于从PDF文档中提取的元特征或光学字符识别(OCR)模型,从图像中提取低级别的布局特征。然而,这些方法不能很好地推广,因为当表格布局和文本组织存在显著差异时,OCR会产生元特征或错误。在我们的工作中,我们专注于具有复杂结构,密集内容和不同布局的表格,而不依赖于元特征和/或OCR。我们提出了一种表格结构识别的方法,它结合了单元格检测和交互模块来定位单元格,并预测它们与其他检测到的单元格的行和列关联。我们将结构约束作为额外的差分组件的损失函数的细胞检测。我们在公开可用的真实世界数据集上经验验证了我们的方法- ICDAR-2013,ICDAR-2019(cTDaR)存档,UNLV,SciTSR,SciTSR-COMP,TableBank和PubTabNet。我们的尝试开辟了一个新的方向,表结构识别相结合的自上而下(表单元格检测)和自自底向上的【形】(结构识别)的线索在视觉上理解的表。
2020-10-09 cs.CV
Rethinking Image-based Table Recognition Using Weakly Supervised Methods
National Institute of Informatics (NII)(国立信息学研究所)
以前的大多数表格识别方法都依赖于包含许多丰富注释的表格图像的训练数据集。详细的表格图像注释,例如,然而,单元格或文本限界框注释是昂贵的并且通常是主观的。在本文中,我们提出了一个名为WSTabNet的弱监督模型,用于表格识别,该模型仅依赖于表格图像的HTML(或LaTeX)代码级注释。该模型由三个主要部分组成:用于特征提取的编码器、用于生成表结构的结构解码器和用于预测表中每个单元的内容的单元解码器。我们的系统是通过随机梯度下降算法进行端到端训练的,只需要表格图像和它们的真实HTML(或LaTeX)表示。为了通过深度学习促进表格识别,我们创建并发布了WikiTableSet,这是从维基百科构建的最大的公开可用的基于图像的表格识别数据集。WikiTableSet包含近400万张英文表格图像、59万张日文表格图像和64万张法文表格图像,以及相应的HTML表示和单元格边界框。在WikiTableSet和两个大规模数据集FinTabNet和PubTabNet上进行的广泛实验表明,与所有基准数据集上的最先进模型相比,所提出的弱监督模型实现了更好或相似的精度。
2023-03-14 cs.CV
Flexible Table Recognition and Semantic Interpretation System
Fraunhofer IAIS(弗劳恩霍夫智能分析和信息系统研究所);University of Bonn(波恩大学);University of Cologne(科隆大学)
表抽取是一个重要但尚未解决的问题。在本文中,我们介绍了一个灵活的和模块化的表提取系统。我们开发了两个基于规则的算法,执行完整的表识别过程,包括表检测和分割,并支持最常见的表格格式。此外,结合语义信息的提取,我们开发了一个基于图的表解释方法。我们对具有挑战性的表格识别基准ICDAR 2013和ICDAR 2019进行了广泛的实验,取得了与最先进方法相竞争的结果。我们完整的信息抽取系统表现出很高的F1得分为0.7380。为了支持未来的研究信息抽取从文件中,我们使资源(地面实况注释,评估脚本,算法参数)从我们的表解释实验公开。
2021-12-02 cs.CV
TGRNet: A Table Graph Reconstruction Network for Table Structure Recognition
Beijing Jiaotong University(北京交通大学);The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院)
表格是一种非常有效的数据结构,在商业和科学研究中得到了广泛的应用。考虑到在线和离线文档中的大规模表格数据,自动表格识别越来越受到文档分析界的关注。虽然人类可以很容易地理解表格的结构,但对于机器来说,理解这一点仍然是一个挑战,特别是由于各种不同的表格布局和风格。现有方法通常将表格建模为标记序列或不同表格单元格之间的邻接矩阵,未能解决表格单元格的逻辑位置的重要性,例如,单元格位于表格的第一行和第二列中。本文将表结构识别问题转化为表图重构问题,提出了一种用于表结构识别的端到端可训练表图重构网络(TGRNet)。具体地,所提出的方法具有两个主要分支,小区检测分支和小区逻辑位置分支,以联合预测不同小区的空间位置和逻辑位置。三个流行的表识别数据集和一个新的数据集与表图注释(TableGraph-350 K)的实验结果表明,所提出的TGRNet表结构识别的有效性。代码和注释将公开提供。
2021-08-17 cs.AI cs.CV
Global Table Extractor (GTE): A Framework for Joint Table Identification and Cell Structure Recognition Using Visual Context
University of Michigan(密歇根大学);IBM Research-Almaden(IBM阿尔马登研究中心);IBM Research Australia(IBM澳大利亚研究中心)
文档通常用于商业和科学中的知识共享和保存,其中包含捕获大多数关键数据的表格。不幸的是,大多数文档都是以PDF或扫描图像的形式存储和分发的,这无法保留逻辑表结构。最近提出了基于视觉的深度学习方法来解决这一差距,但大多数仍然无法实现最先进的结果。我们提出了全局表提取器(GTE),一个视觉引导的联合表检测和细胞结构化识别的系统框架,它可以建立在任何目标检测模型之上。与GTE-Table,我们发明了一个新的惩罚的基础上自然细胞遏制约束表训练我们的表网络的细胞位置预测的帮助。GTE-Cell是一个新的分层细胞检测网络,利用表格样式。此外,我们设计了一种方法来自动标记现有文档中的表和单元格结构,以廉价地创建大型训练和测试数据语料库。我们使用它来增强PubTabNet与单元格标签,并创建FinTabNet,真实世界和复杂的科学和金融数据集,详细的表结构注释,以帮助训练和测试结构识别。我们的框架在表格检测和细胞结构识别方面都超过了ICDAR 2013和ICDAR 2019表格竞赛的最新结果,在全表格提取系统中显着提高了5.8%。进一步的实验表明,与我们新的域外FinTabNet中的香草RetinaNet目标检测模型相比,细胞结构识别的改进超过45%。
2020-12-02 cs.CV
CascadeTabNet: An approach for end to end table detection and structure recognition from image-based documents
Pune Institute of Computer Technology(浦那计算机技术学院)
一种用于文档图像中表格数据解释的表格自动识别方法,主要解决表格检测和表格结构识别两个问题。先前的工作涉及使用两种不同的方法独立地解决这两个问题。最近的工作意味着使用基于深度学习的解决方案,同时也试图设计端到端的解决方案。在本文中,我们提出了一种改进的基于深度学习的端到端方法,用于使用单个卷积神经网络(CNN)模型解决表格检测和结构识别这两个问题。我们建议CascadeTabNet:基于级联掩码区域的CNN高分辨率网络(级联掩码R-CNN HRNet)的模型,其检测表的区域并同时从检测到的表识别结构体单元。我们在ICDAR 2013、ICDAR 2019和TableBank公共数据集上评估了我们的结果。我们在ICDAR 2019竞赛后的表格检测结果中排名第三,同时在ICDAR 2013和TableBank数据集中获得了最佳准确性结果。我们还在ICDAR 2019表格结构识别数据集上获得了最高的准确率结果。此外,我们展示了有效的迁移学习和图像增强技术,使CNN能够实现非常准确的表检测结果。代码和数据集已在以下网址提供:https://github.com/DevashishPrasad/CascadeTabNet
2020-05-28 cs.CV
Robust Table Detection and Structure Recognition from Heterogeneous Document Images
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
我们介绍了一种新的表检测和结构识别方法RobusTabNet检测表的边界,并从异构文档图像中重建每个表的细胞结构。对于表格检测,我们建议使用CornerNet作为新的区域建议网络,为Faster R-CNN生成更高质量的表格建议,这显著提高了Faster R-CNN用于表格检测的定位准确性。因此,我们的表检测方法仅使用轻量级ResNet-18骨干网络,在三个公共表检测基准(即cTDaR TrackA,PubLayNet和IIIT-AR-13 K)上实现了最先进的性能。在此基础上,提出了一种新的基于分割合并的表格结构识别方法,该方法采用基于空间CNN的分割线预测模块将检测到的表格分割成网格单元,并采用基于网格CNN的单元合并模块恢复生成单元。由于空间CNN模块可以有效地在整个表格图像中传播上下文信息,因此我们的表格结构识别器可以鲁棒地识别具有大空白空间的表格和几何扭曲(甚至弯曲)的表格。由于这两种技术,我们的表结构识别方法在三个公共基准上实现了最先进的性能,包括SciTSR,PubTabNet和cTDaR TrackB 2-Modern。此外,我们还进一步证明了我们的方法在识别具有复杂结构,大空白空间以及几何扭曲甚至弯曲形状的表格方面的优势。
2022-09-16 cs.CV
A Review On Table Recognition Based On Deep Learning
China Pacific Insurance (Group) Co., Ltd.(中国太平洋保险(集团)股份有限公司)
本文综述基于深度学习的表格识别,梳理数据集、评价指标、两阶段模型、端到端及以数据为中心方法,并比较实验结果与未来趋势。
2023-12-08 cs.AI cs.CV
High-Performance Transformers for Table Structure Recognition Need Early Convolutions
Georgia Institute of Technology(佐治亚理工学院);ADP, Inc.(ADP公司)
本研究针对表格结构识别中混合CNN-Transformer架构视觉编码器参数量大、速度慢的问题,提出轻量卷积茎视觉编码器,在保证性能的同时平衡感受野与序列长度,并开源代码以推动领域研究。
2023-11-09 cs.CV cs.LG
A large-scale dataset for end-to-end table recognition in the wild
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息工程学院);Zhuzhou CRRC Times Electric Co., Ltd(株洲中车时代电气股份有限公司);Pazhou Lab(琶洲实验室);College of Automation Science and Engineering, South China University of Technology(华南理工大学自动化科学与工程学院)
本文提出首个大规模双语端到端表格识别数据集TabRecSet,包含38.1K个多样真实场景表格及完整多边形标注,并开发了可视化标注工具TableMe,填补了端到端TR研究缺乏基准数据集的空白。
2023-03-27 cs.CV
Table Tennis Stroke Detection and Recognition Using Ball Trajectory Data
在这项工作中,检测和分类乒乓球击球单独使用球轨迹的新任务进行了探索。一个单一的摄像机设置定位在裁判员的视图已被用来获取由四个专业乒乓球运动员执行的六个中风类组成的数据集。球跟踪使用YOLOv4,一个传统的目标检测模型,和TrackNetv2,一个时间热图为基础的模型,已经实现了我们的数据集和他们的性能已经基准。开发了一种数学方法来使用球轨迹数据提取击球的时间边界,在我们的数据集中总共产生了2023个有效击球,同时还成功地检测了发球和失误击球。开发的时间卷积网络对完全看不见的数据进行了笔划识别,准确率为87.155%。几种基于机器学习和深度学习的模型架构已经被训练用于使用球轨迹输入的击球识别,并基于它们的性能进行基准测试。虽然乒乓球领域中的击球识别已经基于使用关注于运动员动作的视频数据的人类动作识别而被广泛探索,但是球轨迹数据的使用对于该运动是未探索的特征。因此,这项工作背后的动机是证明可以使用最少的输入信息得出有意义的推断,如笔画检测和识别。
2023-02-19 cs.AI cs.CV cs.LG
Current Status and Performance Analysis of Table Recognition in Document Images with Deep Neural Networks
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Kaiserslautern(凯泽斯劳滕大学);Mindgrage;Luleå University of Technology(吕勒奥理工大学);Bilojix Soft Technologies(Bilojix软件技术公司)
表格识别的第一阶段是检测文档中的表格区域。随后,在第二阶段中识别表格结构,以便从各个单元提取信息。表格检测和结构识别是表格理解领域的关键问题。然而,表格分析是一个复杂的任务,由于大量的多样性和不对称的表格。因此,它是文档图像分析中一个活跃的研究领域。图形处理单元的计算能力的最新进展使得深度神经网络能够优于传统的最先进的机器学习方法。表理解已经从深度神经网络的最新突破中受益匪浅。然而,对于用于表格检测和表格结构识别的深度学习方法还没有统一的描述。这篇综述论文对利用深度神经网络的现代方法进行了全面分析。这项工作提供了一个全面的了解目前的最先进的和相关的挑战,在文档图像中的表格理解。此外,主要数据集及其复杂性已与定量结果一起阐述。此外,简要概述了有前途的方向,可以作为指导,以进一步提高文件图像中的表分析。
2021-05-08 cs.CV
PingAn-VCGroup's Solution for ICDAR 2021 Competition on Scientific Literature Parsing Task B: Table Recognition to HTML
Visual Computing Group, Ping An Property & Casualty Insurance Company(平安财产保险股份有限公司视觉计算组);Ping An Technology Company(平安科技公司)
本文介绍了ICDAR 2021竞赛科学文献解析任务B的解决方案:HTML的表格识别。该方法将表格内容识别任务分为表格结构识别、文本行检测、文本行识别和文本框分配四个子任务,表格结构识别算法是基于MASTER [1]算法定制的。PSENet [2]用于检测表格图像中的每个文本行。对于文本行识别,我们的模型也建立在MASTER上。最后,在框分配阶段,将PSENet检测到的文本框与表结构预测重构的结构项相关联,并将文本行的识别内容填充到相应的结构项中。我们提出的方法在开发阶段的9,115个验证样本上获得了96.84%TEDS分数,在最终评估阶段的9,064个样本上获得了96.32%TEDS分数。
2021-05-05 cs.AI cs.CV
TabAug: Data Driven Augmentation for Enhanced Table Structure Recognition
National University of Sciences and Technology (NUST)(国立科技大学)
表格结构识别是文档图像中端到端表格数据抽取的重要组成部分。最近深度学习模型架构在计算机视觉中的成功在表结构识别中仍然是非反射性的,这主要是因为该领域的大量数据集仍然不可用,而标记新数据是昂贵且耗时的。传统上,在计算机视觉中,这些挑战通过基于图像变换(如颜色抖动和随机裁剪)的标准增强技术来解决。正如我们的实验所示,这些技术是不有效的表结构识别的任务。在本文中,我们提出了TabAug,一个重新想象的数据增强技术,通过复制和删除行和列,在表图像中产生结构变化。它还包括一个数据驱动的概率模型,允许控制增强过程。为了证明我们的方法的有效性,我们在ICDAR 2013数据集上进行了实验,我们的方法在评估指标的各个方面都有一致的改进,细胞水平的正确检测率从基线的92.16%提高到96.11%。
2021-05-15 cs.AI cs.CV cs.LG
Guided Table Structure Recognition through Anchor Optimization
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Kaiserslautern(凯泽斯劳滕大学);Mindgrage;Luleå University of Technology(吕勒奥理工大学);Bilojix Soft Technologies(Bilojix软件技术公司)
本文提出了一种利用引导锚点进行表格结构识别的新方法。该概念不同于当前用于表格结构识别的最先进的方法,该方法天真地应用目标检测方法。与现有技术相比,首先,我们估计表结构识别的可行锚。随后,利用这些锚点来定位表格图像中的行和列。此外,本文还介绍了一种简单有效的方法,通过在现实场景中使用表格布局来改善结果。在ICDAR-2013和TabStructDB两个公开的表结构识别数据集上对所提出的方法进行了详尽的评估。我们在ICDAR-2013数据集上完成了最先进的结果,平均F-Measure为95.05 $\%$(行为94.6 $\%$,列为96.32 $\%$),并超过了TabStructDB数据集上的基线结果,平均F-Measure为94.17 $\%$(行为94.08 $\%$,列为95.06 $\%$)。
2021-04-21 cs.CV
Comparing Machine Learning Approaches for Table Recognition in Historical Register Books
Bischöfliches Ordinariat(主教公署);TU Wien(维也纳工业大学);Passau Computer Vision Lab(帕绍计算机视觉实验室);Naver Labs Europe(Naver欧洲实验室);Archiv des Bistums Passau(帕绍教区档案馆)
我们提出了在本文中的实验表识别手写登记簿。我们首先解释如何对行和列检测问题进行建模,然后比较两种用于检测这些表元素的机器学习方法(条件随机场和图卷积网络)。对帕绍教区档案馆提供的死亡记录进行了评估。两种方法显示出相似的结果,89 F1分数,允许信息抽取的质量。软件和数据集都是开源/数据。
2019-06-14 cs.CV cs.IR cs.LG
Image-based table recognition: data, model, and evaluation
IBM Research Australia(澳大利亚IBM研究院)
文档中与特定主题相关的重要信息通常以表格格式组织,以帮助读者进行信息检索和比较,这可能难以用自然语言提供。然而,非结构化数字文档中的表格数据,例如,可移植文档格式(PDF)和图像由于其结构和风格的复杂性和多样性而难以解析成结构化的机器可读格式。为了通过深度学习促进基于图像的表格识别,我们开发了最大的公开可用表格识别数据集PubTabNet(https://github.com/ibm-aur-nlp/PubTabNet),其中包含568 k表格图像以及相应的结构化HTML表示。PubTabNet通过匹配PubMed Central开放获取子集(PMCOA)中科学文章的XML和PDF表示自动生成。我们还提出了一种新的注意力为基础的编码器双解码器(EDD)架构,将图像的表到HTML代码。该模型有一个结构解码器,它重建表结构,并帮助单元解码器识别单元内容。此外,我们提出了一个新的树编辑距离为基础的相似性(TEDS)指标的表识别,更适当地捕捉多跳细胞错位和OCR错误比预先建立的度量。实验表明,EDD模型可以准确地识别复杂的表格,完全依赖于图像表示,超过9.7%的绝对TEDS得分的最先进的。
2020-03-04 cs.CV
TableCenterNet: A one-stage network for table structure recognition
School of Information Engineering(信息工程学院)
本文提出单阶段端到端网络 TableCenterNet,将表格空间与逻辑结构预测统一为并行回归,在提升训练和推理效率的同时于 TableGraph-24k 上达到最优性能。
2025-05-12 cs.CV
TabSniper: Towards Accurate Table Detection & Structure Recognition for Bank Statements
American Express(美国运通)
针对银行对账单版式多样、长表格交易提取不准的问题,提出基于DETR微调并加特征增强的TabSniper方法,实现表格检测分类与结构识别,经后处理输出结构化交易数据,性能优于基线。
2024-12-17 cs.CV
DenTab: A Dataset for Table Recognition and Visual QA on Real-World Dental Estimates
LITIS, Normandy, France(诺曼底大学LITIS实验室);Malakoff Humanis, Paris, France(巴黎Malakoff Humanis机构)
DenTab数据集包含2000张牙科估算表图像,用于评估表识别和视觉问答性能,包含2208个问题,涵盖检索、聚合和逻辑一致性检查。
2026-04-17 cs.CV
Grab What You Need: Rethinking Complex Table Structure Recognition with Flexible Components Deliberation
Tencent YouTu Lab(腾讯优图实验室)
最近,表结构识别(TSR)任务,旨在识别表结构到机器可读的格式,在社会上受到越来越多的关注。虽然基于单表组件的方法取得了令人印象深刻的成功,但大多数基于单表组件的方法不能很好地处理因内部结构复杂和外部捕获失真而分散注意力的非正则表情况。在本文中,我们将其提出为复杂的TSR问题,其中现有方法的性能退化归因于其低效的组件使用和冗余的后处理。为了减轻它,我们将我们的视角从表组件提取转向有效的多组件利用,这有待于在该领域的进一步探索。具体来说,我们提出了一个开创性的方法,称为GrabTab,配备了新提出的组件审议。由于其渐进式的审议机制,我们的GrabTab可以灵活地适应最复杂的表格,选择合理的组件,但不涉及复杂的后处理。公共基准上的定量实验结果表明,我们的方法显着优于最先进的,特别是在更具挑战性的场景。
2023-03-16 cs.CV
TDATR: Improving End-to-End Table Recognition via Table Detail-Aware Learning and Cell-Level Visual Alignment
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(iFLYTEK研究院)
TDATR通过表格细节感知学习和单元级视觉对齐改进端到端表格识别,采用感知-融合策略,提升模型鲁棒性和识别精度,无需数据集特定微调即可在七个基准上取得领先性能。
2026-03-24 cs.AI cs.CV
LORE: Logical Location Regression Network for Table Structure Recognition
Zhejiang University(浙江大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
表格结构识别(TSR)的目的是将图像中的表格提取为机器可理解的格式。最近的方法解决了这个问题,通过预测检测到的单元格框的邻接关系,或学习从表图像生成相应的标记序列。然而,它们要么依靠额外的启发式规则来恢复表结构,要么需要大量的训练数据和耗时的顺序解码器。在本文中,我们提出了另一种范式。我们将TSR建模为一个逻辑位置回归问题,并提出了一个新的TSR框架LORE,代表逻辑位置回归网络,首次将逻辑位置回归与表单元格的空间位置回归结合起来。我们提出的LORE是概念上更简单,更容易训练和更准确的比以前的TSR模型的其他范例。在标准基准上的实验表明,LORE始终优于现有技术。代码可在https://www.example.com上获得。github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/DocumentUnderstanding/LORE-TSR
2023-03-07 cs.CV
SPRINT: Script-agnostic Structure Recognition in Tables
IIT Bombay(印度理工学院孟买分校);Department of Computer Science and Engineering, IIT Bombay(印度理工学院孟买分校计算机科学与工程系)
本文提出语言无关的表格结构识别框架SPRINT,利用OTSL序列与预训练网格估计器提升多语言TSR性能,降低延迟,并发布13语言MUSTARD数据集。
2025-03-15 cs.CV
PingAn-VCGroup's Solution for ICDAR 2021 Competition on Scientific Table Image Recognition to Latex
Visual Computing Group, Ping An Property & Casualty Insurance Company(平安财产保险股份有限公司视觉计算组);Ping An Technology Company(平安科技公司)
本文介绍了我们为ICDAR 2021科学表格图像识别竞赛提供的解决方案。该竞赛有两个子任务:表结构重构(TSR)和表内容重构(TCR)。我们把这两个子任务作为两个单独的图像序列识别问题。我们利用我们以前提出的算法MASTER \cite{lu2019master},这是最初提出的场景文本识别。从网络结构、优化器、归一化方法、预训练模型、输入图像分辨率、数据增强和模型集成等方面对MASTER模型进行了优化。我们的方法在TSR任务上获得0.7444精确匹配和0.8765精确匹配@95%,在TCR任务上获得0.5586精确匹配和0.7386精确匹配95%。
2021-05-05 cs.AI cs.CV
Chinese Text Recognition with A Pre-Trained CLIP-Like Model Through Image-IDS Aligning
Fudan University(复旦大学)
针对中文文本识别中零样本和少样本汉字挑战,提出两阶段框架:预训练CLIP类模型对齐图像与IDS获得字符表示,再监督CTR模型实现文本行识别,实验验证在CCR和CTR基准上性能最优,且无需微调识别零样本汉字。
2023-09-03 cs.CV
UniTabNet: Bridging Vision and Language Models for Enhanced Table Structure Recognition
University of Science and Technology of China(中国科学技术大学);iFLYTEK AI Research(讯飞AI研究院)
本文提出UniTabNet框架,通过图像到文本模型结合物理与逻辑解码器重建表格结构,并引入Vision Guider和Language Guider提升预测准确性与文本语义理解,在多个数据集上达到最先进性能。
2024-09-20 cs.CV
Optimized Table Tokenization for Table Structure Recognition
IBM Research(IBM研究院)
针对表格结构识别中Im2Seq模型的标记表示影响性能的问题,提出优化表格结构语言OTSL,减少标记数与序列长度,提升精度、减半推理时间且消除多数后处理需求。
2023-05-05 cs.CV
Deep learning for table detection and structure recognition: A survey
Assiut University(艾斯尤特大学);Satbayev University(萨特巴耶夫大学);Chungbuk National University(忠北国立大学);International IT University(国际信息技术大学);KazMunayGas Engineering LLP(哈萨克斯坦国家石油天然气工程有限责任合伙公司)
桌子无处不在,从科学期刊、论文、网站和报纸到我们在超市购买的物品。因此,检测它们对于自动理解文档的内容至关重要。由于深度学习网络的快速发展,表检测的性能大幅提高。本调查的目标是提供对表检测领域主要发展的深刻理解,提供对不同方法的深入了解,并提供不同方法的系统分类。此外,我们提供了一个经典的和新的应用领域的分析。最后,现有模型的数据集和源代码被组织起来,为读者提供了对这一庞大文献的指南针。最后,我们去了利用各种目标检测和表结构识别方法,以创建一个有效的和高效的系统的架构,以及一组发展趋势,以跟上国家的最先进的算法和未来的研究。我们还建立了一个公共GitHub存储库,我们将在其中更新最新的出版物,开放数据和源代码。GitHub存储库位于https://github.com/abdoelsayed2016/table-detection-structure-recognition。
2022-11-15 cs.CV
SapiensID 2.0: Aligning Human Recognition Foundation Models with Human Perception
该研究针对现有人类识别模型与人类感知脱节的问题,提出兼具语义与时间感知的SapiensID 2.0框架,通过多项技术实现最优识别性能。
2026-08-12 cs.CV