SEMv2: Table Separation Line Detection Based on Instance Segmentation
University of Science and Technology of China（中国科学技术大学）；iFLYTEK AI Research（科大讯飞人工智能研究院）
本文提出SEMv2表格结构识别器，通过基于条件卷积的实例级表格分隔线检测改进拆分阶段，并发布更具挑战性的iFLYTAB数据集，在多个公开数据集上验证了有效性。
2024-01-12 cs.CV
Visual Understanding of Complex Table Structures from Document Images
IIIT-Hyderabad（海得拉巴国际信息技术学院）
表格结构识别是全面理解文档的必要条件。非结构化业务文档中的表很难解析，因为它们的布局非常多样化，内容对齐方式各异，并且存在空单元格。这个问题特别困难，因为在使用视觉或语言背景或两者来识别单个细胞方面存在挑战。准确检测表格单元格（包括空单元格）简化了结构提取，因此，它成为我们工作的主要重点。我们提出了一种新的基于对象检测的深度模型，该模型捕获表中单元格的固有对齐，并进行了微调以实现快速优化。尽管准确检测单元格，但识别密集表的结构可能仍然具有挑战性，因为在存在多行/列跨越单元格的情况下难以捕获长范围行/列依赖性。因此，我们还旨在通过推导一种新的基于直线图的公式来提高结构识别。从语义的角度来看，我们强调了表中空单元格的重要性。考虑到这些细胞，我们建议增强一个流行的评价标准。最后，我们引入了一个适度大小的评估数据集，其注释风格受到人类认知的启发，以鼓励解决问题的新方法。我们的框架在基准数据集上的平均F1分数提高了2.7%。
2021-11-13 cs.AI cs.CV
A Fast HOG Descriptor Using Lookup Table and Integral Image
Xiamen University（厦门大学）
方向梯度直方图（HOG）是计算机视觉中广泛使用的用于目标检测的特征描述符。本文提出了一种改进的HOG描述子，它采用了查找表和积分图像的方法，使检测速度提高了5~10倍。通过利用给定平台（例如，数字信号处理器）的特殊硬件特征，可以对HOG描述符进行进一步改进，以便具有实时目标检测和跟踪。
2017-03-18 cs.CV
PubTables-1M: Towards comprehensive table extraction from unstructured documents
Microsoft（微软）
近年来，将机器学习应用于非结构化文档的表结构推理和抽取问题取得了重大进展。然而，最大的挑战之一仍然是创建具有完整，明确的大规模地面真相的数据集。为了解决这个问题，我们开发了一个新的，更全面的数据集表提取，称为PubTables-1 M。PubTables-1 M包含来自科学文章的近一百万个表格，支持多种输入方式，并包含表格结构的详细标题和位置信息，使其适用于各种建模方法。它还解决了一个重要的来源，地面真理不一致的观察到在以前的数据集称为过度分割，使用一种新的规范化程序。我们证明，这些改进导致训练性能的显着增加，并在评估表结构识别模型性能的更可靠的估计。此外，我们表明，基于转换器的目标检测模型PubTables-1 M上训练产生的检测，结构识别和功能分析的所有三个任务，而不需要任何特殊的定制这些任务的优秀结果。数据和代码将在https://github.com/microsoft/table-transformer上发布。
2021-11-18 cs.CV cs.LG
Geometry-Based Region Proposals for Real-Time Robot Detection of Tabletop Objects
Northwestern University（西北大学）；Rehabilitation Institute of Chicago（芝加哥康复研究所）
我们提出了一种新的目标检测管道定位和识别在三维环境中。我们的方法利用RGB-D传感器，并结合了机器人和计算机视觉领域的最先进技术，以创建一个强大的，实时的【形】检测系统。我们专注于解决桌面场景的目标检测问题，辅助机械手的常见环境。我们的检测流水线定位对象在场景的点云表示。这些聚类随后用于计算RGB空间中每个对象周围的限界框。然后将每个定义的补丁馈送到卷积神经网络（CNN）中进行对象识别。我们还证明，我们的区域建议方法可用于开发新的数据集，这些数据集既足够大，又足够多样化，可以训练深度学习模型，而且很容易收集，最终用户可以开发自己的数据集。最后，我们通过对整个管道的准确性和运行时间的广泛分析来验证所得到的系统。
2017-03-14 cs.CV cs.RO
TableFormer: Table Structure Understanding with Transformers
IBM Research（IBM研究院）
表格以简洁紧凑的方式组织有价值的内容。这些内容对于诸如搜索引擎、知识图谱等系统是非常有价值的，因为它们增强了它们的预测能力。不幸的是，桌子有各种各样的形状和大小。此外，它们可能具有复杂的列/行标题配置、多行、不同种类的分隔线、缺失条目等。因此，从图像中正确识别表结构是一项重要的任务。本文提出了一种新的表结构辨识模型。后者以两种重要的方式改进了最新的端到端深度学习模型（即来自PubTabNet的编码器-双解码器）。首先，我们介绍了一种新的目标检测解码器的表格单元格。通过这种方式，我们可以直接从PDF源获得可编程PDF的表格单元格的内容，并避免自定义OCR解码器的训练。这种架构上的变化导致了更准确的表格内容提取，并允许我们处理非英语表格。其次，我们用基于Transformer的解码器替换LSTM解码器。这一升级显著提高了以前最先进的树编辑距离分数（TEDS），在简单表上从91%提高到98.5%，在复杂表上从88.7%提高到95%。
2022-03-11 cs.CV cs.LG
On Utilizing Relationships for Transferable Few-Shot Fine-Grained Object Detection
Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon（亚马逊）
最先进的目标检测器是快速和准确的，但它们需要大量的注释良好的训练数据，以获得良好的性能。然而，获得大量特定于特定任务的训练注释，即，细粒度的注释在实践中是昂贵的。相反，从文本中获得常识关系，例如，“台灯是一盏放在桌子上的灯”，这就容易多了。此外，像“on-top-of”这样的常识关系很容易以任务不可知的方式进行注释。在本文中，我们提出了一个概率模型，该模型使用这种关系知识来转换粗对象类别的现成检测器（例如，“table”，“lamp”）到细粒度类别的检测器（例如，“table-lamp”）。我们证明，我们的方法，RelDetect，实现性能竞争力的微调为基础的国家的最先进的对象检测器基线时，极少量的细粒度注释（整个数据集的$0.2\%$）。我们还证明了RelDetect能够利用关系信息的固有可转移性来获得比上述基线更好的性能（$+5$ mAP点），而不是在看不见的数据集上（zero-shot转移）。总之，我们证明了使用关系的目标检测的数据集，细粒度的对象类别可以通过适当的关系链接到粗粒度的类别的权力。
2022-12-01 cs.AI cs.CV
Robust Table Structure Recognition with Dynamic Queries Enhanced Detection Transformer
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Shanghai Jiao Tong University（上海交通大学）；University of Chinese Academy of Sciences（中国科学院大学）
提出 TSRFormer，通过 DQ-DETR 将表格分隔线预测建模为动态查询增强的渐进线回归问题，并结合单元格合并，在多个基准及复杂真实表格上实现 SOTA。
2023-07-12 cs.CV
Consistency-based Active Learning for Object Detection
Nanyang Technological University（南洋理工大学）；University of Central Florida（中佛罗里达大学）
主动学习的目的是通过在有限的预算下选择信息量最大的样本来提高任务模型的性能。与大多数专注于将主动学习应用于图像分类的最近的作品不同，我们提出了一种有效的基于一致性的主动学习方法用于目标检测（CALD），该方法充分探索了原始数据和增强数据之间的一致性。CALD有三个吸引人的好处。(i)CALD是通过研究现有主动学习方法的弱点而系统设计的，这些方法没有考虑到目标检测的独特挑战。(ii)CALD将盒回归和分类统一在一个单一的度量标准上，这与用于分类的主动学习方法无关。CALD还关注信息量最大的局部区域而不是整个图像，这有利于目标检测。(iii)CALD不仅测量样本选择的个体信息，而且还利用互信息来促进平衡的数据分布。大量的实验表明，CALD显着优于现有的最先进的任务不可知和检测特定的主动学习方法对一般的目标检测数据集。基于Faster R-CNN检测器，CALD在PASCAL VOC 2007、PASCAL VOC 2012和MS COCO上平均超过基线方法（随机选择）2.9/2.8/0.8 mAP。代码可在\url{https://github.com/we1pingyu/CALD}上获得
2022-04-11 cs.AI cs.CV cs.LG
Latent Diffusion for Guided Document Table Generation
Smarte Daten and Wissensdienste (SDS)（智能数据与知识服务公司（SDS））；Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI)（德国人工智能研究中心（DFKI））；Department of Computer Science, RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道工业大学计算机科学系）；DeepReader GmbH（DeepReader有限公司）
针对复杂表格标注数据稀缺的问题，提出基于潜在扩散模型、利用行列条件掩码引导生成带标注表格图像的方法，可提升合成数据质量，使YOLOv5在pubtables-1m上的性能接近SOTA。
2024-08-19 cs.CV
Efficient Information Sharing in ICT Supply Chain Social Network via Table Structure Recognition
University of Ottawa（渥太华大学）；Lytica Inc.（Lytica公司）
全球信息和通信技术（ICT）供应链是一个复杂的网络，由所有类型的参与者组成。在供应链管理中，人们常把供应链网络看作是一个社会网络来讨论供应链网络的关系、性质和发展。信息共享在提高供应链效率方面发挥着至关重要的作用，而说明书由于人的可读性，是描述信息和通信技术供应链中电子部件商品的最常见的数据格式。然而，随着电子文档数量的激增，已经远远超出了人类的阅读能力，而且表格数据结构复杂，布局异构，自动处理表格数据也是一个挑战。表结构识别（TSR）的目标是以机器可解释的格式表示具有复杂结构的表，以便自动处理表格数据。在本文中，我们制定TSR作为一个目标检测问题，并建议生成一个直观的表示复杂的表结构，使结构化的表格数据相关的商品。为了处理无边界和小的布局，我们提出了一个成本敏感的损失函数，通过考虑每个类的检测难度。此外，我们提出了一种新的锚点生成方法，利用表的特性，即表中的列应该共享相同的高度，表中的行应该共享相同的宽度。我们基于Faster-RCNN实现了我们提出的方法，平均精度（AP）达到了94.79%，并且对于不同的基准模型，AP始终提高了1.5%以上。
2022-11-03 cs.CV cs.IR
Evaluating Zero-cost Active Learning for Object Detection
University of Applied Sciences（应用科学大学）；Hasty GmbH（Hasty有限责任公司）
目标检测需要大量的标记工作来学习鲁棒模型。主动学习可以通过智能地选择要注释的相关示例来减少这种努力。然而，正确地选择这些示例而不引入对泛化性能产生负面影响的采样偏差并不简单，并且大多数主动学习技术不能在真实世界的基准上保持其承诺。在我们的评估论文中，我们关注的是除了推理之外没有计算开销的主动学习技术，我们称之为零成本主动学习。特别是，我们表明，一个关键的成分不仅是分数的限界框水平，但也用于聚合的排名图像的分数的技术。我们概述了我们的实验设置，并讨论了使用主动学习进行目标检测时的实际考虑因素。
2022-12-08 cs.CV cs.LG
TTNet: Real-time temporal and spatial video analysis of table tennis
OSAI
我们提出了一个神经网络TTNet，旨在实时的【形】处理高分辨率乒乓球视频，提供时间（事件发现）和空间（球检测和语义分割）数据。该方法为自动裁判系统提供了推理分数更新的核心信息。我们还发布了一个多任务数据集OpenTTGames，其中包含120 fps的乒乓球比赛视频，标记有事件，语义分割掩码和球坐标，用于评估多任务方法，主要面向快速事件和小对象跟踪的定位。TTNet在游戏事件定位方面表现出97.0%的准确性，在球检测方面表现出2像素的RMSE，在所呈现数据集的测试部分具有97.5%的准确性。所提出的网络允许在具有单个消费级GPU的机器上处理缩减的全高清视频，每个输入张量的推理时间低于6 ms。因此，我们正在为实时的【形】多任务深度学习应用程序的开发做出贡献，并提出了一种方法，该方法可能能够取代体育球探的手动数据汇集，为裁判的决策提供支持，并收集有关比赛过程的额外信息。
2020-04-21 cs.CV
Active Deformable Part Models
University of Pennsylvania（宾夕法尼亚大学）
本文提出了一种基于部分的目标检测的主动方法，该方法优化了部分滤波器评估的顺序以及停止和进行预测的时间。描述零件响应的统计数据从训练数据中学习，并用于将零件调度问题形式化为离线优化。应用动态规划来获得一个策略，该策略平衡了零件评估的数量与分类精度。在推理过程中，该策略被用作一个查找表，根据观察到的滤波器响应来选择部分阶数和停止时间。在PASCAL VOC 2007和2010数据集上进行评估时，该方法比使用可变形零件模型（未优化零件顺序）的级联检测更快，精度损失可忽略不计。
2014-04-02 cs.CV cs.LG
TO-Scene: A Large-scale Dataset for Understanding 3D Tabletop Scenes
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Future Network of Intelligence Institute, CUHK-Shenzhen（香港中文大学（深圳）未来智联网络研究院）
许多基本的室内活动，如吃饭或写作，总是在不同的桌面上进行（例如，咖啡桌、写字台）。在三维室内场景解析应用中，桌面场景的理解是必不可少的。不幸的是，很难通过直接部署数据驱动算法来满足这一需求，因为3D桌面场景在当前数据集中很少可用。为了弥补这一缺陷，我们引入了TO-Scene，这是一个专注于桌面场景的大规模数据集，包含20，740个场景，有三个变体。为了获取数据，我们设计了一个高效且可扩展的框架，其中开发了一个众包UI，将CAD对象从ModelNet和ShapeNet传输到ScanNet的表格上，然后将输出的桌面场景模拟为真实扫描并自动注释。此外，桌面感知的学习策略，提出了更好地感知小尺寸的桌面实例。值得注意的是，我们还提供了一个真实的扫描测试集TO-Real来验证TO-Scene的实用价值。实验结果表明，在TO-Scene上训练的算法在真实的测试数据上确实有效，我们提出的桌面感知学习策略在3D语义分割和目标检测任务上都大大提高了最先进的结果。数据集和代码可在https://github.com/GAP-LAB-CUHK-SZ/TO-Scene上获得。
2022-07-20 cs.CV
Quickest Intruder Detection for Multiple User Active Authentication
Johns Hopkins University（约翰斯·霍普金斯大学）；Universidad Autonoma de Madrid（马德里自治大学）
在本文中，我们研究如何检测入侵者与低延迟的主动认证（AA）系统与多用户。我们扩展了最快的变化检测（QCD）的框架，多用户的情况下，制定多用户最快的入侵者检测（MQID）算法。此外，我们将算法扩展到数据高效的情况下，入侵者检测进行较少的观察样本。我们评估了所提出的方法的有效性上的两个公开可用的AA数据集上的脸模态。
2020-06-21 cs.CV
Guided Table Structure Recognition through Anchor Optimization
German Research Center for Artificial Intelligence（德国人工智能研究中心）；University of Kaiserslautern（凯泽斯劳滕大学）；Mindgrage；Luleå University of Technology（吕勒奥理工大学）；Bilojix Soft Technologies（Bilojix软件技术公司）
本文提出了一种利用引导锚点进行表格结构识别的新方法。该概念不同于当前用于表格结构识别的最先进的方法，该方法天真地应用目标检测方法。与现有技术相比，首先，我们估计表结构识别的可行锚。随后，利用这些锚点来定位表格图像中的行和列。此外，本文还介绍了一种简单有效的方法，通过在现实场景中使用表格布局来改善结果。在ICDAR-2013和TabStructDB两个公开的表结构识别数据集上对所提出的方法进行了详尽的评估。我们在ICDAR-2013数据集上完成了最先进的结果，平均F-Measure为95.05 $\%$（行为94.6 $\%$，列为96.32 $\%$），并超过了TabStructDB数据集上的基线结果，平均F-Measure为94.17 $\%$（行为94.08 $\%$，列为95.06 $\%$）。
2021-04-21 cs.CV
Multi-Type-TD-TSR -- Extracting Tables from Document Images using a Multi-stage Pipeline for Table Detection and Table Structure Recognition: from OCR to Structured Table Representations
随着全球趋势转向数据驱动型行业，对能够将扫描文档的数字图像转换为机器可读信息的自动算法的需求正在迅速增长。除了数据数字化为数据分析工具的应用提供了机会外，流程自动化也有了巨大的改进，而以前需要手动检查文件。虽然光学字符识别技术的引入主要解决了将人类可读的字符从图像转换为机器可读的字符的任务，但多年来提取表语义的任务较少关注。表格的识别主要包括两个任务，即表格检测和表格结构识别。关于这个问题的大多数先前工作集中在没有提供端到端解决方案的任务上，或者关注真实的应用条件，如旋转图像或文档图像内的噪声伪影。最近的工作显示了一个明显的趋势，即深度学习方法加上迁移学习用于表结构识别任务，因为缺乏足够大的数据集。在本文中，我们提出了一个多级流水线命名为多类型TD-TSR，它提供了一个端到端的解决方案，表识别的问题。它利用最先进的深度学习模型进行表格检测，并根据表格的边界区分3种不同类型的表格。对于表结构的识别，我们使用一个确定性的非数据驱动的算法，它适用于所有的表类型。我们还提出了两个算法。一个是无边框表，一个是有边框表，这是所使用的表结构识别算法的基础。我们在ICDAR 2019表格结构识别数据集上评估了Multi-Type-TD-TSR，并实现了新的最先进技术。
2021-05-23 cs.AI cs.CV cs.LG
Semantic Table Detection with LayoutLMv3
本文提出了一个应用程序的LayoutLMv 3模型的语义表检测的金融文件从IIIT-AR-13 K数据集。本文实验背后的动机是LayoutLMv 3的官方论文没有使用语义信息进行表检测的结果。我们得出的结论是，我们的方法没有提高模型的表检测能力，我们可以给出几个可能的原因。要么模型的权重不适合我们的目的，要么我们需要投入更多的时间来优化模型的超参数。语义信息也有可能不会提高模型的表检测精度。
2022-11-25 cs.CL cs.CV
TableNet: Deep Learning model for end-to-end Table detection and Tabular data extraction from Scanned Document Images
TCS Research（塔塔咨询服务公司研究院）
随着移动电话和扫描仪广泛用于拍摄和上传文档，提取非结构化文档图像（如零售收据、保险索赔表和财务发票）中的信息的需求变得越来越迫切。实现这一目标的一个主要障碍是，这些图像通常包含表格形式的信息，从表格子图像中提取数据提出了一系列独特的挑战。这包括准确检测图像内的表格区域，以及随后从检测到的表格的行和列中检测和提取信息。虽然在表检测方面已经取得了一些进展，但提取表内容仍然是一个挑战，因为这涉及到更细粒度的表结构（行和列）识别。先前的方法已经尝试使用两个单独的模型来独立地解决表检测和结构识别问题。在本文中，我们提出了TableNet：一种用于表格检测和结构识别的新型端到端深度学习模型。该模型利用表检测和表结构识别的孪生任务之间的相互依赖性来分割出表和列区域。这之后是从所识别的表格子区域中基于语义规则的行提取。在公开可用的ICDAR 2013和Marmot Table数据集上对所提出的模型和提取方法进行了评价，获得了最新的结果。此外，我们还证明了提供额外的语义特征进一步提高了模型性能，并且该模型具有跨数据集的迁移学习。本文的另一个贡献是为Marmot数据提供额外的表结构注释，目前只有表检测的注释。
2020-01-06 cs.CV cs.LG eess.IV
TableBank: A Benchmark Dataset for Table Detection and Recognition
Microsoft Research Asia（微软亚洲研究院）
我们提出了TableBank，一个新的基于图像的表格检测和识别数据集，该数据集是从互联网上的Word和Latex文档中构建的。基于图像的表格检测和识别的现有研究通常使用几千个人工标记的示例对域外数据进行预训练模型进行微调，这很难在现实世界的应用中推广。通过包含417K高质量标记表的TableBank，我们使用最先进的模型和深度神经网络构建了几个强大的基线。我们公开了TableBank，并希望它能在表格检测和识别任务中支持更多的深度学习方法。数据集和模型可在\url{https://github.com/doc-analysis/TableBank}上获得。
2020-07-06 cs.CV
TRR360D: A dataset for 360 degree rotated rectangular box table detection
School of Electronics & Information Engineering（电子与信息工程学院）；Shanghai University of Electric Power（上海电力大学）
针对旋转图像表检测数据集稀缺且标注成本高的问题，提出一种旋转图像表检测数据集的构建方法.基于ICDAR2019MTD现代桌子检测数据集，我们参考DOTA数据集的标注格式，创建TRR360D旋转桌子检测数据集。训练集包含600幅旋转图像和977个注释实例，测试集包含240幅旋转图像和499个注释实例。定义了AP50（T<90）评价指标，该数据集可供未来研究人员研究旋转桌子检测算法，促进桌子检测技术的发展。TRR360D旋转检查床检测数据集是通过约束起始点和注释方向创建的，可在https://github.com/vansin/TRR360D上公开获取。
2023-03-08 cs.CV
ClusterTabNet: Supervised clustering method for table detection and table structure recognition
SAP Business AI（SAP商业人工智能部门）
提出ClusterTabNet，利用Transformer编码器预测单词间关系图，实现表格检测与结构识别，在多个数据集上以更小模型达到或超越现有方法。
2024-05-23 cs.CV cs.LG
Synthetic Data Augmentation for Table Detection: Re-evaluating TableNet's Performance with Automatically Generated Document Images
Deggendorf Institute of Technology（德格多夫技术学院）
本研究针对文档表格人工提取效率低的问题，提出基于LaTeX的自动化合成数据流水线增强Marmot基准，系统研究不同分辨率下TableNet的表格检测性能，在降低人工标注成本的同时取得了不错的检测效果。
2025-06-17 cs.AI cs.CV
Table Detection in the Wild: A Novel Diverse Table Detection Dataset and Method
Subex AI Labs（Subex人工智能实验室）
本文针对现有表格检测基准多样性不足的问题，提出了一个包含七千余样本的多样化大规模表格检测数据集，并通过卷积神经网络基线实验证明深度学习方法优于经典计算机视觉方法。
2023-11-30 cs.CV
TNCR: Table Net Detection and Classification Dataset
Satbayev University（萨特巴耶夫大学）；National Open Research Laboratory for Information and Space Technologies, Satbayev University（萨特巴耶夫大学国家信息与空间技术开放研究实验室）
我们提出了TNCR，一个新的表格数据集，从免费网站收集的图像质量不同。TNCR数据集可用于扫描文档图像中的表格检测，并将其分类为5个不同的类别。TNCR包含9428个高质量标记图像。在本文中，我们实现了最先进的基于深度学习的表格检测方法，以创建多个强基线。与其他方法相比，Cascade Mask R-CNN与ResNeXt-101- 64 x4 d Backbone Network实现了最高的性能，在TNCR数据集上的精度为79.7%，召回率为89.8%，f1得分为84.4%。我们将TNCR开源，希望鼓励更多的深度学习方法来进行表检测、分类和结构识别。数据集和训练模型检查点可在https://github.com/abdoelsayed2016/TNCR_Dataset上获得。
2021-06-19 cs.AI cs.CV
Robust Table Detection and Structure Recognition from Heterogeneous Document Images
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
我们介绍了一种新的表检测和结构识别方法RobusTabNet检测表的边界，并从异构文档图像中重建每个表的细胞结构。对于表格检测，我们建议使用CornerNet作为新的区域建议网络，为Faster R-CNN生成更高质量的表格建议，这显著提高了Faster R-CNN用于表格检测的定位准确性。因此，我们的表检测方法仅使用轻量级ResNet-18骨干网络，在三个公共表检测基准（即cTDaR TrackA，PubLayNet和IIIT-AR-13 K）上实现了最先进的性能。在此基础上，提出了一种新的基于分割合并的表格结构识别方法，该方法采用基于空间CNN的分割线预测模块将检测到的表格分割成网格单元，并采用基于网格CNN的单元合并模块恢复生成单元。由于空间CNN模块可以有效地在整个表格图像中传播上下文信息，因此我们的表格结构识别器可以鲁棒地识别具有大空白空间的表格和几何扭曲（甚至弯曲）的表格。由于这两种技术，我们的表结构识别方法在三个公共基准上实现了最先进的性能，包括SciTSR，PubTabNet和cTDaR TrackB 2-Modern。此外，我们还进一步证明了我们的方法在识别具有复杂结构，大空白空间以及几何扭曲甚至弯曲形状的表格方面的优势。
2022-09-16 cs.CV
Two Stream Network for Stroke Detection in Table Tennis
Max Planck Institute for Evolutionary Anthropology（马克斯·普朗克进化人类学研究所）
提出了一种基于视频的乒乓球击球检测方法。该方法依赖于并行处理RGB流及其计算的光流的双流卷积神经网络。该方法已被开发为MediaEval 2021运动任务基准的一部分。我们的贡献没有超过测试集上提供的基线，但在mAP度量方面，在其他参与者中表现最好。
2021-12-16 cs.CV cs.LG cs.MM
CascadeTabNet: An approach for end to end table detection and structure recognition from image-based documents
Pune Institute of Computer Technology（浦那计算机技术学院）
一种用于文档图像中表格数据解释的表格自动识别方法，主要解决表格检测和表格结构识别两个问题。先前的工作涉及使用两种不同的方法独立地解决这两个问题。最近的工作意味着使用基于深度学习的解决方案，同时也试图设计端到端的解决方案。在本文中，我们提出了一种改进的基于深度学习的端到端方法，用于使用单个卷积神经网络（CNN）模型解决表格检测和结构识别这两个问题。我们建议CascadeTabNet：基于级联掩码区域的CNN高分辨率网络（级联掩码R-CNN HRNet）的模型，其检测表的区域并同时从检测到的表识别结构体单元。我们在ICDAR 2013、ICDAR 2019和TableBank公共数据集上评估了我们的结果。我们在ICDAR 2019竞赛后的表格检测结果中排名第三，同时在ICDAR 2013和TableBank数据集中获得了最佳准确性结果。我们还在ICDAR 2019表格结构识别数据集上获得了最高的准确率结果。此外，我们展示了有效的迁移学习和图像增强技术，使CNN能够实现非常准确的表检测结果。代码和数据集已在以下网址提供：https://github.com/DevashishPrasad/CascadeTabNet
2020-05-28 cs.CV
TC-OCR: TableCraft OCR for Efficient Detection & Recognition of Table Structure & Content
Indraprastha Institute of Information Technology, Delhi（德里英迪拉普拉斯塔信息技术学院）
本研究提出TC-OCR端到端流水线，集成DETR、CascadeTabNet和PP OCR v2，实现表格检测、结构识别与内容识别，IOU达0.96，OCR准确率78%，较Table Transformer提升约25%。
2024-04-19 cs.CV
Towards End-to-End Semi-Supervised Table Detection with Deformable Transformer
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）；German Research Institute for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Luleå University of Technology（吕勒奥理工大学）
提出一种基于可变形 Transformer 的端到端半监督表格检测方法，在多个数据集上超越现有方法，显著提升低标注下的性能。
2023-05-07 cs.CV
End-to-End Semi-Supervised approach with Modulated Object Queries for Table Detection in Documents
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）；Mindgarage；German Research Institute for Artificial Intelligence (DFKI)（德国人工智能研究中心）
针对现有半监督文档表格检测方法训练效率低、伪标签有噪声的问题，提出结合一对一与一对多分配的新型匹配策略的Transformer半监督检测器，在多个基准上以30%标注数据取得SOTA结果。
2024-05-11 cs.CV
Sports Video: Fine-Grained Action Detection and Classification of Table Tennis Strokes from Videos for MediaEval 2021
Max Planck Institute for Evolutionary Anthropology（马克斯·普朗克进化人类学研究所）；La Rochelle University（拉罗谢尔大学）；Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立高等理工学院）；LaBRI（波尔多计算机科学实验室）；University of Bordeaux（波尔多大学）
体育视频分析是一个热门的研究课题，由于各种各样的应用领域，从多媒体智能设备与用户定制的浏览器到运动员的表现分析。体育视频任务是MediaEval 2021基准的一部分。此任务处理视频中的细粒度动作检测和分类。重点是乒乓球比赛的录音。自2019年以来，该任务提供了一个分类挑战，来自在自然条件下记录的未经修剪的视频，每个笔画的时间边界已知。今年，该数据集得到了扩展，此外，还提供了一个来自没有注释的未修剪视频的检测挑战。这项工作的目的是为体育教练和运动员创建工具，以分析运动表现。运动分析和运动员分析可以建立在这样的技术上，以丰富运动员的训练经验并提高他们的表现。
2021-12-16 cs.AI cs.CV cs.LG
On Cropped versus Uncropped Training Sets in Tabular Structure Detection
University of Ottawa（渥太华大学）；Lytica Inc.（Lytica公司）
从工业到政府的许多组织都非常需要用于表格信息抽取的自动文档处理。先前的工作已经在表检测和表结构检测任务下解决了这个问题。利用深度学习方法提出的解决方案在这些任务中取得了可喜的成果。然而，数据集结构对表结构检测的影响尚未被研究。在这项研究中，我们提供了一个比较表结构检测性能与裁剪和未裁剪的数据集。裁剪集仅由从文档中裁剪的表格图像组成，假设表格被完美地检测到。未裁剪的集合由常规文档图像组成。实验表明，深度学习模型可以在裁剪版本上将检测性能的平均精确度和平均召回率提高9%。此外，与未裁剪的版本相比，在50%-70%的交集对并集（IoU）值下，裁剪图像的影响可以忽略不计。然而，超过70%的IoU阈值，裁剪的数据集提供了显着更高的检测性能。
2021-10-07 cs.CV
CDeC-Net: Composite Deformable Cascade Network for Table Detection in Document Images
CVIT, IIIT, Hyderabad（海得拉巴国际信息技术研究所视觉信息技术中心）
本地化页面元素/对象（如表格、图形、公式等）是从文档图像中提取信息的主要步骤。我们提出了一种新的端到端可训练深度网络（CDeC-Net），用于检测文档中存在的表格。所提出的网络由Mask R-CNN的多级扩展组成，具有双骨干，具有可变形卷积，用于在较高的IoU阈值下以高检测精度检测规模变化的表。我们在所有公开的基准数据集上对CDeC-Net进行了经验评估- ICDAR-2013，ICDAR-2017，ICDAR-2019，UNLV，Marmot，PubLayNet和TableBank -通过广泛的实验。我们的解决方案有三个重要的属性：（i）单个训练模型CDeC-Net在所有流行的基准数据集上表现良好;（ii）我们报告了多个（包括更高的）IoU阈值的出色性能;（iii）通过遵循最近论文中针对每个基准的相同协议，我们始终如一地展示了卓越的定量性能。我们的代码和模型将公开发布，以实现结果的可重复性。
2020-08-25 cs.CV
TabSniper: Towards Accurate Table Detection & Structure Recognition for Bank Statements
American Express（美国运通）
针对银行对账单版式多样、长表格交易提取不准的问题，提出基于DETR微调并加特征增强的TabSniper方法，实现表格检测分类与结构识别，经后处理输出结构化交易数据，性能优于基线。
2024-12-17 cs.CV
DEXTER: An end-to-end system to extract table contents from electronic medical health documents
BUDDI.AI (A Claritrics Company)（BUDDI.AI（Claritrics旗下公司））
在本文中，我们提出了DEXTER，一个端到端的系统，从医疗健康文件，如电子健康记录（EHR）和解释的好处（EOB）中存在的表中提取信息。DEXTER由四个子系统阶段组成：i）表检测ii）表类型分类iii）单元检测;以及iv）单元内容提取。我们提出了一种基于两阶段迁移学习的方法，使用CDeC-Net架构以及非最大值抑制进行表检测。我们设计了一个传统的计算机视觉为基础的方法，表类型分类和细胞检测使用参数化的内核的基础上检测行和列的图像大小。最后，我们使用预先存在的OCR引擎Tessaract从检测到的单元格中提取文本。为了评估我们的系统，我们手动注释了真实世界医疗数据集（称为Meddata）的样本，该数据集由各种文档（外观方面）组成，涵盖不同的表结构，例如有边框，部分有边框，无边框或彩色表。我们的实验表明，DEXTER优于商业上可用的Amazon Texextract和Microsoft Azure Form Recognizer系统在带注释的真实世界医疗数据集上的性能
2022-07-18 cs.CV
SEMv3: A Fast and Robust Approach to Table Separation Line Detection
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（讯飞研究院）
针对表格分隔线检测难题，本文提出基于“拆分-合并”范式的 SEMv3，通过 KOR 模块与网格合并动作实现快速鲁棒检测，并在多个公开数据集上达到 SOTA。
2024-05-20 cs.CV
P2ANet: A Dataset and Benchmark for Dense Action Detection from Table Tennis Match Broadcasting Videos
Baidu Inc.（百度公司）
本文发布了乒乓球比赛转播视频的密集动作检测数据集与基准 P2ANet，包含 2,721 个视频片段和 14 类细粒度动作标签，并评估多种动作定位与识别模型，发现现有方法表现有限，证实该任务仍具挑战性。
2024-03-26 cs.CV cs.LG
DATa: Domain Adaptation-Aided Deep Table Detection Using Visual-Lexical Representations
Yonsei University（延世大学）；Sungkyunkwan University（成均馆大学）
通过开发不仅依赖于手工制作的算法的基于规则的方法，而且依赖于深度学习方法，已经相当多的研究关注于表检测。尽管最近的研究成功地执行了具有增强结果的表检测，但是当它们用于其表布局特征可能不同于基础模型已被训练的源域的传输域时，它们经常经历性能下降。为了克服这个问题，我们提出了DATa，一种新的领域自适应辅助深表检测方法，保证在一个特定的目标域，其中很少有可信标签是可用的令人满意的性能。为此，我们重新设计了词汇特征和用于重新训练的增强模型。更具体地说，在预训练一个最先进的基于视觉的模型作为我们的骨干网络之后，我们重新训练我们的增强模型，包括基于视觉的模型和多层感知器（MLP）架构。使用基于训练的MLP架构获得的新置信度分数以及边界框及其置信度分数的初始预测，我们更准确地计算每个置信度分数。为了验证DATa的优越性，我们通过采用源域中的真实世界基准数据集和由材料科学文章组成的目标域中的另一个数据集来进行实验评估。实验结果表明，所提出的DATa方法大大优于竞争的方法，只利用视觉表示在目标域。由于根据置信度分数阈值的设置消除高假阳性或假阴性的能力，这样的增益是可能的。
2022-11-12 cs.CV cs.LG cs.NE
Towards End-to-End Semi-Supervised Table Detection with Semantic Aligned Matching Transformer
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）；Mindgarage, Technical University of Kaiserslautern（凯泽斯劳滕工业大学Mindgarage）；German Research Institute for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
本文提出一种基于SAM-DETR的半监督表格检测方法，通过对象查询与目标特征的精确对齐，在无需NMS的情况下显著减少误检并提升复杂文档中的表格检测性能。
2024-04-30 cs.CV
Sport Task: Fine Grained Action Detection and Classification of Table Tennis Strokes from Videos for MediaEval 2022
Max Planck Institute for Evolutionary Anthropology（马克斯·普朗克进化人类学研究所）；La Rochelle University（拉罗谢尔大学）；University of Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立理工学院）
体育视频分析是一个广泛的研究课题。它的应用非常多样化，例如比赛期间的事件检测，视频摘要或运动员的细粒度运动分析。作为MediaEval 2022基准测试计划的一部分，该任务旨在检测和分类体育视频中的细微动作。我们专注于乒乓球比赛的录音。自2019年以来，这项任务提供了一个分类挑战，来自在自然条件下记录的未经修剪的视频，每个笔画的时间边界已知。自2021年以来，该任务还提供了来自未注释、未修剪视频的笔画检测挑战。今年，训练集、验证集和测试集都得到了增强，以确保每个数据集中都能代表所有笔画。现在的数据集类似于[1，2]中使用的数据集。本研究旨在为教练员和运动员提供工具，以进一步评估他们的运动表现。
2023-01-31 cs.AI cs.CV cs.HC
RAPTOR: Refined Approach for Product Table Object Recognition
Yooz；La Rochelle Université（拉罗谢尔大学）
RAPTOR是一个模块化后处理系统，通过遗传算法优化参数，增强DETR和TATR模型，解决产品表格检测与结构识别中的常见错误，在私有和公共数据集上提升精度与结构预测性能。
2025-02-24 cs.AI cs.CV cs.IR
A Saliency-based Convolutional Neural Network for Table and Chart Detection in Digitized Documents
University of Catania（卡塔尼亚大学）；Tab2Ex（Tab2Ex公司）
深度卷积神经网络（DCNN）最近已成功应用于各种视觉和多媒体任务，从而推动了多个应用领域中新型解决方案的开发。文档分析是DCNN的一个特别有前途的领域：事实上，可用的数字文档数量已经达到了前所未有的水平，如果没有自动化的帮助，人类不再能够发现和检索这些文档中包含的所有信息。在这种情况下，DCNN提供了一个可行的解决方案，自动化的信息抽取过程中的数字文档。在从文档中提取信息抽取的领域内，特别需要检测表格和图表，因为它们包含文档中包含的最有价值的信息的视觉摘要。为了从表格和图表中完全自动地进行视觉信息抽取过程，有必要开发定位它们并精确识别它们的边界的技术。在本文中，我们的目标是通过结合深度卷积神经网络，图形模型和显着性概念的方法来解决表格/图表检测任务。特别是，我们提出了一个基于显着性的完全卷积神经网络执行多尺度推理的视觉线索，其次是一个完全连接的条件随机场（CRF）本地化的表格和图表在数字/数字化的文件。对ICDAR 2013扩展版本（带注释的图表和表格）进行的性能分析表明，我们的方法产生了有希望的结果，优于现有的模型。
2018-04-17 cs.CV
Rethinking Detection Based Table Structure Recognition for Visually Rich Document Images
University of Ottawa（渥太华大学）；Lytica Inc.（Lytica公司）
本文全面分析了基于检测的表格结构识别模型性能受限的原因，并通过定制Cascade R-CNN模型，在FinTabNet数据集上使结构TEDS提升16.35%，证明了纯检测方案的竞争力。
2024-01-10 cs.CV cs.IR
RTHDet: Rotate Table Area and Head Detection in images
School of Electronics & Information Engineering（电子与信息工程学院）；Shanghai University of Electric Power（上海电力大学）
本文提出RTHDet方法，通过旋转矩形角度表示和角度损失分支，结合迁移学习与自适应边界旋转增强，在旋转表格检测任务中将AP50从23.7%提升至88.7%，并集成到MMRotate工具包。
2023-12-31 cs.CV
Table Detection for Visually Rich Document Images
University of Ottawa（渥太华大学）；Lytica Inc.（Lytica公司）
针对视觉丰富文档中的表格检测，本文将 IoU 解耦为真实值与预测覆盖项以衡量信息损失，并改进 SparseR-CNN，在多数据集上持续超越现有方法。
2023-10-26 cs.CV cs.IR
Spin Detection in Robotic Table Tennis
University of Tuebingen（图宾根大学）
在乒乓球比赛中，球的旋转（旋转）起着至关重要的作用。乒乓球比赛的特点是有多种打法。每一个都产生不同数量和类型的旋转。为了开发一个可以与人类球员竞争的机器人，机器人需要检测旋转，这样它就可以计划一个适当的回击。本文比较了三种估计自旋的方法。前两种方法使用高速摄像机，以380 Hz的帧速率捕捉飞行中的球。这款摄像机可以看到印在球上的圆形品牌标志的运动。第一种方法使用背景差异来确定徽标的位置。在第二替代方案中，我们训练CNN以预测徽标的取向。第三种方法计算球的轨迹，并从马格努斯力的作用中推导出旋转。这种方法给出了最高的精度，并用于演示。我们的机器人成功地应付不同的旋转类型在一个真正的乒乓球集会对人类的对手。
2019-10-16 cs.CV cs.RO
Synthetic Data Generation for Anomaly Detection on Table Grapes
Sapienza University of Rome（罗马大学）
针对鲜食葡萄异常检测中数据稀缺问题，提出一种自动合成异常样本的方法，利用双Canny边缘检测和Segment Anything Model生成增强数据，提升分类器准确性并可推广至其他水果。
2024-12-17 cs.CV cs.RO
Revisiting Table Detection Datasets for Visually Rich Documents
University of Ottawa（渥太华大学）；Lytica（Lytica公司）
针对现有表格检测公开数据集噪声多、样本少、数据源有限导致评估不可靠的问题，本研究清理合并公开数据集构建Open-Tables，新增ICT领域的ICT-TD数据集，验证了其高可靠性与跨域适用性。
2023-11-08 cs.CV cs.IR
BlurBall: Joint Ball and Motion Blur Estimation for Table Tennis Ball Tracking
University of Tuebingen（图宾根大学）
本文提出了一种新的标注策略，通过将球置于模糊 streak 的中心并显式标注模糊属性，提升表 tennis 球检测性能，并引入 BlurBall 模型联合估计球位置和运动模糊属性。
2026-03-28 cs.CV
Weakly and Semi-Supervised Detection, Segmentation and Tracking of Table Grapes with Limited and Noisy Data
Sapienza University of Rome（罗马第一大学）；Institut de Robotica i Informatica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息学研究所）
水果和蔬菜的检测、分割和跟踪是精准农业的三项基本任务，使机器人收获和产量估计应用成为可能。然而，现代算法是数据饥渴的，并且并不总是能够收集足够的数据来应用性能最佳的监督方法。由于数据汇集是一项昂贵而繁琐的任务，因此在农业中使用计算机视觉的技术往往是小企业无法企及的。在此背景下，我们提出了一个初始的弱监督解决方案，以减少在精准农业应用中获得最先进的检测和分割所需的数据，在此我们改进了该系统，并探索了跟踪果园中水果的问题。我们目前的情况下，在拉齐奥南部（意大利）的葡萄葡萄园的鲜食葡萄，因为葡萄是一个很难分割的水果，由于闭塞，颜色和一般的照明条件。我们考虑的情况下，有一些初始标记的数据，可以作为源数据（\eg酿酒葡萄数据），但它是相当不同的目标数据（例如鲜食葡萄数据）。为了提高目标数据的检测和分割，我们建议用弱限界框标签训练分割算法，而对于跟踪，我们利用3D运动恢复结构算法从已经标记的样本中生成新的标签。最后，这两个系统结合在一个完整的半监督的方法。与最先进的监督解决方案的比较表明，我们的方法是如何能够训练新的模型，实现高性能的标记图像很少，非常简单的标签。
2023-01-27 cs.CV
TGRNet: A Table Graph Reconstruction Network for Table Structure Recognition
Beijing Jiaotong University（北京交通大学）；The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
表格是一种非常有效的数据结构，在商业和科学研究中得到了广泛的应用。考虑到在线和离线文档中的大规模表格数据，自动表格识别越来越受到文档分析界的关注。虽然人类可以很容易地理解表格的结构，但对于机器来说，理解这一点仍然是一个挑战，特别是由于各种不同的表格布局和风格。现有方法通常将表格建模为标记序列或不同表格单元格之间的邻接矩阵，未能解决表格单元格的逻辑位置的重要性，例如，单元格位于表格的第一行和第二列中。本文将表结构识别问题转化为表图重构问题，提出了一种用于表结构识别的端到端可训练表图重构网络（TGRNet）。具体地，所提出的方法具有两个主要分支，小区检测分支和小区逻辑位置分支，以联合预测不同小区的空间位置和逻辑位置。三个流行的表识别数据集和一个新的数据集与表图注释（TableGraph-350 K）的实验结果表明，所提出的TGRNet表结构识别的有效性。代码和注释将公开提供。
2021-08-17 cs.AI cs.CV
Design and Implementation of an OCR-Powered Pipeline for Table Extraction from Invoices
本文设计并实现了一种基于Tesseract OCR的流水线，通过动态预处理、表格边界检测和行列映射，从扫描发票中高效提取结构化表格数据，显著提升准确性与一致性，适用于自动化财务和数字归档。
2025-07-09 cs.AI cs.CV
