A framework for information extraction from tables in biomedical literature
University of Manchester(曼彻斯特大学);AstraZeneca plc(阿斯利康公司)
科学文献呈指数级增长,专业人员无法应付当前的出版物数量。文本挖掘在过去提供了从文本中检索和提取信息的方法,然而,这些方法大多忽略了表格和图形。在挖掘表数据方面所做的研究仍然没有一个综合的挖掘方法,可以考虑表的所有复杂性和挑战。我们的研究正在检查从临床文献中的表格中提取数字(患者数量、年龄、性别分布)和文本(不良反应)信息的方法。本文提出了一个需求分析模板和一个完整的临床领域表格信息抽取方法,包括7个步骤:(1)表格检测,(2)功能处理,(3)结构处理,(4)语义标注,(5)语用处理,(6)单元选择和(7)句法处理和抽取。根据变量、任务及其复杂性的不同,我们的方法的F度量值在82%到92%之间。
2019-02-26 cs.CL cs.CV cs.LG
Representations for Question Answering from Documents with Tables and Text
Google Research(谷歌研究院);University of Washington(华盛顿大学)
Web文档中的表是普遍存在的,可以直接用于回答Web上搜索的许多查询,从而促进了它们在问答中的集成。表格中提供的信息通常很简洁,很难用标准语言表示来解释。另一方面,表格通常出现在文本上下文中,例如描述表格的文章。使用来自项目的信息作为附加上下文可以潜在地丰富表表示。在这项工作中,我们的目标是改善问答从表中提炼表表示从周围的文本信息的基础上。我们还提出了一种有效的方法来结合文本和基于表格的预测,从完整的文档中的问答,获得显着的改进自然问题数据集。
2021-01-26 cs.CL
DiSCoMaT: Distantly Supervised Composition Extraction from Tables in Materials Science Articles
Indian Institute of Technology Delhi(印度理工学院德里分校)
针对材料科学论文表格的成分提取难题,研究者定义了新NLP任务,发布含4408个远监督表格及1475个人工标注表格的数据集,提出结合图神经网络与任务特定正则等的DISCOMAT基线,性能显著优于现有架构。
2024-01-28 cond-mat.mtrl-sci cs.CL cs.IR
Neural Metric Learning for Fast End-to-End Relation Extraction
Department of Computer Science University of Kentucky(肯塔基大学计算机科学系);Division of Biomedical Informatics Department of Internal Medicine Department of Computer Science University of Kentucky(肯塔基大学生物医学信息学部(内科学系、计算机科学系))
关系抽取(RE)是许多学科中不可缺少的信息抽取任务。RE模型通常假设命名实体识别(NER)已经在先前步骤中由另一个独立模型执行。最近在端到端RE主题下的几项努力试图通过联合建模NER和RE任务来利用任务间的相关性。这一领域的早期工作通常将任务简化为表格填充问题,其中应用涉及束搜索的额外昂贵的解码步骤以获得全局一致的单元标签。在不采用表格填充的努力中,对于NER分量,具有Viterbi解码的CRF形式的全局优化对于有竞争力的性能仍然是必要的。我们引入了一种新的神经架构,利用表结构,基于重复应用2D卷积来汇集局部依赖性和基于度量的特征,改进了最先进的技术,而不需要全局优化。我们在ADE和CoNLL 04数据集上验证了我们的模型,并证明了$\approx 1\%$的增益(F分数)超过了之前的最佳结果,训练和测试时间快了7到10倍--后者对于时间敏感的最终用户应用程序非常有利。
2019-08-27 cs.CL
Answering Numerical Reasoning Questions in Table-Text Hybrid Contents with Graph-based Encoder and Tree-based Decoder
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
在现实世界的问答场景中,表格和文本相结合的混合形式越来越受到人们的关注,其中数值推理问题是最典型和最具挑战性的问题之一。现有的方法通常采用编码器-解码器框架来表示混合内容并生成答案。然而,它不能捕捉编码器端的数值、表模式和文本信息之间的丰富关系。解码器使用一个简单的预定义的操作分类器,这是不够灵活,以处理不同的表达式的数值推理过程。针对这些问题,本文提出了一种基于\textbf{T}语言的\textbf{G}增强型\textbf{H}混合表-文本\textbf{N}数值推理模型(\textbf{RegHNT}).它将表-文本混合内容上的数字问答建模为表达式树生成任务。此外,我们提出了一种新的关系图建模方法,模型之间的对齐问题,表格和段落。我们验证了我们的模型上公开的表-文本混合QA基准(TAT-QA)。建议的RegHNT显着优于基线模型,并实现国家的最先进的结果。我们在https://github.com/lfy79001/RegHNT公开发布了源代码和数据(2022-05-05)。
2022-10-20 cs.CL
SCITAT: A Question Answering Benchmark for Scientific Tables and Text Covering Diverse Reasoning Types
Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK Research(讯飞研究院);National University of Singapore(新加坡国立大学)
针对现有科学问答数据集推理类型有限且忽视表格与文本关联的问题,提出SciTaT基准,并设计结合多种推理方法的CaR基线,在SciTaT上平均提升12.9%。
2024-12-16 cs.CL
Texts or Images? A Fine-grained Analysis on the Effectiveness of Input Representations and Models for Table Question Answering
Bosch Center for Artificial Intelligence(博世人工智能中心);Hochschule der Medien(媒体高等学校);University of Augsburg(艾格斯堡大学)
针对表格问答中文本/图像输入表示与模型的效果差异缺乏细粒度对比的问题,本文构建新基准开展受控研究,发现最优组合随设置变化,提出动态选择表格表示的FRES方法,平均性能提升10%。
2025-05-20 cs.CL
Metric-Type Identification for Multi-Level Header Numerical Tables in Scientific Papers
Tokyo Institute of Technology(东京工业大学);National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所(AIST))
在科学论文中,数值表被广泛用于表示实验结果。对于表的理解,度量类型对于区分表中的数字至关重要。我们介绍了一个新的信息抽取任务,从多层次的标题数字表的度量类型识别,并提供了一个数据集提取的科学论文组成的标题表,标题,和度量类型。然后,我们提出了两个联合学习的神经分类和生成方案,具有基于指针生成器和基于BERT的模型。我们的研究结果表明,联合模型可以处理在报头和报头外的度量类型识别问题。
2021-02-01 cs.CL
Reasoning over Hybrid Chain for Table-and-Text Open Domain QA
Langboat Technology(澜舟科技);Sun Yat-sen University(中山大学);Microsoft Research(微软研究院);Beihang University(北京航空航天大学)
表格式和文本式问答要求系统在考虑表格结构以及表格和文本之间的联系的情况下对异构信息执行推理。在本文中,我们提出了一个ChAin为中心的推理和预训练框架(CARP)。CARP利用混合链模型描述了问答中表与文本之间的显式中间推理过程。我们还提出了一种新的以链为中心的预训练方法,以增强预训练模型在识别跨模态推理过程和缓解数据稀疏问题方面的能力。该方法通过合成维基百科中的伪异构推理路径并生成相应的问题来构建大规模推理语料库。在一个大规模的表格和文本的开放领域的问答基准测试平台OTT-QA上,我们对系统进行了测试,结果表明,我们的系统达到了最先进的性能。进一步的分析表明,显式混合链提供了显着的性能改善和解释的中间推理过程,和链为中心的预训练,提高性能的链提取。
2022-01-15 cs.CL
MURRE: Multi-Hop Table Retrieval with Removal for Open-Domain Text-to-SQL
Harbin Institute of Technology(哈尔滨工业大学)
针对开放域text-to-SQL中单跳检索性能受限、现有多跳检索易引入无关表格的问题,提出带移除机制的多跳表格检索方法MURRE,通过从问题中移除已检索信息引导查找相关表格,在两个数据集上较SOTA平均提升5.7%。
2024-09-18 cs.CL
Table Retrieval May Not Necessitate Table-specific Model Design
Carnegie Mellon University(卡内基梅隆大学)
表格对于人类和机器读者来说都是一种重要的结构化数据形式,它为文本中无法或不容易找到的问题提供答案。最近的工作已经设计了特殊的模型和训练范式表相关的任务,如基于表的问答和表检索。虽然有效,但与通用文本解决方案相比,它们增加了建模和数据采集的复杂性,并模糊了哪些元素真正有益。在这项工作中,我们专注于表检索的任务,并问:“是表特定的模型设计表检索所必需的,或者可以有效地使用一个简单的基于文本的模型来实现类似的结果?首先,我们对Natural Questions数据集(NQ-table)中基于表格的部分进行了分析,发现在70%以上的情况下,结构的作用可以忽略不计。在此基础上,我们实验了基于文本的一般密集通道检索器(DPR)和使用特定于表的模型设计的专用密集表检索器(DTR)。我们发现,DPR表现良好,没有任何特定于表的设计和训练,甚至实现了优越的结果相比,DTR时,微调适当的线性化表。然后,我们用三个模块进行实验,以显式地编码表结构,即辅助行/列嵌入,硬注意掩码和基于软关系的注意偏差。然而,这些都没有产生显着的改进,这表明表检索可能不需要特定于表的模型设计。
2022-05-19 cs.CL
Map&Make: Schema Guided Text to Table Generation
Arizona State University(亚利桑那州立大学)
提出Map&Make方法,将文本分解为命题级原子陈述以提取潜在模式并填充表格,在Rotowire和Livesum数据集上显著提升了Text-to-Table生成的性能与可解释性。
2025-05-29 cs.CL
Relational Extraction on Wikipedia Tables using Convolutional and Memory Networks
University of Alberta(阿尔伯塔大学)
针对维基百科表格中的关系抽取,提出结合 CNN 与 BiLSTM 的神经模型,实验显示其性能稳定优于既有方法,并通过消融与错误分析验证各组件贡献。
2023-07-11 cs.AI cs.CL cs.IR
Crake: Causal-Enhanced Table-Filler for Question Answering over Large Scale Knowledge Base
Beijing Academy of Artificial Intelligence(北京人工智能研究院)
语义解析通过组成知识库(KB)查询来解决知识库(KB)问答(KBQA),其通常涉及节点提取(NE)和图组合(GC)以检测和连接查询中的相关节点。尽管NE和GC之间存在很强的因果关系,但以前的工作未能直接在管道中对这种因果关系进行建模,从而阻碍了子任务相关性的学习。此外,在以前的作品中,GC的序列生成过程会导致模糊性和暴露偏差,这进一步损害了准确性。在这项工作中,我们形式化的语义解析分为两个阶段。在第一阶段(图结构生成)中,我们提出了一个cabinet增强的表填充器,以克服序列建模中的问题,并学习内部因果关系。在第二阶段(关系抽取)中,提出了一种有效的波束搜索算法来扩展大规模知识库上的复杂查询。在LC-QuAD 1.0上的实验表明,我们的方法在保持时间和空间效率的同时,大大超过了以前的最先进技术(17%)。代码和模型可在https://github.com/AOZMH/Crake上获得。
2022-07-08 cs.CL
SynTQA: Synergistic Table-based Question Answering via Mixture of Text-to-SQL and E2E TQA
Nanyang Technological University(南洋理工大学);NYU Shanghai(上海纽约大学);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-南洋理工大学新加坡联合研究院);Center for Data Science, New York University(纽约大学数据科学中心)
本文提出 SynTQA 协同式表格问答方法,通过答案选择集成 Text-to-SQL 与端到端问答模型,实验表明可显著提升表格问答性能。
2024-09-29 cs.CL
UniRPG: Unified Discrete Reasoning over Table and Text as Program Generation
Harbin Institute of Technology(哈尔滨工业大学);JD AI Research(京东人工智能研究院)
需要离散推理的问答,例如,算术计算、比较和计数,在知识上是一项具有挑战性的任务。在本文中,我们提出了UniRPG,一种基于语义解析的方法,在可解释性和可扩展性方面取得了进展,可以在异构知识资源上执行统一的离散推理,即,表和文本,作为程序生成。具体地说,UniRPG由一个神经程序员和一个符号程序执行器组成,其中程序是从表和文本中提取的一组预定义的一般原子和高阶操作和参数的组合。首先,程序员通过生成操作和复制参数将问题解析为程序,然后执行器根据程序从表格和文本中得出答案。为了减轻昂贵的程序注释问题,我们设计了一个远程监督的方法,程序员学习,伪程序自动构造没有注释的派生。在TAT-QA数据集上的大量实验表明,与最先进的方法相比,UniRPG实现了巨大的改进,增强了可解释性和可扩展性,即使没有派生注释。此外,它在没有派生的文本数据集DROP上实现了有希望的性能。
2022-10-15 cs.CL
TabMCQ: A Dataset of General Knowledge Tables and Multiple-choice Questions
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究院)
我们描述了两个新的相关资源,促进建模的一般知识推理在四年级的科学考试。第一个是以表格形式收集的精选事实,第二个是一套涵盖表格中事实的大量众包选择题。通过设置众包注释任务,我们获得了问题和表格之间的隐式对齐信息。我们设想,这些资源将是有用的,不仅对研究人员的工作问题问答,而且对人们调查的各种其他应用程序,如信息抽取,问题解析,答案类型识别,词汇语义建模。
2016-02-12 cs.CL
UniRE: A Unified Label Space for Entity Relation Extraction
Shanghai Jiao Tong University(上海交通大学);ByteDance AI Lab(字节跳动人工智能实验室);East China Normal University(华东师范大学)
许多联合实体关系抽取模型为两个子任务设置两个分离的标签空间(即,实体检测和关系分类)。我们认为,这种设置可能会阻碍实体和关系之间的信息交互。在这项工作中,我们建议消除两个子任务的标签空间上的不同处理。我们模型的输入是一个包含句子中所有单词对的表格。实体和关系在表中由正方形和矩形表示。我们应用一个统一的分类器来预测每个细胞的标签,这统一了两个子任务的学习。为了测试,提出了一种有效的(但快速)近似解码器,用于从表中查找正方形和矩形。在三个基准测试(ACE04、ACE05、SciERC)上的实验表明,仅使用一半的参数,我们的模型就达到了与最佳提取器竞争的准确性,并且速度更快。
2021-07-09 cs.CL cs.LG
STable: Table Generation Framework for Encoder-Decoder Models
Snowflake(雪花公司)
类似数据库的表的输出结构,由按名称可识别的水平行和垂直列结构化的值组成,可以覆盖广泛的NLP任务。在此constatation,我们提出了一个框架,文本到表的神经模型适用于问题,如提取行项目,联合实体和关系抽取,或知识库人口。我们提出的基于置换的解码器是一种广义的顺序方法,它可以从表中的所有单元格中提取信息。训练最大化表内容在因子分解顺序的所有随机排列中的预期对数似然。在内容推理过程中,我们利用模型的能力,通过搜索可能的排序来以任何顺序生成单元格,以最大限度地提高模型的置信度,并避免其他顺序模型容易出现的大量错误积累。实验表明,该框架具有很高的实用价值,它在几个具有挑战性的数据集上建立了最先进的结果,比以前的解决方案高出15%。
2022-10-12 cs.CL cs.LG
TTQA-RS- A break-down prompting approach for Multi-hop Table-Text Question Answering with Reasoning and Summarization
University of Florida(佛罗里达大学)
本文提出TTQA-RS模型,通过分解提示、检索增强生成和表格-文本摘要,结合推理与子问题答案,在多跳表格-文本问答任务上以开源LLM取得最优性能。
2024-09-30 cs.CL cs.IR
Beyond Extraction: Contextualising Tabular Data for Efficient Summarisation by Language Models
NLP Research Team Yellow.ai(Yellow.ai公司NLP研究团队)
本研究提出一种增强RAG系统复杂表格查询准确性的方法,通过单独提取表格并拼接表头与值进行上下文丰富,结合微调Llama-2-chat模型和ChatGPT 3.5 API单次提示生成摘要,显著提升了查询精度。
2024-02-10 cs.CL cs.LG
Multi-modal Retrieval of Tables and Texts Using Tri-encoder Models
deepset
开放域抽取式问答通过首先检索候选文本,然后从这些候选文本中提取答案,在文本数据上工作得很好。然而,有些问题不能仅通过文本来回答,而是需要存储在表格中的信息。在本文中,我们提出了一种方法来检索文本和表格相关的问题,共同编码文本,表格和问题到一个单一的向量空间。为此,我们基于相关工作中的文本和表格数据集创建了一个新的多模态数据集,并比较了不同编码模式的检索性能。我们发现,Transformer模型的密集向量嵌入在六个评估数据集中的四个上优于稀疏嵌入。比较不同的密集嵌入模型,每个问题,文本和表格都有一个编码器的三编码器,与问题有一个编码器,文本和表格都有一个编码器的双编码器相比,提高了检索性能。我们将新创建的多模态数据集发布给社区,以便它可以用于训练和评估。
2021-10-19 cs.CL cs.IR
Multi-Row, Multi-Span Distant Supervision For Table+Text Question
IBM Research(IBM研究院);IIT Bombay(印度理工学院孟买分校)
针对TextTableQA中多单元格、多文本跨度匹配导致的噪声多实例训练问题,提出基于transformer的MITQA系统,通过多实例损失和课程设计应对远程监督,在两个基准数据集上取得SOTA结果。
2023-06-11 cs.AI cs.CL
Denoising Table-Text Retrieval for Open-Domain Question Answering
POSTECH(浦项科技大学);aiXplain, Inc.(aiXplain公司)
为解决表格-文本开放域问答中假阳性标签和跨表格推理证据检索困难的问题,提出DoTTeR模型,通过去噪训练集和引入表格级排序信息微调列编码器,显著提升了检索召回率与下游QA性能。
2024-03-26 cs.AI cs.CL
Automated tabulation of clinical trial results: A joint entity and relation extraction approach with transformer-based language representations
University College London(伦敦大学学院)
循证医学是医疗保健专业人员在做出决策时参考最佳证据的实践,构成了现代医疗保健的基础。然而,它依赖于劳动密集型的系统评价,领域专家必须从数千篇出版物中汇总和提取信息,主要是随机对照试验(RCT)结果,并将其纳入证据表。本文研究了自动化的证据表生成的问题分解在两个语言处理任务:\textit{named entity recognition},它确定文本中的关键实体,如药品名称,和\textit{relation extraction},映射它们的关系,将它们分离成有序的元组。我们专注于从已发表的RCT摘要报告的研究结果的句子的自动制表。作为联合提取管道的一部分,开发了两个深度神经网络模型,使用了迁移学习和基于transformer的语言表示的原理。为了训练和测试这些模型,开发了一个新的金标准语料库,包括来自六个疾病领域的近600个结果句子。这种方法表现出了显著的优势,我们的系统在多个自然语言处理任务和疾病领域表现良好,并且在训练过程中看不到的疾病领域中表现良好。此外,我们还证明了这些结果是可以通过训练我们的模型来实现的,只要训练200个例句。最终的系统是一个概念证明,证据表的生成可以是半自动化的,代表着向完全自动化的系统评价迈出了一步。
2021-12-10 cs.AI cs.CL
Deep Reader: Information extraction from Document images via relation extraction and Natural Language
TCS Research(塔塔咨询服务公司研究院);BITS Pilani(比尔拉科学技术学院皮拉尼校区)
计算机视觉领域的最新进展与最先进的神经网络已经提高了光学字符识别(OCR)的准确性。然而,单独提取字符/文本通常不足以进行相关信息抽取,因为文档还具有OCR无法捕获的视觉结构。从表格、图表、脚注、框、标题中提取信息并检索文档的相应结构化表示仍然是一项挑战,并在大量现实用例中得到应用。在本文中,我们提出了一种新的企业为基础的端到端的框架,称为DeepReader,有利于信息抽取从文档图像通过识别视觉实体和填充一个Meta关系模型在不同的实体在文档图像。模型模式允许容易理解由深度视觉模型检测到的实体的抽象以及它们之间的关系。DeepReader拥有一套最先进的视觉算法,可用于识别手写和印刷文本,消除噪音影响,识别文档类型,并检测表格,线条和盒子等视觉实体。Deep Reader将提取的实体映射到丰富的关系模式中,以便捕获文档中检测到的实体(单词,文本框,行等)之间的所有相关关系。然后,通过在关系表上编写SQL查询,可以从文档中提取相关信息和字段。基于自然语言的接口被添加到关系模式之上,使得以自然语言指定查询的非技术用户可以以最小的努力获取信息。在本文中,我们还展示了Deep Reader的许多不同功能,并报告了真实用例的结果。
2018-12-14 cs.CL cs.CV
IPED: An Implicit Perspective for Relational Triple Extraction based on Diffusion Model
Shandong University(山东大学)
本文提出基于扩散模型的关系三元组抽取框架IPED,通过块覆盖隐式填表和块去噪扩散生成模型解决冗余信息与三元组识别不完整问题,并在两个数据集上达到SOTA。
2024-02-24 cs.AI cs.CL
General Table Question Answering via Answer-Formula Joint Generation
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室);Kuaishou Technology(快手科技)
针对现有表格问答方法通用性不足的问题,提出将电子表格公式作为可执行表示,构建FormulaQA数据集和TabAF通用框架,在多个基准上取得同规模模型下的最优性能。
2025-08-31 cs.AI cs.CL
Detecting Knowledge Inconsistencies Across Text, Tables, and Knowledge Graphs
EURECOM(欧洲电信学院)
研究跨文本、表格和知识图谱的知识不一致性检测问题,提出\textsc{Kontrast}框架,通过文本到SPARQL和语言模型推理比较并分类不一致性,实验表明跨模态不一致性常见且有价值,为知识审计提供工具并建立基准。
2026-07-30 cs.AI cs.CL
CT2C-QA: Multimodal Question Answering over Chinese Text, Table and Chart
Fudan University(复旦大学);Fudan Zhangjiang Institute(复旦张江研究院)
针对现有多模态问答研究多聚焦双模态、缺乏三模态联合分析的问题,研究者构建了首个中文文本-表格-图表推理问答数据集CT²C-QA,并提出多智能体系统AED,实验显示包括GPT-4在内的现有方法仍未达该数据集基准。
2024-10-28 cs.AI cs.CL
Mixed-modality Representation Learning and Pre-training for Joint Table-and-Text Retrieval in OpenQA
Microsoft STC Asia(微软亚洲软件工程技术中心);Microsoft Research Asia(微软亚洲研究院);Beihang University(北京航空航天大学);Sun Yat-sen University(中山大学)
开放领域问答(OpenQA)提供了更全面的信息,从表格和文本资源中检索证据是必不可少的。然而,训练一个有效的密集表文本检索是困难的,由于挑战的表文本的差异和数据稀疏性问题。为了解决上述挑战,我们引入了一个优化的OpenQA表格文本检索器(OTTeR),以联合检索表格和文本证据。首先,我们提出了两种增强混合模态表示学习的机制:模态增强表征和混合模态负采样策略。其次,为了缓解数据稀疏性问题,提高整体检索能力,我们进行了以检索为中心的混合模态综合预训练。实验结果表明,OTTeR大大提高了性能的表和文本检索的OTT-QA数据集。全面分析审查了所有拟议机制的有效性。此外,配备了OTTeR,我们的OpenQA系统在下游QA任务上取得了最先进的结果,在精确匹配方面比之前的最佳系统绝对提高了10.1%。所有的代码和数据都可以在https://github.com/Jun-jie-Huang/OTTeR上找到。
2022-10-11 cs.AI cs.CL cs.IR
gTBLS: Generating Tables from Text by Conditional Question Answering
Georgia Institute of Technology(佐治亚理工学院)
本文提出两阶段方法 gTBLS,通过推断表格结构并利用条件问答微调因果语言模型生成表格,支持零样本配置,在多个数据集上显著优于先前方法。
2024-03-21 cs.CL cs.IR cs.LG
Deep Structured Feature Networks for Table Detection and Tabular Data Extraction from Scanned Financial Document Images
PDF文档中的表格自动检测已经取得了巨大的成功,但由于检测到的表格区域的完整性和噪声问题,表格数据提取仍然具有挑战性。准确的数据提取在金融领域是非常关键的。受此启发,本研究的目的是提出一个自动化的表格检测和表格数据提取从金融PDF文档。提出了一种基于特征金字塔网络(FPN)的快速R-CNN(Region-based Convolutional Neural Network,区域卷积神经网络)模型检测表格区域,基于光学字符识别(OCR)的复合版面分割技术提取内容和结构,以及建立正则表达式规则进行表格标题分割的方法。表格数据提取功能嵌入了基于规则的过滤和重组功能,具有高度可扩展性。我们为实验用表格区域注释了一个新的Financial Documents数据集。检测模型的优秀表检测性能是从我们定制的数据集获得的。本文的主要贡献是提出了具有表区域注释的Financial Documents数据集,优越的检测模型和基于规则的布局分割技术,用于从PDF文件中提取表格数据。
2022-05-23 cs.CL
Open Tabular Insight Extraction: Where Do We Stand, and Where Should We Go?
Centrum Wiskunde & Informatica(数学与计算机科学研究中心);University of Amsterdam(阿姆斯特丹大学)
本文提出开放表格洞察提取(OpenTI)框架,整合多社区术语,系统回顾现有系统与基准,指出其未覆盖端到端范围且不适于开放评估,并提炼研究议程以推动该领域发展。
2026-10-14 cs.AI cs.CL cs.DB
Text-Tuple-Table: Towards Information Integration in Text-to-Table Generation via Global Tuple Extraction
HKUST(香港科技大学);Fudan University(复旦大学)
针对文本到表格生成缺乏信息整合基准与方法的问题,本文构建 LiveSum 数据集,并提出无需训练的 $T^3$ 全局元组抽取流水线,显著提升 LLM 的跨数据集表现。
2024-12-05 cs.CL
RTF: Region-based Table Filling Method for Relational Triple Extraction
School of Computer Science and Engineering(计算机科学与工程学院);Northeastern University(东北大学)
针对关系三元组抽取中局部空间依赖被忽略的问题,提出 RTF,通过区域标注、双向解码、卷积表格表示和关系分数共享实现 SOTA 性能。
2024-06-13 cs.CL
A Novel Global Feature-Oriented Relational Triple Extraction Model based on Table Filling
Northeastern University(东北大学)
基于表格填充的关系三元组抽取方法由于其良好的性能和从复杂句子中抽取三元组的能力而引起了越来越多的研究兴趣。然而,这类方法远未发挥其全部潜力,因为大多数方法只注重使用局部特征,而忽略了关系和标记对的全局关联,这增加了在三元组提取过程中忽略某些重要信息的可能性。为了克服这一缺陷,我们提出了一个面向全局特征的三元组抽取模型,充分利用了上述两种全局关联。具体来说,我们首先为每个关系生成一个表特征。然后从生成的表特征中挖掘出两种全局关联。接下来,将挖掘出的全局关联集成到每个关系的表特征中。这个“生成-挖掘-集成”过程被多次执行,以便逐步细化每个关系的表特征。最后,基于每个关系的细化表特征填充其表,并且基于其填充的表提取链接到该关系的所有三元组。我们在三个基准数据集上评估了所提出的模型。实验结果表明,我们的模型是有效的,它实现了所有这些数据集上的最先进的结果。我们工作的源代码可以在https://github.com/neukg/GRTE上找到。
2021-09-14 cs.AI cs.CL
Graph Reasoning with Context-Aware Linearization for Interpretable Fact Extraction and Verification
Imperial College London(帝国理工学院);J.P. Morgan AI Research(摩根大通人工智能研究院)
本文提出了一个端到端的系统,使用文本和表格证据进行事实提取和验证,我们在FEVEROUS数据集上演示了该系统的性能。我们实验了两个多任务学习范式,以联合训练一个图注意力网络的任务的证据提取和准确性预测,以及一个单一的目标图模型,单独学习准确性预测和单独的证据提取。在这两种情况下,我们采用了一个框架,每个细胞线性化的表格证据,从而使我们能够从表中的序列处理证据。我们用于线性化表的模板捕获上下文以及表数据的内容。我们还提供了一个案例研究,以显示我们的方法的可解释性。我们性能最好的系统在盲态测试数据上实现了0.23的FEVEROUS评分和53%的标签准确度。
2021-09-25 cs.CL
Spatial ModernBERT: Spatial-Aware Transformer for Table and Key-Value Extraction in Financial Documents at Scale
Javis AI Team(Javis AI 团队)
本文提出 Spatial ModernBERT 模型,通过引入空间嵌入并采用三头 token 分类及 B-I-IB 后处理方法,实现了大规模金融文档中表格与键值对的高精度提取。
2025-07-09 cs.CL
Explicit Interaction Network for Aspect Sentiment Triplet Extraction
Peking University(北京大学)
体情感三元组提取(ASTE)的目的是识别目标,他们的情感极性和意见解释的情感从一个句子。ASTE可以自然地分为3个原子子任务,即目标检测、观点检测和情感分类。我们认为,适当的子任务组合,成分特征提取的目标意见对,和子任务之间的互动将是成功的关键。然而,以前的工作,可能会失败的“一对多”或“多对一”的情况下,或获得不存在的情绪三元组由于有缺陷的子任务制定,次优的功能表示或缺乏子任务的相互作用。本文将ASTE分为目标-观点联合检测和情感分类两个符合人类认知的子任务,并分别采用序列编码器和表格编码器进行处理。表格编码器在标记对级别提取情感,以便可以容易地捕获目标和观点之间的组合特征。为了建立子任务之间的显式交互,我们利用表表示来指导序列编码,并将序列特征注入到表编码器中。实验表明,我们的模型在六个流行的ASTE数据集上的性能优于最先进的方法。
2021-11-17 cs.CL
Self-Ensembling Vision-Language Models for Chart Data Extraction
Computational Health Informatics Program, Boston Children’s Hospital & Harvard Medical School(波士顿儿童医院计算健康信息学项目及哈佛医学院)
提出一种自集成方法,通过多次采样同一VLM的输出并聚合表格单元格,提升图表数据提取的准确性,并引入新基准WB-ChartExtract。
2026-05-26 cs.CL
Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction
University of Chinese Academy of Sciences(中国科学院大学);Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所信息处理实验室)
针对大语言模型提取信息混乱无条理的问题,提出双语基准AOE,含三领域11项任务,要求模型生成适配查询的上下文特定模式来将碎片化信息重构为表格,评估显示前沿模型仍表现不佳。
2026-11-04 cs.CL
CTE: A Dataset for Contextualized Table Extraction
Dipartimento di Ingegneria dell’Informazione (DINFO) Università degli studi di Firenze(佛罗伦萨大学信息工程系)
文件中的相关信息通常以表格形式概括,帮助读者识别有用的事实。大多数基准数据集支持文档布局分析或表格理解,但缺乏以统一的方式应用这两项任务的数据。我们定义了上下文化表提取(CTE)的任务,其目的是提取和定义表的结构,考虑到文档的文本上下文。该数据集包含75 k页完整注释的科学论文,包括超过35 k个表格。数据从PubMed Central收集,合并了PubTables-1 M和PubLayNet数据集中注释提供的信息。该数据集可以支持CTE并向原始类添加新类。生成的注释可用于开发各种任务的端到端管道,包括文档布局分析、表格检测、结构识别和功能分析。我们正式定义CTE和评估指标,显示哪些子任务可以解决,描述的优势,局限性,以及未来的工作,这个数据集。注释和代码可通过https://github.com/AILab-UniFI/cte-dataset访问。
2023-02-13 cs.CL cs.CV
PulseBench-Tab: A Multilingual Benchmark for Table Extraction with Graph-Based Evaluation
Pulse AI;Georgia Institute of Technology(佐治亚理工学院);S&P Global, Enterprise Data Organization(S&P全球企业数据部门)
提出包含9种语言、1820个标注表格的多语言基准PulseBench-Tab,并设计基于单元格邻接有向图的新评估指标T-LAG,通过最优二分匹配统一衡量结构和内容保真度。
2026-04-21 cs.CL cs.IR
A Scalable Framework for Table of Contents Extraction from Complex ESG Annual Reports
University of Warwick(华威大学);The Alan Turing Institute(艾伦·图灵研究所)
本文提出基于构建-建模-修改(CMM)流程的可扩展目录提取框架,并发布含1,093份ESG年报的ESGDoc数据集,以更少运行时间超越此前最先进基线。
2023-10-27 cs.CL
TableZa -- A classical Computer Vision approach to Tabular Extraction
Synechron Innovation Lab(Synechron创新实验室)
计算机辅助表格数据提取一直是一个非常具有挑战性和容易出错的任务,因为它要求数据的光谱和空间健全性。在本文中,我们讨论了一种方法,表格数据提取领域的文件理解。鉴于不同种类的表格格式,经常发现在各种文件,我们讨论了一种新的方法,使用计算机视觉提取表格数据从图像或矢量PDF(S)转换为图像(S)。
2021-05-19 cs.CL cs.CV cs.IR
MaTableGPT: GPT-based Table Data Extractor from Materials Science Literature
Korea Institute of Science and Technology(韩国科学技术研究院);Korea University(高丽大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文提出基于GPT的材料科学文献表格提取器MaTableGPT,通过表格表示、拆分及幻觉过滤策略,在水分解催化文献中实现96.8%的提取F1分数,并证明少样本方法在准确率与成本间最为均衡。
2024-06-08 cs.CL
TASER: Table Agents for Schema-guided Extraction and Recommendation
J.P. Morgan AI Research(摩根大通人工智能研究)
TASER 是一种持续学习的表格提取与推荐系统,通过模式引导提升复杂表格数据的提取效率和准确性。
2026-02-23 cs.AI cs.CL cs.IR
All Data on the Table: Novel Dataset and Benchmark for Cross-Modality Scientific Information Extraction
Nankai University(南开大学);Tokyo Institute of Technology(东京工业大学);Microsoft Research Asia(微软亚洲研究院);Beijing Academy of Artificial Intelligence (BAAI)(北京人工智能研究院(BAAI))
针对现有科学信息抽取数据集多为单模态、仅覆盖论文特定部分的问题,该研究提出半监督迭代标注流水线,发布跨模态SciIE基准、大规模语料库及标注工具,并验证了方法有效性与大模型的任务潜力。
2023-12-18 cs.CL
PLOG: Table-to-Logic Pretraining for Logical Table-to-Text Generation
Tokyo Institute of Technology(东京工业大学);Microsoft Research(微软研究院)
逻辑表到文本生成是一项涉及从表中生成逻辑上忠实的句子的任务,这需要模型通过逻辑推理从表记录中导出逻辑级事实。它对表到文本模型的逻辑级内容规划提出了新的挑战。然而,由于自然语言的模糊性和并行数据的稀缺性,直接从表-文本对中学习逻辑推理知识对于神经模型来说是非常困难的。因此,即使是大规模的预先训练的语言模型也会在逻辑表到文本上表现出低逻辑保真度。在这项工作中,我们提出了一个PLOG(预训练逻辑形式生成器)框架,以提高生成保真度。具体来说,PLOG首先在表到逻辑表单生成(表到逻辑)任务上进行预训练,然后在下游表到文本任务上进行微调。逻辑形式的形式化定义使我们能够在不需要人工标注的情况下从表格中收集大量准确的逻辑形式。此外,PLOG可以从表逻辑对学习逻辑推理比表文本对更明确。为了评估我们的模型,我们进一步收集了一个基于现有数据集的受控逻辑表到文本数据集CONTINUS。在两个基准测试LOGICNLG和CONTRACTOR上,PLOG在逻辑保真度上大幅优于强基线,证明了表到逻辑预训练的有效性。
2022-10-26 cs.CL
TableFormer: Robust Transformer Modeling for Table-Text Encoding
Georgia Institute of Technology(佐治亚理工学院);Google Assistant(谷歌助手)
表格理解是自然语言理解的一个重要方面。现有的表格理解模型需要表格结构的线性化,其中行或列顺序被编码为不必要的偏差。这种虚假的偏见使模型容易受到行和列顺序扰动。此外,以前的工作没有彻底建模的表结构或表文本对齐,阻碍了表文本的理解能力。在这项工作中,我们提出了一个强大的和结构感知的表格文本编码架构TableFormer,表格结构偏见完全通过学习的注意力偏见。TableFormer(1)严格不改变行和列的顺序,(2)由于其表格归纳偏差,可以更好地理解表格。我们的评估表明,TableFormer在SQA,WTQ和TabFact表推理数据集的所有设置中均优于强基线,并在SQA上实现了最先进的性能,特别是在面对答案不变的行和列顺序扰动时(比最佳基线提高6%),因为以前的SOTA模型在面对此类扰动时性能下降4% - 6%,而TableFormer不受影响。
2022-05-03 cs.CL
Extraction of evidence tables from abstracts of randomized clinical trials using a maximum entropy classifier and global constraints
University College London(伦敦大学学院)
在循证医学中,系统地使用已发表的随机临床试验结果越来越重要。为了整理和分析潜在的大量试验的结果,证据表用于表示与一组感兴趣的干预措施有关的试验。证据表包含患者组、每种比较的干预措施、比较标准(例如,治疗5年后存活的比例)和每种结果的列。目前,阅读每一篇发表的论文并提取证据表中每个领域的信息是一项劳动密集型活动。已经有一些NLP研究调查如何从论文中提取一些特征,或者至少识别相关的句子。然而,缺乏一个NLP系统来系统地提取证据表所需的每一项信息。我们解决这个问题的最大熵分类器的组合,整数线性规划。我们使用后者来处理约束,什么是一个可接受的分类的特征提取。通过实验结果,我们证明了使用全局约束(例如描述患者组和干预措施的特征必须在描述比较结果的特征之前发生)的实质性优势。
2015-09-17 cs.AI cs.CL
When Tables Go Crazy: Evaluating Multimodal Models on French Financial Documents
Inria Paris(巴黎国家信息与自动化研究所);Sorbonne Université(索邦大学)
提出Scribe Finance基准,评估多模态模型在法语金融文档上的文本、表格、图表及多轮对话理解能力,发现模型在图表和多轮对话中表现脆弱。
2026-06-17 cs.CL
Knowledge in Triples for LLMs: Enhancing Table QA Accuracy with Semantic Extraction
针对传统方法难以处理半结构化表格语义的问题,提出从表格提取三元组结合RAG增强微调GPT-3.5-turbo-0125的方法,在FeTaQA数据集上多项指标优于基线,提升表格问答效果。
2024-10-29 cs.CL cs.IR