FACTS: Table Summarization via Offline Template Generation with Agentic Workflows
McGill University(麦吉尔大学);Mila - Quebec AI Institute(魁北克人工智能研究所);RBC Borealis
FACTS通过离线模板生成实现高效、准确且隐私合规的表格摘要,优于现有方法,适用于实际查询需求。
2026-04-17 cs.CL
MaTableGPT: GPT-based Table Data Extractor from Materials Science Literature
Korea Institute of Science and Technology(韩国科学技术研究院);Korea University(高丽大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文提出基于GPT的材料科学文献表格提取器MaTableGPT,通过表格表示、拆分及幻觉过滤策略,在水分解催化文献中实现96.8%的提取F1分数,并证明少样本方法在准确率与成本间最为均衡。
2024-06-08 cs.CL
SemEval-2021 Task 9: Fact Verification and Evidence Finding for Tabular Data in Scientific Documents (SEM-TAB-FACTS)
IBM Research(IBM研究院)
理解表格是一项重要且相关的任务,涉及理解表格结构以及能够比较和对比单元格内的信息。在本文中,我们通过提出一个新的数据集和任务来解决这一挑战,该任务在SemEval 2020任务9中的共享任务中实现了这一目标:科学文档中表格数据的事实验证和证据发现(SEM-TAB-FACTS)。我们的数据集包含981个手动生成的表和1980个自动生成的表,提供超过18万个声明和超过1600万个证据注释。SEM-TAB-FACTS包含两个子任务。在子任务A中,目标是确定一个陈述相对于一个表是被支持的、被反驳的还是未知的。在子任务B中,重点是确定表格中为声明提供证据的特定单元格。共有69支队伍报名参加,其中19支成功提交子任务A,12支成功提交子任务B。我们提出了我们的结果和主要发现的竞争。
2021-05-28 cs.CL
Improving Factual Accuracy of Neural Table-to-Text Output by Addressing Input Problems in ToTTo
University of Aberdeen(阿伯丁大学)
本文针对神经表格到文本模型的事实幻觉问题,人工标注 ToTTo 政治领域的 1,837 条生成文本,证明修复输入缺陷可使事实错误降低 52%–76%。
2024-04-05 cs.CL
LOOMSUM: Weaving Quantitative and Narrative Evidence for Faithful Long Text-Table Summarization
University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学)
本研究提出无需训练的LOOMSUM框架,结合Table-Grounded Faithfulness指标,在FINDSum和USTT基准上提升长文本-表格摘要的分析忠实性,显式跨模态关联可减少事实配对错误。
2026-10-14 cs.CL
TabMCQ: A Dataset of General Knowledge Tables and Multiple-choice Questions
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究院)
我们描述了两个新的相关资源,促进建模的一般知识推理在四年级的科学考试。第一个是以表格形式收集的精选事实,第二个是一套涵盖表格中事实的大量众包选择题。通过设置众包注释任务,我们获得了问题和表格之间的隐式对齐信息。我们设想,这些资源将是有用的,不仅对研究人员的工作问题问答,而且对人们调查的各种其他应用程序,如信息抽取,问题解析,答案类型识别,词汇语义建模。
2016-02-12 cs.CL
BreakingBERT@IITK at SemEval-2021 Task 9 : Statement Verification and Evidence Finding with Tables
Indian Institute of Technology Kanpur (IIT Kanpur)(印度理工学院坎普尔分校)
最近,人们对结构化数据(如表格和图形)的事实验证和预测感兴趣。为了规避任何虚假新闻事件,不仅需要有效地对结构化数据进行建模和预测,而且还需要解释这些预测。在本文中,作为SemEval-2021任务9的一部分,我们解决了表格数据的事实验证和证据发现问题。有两个子任务。给定一个表和一个语句/事实,子任务A确定该语句是否是从表格数据推断的,子任务B确定表中的哪些单元格为前一个子任务提供证据。我们对给定SemTabFact数据集的基线和最先进的方法进行了比较。我们还提出了一种新的方法CellBERT解决证据发现作为一种形式的自然语言推理任务。我们在子任务A上获得了0.69的3向F1分数,在子任务B上获得了0.65的F1分数。
2021-04-10 cs.CL
TabLib: A Dataset of 627M Tables with Context
Approximate Labs(近似实验室)
本文提出 TabLib,一个包含 6.27 亿张表格、总计 69 TiB 数据及 867B 上下文标记的大型表格数据集,旨在填补表格数据领域缺乏大规模多样化数据集的空白,其来源涵盖 GitHub 和 Common Crawl 等多种格式。
2023-10-11 cs.AI cs.CL cs.DB
FeTaQA: Free-form Table Question Answering
Yale University(耶鲁大学);The University of Hong Kong(香港大学);Salesforce Research(赛富时研究院);Penn State University(宾夕法尼亚州立大学);Archbishop Mitty High School(米提大主教高中)
现有的表问答数据集包含大量的事实问题,主要评估系统的查询和模式理解能力,但由于相关的简短形式的答案的约束,它们不能包括需要复杂的推理和信息集成的问题。为了解决这些问题并展示表格问答的全部挑战,我们引入了FeTaQA,这是一个新的数据集,具有10 K基于维基百科的{表格,问题,自由形式的答案,支持表格单元格}对。FeTaQA产生更具挑战性的表格问答设置,因为它需要在从结构化知识源检索、推理和整合多个不连续事实后生成自由形式的文本答案。与文本生成QA的数据集不同,其中答案普遍存在于来自源的短文本跨度的副本中,我们数据集中的答案是人类生成的解释,涉及实体及其高级关系。我们为所提出的任务提供了两种基准方法:基于语义解析的QA系统的管道方法和基于大型预训练文本生成模型的端到端方法,并表明FeTaQA对这两种方法都构成了挑战。
2021-04-01 cs.CL
Map&Make: Schema Guided Text to Table Generation
Arizona State University(亚利桑那州立大学)
提出Map&Make方法,将文本分解为命题级原子陈述以提取潜在模式并填充表格,在Rotowire和Livesum数据集上显著提升了Text-to-Table生成的性能与可解释性。
2025-05-29 cs.CL
TabFact: A Large-scale Dataset for Table-based Fact Verification
University of California, Santa Barbara(加州大学圣巴巴拉分校);Tencent AI Lab(腾讯人工智能实验室)
根据给定的证据来验证语篇假设是否成立的问题,也称为事实验证,在自然语言理解和语义表示的研究中起着重要的作用。然而,现有的研究主要局限于处理非结构化证据(例如,自然语言句子和文档、新闻等),而在结构化证据(例如表格、图形和数据库)下的验证仍然未被充分探索。本文主要研究半结构化数据作为证据的事实验证问题。为此,我们构建了一个名为TabFact的大规模数据集,其中包含16 k个Wikipedia表作为118 k个人类注释的自然语言语句的证据,这些语句被标记为ENTANOW或REFUTED。TabFact具有挑战性,因为它涉及软语言推理和硬符号推理。为了解决这些推理挑战,我们设计了两种不同的模型:表BERT和潜在程序算法(LPA)。Table-BERT利用最先进的预训练语言模型将线性化的表和语句编码为连续向量以进行验证。LPA将语句解析为程序,并针对表执行它们,以获得返回的二进制值进行验证。这两种方法都达到了类似的准确性,但仍然远远落后于人类的表现。我们还进行全面的分析,以展示未来的巨大机会。数据集的数据和代码见\url{https://github.com/wenhuchen/Table-Fact-Checking}。
2020-06-14 cs.AI cs.CL
PASTA: Table-Operations Aware Fact Verification via Sentence-Table Cloze Pre-training
Renmin University of China(中国人民大学);Qatar Computing Research Institute(卡塔尔计算研究所);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
事实验证最近吸引了大量的研究关注,例如,在新闻业、市场营销和政策制定方面,网上的错误信息和虚假信息可以动摇一个人的观点,影响一个人的行动。虽然事实核查通常是一项艰巨的任务,但在许多情况下,虚假陈述可以很容易地根据对具有可靠信息的表格的分析来揭穿。因此,基于表格的事实验证最近已经成为一个重要的和不断增长的研究领域。然而,由于缺乏可用于预训练语言模型(LM)以了解常见表操作(例如聚合列或比较元组)的数据集,因此进展有限。为了弥补这一差距,在本文中,我们介绍了PASTA,一个新的国家的最先进的框架,基于表格的事实验证通过预训练与合成的表格完形填空题。特别是,我们设计了六种类型的常见的表完形填空任务,包括过滤,聚合,最高级,比较,顺序,和唯一的,基于此,我们合成了一个大型语料库,由120万个表对从WikiTables。PASTA使用最近预训练的LM DeBERTaV 3,并在我们的语料库上进一步预训练它。我们的实验结果表明,PASTA实现了新的国家的最先进的性能基于表的事实验证基准:TabFact和SEM-TAB-FACTS。特别是,在包含多个操作的TabFact复杂集上,PASTA的表现大大优于先前的最新技术水平4.7分(85.6% vs. 80.9%),并且PASTA和人类在小型TabFact测试集上的表现之间的差距缩小到仅1.5分(90.6% vs. 92.1%)。
2022-11-05 cs.AI cs.CL cs.LG
Logic-level Evidence Retrieval and Graph-based Verification Network for Table-based Fact Verification
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
基于表的事实验证任务的目的是验证给定的半结构化表是否支持给定的语句。符号推理与逻辑运算在这项任务中起着至关重要的作用。现有方法利用包含丰富逻辑信息的程序来增强验证过程。然而,由于在程序生成过程中缺乏完全监督的信号,可以导出和使用虚假程序,这导致模型无法捕获有用的逻辑运算。为了解决上述问题,在这项工作中,我们制定了基于表的事实验证任务作为证据检索和推理框架,提出了逻辑级证据检索和基于图的验证网络(LERGV)。具体来说,我们首先从给定的表和语句中检索逻辑级程序类证据作为表的补充证据。在此基础上,构建逻辑级图来捕捉检索到的证据中实体和函数之间的逻辑关系,并设计基于图的验证网络,在所构建的图的基础上进行逻辑级图推理,对最终的蕴涵关系进行分类。在大规模基准测试系统TABBACT上的实验结果表明了该方法的有效性。
2021-09-14 cs.AI cs.CL
Table-based Fact Verification with Salience-aware Learning
University of Southern California(南加州大学)
表格提供了可用于验证文本语句的有价值的知识。虽然一些作品已经考虑了基于表格的事实验证,但表格数据与文本语句中的标记的直接对齐很少可用。此外,训练一个广义的事实验证模型需要大量的标记训练数据。在本文中,我们提出了一个新的系统来解决这些问题。受反事实因果关系的启发,我们的系统通过基于探测的显著性估计来识别语句中的标记级显著性。显著性估计允许从两个角度增强对事实验证的学习。从一个角度来看,我们的系统进行掩蔽的显着标记预测,以增强表和语句之间的对齐和推理模型。从另一个角度来看,我们的系统应用显着感知数据增强,通过替换非显着术语来生成更多样化的训练实例集。TabFact上的实验结果表明,所提出的显着性感知学习技术的有效改善,导致新的SOTA性能的基准。我们的代码可在https://github.com/luka-group/Salience-aware-Learning上公开获取。
2021-09-09 cs.AI cs.CL cs.LG
T-REX: Table -- Refute or Entail eXplainer
Institut Polytechnique de Paris(巴黎政治科技学院)
针对非专家难以使用现有表格事实核查工具的问题,本文引入首个实时交互式工具T-REX,利用指令调优推理LLMs实现多模态多语言表格主张验证,以准确性和透明度赋能非专家且已在线开放。
2025-08-08 cs.AI cs.CL
Exploring Decomposition for Table-based Fact Verification
Ingenuity Labs Research Institute(Ingenuity Labs 研究所);Queen’s University(女王大学);ECE, Queen’s University(女王大学电子与计算机工程系)
基于结构化数据的事实验证具有挑战性,因为它要求模型理解在表上执行的自然语言和符号操作。尽管预训练的语言模型在验证简单语句方面表现出了强大的能力,但它们在处理涉及多个操作的复杂语句时却遇到了困难。在本文中,我们通过将复杂的语句分解为更简单的子问题来改进事实验证。利用弱监督语义解析器合成的程序,我们提出了一种程序引导的方法来构建一个伪数据集的分解模型训练。子问题,连同他们的预测答案,作为中间证据,以加强我们的事实验证模型。实验结果表明,该方法在TabFact测试中达到了82.7%的准确率.
2021-09-22 cs.AI cs.CL cs.LG
Joint Verification and Reranking for Open Fact Checking Over Tables
University of Cambridge(剑桥大学);Facebook AI Research(Facebook AI研究院);University College London(伦敦大学学院)
结构化信息是事实主张自动验证的重要知识来源。尽管如此,大多数现有的研究都集中在文本数据,最近的几次调查结构化数据已经为闭域设置,其中适当的证据,每个索赔被认为已经检索。在本文中,我们研究了结构化数据在开放域设置的验证,介绍了一个联合重新排序和验证模型,融合证据文件的验证组件。我们的开放领域模型在TabFact数据集上实现了与最先进的闭域模型相当的性能,并展示了包含多个表的性能增益以及启发式检索基线的显着改进。
2021-08-20 cs.CL cs.LG stat.ML
Table-based Fact Verification with Self-adaptive Mixture of Experts
Tsinghua University(清华大学);THiFLY Research(THiFLY研究院);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
基于表格的事实验证问题近年来得到了广泛的关注,但仍然是一个非常具有挑战性的问题。它内在地需要对自然语言的信息推理以及对表的不同数值和逻辑推理(例如,计数、最高级、比较级)。考虑到这一点,我们利用混合专家,本文提出了一种新的方法:自适应混合专家网络(SaMoE)。具体来说,我们已经开发了一个混合的专家神经网络,以识别和执行不同类型的推理-网络是由多个专家,每个处理的语义推理的特定部分,而管理模块被应用于决定每个专家网络的贡献的验证结果。提出了一种自适应的方法,使管理模块能够在不需要外部知识的情况下,更有效地结合不同专家的结果进行教学。实验结果表明,我们的框架在基准数据集TabFact上达到了85.1%的准确率,与以前的最先进的模型相当。我们希望我们的框架可以作为一个新的基线基于表的验证。我们的代码可在www.example.com上获得。
2022-04-19 cs.AI cs.CL cs.LG
Are Large Language Models Table-based Fact-Checkers?
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文探索大型语言模型在基于表格的事实验证(TFV)中的潜力,通过设计提示和指令微调实验,发现提示工程能取得可接受结果,而指令微调能显著提升TFV能力,为表格推理研究提供方向。
2024-11-13 cs.AI cs.CL cs.LG
Heterogeneous Graph Reasoning for Fact Checking over Texts and Tables
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);ByteDance Inc.(字节跳动有限公司)
本文提出HeterFC,一种基于词级异构图和关系图神经网络的事实验证模型,通过融合非结构化文本与结构化表格证据并引入多任务损失,在FEVEROUS数据集上验证了其有效性。
2024-02-20 cs.AI cs.CL
Generating Tables from the Parametric Knowledge of Language Models
Bar-Ilan University(巴伊兰大学);Tel Aviv University(特拉维夫大学)
本文提出WikiTabGen基准,评估四款LLM在三种提示方式下从参数化知识生成结构化表格的能力,发现该任务仍具挑战且GPT-4准确率最高。
2024-06-16 cs.AI cs.CL cs.DB
Tables as Texts or Images: Evaluating the Table Reasoning Ability of LLMs and MLLMs
University of Michigan(密歇根大学);University of Cambridge(剑桥大学);Westlake University(西湖大学)
本文首次系统评估LLMs在文本与图像两种表格表示下的推理能力,通过多基准比较不同提示策略和数据格式,揭示了表示方式与提示对表格任务性能的影响。
2024-10-17 cs.AI cs.CL cs.CV
GRAM: Generative Retrieval Augmented Matching of Data Schemas in the Context of Data Security
Amazon Web Services(亚马逊网络服务)
本研究在数据安全背景下,利用大语言模型在零样本和少样本场景下进行数据库模式匹配,通过仅分析极少量客户数据以保护隐私,实现了在严格安全约束下的准确属性匹配。
2024-06-04 cs.AI cs.CL cs.DB