Structured information is an important knowledge source for automatic verification of factual claims. Nevertheless, the majority of existing research into this task has focused on textual data, and the few recent inquiries into structured data have been for the closed-domain setting where appropriate evidence for each claim is assumed to have already been retrieved. In this paper, we investigate verification over structured data in the open-domain setting, introducing a joint reranking-and-verification model which fuses evidence documents in the verification component. Our open-domain model achieves performance comparable to the closed-domain state-of-the-art on the TabFact dataset, and demonstrates performance gains from the inclusion of multiple tables as well as a significant improvement over a heuristic retrieval baseline.
Article Reranking by Memory-Enhanced Key Sentence Matching for Detecting Previously Fact-Checked Claims
University of Chinese Academy of Sciences（中国科学院大学）；Key Lab of Data Engineering and Knowledge Engineering, Renmin University of China（中国人民大学数据工程与知识工程重点实验室）
之前经过事实核查的虚假声明仍然可以在社交媒体上传播。为了减缓其持续蔓延，检测先前经过事实核查的说法是必不可少的。给定一个声明，现有的工作集中于通过对BM 25检索到的候选事实检查文章（FC-文章）进行重新排序来提供检测的证据。然而，这些性能可能是有限的，因为它们忽略了FC-文章的以下特征：（1）经常引用声明来描述检查的事件，提供语义之外的词汇信息;（2）用于引入或揭穿声明的句子模板在文章中很常见，提供模式信息。忽略这两个方面的模型只利用语义相关性，可能会被描述相似但不相关事件的句子误导。在本文中，我们提出了一种新的reranker，MTM（记忆增强的Transformers for Matching）排名FC文章使用的事件（词汇和语义）和模式信息选择的关键句。对于事件信息，我们提出了一个ROUGE引导的Transformer，它是用ROUGE回归进行微调的。对于模式信息，我们生成用于与句子匹配的模式向量。通过融合事件和模式信息，我们选择关键句来代表一篇文章，然后预测文章是否使用声明，关键句和模式对给定的声明进行事实检查。在两个真实数据集上的实验表明，MTM优于现有的方法。人工评估证明，MTM可以捕捉关键句子进行解释。代码和数据集位于https://github.com/ICTMCG/MTM。
Document-Level Tabular Numerical Cross-Checking: A Coarse-to-Fine Approach
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所智能信息处理重点实验室）；Beijing PAI Technology Ltd（北京PAI技术有限公司）
ChartCheck: Explainable Fact-Checking over Real-World Chart Images
King’s College London（伦敦国王学院）；University of Utah（犹他大学）；University of Pennsylvania（宾夕法尼亚大学）；TIB – Leibniz Information Centre for Science and Technology（莱布尼茨科学与技术信息中心（TIB））
PASTA: Table-Operations Aware Fact Verification via Sentence-Table Cloze Pre-training
Renmin University of China（中国人民大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
事实验证最近吸引了大量的研究关注，例如，在新闻业、市场营销和政策制定方面，网上的错误信息和虚假信息可以动摇一个人的观点，影响一个人的行动。虽然事实核查通常是一项艰巨的任务，但在许多情况下，虚假陈述可以很容易地根据对具有可靠信息的表格的分析来揭穿。因此，基于表格的事实验证最近已经成为一个重要的和不断增长的研究领域。然而，由于缺乏可用于预训练语言模型（LM）以了解常见表操作（例如聚合列或比较元组）的数据集，因此进展有限。为了弥补这一差距，在本文中，我们介绍了PASTA，一个新的国家的最先进的框架，基于表格的事实验证通过预训练与合成的表格完形填空题。特别是，我们设计了六种类型的常见的表完形填空任务，包括过滤，聚合，最高级，比较，顺序，和唯一的，基于此，我们合成了一个大型语料库，由120万个表对从WikiTables。PASTA使用最近预训练的LM DeBERTaV 3，并在我们的语料库上进一步预训练它。我们的实验结果表明，PASTA实现了新的国家的最先进的性能基于表的事实验证基准：TabFact和SEM-TAB-FACTS。特别是，在包含多个操作的TabFact复杂集上，PASTA的表现大大优于先前的最新技术水平4.7分（85.6% vs. 80.9%），并且PASTA和人类在小型TabFact测试集上的表现之间的差距缩小到仅1.5分（90.6% vs. 92.1%）。
ClimateViz: A Benchmark for Statistical Reasoning and Fact Verification on Scientific Charts
University of Oxford（牛津大学）；Qilu University of Technology(Shandong Academy of Sciences)（齐鲁工业大学（山东科学院））；Hong Kong University of Science and Technology（香港科学大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科学大学（广州））
