Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models
Iowa State University（爱荷华州立大学）；Microsoft Research（微软研究院）；Tencent AI Lab（腾讯AI实验室）；University of Rhode Island（罗德岛大学）
本文提出Self-Checker框架，通过即插即用模块在几乎零样本设置下提示大语言模型进行事实核查，为低资源环境提供快速高效的事实核查系统构建方案。
2024-04-01 cs.CL
Science Checker: Extractive-Boolean Question Answering For Scientific Fact Checking
Opscidia（Opscidia公司）
随着科学出版物的爆炸式增长，使科学知识的综合和事实核查成为一项日益复杂的任务。在本文中，我们提出了一个多任务的方法来验证科学问题的基础上，联合推理的事实和证据的研究文章。我们提出了一个智能的组合（1）一个自动的信息摘要和（2）一个布尔问答，它允许生成一个答案的科学问题，从总结后获得的提取。因此，在给定的主题上，我们提出的方法基于论文摘要进行结构化内容建模，以回答科学问题，同时突出显示讨论该主题的论文中的文本。我们的最终系统基于端到端的提取问答（EQA），结合三个输出分类模型，对问题进行深入的语义理解，以说明多个响应的聚合。通过我们提出的轻巧快速的架构，我们实现了4%的平均出错率和95.6%的F1分数。我们的研究结果支持通过实验与两个QA模型（BERT，RoBERTa）超过300万开放获取（OA）的文章在医疗和健康领域的欧洲PMC。
2022-04-29 cs.AI cs.CL cs.IR
Are Large Language Models Good Fact Checkers: A Preliminary Study
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文初步评估了大型语言模型在事实核查子任务中的能力，发现其性能可与小型先进模型竞争，但在中文核查和完整流程中仍受幻觉及语言不一致问题制约。
2023-11-29 cs.CL
Automated Claim Matching with Large Language Models: Empowering Fact-Checkers in the Fight Against Misinformation
University of Southern California（南加州大学）
本研究提出FACT-GPT框架，利用大语言模型自动化事实核查中的声明匹配阶段，通过GPT-4生成训练数据微调专用模型，在公共卫生数据集上达到与大型预训练模型相当的性能，并提供公开资源。
2023-10-13 cs.CL cs.CY cs.HC
Can LLMs Automate Fact-Checking Article Writing?
MBZUAI, UAE（阿联酋马布里克人工智能研究所）；Full Fact, UK（英国Full Fact）；Newtral, Spain（西班牙Newtral）；Pagella Politica, Italy（意大利Pagella Politica）；TU Darmstadt, Germany（德国图尔恩大学）；IIT Delhi, India（印度德里印度理工学院）
本文提出QRAFT框架，通过LLM生成事实核查文章，旨在解决自动化事实核查中缺乏合理解释的问题。
2026-02-10 cs.AI cs.CL
Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Copenhagen（哥本哈根大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
本文提出多阶段事实性标注方案，并构建覆盖声明、句子和文档三层粒度的 Factcheck-Bench，用于评估自动事实核查系统。
2024-04-16 cs.CL
Exploring Decomposition for Table-based Fact Verification
Ingenuity Labs Research Institute（Ingenuity Labs 研究所）；Queen’s University（女王大学）；ECE, Queen’s University（女王大学电子与计算机工程系）
基于结构化数据的事实验证具有挑战性，因为它要求模型理解在表上执行的自然语言和符号操作。尽管预训练的语言模型在验证简单语句方面表现出了强大的能力，但它们在处理涉及多个操作的复杂语句时却遇到了困难。在本文中，我们通过将复杂的语句分解为更简单的子问题来改进事实验证。利用弱监督语义解析器合成的程序，我们提出了一种程序引导的方法来构建一个伪数据集的分解模型训练。子问题，连同他们的预测答案，作为中间证据，以加强我们的事实验证模型。实验结果表明，该方法在TabFact测试中达到了82.7%的准确率.
2021-09-22 cs.AI cs.CL cs.LG
MAPLE: Multi-Agent Adaptive Planning with Long-Term Memory for Table Reasoning
Department of Data Science & AI, Monash University（数据科学与人工智能系，墨尔本大学）
针对现有大语言模型表格推理方法缺乏错误检测、无法复用解题经验的问题，提出多智能体自适应规划框架MAPLE，在两个基准数据集上取得SOTA性能。
2025-11-16 cs.CL
The State of Human-centered NLP Technology for Fact-checking
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
错误信息通过促进对科学的不信任，改变公共卫生的叙述，加剧社会两极分化，破坏民主选举和金融市场以及无数其他社会危害来威胁现代社会。为了解决这个问题，越来越多的专业事实核查人员和记者对所谓的事实进行了高质量的调查。然而，这些主要是手工的努力一直在努力与问题的巨大规模相匹配。作为回应，越来越多的自然语言处理（NLP）技术被提出用于更可扩展的事实检查。然而，尽管这类研究取得了巨大的增长，但实际采用NLP技术进行事实检查仍然处于起步阶段。在这项工作中，我们回顾了当前NLP技术用于事实检查的能力和局限性。我们特别关注的是进一步绘制如何利用和改进这些技术的设计空间，以更好地满足人类事实核查人员的需求。为此，我们回顾了基于NLP的事实检查的关键方面：任务制定，数据集构建，建模和以人为本的策略，如可解释的模型和人在回路中的方法。接下来，我们将回顾应用基于NLP的事实检查工具来帮助人类事实检查员的有效性。我们建议未来的研究包括在NLP研究的早期与事实检查利益相关者的合作，以及在模型开发中纳入以人为本的设计实践，以进一步指导人类使用和实际采用的技术开发。最后，我们提倡更多的基准开发支持以人为本的事实检查技术的外在评价的研究。
2023-01-08 cs.AI cs.CL cs.CY
Symbolic Augmentation Closes a Canonical-Equivalence Blind Spot in Neural Fact-Checkers
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究大语言模型总结科学文本时数字和单位幻觉问题，提出将错误检测重定义为类型验证，引入分类法和基准。用符号增强训练框架，提升规范等价鲁棒性，提高准确率，还明确了符号特征及银标签在特定情况下的作用，确定训练时增强是关键集成点。
2026-07-21 cs.AI
A Generative-AI-Driven Claim Retrieval System Capable of Detecting and Retrieving Claims from Social Media Platforms in Multiple Languages
Faculty of Information Technology, Brno University of Technology（信息技术学院，布拉格技术大学）；Kempelen Institute of Intelligent Technologies（智能技术研究所）
本研究提出一种基于LLMs的声明检索方法，通过过滤无关事实核查结果并生成摘要与解释，帮助事实核查人员避免冗余验证，显著提升多语言社交媒体声明核查的效率。
2025-04-29 cs.CL
TabFact: A Large-scale Dataset for Table-based Fact Verification
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Tencent AI Lab（腾讯人工智能实验室）
根据给定的证据来验证语篇假设是否成立的问题，也称为事实验证，在自然语言理解和语义表示的研究中起着重要的作用。然而，现有的研究主要局限于处理非结构化证据（例如，自然语言句子和文档、新闻等），而在结构化证据（例如表格、图形和数据库）下的验证仍然未被充分探索。本文主要研究半结构化数据作为证据的事实验证问题。为此，我们构建了一个名为TabFact的大规模数据集，其中包含16 k个Wikipedia表作为118 k个人类注释的自然语言语句的证据，这些语句被标记为ENTANOW或REFUTED。TabFact具有挑战性，因为它涉及软语言推理和硬符号推理。为了解决这些推理挑战，我们设计了两种不同的模型：表BERT和潜在程序算法（LPA）。Table-BERT利用最先进的预训练语言模型将线性化的表和语句编码为连续向量以进行验证。LPA将语句解析为程序，并针对表执行它们，以获得返回的二进制值进行验证。这两种方法都达到了类似的准确性，但仍然远远落后于人类的表现。我们还进行全面的分析，以展示未来的巨大机会。数据集的数据和代码见\url{https://github.com/wenhuchen/Table-Fact-Checking}。
2020-06-14 cs.AI cs.CL
OpenFactCheck: Building, Benchmarking Customized Fact-Checking Systems and Evaluating the Factuality of Claims and LLMs
MBZUAI；Monash University（墨尔本大学）；Sofia University（索菲亚大学）
针对LLM输出事实性评估难、不同研究基准不统一的问题，研究提出OpenFactCheck统一框架，含定制核查、LLM评估、核查器评估三大模块，可构建定制事实核查系统并开展多维度事实性评估。
2025-10-28 cs.CL
To Err Is Human: Systematic Quantification of Errors in Published AI Papers via LLM Analysis
Together AI；NEC Labs America（NEC美国实验室）；Rutgers University（罗格斯大学）；Stanford University（斯坦福大学）
通过LLM分析发现已发表AI论文中存在大量客观错误，错误数量随时间增加，AI检查器能有效识别并纠正大部分错误，提升文献的准确性和可重复性。
2025-12-05 cs.AI cs.CL
InFi-Check: Interpretable and Fine-Grained Fact-Checking of LLMs
Tsinghua University（清华大学）；DeepLang AI；Fudan University（复旦大学）
InFi-Check通过可控数据合成和细粒度事实核查框架，提升大型语言模型事实性评估的可解释性和准确性。
2026-01-10 cs.AI cs.CL
T-REX: Table -- Refute or Entail eXplainer
Institut Polytechnique de Paris（巴黎政治科技学院）
针对非专家难以使用现有表格事实核查工具的问题，本文引入首个实时交互式工具T-REX，利用指令调优推理LLMs实现多模态多语言表格主张验证，以准确性和透明度赋能非专家且已在线开放。
2025-08-08 cs.AI cs.CL
FACTS: Table Summarization via Offline Template Generation with Agentic Workflows
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（魁北克人工智能研究所）；RBC Borealis
FACTS通过离线模板生成实现高效、准确且隐私合规的表格摘要，优于现有方法，适用于实际查询需求。
2026-04-17 cs.CL
Enhancing Health Fact-Checking with LLM-Generated Synthetic Data
Population Health Sciences, Weill Cornell Medicine（人口健康科学系，韦尔·科恩医学中心）；Donald Bren School of Information and Computer Sciences, University of California, Irvine（唐纳德·布伦信息与计算机科学学院，加州大学伊尔弗分校）
由于附加说明的训练数据有限，对与健康有关的内容进行事实核查具有挑战性。在这项研究中，我们提出了一个合成数据生成管道，利用大语言模型（LLM）来增加训练数据，用于健康相关的事实检查。在这个管道中，我们总结源文档，将摘要分解为原子事实，并使用LLM来构建数据事实蕴涵表。从表中的蕴涵关系中，我们进一步生成具有二进制准确性标签的合成文本-声明对。然后将这些合成数据与原始数据相结合，以微调基于BERT的事实检查模型。对两个公共数据集PubHealth和SciFact的评估表明，与仅在原始数据上训练的模型相比，我们的管道将F1得分分别提高了0.019和0.049。这些结果突出了LLM驱动的合成数据增强在提高健康相关的事实检查的性能的有效性。
2025-08-28 cs.AI
Heterogeneous Graph Reasoning for Fact Checking over Texts and Tables
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；ByteDance Inc.（字节跳动有限公司）
本文提出HeterFC，一种基于词级异构图和关系图神经网络的事实验证模型，通过融合非结构化文本与结构化表格证据并引入多任务损失，在FEVEROUS数据集上验证了其有效性。
2024-02-20 cs.AI cs.CL
ProofSketcher: Hybrid LLM + Lightweight Proof Checker for Reliable Math/Logic Reasoning
Amazon Web Services, Inc（亚马逊云科技）
本文提出混合方法，结合LLM生成类型化证明草图与轻量级可信内核，以提升数学逻辑推理的可靠性。
2026-04-07 cs.AI cs.CE cs.CV
Phonetic based SoundEx & ShapeEx algorithm for Sindhi Spell Checker System
Institute of Information and Communication Technology, University of Sindh（信德大学信息与通信技术研究所）；Department of Computer Science, Sukkur Institute of Business Administration（苏库尔工商管理学院计算机科学系）
本文提出了一种新的组合语音算法的信德语，用于开发信德语拼写尚未开发之前，这项工作。信德语的复合文本形式和字形对开发信德语拼写检查系统和生成类似的拼写错误单词建议列表提出了很大的挑战。为了实现这样的系统，必须考虑基于语音的信德语规则和模式，以提高准确性和效率。所提出的系统开发与语音之间的混合基于SoundEx算法和ShapeEx算法的模式或匹配，生成准确和高效的建议列表不正确或拼写错误的信德字。还生成了用于SoundEx算法的发音相似的Sindhi字符的表，以及包含用于ShapeEx算法的基于相似字符或形状的字符组的另一个表。这两个都是有史以来第一次尝试任何这种类型的分类和表示信德语。
2014-05-13 cs.CL
Talking with Tables for Better LLM Factual Data Interactions
KAIST（韩国科学技术院）；Microsoft Research Asia（微软亚洲研究院）；William & Mary（威廉与玛丽学院）；SKKU
本文通过表格结构提升大语言模型在事实数据交互中的性能，展示表格在信息检索和数据操作中的有效性，并验证其在不同任务中的鲁棒性和效率。
2026-01-08 cs.AI
Generating Tables from the Parametric Knowledge of Language Models
Bar-Ilan University（巴伊兰大学）；Tel Aviv University（特拉维夫大学）
本文提出WikiTabGen基准，评估四款LLM在三种提示方式下从参数化知识生成结构化表格的能力，发现该任务仍具挑战且GPT-4准确率最高。
2024-06-16 cs.AI cs.CL cs.DB
AutoTAMP: Autoregressive Task and Motion Planning with LLMs as Translators and Checkers
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文提出AutoTAMP框架，利用大型语言模型将自然语言任务描述少样本翻译为中间任务表示，交由TAMP算法联合求解，并通过自回归重新提示纠正语法和语义错误，显著提升了复杂任务下机器人动作序列的完成率。
2024-03-22 cs.CL cs.HC cs.RO
Learning from Fact-checkers: Analysis and Generation of Fact-checking Language
Worcester Polytechnic Institute（伍斯特理工学院）
在打击假新闻的过程中，许多事实核查系统由基于人类的事实核查网站组成（例如，snopes.com和politifact.com）和自动检测系统。然而，即使已经被揭穿，在线用户仍然继续分享假新闻。这意味着早期的假新闻检测可能是不够的，我们需要另一种补充方法来减轻错误信息的传播。在本文中，我们介绍了一种用于打击假新闻的文本生成新应用。具体而言，我们（1）利用名为\emph{fact-checkers}的在线用户，他们引用事实核查网站作为公共话语中的事实核查信息的可信证据;（2）分析事实核查推文的语言特征;（3）提出并构建一个深度学习框架，以生成具有事实核查意图的响应，以增加事实核查人员对事实核查活动的参与。我们的分析表明，事实核查者倾向于反驳错误信息，并使用形式语言（例如，很少使用脏话和互联网俚语）。我们的框架成功地生成相关的响应，并通过实现高达30%的改进，优于竞争模型。我们的定性研究也证实了我们所产生的反应与现有模型产生的反应相比的优越性。
2019-10-05 cs.AI cs.CL cs.IR
Automated Fact-Checking for Assisting Human Fact-Checkers
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Full Fact（Full Fact事实核查机构）；Qatar University（卡塔尔大学）；Università di Bologna（博洛尼亚大学）；EURECOM（欧洲通信学院）；University of Padova（帕多瓦大学）
对全球时事的报道和分析已经从专业的、编辑主导的新闻一直扩展到公民新闻。如今，政治家和其他关键人物可以通过社交媒体直接存取他们的受众，绕过官方电缆或传统媒体的过滤器。然而，滥用媒体传播不准确或误导性的说法，使言论自由和直接沟通的多重优势变得暗淡。这些现象导致了事实核查员的现代化身-这是一种专业人员，其主要目的是利用现有证据审查各种说法，并评估其真实性。与其他文本取证任务一样，可用的信息量使得事实检查器的工作更加困难。考虑到这一点，从专业事实检查员的角度出发，我们调查了可用的智能技术，可以支持人类专家在事实检查工作的不同步骤。这些包括识别值得事实核查的索赔，检测相关的先前事实核查的索赔，检索相关证据以事实核查索赔，以及实际核实索赔。在每一种情况下，我们都关注未来工作中的挑战以及对现实世界事实核查的潜在影响。
2021-05-22 cs.AI cs.CL cs.CR
Human-centered NLP Fact-checking: Co-Designing with Fact-checkers using Matchmaking for AI
School of Information, University of Texas at Austin（德克萨斯大学奥斯汀分校信息学院）；University of Washington（华盛顿大学）
针对NLP事实核查技术因与实践需求脱节而采用率低的问题，研究采用Matchmaking for AI协同设计方法，与22名专业核查员合作产出了11项整合核查员标准的设计创意，为以人为中心的事实核查及AI协同设计提供了新见解。
2024-10-14 cs.CL cs.CY cs.HC
Assisting the Human Fact-Checkers: Detecting All Previously Fact-Checked Claims in a Document
Cornell University（康奈尔大学）；Sofia University（索非亚大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；University of Padova（帕多瓦大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
鉴于最近网上虚假索赔的激增，有很多人工事实核查工作。由于这是非常耗时的，人类事实核查人员可以从支持他们并使他们更有效的工具中受益。在这里，我们专注于建立一个可以提供这种支持的系统。给定一个输入文档，它的目的是检测所有包含一个声明的句子，该声明可以通过一些先前经过事实检查的声明（来自给定的数据库）进行验证。输出是文档句子的重新排序列表，以便可以验证的句子以及相应的证据被尽可能高地排序。与之前研究索赔检索的工作不同，这里我们采取文档级别的视角。我们为此任务创建了一个新的手动注释数据集，并提出了合适的评估措施。我们进一步实验了一种学习排名的方法，在几个强大的基线上实现了相当大的性能增益。我们的分析证明了建模文本相似性和立场的重要性，同时也考虑到检索到的先前事实检查的索赔的准确性。我们相信，这项研究将是感兴趣的事实核查人员，记者，媒体和监管机构。
2022-11-15 cs.AI cs.CL cs.CY
Empowering the Fact-checkers! Automatic Identification of Claim Spans on Twitter
IIIT Delhi（德里英迪拉·甘地信息技术学院）；IIT Delhi（德里印度理工学院）
2019冠状病毒病（COVID-19）后，医疗和政治主张的广泛传播导致错误信息和假新闻大量增加。目前的时尚是使用人工事实检查器来有效地对这些数据进行分类和验证，以对抗这种雪崩式的索赔错误信息。然而，信息传播的速度远远超过了事实核查人员的力量。因此，为了帮助手动事实检查器消除多余的内容，自动识别和提取帖子中存在的有价值的（错误）信息片段变得至关重要。在这项工作中，我们介绍了索赔跨度识别（CSI）的新任务。我们提出了CURT，一个大规模的Twitter语料库与令牌级索赔跨度超过7.5K的推文。此外，除了标准的令牌分类基线外，我们还使用DABERTa对我们的数据集进行了基准测试，DABERTa是RoBERTa的一种基于适配器的变体。实验结果证明，DABERTa在几个评估指标上优于基线系统，提高了约1.5个点。我们还报告了详细的误差分析，以验证模型的性能以及消融研究。最后，我们发布了全面的span注释指南供公众使用。
2022-10-11 cs.CL
Can Community Notes Replace Professional Fact-Checkers?
University of Copenhagen（哥本哈根大学）
本研究通过语言模型标注大量社区注释，发现其引用事实核查来源的频率远超以往报道，表明社区审核与专业事实核查深度依赖，社区注释无法取代专业事实核查。
2025-05-27 cs.AI cs.CL
GenAI vs. Human Fact-Checkers: Accurate Ratings, Flawed Rationales
Penn State University（宾夕法尼亚州立大学）；University of Pittsburgh（匹兹堡大学）
本研究评估多个GenAI模型在信息可信度评级任务中的表现，发现GPT-4o最优但推理依赖语言特征，摘要输入可提升效率，警示不能完全依赖AI。
2025-02-25 cs.AI cs.CL
PASTA: Table-Operations Aware Fact Verification via Sentence-Table Cloze Pre-training
Renmin University of China（中国人民大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
事实验证最近吸引了大量的研究关注，例如，在新闻业、市场营销和政策制定方面，网上的错误信息和虚假信息可以动摇一个人的观点，影响一个人的行动。虽然事实核查通常是一项艰巨的任务，但在许多情况下，虚假陈述可以很容易地根据对具有可靠信息的表格的分析来揭穿。因此，基于表格的事实验证最近已经成为一个重要的和不断增长的研究领域。然而，由于缺乏可用于预训练语言模型（LM）以了解常见表操作（例如聚合列或比较元组）的数据集，因此进展有限。为了弥补这一差距，在本文中，我们介绍了PASTA，一个新的国家的最先进的框架，基于表格的事实验证通过预训练与合成的表格完形填空题。特别是，我们设计了六种类型的常见的表完形填空任务，包括过滤，聚合，最高级，比较，顺序，和唯一的，基于此，我们合成了一个大型语料库，由120万个表对从WikiTables。PASTA使用最近预训练的LM DeBERTaV 3，并在我们的语料库上进一步预训练它。我们的实验结果表明，PASTA实现了新的国家的最先进的性能基于表的事实验证基准：TabFact和SEM-TAB-FACTS。特别是，在包含多个操作的TabFact复杂集上，PASTA的表现大大优于先前的最新技术水平4.7分（85.6% vs. 80.9%），并且PASTA和人类在小型TabFact测试集上的表现之间的差距缩小到仅1.5分（90.6% vs. 92.1%）。
2022-11-05 cs.AI cs.CL cs.LG
Synthetic Disinformation Attacks on Automated Fact Verification Systems
Stanford University（斯坦福大学）；EPFL（洛桑联邦理工学院）
自动事实核查是一项必要的技术，以减少网上错误信息的传播。一个目前的框架，这样的解决方案提出，以验证索赔检索支持或反驳证据，从相关的文本来源。然而，事实检查器的现实用例将需要根据可能受到相同错误信息影响的证据来源来验证声明。此外，现代NLP工具的开发可以产生连贯的、捏造的内容，这将允许恶意行为者系统地为事实核查人员生成对抗性的虚假信息。在这项工作中，我们探索了自动事实检查器在两种模拟环境中对合成对抗性证据的敏感性：AdversarialAddition，我们制作文档并将其添加到事实检查系统可用的证据库中，以及AdversarialModification，存储库中现有的证据源文档被自动更改。我们在三个基准测试中对多个模型的研究表明，这些系统在面对这些攻击时会遭受显着的性能下降。最后，我们讨论了现代NLG系统作为虚假信息生成器的日益增长的威胁，以及它们对自动事实检查器构成的挑战。
2022-02-18 cs.CL
Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output
Uniphore Software Systems Pvt. Ltd（Uniphore软件系统私人有限公司）
本文提出一种基于紧凑开源自然语言推理模型的轻量级事实核查方法，通过计算事实性分数检测 RAG 输出的非事实内容，无需微调 LLM，并能追溯幻觉来源，在多个数据集上取得高 AUC。
2024-11-01 cs.CL
Table-based Fact Verification with Salience-aware Learning
University of Southern California（南加州大学）
表格提供了可用于验证文本语句的有价值的知识。虽然一些作品已经考虑了基于表格的事实验证，但表格数据与文本语句中的标记的直接对齐很少可用。此外，训练一个广义的事实验证模型需要大量的标记训练数据。在本文中，我们提出了一个新的系统来解决这些问题。受反事实因果关系的启发，我们的系统通过基于探测的显著性估计来识别语句中的标记级显著性。显著性估计允许从两个角度增强对事实验证的学习。从一个角度来看，我们的系统进行掩蔽的显着标记预测，以增强表和语句之间的对齐和推理模型。从另一个角度来看，我们的系统应用显着感知数据增强，通过替换非显着术语来生成更多样化的训练实例集。TabFact上的实验结果表明，所提出的显着性感知学习技术的有效改善，导致新的SOTA性能的基准。我们的代码可在https://github.com/luka-group/Salience-aware-Learning上公开获取。
2021-09-09 cs.AI cs.CL cs.LG
No Hindsight for LLM Fact-Checkers: Measuring Leakage Channels in Misinformation Detection
Georgia Institute of Technology（佐治亚理工学院）
本研究测量LLM事实核查中的参数泄漏与事后证据泄漏，发现两者可被总体准确率掩盖，表示瓶颈能有效减少泄漏，且事后证据在AVeriTeC上虚增6.3点准确率，揭示基准测试可能高估性能。
2026-10-06 cs.CL
Table-based Fact Verification with Self-adaptive Mixture of Experts
Tsinghua University（清华大学）；THiFLY Research（THiFLY研究院）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
基于表格的事实验证问题近年来得到了广泛的关注，但仍然是一个非常具有挑战性的问题。它内在地需要对自然语言的信息推理以及对表的不同数值和逻辑推理（例如，计数、最高级、比较级）。考虑到这一点，我们利用混合专家，本文提出了一种新的方法：自适应混合专家网络（SaMoE）。具体来说，我们已经开发了一个混合的专家神经网络，以识别和执行不同类型的推理-网络是由多个专家，每个处理的语义推理的特定部分，而管理模块被应用于决定每个专家网络的贡献的验证结果。提出了一种自适应的方法，使管理模块能够在不需要外部知识的情况下，更有效地结合不同专家的结果进行教学。实验结果表明，我们的框架在基准数据集TabFact上达到了85.1%的准确率，与以前的最先进的模型相当。我们希望我们的框架可以作为一个新的基线基于表的验证。我们的代码可在www.example.com上获得。
2022-04-19 cs.AI cs.CL cs.LG
Fighting the COVID-19 Infodemic: Modeling the Perspective of Journalists, Fact-Checkers, Social Media Platforms, Policy Makers, and the Society
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；University of Padova（帕多瓦大学）；University of Groningen（格罗宁根大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Sofia University（索非亚大学）
随着COVID-19大流行的出现，虚假信息的政治和医学方面融合在一起，问题被提升到一个全新的水平，成为第一个全球信息流行病。打击这种信息流行病已被宣布为世界卫生组织最重要的重点领域之一，其危险包括推广假治疗，谣言和阴谋论，以及传播仇外心理和恐慌。解决这个问题需要解决一些具有挑战性的问题，例如识别包含索赔的消息，确定其检查价值和真实性，以及它们造成伤害的可能性以及这种伤害的性质，仅举几例。为了弥补这一差距，我们发布了一个由16 K条手动注释的推文组成的大型数据集，用于细粒度的虚假信息分析，该数据集（i）专注于COVID-19，（ii）结合了记者，事实核查员，社交媒体平台，政策制定者和社会的观点和兴趣，（iii）涵盖阿拉伯语，保加利亚语，荷兰语和英语。最后，我们使用预训练的Transformers显示了强大的评估结果，从而证实了数据集在单语言与多语言以及单任务与多任务设置中的实用性。
2021-09-22 cs.CL cs.CY cs.IR
Logic-level Evidence Retrieval and Graph-based Verification Network for Table-based Fact Verification
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
基于表的事实验证任务的目的是验证给定的半结构化表是否支持给定的语句。符号推理与逻辑运算在这项任务中起着至关重要的作用。现有方法利用包含丰富逻辑信息的程序来增强验证过程。然而，由于在程序生成过程中缺乏完全监督的信号，可以导出和使用虚假程序，这导致模型无法捕获有用的逻辑运算。为了解决上述问题，在这项工作中，我们制定了基于表的事实验证任务作为证据检索和推理框架，提出了逻辑级证据检索和基于图的验证网络（LERGV）。具体来说，我们首先从给定的表和语句中检索逻辑级程序类证据作为表的补充证据。在此基础上，构建逻辑级图来捕捉检索到的证据中实体和函数之间的逻辑关系，并设计基于图的验证网络，在所构建的图的基础上进行逻辑级图推理，对最终的蕴涵关系进行分类。在大规模基准测试系统TABBACT上的实验结果表明了该方法的有效性。
2021-09-14 cs.AI cs.CL
Turning Tables: Generating Examples from Semi-structured Tables for Endowing Language Models with Reasoning Skills
Tel-Aviv University（特拉维夫大学）；The Allen Institute for AI（艾伦人工智能研究所）
用语言建模目标预先训练的模型拥有丰富的世界知识和语言技能，但已知在需要推理的任务中会很困难。在这项工作中，我们建议利用半结构化表格，并自动生成大规模的问题段落对，其中回答问题需要对段落中的多个事实进行推理。我们在这个合成数据上添加了一个预训练步骤，其中包括需要16种不同推理技能的示例，例如数字比较，合取和事实组成。为了提高数据效率，我们提出了采样策略，重点训练模型目前缺乏的推理技能。我们在三个专注于推理的阅读理解数据集上评估了我们的方法，并表明我们的模型PReasM大大优于T5，这是一种流行的预训练编码器-解码器模型。此外，基于当前模型误差的采样示例可以加快训练速度并提高整体性能。
2021-07-15 cs.CL cs.LG
Joint Verification and Reranking for Open Fact Checking Over Tables
University of Cambridge（剑桥大学）；Facebook AI Research（Facebook AI研究院）；University College London（伦敦大学学院）
结构化信息是事实主张自动验证的重要知识来源。尽管如此，大多数现有的研究都集中在文本数据，最近的几次调查结构化数据已经为闭域设置，其中适当的证据，每个索赔被认为已经检索。在本文中，我们研究了结构化数据在开放域设置的验证，介绍了一个联合重新排序和验证模型，融合证据文件的验证组件。我们的开放领域模型在TabFact数据集上实现了与最先进的闭域模型相当的性能，并展示了包含多个表的性能增益以及启发式检索基线的显着改进。
2021-08-20 cs.CL cs.LG stat.ML
Key Fact as Pivot: A Two-Stage Model for Low Resource Table-to-Text Generation
Peking University（北京大学）；Tencent Inc（腾讯公司）；Beijing Institute of Big Data Research（北京大数据研究院）
表到文本生成的目的是将结构化数据转换为非结构化文本。现有的方法大多采用编码器-解码器框架来学习变换，这需要大规模的训练样本。然而，缺乏大型并行数据是许多领域的主要实际问题。在这项工作中，我们考虑的情况下，低资源表到文本生成，只有有限的并行数据。我们提出了一种新的模型，将生成分为两个阶段：关键事实预测和表面实现。它首先从表中预测关键事实，然后用关键事实生成文本。关键事实预测的训练需要较少的标注数据，而表面实现可以使用伪并行语料库进行训练。我们在传记生成数据集上评估我们的模型。我们的模型可以在只有$1,000$并行数据的情况下获得$27.34$ BLEU评分，而基线模型只能获得$9.71$ BLEU评分的性能。
2019-08-08 cs.CL
SemEval-2021 Task 9: Fact Verification and Evidence Finding for Tabular Data in Scientific Documents (SEM-TAB-FACTS)
IBM Research（IBM研究院）
理解表格是一项重要且相关的任务，涉及理解表格结构以及能够比较和对比单元格内的信息。在本文中，我们通过提出一个新的数据集和任务来解决这一挑战，该任务在SemEval 2020任务9中的共享任务中实现了这一目标：科学文档中表格数据的事实验证和证据发现（SEM-TAB-FACTS）。我们的数据集包含981个手动生成的表和1980个自动生成的表，提供超过18万个声明和超过1600万个证据注释。SEM-TAB-FACTS包含两个子任务。在子任务A中，目标是确定一个陈述相对于一个表是被支持的、被反驳的还是未知的。在子任务B中，重点是确定表格中为声明提供证据的特定单元格。共有69支队伍报名参加，其中19支成功提交子任务A，12支成功提交子任务B。我们提出了我们的结果和主要发现的竞争。
2021-05-28 cs.CL
WhatsApp Tiplines and Multilingual Claims in the 2021 Indian Assembly Elections
organization= University of Duisburg-Essen , country= Germany；organization= Meedan \& University of Oxford , country= United Kingdom
本研究通过混合方法分析2021年印度邦选举期间WhatsApp举报热线中的580条多语言声明，揭示跨语言内容相似性、用户与事实核查组织的互动模式及辟谣时间，并为选举期间举报热线的伦理使用提供建议。
2025-07-22 cs.CL cs.CY cs.HC
Multilingual Previously Fact-Checked Claim Retrieval
Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究院）
本文提出多语言数据集MultiClaim，包含28k社交媒体帖子与206k事实核查及31k关联，用于既往事实核查声明检索，并证明有监督微调显著优于无监督方法。
2023-10-13 cs.CL
Facts-and-Feelings: Capturing both Objectivity and Subjectivity in Table-to-Text Generation
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文提出首个包含主观性的多体裁表格到文本生成数据集Ta2TS，并通过微调与提示方法对比不同语言模型，验证其在捕捉主观性与事实一致性方面的表现。
2024-06-15 cs.CL
NoFake at CheckThat! 2021: Fake News Detection Using BERT
许多研究都是为了揭穿和分析假新闻。去年，许多研究人员研究了假新闻检测，但许多人仅限于社交媒体数据。目前，多家事实核查机构正在以各种格式公布其结果。此外，多个事实检查员为假新闻使用不同的标签，这使得很难建立一个可推广的分类器。通过合并类，可以增强机器模型的性能。这种域分类将有助于对文章进行分组，这将有助于节省分配声明验证时的手动工作。本文提出了一种基于BERT的分类模型来预测领域和分类。我们还使用了来自事实核查文章的其他数据。使用额外的训练数据，我们已经实现了任务3A的83.76%和任务3B的85.55%的宏观F1分数。
2021-08-11 cs.CL cs.SI
A Benchmark for Open-Domain Numerical Fact-Checking Enhanced by Claim Decomposition
Stockholm University, Sweden（斯德哥尔摩大学，瑞典）；Delft University of Technology, Netherlands（代尔夫特理工大学，荷兰）
针对现有数值事实验证基准证据相关性低和时间泄漏问题，提出QuanTemp++数据集，通过模拟人类核查员的声明分解过程收集证据，并评估不同分解范式的检索与验证性能。
2025-10-24 cs.CL cs.IR
LOOMSUM: Weaving Quantitative and Narrative Evidence for Faithful Long Text-Table Summarization
University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）
本研究提出无需训练的LOOMSUM框架，结合Table-Grounded Faithfulness指标，在FINDSum和USTT基准上提升长文本-表格摘要的分析忠实性，显式跨模态关联可减少事实配对错误。
2026-10-14 cs.CL
TabMCQ: A Dataset of General Knowledge Tables and Multiple-choice Questions
Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
我们描述了两个新的相关资源，促进建模的一般知识推理在四年级的科学考试。第一个是以表格形式收集的精选事实，第二个是一套涵盖表格中事实的大量众包选择题。通过设置众包注释任务，我们获得了问题和表格之间的隐式对齐信息。我们设想，这些资源将是有用的，不仅对研究人员的工作问题问答，而且对人们调查的各种其他应用程序，如信息抽取，问题解析，答案类型识别，词汇语义建模。
2016-02-12 cs.CL
