SemEval-2019 Task 8: Fact Checking in Community Question Answering Forums
Instituto de Telecomunicações（电信研究所）；SiteGround Hosting EOOD（SiteGround托管有限责任公司）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；University of Copenhagen（哥本哈根大学）
我们在社区问答论坛中介绍了SemEval-2019关于事实核查的任务8，其中包括两个子任务。子任务A是关于决定一个问题是要求事实信息还是意见/建议还是只是社交。子任务B要求预测一个事实问题的答案是真的、假的还是不正确的。我们收到了17份关于子任务A的正式意见书和11份关于子任务B的正式意见书。对于子任务A，所有系统都比多数类基线有所改善。对于子任务B，所有系统都低于多数类基线，但有几个系统非常接近它。排行榜和比赛数据可以在http://competitions.codalab.org/competitions/20022上找到
2019-05-25 cs.CL cs.LG stat.ML
Automated Fact-Checking: A Survey
Queen Mary University of London（伦敦玛丽女王大学）；Taif University（塔伊夫大学）
随着网上虚假信息的不断增长，自动事实核查近年来受到了越来越多的关注。自然语言处理（NLP）领域的研究人员通过构建事实检查数据集、设计自动事实检查管道和提出NLP方法来进一步研究不同组件的开发，为这项任务做出了贡献。本文回顾了自动事实核查的相关研究，包括索赔检测和索赔验证组件。
2021-09-23 cs.CL
Claim-Dissector: An Interpretable Fact-Checking System with Joint Re-ranking and Veracity Prediction
IDIAP Research Institute（IDIAP研究所）；Brno University of Technology（布尔诺理工大学）
本文提出可解释事实核查模型 Claim-Dissector，通过联合学习证据相关性与声明真实性，以线性集成方式量化各证据贡献，在多个数据集上取得最先进性能，并实现细粒度相关性识别。
2023-08-07 cs.AI cs.CL
Towards Few-Shot Fact-Checking via Perplexity
Hong Kong University of Science Technology（香港科技大学）；Facebook AI（Facebook人工智能研究院）
少样本学习已经引起了研究者的注意，以克服数据稀缺的问题。最近，大型预训练语言模型在各种下游任务（如问答和机器翻译）的少样本学习中表现出出色的性能。然而，很少有探索已经取得了少样本学习的事实检查任务。然而，事实核查是一个重要的问题，特别是当网上信息量每天呈指数级增长时。在本文中，我们提出了一种新的方法，利用强大的迁移学习能力的语言模型通过困惑分数。我们的方法最显着的优势在于它在少样本学习的能力。只有两个训练样本，我们的方法在多个数据集上的F1-Macro指标上已经超过了Major Class基线的绝对10%以上。通过实验，我们经验验证的困惑分数，而令人惊讶的使用情况下，事实核查的可扩展性和突出的实力，我们的Few-Shot方法，通过比较它强大的微调为基础的基线模型。此外，我们构建并公开发布了两个新的与COVID-19相关的事实核查数据集。
2021-03-17 cs.CL cs.LG
+VeriRel: Verification Feedback to Enhance Document Retrieval for Scientific Fact Checking
University of Sheffield（谢菲尔德大学）
本文提出+VeriRel方法，将验证成功纳入文档排序，在三个科学事实验证数据集上提升了文档证据检索性能并促进下游验证。
2025-08-14 cs.CL cs.IR
Missing Counter-Evidence Renders NLP Fact-Checking Unrealistic for Misinformation
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））；IBM Research Europe（IBM欧洲研究院）
错误信息出现在不确定的时候，当可信的信息是有限的。这对于基于NLP的事实核查来说是一个挑战，因为它依赖于可能尚未获得的反证。尽管人们对自动事实核查的兴趣越来越大，但目前仍不清楚自动化方法是否能够切实地驳斥有害的现实世界错误信息。在这里，我们将NLP事实核查与专业事实核查人员如何在没有反证的情况下打击错误信息进行对比和比较。在我们的分析中，我们表明，通过设计，现有的事实核查NLP任务定义不能像专业事实核查人员对大多数索赔那样反驳错误信息。然后，我们定义了数据集中的证据必须满足现实事实核查的两个要求：它必须（1）足以反驳索赔，（2）不从现有的事实核查文章中泄露。我们调查了现有的事实核查数据集，发现它们都未能满足这两个标准。最后，我们进行了实验，以证明在大规模事实检查数据集上训练的模型依赖于泄露的证据，这使得它们不适合现实世界的场景。综上所述，我们表明，目前的NLP事实检查无法切实打击现实世界的错误信息，因为它依赖于对数据中反证的不切实际的假设。
2022-10-25 cs.CL
Can LLMs Improve Multimodal Fact-Checking by Asking Relevant Questions?
School of Computing, and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）
针对大语言模型事实核查缺少问题拟定环节的局限，提出LRQ-FACT框架用LLM生成事实核查问题以辅助多模态证据检索与核查，实验验证其有效性并分析各组件作用。
2025-02-20 cs.CL
Explainable Fact-checking through Question Answering
Institute of Computing, University of Campinas（坎皮纳斯大学计算学院）；Universidade do Vale do Rio dos Sinos (Unisinos)（锡诺斯河谷大学（Unisinos））
针对现有自动化事实核查方法缺乏可解释性、难以建立人机信任的问题，该研究提出基于问答的可解释事实核查框架，通过声明问答生成、证据问答及带注意力的答案比较模型拆解核查过程，在达到SOTA性能的同时提供合理的可解释性。
2021-10-11 cs.CL cs.LG
Generative Large Language Models in Automated Fact-Checking: A Survey
本文综述了生成式大语言模型在自动事实核查中的作用，分析了其在事实验证、数据生成及评估中的应用，探讨了多语言和低资源环境下的挑战与趋势。
2026-06-29 cs.CL
Generating Fluent Fact Checking Explanations with Unsupervised Post-Editing
TU Kaiserslautern（凯泽斯劳滕工业大学）；DFKI GmbH（德国人工智能研究中心）；University of Copenhagen（哥本哈根大学）
事实核查系统已成为核实虚假和误导性新闻的重要工具。当人类可读的解释伴随着准确性标签时，这些系统变得更值得信赖。然而，手动收集这些解释是昂贵且耗时的。最近的作品框架的解释生成提取摘要，并建议自动选择一个足够的子集的最重要的事实，从专业记者的裁决意见（RC），以获得事实检查的解释。然而，这些解释缺乏流畅性和句子连贯性。在这项工作中，我们提出了一个迭代的基于编辑的算法，只使用短语级的编辑执行无监督的后编辑断开RC。为了规范我们的编辑算法，我们使用了一个评分函数，其中包含流畅性和语义保留。此外，我们展示了我们的方法在完全无监督的环境中的适用性。我们使用两个基准数据集LIAR-PLUS和PubHealth进行实验。我们表明，我们的模型生成的解释是流畅的，可读的，非冗余的，并涵盖了重要的信息的事实检查。
2021-12-13 cs.CL cs.LG
Towards Explainable Fact Checking
University of Copenhagen（哥本哈根大学）
在过去的十年中，网上的错误和虚假信息数量大幅增加，从有针对性的虚假信息运动到影响政治，再到无意中传播有关公共卫生的错误信息。这一发展推动了自动事实核查领域的研究，从检测值得核查的索赔和确定推文对索赔的立场的方法，到确定证据文件索赔的真实性的方法。这些自动方法通常是基于内容的，使用自然语言处理方法，这些方法又利用深度神经网络从文本中学习高阶特征，以便进行预测。由于深度神经网络是黑箱模型，它们的内部工作原理很难解释。与此同时，最好解释它们是如何作出某些决定的，特别是如果它们将用于决策。虽然这一点已经知道了一段时间，但由于模型的规模越来越大，欧盟立法要求模型用于决策以提供解释，以及最近立法要求在欧盟运营的在线平台提供关于其服务的透明报告，这一问题已经加剧。尽管如此，在事实核查领域，目前的可解释性解决方案仍然缺乏。本文主要研究了自动事实核查，包括声明核查价值检测、立场检测和准确性预测。它的贡献超越了事实检查，论文提出了更通用的机器学习解决方案，用于有限标记数据学习领域的自然语言处理。最后，本文提出了可解释事实核查的初步解决方案。
2021-12-08 cs.CL stat.ML
Fact Checking Beyond Training Set
UIUC（伊利诺伊大学厄巴纳-香槟分校）
本文针对事实核查流程在跨领域场景下的性能下降问题，提出对抗训练检索器和顺序不敏感阅读器，并构建八个跨域场景验证其鲁棒性优于GPT4数据增强等基线方法。
2024-03-27 cs.CL cs.LG
The Case for Claim Difficulty Assessment in Automatic Fact Checking
University of Texas at Austin（德克萨斯大学奥斯汀分校）
事实核查是评估索赔真实性的过程（即，的事实）。在这篇评论文章中，我们提出了一个在以前的工作中很少受到关注的问题-有些索赔比其他索赔更难进行事实核查。我们讨论了这对实际的事实检查和自动事实检查的研究，包括任务制定和数据集设计的影响。我们报告进行手动分析，以探讨不同的索赔难度的因素，并确定几种不同类型的困难。我们激励这个新的索赔难度预测任务，因为它对自动事实核查和实际事实核查组织都有利。
2022-02-04 cs.AI cs.CL cs.IR
Explainable Automated Fact-Checking: A Survey
Imperial College London（帝国理工学院）
由于越来越大的数据集和更强大的系统，自动事实检查已经取得了许多令人兴奋的进展，从而提高了索赔的复杂性，可以准确地进行事实检查。然而，尽管取得了这些进展，事实核查管道仍然缺少一些理想的功能。在本调查中，我们关注的是解释功能--即事实核查系统为他们的预测提供理由。我们总结了现有的方法来解释事实核查系统的预测，我们探讨了这一主题的趋势。此外，我们认为是什么使得良好的解释，在这个特定的领域通过比较分析现有的事实核查的解释对一些理想的属性。最后，我们提出了进一步的研究方向，产生事实核查的解释，并描述这些可能导致在研究领域的改进。
2020-11-07 cs.AI cs.CL
A Survey on Automated Fact-Checking
University of Cambridge（剑桥大学）
由于信息和错误信息在现代媒体生态系统中的传播速度，事实核查变得越来越重要。因此，研究人员一直在探索如何将事实核查自动化，使用基于自然语言处理、机器学习、知识表示和数据库的技术来自动预测索赔的真实性。在本文中，我们调查自动事实检查源于自然语言处理，并讨论其相关的任务和学科的连接。在此过程中，我们将对现有的数据集和模型进行概述，旨在统一给出的各种定义并确定共同的概念。最后，我们强调了未来研究面临的挑战。
2022-06-06 cs.CL
Can LLMs Produce Faithful Explanations For Fact-checking? Towards Faithful Explainable Fact-Checking via Multi-Agent Debate
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）；Northwestern University（西北大学）
研究LLMs在事实核查中生成忠实解释的能力，提出多智能体辩论精炼（MADR）框架，通过多智能体迭代精炼显著提升解释的忠实度和可信度。
2024-02-12 cs.CL
FACT-AUDIT: An Adaptive Multi-Agent Framework for Dynamic Fact-Checking Evaluation of Large Language Models
Hong Kong Baptist University（香港浸会大学）；National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）；Harbin Institute of Technology（哈尔滨工业大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出智能体驱动的框架FACT-AUDIT，利用重要性采样与多智能体协作动态生成数据集并执行迭代评估，结合理由生成与判定预测，全面审计大型语言模型的事实核查能力与可信度。
2025-03-02 cs.CL
Evidence-based Interpretable Open-domain Fact-checking with Large Language Models
Institute for Infocomm Research (I2R), A*STAR（新加坡科技研究局资讯通信研究院（I2R））
本文提出OE-Fact系统，结合开放网站证据检索、LLM筛选与推理验证，在FEVER上实现封闭域和开放域中更准确、可解释的实时事实核查。
2023-12-10 cs.AI cs.CL
Automated Justification Production for Claim Veracity in Fact Checking: A Survey on Architectures and Approaches
Université de Sherbrooke（谢布鲁克大学）
本文综述了自动事实核查中为声明真实性判定自动生成理由的架构与方法，提出分类体系并展望可解释性提升方向。
2024-07-09 cs.AI cs.CL cs.IR
Integrating Causal Reasoning into Automated Fact-Checking
EURECOM
本文提出一种结合事件关系提取、语义相似性计算和规则推理的方法，用于检测事实核查中事件链的逻辑不一致，提升裁决预测的可解释性。
2025-12-15 cs.CL
Automatic News Generation and Fact-Checking System Based on Language Processing
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Northeastern University（东北大学）；New York University（纽约大学）；University of California（加利福尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出基于语言处理的自动化新闻生成与事实核查系统，详述相关关键技术并通过实验验证有效性，指出技术融合创新将推动其在新闻行业提供更高效可靠的服务。
2024-05-21 cs.CL cs.LG
RU22Fact: Optimizing Evidence for Multilingual Explainable Fact-Checking on Russia-Ukraine Conflict
Harbin Institute of Technology（哈尔滨工业大学）；Academy of Cyber, China（中国网络空间研究院）
针对可解释事实核查中证据不足与相关性差的挑战，提出基于大型语言模型的证据自动检索与总结方法，构建了16K样本的多语言俄乌冲突数据集RU22Fact及端到端基线系统，证实优化证据能提升核查性能。
2024-03-26 cs.CL
AIC CTU@FEVER 8: On-premise fact checking through long context RAG
本文提出一个基于长上下文RAG的两步事实核查流水线，在FEVER 8任务中排名第一，并能在单GPU本地部署下达到最先进性能。
2025-08-05 cs.AI cs.CL
Integrating Stance Detection and Fact Checking in a Unified Corpus
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Amazon（亚马逊）
对索赔进行事实核查的合理方法包括从不同来源检索可能相关的文件（例如，新闻网站、社交媒体等），确定每个文档相对于声明的立场，并且最后通过聚合立场的强度来预测声明的真实性，同时考虑来源的可靠性。此外，事实核查制度应当能够通过提供文件中的相关摘录（理由）来解释其决定。然而，现有的数据集并不直接支持这种设置，这些数据集将事实检查、文档检索、来源可信度、立场检测和基本原理提取作为独立的任务。在本文中，我们支持这些任务之间的相互依赖关系，在同一语料库中的注释。我们实现这种设置的阿拉伯语事实检查语料库，第一次的。
2018-04-21 cs.CL
X-FACT: A New Benchmark Dataset for Multilingual Fact Checking
University of Utah（犹他大学）
在这项工作中，我们介绍了X-FACT：最大的公开可用的多语言数据集，用于对自然存在的现实世界的主张进行事实验证。该数据集包含25种语言的简短声明，并由专家事实检查员标记准确性。该数据集包括一个多语言评估基准，用于测量多语言模型的领域泛化和zero-shot能力。使用国家的最先进的多语言转换器为基础的模型，我们开发了几个自动化的事实检查模型，连同文本声明，利用额外的元数据和证据，从新闻故事检索使用搜索引擎。从经验上讲，我们最好的模型达到了大约40%的F分数，这表明我们的数据集是评估多语言事实检查模型的一个具有挑战性的基准。
2021-06-17 cs.CL
Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models
Iowa State University（爱荷华州立大学）；Microsoft Research（微软研究院）；Tencent AI Lab（腾讯AI实验室）；University of Rhode Island（罗德岛大学）
本文提出Self-Checker框架，通过即插即用模块在几乎零样本设置下提示大语言模型进行事实核查，为低资源环境提供快速高效的事实核查系统构建方案。
2024-04-01 cs.CL
CONCRETE: Improving Cross-lingual Fact-checking with Cross-lingual Retrieval
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
由于虚假信息的普遍存在，事实核查越来越受到人们的重视。由于其他语言的数据稀缺问题，大多数事实核查方法只关注用英语提出的主张。缺乏低资源语言的事实检查数据集需要一种有效的跨语言迁移技术来进行事实检查。此外，不同语言的可信信息可以相互补充，有助于核实事实。为此，我们提出了第一个事实检查框架，增强了跨语言检索，通过跨语言检索器从多种语言检索到的证据。由于缺乏跨语言的信息检索数据集与索赔样查询，我们训练检索器与我们提出的跨语言逆完形填空任务（X-ICT），一个自我监督的算法，通过翻译一段话的标题创建训练实例。X-ICT的目标是学习跨语言检索，其中模型学习识别与给定翻译标题对应的段落。在X-Fact数据集上，我们的方法在zero-shot跨语言设置中比现有系统实现了2.23%的绝对F1改进。源代码和数据可在https://github.com/khuangaf/CONCRETE上公开获取。
2022-09-05 cs.CL
Learning from Fact-checkers: Analysis and Generation of Fact-checking Language
Worcester Polytechnic Institute（伍斯特理工学院）
在打击假新闻的过程中，许多事实核查系统由基于人类的事实核查网站组成（例如，snopes.com和politifact.com）和自动检测系统。然而，即使已经被揭穿，在线用户仍然继续分享假新闻。这意味着早期的假新闻检测可能是不够的，我们需要另一种补充方法来减轻错误信息的传播。在本文中，我们介绍了一种用于打击假新闻的文本生成新应用。具体而言，我们（1）利用名为\emph{fact-checkers}的在线用户，他们引用事实核查网站作为公共话语中的事实核查信息的可信证据;（2）分析事实核查推文的语言特征;（3）提出并构建一个深度学习框架，以生成具有事实核查意图的响应，以增加事实核查人员对事实核查活动的参与。我们的分析表明，事实核查者倾向于反驳错误信息，并使用形式语言（例如，很少使用脏话和互联网俚语）。我们的框架成功地生成相关的响应，并通过实现高达30%的改进，优于竞争模型。我们的定性研究也证实了我们所产生的反应与现有模型产生的反应相比的优越性。
2019-10-05 cs.AI cs.CL cs.IR
DialFact: A Benchmark for Fact-Checking in Dialogue
Carnegie Mellon University（卡内基梅隆大学）；Salesforce AI Research（Salesforce人工智能研究院）
事实核查是减少错误信息和虚假信息传播的重要工具。我们介绍了对话中的事实核查任务，这是一个相对未探索的领域。我们构建了DialFact，这是一个测试基准数据集，包含22，245个带注释的会话声明，并与维基百科的证据配对。DialFact中有三个子任务：1）可验证的声明检测任务区分响应是否携带可验证的事实信息; 2）证据检索任务检索最相关的维基百科片段作为证据; 3）声明验证任务预测对话响应是支持，反驳或没有足够的信息。我们发现，现有的在非对话数据（如FEVER）上训练的事实检查模型在我们的任务中表现不佳，因此，我们提出了一种简单但数据高效的解决方案，以有效地提高对话中的事实检查性能。我们指出了独特的挑战，如处理口语化，共指和检索歧义的错误分析，以阐明未来的研究在这个方向上。
2022-03-24 cs.CL
Automated Fact Checking: Task formulations, methods and future directions
University of Sheffield（谢菲尔德大学）
最近对错误信息的关注增加了对事实核查的研究，这是一项评估索赔真实性的任务。自动化这项任务的研究已经在各种学科中进行，包括自然语言处理，机器学习，知识表示，数据库和新闻。虽然取得了实质性进展，但研究界发表的相关论文和文章往往互不了解，使用的术语也不一致，从而阻碍了理解和进一步进展。在本文中，我们调查了自动事实检查研究源于自然语言处理和相关学科，统一的任务制定和方法的论文和作者。此外，我们强调使用证据作为一个重要的区分因素，其中跨越任务的制定和方法。最后，我们提出了未来的自然语言处理研究自动事实检查的途径。
2018-09-05 cs.CL
Explainable Automated Fact-Checking for Public Health Claims
Imperial College London（帝国理工学院）；Department of Computing（计算机系）
事实核查的任务是根据可信的证据评估索赔的说法，以核实索赔的真实性。绝大多数事实核查研究都只关注政治主张。很少有研究探讨其他主题的事实核查，特别是需要专门知识的主题。我们提出了第一个研究的可解释的事实核查索赔，需要特定的专业知识。在我们的案例研究中，我们选择了公共卫生的背景。为了支持这个案例研究，我们构建了一个新的数据集PUBHEALTH，其中包含11.8K的索赔，并附有记者精心制作的黄金标准解释（即，判断），以支持索赔的事实核查标签。我们探索两个任务：准确性预测和解释生成。我们还定义和评估，与人类和计算，解释质量的三个一致性属性。我们的研究结果表明，通过对域内数据进行训练，可以在需要特定专业知识的索赔的可解释的自动事实检查方面取得进展。
2020-10-19 cs.AI cs.CL
Generating Fact Checking Explanations
University of Copenhagen（哥本哈根大学）
大多数关于自动事实检查的现有工作都涉及基于元数据、社交网络传播、索赔中使用的语言以及最近支持或否认索赔的证据来预测索赔的真实性。仍然缺少的一个关键部分是理解如何自动化这个过程中最复杂的部分--为索赔判决生成理由。本文首次研究了如何根据现有的索赔上下文自动生成这些解释，以及如何将此任务与准确性预测相结合。我们的研究结果表明，同时优化这两个目标，而不是分别训练它们，可以提高事实检查系统的性能。人工评估的结果进一步表明，在多任务模型中，所生成的解释的信息量、覆盖面和总体质量也得到了提高。
2020-04-13 cs.AI cs.CL cs.LG
Show Me the Work: Fact-Checkers' Requirements for Explainable Automated Fact-Checking
Department of Computer Science, University of Copenhagen（计算机科学系，哥本哈根大学）；University of Copenhagen（哥本哈根大学）；Linköping University（_linköping大学）
本文通过访谈事实核查人员，研究其证据评估、工具使用及解释需求，提出自动化事实核查解释应呈现推理路径、证据、不确定性与信息缺口。
2025-02-13 cs.AI cs.CL cs.HC
BiDeV: Bilateral Defusing Verification for Complex Claim Fact-Checking
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Nankai University（南开大学）；Baidu Inc.（百度公司）；Kunming University of Science and Technology（昆明理工大学）
BiDeV提出一种集成多角色LLM的双边消解验证框架，通过模糊消解与冗余消解处理复杂声明，在Hover和Feverous-s基准上取得最优性能。
2025-02-22 cs.AI cs.CL
Fact2Fiction: Targeted Poisoning Attack to Agentic Fact-checking System
针对当前基于LLM智能体的SOTA事实核查系统存在的安全研究空白，提出首个定向投毒攻击框架Fact2Fiction，实验证明其攻击成功率显著优于现有SOTA攻击，暴露了现有系统的安全缺陷。
2025-11-17 cs.CL cs.CR
Generating Fact Checking Briefs
Facebook AI Research（脸书人工智能研究院）；University College London（伦敦大学学院）；LORIA（洛林计算机及其应用实验室）；University of Cambridge（剑桥大学）
大规模的事实核查是困难的--虽然活跃的事实核查网站的数量正在增长，但对于当代媒体生态系统的需求来说，它仍然太小。然而，尽管有良好的意图，志愿者的贡献往往容易出错，因此在实践中仅限于索赔检测。我们研究如何通过在执行检查之前以自然语言摘要的形式提供关于索赔的信息来提高事实检查的准确性和效率。我们调查了基于维基百科的简报，其中包含来自维基百科的相关段落，以实体为中心的简报由提到实体的维基百科页面组成，以及以问题分解索赔及其答案。为了生成QABriefs，我们开发了QABriefer，这是一个模型，它可以生成一组以索赔为条件的问题，在网络上搜索证据，并生成答案。为了训练其组件，我们引入了通过众包收集的QABriefDataset。我们发现，使用简报（特别是QABriefs）进行事实检查可以将众包工作者的准确性提高10%，同时略微减少所需的时间。对于志愿者（无报酬）事实检查员，QABrief略微提高了准确性，并将所需时间减少了约20%。
2020-11-10 cs.CL
Scientific Fact-Checking: A Survey of Resources and Approaches
Technical University of Munich（慕尼黑工业大学）
本文综述了科学事实核查领域的资源、数据集构建和现有方法，分析了当前挑战并展望了未来研究方向。
2023-05-26 cs.CL
Task-Oriented Automatic Fact-Checking with Frame-Semantics
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
该研究提出利用框架语义的任务导向型自动事实核查范式，构建PolitiFact试点数据集并开展两项案例研究，证明框架语义可提升证据检索与可解释性，还识别出高影响力框架以指导未来工作。
2025-08-20 cs.CL
Evaluating open-source Large Language Models for automated fact-checking
Politecnico di Milano（米兰理工大学）；CENTAI
本研究通过三项实验评估开源大语言模型在自动化事实核查中的表现，发现其在识别声明与文章关联及核查已核查内容方面表现良好，但确认事实性新闻时不及RoBERTa等微调模型，且外部知识帮助有限，表明LLMs尚需改进才能替代人工核查。
2025-03-07 cs.CL cs.CY
Hallucination to Truth: A Review of Fact-Checking and Factuality Evaluation in Large Language Models
Department of Computer Science and Engineering, United International University, Dhaka 1212, Bangladesh（乌姆特国际大学计算机科学与工程系）；Department of Computer Science and Engineering, Daffodil International University, Dhaka-1341, Bangladesh（达芙尼国际大学计算机科学与工程系）；Faculty of Science and Technology, Charles Darwin University, Casuarina, NT 0909, Australia（查尔斯·达尔文大学科学与技术学院）
本文综述了大型语言模型中事实核查与事实性评估的关键挑战及方法，强调了提升事实准确性的重要性。
2025-09-26 cs.AI cs.CL cs.LG
ReproHum #0087-01: Human Evaluation Reproduction Report for Generating Fact Checking Explanations
The University of Sheffield（谢菲尔德大学）；The University of Manchester（曼彻斯特大学）
本文作为ReproNLP共享任务ReproHum模块的一部分，复现了事实核查解释生成研究的人工评估部分，验证了原研究关于模型有效性的核心结论，为NLP研究可复现性探究提供了支撑。
2024-05-14 cs.CL
QuestGen: Effectiveness of Question Generation Methods for Fact-Checking Applications
Fremont High School（弗里蒙特高中）；University of Stavanger（斯塔万格大学）；Factiverse AI（Factiverse人工智能公司）
本文提出QuestGen，通过数据增强微调较小生成模型自动分解事实核查声明为问题，性能超越大模型最多8%，且机器生成问题的证据检索效果在部分场景优于人工问题。
2024-08-01 cs.CL
Automated Fact-Checking in Dialogue: Are Specialized Models Needed?
University of Cambridge（剑桥大学）；Synthesia
本研究提出检索适配与输入转换技术，使同一事实核查模型兼顾对话与独立声明场景，性能媲美专用微调模型。
2023-11-14 cs.AI cs.CL
Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking
Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系）；Salesforce AI Research（Salesforce AI 研究院）；The Hong Kong University of Science and Technology（香港科学与技术大学）；National University of Singapore（新加坡国立大学）；The Education University of Hong Kong（香港教育大学）
FactArena提出一个全面的LLM事实核查阶段基准评估框架，通过标准化流程和动态生成挑战性声明，揭示LLM在事实推理中的鲁棒性与准确性差异。
2026-01-06 cs.CL
FactLLaMA: Optimizing Instruction-Following Language Models with External Knowledge for Automated Fact-Checking
The Hong Kong Polytechnic University（香港理工大学）
针对大语言模型知识滞后问题，本文提出FactLLaMA，结合外部证据检索与指令微调LLaMA，在RAWFC和LIAR数据集上实现最先进的事实核查性能。
2023-09-01 cs.AI cs.CL
Is a Picture Worth a Thousand Words? Adaptive Multimodal Fact-Checking with Visual Evidence Necessity
School of AI Convergence, Soongsil University（顺斯利大学人工智能融合学院）；MAUM AI Inc.（MAUM人工智能公司）；Department of Intelligent Semiconductors, Soongsil University（顺斯利大学智能半导体系）
本文挑战了多模态证据普遍提升性能的假设，提出AMuFC框架，通过分析和验证器模型自适应使用视觉证据，提升事实核查准确性。
2026-10-05 cs.AI cs.CL cs.CV
Can LLMs Automate Fact-Checking Article Writing?
MBZUAI, UAE（阿联酋马布里克人工智能研究所）；Full Fact, UK（英国Full Fact）；Newtral, Spain（西班牙Newtral）；Pagella Politica, Italy（意大利Pagella Politica）；TU Darmstadt, Germany（德国图尔恩大学）；IIT Delhi, India（印度德里印度理工学院）
本文提出QRAFT框架，通过LLM生成事实核查文章，旨在解决自动化事实核查中缺乏合理解释的问题。
2026-02-10 cs.AI cs.CL
JustiLM: Few-shot Justification Generation for Explainable Fact-Checking of Real-world Claims
Singapore Management University（新加坡管理大学）
本文针对事实核查中理由生成被简化为摘要的问题，提出基于检索证据的JustiLM小样本方法，并发布ExClaim基准数据集，实验证明其能提升理由生成与真实性分类性能。
2024-01-16 cs.CL
How We Refute Claims: Automatic Fact-Checking through Flaw Identification and Explanation
National Yang Ming Chiao Tung University（国立阳明交通大学）
针对现有自动事实核查在应对复杂现实谣言上的不足，该研究提出面向缺陷的事实核查新任务，推出专用框架RefuteClaim，构建FlawCheck数据集，实验验证了其在虚假主张分类与解释上的有效性。
2024-01-27 cs.CL
Fully Automated Fact Checking Using External Sources
Sofia University “St. Kliment Ohridski”（索非亚大学）；Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）
鉴于近年来网上虚假声明的不断增长，自动区分虚假谣言和真实声明的研究兴趣也越来越大。在这里，我们提出了一个通用的框架，使用外部资源进行全自动的事实检查，挖掘整个网络的潜力作为一个知识来源，以确认或拒绝索赔。我们的框架使用带有LSTM文本编码的深度神经网络，将语义内核与特定于任务的嵌入相结合，这些嵌入将声明与来自Web的潜在相关文本片段一起编码，同时考虑源可靠性。评估结果表明，在两个不同的任务和数据集上表现良好：（i）谣言检测和（ii）社区问答论坛中问题答案的事实检查。
2017-10-01 cs.CL
Extractive and Abstractive Explanations for Fact-Checking and Evaluation of News
University of Michigan（密歇根大学）
在本文中，我们探讨了自然语言解释新闻索赔的建设，以协助事实核查和新闻评价应用的目标。我们实验了两种方法：（1）基于Biased TextRank的提取方法-一种资源有效的基于无监督图的内容提取算法;（2）基于GPT-2语言模型的抽象方法。我们对政治和健康新闻领域的两个错误信息数据集进行了比较评估，发现提取方法最有前途。
2021-04-27 cs.CL
CommunityKG-RAG: Leveraging Community Structures in Knowledge Graphs for Advanced Retrieval-Augmented Generation in Fact-Checking
University of California, Davis（加利福尼亚大学戴维斯分校）
针对大语言模型与RAG系统未整合实体关系和社区结构、限制事实核查信息检索效果的问题，提出融合知识图谱社区结构的零样本框架CommunityKG-RAG，利用多跳特性提升检索准确率与相关性，实验证明其性能优于传统方法，为事实核查提供鲁棒高效的可扩展方案。
2024-08-16 cs.CL
Contrastive Learning to Improve Retrieval for Real-world Fact Checking
The University of Texas at Austin（得克萨斯大学奥斯汀分校）
针对事实核查中证据检索需推理的瓶颈，提出基于多训练信号对比微调的CFR重排器，在AVeriTeC上准确率提升6%，且增益可迁移至多个相关数据集。
2024-10-07 cs.AI cs.CL cs.LG
A Richly Annotated Corpus for Different Tasks in Automated Fact-Checking
Technische Universität Darmstadt（达姆施塔特工业大学）
基于机器学习的自动事实核查是一种很有前途的方法来识别网络上的虚假信息。为了达到令人满意的性能，机器学习方法需要一个大的语料库，在事实检查过程中的不同任务的可靠注释。在分析了现有的事实核查语料库后，我们发现没有一个完全符合这些标准。它们要么太小，不提供详细的注释，要么仅限于单个域。出于这一差距，我们提出了一个新的大规模的混合域语料库的注释质量良好的核心事实检查任务：文件检索，证据提取，立场检测和索赔验证。为了帮助未来的语料库建设，我们描述了我们的语料库创建和注释的方法，并证明它会导致大量的注释者之间的协议。作为未来研究的基线，我们在我们的语料库上进行实验，使用了一些在类似问题设置中达到高性能的模型架构。最后，为了支持未来模型的开发，我们为每个任务提供了详细的错误分析。我们的研究结果表明，我们的数据所定义的现实，多域设置现有的模型提出了新的挑战，为未来的系统提供了相当大的改进机会。
2019-10-29 cs.CL
