DeFactoNLP: Fact Verification using Entity Recognition, TFIDF Vector Comparison and Decomposable Attention
Carnegie Mellon University（卡内基梅隆大学）；University of Bonn（波恩大学）
在本文中，我们描述了DeFactoNLP，我们为FEVER 2018共享任务设计的系统。这项任务的目的是设想一个系统，不仅可以自动评估索赔的真实性，而且还可以从维基百科检索支持这一评估的证据。在我们的方法中，维基百科文档的词频-逆文档频率（TFIDF）向量是最相似的向量的权利要求和那些文档的名称是相似的命名实体（NE）中提到的权利要求被识别为可能包含证据的文档。然后，这些文档中的句子被提供给文本蕴涵识别模块。该模块计算每句话支持索赔、反驳索赔或不提供任何相关信息的概率，以评估索赔的真实性。使用这些概率计算的各种特征最终由随机森林分类器用于确定索赔的总体真实性。支持这一分类的句子将作为证据返回。我们的方法实现了0.4277证据F1评分，0.5136标签准确度和0.3833发热评分。
2018-09-03 cs.AI cs.CL cs.IR
Aggregating Pairwise Semantic Differences for Few-Shot Claim Veracity Classification
Queen Mary University of London（伦敦玛丽女王大学）
作为自动事实核查管道的一部分，索赔真实性分类任务包括确定索赔是否有相关证据支持。收集标记的声明-证据对的复杂性导致数据集的稀缺，特别是在处理新领域时。在本文中，我们介绍了种子，一种新的基于向量的方法，以Few-Shot索赔准确性分类，聚集成对的语义差异索赔证据对。我们建立在假设，我们可以模拟类代表向量，捕捉平均语义差异索赔证据对在一个类中，然后可以用于分类的新实例。我们比较了我们的方法与竞争基线的性能，包括微调的BERT/RoBERTa模型，以及最先进的Few-Shot准确性分类方法，利用语言模型困惑。在FEVER和SCIFACT数据集上进行的实验表明，在Few-Shot设置中，与竞争性基线相比，有一致的改善。我们的代码可用。
2022-05-11 cs.AI cs.CL cs.LG
Self-Supervised Claim Identification for Automated Fact Checking
University at Buffalo (SUNY)（纽约州立大学布法罗分校）
我们提出了一种新颖的，基于注意力的自我监督方法来识别假新闻文章中的“值得声明”的句子，这是自动事实检查的重要第一步。我们使用注意力机制来利用标题和内容的“关于性”来完成这项任务。识别出的声明可用于声明验证的下游任务，为此，我们发布了一个基准数据集，其中包含手动选择的具有真实性标签和相关证据的引人注目的文章。这项工作超越了文体分析，以确定影响读者信仰的内容。三个数据集的实验表明我们的模型的强度。数据和代码可在https://github.com/architapathak/Self-Supervised-ClaimIdentification上获得
2021-02-03 cs.AI cs.CL cs.IR
FactCheck Editor: Multilingual Text Editor with End-to-End fact-checking
University of Stavanger（斯塔万格大学）；Factiverse AI（Factiverse AI公司）
本文提出FactCheck Editor，一个支持90多种语言、利用transformer模型和LLM实现端到端事实核查与文本纠错的编辑器，并评估了多语言下声明检测与真实性判断模型的效果。
2024-04-30 cs.CL
MERMAID: Memory-Enhanced Retrieval and Reasoning with Multi-Agent Iterative Knowledge Grounding for Veracity Assessment
Stevens Institute of Technology（史蒂文斯理工学院）
MERMAID通过整合智能体驱动搜索、结构化知识表示和持久记忆模块，提升事实核查和主张验证的效率与一致性，实现检索、推理与记忆的协同优化。
2026-04-11 cs.AI cs.CL cs.LG
Automated Justification Production for Claim Veracity in Fact Checking: A Survey on Architectures and Approaches
Université de Sherbrooke（谢布鲁克大学）
本文综述了自动事实核查中为声明真实性判定自动生成理由的架构与方法，提出分类体系并展望可解释性提升方向。
2024-07-09 cs.AI cs.CL cs.IR
How Robust Are Automated Fact-Checking Systems? A Cross-Benchmark Evaluation
Leuphana University of Lüneburg（吕讷堡勒芬纳大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Zurich（苏黎世大学）
本研究对九种模型在四个跨领域数据集上开展自动事实核查系统的跨基准评估，发现系统性能依赖领域与指标，检索是主要瓶颈，并发布资源支持可复现研究。
2026-08-27 cs.AI cs.LG
Check-COVID: Fact-Checking COVID-19 News Claims with Scientific Evidence
Columbia University（哥伦比亚大学）；Northwestern University（西北大学）
本文提出 Check-COVID 事实核查基准，用科学文献证据验证 COVID-19 新闻声明，并通过实验表明域内数据对提升自动核查性能至关重要。
2023-05-29 cs.AI cs.CL cs.CY
Graph-based Retrieval for Claim Verification over Cross-Document Evidence
ISTC-CNR（意大利国家研究委员会认知科学与技术研究所）
验证声明的真实性需要在大型知识库上进行推理，通常以可信赖来源的语料库的形式。一种常见的方法包括从参考文献中检索相关文本的短部分，并将它们作为输入提供给自然语言推理模块，该模块确定是否可以从它们推断出或反驳权利要求。然而，当需要从不同文件中收集和合并多份证据时，这种办法就很困难，因为单一文件往往与目标索赔几乎没有关系，因此被检索模块排除在外。我们推测，基于图的方法可以是有益的，以确定碎片化的证据。我们通过在整个语料库中构建一个大型图来测试这一假设，该图通过提到的实体将文本部分互连，并利用这样的图来识别来自多个来源的候选证据集。我们的实验表明，利用图结构是有益的，在确定一个合理的小部分段落相关的索赔。
2021-09-13 cs.CL cs.IR cs.LG
Assisting the Human Fact-Checkers: Detecting All Previously Fact-Checked Claims in a Document
Cornell University（康奈尔大学）；Sofia University（索非亚大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；University of Padova（帕多瓦大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
鉴于最近网上虚假索赔的激增，有很多人工事实核查工作。由于这是非常耗时的，人类事实核查人员可以从支持他们并使他们更有效的工具中受益。在这里，我们专注于建立一个可以提供这种支持的系统。给定一个输入文档，它的目的是检测所有包含一个声明的句子，该声明可以通过一些先前经过事实检查的声明（来自给定的数据库）进行验证。输出是文档句子的重新排序列表，以便可以验证的句子以及相应的证据被尽可能高地排序。与之前研究索赔检索的工作不同，这里我们采取文档级别的视角。我们为此任务创建了一个新的手动注释数据集，并提出了合适的评估措施。我们进一步实验了一种学习排名的方法，在几个强大的基线上实现了相当大的性能增益。我们的分析证明了建模文本相似性和立场的重要性，同时也考虑到检索到的先前事实检查的索赔的准确性。我们相信，这项研究将是感兴趣的事实核查人员，记者，媒体和监管机构。
2022-11-15 cs.AI cs.CL cs.CY
A Weakly Supervised Propagation Model for Rumor Verification and Stance Detection with Multiple Instance Learning
Hong Kong Baptist University（香港浸会大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Singapore Management University（新加坡管理大学）
谣言在微博上的传播通常遵循传播树结构，这为原始消息如何随着时间的推移被用户传播和响应提供了有价值的线索。最近的研究表明，谣言检测和立场检测是两个不同但相关的任务，它们可以共同增强彼此，例如，辟谣可以通过核实相关微博所表达的立场来进行，而立场也取决于谣言的性质。然而，大多数姿态检测方法需要大量的帖子级姿态标签用于训练，这是劳动密集型的大量帖子。受多实例学习（MIL）方案的启发，本文首先用自底向上和自顶向下的树来表示声明的扩散，然后提出两个树结构的弱监督框架来联合分类谣言和立场，其中只需要关于声明真实性的袋级标签。具体来说，我们将多类问题转换为多个基于MIL的二进制分类问题，其中每个二进制模型侧重于区分目标立场或谣言类型和其他类型。最后，我们提出了一个分层的注意力机制来聚合二进制预测，包括（1）一个自下而上或自上而下的树注意力层，以聚合二进制立场到二进制准确性;和（2）一个歧视性的注意力层，以聚合二进制类到更细粒度的类。在三个基于Twitter的数据集上进行的大量实验表明，与最先进的方法相比，我们的模型在声明级谣言检测和后级立场分类方面都有很好的表现。
2022-04-27 cs.AI cs.CL
Authority, Truth, and Citation Bias: A Large-Scale Multi-Domain Benchmark for Studying Epistemic Susceptibility in Large Language Models
University of California, Berkeley（加州大学伯克利分校）
提出AuthorityBench基准，通过2x2因子设计隔离引文权威信号对LLM认知行为的影响，发现引文存在（无论真假）均提高幻觉率，真声明搭配假引文时幻觉率上升3-22个百分点。
2026-06-12 cs.LG
DS@GT at CheckThat! 2025: Evaluating Context and Tokenization Strategies for Numerical Fact Verification
Georgia Institute of Technology（佐治亚理工学院）
本研究使用QuanTemp数据集评估数值事实核查的建模策略，发现R2L分词和更长上下文窗口均无提升，证据质量是瓶颈，最佳系统宏平均F1达0.57，位列CheckThat! 2025任务3前四。
2025-07-08 cs.CL
HiFACTMix: A Code-Mixed Benchmark and Graph-Aware Model for EvidenceBased Political Claim Verification in Hinglish
Amity University（阿米提大学）
针对Hinglish语码混合政治主张验证的挑战，提出了包含1,500条真实主张的HiFACT基准，并构建了结合图感知与检索增强的事实核查模型，在准确率上超越基线并提供忠实解释。
2025-08-04 cs.AI cs.CL
Evaluating Large Language Models for Health-related Queries with Presuppositions
Indian Institute of Science（印度科学学院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文提出UPHILL数据集，评估InstructGPT、ChatGPT和BingChat在处理含预设的健康查询时的事实准确性，发现模型常无法质疑虚假声明，且预设程度越高越易同意虚假信息，呼吁在高风险场景中谨慎使用LLMs。
2024-08-31 cs.AI cs.CL cs.HC
CsFEVER and CTKFacts: Acquiring Czech data for fact verification
Czech Technical University in Prague（布拉格捷克理工大学）；Charles University（查理大学）
本文构建并发布捷克语事实验证数据集 CsFEVER 与 CTKFacts，结合翻译对齐和人工标注，分析标注偏差并提供基线模型与工具。
2022-10-17 cs.CL cs.LG
PoxVerifi: An Information Verification System to Combat Monkeypox Misinformation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在最近的疫情爆发之后，与猴痘有关的错误信息继续在网上迅速传播。这对应对策略产生了负面影响，并在短期内对LGBTQ+社区造成了不成比例的伤害，最终破坏了公共卫生应对措施的整体有效性。为了打击猴痘相关的错误信息，我们提出了PoxVerifi，一个开源的，可扩展的工具，提供了一个全面的方法来评估猴痘相关索赔的准确性。利用现有事实核查来源的信息和世界卫生组织（WHO）公布的信息，我们创建了一个包含225项猴痘索赔的开源语料库。此外，我们训练了一个开源的基于BERT的机器学习模型，专门对猴痘信息进行分类，实现了96%的交叉验证准确率。PoxVerifi是Google Chrome浏览器扩展程序，旨在使用户能够浏览与monkeypox相关的错误信息。具体来说，PoxVerifi为用户提供了一个全面的工具包，可以评估互联网上任何网页上标题的真实性，而无需访问外部网站。用户可以从我们经过训练的机器学习模型中查看自动准确性审查，这是一个基于社区成员投票的用户生成的准确性审查，并能够查看类似的审查声明。除了PoxVerifi全面的索赔测试方法外，我们的平台还提供了一种高效且易于使用的方法，用于对猴痘相关索赔进行众包准确性评级，这些准确性评级可以汇总以创建新的标记错误信息数据集。
2022-09-09 cs.CL cs.LG cs.SI
Veracity: An Open-Source AI Fact-Checking System
Mila；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）；Nord AI（北AI）；Harvard University（哈佛大学）；Supervised Program for Alignment Research (SPAR)（对齐研究监督计划）
Veracity是一个开源AI事实核查系统，结合大型语言模型与网络检索代理，提供多语言、数值评分的可信度评估和交互式界面，以对抗错误信息并提升媒体素养。
2025-06-18 cs.AI cs.CL cs.HC
EMULATE: A Multi-Agent Framework for Determining the Veracity of Atomic Claims by Emulating Human Actions
National University of Singapore（新加坡国立大学）
提出EMULATE多智能体框架，通过模拟人类行为（如排序搜索结果、评估网页内容）来判定原子声明真实性，在多个基准上显著优于先前方法。
2025-06-23 cs.CL
LOREN: Logic-Regularized Reasoning for Interpretable Fact Verification
ByteDance AI Lab（字节跳动人工智能实验室）
给定一个自然语言语句，如何在维基百科这样的大规模文本知识源中验证其真实性？大多数现有的神经模型在进行预测时，都没有给出错误声明的哪一部分出错的线索。在本文中，我们提出了LOREN，可解释的事实验证的方法。我们在短语级别上分解整个声明的验证，其中短语的准确性作为解释，并且可以根据逻辑规则聚合到最终判决中。LOREN的核心思想是将索赔短语准确性表示为三值潜变量，并通过聚集逻辑规则进行正则化。最终的索赔验证是基于所有潜在变量。因此，LOREN享有可解释性的额外好处-很容易解释它如何通过声明短语的准确性达到某些结果。在一个公共事实验证基准上的实验表明，LOREN与以前的方法相比具有竞争力，同时具有忠实和准确的可解释性。LOREN的资源可在https://github.com/jiangjiechen/LOREN上获得。
2021-12-09 cs.AI cs.CL
Automatic Fact-Checking Using Context and Discourse Information
我们研究自动事实核查的问题，特别注意语境和话语信息的影响。我们解决两个相关的任务：（i）检测值得检查的索赔，（ii）事实检查索赔。我们开发基于神经网络，基于内核的支持向量机，以及它们的组合，它利用丰富的输入表示的话语线索和上下文特征的监督系统。对于检查价值估计任务，我们专注于政治辩论，我们在参与者的全面干预以及辩论中的前一轮和后一轮的背景下对目标主张进行建模，同时考虑到上下文Meta信息。对于事实检查任务，我们专注于社区论坛中的答案验证，并且我们针对整个问题-答案线程以及整个论坛中的其他相关帖子对答案的真实性进行建模。我们为这两项任务开发了带注释的数据集，并进行了广泛的实验评估，证实了这两种类型的信息-尤其是上下文特征-发挥了重要作用。
2019-08-04 cs.AI cs.CL
Detecting Contradictory COVID-19 Drug Efficacy Claims from Biomedical Literature
Stanford University（斯坦福大学）；Robert Gordon University（罗伯特戈登大学）
2019冠状病毒病大流行造成了大量关于药物疗效的可疑和矛盾的科学说法--这是一种对科学和社会产生持久影响的“信息流行病”。在这项工作中，我们认为NLP模型可以帮助领域专家提取和理解这个复杂，高风险领域的文献。我们的任务是自动识别关于COVID-19药物疗效的相互矛盾的说法。我们将其视为一个自然语言推理问题，并提供了一个由领域专家创建的新的NLI数据集。NLI框架允许我们创建课程，结合现有的数据集和我们自己的。由此产生的模型是有用的调查工具。我们提供了一个案例研究，这些模型如何帮助领域专家总结和评估有关瑞地西韦和羟氯喹的证据。
2022-12-19 cs.CL
Contrastive Learning to Improve Retrieval for Real-world Fact Checking
The University of Texas at Austin（得克萨斯大学奥斯汀分校）
针对事实核查中证据检索需推理的瓶颈，提出基于多训练信号对比微调的CFR重排器，在AVeriTeC上准确率提升6%，且增益可迁移至多个相关数据集。
2024-10-07 cs.AI cs.CL cs.LG
Generating Fact Checking Explanations
University of Copenhagen（哥本哈根大学）
大多数关于自动事实检查的现有工作都涉及基于元数据、社交网络传播、索赔中使用的语言以及最近支持或否认索赔的证据来预测索赔的真实性。仍然缺少的一个关键部分是理解如何自动化这个过程中最复杂的部分--为索赔判决生成理由。本文首次研究了如何根据现有的索赔上下文自动生成这些解释，以及如何将此任务与准确性预测相结合。我们的研究结果表明，同时优化这两个目标，而不是分别训练它们，可以提高事实检查系统的性能。人工评估的结果进一步表明，在多任务模型中，所生成的解释的信息量、覆盖面和总体质量也得到了提高。
2020-04-13 cs.AI cs.CL cs.LG
How People Respond to the COVID-19 Pandemic on Twitter: A Comparative Analysis of Emotional Expressions from US and India
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（高性能计算研究所，新加坡科技研究局）；Centre for Artificial Intelligence Research, University of Agder（阿格德大学人工智能研究中心）；Department of Psychology, Northwestern University（西北大学心理学系）
COVID-19大流行已在全球夺去数百万人的生命，并引发了高度的情绪。这项研究检视了美国和印度有关COVID-19的各种情绪表达，这些情绪表现在超过5400万条推文中，涵盖了2020年2月至2021年4月的15个月期间，这一期间包括2021年3月开始肆虐印度的COVID-19病例开始大幅灾难性增加的开始。采用预先训练的情绪分析和主题建模算法，研究了四种不同类型的情绪（恐惧，愤怒，快乐和悲伤）及其与时间和位置相关的变化。结果显示，恐惧、愤怒和幸福的相对比例存在显著的国家差异和时间变化，2020年恐惧下降，愤怒和幸福波动，直到2021年前四个月的新情况扭转了趋势。检测到的差异进行了简要的讨论，揭示了潜在的主题，并通过镜头的评价理论的情绪，并讨论了研究结果的影响。
2023-03-19 cs.CL
Generating Literal and Implied Subquestions to Fact-check Complex Claims
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
复杂的政治主张是一项具有挑战性的任务，特别是当政客们使用各种策略巧妙地歪曲事实时。自动事实核查系统在这一点上做得不够，它们的预测，比如“半真”，在孤立的情况下并不是很有用，因为我们不知道声明的哪些部分是真的，哪些不是。在这项工作中，我们专注于将一个复杂的索赔分解为一组全面的是非子问题，其答案影响索赔的准确性。我们提出了ClaimDecomp，一个包含1000多个索赔的分解数据集。给定一个声明及其由事实检查员编写的验证段落，我们训练有素的注释者编写的子问题涵盖了原始声明的明确主张及其隐含方面，例如询问改变我们对声明真实性的看法的额外政治背景。我们研究了最先进的模型是否可以生成这样的子问题，表明这些模型可以生成合理的问题，但是在没有证据的情况下从原始声明中预测一组完整的子问题仍然具有挑战性。我们进一步表明，这些子问题可以帮助识别相关证据，以事实检查完整的索赔，并通过他们的答案得出的真实性，这表明他们可以是一个事实检查管道的有用部分。
2022-11-01 cs.CL
MuMiN: A Large-Scale Multilingual Multimodal Fact-Checked Misinformation Social Network Dataset
University of Bristol（布里斯托大学）
错误信息在社交媒体和新闻文章中越来越普遍。它已经变得如此普遍，以至于我们需要利用机器学习的算法辅助来检测此类内容。训练这些机器学习模型需要足够规模、多样性和质量的数据集。然而，自动错误信息检测领域的数据集主要是单语的，包括有限数量的模态，并且没有足够的规模和质量。针对这一点，我们开发了一个数据汇集和链接系统（MuMiN-trawl），构建一个公共错误信息图数据集（MuMiN），包含丰富的社交媒体数据（推文，回复，用户，图像，文章，标签）跨越属于2.6万个Twitter线程的2100万条推文，每条推文在语义上都与数十个主题，事件和领域的1.3万个事实检查声明相关联，用41种不同的语言，跨越了十多年。该数据集通过Python包（mumin）作为异构图提供。我们提供了与涉及社交媒体的索赔的准确性相关的两个节点分类任务的基线结果，并证明这些任务具有挑战性，这两个任务的最高宏观平均F1分数分别为62.55%和61.45%。MuMiN生态系统可在https：//mumin-martet.github.io/获得，包括数据，文档，教程和排行榜。
2022-03-08 cs.CL cs.CY cs.IR
Two Stage Transformer Model for COVID-19 Fake News Detection and Fact Checking
通过社交媒体平台进行在线交流的技术的快速发展导致错误信息和假新闻的传播大量增加。假新闻在当前的COVID-19大流行中尤其猖獗，导致人们相信虚假和潜在有害的说法和故事。快速检测假新闻可以缓解恐慌、混乱和潜在健康危害的传播。我们使用最先进的机器学习模型进行自然语言处理，为COVID-19假新闻检测开发了一个两阶段自动化流程。第一个模型利用了一种新颖的事实检查算法，该算法检索与特定COVID-19索赔有关的用户索赔的最相关事实。第二个模型通过计算索赔与从手动策划的COVID-19数据集检索的真实事实之间的文本蕴涵来验证索赔的真实程度。该数据集基于一个公开可用的知识源，包括5000多个COVID-19虚假声明和经验证的解释，其中一个子集经过内部注释和交叉验证，以训练和评估我们的模型。我们评估了一系列基于经典文本特征的模型，以更上下文的Transformer为基础的模型，并观察到基于BERT和ALBERT的模型管道分别为两个阶段产生最好的结果。
2020-11-26 cs.CL cs.IR cs.LG
SourceMinds at CheckThat! 2026: NLI-Grounded Citation Auditing in a Multi-Agent Pipeline for Full Fact-Checking Article Generation
University of North Texas（北得克萨斯大学）；Texas Academy of Mathematics and Science (TAMS)（德克萨斯数学与科学学院）
针对CLEF 2026 CheckThat!实验室任务3，提出多智能体管道系统，结合证据检索、结构化规划、文章生成、自我批判及引用审核等方法，强调证据选择、结构化生成与生成后引用验证对事实核查文章生成的重要性。
2026-07-31 cs.CL cs.IR
FacTeR-Check: Semi-automated fact-checking through Semantic Similarity and Natural Language Inference
Universidad Politecnica de Madrid（马德里理工大学）；Universidad Rey Juan Carlos de Madrid（马德里胡安·卡洛斯国王大学）
我们的社会通过在线社交网络（OSN）产生和共享大量信息。在这种环境下，错误信息和虚假信息激增，成为大多数国家的公共安全问题。允许公众和专业人士有效地找到关于索赔事实真实性的可靠证据是减轻这种有害传播的关键一步。为此，我们提出了FacTeR-Check，一种用于半自动事实检查的多语言架构，可用于为公众设计的应用程序和事实检查组织。FacTeR-Check可以检索经过事实检查的信息、未经检查的索赔验证以及通过社交媒体跟踪危险信息。该体系结构涉及几个模块开发，以评估语义相似性，计算自然语言推理和检索信息，从在线社交网络。所有这些组件的结合构建了一个半自动化的事实检查工具，能够验证新的索赔，提取相关证据，并跟踪OSN上骗局的演变。虽然单个模块在相关基准测试（主要是MSTS和SICK）上进行了验证，但完整的架构是使用名为NLI 19-SP的新数据集进行验证的，该数据集与来自西班牙社交媒体的COVID-19相关恶作剧和推文一起公开发布。我们的研究结果显示了在各个基准测试中最先进的性能，并对61种不同恶作剧的演变进行了有用的分析。
2022-02-16 cs.CL
A Graph-Enhanced Defense Framework for Explainable Fake News Detection with LLM
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Hong Kong Baptist University（香港浸会大学）；Guangdong Institute of Smart Education, Jinan University（暨南大学广东智慧教育研究院）；University of Science and Technology Beijing（北京科技大学）；Engineering Research Center of Knowledge-Driven Human-Machine Intelligence（知识驱动人机智能教育部工程研究中心）；International Center of Future Science, Jilin University（吉林大学未来科学国际合作中心）
本文提出G-Defense框架，通过构建以声明为中心的图，利用检索增强生成技术获取证据并生成竞争性解释，以提高假新闻检测的准确性和解释质量。
2026-04-08 cs.AI cs.CL
COVID-Fact: Fact Extraction and Verification of Real-World Claims on COVID-19 Pandemic
Columbia University（哥伦比亚大学）
我们引入了一个类似FEVER的数据集COVID-Fact of $4,086$ claims about the COVID-19 pandemic.数据集包含声明、声明的证据以及被证据反驳的矛盾声明。与以前的方法不同，我们自动检测真正的索赔及其源文章，然后使用自动方法生成反诉，而不是采用人工注释。随着我们的构造资源，我们正式提出的任务，确定相关的证据索赔和验证证据是否反驳或支持给定的索赔。除了科学声明外，我们的数据还包含来自媒体来源的简化的一般声明，使其更适合检测有关COVID-19的一般错误信息。我们的实验表明，COVID-Fact将为新系统的开发提供一个具有挑战性的测试平台，我们的方法将降低构建用于检测错误信息的特定领域数据集的成本。
2021-06-07 cs.CL
A Benchmark for Open-Domain Numerical Fact-Checking Enhanced by Claim Decomposition
Stockholm University, Sweden（斯德哥尔摩大学，瑞典）；Delft University of Technology, Netherlands（代尔夫特理工大学，荷兰）
针对现有数值事实验证基准证据相关性低和时间泄漏问题，提出QuanTemp++数据集，通过模拟人类核查员的声明分解过程收集证据，并评估不同分解范式的检索与验证性能。
2025-10-24 cs.CL cs.IR
Time-Aware Evidence Ranking for Fact-Checking
European Commission, Joint Research Centre (JRC)（欧洲委员会联合研究中心）；KU Leuven（鲁汶大学）；University of Copenhagen（哥本哈根大学）
真理可以随着时间而变化。因此，关于索赔真实性的事实核查决定应考虑到索赔和支持或反驳证据的时间信息。在这项工作中，我们调查的假设，一个网页的时间戳是至关重要的，它应该如何排名一个给定的索赔。我们描绘了四个时间排序方法，限制证据的排名不同，并模拟假设特定的证据排名的证据时间戳作为金标准。三个事实检查模型中的证据排序最终使用学习排序损失函数进行优化。我们的研究表明，时间感知的证据排名不仅超越了纯粹基于语义相似性或在搜索结果列表中的位置的相关性假设，而且还提高了对时间敏感的索赔的准确性预测。
2021-09-09 cs.CL cs.LG stat.ML
JustiLM: Few-shot Justification Generation for Explainable Fact-Checking of Real-world Claims
Singapore Management University（新加坡管理大学）
本文针对事实核查中理由生成被简化为摘要的问题，提出基于检索证据的JustiLM小样本方法，并发布ExClaim基准数据集，实验证明其能提升理由生成与真实性分类性能。
2024-01-16 cs.CL
Complex Claim Verification with Evidence Retrieved in the Wild
The University of Texas at Austin（得克萨斯大学奥斯汀分校）
提出首个从网络检索声明提出前的原始证据并自动核查真实复杂声明的五阶段流水线，实验与人工评估表明其证据摘要可靠、相关并能改善真实性判断。
2024-06-15 cs.CL
NumPert: Numerical Perturbations to Probe Language Models for Veracity Prediction
University of Stavanger（斯塔万格大学）
针对大语言模型数值推理能力不足的问题，提出NumPert数值扰动探测框架，通过受控扰动评估模型的真实性预测鲁棒性，发现现有模型在数值事实核查上存在明显鲁棒性缺陷。
2025-11-13 cs.CL
DeSePtion: Dual Sequence Prediction and Adversarial Examples for Improved Fact-Checking
Columbia University（哥伦比亚大学）；Facebook AI（Facebook人工智能研究院）；George Washington University（乔治华盛顿大学）
对错误信息的日益关注促进了数据和系统的发展，以检测索赔的真实性以及检索权威证据。事实提取和验证（FEVER）数据集提供了这样一个资源，用于评估端到端的事实检查，需要从维基百科检索证据来验证准确性预测。我们表明，目前的系统FEVER容易受到三类现实的挑战，事实核查-多个命题，时间推理，歧义和词汇变化-并介绍了这些类型的索赔资源。然后，我们提出了一个系统，旨在适应这些“攻击”，使用多个指针网络的文件选择和联合建模的证据句子和准确性关系预测序列。我们发现，在处理这些攻击，我们获得了最先进的结果发热，主要是由于改进的证据检索。
2020-04-27 cs.CL
RumourEval 2019: Determining Rumour Veracity and Support for Rumours
University of Sheffield（谢菲尔德大学）；IT University of Copenhagen（哥本哈根信息技术大学）；University of Warwick（华威大学）
这是RumourEval-2019的提案，该提案将于2019年初作为当年SemEval活动的一部分运行。自2017年第一个RumourEval共享任务以来，对自动索赔验证的兴趣大大增加，因为“假新闻”的危险已经成为主流关注点。然而，对谣言检查的自动化支持仍处于起步阶段。因此，重要的是，这一领域的共同任务必须继续为可能增加的努力提供一个重点。因此，我们建议继续确定进一步谣言的真实性，并且像以前一样，支持这一目标，讨论它们的推文根据他们对谣言采取的立场进行分类。与第一个RumourEval相比，范围得到了扩展，因为数据集大幅扩展，包括Reddit和Twitter数据，还包括其他语言。
2018-09-18 cs.CL
DeLIVeR: Decomposed Learning for Information-grounded Veracity Recognition via Reinforced Knowledge Graph Exploration
University of Louisville（路易斯维尔大学）；Denison University（丹尼森大学）
针对大语言模型自动事实核查难题，DeLIVeR框架将证据检索设为强化探索任务，利用规划器大语言模型分解声明获问题集遍历知识图谱找证据，经GRPO优化策略，实验表明其显著优于基线，有效弥合推理差距，提供检测路径。
2026-07-21 cs.AI cs.CL
The Case for Claim Difficulty Assessment in Automatic Fact Checking
University of Texas at Austin（德克萨斯大学奥斯汀分校）
事实核查是评估索赔真实性的过程（即，的事实）。在这篇评论文章中，我们提出了一个在以前的工作中很少受到关注的问题-有些索赔比其他索赔更难进行事实核查。我们讨论了这对实际的事实检查和自动事实检查的研究，包括任务制定和数据集设计的影响。我们报告进行手动分析，以探讨不同的索赔难度的因素，并确定几种不同类型的困难。我们激励这个新的索赔难度预测任务，因为它对自动事实核查和实际事实核查组织都有利。
2022-02-04 cs.AI cs.CL cs.IR
MAPLE: Micro Analysis of Pairwise Language Evolution for Few-Shot Claim Verification
Queen Mary University of London（伦敦玛丽女王大学）
针对少样本声明验证监督数据有限的问题，提出MAPLE方法，借助小型seq2seq模型、新型语义度量及微观语言演化路径，利用无标注数据实现验证，在三个数据集上性能优于现有SOTA基线。
2024-01-29 cs.AI cs.CL cs.LG
Automatic Fact-checking in English and Telugu
Saarland University（萨尔兰大学）；University of the Basque Country（巴斯克大学）；German Research Center for Artificial Intelligence, Saarland Informatics Campus（德国人工智能研究中心，萨尔兰信息学校区）；Faculty of Information Technology, Brno University of Technology（信息技术学院，布拉格技术大学）；Kempelen Institute of Intelligent Technologies（Kempelen智能技术研究所）
本文提出了一种双语事实核查方法，利用大型语言模型在英语和泰卢固语中对事实性声明进行真实性分类并生成证明。
2025-11-18 cs.CL
ProoFVer: Natural Logic Theorem Proving for Fact Verification
University of Cambridge（剑桥大学）；Meta AI；University College London（伦敦大学学院）
事实验证系统通常依赖于神经网络分类器进行准确性预测，但缺乏可解释性。本文提出了ProoFer，它使用seq2seq模型来生成基于自然逻辑的推理作为证明。这些证明由索赔和检索到的证据中的跨度之间的词汇突变组成，每个跨度都用自然逻辑运算符标记。声明的准确性完全取决于这些运算符的顺序。因此，这些证明是忠实的解释，这使得ProoFer忠实的建设。目前，ProoFer在FEVER排行榜上拥有最高的标签准确性和第二好的分数。此外，它比具有反事实实例的数据集上的下一个最佳模型提高了13.21%，证明了其鲁棒性。作为解释，证明与基于注意力的亮点相比，更好地与人类的基本原理重叠，并且证明比直接使用证据更经常地帮助人类正确地预测模型决策。
2022-07-03 cs.CL
SciClaims: An End-to-End Generative System for Biomedical Claim Analysis
SciClaims是一种基于大语言模型的端到端生物医学声明分析系统，可自动提取声明、检索证据并验证真实性，无需额外微调。
2026-01-08 cs.AI cs.CL cs.DL
Explainable Claim Verification via Knowledge-Grounded Reasoning with Large Language Models
Illinois Institute of Technology（伊利诺伊理工学院）
本文提出一阶逻辑引导的知识驱动推理（FOLK），利用大语言模型将主张转化为FOL子句并在问答对上推理，无需标注证据即可验证复杂主张并生成可解释说明，在三个数据集上优于强基线。
2023-10-20 cs.AI cs.CL cs.LG
Multilingual Fact-Checking at Scale: Fine-Tuned Compact Models vs LLMs
Factiverse
提出一个多语言事实核查系统，通过微调XLM-RoBERTa、mmBERT和SetFit模型，在114种语言的声明检测和28种语言的真实性预测中，与GPT-5.2等LLM相比，展示了紧凑模型的高效和稳定性能。
2026-06-07 cs.CL
The Choice of Knowledge Base in Automated Claim Checking
ETH Zurich（苏黎世联邦理工学院）；University of Geneva（日内瓦大学）
自动索赔检查是确定索赔的真实性的任务，给出了在可信事实的知识库中找到的证据。虽然以前的工作已经采取了知识库作为给定的和优化的索赔检查管道，我们采取相反的方法-管道作为给定的，我们探索的知识库的选择。我们的第一个见解是，索赔检查管道可以转移到一个新的索赔领域，并可以访问新领域的知识库。其次，我们没有找到一个“普遍最好的”知识库-任务数据集和知识库的较高域重叠往往会产生更好的标签准确性。第三，组合多个知识库并不能提高性能，而只能使用最接近的领域知识库。最后，我们表明，索赔检查管道的选择证据的置信度得分可以用来评估知识库是否会表现良好的一组新的索赔，即使在没有地面真理标签。
2022-03-10 cs.CL
When Scale Meets Diversity: Evaluating Language Models on Fine-Grained Multilingual Claim Verification
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文在X-Fact上评估五类模型，发现270M参数的XLM-R经微调后以57.7% macro-F1大幅超越7B-12B LLM，并揭示其证据利用困难与类别偏见。
2025-07-28 cs.CL
Checkworthiness in Automatic Claim Detection Models: Definitions and Analysis of Datasets
KU Leuven（鲁汶大学）
在过去的十年里，公众、专业人士和学术界对自动事实核查的兴趣急剧增加，许多人的目标是自动化事实核查程序的第一步：选择所谓的可核查的索赔。然而，事实检查员之间对可检查性的定义和特征几乎没有达成一致，因此反映在用于训练和测试可检查性索赔检测模型的数据集中。经过对事实核查组织中可核查性索赔选择程序的详细分析和对最先进的索赔检测数据集的分析，可核查性被定义为具有时空和上下文相关价值的概念，并且需要验证其传达的客观性的正确性。这与个人根据先前的知识和信念对索赔的感知真实性的判断无关。关于当前数据集的特点，有人认为，数据不仅是高度不平衡和噪音，而且在范围和语言上过于有限。此外，我们认为，检查价值的主观概念可能不是一个合适的过滤器索赔检测。
2020-08-20 cs.CL
LLM-Enhanced Multiple Instance Learning for Joint Rumor and Stance Detection with Social Context Information
Hong Kong Baptist University（香港浸会大学）；Singapore Management University（新加坡管理大学）
针对现有立场检测需昂贵帖子级标注的问题，提出LLM增强的多实例学习弱监督方法，联合检测谣言与立场，实验验证其有效性及与最优方法相比的良好性能。
2025-02-13 cs.CL
Towards Automated Factchecking: Developing an Annotation Schema and Benchmark for Consistent Automated Claim Detection
Full Fact；University of Warwick（华威大学）；Queen Mary University of London（伦敦玛丽女王大学）
为了在事实核查过程中帮助事实核查人员，我们解决了索赔检测任务，这是确定索赔真实性之前的必要阶段之一。它包括从一个长文本中识别出一组被认为能够进行事实核查的句子。这篇论文是一个独立的事实核查慈善机构Full Fact和学术合作伙伴之间的合作作品。利用专业事实检查员的专业知识，我们开发了一个注释模式和一个自动化索赔检测的基准，它在时间、主题和注释者之间比以前的方法更加一致。我们的注释模式已被用于众包注释的数据集与英国政治电视节目的句子。我们引入了一种基于通用句子表示的方法来执行分类，实现了0.83的F1得分，与最先进的方法ClaimBuster和ClaimRank相比，相对提高了5%以上。该系统已投入生产，并收到了积极的用户反馈。
2020-08-17 cs.CL
Large Language Model Agent for Fake News Detection
Northwestern University（西北大学）；Rutgers University（罗格斯大学）
本文提出FactAgent，一种无需训练、通过结构化工作流程让大语言模型模拟人类专家分步骤核查新闻声明的智能体方法，兼具高效性、透明解释性和跨领域适应性。
2024-04-30 cs.AI cs.CL cs.IR
HerO at AVeriTeC: The Herd of Open Large Language Models for Verifying Real-World Claims
Soongsil University（崇实大学）；Adobe Research（奥多比研究院）；MAUM AI Inc.（MAUM人工智能公司）
HerO 系统仅用公开大语言模型完成事实核查全流程，通过生成假设文档增强检索并提示 LLMs 进行问题生成与真实性预测，在 AVeriTeC 任务中以 0.57 分获第二名。
2024-10-20 cs.CL cs.CY
