MEVER: Multi-Modal and Explainable Claim Verification with Graph-based Evidence Retrieval
University of Sheffield（谢菲尔德大学）；University of Science and Technology Beijing（北京科技大学）；University of California San Diego（加州大学圣地亚哥分校）；The Pennsylvania State University（宾夕法尼亚州立大学）
MEVER通过多模态图检索和解释生成，实现了准确且可解释的声明验证，同时创建了AI领域的科学数据集AIChartClaim。
2026-02-10 cs.CL
SCITAB: A Challenging Benchmark for Compositional Reasoning and Claim Verification on Scientific Tables
National University of Singapore（新加坡国立大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Sea AI Lab（Sea人工智能实验室）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对现有科学事实核查基准的偏差和过度依赖文本证据的问题，提出包含1.2K条专家验证声明的SCITAB基准，要求基于科学表格进行组合推理验证，实验表明现有先进模型在该任务上面临重大挑战。
2023-10-23 cs.AI cs.CL
SciClaimHunt: A Large Dataset for Evidence-based Scientific Claim Verification
International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）
针对科学声明验证缺乏大规模数据集的问题，本文构建源自科研论文的 SciClaimHunt 与 SciClaimHunt_Num，并通过基线模型、跨数据集评测、人工评估和错误分析验证其可靠性。
2025-02-14 cs.CL
HiFACTMix: A Code-Mixed Benchmark and Graph-Aware Model for EvidenceBased Political Claim Verification in Hinglish
Amity University（阿米提大学）
针对Hinglish语码混合政治主张验证的挑战，提出了包含1,500条真实主张的HiFACT基准，并构建了结合图感知与检索增强的事实核查模型，在准确率上超越基线并提供忠实解释。
2025-08-04 cs.AI cs.CL
FaVIQ: FAct Verification from Information-seeking Questions
Allen Institute of AI（艾伦人工智能研究所）；Korea University（高丽大学）；University of Washington（华盛顿大学）
尽管人们对开发通用事实检查模型有很大的兴趣，但要构建一个具有现实真实世界声明的大规模事实验证数据集仍然具有挑战性。现有的声明要么是由众包工作者撰写的，从而引入了难以控制的微妙偏见，要么是由专业事实核查人员手动验证，导致它们昂贵且规模有限。在本文中，我们构建了一个名为FAVIQ的大规模具有挑战性的事实验证数据集，该数据集由来自现有的模糊信息搜索问题语料库的188k索赔组成。问题中的模糊性使得能够自动构建反映用户困惑的真实和虚假声明（例如，电影拍摄的年份与上映的年份）。FAVIQ中的声明被证实是自然的，包含很少的词汇偏见，并需要对证据的全面理解进行验证。我们的实验表明，最先进的模型远远不能解决我们的新任务。此外，对我们的数据进行训练有助于专业的事实检查，比在广泛使用的数据集FEVER或域内数据上训练的模型的绝对性能高出17%。总而言之，我们的数据将成为自然语言理解的一个具有挑战性的基准，并支持专业事实核查的未来进展。
2022-03-15 cs.AI cs.CL
QMUL-SDS at SCIVER: Step-by-Step Binary Classification for Scientific Claim Verification
Queen Mary University of London（伦敦玛丽女王大学）
科学声明验证是一个独特的挑战，正吸引越来越多的兴趣。SCIVER共享任务提供了一个基准场景，用于测试和比较参与团队的声明验证方法，包括三个步骤：相关摘要选择，理由选择和标签预测。在本文中，我们提出了团队QMUL-SDS的参与共享任务。我们提出了一种方法，通过逐步进行二进制分类来执行科学声明验证。我们训练了一个BioBERT大型分类器，根据每个<claim，title of the abstract>的成对相关性评估来选择摘要，并继续训练它，根据<claim，sentence>从每个检索到的摘要中选择理由。然后，我们提出了一个两步的标签预测设置，即首先预测“NOT_ENOUGH_INFO”或“ENOUGH_INFO”，然后将那些标记为“ENOUGH_INFO”的标签标记为“SUPPORT”或“SUPPORT DICT”。与基线系统相比，我们在开发集上实现了实质性的改进。结果，我们队是排行榜上的第四名。
2021-04-23 cs.CL
What Do Claim Verification Datasets Actually Test? A Reasoning Trace Analysis
University of Pennsylvania（宾夕法尼亚大学）
研究通过分析24K个验证案例的推理轨迹，发现数据集主要测试直接证据提取，而多句综合和数值推理不足，不同领域存在显著偏差，提出改进评估体系的建议。
2026-04-02 cs.CL
A Claim Decomposition Benchmark for Long-form Answer Verification
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
针对LLM回复事实性验证中声明识别被忽视的问题，提出声明分解基准CACDD及标注流程，并提供多种LLM基线实验。
2024-10-16 cs.AI cs.CL
COVID-Fact: Fact Extraction and Verification of Real-World Claims on COVID-19 Pandemic
Columbia University（哥伦比亚大学）
我们引入了一个类似FEVER的数据集COVID-Fact of $4,086$ claims about the COVID-19 pandemic.数据集包含声明、声明的证据以及被证据反驳的矛盾声明。与以前的方法不同，我们自动检测真正的索赔及其源文章，然后使用自动方法生成反诉，而不是采用人工注释。随着我们的构造资源，我们正式提出的任务，确定相关的证据索赔和验证证据是否反驳或支持给定的索赔。除了科学声明外，我们的数据还包含来自媒体来源的简化的一般声明，使其更适合检测有关COVID-19的一般错误信息。我们的实验表明，COVID-Fact将为新系统的开发提供一个具有挑战性的测试平台，我们的方法将降低构建用于检测错误信息的特定领域数据集的成本。
2021-06-07 cs.CL
Scientific Claim Verification with VERT5ERINI
David R. Cheriton School of Computer Science（David R. Cheriton计算机科学学院）；University of Waterloo（滑铁卢大学）
这项工作描述了一个预先训练的序列到序列模型的适应任务的科学主张验证在生物医学领域。我们提出了VERT 5ERINI，它利用T5进行摘要检索，句子选择和标签预测，这是索赔验证的三个关键子任务。我们在SCIFACT上评估了我们的管道，SCIFACT是一个新策划的数据集，它要求模型不仅要预测声明的准确性，还要从支持这一决定的科学文献语料库中提供相关句子。从经验上讲，我们的管道在三个步骤中的每一个都优于强大的基线。最后，我们展示了VERT 5ERINI使用来自不断扩展的CORD-19语料库的证据推广到两个新的COVID-19索赔数据集的能力。
2020-10-22 cs.CL cs.IR
Overview and Insights from the SciVer Shared Task on Scientific Claim Verification
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
我们概述了在NAACL 2021的第二届学术文档处理（SDP）研讨会上提出的SciVer共享任务。在这个共同的任务中，系统被提供了一个科学声明和一个研究摘要语料库，并被要求识别哪些文章支持或拒绝声明，以及提供证明这些标签的证据句子。11支团队共向共享任务排行榜提交了14份报告，导致主要任务评估指标提高了超过+23 F1。除了调查参与的系统，我们还提供了一些关于建模方法的见解，以支持科学声明验证这一重要而具有挑战性的任务的持续进展和未来研究。
2021-07-17 cs.CL
ChronoFact: Timeline-based Temporal Fact Verification
School of Computing（计算学院）；Institute of Data Science（数据科学研究所）；Centre for Trusted Internet and Community（可信互联网与社区中心）
本文提出基于时间线的时序事实验证框架，通过识别声明和证据中的事件并组织时间线，系统分析事件关系以预测声明真实性，同时引入复杂时序声明数据集提升验证效果。
2025-05-15 cs.CL
Comparing Knowledge Sources for Open-Domain Scientific Claim Verification
Technical University of Munich（慕尼黑工业大学）
本研究比较了开放域科学声明验证中不同知识来源与检索技术，发现PubMed适合专业生物医学声明，Wikipedia适合日常健康问题，BM25精度高而语义搜索召回率高。
2024-02-05 cs.AI cs.CL cs.IR
Table-Text Alignment: Explaining Claim Verification Against Tables in Scientific Papers
National Institute of Informatics, Japan（日本信息机构国家研究所）；The University of Tokyo, Japan（日本东京大学）；National Taiwan University（台湾国立大学）；JFLI, CNRS, Nantes Université, France（法国CNRS-纳antes大学联合研究所）
本文将科学论文中的表格-文本对齐重新构建为解释任务，构建了带单元格级别依据的SciTab扩展数据集，实验证明融入对齐信息能提升验证性能，并揭示多数LLM预测缺乏忠实推理。
2025-09-17 cs.CL
Peerify: Benchmarking Peer-Review Claim Verification
Reviewerly；University of Toronto（多伦多大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
Peerify构建了基于真实同行评审的800条声明基准，通过分解声明、检索证据并验证支持性，证明以检索为中心的验证优于蕴含模型，自动标签与人类共识高度一致。
2026-09-23 cs.CL cs.DL
AVeriTeC: A Dataset for Real-world Claim Verification with Evidence from the Web
University of Cambridge（剑桥大学）
针对现有自动事实验证数据集的诸多局限，本文提出包含4568条真实声明的AVeriTeC数据集，配套多轮标注规避常见问题并达成较高标注一致性，同时开发了基线模型与开放网络验证评估方案。
2023-11-08 cs.CL
FactKG: Fact Verification via Reasoning on Knowledge Graphs
KAIST（韩国科学技术院）；Amazon（亚马逊）
该论文提出FactKG数据集，包含108k条自然语言声明和五种推理类型，用于基于知识图谱的事实核查，并开发了基线方法，旨在提升可靠性和实用性。
2023-05-19 cs.AI cs.CL
Combining Fact Extraction and Verification with Neural Semantic Matching Networks
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
对错误信息的日益关注刺激了对自动事实核查的研究。最近发布的FEVER数据集引入了一个基准事实验证任务，要求系统使用维基百科文档中的证据句子来验证声明。在本文中，我们提出了一个连接的系统，由三个同质的神经语义匹配模型，进行文件检索，句子选择，并声称验证联合事实提取和验证。对于证据检索（文档检索和句子选择），与传统的向量空间IR模型不同，在传统的向量空间IR模型中，查询和源在一些预先设计的术语向量空间中进行匹配，我们开发了神经模型来从原始文本输入中进行深度语义匹配，假设没有中间术语表示，也无法访问结构化的外部知识库。我们还表明，浏览频率也可以帮助提高证据检索结果的性能，以后可以使用我们的神经语义匹配网络进行匹配。对于索赔验证，不像以前的方法，简单地饲料上游检索到的证据和索赔的自然语言推理（NLI）模型，我们进一步增强了NLI模型提供内部语义相关性分数（因此将其与证据检索模块）和本体论WordNet功能。在FEVER数据集上的实验表明，（1）我们的神经语义匹配方法优于流行的TF-IDF和编码器模型，在所有证据检索指标上都有显著的优势，（2）额外的相关性得分和WordNet特征通过更好的语义感知改进了NLI模型，（3）通过将所有三个子任务形式化为类似的语义匹配问题并在所有三个阶段进行改进，完整的模型能够在FEVER测试集上获得最先进的结果。
2018-11-16 cs.AI cs.CL
AVerImaTeC: A Dataset for Automatic Verification of Image-Text Claims with Evidence from the Web
University of Cambridge（剑桥大学）；Queen Mary University of London（伦敦大学玛丽女王学院）
该研究提出AVerImaTeC数据集，包含1,297条真实图文声明及带网络证据的问答对，通过规范化、时间约束和充分性检查缓解挑战，并建立验证基线。
2025-10-07 cs.CL
The Automated Verification of Textual Claims (AVeriTeC) Shared Task
Queen Mary University of London（伦敦玛丽女王大学）；University of Cambridge（剑桥大学）；Meta；King’s College London（伦敦国王学院）；Amazon AGI（亚马逊AGI）；KAIST（韩国科学技术院）
本文介绍AVeriTeC文本声明自动验证共享任务，说明其证据检索与真实性预测的任务要求、AVeriTeC评分规则，公布21份参赛作品中18份超基线、TUDA_MAI团队以63%得分获胜等结果及关键结论。
2024-10-31 cs.CL
RerrFact: Reduced Evidence Retrieval Representations for Scientific Claim Verification
University of Mannheim（曼海姆大学）；Thapar Institute of Engineering & Technology（塔帕尔工程技术学院）；Charles University（查理大学）
数字信息渠道的指数级增长和出版竞争使得科学错误信息比以往任何时候都更加普遍。然而，即使对研究人员来说，事实验证给定科学主张的任务也不是简单的。科学声明验证需要领域专家的深入知识和大量劳动，以证实来自可信科学来源的支持和反驳证据。SciFact数据集和相应的任务为社区提供了一个基准排行榜，通过从源摘要中提取和吸收相关的证据原理来开发自动科学声明验证系统。在这项工作中，我们提出了一种模块化方法，该方法可以像SciFact排行榜中那样对每个预测子任务依次进行二进制分类。我们简单的基于分类器的方法使用减少抽象表示检索相关的摘要。并进一步用于训练相应的理性选择模型。最后，我们进行了两步的立场预测，首先区分不相关的理由，然后确定支持或反驳的理由为给定的索赔。实验上，我们的系统RerrFact没有微调，简单的设计，和一小部分模型参数公平竞争的领先地位，对大规模，模块化和联合建模方法。我们在https://github.com/ashishrana160796/RerrFact上提供代码库。
2022-04-18 cs.CL
CFEVER: A Chinese Fact Extraction and VERification Dataset
本研究提出包含30012条人工标注声明的中文事实抽取与验证数据集CFEVER，标注一致性良好，经实验验证其可作为相关任务的严格基准，助力开发自动化事实核查系统。
2024-02-20 cs.AI cs.CL
FEVER: a large-scale dataset for Fact Extraction and VERification
University of Sheffield（谢菲尔德大学）；Amazon Research Cambridge（亚马逊剑桥研究院）
在本文中，我们介绍了一个新的公开可用的数据集对文本源，FEVER：事实提取和验证验证。它包括185，445个通过修改从维基百科提取的句子而产生的声明，随后在不知道它们来自的句子的情况下进行验证。在Fleiss $κ$中达到0.6841的注释者将声明分类为支持、反驳或NotEnoughInfo。对于前两类，注释者还记录了构成其判断必要证据的句子。为了描述所提出的数据集的挑战，我们开发了一种管道方法，并将其与适当设计的预言机进行比较。我们在标记一个伴随着正确证据的声明时达到的最佳准确率是31.87%，而如果我们忽略证据，则达到50.91%。因此，我们认为，FEVER是一个具有挑战性的测试平台，将有助于刺激针对文本来源的声明验证的进展。
2018-12-18 cs.CL
The Automatic Verification of Image-Text Claims (AVerImaTeC) Shared Task
University of Cambridge（剑桥大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出图像-文本主张自动验证共享任务，通过检索证据和验证真实主张，评估系统性能并展示最佳结果。
2026-02-26 cs.CL
Fact or Fiction? Improving Fact Verification with Knowledge Graphs through Simplified Subgraph Retrievals
University of Oslo（奥斯陆大学）
针对自然语言处理中事实验证的难题，研究提出基于知识图谱的高效声明验证方法，通过将证据检索从微调语言模型简化为逻辑检索，在FactKG数据集上实现了更低计算资源消耗与更高测试集准确率。
2024-08-14 cs.AI cs.CL cs.LG
Overview of CheckThat! 2020: Automatic Identification and Verification of Claims in Social Media
Università di Bologna（博洛尼亚大学）；Qatar University（卡塔尔大学）；Qatar Computing Research Institute, HBKU（卡塔尔计算研究所（哈马德·本·哈利法大学））；Sofia University “St Kliment Ohridski”（索菲亚大学“圣克莱门特·奥赫里德斯基”）
我们提出了第三版的CheckThat!在CLEF 2020的实验室。该实验室以两种不同语言（英语和阿拉伯语）的五个任务为特色。前四个任务组成了社交媒体中索赔验证的完整管道：任务1关于检查价值估计，任务2关于检索先前经过事实检查的索赔，任务3关于证据检索，任务4关于索赔验证。本实验完成了任务5，关于政治辩论和演讲中的检查价值评估。共有67支团队注册参加实验室（高于2019年CLEF的47支），其中23支团队实际提交了运行（而2019年CLEF为14支）。大多数团队使用基于BERT、LSTM或CNN的深度神经网络，并在所有任务的基线上取得了相当大的改进。在这里，我们描述了任务设置，评估结果，并总结了参与者使用的方法，我们讨论了一些经验教训。最后但并非最不重要的是，我们向研究社区发布了实验室的所有数据集以及评估脚本，这应该能够进一步研究检查价值估计和自动索赔验证等重要任务。
2020-07-15 cs.CL cs.IR cs.LG
Overview of the CLEF-2018 CheckThat! Lab on Automatic Identification and Verification of Political Claims. Task 1: Check-Worthiness
SiteGround；Amazon（亚马逊）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Qatar University（卡塔尔大学）；College of Humanities and Social Sciences, HBKU（哈马德·本·哈利法大学人文与社会科学学院）；Sofia University “St Kliment Ohridski”（索非亚大学“圣克里门特·奥赫里德斯基”）
我们现在概述了CLEF-2018 CheckThat！政治主张的自动识别和验证实验，重点是任务1：检查价值。这项任务要求预测政治辩论中的哪些主张应该优先进行事实核查。特别是，对于一场辩论或一场政治演讲，目标是根据其对事实核查的价值生成一个句子的排名列表。我们根据2016年美国总统竞选的辩论以及竞选期间和之后的一些演讲，以英语和阿拉伯语提供了这项任务。总共有30个团队注册参加实验，7个团队实际上提交了任务1的系统。参与者使用的最成功的方法依赖于循环和多层神经网络，以及分布表示的组合，匹配索赔词汇与词汇，以及句法依赖性的测量。最好的系统在英语和阿拉伯语测试数据集上分别达到了0.18和0.15的平均精度。这为进一步改进留下了很大的空间，因此我们发布了所有的数据集和评分脚本，这应该能够进一步研究检查价值评估。
2018-08-08 cs.CL
InSight: A Benchmark for Agentic Claim Verification in Interactive Visualizations
City, University of London（伦敦城市大学）；Imperial College London（帝国理工学院）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出InSight基准，用于交互式可视化中的智能体主张验证，含21349条主张，评估显示交互式验证仍是重大挑战，相关资源已发布。
2026-09-02 cs.CL cs.CV cs.HC
FEVEROUS: Fact Extraction and VERification Over Unstructured and Structured information
University of Cambridge（剑桥大学）；Amazon（亚马逊）；King’s College London（伦敦国王学院）；Facebook（脸书）
事实验证在机器学习和自然语言处理领域引起了广泛的关注，因为它是检测错误信息的关键方法之一。针对这一任务的现有大规模基准大多集中在文本来源，即非结构化信息，因此忽略了以结构化格式（如表格）提供的丰富信息。在本文中，我们介绍了一个新的数据集和基准，非结构化和结构化信息的事实提取和验证（FEVEROUS），其中包括87，026个经过验证的声明。每一个声明都以维基百科表格中的句子和/或单元格的形式标注了证据，以及一个标签，表明该证据是否支持、反驳或没有提供足够的信息来做出裁决。此外，我们详细介绍了我们为跟踪和最大限度地减少数据集中存在的偏差所做的努力，这些偏差可以被模型利用，例如能够在不使用证据的情况下预测标签。最后，我们开发了一个基线，用于验证文本和表格的索赔，预测18%的索赔的正确证据和判决。
2021-10-12 cs.CL
ClaimScope: Label-Blind Witness Verification for Mathematical Claim Auditing
本研究提出用于数学断言审计的基准ClaimScope，评估Qwen3-8B的验证性能，发现见证者检查器反馈可提升反例接受度与安全完成率，增益源于见证者结构修正。
2026-10-16 cs.AI cs.LG
Multi-Hop Fact Checking of Political Claims
University of Copenhagen（哥本哈根大学）
最近的工作提出了多跳模型和数据集，用于研究复杂的自然语言推理。需要多跳推理的一个值得注意的任务是事实检查，其中一组连接的证据片段导致索赔的最终判决。然而，现有的数据集要么不为黄金证据页提供注释，要么唯一的数据集（FEVER）主要由可以通过简单推理进行事实检查的声明组成，并且是人工构建的。在这里，我们研究了更复杂的索赔验证自然发生的索赔与多跳互连的证据块。我方：1）构建一个小型的注释数据集PolitiHop，用于验证声明的证据语句; 2）将其与现有的多跳数据集进行比较; 3）研究如何将知识从更广泛的域内和域外资源转移到PolitiHop。我们发现，该任务是复杂的，并实现了最佳性能的架构，具体模型推理的证据块结合域内迁移学习。
2021-06-01 cs.AI cs.CL cs.LG
CoverBench: A Challenging Benchmark for Complex Claim Verification
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
针对语言模型复杂推理输出的验证需求，本文引入CoverBench基准，该基准通过多样化领域、推理类型及标准化设计，经人工质量审核，提供竞争性基线结果，可用于评估复杂主张验证能力。
2024-11-26 cs.CL
A Benchmark for Open-Domain Numerical Fact-Checking Enhanced by Claim Decomposition
Stockholm University, Sweden（斯德哥尔摩大学，瑞典）；Delft University of Technology, Netherlands（代尔夫特理工大学，荷兰）
针对现有数值事实验证基准证据相关性低和时间泄漏问题，提出QuanTemp++数据集，通过模拟人类核查员的声明分解过程收集证据，并评估不同分解范式的检索与验证性能。
2025-10-24 cs.CL cs.IR
CoVer: Conflict-Aware Claim Verification
Tsinghua University（清华大学）；Tongji University（同济大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）；University of Luxembourg（卢森堡大学）；University of Washington（华盛顿大学）；Cornell University（康奈尔大学）；Beihang University（北京航空航天大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
针对社交媒体事实核查的证据级与聚合级冲突挑战，提出大规模数据集ContraNote及三阶段裁决框架CoVer，在多数据集上实现了优于基线的性能。
2026-09-02 cs.AI
Overview of the CLEF-2019 CheckThat!: Automatic Identification and Verification of Claims
Computer Science and Engineering Department, Qatar University（卡塔尔大学计算机科学与工程系）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；DIT, Università di Bologna（博洛尼亚大学DIT（此处DIT按原文保留，若需全称需更多上下文））；Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
我们提出了第二版的CheckThat！在CLEF 2019的实验室。该实验室以两种不同语言的两个任务为特色：英语和阿拉伯语。任务1（英语）要求参与系统预测政治辩论或演讲中的哪些主张应优先进行事实核查。任务2（阿拉伯语）要求（A）根据其对事实核查的有用性对一组给定的网页进行排名，（B）根据其对事实核查目标索赔的有用程度对这些相同的网页进行分类，（C）从这些网页中识别有用的段落，以及（D）使用有用的页面来预测索赔的真实性。CheckThat！该报告提供了一个完整的评价框架，包括英文数据（来自事实核查来源）和阿拉伯文数据（从头开始收集和注释），以及根据平均精度（MAP）和标准化折扣累积增益（nDCG）进行排名和F1分类的评价。共有47个团队注册参加了这个实验，其中14个团队实际上提交了运行（去年为9个）。评估结果表明，任务1的最成功的方法是使用各种神经网络和逻辑回归。对于任务2，子任务A的最高得分运行使用了学习排名，而其他子任务则使用了不同的分类器。我们向研究社区发布了实验室的所有数据集以及评估脚本，这应该能够进一步研究检查价值估计和自动索赔验证等重要任务。
2021-09-25 cs.AI cs.CL cs.IR
ClaimDiff: Comparing and Contrasting Claims on Contentious Issues
KAIST（韩国科学技术院）；Korea University（高丽大学）；NAVER AI Lab（NAVER人工智能实验室）；University of Richmond（里士满大学）
针对事实一致的主张间细微差异易误导读者的问题，本研究提出专注于主张对细微差异对比的新型数据集ClaimDiff，包含268篇新闻的2941对标注主张，发现强基线模型与人类表现差距超19%，助力读者无偏理解争议议题。
2023-06-11 cs.CL
PoxVerifi: An Information Verification System to Combat Monkeypox Misinformation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在最近的疫情爆发之后，与猴痘有关的错误信息继续在网上迅速传播。这对应对策略产生了负面影响，并在短期内对LGBTQ+社区造成了不成比例的伤害，最终破坏了公共卫生应对措施的整体有效性。为了打击猴痘相关的错误信息，我们提出了PoxVerifi，一个开源的，可扩展的工具，提供了一个全面的方法来评估猴痘相关索赔的准确性。利用现有事实核查来源的信息和世界卫生组织（WHO）公布的信息，我们创建了一个包含225项猴痘索赔的开源语料库。此外，我们训练了一个开源的基于BERT的机器学习模型，专门对猴痘信息进行分类，实现了96%的交叉验证准确率。PoxVerifi是Google Chrome浏览器扩展程序，旨在使用户能够浏览与monkeypox相关的错误信息。具体来说，PoxVerifi为用户提供了一个全面的工具包，可以评估互联网上任何网页上标题的真实性，而无需访问外部网站。用户可以从我们经过训练的机器学习模型中查看自动准确性审查，这是一个基于社区成员投票的用户生成的准确性审查，并能够查看类似的审查声明。除了PoxVerifi全面的索赔测试方法外，我们的平台还提供了一种高效且易于使用的方法，用于对猴痘相关索赔进行众包准确性评级，这些准确性评级可以汇总以创建新的标记错误信息数据集。
2022-09-09 cs.CL cs.LG cs.SI
Robust Claim Verification Through Fact Detection
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出FactDetect方法，通过LLMs提取并标注事实增强声明验证，在监督和零样本设置下分别提升F1分数15%和平均性能17.3%。
2024-07-25 cs.AI cs.CL
Claim Verification in the Age of Large Language Models: A Survey
George Mason University（乔治梅森大学）；University of Missouri-Columbia（密苏里大学哥伦比亚分校）；University of Copenhagen（哥本哈根大学）
本文综述大语言模型（LLMs）时代的主张验证研究，分析自动化验证需求背景，介绍基于LLM的方法及检索增强生成（RAG）等技术，详述验证流水线组件与公开英文数据集。
2025-02-11 cs.AI cs.CL
Not All Claims Are Equally Risky: FACTOR for Adaptive Verification in Factual Long-Form Generation
School of Electrical Engineering；Computer Science (SEECS), National University of Sciences
提出 FACTOR 方法，通过不确定性估计、自适应语言推理验证和候选重排序，在长文本生成中按声明级别风险分配验证资源，同时提高事实性和降低验证成本。
2026-06-23 cs.AI cs.CL
When Verification Fails: How Compositionally Infeasible Claims Escape Rejection
University of Pennsylvania（宾夕法尼亚大学）
本文探讨了现有验证基准无法区分严格验证与简单显著约束依赖的问题，通过构造组成不可行的主张，揭示了模型在验证中的固有瓶颈。
2026-04-13 cs.AI cs.CL
Optimizing Decomposition for Optimal Claim Verification
University of Notre Dame（诺丁汉大学）
针对长文本事实验证中分解与验证不匹配的问题，提出动态分解强化学习框架，利用验证器反馈优化分解策略，显著提升验证置信度和准确率。
2025-05-25 cs.AI cs.CL
MultiVerS: Improving scientific claim verification with weak supervision and full-document context
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
科学声明验证任务要求NLP系统标记支持或反驳输入声明的科学文档，并选择证明每个预测标签的证据句子（或理由）。在这项工作中，我们提出了MultiVerS，它预测了一个事实检查标签，并确定了理由，在一个多任务的方式的基础上共享编码的索赔和完整的文档上下文。这种方法实现了两个关键的建模目标。首先，它确保所有相关的上下文信息都被纳入每个标签决策。其次，它使模型能够从用文档级事实检查标签注释的实例中学习，但缺乏文档级的基本原理。这使得MultiVerS能够通过对使用高精度语法标记的科学文档进行训练来执行弱监督领域自适应。我们的方法在三个科学声明验证数据集上优于两个竞争基线，在零/Few-Shot领域自适应实验中表现特别出色。我们的代码和数据可在www.example.com上获得。
2022-05-09 cs.AI cs.CL
BiDeV: Bilateral Defusing Verification for Complex Claim Fact-Checking
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Nankai University（南开大学）；Baidu Inc.（百度公司）；Kunming University of Science and Technology（昆明理工大学）
BiDeV提出一种集成多角色LLM的双边消解验证框架，通过模糊消解与冗余消解处理复杂声明，在Hover和Feverous-s基准上取得最优性能。
2025-02-22 cs.AI cs.CL
Step-by-Step Fact Verification System for Medical Claims with Explainable Reasoning
Technical University of Munich（慕尼黑工业大学）；School of Computation, Information and Technology（计算、信息与技术学院）
针对医疗领域事实验证缺乏探索的问题，本研究将基于LLM的迭代式逐步验证系统应用于三个医疗数据集，通过多设置评估证明其性能优于传统方法，为领域专用验证提供新思路。
2025-02-20 cs.AI cs.CL
ToolSciVer: Multimodal Scientific Claim Verification with Visual Tool Augmented Reinforcement Learning
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Waterloo（滑铁卢大学）
研究多模态科学声明验证问题，提出ToolSciVer框架，为视觉语言模型配备三种类型感知视觉工具，用组相对策略优化训练策略，实验证明该方法在多模型上性能优于竞争基线。
2026-07-20 cs.AI cs.CL
Active PETs: Active Data Annotation Prioritisation for Few-Shot Claim Verification with Pattern Exploiting Training
Queen Mary University of London（伦敦玛丽女王大学）
为了减轻标签数据的稀缺性对事实核查系统的影响，我们专注于Few-Shot索赔验证。尽管最近通过提出先进的语言模型对Few-Shot分类进行了研究，但缺乏对数据注释优先级的研究，以提高对要标记的少数镜头的选择以获得最佳模型性能。我们提出了主动PET，一种新的加权方法，利用各种语言模型的基础上的模式开发训练（PET）模型的合奏，积极选择未标记的数据作为候选人的注释。使用主动PET进行Few-Shot数据选择，在两个技术事实检查数据集上使用六种不同的预训练语言模型，显示出与基线方法相比的一致改进。我们展示了Active PETs-o的进一步改进，它进一步集成了过采样策略。我们的方法可以有效地选择要标记的实例，其中未标记的数据丰富，但标记的资源有限，从而不断提高Few-Shot声明验证性能。我们的代码可用。
2022-10-11 cs.AI cs.CL
LOREN: Logic-Regularized Reasoning for Interpretable Fact Verification
ByteDance AI Lab（字节跳动人工智能实验室）
给定一个自然语言语句，如何在维基百科这样的大规模文本知识源中验证其真实性？大多数现有的神经模型在进行预测时，都没有给出错误声明的哪一部分出错的线索。在本文中，我们提出了LOREN，可解释的事实验证的方法。我们在短语级别上分解整个声明的验证，其中短语的准确性作为解释，并且可以根据逻辑规则聚合到最终判决中。LOREN的核心思想是将索赔短语准确性表示为三值潜变量，并通过聚集逻辑规则进行正则化。最终的索赔验证是基于所有潜在变量。因此，LOREN享有可解释性的额外好处-很容易解释它如何通过声明短语的准确性达到某些结果。在一个公共事实验证基准上的实验表明，LOREN与以前的方法相比具有竞争力，同时具有忠实和准确的可解释性。LOREN的资源可在https://github.com/jiangjiechen/LOREN上获得。
2021-12-09 cs.AI cs.CL
Stance Prediction and Claim Verification: An Arabic Perspective
Latynt
本文利用阿拉伯语语料库，探讨了语篇蕴涵在新闻声明验证和立场预测中的应用。公开可用的语料库有两个方面：一个版本由4，547个真实和虚假的声明组成，另一个版本由3，786对（声明，证据）组成。我们描述了创建语料库和注释过程的方法。使用引入的语料库，我们还开发了两个机器学习基线的两个建议的任务：索赔验证和立场预测。我们最好的模型利用预训练（BERT），在立场预测任务上达到76.7 F1，在声明验证任务上达到64.3 F1。我们的初步实验揭示了仅依赖于索赔文本的自动索赔验证的局限性。结果表明，虽然在预训练过程中学习的语言特征和世界知识对立场预测是有用的，但在没有上下文或证据的情况下，这种从预训练中学习的表示不足以验证索赔。
2020-05-21 cs.CL
MAPLE: Micro Analysis of Pairwise Language Evolution for Few-Shot Claim Verification
Queen Mary University of London（伦敦玛丽女王大学）
针对少样本声明验证监督数据有限的问题，提出MAPLE方法，借助小型seq2seq模型、新型语义度量及微观语言演化路径，利用无标注数据实现验证，在三个数据集上性能优于现有SOTA基线。
2024-01-29 cs.AI cs.CL cs.LG
DecomposeRL: Learning to Ask Useful, Informative, and Diverse Questions for Semi-Supervised, Traceable Claim Verification
Department of Computer Science and Electrical Engineering（计算机科学与电气工程系）
提出DecomposeRL框架，通过GRPO和多面奖励集成将声明分解为可追踪的子问题，在完全监督和半监督设置下实现高精度，且模型规模小4倍仍匹配大模型性能。
2026-05-27 cs.AI cs.CL cs.LG
FactLens: Benchmarking Fine-Grained Fact Verification
Megagon Labs（梅加贡实验室）；Adobe Inc.（Adobe公司）
本文提出细粒度事实验证基准FactLens，通过将复杂声明拆分为子声明进行单独验证，以解决LLM幻觉问题并提升验证精度，实验表明其自动化评估器与人类判断高度一致。
2025-05-30 cs.AI cs.CL cs.LG
DS@GT ARC at CheckThat! 2026: LLM-Based Trace Ranking and Grouped Reward Modeling for Multilingual Numerical Claim Verification
Georgia Institute of Technology（佐治亚理工学院）
针对多语言数值声明验证，探索基于大语言模型（LLM）的推理轨迹排序和分组奖励建模两种方法。LLM方法用LoRA微调验证器评分，还尝试子声明分解；奖励模型用TF-IDF及特征评分。结果显示LLM方法多数指标更优，阿拉伯语中AraBERT表现更佳且子声明分解未提升性能。
2026-07-29 cs.AI cs.CL
MArgE: Meshing Argumentative Evidence from Multiple Large Language Models for Justifiable Claim Verification
MArgE框架通过为多个大语言模型的证据构建形式化论证树，实现可辩护的声明验证，实验证明其性能优于单个模型及非结构化多模型辩论方法。
2025-08-04 cs.AI cs.CL
