The Automatic Verification of Image-Text Claims (AVerImaTeC) Shared Task
University of Cambridge（剑桥大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出图像-文本主张自动验证共享任务，通过检索证据和验证真实主张，评估系统性能并展示最佳结果。
2026-02-26 cs.CL
Frame-Guided Synthetic Claim Generation for Automatic Fact-Checking Using High-Volume Tabular Data
本文提出基于框架的合成声明生成方法，利用大规模表格数据提升自动事实核查的准确性与挑战性。
2026-01-23 cs.CL
COVID-Fact: Fact Extraction and Verification of Real-World Claims on COVID-19 Pandemic
Columbia University（哥伦比亚大学）
我们引入了一个类似FEVER的数据集COVID-Fact of $4,086$ claims about the COVID-19 pandemic.数据集包含声明、声明的证据以及被证据反驳的矛盾声明。与以前的方法不同，我们自动检测真正的索赔及其源文章，然后使用自动方法生成反诉，而不是采用人工注释。随着我们的构造资源，我们正式提出的任务，确定相关的证据索赔和验证证据是否反驳或支持给定的索赔。除了科学声明外，我们的数据还包含来自媒体来源的简化的一般声明，使其更适合检测有关COVID-19的一般错误信息。我们的实验表明，COVID-Fact将为新系统的开发提供一个具有挑战性的测试平台，我们的方法将降低构建用于检测错误信息的特定领域数据集的成本。
2021-06-07 cs.CL
Task-Oriented Automatic Fact-Checking with Frame-Semantics
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
该研究提出利用框架语义的任务导向型自动事实核查范式，构建PolitiFact试点数据集并开展两项案例研究，证明框架语义可提升证据检索与可解释性，还识别出高影响力框架以指导未来工作。
2025-08-20 cs.CL
PEDANTIC: A Dataset for the Automatic Examination of Definiteness in Patent Claims
Bosch Center for AI（博世人工智能中心）；University of Augsburg（奥斯堡大学）
本文提出PEDANTIC数据集，含14k条带不确定性原因标注的美国专利权利要求，并验证了基于LLM的自动化标注流程，为专利审查自动化提供资源。
2025-06-18 cs.CL
Overview of the CLEF-2018 CheckThat! Lab on Automatic Identification and Verification of Political Claims. Task 1: Check-Worthiness
SiteGround；Amazon（亚马逊）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Qatar University（卡塔尔大学）；College of Humanities and Social Sciences, HBKU（哈马德·本·哈利法大学人文与社会科学学院）；Sofia University “St Kliment Ohridski”（索非亚大学“圣克里门特·奥赫里德斯基”）
我们现在概述了CLEF-2018 CheckThat！政治主张的自动识别和验证实验，重点是任务1：检查价值。这项任务要求预测政治辩论中的哪些主张应该优先进行事实核查。特别是，对于一场辩论或一场政治演讲，目标是根据其对事实核查的价值生成一个句子的排名列表。我们根据2016年美国总统竞选的辩论以及竞选期间和之后的一些演讲，以英语和阿拉伯语提供了这项任务。总共有30个团队注册参加实验，7个团队实际上提交了任务1的系统。参与者使用的最成功的方法依赖于循环和多层神经网络，以及分布表示的组合，匹配索赔词汇与词汇，以及句法依赖性的测量。最好的系统在英语和阿拉伯语测试数据集上分别达到了0.18和0.15的平均精度。这为进一步改进留下了很大的空间，因此我们发布了所有的数据集和评分脚本，这应该能够进一步研究检查价值评估。
2018-08-08 cs.CL
Generating Literal and Implied Subquestions to Fact-check Complex Claims
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
复杂的政治主张是一项具有挑战性的任务，特别是当政客们使用各种策略巧妙地歪曲事实时。自动事实核查系统在这一点上做得不够，它们的预测，比如“半真”，在孤立的情况下并不是很有用，因为我们不知道声明的哪些部分是真的，哪些不是。在这项工作中，我们专注于将一个复杂的索赔分解为一组全面的是非子问题，其答案影响索赔的准确性。我们提出了ClaimDecomp，一个包含1000多个索赔的分解数据集。给定一个声明及其由事实检查员编写的验证段落，我们训练有素的注释者编写的子问题涵盖了原始声明的明确主张及其隐含方面，例如询问改变我们对声明真实性的看法的额外政治背景。我们研究了最先进的模型是否可以生成这样的子问题，表明这些模型可以生成合理的问题，但是在没有证据的情况下从原始声明中预测一组完整的子问题仍然具有挑战性。我们进一步表明，这些子问题可以帮助识别相关证据，以事实检查完整的索赔，并通过他们的答案得出的真实性，这表明他们可以是一个事实检查管道的有用部分。
2022-11-01 cs.CL
Claim Extraction in Biomedical Publications using Deep Discourse Model and Transfer Learning
University of Pennsylvania（宾夕法尼亚大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Syracuse University（雪城大学）
主张是科学论述的基本单位。科学出版物数量的指数增长使得自动索赔提取成为研究人员的一个重要问题，他们被这种信息过载所淹没。这种自动化的索赔提取系统对于人工和程序化探索科学知识都是有用的。在本文中，我们介绍了一个新的数据集，其中包含来自生物医学领域的1,500篇科学摘要，每个句子都有专家注释，表明该句子是否提出了科学主张。我们介绍了一种新的索赔提取模型，并将其与几种基线模型进行了比较，包括基于规则的技术和深度学习技术。此外，我们表明，使用带有微调步骤的迁移学习方法可以提高大型话语注释数据集的性能。与没有迁移学习的基线模型相比，我们的最终模型将F1分数提高了14个百分点以上。我们发布了一个可公开访问的工具，用于话语和索赔预测以及注释工具。我们讨论了生物医学文献之外的进一步应用。
2020-01-16 cs.CL
RedHOT: A Corpus of Annotated Medical Questions, Experiences, and Claims on Social Media
Northeastern University（东北大学）；Accenture AI Labs（埃森哲人工智能实验室）
我们介绍了Reddit健康在线谈话（RedHOT），这是一个语料库，包含来自Reddit的22，000个注释丰富的社交媒体帖子，涵盖24种健康状况。注释包括与医疗索赔、个人经历和问题相对应的跨度界限。我们收集有关已识别声明的其他粒度注释。具体来说，我们标记描述患者人群、干预措施和结局（PIO元素）的片段。使用这个语料库，我们介绍了检索与社交媒体上的给定声明相关的可信证据的任务。我们提出了一种新的方法来自动获得（嘈杂）监督这项任务，我们用训练一个稠密检索模型，这优于基线模型。由医生进行的检索结果的手动评估表明，虽然我们的系统性能是有前途的，有相当大的改进空间。收集的注释（和组装数据集的脚本）可在https://github.com/sominw/redhot上获得。
2023-02-07 cs.CL
RerrFact: Reduced Evidence Retrieval Representations for Scientific Claim Verification
University of Mannheim（曼海姆大学）；Thapar Institute of Engineering & Technology（塔帕尔工程技术学院）；Charles University（查理大学）
数字信息渠道的指数级增长和出版竞争使得科学错误信息比以往任何时候都更加普遍。然而，即使对研究人员来说，事实验证给定科学主张的任务也不是简单的。科学声明验证需要领域专家的深入知识和大量劳动，以证实来自可信科学来源的支持和反驳证据。SciFact数据集和相应的任务为社区提供了一个基准排行榜，通过从源摘要中提取和吸收相关的证据原理来开发自动科学声明验证系统。在这项工作中，我们提出了一种模块化方法，该方法可以像SciFact排行榜中那样对每个预测子任务依次进行二进制分类。我们简单的基于分类器的方法使用减少抽象表示检索相关的摘要。并进一步用于训练相应的理性选择模型。最后，我们进行了两步的立场预测，首先区分不相关的理由，然后确定支持或反驳的理由为给定的索赔。实验上，我们的系统RerrFact没有微调，简单的设计，和一小部分模型参数公平竞争的领先地位，对大规模，模块化和联合建模方法。我们在https://github.com/ashishrana160796/RerrFact上提供代码库。
2022-04-18 cs.CL
Overview of CheckThat! 2020: Automatic Identification and Verification of Claims in Social Media
Università di Bologna（博洛尼亚大学）；Qatar University（卡塔尔大学）；Qatar Computing Research Institute, HBKU（卡塔尔计算研究所（哈马德·本·哈利法大学））；Sofia University “St Kliment Ohridski”（索菲亚大学“圣克莱门特·奥赫里德斯基”）
我们提出了第三版的CheckThat!在CLEF 2020的实验室。该实验室以两种不同语言（英语和阿拉伯语）的五个任务为特色。前四个任务组成了社交媒体中索赔验证的完整管道：任务1关于检查价值估计，任务2关于检索先前经过事实检查的索赔，任务3关于证据检索，任务4关于索赔验证。本实验完成了任务5，关于政治辩论和演讲中的检查价值评估。共有67支团队注册参加实验室（高于2019年CLEF的47支），其中23支团队实际提交了运行（而2019年CLEF为14支）。大多数团队使用基于BERT、LSTM或CNN的深度神经网络，并在所有任务的基线上取得了相当大的改进。在这里，我们描述了任务设置，评估结果，并总结了参与者使用的方法，我们讨论了一些经验教训。最后但并非最不重要的是，我们向研究社区发布了实验室的所有数据集以及评估脚本，这应该能够进一步研究检查价值估计和自动索赔验证等重要任务。
2020-07-15 cs.CL cs.IR cs.LG
Towards Effective Rebuttal: Listening Comprehension using Corpus-Wide Claim Mining
IBM Research（IBM研究院）
参与现场辩论需要，除其他外，有效地反驳你的对手所声称的论点的能力。特别是，这需要确定这些参数。在这里，我们建议通过自动挖掘包含数十亿句子的新闻文章语料库中的声明，并在给定的演讲中搜索它们来做到这一点。这就提出了一个问题，即这些主张是否确实与口头演讲中提出的主张相对应。为此，我们收集了一个大的数据集的$400$演讲在英语讨论$200$有争议的话题，挖掘每个主题的索赔，并要求注释者确定挖掘索赔中提到的每个演讲。结果表明，在绝大多数的演讲中，辩论者确实使用了这种说法。此外，我们提出了几个基线的自动检测开采索赔的讲话，形成未来工作的基础。所有收集的数据都可免费用于研究。
2019-07-27 cs.AI cs.CL cs.LG
Automatic Fact-Checking Using Context and Discourse Information
我们研究自动事实核查的问题，特别注意语境和话语信息的影响。我们解决两个相关的任务：（i）检测值得检查的索赔，（ii）事实检查索赔。我们开发基于神经网络，基于内核的支持向量机，以及它们的组合，它利用丰富的输入表示的话语线索和上下文特征的监督系统。对于检查价值估计任务，我们专注于政治辩论，我们在参与者的全面干预以及辩论中的前一轮和后一轮的背景下对目标主张进行建模，同时考虑到上下文Meta信息。对于事实检查任务，我们专注于社区论坛中的答案验证，并且我们针对整个问题-答案线程以及整个论坛中的其他相关帖子对答案的真实性进行建模。我们为这两项任务开发了带注释的数据集，并进行了广泛的实验评估，证实了这两种类型的信息-尤其是上下文特征-发挥了重要作用。
2019-08-04 cs.AI cs.CL
Argument Identification in Public Comments from eRulemaking
FiscalNote Research（FiscalNote研究院）
美国的行政机关在电子规则制定过程中，每年收到数百万条关于拟议的机关行动的意见。这些评论代表了支持和反对这些建议的各种论点。虽然要求各机构查明实质性评论并作出回应，但它们一直在努力跟上信息量的步伐。在这项工作中，我们解决的任务，确定论证文本，分类类型的论点索赔，并确定立场的评论。首先，我们提出了一个分类的论点索赔的基础上分析了数以千计的规则和数以百万计的评论。其次，我们收集并半自动地引导注释，以创建一个包含数百万个句子的数据集，并在句子级别上使用论点声明类型注释。第三，我们建立了一个系统，自动确定论证跨度和索赔类型，使用我们提出的分类在一个层次分类模型。
2019-05-14 cs.CL cs.LG
Overview of the CLEF-2019 CheckThat!: Automatic Identification and Verification of Claims
Computer Science and Engineering Department, Qatar University（卡塔尔大学计算机科学与工程系）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；DIT, Università di Bologna（博洛尼亚大学DIT（此处DIT按原文保留，若需全称需更多上下文））；Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
我们提出了第二版的CheckThat！在CLEF 2019的实验室。该实验室以两种不同语言的两个任务为特色：英语和阿拉伯语。任务1（英语）要求参与系统预测政治辩论或演讲中的哪些主张应优先进行事实核查。任务2（阿拉伯语）要求（A）根据其对事实核查的有用性对一组给定的网页进行排名，（B）根据其对事实核查目标索赔的有用程度对这些相同的网页进行分类，（C）从这些网页中识别有用的段落，以及（D）使用有用的页面来预测索赔的真实性。CheckThat！该报告提供了一个完整的评价框架，包括英文数据（来自事实核查来源）和阿拉伯文数据（从头开始收集和注释），以及根据平均精度（MAP）和标准化折扣累积增益（nDCG）进行排名和F1分类的评价。共有47个团队注册参加了这个实验，其中14个团队实际上提交了运行（去年为9个）。评估结果表明，任务1的最成功的方法是使用各种神经网络和逻辑回归。对于任务2，子任务A的最高得分运行使用了学习排名，而其他子任务则使用了不同的分类器。我们向研究社区发布了实验室的所有数据集以及评估脚本，这应该能够进一步研究检查价值估计和自动索赔验证等重要任务。
2021-09-25 cs.AI cs.CL cs.IR
MultiFC: A Real-World Multi-Domain Dataset for Evidence-Based Fact Checking of Claims
University of Copenhagen（哥本哈根大学）
我们贡献了自然发生的事实索赔的最大公开数据集，用于自动索赔验证。它是从26个英文事实核查网站收集的，与文本来源和丰富的元数据配对，并由人类专家记者标记准确性。我们对数据集进行了深入分析，突出了特征和挑战。此外，我们提出了自动准确性预测的结果，既有既定的基线，也有一种新的方法，用于证据页面的联合排名和预测准确性，优于所有基线。通过对证据进行编码和对元数据进行建模，实现了显著的性能提升。我们表现最好的模型达到了49.2%的宏观F1，这表明这是一个具有挑战性的索赔准确性预测测试平台。
2019-10-21 cs.CL cs.IR cs.LG
Determining Relative Argument Specificity and Stance for Complex Argumentative Structures
Cornell University（康奈尔大学）；Amazon（亚马逊）
用于自动论点生成和辩论的系统需要以下能力：（1）确定论点中所采用的任何主张的立场，以及（2）评估每个主张相对于论点上下文的特异性。然而，现有的工作对理解主张的特异性和立场，一直局限于研究的论证结构是相对较浅的，最经常的是由一个单一的主张，直接支持或反对的论点。在本文中，我们处理这些任务的背景下，复杂的参数上的一组不同的主题。特别是，我们的数据集由741个有争议的主题的人工策划的论点树组成，涵盖95，312个独特的主张;论点线通常是深度2到6。我们发现，随着一对索赔之间的距离沿参数路径增加，确定一对索赔的相对特异性变得更容易，确定他们的相对立场变得更难。
2019-06-26 cs.AI cs.CL
Zero-shot Fact Verification by Claim Generation
NUS Graduate School for Integrative Sciences and Engineering（新加坡国立大学综合科学与工程研究生院）；National University of Singapore（新加坡国立大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
用于自动事实验证的神经模型已经取得了令人鼓舞的结果，这要归功于大型人工注释数据集的可用性。然而，对于每个需要事实验证的新领域，通过手动编写声明并将其链接到支持证据来创建数据集是昂贵的。我们开发QACG，一个框架，用于训练一个强大的事实验证模型，通过使用自动生成的索赔，可以支持，反驳，或无法从维基百科的证据验证。QACG从证据中生成问答对，然后将它们转换为不同类型的声明。FEVER数据集上的实验表明，我们的QACG框架显着降低了对人类注释的训练数据的需求。在zero-shot场景中，QACG将RoBERTa模型的F1从50%提高到77%，性能相当于2K+手动策划的示例。我们的QACG代码是公开的。
2021-05-31 cs.AI cs.CL
Matter-of-Fact: A Benchmark for Verifying the Feasibility of Literature-Supported Claims in Materials Science
University of Arizona（亚利桑那大学）；Allen Institute for Artificial Intelligence（人工智能 Allen 机构）
本文提出 Matter-of-Fact 基准，将材料科学假设可行性评估转化为基于回测的声明验证任务，包含 8.4k 条声明，并证明现有强基线性能不足 72%，而专家验证显示任务几乎可解，表明该任务对加速科学发现具有挑战性和潜力。
2025-09-19 cond-mat.mtrl-sci cs.AI cs.CL
A Benchmark for Open-Domain Numerical Fact-Checking Enhanced by Claim Decomposition
Stockholm University, Sweden（斯德哥尔摩大学，瑞典）；Delft University of Technology, Netherlands（代尔夫特理工大学，荷兰）
针对现有数值事实验证基准证据相关性低和时间泄漏问题，提出QuanTemp++数据集，通过模拟人类核查员的声明分解过程收集证据，并评估不同分解范式的检索与验证性能。
2025-10-24 cs.CL cs.IR
Monant Medical Misinformation Dataset: Mapping Articles to Fact-Checked Claims
Kempelen Institute of Intelligent Technologies（凯普伦智能技术研究所）；Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）
虚假信息对个人乃至整个社会都有重大的负面影响。特别是在当前的COVID-19时代，我们目睹了医疗错误信息的前所未有的增长。为了用机器学习方法来帮助解决这个问题，我们发布了一个功能丰富的数据集，大约有100个机器学习算法。317 k医学新闻文章/博客和3.5k事实核查索赔。它还包含573个手动和超过51 k个自动标记的声明和文章之间的映射。映射包括声明存在，即，声明是否包含在给定的文章中，以及文章对声明的立场。我们为这两个任务提供了几个基线，并在数据集的手动标记部分对其进行评估。该数据集支持许多与医疗错误信息相关的额外任务，例如错误信息表征研究或来源之间错误信息扩散的研究。
2022-04-26 cs.CL cs.CY cs.IR
Check-COVID: Fact-Checking COVID-19 News Claims with Scientific Evidence
Columbia University（哥伦比亚大学）；Northwestern University（西北大学）
本文提出 Check-COVID 事实核查基准，用科学文献证据验证 COVID-19 新闻声明，并通过实验表明域内数据对提升自动核查性能至关重要。
2023-05-29 cs.AI cs.CL cs.CY
FaVIQ: FAct Verification from Information-seeking Questions
Allen Institute of AI（艾伦人工智能研究所）；Korea University（高丽大学）；University of Washington（华盛顿大学）
尽管人们对开发通用事实检查模型有很大的兴趣，但要构建一个具有现实真实世界声明的大规模事实验证数据集仍然具有挑战性。现有的声明要么是由众包工作者撰写的，从而引入了难以控制的微妙偏见，要么是由专业事实核查人员手动验证，导致它们昂贵且规模有限。在本文中，我们构建了一个名为FAVIQ的大规模具有挑战性的事实验证数据集，该数据集由来自现有的模糊信息搜索问题语料库的188k索赔组成。问题中的模糊性使得能够自动构建反映用户困惑的真实和虚假声明（例如，电影拍摄的年份与上映的年份）。FAVIQ中的声明被证实是自然的，包含很少的词汇偏见，并需要对证据的全面理解进行验证。我们的实验表明，最先进的模型远远不能解决我们的新任务。此外，对我们的数据进行训练有助于专业的事实检查，比在广泛使用的数据集FEVER或域内数据上训练的模型的绝对性能高出17%。总而言之，我们的数据将成为自然语言理解的一个具有挑战性的基准，并支持专业事实核查的未来进展。
2022-03-15 cs.AI cs.CL
A Context-Aware Approach for Detecting Check-Worthy Claims in Political Debates
Sofia University “St. Kliment Ohridski”（索非亚大学“圣克里门特·奥赫里德斯基”）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
在调查性新闻的背景下，我们解决的问题，自动识别在给定的文件中的索赔是最有价值的，应该优先进行事实核查。尽管它的重要性，这是一个相对研究不足的问题。因此，我们创建了一个新的政治辩论数据集，其中包含已经由九个有信誉的来源进行事实检查的声明，我们训练机器学习模型来预测哪些主张应该优先进行事实检查，即，我们将该问题建模为排序任务。与以前的工作，主要是孤立地看句子，在本文中，我们专注于一个丰富的输入表示建模的背景下：目标语句和更大的辩论背景之间的关系，对手之间的互动，由主持人和公众的反应。我们的实验显示了最先进的结果，在一定程度上超过了强大的竞争系统，同时也证实了上下文信息的重要性。
2019-12-14 cs.CL cs.IR cs.LG
CiteME: Can Language Models Accurately Cite Scientific Claims?
Tübingen AI Center, University of Tübingen（蒂宾根大学蒂宾根人工智能中心）；University of Cambridge（剑桥大学）；Princeton University（普林斯顿大学）
本研究构建了评估大语言模型科学引用归因能力的基准CiteME，发现前沿模型准确率远低于人类，进而推出带论文搜索阅读功能的CiteAgent系统提升了准确率，为开放式主张归因研究提供了测试平台。
2024-11-03 cs.AI cs.CL cs.HC
That is a Known Lie: Detecting Previously Fact-Checked Claims
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Sofia University（索非亚大学）
最近“假新闻”的泛滥引发了一系列反应，最值得注意的是出现了几项人工事实核查举措。因此，随着时间的推移，大量经过事实核查的声明已经积累起来，这增加了社交媒体上的新声明或政治家的新声明可能已经被一些可信的事实核查组织进行了事实核查的可能性，因为病毒式声明经常在社交媒体上出现一段时间后，政客们喜欢一遍又一遍地重复他们最喜欢的声明，无论是真是假。由于人工事实核查非常耗时（而全自动事实核查存在可信度问题），因此必须尽量节省这方面的工作，避免在已经经过事实核查的索赔上浪费时间。有趣的是，尽管这项任务很重要，但到目前为止，它在很大程度上被研究界所忽视。在这里，我们的目标是弥合这一差距。特别是，我们制定的任务，我们讨论它如何涉及到，但也不同于，以前的工作。我们进一步创建了一个专门的数据集，并将其发布给研究社区。最后，我们提出了学习排名的实验，证明了相当大的改进，国家的最先进的检索和文本相似性的方法。
2020-05-12 cs.CL cs.IR cs.LG
Fact or Fiction? Improving Fact Verification with Knowledge Graphs through Simplified Subgraph Retrievals
University of Oslo（奥斯陆大学）
针对自然语言处理中事实验证的难题，研究提出基于知识图谱的高效声明验证方法，通过将证据检索从微调语言模型简化为逻辑检索，在FactKG数据集上实现了更低计算资源消耗与更高测试集准确率。
2024-08-14 cs.AI cs.CL cs.LG
Verifying Claims About Metaphors with Large-Scale Automatic Metaphor Identification
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）
本文利用Common Crawl语料和自动隐喻检测，大规模验证动词隐喻的语言学论断，发现隐喻动词的直接宾语在具体性、可意象性和熟悉度上更低，且更常出现在情感与主观句中。
2024-04-01 cs.CL
Automatic Claim Review for Climate Science via Explanation Generation
School of Computing and Information Systems（计算与信息系统学院）；The University of Melbourne（墨尔本大学）
科学界对人类引起的气候变化有一致的看法。尽管如此，我们看到网络上充斥着关于气候变化怀疑论的主张，从而推动了对事实核查的需要，但同时也为事实核查提供了解释和理由。科学家和专家一直试图通过为这些说法提供手动书面反馈来解决这个问题。在本文中，我们试图帮助他们自动生成的解释预测的准确性标签的索赔部署的方法在开放领域的融合问答在解码器增强检索支持通道从外部知识。我们用不同的知识来源，检索器，检索器深度进行实验，并证明即使是少量的高质量手动编写的解释也可以帮助我们生成良好的解释。
2021-07-30 cs.CL
ViClaim: A Multilingual Multilabel Dataset for Automatic Claim Detection in Videos
Zurich University of Applied Sciences（苏黎世应用科学大学）；UNED NLP & IR Group（UNED自然语言处理与信息检索组）
针对视频内容错误信息检测缺失，构建多语言多标签数据集ViClaim，含1798个视频转录，标注三类声明，实验验证多语言模型性能并揭示泛化挑战。
2025-10-10 cs.CL
Taking a Stance on Fake News: Towards Automatic Disinformation Assessment via Deep Bidirectional Transformer Language Models for Stance Detection
University of Waterloo（滑铁卢大学）
在过去十年中，社交媒体和数字新闻的指数级增长带来了不幸的后果，加剧了联合国所称的全球关注话题：虚假信息的日益普遍。鉴于通过人工评估打击虚假信息的复杂性和耗时性，人们有动力探索利用人工智能解决方案来自动评估新闻文章中是否存在虚假信息。自动识别虚假信息的有价值的第一步是立场检测，在给定的声明和新闻文章中，目标是预测文章是否同意，不同意，不采取任何立场，或者与声明无关。文献中的现有方法在很大程度上依赖于手工设计的特征或浅学习的表示（例如，词嵌入）来对声明-文章对进行编码，这可能限制解决虚假信息识别的高复杂性所需的代表性表达水平。在这项工作中，我们探讨了利用大规模深度双向Transformer语言模型编码索赔文章对的概念，以构建最先进的立场检测，以识别虚假信息。利用声明-文章对之间的双向交叉注意力，通过对自注意力进行配对编码，我们通过对RoBERTa深度双向Transformer语言模型进行迁移学习，构建了一个用于立场检测的大规模语言模型，并且能够在假新闻挑战第一阶段（FNC-I）基准测试中实现最先进的性能（加权准确率为90.01%）。这些有希望的结果是利用这种大规模语言模型作为强大的构建模块来创建有效的人工智能解决方案以对抗虚假信息的动机。
2019-11-27 cs.CL
Automatic Fact-guided Sentence Modification
Massachusetts Institute of Technology（麻省理工学院）
像维基百科这样的在线百科全书包含大量需要频繁更正和更新的文本。新的信息可能会与现存的《植物志》中的内容相矛盾。在本文中，我们专注于重写这种动态变化的文章。这是一个具有挑战性的约束生成任务，因为输出必须与新信息一致，并适合现有文档的其余部分。为此，我们提出了一个两步的解决方案：（1）我们识别和删除目标文本中的矛盾成分，为给定的索赔，使用一个中立的立场模型;（2）我们扩大剩余的文本，以符合给定的索赔，使用一种新的双编码器序列到序列模型与复制注意。应用于维基百科事实更新数据集，我们的方法成功地为新的索赔生成更新的句子，实现了最高的SARI分数。此外，我们证明，通过这种重写的句子生成合成数据可以成功地增强FEVER事实检查训练数据集，导致相对误差减少13%。
2019-12-02 cs.CL
Claim Optimization in Computational Argumentation
Leibniz University Hannover（汉诺威莱布尼茨大学）；University of Bremen（不来梅大学）
本文提出论点优化任务，通过BART等大语言模型生成多样化候选论点并结合质量指标选择最佳候选，在英语语料库上改进了60%的论点质量，且能力可泛化至指导性文本等其他领域。
2023-09-07 cs.CL
An Entity-based Claim Extraction Pipeline for Real-world Biomedical Fact-checking
Institut für Maschinelle Sprachverarbeitung, University of Stuttgart（斯图加特大学机器语言处理研究所）
本文提出面向医学推文的声明抽取流程，结合命名实体识别与实体链接，研究自动实体检测和术语规范化对真实世界生物医学事实核查的影响。
2023-04-11 cs.CL
OpenFactCheck: Building, Benchmarking Customized Fact-Checking Systems and Evaluating the Factuality of Claims and LLMs
MBZUAI；Monash University（墨尔本大学）；Sofia University（索菲亚大学）
针对LLM输出事实性评估难、不同研究基准不统一的问题，研究提出OpenFactCheck统一框架，含定制核查、LLM评估、核查器评估三大模块，可构建定制事实核查系统并开展多维度事实性评估。
2025-10-28 cs.CL
Automatic Fake News Detection: Are current models "fact-checking" or "gut-checking"?
Harvard University（哈佛大学）
自动假新闻检测模型表面上是基于逻辑的，其中标题中的声明的真实性可以通过支持或反驳在结果Web查询中发现的证据来确定。这些模型被认为在某种程度上是推理的;然而，已经表明，这些相同的结果，或者更好的结果，可以在根本不考虑索赔的情况下实现-只有证据。这意味着其他信号包含在所检查的证据中，并且可能基于可操纵的因素，例如情绪，情感或词性（POS）频率，这些因素容易受到对抗性输入的影响。我们通过多种形式的神经和非神经预处理和风格转移来中和其中的一些信号，并发现这种无关指标的扁平化可以诱导模型实际上需要声明和证据来表现良好。最后，我们构建了一个模型，使用情感向量建立了一个词汇，并通过“情感注意”机制，适当地加权某些情绪。我们提供了可量化的结果，证明我们的假设，可操作的功能正在被用于事实核查。
2022-04-14 cs.CL
Fully Automated Fact Checking Using External Sources
Sofia University “St. Kliment Ohridski”（索非亚大学）；Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）
鉴于近年来网上虚假声明的不断增长，自动区分虚假谣言和真实声明的研究兴趣也越来越大。在这里，我们提出了一个通用的框架，使用外部资源进行全自动的事实检查，挖掘整个网络的潜力作为一个知识来源，以确认或拒绝索赔。我们的框架使用带有LSTM文本编码的深度神经网络，将语义内核与特定于任务的嵌入相结合，这些嵌入将声明与来自Web的潜在相关文本片段一起编码，同时考虑源可靠性。评估结果表明，在两个不同的任务和数据集上表现良好：（i）谣言检测和（ii）社区问答论坛中问题答案的事实检查。
2017-10-01 cs.CL
Automatic Fact-checking in English and Telugu
Saarland University（萨尔兰大学）；University of the Basque Country（巴斯克大学）；German Research Center for Artificial Intelligence, Saarland Informatics Campus（德国人工智能研究中心，萨尔兰信息学校区）；Faculty of Information Technology, Brno University of Technology（信息技术学院，布拉格技术大学）；Kempelen Institute of Intelligent Technologies（Kempelen智能技术研究所）
本文提出了一种双语事实核查方法，利用大型语言模型在英语和泰卢固语中对事实性声明进行真实性分类并生成证明。
2025-11-18 cs.CL
Automatic Analysis of Substantiation in Scientific Peer Reviews
École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；Linagora；LTCI（通信与信息处理实验室）；Télécom-Paris（巴黎电信学院）；Inria（法国国家信息与自动化研究所）
针对顶级AI会议同行评审质量控制需求，本文聚焦评审中主张是否有证据支持的论证充分性问题，将其建模为主张-证据对提取任务，构建了首个包含550篇NLP会议评审的标注数据集SubstanReview，并训练论证挖掘系统实现自动分析，揭示了近年NLP会议评审质量洞察。
2023-11-20 cs.CL
The Warrant Gap: Claim-Conditioned Re-scoring for Fact-Checking
提出SIFT方法，通过主张条件重新评分提取的证据片段，结合WSP自动NLI检查，解决LLM事实核查中证据与主张不匹配问题，在多个基准上提升准确率。
2026-06-24 cs.CL
Document-level Claim Extraction and Decontextualisation for Fact-Checking
University of Cambridge（剑桥大学）
本文提出一种文档级声明抽取方法，将声明抽取重构为抽取式摘要以识别核心句子，再通过去语境化改写补充上下文，从而更准确地抽取值得核查的声明并改善证据检索。
2024-06-12 cs.CL
The Case for Claim Difficulty Assessment in Automatic Fact Checking
University of Texas at Austin（德克萨斯大学奥斯汀分校）
事实核查是评估索赔真实性的过程（即，的事实）。在这篇评论文章中，我们提出了一个在以前的工作中很少受到关注的问题-有些索赔比其他索赔更难进行事实核查。我们讨论了这对实际的事实检查和自动事实检查的研究，包括任务制定和数据集设计的影响。我们报告进行手动分析，以探讨不同的索赔难度的因素，并确定几种不同类型的困难。我们激励这个新的索赔难度预测任务，因为它对自动事实核查和实际事实核查组织都有利。
2022-02-04 cs.AI cs.CL cs.IR
ClaimBrush: A Novel Framework for Automated Patent Claim Refinement Based on Large Language Models
RIKEN（理化学研究所）；Nara Institute of Science and Technology（奈良科学技术研究所）；Aichi Institute of Technology（爱知工业大学）；Tokyo Institute of Technology（东京工业大学）
本文提出ClaimBrush框架，通过构建专利权利要求改写数据集并微调大语言模型，结合基于审查员偏好的优化，实现优于基线方法的专利权利要求自动精炼。
2024-10-10 cs.AI cs.CL
WiCE: Real-World Entailment for Claims in Wikipedia
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出了WiCE，一个基于Wikipedia自然主张和证据对的细粒度文本蕴含数据集，包含子句级蕴含判断和最小证据子集，并利用GPT-3.5自动分解策略提升模型性能，揭示了真实主张的验证与检索挑战。
2023-10-22 cs.CL
A Generative-AI-Driven Claim Retrieval System Capable of Detecting and Retrieving Claims from Social Media Platforms in Multiple Languages
Faculty of Information Technology, Brno University of Technology（信息技术学院，布拉格技术大学）；Kempelen Institute of Intelligent Technologies（智能技术研究所）
本研究提出一种基于LLMs的声明检索方法，通过过滤无关事实核查结果并生成摘要与解释，帮助事实核查人员避免冗余验证，显著提升多语言社交媒体声明核查的效率。
2025-04-29 cs.CL
Complex Claim Verification with Evidence Retrieved in the Wild
The University of Texas at Austin（得克萨斯大学奥斯汀分校）
提出首个从网络检索声明提出前的原始证据并自动核查真实复杂声明的五阶段流水线，实验与人工评估表明其证据摘要可靠、相关并能改善真实性判断。
2024-06-15 cs.CL
Automatic Fake News Detection: Are Models Learning to Reason?
University of Copenhagen（哥本哈根大学）
大多数用于自动虚假新闻检测的事实检查模型都是基于推理的：给定一个具有相关证据的声明，这些模型旨在根据证据中的支持或反驳内容来估计声明的真实性。当这些模型表现良好时，通常认为是由于模型已经学会了对索赔的证据进行推理。在本文中，我们通过探讨主张和证据的关系和重要性来研究这一推理假设。令人惊讶的是，我们在政治事实核查数据集上发现，最常见的最高有效性是通过只利用证据来获得的，因为包括索赔的影响可以忽略不计或对有效性有害。这突出了一个重要问题，即在现有的自动虚假新闻检测方法中，什么构成证据。
2021-05-17 cs.CL cs.CY cs.LG
Overview of the CLAIMSCAN-2023: Uncovering Truth in Social Media through Claim Detection and Identification of Claim Spans
IIIT Delhi（德里印度信息技术学院）；IIT Delhi（印度理工学院德里分校）
本文介绍CLAIMSCAN-2023评测任务，聚焦社交媒体声明检测（任务A）和声明片段识别（任务B），分别吸引40个注册和28支团队参与，以应对虚假信息传播问题。
2023-10-30 cs.CL
MultiClaimNet: A Massively Multilingual Dataset of Fact-Checked Claim Clusters
Queen Mary University of London（伦敦大学玛丽皇后学院）；Newtral Media Audiovisual Spain（西班牙Newtral视听媒体公司）
针对事实核查中声明重复问题，本文提出MultiClaimNet，包含三个多语言声明聚类数据集，覆盖86种语言，并通过近似最近邻和大型语言模型构建了含85.3K条声明的最大数据集，为可扩展声明聚类奠定基础。
2025-03-28 cs.CL
DecMetrics: Structured Claim Decomposition Scoring for Factually Consistent LLM Outputs
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对当前主张分解研究重生成方法、轻分解质量评估的缺口，该研究提出包含三项指标的DecMetrics评估框架，并以此为奖励函数优化轻量级分解模型，旨在设立主张分解基准，提升事实核查系统的可靠性与有效性。
2025-08-31 cs.AI cs.CL
Varifocal Question Generation for Fact-checking
University of Cambridge（剑桥大学）
事实核查要求检索与正在调查的索赔有关的证据。该任务可以被公式化为基于声明的问题生成，随后是问答。然而，最近的问题生成方法假设答案是已知的，并且通常包含在作为输入给出的段落中，而这样的段落是在验证声明时正在寻找的。在本文中，我们提出了{ \it Varifocal}，一种基于给定权利要求中的不同焦点生成问题的方法，即索赔及其元数据的不同跨度，例如其来源和日期。我们的方法在广泛的自动评估指标上优于以前在事实检查问题生成数据集上的工作。我们的手动评估证实了这些结果，这表明我们的方法生成了更多相关和信息丰富的问题。我们进一步展示了潜在的焦点在生成一套澄清问题的产品描述。
2022-10-22 cs.CL
Large Language Models for Multilingual Previously Fact-Checked Claim Detection
Faculty of Information Technology, Brno University of Technology（布拉格技术大学信息学院）；Kempelen Institute of Intelligent Technologies（智能技术研究所）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Centre for European Research in Trusted AI (CERTAIN)（可信人工智能欧洲研究中心）
本文首次全面评估了7个大型语言模型在20种语言上的先前已核查声明检测性能，发现其在高资源语言上表现良好但在低资源语言上欠佳，而将文本译为英语可提升低资源语言效果。
2025-09-24 cs.CL
Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Copenhagen（哥本哈根大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
本文提出多阶段事实性标注方案，并构建覆盖声明、句子和文档三层粒度的 Factcheck-Bench，用于评估自动事实核查系统。
2024-04-16 cs.CL
FLEEK: Factual Error Detection and Correction with Evidence Retrieved from External Knowledge
University of Michigan - Ann Arbor（密歇根大学安娜堡分校）；Apple（苹果公司）
FLEEK是一个自动检测和纠正文本事实错误的原型工具，通过提取事实主张、检索外部证据、评估事实性并给出修改建议，在检测任务上达到77-85%的F1值。
2023-10-26 cs.CL
