PC-Mix: Partial-Component Audio Spoofing Detection under Mixed Speech and Environmental Sound Conditions
研究针对部分音频欺骗检测,提出PC-Mix数据集,解决现有基准差距。构建含真实与部分欺骗环境声音组件并与语音信号混合的音频,建立评估协议与联合学习框架,实验表明匹配条件下训练检测欺骗更有效。
2026-07-14 cs.CL cs.SD
AraStance: A Multi-Country and Multi-Domain Dataset of Arabic Stance Detection for Fact Checking
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所(哈马德·本·哈利法大学));Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系);Georgia Institute of Technology(佐治亚理工学院);The State University of New York at Buffalo(纽约州立大学布法罗分校);The University of British Columbia(英属哥伦比亚大学)
随着网上错误信息和虚假信息的持续传播,以支持多种语言的自动化系统的形式大规模开发打击机制变得越来越重要。一个感兴趣的任务是索赔准确性预测,这可以使用相对于在线检索的相关文档的立场检测来解决。为此,我们提出了我们新的阿拉伯语立场检测数据集(AraStance),其中包含4,063个索赔-来自不同来源的文章对,包括三个事实检查网站和一个新闻网站。AraStance涵盖来自多个领域的虚假和真实声明(例如,该文件涉及的领域包括政治、体育、卫生)和几个阿拉伯国家,在索赔方面,相关和不相关文件之间的平衡很好。我们基准AraStance,以及其他两个立场检测数据集,使用一些基于BERT的模型。我们最好的模型达到了85%的准确率和78%的宏观F1分数,这留下了改进的空间,并反映了AraStance的挑战性和一般的姿态检测任务。
2021-05-18 cs.CL
MM-Claims: A Dataset for Multimodal Claim Detection in Social Media
TIB – Leibniz Information Centre for Science and Technology(莱布尼茨科技信息中心(TIB));L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心);Jozef Stefan Institute(约瑟夫·斯特凡研究所)
近年来,网络上的错误信息问题在不同语言、国家和各种社交媒体平台上普遍存在。尽管在自动化虚假新闻检测方面已经做了很多工作,但图像的作用及其多样性还没有得到很好的探索。在本文中,我们研究了图像和文本在假新闻检测管道的早期阶段(称为索赔检测)中的作用。为此,我们引入了一个新的数据集,MM-Claims,它由三个主题的推文和相应的图像组成:COVID-19,气候变化和广泛的技术。该数据集包含大约86000条推文,其中3400条由多个注释器手动标记,用于多模态模型的训练和评估。我们详细描述了数据集,评估了强大的单峰和多峰基线,并分析了当前模型的潜力和缺点。
2022-05-04 cs.AI cs.CL cs.CV
Integrating Stance Detection and Fact Checking in a Unified Corpus
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所);Amazon(亚马逊)
对索赔进行事实核查的合理方法包括从不同来源检索可能相关的文件(例如,新闻网站、社交媒体等),确定每个文档相对于声明的立场,并且最后通过聚合立场的强度来预测声明的真实性,同时考虑来源的可靠性。此外,事实核查制度应当能够通过提供文件中的相关摘录(理由)来解释其决定。然而,现有的数据集并不直接支持这种设置,这些数据集将事实检查、文档检索、来源可信度、立场检测和基本原理提取作为独立的任务。在本文中,我们支持这些任务之间的相互依赖关系,在同一语料库中的注释。我们实现这种设置的阿拉伯语事实检查语料库,第一次的。
2018-04-21 cs.CL
Numerical Claim Detection in Finance: A New Financial Dataset, Weak-Supervision Model, and Market Analysis
DA-IICT(戴夫·阿马尔工程技术学院);IIT-Kharagpur(印度理工学院克勒格布尔分校);Georgia Institute of Technology(佐治亚理工学院);Fulton Science Academy(富尔顿科学院)
该研究针对金融领域主张检测需求,构建了新的金融数据集,提出融入主题专家知识的弱监督模型,性能优于现有方法,还基于模型构建乐观情绪指标验证其市场关联,相关资源已开源。
2024-10-04 cs.CL cs.LG q-fin.CP
Efficient Environmental Claim Detection with Hyperbolic Graph Neural Networks
Department of Computer Science, Université Paris-Saclay(巴黎萨克雷大学计算机科学系);MICS, CentraleSupélec, Université Paris-Saclay(巴黎萨克雷大学MICS);TCS Research, India(印度TCS研究)
本文提出基于双曲图神经网络的环境声明检测方法,通过图结构建模实现更高效的参数使用和更高的检测性能。
2025-11-19 cs.CL
TEMPLAR Wales: A georeferenced environmental and toponymic dataset of Welsh settlements
Cardiff University(卡迪夫大学);Turkish Air Force Academy, National Defence University(土耳其空军学院,国防大学)
TEMPLAR Wales是含3757条威尔士定居点记录的地理参考环境-地名数据集,关联定居点框架与词汇、环境属性,经技术验证,为多领域研究提供可复用基础。
2026-08-28 cs.CL cs.LG
IMHO Fine-Tuning Improves Claim Detection
Columbia University(哥伦比亚大学)
主张是论证的核心组成部分。由于不同领域或数据集的概念不同,检测不同领域或数据集的声明通常具有挑战性。我们建议通过使用Reddit语料库的550万个固执己见的声明来微调语言模型来缓解这个问题。这些主张是由他们的作者使用互联网首字母缩略词IMO/IMHO(在我(拙见)的自我标签)。实证结果表明,使用这种方法提高了艺术的性能在四个基准论证数据集的索赔检测的平均4个绝对F1点。由于这些数据集包括不同的领域,如社交媒体和学生论文,这种改进表明了对这种新语料库进行微调的鲁棒性。
2019-05-16 cs.CL
RAVE: Retrieval and Scoring Aware Verifiable Claim Detection
Queen Mary University of London(伦敦女王学院)
本文提出RAVE框架,通过结合证据检索与相关性及来源可信度信号来检测可验证声明,在CT22-test和PoliClaim-test上均优于文本和检索基线方法。
2025-09-19 cs.CL
Ontology Enhanced Claim Detection
Ruhr-Universität-Bochum(波鸿鲁尔大学)
提出一种本体增强的声明检测模型,融合知识库本体嵌入与BERT句子嵌入,在ClaimBuster和NewsClaims小规模不平衡数据集上优于其他模型,有效避免纯BERT模型对大类的偏差。
2024-02-19 cs.CL
Real-time Claim Detection from News Articles and Retrieval of Semantically-Similar Factchecks
Logically
事实核查一直是新闻工作的一部分。然而,随着新闻编辑室预算的缩减,它面临着越来越大的压力,而传播的虚假信息却在增加。因此,我们提出了一种方法来提高效率的事实检查过程中,使用自然语言处理(NLP)的最新发展。这种方法允许我们将传入的声明与现有的语料库进行比较,并在实时系统中返回类似的,经过事实检查的声明-允许事实检查员同时工作,而不会重复他们的工作。
2019-07-03 cs.CL
JointCQ: Improving Factual Hallucination Detection with Joint Claim and Query Generation
Wangxuan Institute of Computer Technology, Peking University(王轩计算机技术研究所,北京大学);Trustworthy Technology and Engineering Laboratory, Huawei(可信技术与工程实验室,华为)
针对大语言模型幻觉检测流程中声明提取易丢上下文、查询生成特异性低的问题,提出联合声明-查询生成框架JointCQ,通过过滤训练数据、微调模型实现联合生成,在多个开放域问答幻觉检测基准上性能优于现有方法,助力构建更可信透明的语言模型系统。
2025-10-22 cs.CL
IAI Group at CheckThat! 2024: Transformer Models and Data Augmentation for Checkworthy Claim Detection
University of Stavanger(斯塔万格大学)
本文介绍IAI团队在CheckThat! 2024任务1中,利用Transformer模型、少样本链式思维、微调、数据增强和跨语言迁移学习,在英荷阿三语可核查声明检测中分别取得第九、第三和第一的成绩。
2024-08-02 cs.CL
Rumor Detection on Twitter with Claim-Guided Hierarchical Graph Attention Networks
Beijing University of Posts and Telecommunications(北京邮电大学);Hong Kong Baptist University(香港浸会大学);Jilin University(吉林大学)
在社交媒体时代,谣言泛滥。对话结构提供了区分真实和虚假声明的有价值的线索。然而,现有的谣言检测方法要么局限于用户响应的严格关系,要么过于简化会话结构。在这项研究中,大大加强了用户意见的互动,同时减轻不相关的职位所带来的负面影响,我们首先表示的会话线程作为一个无向交互图。然后,我们提出了一个索赔引导的层次图注意力网络的谣言分类,提高了表示学习的响应帖子考虑到整个社会背景和出席的帖子,可以语义推断的目标索赔。在三个Twitter数据集上进行的大量实验表明,我们的谣言检测方法比最先进的方法具有更好的性能,并且在早期阶段检测谣言的能力更强。
2021-11-15 cs.CL
Supporting Automated Fact-checking across Topics: Similarity-driven Gradual Topic Learning for Claim Detection
针对跨主题的阿拉伯语候选声明检测,提出渐进式主题学习(GTL)及其基于相似性的变体(SGTL),在14个主题中的11个上优于最先进基线。
2024-11-08 cs.CL
Claim Detection for Automated Fact-checking: A Survey on Monolingual, Multilingual and Cross-Lingual Research
School of Electronic Engineering and Computer Science, Queen Mary University of London(伦敦大学玛丽女王学院电子工程与计算机科学学院)
本文综述了自动化事实核查中的声明检测研究,聚焦多语言数据与方法,按可验证性、优先级和相似性分类现有研究,并概述多语言数据集、挑战及未来方向。
2024-03-18 cs.CL
Entity-aware Cross-lingual Claim Detection for Automated Fact-checking
School of Electronic Engineering and Computer Science(电子工程与计算机科学学院);Queen Mary University of London(伦敦女王学院)
本文提出实体感知跨语言声明检测模型EX-Claim,利用命名实体识别与实体链接增强多语言泛化,在27种语言上取得一致性能提升并实现稳健的跨语言知识迁移。
2025-07-21 cs.CL
Multilingual and Multi-topical Benchmark of Fine-tuned Language models and Large Language Models for Check-Worthy Claim Detection
Kempelen Institute of Intelligent Technologies(肯佩伦智能技术研究院)
本研究构建多语言多主题数据集,对比微调语言模型与大语言模型在值得核查声明检测任务中的表现,发现微调模型在跨领域场景下仍优于零样本方法。
2024-10-11 cs.CL
Overview of the CLAIMSCAN-2023: Uncovering Truth in Social Media through Claim Detection and Identification of Claim Spans
IIIT Delhi(德里印度信息技术学院);IIT Delhi(印度理工学院德里分校)
本文介绍CLAIMSCAN-2023评测任务,聚焦社交媒体声明检测(任务A)和声明片段识别(任务B),分别吸引40个注册和28支团队参与,以应对虚假信息传播问题。
2023-10-30 cs.CL
Large Language Models for Multilingual Previously Fact-Checked Claim Detection
Faculty of Information Technology, Brno University of Technology(布拉格技术大学信息学院);Kempelen Institute of Intelligent Technologies(智能技术研究所);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Centre for European Research in Trusted AI (CERTAIN)(可信人工智能欧洲研究中心)
本文首次全面评估了7个大型语言模型在20种语言上的先前已核查声明检测性能,发现其在高资源语言上表现良好但在低资源语言上欠佳,而将文本译为英语可提升低资源语言效果。
2025-09-24 cs.CL
ViClaim: A Multilingual Multilabel Dataset for Automatic Claim Detection in Videos
Zurich University of Applied Sciences(苏黎世应用科学大学);UNED NLP & IR Group(UNED自然语言处理与信息检索组)
针对视频内容错误信息检测缺失,构建多语言多标签数据集ViClaim,含1798个视频转录,标注三类声明,实验验证多语言模型性能并揭示泛化挑战。
2025-10-10 cs.CL
Claim Check-Worthiness Detection: How Well do LLMs Grasp Annotation Guidelines?
University of Zagreb, Faculty of Electrical Engineering and Computing(萨格勒布大学电气工程与计算机科学学院);Text Analysis and Knowledge Engineering Lab(文本分析与知识工程实验室)
本文评估大语言模型在声明检测与可核查性检测上的表现,发现最优提示详细程度因领域而异、增加上下文无益,且置信度可直接用于可靠排序。
2024-10-21 cs.CL
CAMOUFLAGE: Exploiting Misinformation Detection Systems Through LLM-driven Adversarial Claim Transformation
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
CAMOUFLAGE提出一种LLM驱动的双智能体对抗攻击方法,通过迭代改写声明操纵证据检索与比较模块,在不改变语义的前提下绕过误信息检测系统,在四个系统上平均攻击成功率达46.92%。
2025-05-03 cs.CL
Harnessing Abstractive Summarization for Fact-Checked Claim Detection
IIT Bombay(印度理工学院孟买分校);Surrey Institute for People-Centred AI(萨里以人为本人工智能研究所);University of Surrey(萨里大学)
社交媒体平台已成为反社会分子的新战场,错误信息成为首选武器。事实核查组织试图揭穿尽可能多的说法,同时保持真实的新闻过程,但无法应对其快速传播。我们认为,解决方案在于事实检查生存周期的部分自动化,节省人类的时间,需要高认知的任务。我们提出了一个新的工作流程,有效地检测以前的事实检查索赔,使用抽象的总结,以生成清晰的查询。然后,这些查询可以在与先前经过事实检查的索赔集合相关联的通用检索系统上执行。我们策划了一个抽象的文本摘要数据集,包括来自Twitter的嘈杂的索赔和他们的黄金摘要。结果表明,检索性能提高2倍,通过使用流行的开箱即用的摘要模型和3倍,通过微调他们对附带的数据集相比,逐字查询。我们的方法实现了Recall@5和MRR分别为35%和0.3,而基线值分别为10%和0.1。我们的数据集、代码和模型都是公开的:https://github.com/varadhbhatnagar/FC-Claim-Det/
2022-09-14 cs.CL
EcoVerse: An Annotated Twitter Dataset for Eco-Relevance Classification, Environmental Impact Analysis, and Stance Detection
针对NLP领域对气候变化外环境主题研究不足、环境影响分析空白的问题,本文构建了含3023条推文的EcoVerse标注数据集,设计三级标注方案,用BERT类模型实验验证了数据质量,指出需定制环境文本专用模型,数据集已开放。
2024-04-08 cs.CL
ContextClaim: A Context-Driven Paradigm for Verifiable Claim Detection
School of Electronic Engineering and Computer Science, Queen Mary University of London(伦敦玛丽女王大学电子工程与计算机科学学院)
本文提出ContextClaim范式,通过提取实体、检索维基知识并生成上下文摘要,提升可验证声明检测的可靠性,验证其在不同领域和模型设置下的有效性。
2026-08-19 cs.CL
Investigating Language and Retrieval Bias in Multilingual Previously Fact-Checked Claim Detection
Brno University of Technology(布拉格技术大学);Kempelen Institute of Intelligent Technologies(智能技术研究所);University of Copenhagen(哥本哈根大学)
本文面向 PFCD 任务,基于 AMC-16K 评估六个开源多语言 LLM 在20种语言中的表现,并分析多语言嵌入检索的频率偏差,揭示语言与检索不公平现象及改进方向。
2025-09-29 cs.CL
Contradiction Detection for Rumorous Claims
Saarland University(萨尔大学)
在新闻工作流程中,社交媒体材料的使用越来越多,需要自动化的方法来识别错误和虚假信息。由于社交媒体帖子中的文本矛盾可能是谣言的信号,因此我们试图对Twitter帖子中的声明如何在文本上矛盾进行建模。我们确定了两种不同的情况下,矛盾出现:其更广泛的形式,可以观察到独立发布的推文和线程会话中的更具体的形式。我们定义了两种情况下不同的论证的核心要素:索赔和对话结构。我们设计和评估模型的两种情况下,统一为3路识别文本蕴涵任务,以表示索赔和会话结构隐含在一个通用的推理模型,而以前的研究使用显式或没有表示这些属性。为了解决噪声文本,我们的分类器使用来自字符串和词性级别的简单相似性特征。语料库的统计数据显示,这些功能的分布差异,而不是矛盾的鸣叫关系,和分类产量的最先进的性能。
2016-11-11 cs.CL
Claim Detection in Biomedical Twitter Posts
University of Stuttgart(斯图加特大学)
社交媒体包含未经过滤和独特的信息,这些信息可能具有巨大的价值,但在错误信息的情况下,也可能造成巨大的伤害。关于生物医学主题,虚假信息可能特别危险。自动事实核查和假新闻检测方法解决了这个问题,但尚未应用于社交媒体中的生物医学领域。我们的目标是填补这一研究空白,并注释语料库的1200条推文的隐含和明确的生物医学索赔(后者也与跨度注释的索赔短语)。通过这个语料库,我们采样与COVID-19,麻疹,囊性纤维化和抑郁症有关,我们开发了自动检测包含索赔的推文的基线模型。我们的分析显示,生物医学推文中充斥着大量的声明(在一个包含1200条推文的语料库中,45%的推文集中在上述领域)。基于嵌入的分类器和基于BERT的迁移学习的基线分类实验表明,检测是具有挑战性的,然而,显示出可接受的性能,用于识别明确的表达的权利要求。隐式声明推文更难检测。
2021-05-01 cs.CL cs.SI
Robust Claim Verification Through Fact Detection
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出FactDetect方法,通过LLMs提取并标注事实增强声明验证,在监督和零样本设置下分别提升F1分数15%和平均性能17.3%。
2024-07-25 cs.AI cs.CL
AFaCTA: Assisting the Annotation of Factual Claim Detection with Reliable LLM Annotators
ETH Zürich(苏黎世联邦理工学院);University of Zürich(苏黎世大学);Swiss Finance Institute (SFI)(瑞士金融学院)
针对事实性声明检测中定义不一致和标注成本高的问题,提出AFaCTA框架,利用LLM沿三条推理路径校准置信度以辅助标注,并构建了PoliClaim数据集。
2024-06-02 cs.AI cs.CL
Enoki: Efficient Multi-Level Hallucination Detection
Skoltech(斯科尔科沃科技学院);AIRI;ITMO University(ITMO大学);Sber AI Lab(Sber AI实验室)
Enoki是一种多级幻觉检测的开放信息提取框架,可平衡准确性与推理成本,在资源更少的情况下实现了与声明级系统相当的性能,且在细粒度定位上表现更优,同时发布了对应的双粒度数据集。
2026-09-07 cs.CL
Claim Check-Worthiness Detection as Positive Unlabelled Learning
University of Copenhagen(哥本哈根大学)
作为自动事实核查的第一步,索赔核查价值检测是事实核查系统的关键组成部分。有多条研究路线研究这个问题:政治演讲和辩论的检查价值排名,Twitter上的谣言检测,以及维基百科的引用需要检测。到目前为止,还没有对这些不同的任务进行结构化的比较,以了解它们的相互关系,也没有调查是否可以对所有这些任务采取统一的方法。在这项工作中,我们阐明了所有这些任务背后的索赔检查价值检测的核心挑战,因为它们取决于检测句子的真实性以及句子在没有验证的情况下被相信的可能性。因此,注释者只标记那些他们认为值得明确检查的实例。我们的最佳执行方法是一种统一的方法,它使用一种积极的未标记学习的变体来自动纠正这种情况,该方法可以找到被错误标记为不值得检查的实例。在应用这一点时,我们在三个任务中的两个任务中表现出最先进的水平,这些任务是为了用英语进行索赔检查价值检测而研究的。
2020-09-16 cs.CL cs.LG
Multilingual Detection of Check-Worthy Claims using World Languages and Adapter Fusion
PRHLT Research Center, Universitat Politècnica de València(瓦伦西亚理工大学PRHLT研究中心);DW Innovation(德国之声创新部);University of Marburg(马尔堡大学)
检查价值检测是识别索赔的任务,值得由事实检查员进行调查。非世界语言的资源稀缺和模型学习成本仍然是创建支持多语言检查价值检测的模型的主要挑战。本文提出了交叉训练适配器上的一个子集的世界语言,结合适配器融合,检测索赔出现在全球多种语言。(1)由于有大量的注释器可用于世界语言和存储高效的适配器模型,这种方法更具成本效益。模型可以更频繁地更新,从而保持最新。(2)适配器融合提供了洞察力,并允许解释每个适配器模型对特定语言的影响。在我们的基准测试任务中,所提出的解决方案通常优于顶级多语言方法。
2023-01-13 cs.CL cs.IR
"Beware of deception": Detecting Half-Truth and Debunking it through Controlled Claim Editing
IIT Bombay(印度理工学院孟买分校);IBM Research(IBM研究院)
本文提出结合半真半假检测与基于 T5 的受控声明编辑流程,在扩展 LIAR PLUS 上达到 82% F1,并显著优于多个语言模型。
2023-08-15 cs.CL
Taking a Stance on Fake News: Towards Automatic Disinformation Assessment via Deep Bidirectional Transformer Language Models for Stance Detection
University of Waterloo(滑铁卢大学)
在过去十年中,社交媒体和数字新闻的指数级增长带来了不幸的后果,加剧了联合国所称的全球关注话题:虚假信息的日益普遍。鉴于通过人工评估打击虚假信息的复杂性和耗时性,人们有动力探索利用人工智能解决方案来自动评估新闻文章中是否存在虚假信息。自动识别虚假信息的有价值的第一步是立场检测,在给定的声明和新闻文章中,目标是预测文章是否同意,不同意,不采取任何立场,或者与声明无关。文献中的现有方法在很大程度上依赖于手工设计的特征或浅学习的表示(例如,词嵌入)来对声明-文章对进行编码,这可能限制解决虚假信息识别的高复杂性所需的代表性表达水平。在这项工作中,我们探讨了利用大规模深度双向Transformer语言模型编码索赔文章对的概念,以构建最先进的立场检测,以识别虚假信息。利用声明-文章对之间的双向交叉注意力,通过对自注意力进行配对编码,我们通过对RoBERTa深度双向Transformer语言模型进行迁移学习,构建了一个用于立场检测的大规模语言模型,并且能够在假新闻挑战第一阶段(FNC-I)基准测试中实现最先进的性能(加权准确率为90.01%)。这些有希望的结果是利用这种大规模语言模型作为强大的构建模块来创建有效的人工智能解决方案以对抗虚假信息的动机。
2019-11-27 cs.CL
No Hindsight for LLM Fact-Checkers: Measuring Leakage Channels in Misinformation Detection
Georgia Institute of Technology(佐治亚理工学院)
本研究测量LLM事实核查中的参数泄漏与事后证据泄漏,发现两者可被总体准确率掩盖,表示瓶颈能有效减少泄漏,且事后证据在AVeriTeC上虚增6.3点准确率,揭示基准测试可能高估性能。
2026-10-06 cs.CL
The Missing Parts: Augmenting Fact Verification with Half-Truth Detection
School of Computing, National University of Singapore(计算学院,新加坡国立大学)
本文提出半真半假检测任务及PolitiFact-Hidden基准,并设计TRACER框架,通过证据对齐、意图推断和因果影响估计识别遗漏型误导信息,显著提升事实验证性能。
2025-09-20 cs.CL
Single-Pass Uncertainty Heads for Claim-Level Hallucination Detection in Persian Medical Language Models
University of Isfahan(伊斯法罕大学);University of Tehran(德黑兰大学);University of Windsor(温莎大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本研究将LUH框架适配至波斯语医学模型,构建声明级数据集并训练轻量级头,实现单次前向的幻觉检测,PR-AUC达随机基线2.3倍以上。
2026-10-09 cs.CL
ArCOV19-Rumors: Arabic COVID-19 Twitter Dataset for Misinformation Detection
Qatar University(卡塔尔大学)
在本文中,我们介绍了ArCOV 19-Rumors,这是一个用于错误信息检测的阿拉伯语COVID-19 Twitter数据集,由2020年1月27日至4月底包含声明的推文组成。我们收集了138个经过验证的声明,大部分来自流行的事实核查网站,并确定了9.4K与这些声明相关的推文。推特被人工标注了真实性,以支持错误信息检测的研究,这是大流行期间面临的主要问题之一。ArCOV 19-谣言支持两个级别的错误信息检测:验证自由文本声明(称为声明级别验证)和验证推文中表达的声明(称为推文级别验证)。我们的数据集除健康外,还涵盖与受COVID-19影响的其他主题类别相关的索赔,即社会,政治,体育,娱乐和宗教。此外,我们提出了对数据集的推文级验证的基准测试结果。我们试验了SOTA模型的通用方法,利用内容,用户简档功能,时间特征和传播结构的会话线程的鸣叫验证。
2021-03-13 cs.CL cs.IR cs.SI
MythQA: Query-Based Large-Scale Check-Worthy Claim Detection through Multi-Answer Open-Domain Question Answering
The University of Florida(佛罗里达大学)
针对大规模信息源中值得核查声明检测研究不足的问题,提出结合矛盾立场挖掘的多答案开放域问答任务MythQA,构建含522个问题、5300条标注推文的TweetMythQA数据集,给出基线系统与初始基准。
2023-07-21 cs.CL cs.IR
Human-in-the-loop Evaluation for Early Misinformation Detection: A Case Study of COVID-19 Treatments
Georgia Institute of Technology(佐治亚理工学院)
本文提出一个人在环评估框架,通过提取并排序值得核查的声明,利用立场分类器识别支持新型虚假信息声明的推文并审查其违规情况,基于现代NLP方法开发了COVID-19治疗领域的基线系统,并公开数据与标注指南以支持相关系统评估。
2023-07-03 cs.CL
Check_square at CheckThat! 2020: Claim Detection in Social Media via Fusion of Transformer and Syntactic Features
TIB Leibniz Information Centre for Science and Technology(莱布尼茨科技信息中心);L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心)
在这个新闻消费的数字时代,新闻读者有能力以高度互动和快速的方式与他人反应,表达和分享意见。因此,假新闻已经进入我们的日常生活,因为大公司和个人在互联网上核实新闻的能力非常有限。在本文中,我们专注于解决事实核查生态系统中的两个问题,这两个问题可以帮助在社交媒体上不断增加的内容流中自动进行事实核查。对于第一个问题,声明检查价值预测,我们探索了语法特征和来自Transformers(BERT)嵌入的深度Transformer双向编码器表示的融合,以对推文的检查价值进行分类,即它是否包括声明。我们进行了详细的功能分析,并提出了我们的最佳表现模型为英语和阿拉伯语的推文。对于第二个问题,索赔检索,我们从专门针对语义文本相似性训练的连体网络Transformer模型(transformer-transformers)中探索预训练的嵌入,并执行KD搜索以检索关于查询tweet的验证索赔。
2020-09-20 cs.CL cs.SI
Multilingual Models for Check-Worthy Social Media Posts Detection
Kempelen Institute of Intelligent Technologies(凯姆佩伦智能技术研究所);West Pomeranian University of Technology in Szczecin(什切青西波美拉尼亚理工大学)
本研究开发了可高效同时检测社交媒体中有害帖子及可核查事实主张的多标签多语言分类模型,验证了其鲁棒性,覆盖多语言场景。
2026-09-07 cs.CL
FLEEK: Factual Error Detection and Correction with Evidence Retrieved from External Knowledge
University of Michigan - Ann Arbor(密歇根大学安娜堡分校);Apple(苹果公司)
FLEEK是一个自动检测和纠正文本事实错误的原型工具,通过提取事实主张、检索外部证据、评估事实性并给出修改建议,在检测任务上达到77-85%的F1值。
2023-10-26 cs.CL
MultiCW: A Large-Scale Balanced Benchmark Dataset for Training Robust Check-Worthiness Detection Models
Kempelen Institute of Intelligent Technologies(智能技术研究所);West Pomeranian University of Technology in Szczecin(西波美拉尼技术大学)
MultiCW数据集通过平衡多语言和多领域样本,为训练鲁棒的检查性声明检测模型提供基准,验证微调模型在零样本设置下的优势。
2026-02-18 cs.CL
Decomposed Entailment for Factuality Checking and Hallucination Detection
CEA LIST
本研究提出轻量级黑箱框架HallDetect,将生成内容分解为原子主张并经对比式蕴含模型验证,在多基准上优于同资源基线,可定位幻觉错误。
2026-08-07 cs.CL
Calibrating Small Language Models for Claim Check-Worthiness Detection
Factiverse AS(法克蒂弗斯公司);University of Stavanger(斯塔万格大学);Stockholm University(斯德哥尔摩大学)
针对小型语言模型(SLMs)核查声明价值时的准确性与成本问题,提出轻量级校准方法NN-PPI,可使SLMs达到大型语言模型的准确性,大幅降低大规模核查的成本。
2026-09-02 cs.AI cs.CL
Automatic Fake News Detection: Are Models Learning to Reason?
University of Copenhagen(哥本哈根大学)
大多数用于自动虚假新闻检测的事实检查模型都是基于推理的:给定一个具有相关证据的声明,这些模型旨在根据证据中的支持或反驳内容来估计声明的真实性。当这些模型表现良好时,通常认为是由于模型已经学会了对索赔的证据进行推理。在本文中,我们通过探讨主张和证据的关系和重要性来研究这一推理假设。令人惊讶的是,我们在政治事实核查数据集上发现,最常见的最高有效性是通过只利用证据来获得的,因为包括索赔的影响可以忽略不计或对有效性有害。这突出了一个重要问题,即在现有的自动虚假新闻检测方法中,什么构成证据。
2021-05-17 cs.CL cs.CY cs.LG
On the Role of Images for Analyzing Claims in Social Media
TIB – Leibniz Information Centre for Science and Technology(莱布尼茨科技与信息研究所);L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心)
假新闻是社交媒体中的一个严重问题。在本文中,我们提出了一个实证研究的视觉,文本和多模态模型的索赔,索赔检查价值,阴谋检测的任务,所有这些都与假新闻检测。最近的研究表明,图像比文本更有影响力,并且经常与假文本一起出现。为此,近年来提出了几种多模态模型,这些模型使用图像和文本来检测Twitter等社交媒体网站上的假新闻。然而,图像的作用并没有很好地理解索赔检测,特别是使用基于transformer的文本和多模态模型。我们研究了两种语言的四种不同数据集的图像、文本(基于transformer)和多模态信息的最新模型,以了解图像在索赔和阴谋检测任务中的作用。
2021-03-17 cs.CL cs.CV cs.SI
When Citations Mislead? A Claim-Level Benchmark for Legal Hallucination Detection
University at Albany, SUNY(纽约州立大学奥尔巴尼分校)
针对大型语言模型在法律场景中易产生无依据主张的问题,研究构建了PARCEL基准数据集,将任务转化为三向自然语言推理,评估发现模型存在误判缺陷,该基准可用于测试法律RAG系统的主张依据性。
2026-10-09 cs.AI cs.CL
A Graph-Enhanced Defense Framework for Explainable Fake News Detection with LLM
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Hong Kong Baptist University(香港浸会大学);Guangdong Institute of Smart Education, Jinan University(暨南大学广东智慧教育研究院);University of Science and Technology Beijing(北京科技大学);Engineering Research Center of Knowledge-Driven Human-Machine Intelligence(知识驱动人机智能教育部工程研究中心);International Center of Future Science, Jilin University(吉林大学未来科学国际合作中心)
本文提出G-Defense框架,通过构建以声明为中心的图,利用检索增强生成技术获取证据并生成竞争性解释,以提高假新闻检测的准确性和解释质量。
2026-04-08 cs.AI cs.CL
Leveraging Commonsense Knowledge on Classifying False News and Determining Checkworthiness of Claims
Universitat Politècnica de València(瓦伦西亚理工大学);Izmir Institute of Technology(伊兹密尔理工学院);bytes Corp.(2bytes公司);University of Koblenz-Landau(科布伦茨-兰道大学)
虚假新闻的广泛和迅速传播使事实核查成为一项必不可少的要求。鉴于其耗时和劳动密集型的性质,该任务要求自动化支持以满足需求。在本文中,我们建议利用常识知识进行虚假新闻分类和值得检查的索赔检测。认为常识知识是人类可信度的一个因素,我们微调的BERT语言模型与常识问答任务和上述任务中的多任务学习环境。为了预测细粒度的虚假新闻类型,我们将所提出的微调模型的性能与公共数据集以及新收集的数据集上的虚假新闻分类模型进行了比较。我们将该模型的性能与单任务BERT模型和最先进的检查值得索赔检测工具进行比较,以评估检查值得索赔检测。我们的实验分析表明,常识知识可以提高这两个任务的性能。
2021-08-08 cs.AI cs.CL
Unpacking Hateful Memes: Presupposed Context and False Claims
Syracuse University(Syracuse大学)
本文针对仇恨表情包检测中忽略仇恨本质的问题,提出含PCM与FACT模块的SHIELD框架,实验显示其检测性能优于现有最优方法,且可用于假新闻检测等任务。
2026-08-04 cs.AI cs.CL