Extractive and Abstractive Explanations for Fact-Checking and Evaluation of News
University of Michigan（密歇根大学）
在本文中，我们探讨了自然语言解释新闻索赔的建设，以协助事实核查和新闻评价应用的目标。我们实验了两种方法：（1）基于Biased TextRank的提取方法-一种资源有效的基于无监督图的内容提取算法;（2）基于GPT-2语言模型的抽象方法。我们对政治和健康新闻领域的两个错误信息数据集进行了比较评估，发现提取方法最有前途。
2021-04-27 cs.CL
News is More than a Collection of Facts: Moral Frame Preserving News Summarization
Department of Intelligent Systems, Delft University of Technology（代尔夫特理工大学智能系统系）；ADAPT Research Centre, Dublin City University（都柏林城市大学ADAPT研究中心）
本文首次研究AI新闻摘要中道德框架的保留问题，提出保留记者有意使用的道德负载词汇的方法，并通过自动化、众包和专家评估验证其有效性。
2025-08-27 cs.CL
A Revisit of Fake News Dataset with Augmented Fact-checking by ChatGPT
University of California, Davis（加利福尼亚大学戴维斯分校）
本文用 ChatGPT 对人工记者验证的假新闻数据集进行增强事实核查，构建 ChatGPT-FC，并定量比较人类与 LLM 在多维度可信度评估上的异同，表明 LLM 可用于初步筛查并缓解人工偏见。
2023-12-19 cs.CL
Automatic Generation of Factual News Headlines in Finnish
University of Helsinki（赫尔辛基大学）；École Normale Supérieure-PSL（巴黎高等师范学院-PSL大学）；CNRS（法国国家科学研究中心）；Université Sorbonne nouvelle（新索邦大学）
我们提出了一种新的方法来生成芬兰语的新闻标题为一个给定的新闻故事。我们将其建模为摘要任务，其中模型被赋予新闻文章，其任务是生成描述文章主题的简洁标题。因为芬兰语没有公开可用的GPT-2模型，我们将首先使用几个语料库构建这样一个模型。然后，使用大量的新闻语料库的标题生成任务的模型进行微调。该系统由在芬兰一家媒体工作的3名专家记者进行评估。结果显示，可用性的标题建议工具，以促进新闻生产过程中所提出的方法。
2022-12-05 cs.CL
Financial Sentiment Analysis: Leveraging Actual and Synthetic Data for Supervised Fine-tuning
University of Nevada, Reno（内华达大学雷诺分校）
针对金融情感分析标注数据稀缺、现有模型上下文利用不足的问题，提出结合真实与合成数据的方法，构建BertNSP-finance拼接长句、finbert-lc做情感判定，在financial phrasebank数据集上提升了准确率和F1分数。
2024-12-13 cs.CL cs.LG
Fact-checking AI-generated news reports: Can LLMs catch their own lies?
Brandeis University（布兰迪斯大学）
本研究评估LLM核查自身及其他LLM生成新闻声明真实性的能力，发现其核查效果受新闻类型、信息属性等影响，引入RAG可减少无法评估的情况但会增加错误，指出需优化检索质量，动态事件与地方新闻或需人机协同核查。
2025-03-24 cs.CL
A Coarse-to-fine Cascaded Evidence-Distillation Neural Network for Explainable Fake News Detection
Jilin University（吉林大学）；Hong Kong Baptist University（香港浸会大学）
现有的虚假新闻检测方法旨在区分新闻的真伪，并提供准确的解释，取得了显著的效果。然而，他们经常根据人工事实核查报告定制自动化解决方案，受到新闻报道有限和揭穿延迟的困扰。当一条新闻尚未经过事实核查或揭穿时，通常会在各种媒体上传播一定数量的相关原始报道，其中包含群众的智慧，以核实新闻声称并解释其判决。在本文中，我们提出了一种新的粗到细级联证据蒸馏（CCED）神经网络，用于基于此类原始报告的可解释假新闻检测，减轻了对事实检查的依赖。具体来说，我们首先利用一个分层编码器的Web文本表示，然后开发两个级联的选择器，选择最可解释的句子的判决顶部的选定的前K个报告，在一个由粗到细的方式。此外，我们构建了两个可解释的假新闻数据集，这是公开的。实验结果表明，我们的模型显着优于国家的最先进的基线，并从不同的评价角度产生高质量的解释。
2022-09-29 cs.CL
Evaluating the Realism of LLM-powered Social Agents: A Case Study of Reactions to Spanish Online News
Faculty of Computer Science, University of Murcia（计算机科学系，穆尔西亚大学）
通过比较真实与LLM生成的西班牙新闻评论，研究LLM在仇恨言论、情感和语义对齐三个维度上的真实性，发现现成模型表现不佳，微调可部分改善。
2026-05-27 cs.AI cs.CL
Reinforcement Retrieval Leveraging Fine-grained Feedback for Fact Checking News Claims with Black-Box LLM
Singapore Management University（新加坡管理大学）
提出FFRR方法，通过两级策略从黑盒LLM获取细粒度反馈作为奖励优化检索策略，在新闻声明事实核查任务上显著优于LLM和非LLM基线。
2024-04-26 cs.CL
Connecting the Dots Between Fact Verification and Fake News Detection
Beihang University（北京航空航天大学）
事实验证模型在过去的两年中取得了快速的发展，随着BERT等预训练语言模型的发展和FEVER等大规模数据集的发布。然而，假新闻检测的挑战性问题并没有受益于事实验证模型的改进，这与假新闻检测密切相关。在本文中，我们提出了一种简单而有效的方法来连接事实验证和假新闻检测之间的点。我们的方法首先采用了一个文本摘要模型预先训练的新闻语料库，总结成一个简短的声明长新闻文章。然后，我们使用在FEVER数据集上预先训练的事实验证模型来检测输入的新闻文章是真的还是假的。我们的方法利用了最近成功的事实验证模型，并实现了zero-shot假新闻检测，减轻了大规模训练数据训练假新闻检测模型的需求。在FakenewsNet上的实验结果证明了该方法的有效性。
2020-10-11 cs.AI cs.CL
From Generation to Detection: Exploration of Discourse Driven Scenario based LLM Generated Fake News
Ankara University（安卡拉大学）
本研究系统评估了LLM在四种生成场景下生成和检测假新闻的能力，发现生成策略显著影响可检测性，且细化提示未能提升检测性能。
2026-09-21 cs.CL
Evaluation of Fake News Detection with Knowledge-Enhanced Language Models
City, University of London（伦敦大学城市学院）
假新闻检测的最新进展利用了大规模预训练语言模型（PLM）的成功。主要的最先进方法是基于对标记的假新闻数据集进行微调的PLM。然而，大型PLM通常没有经过结构化事实数据的训练，因此可能不具备基于事实准确知识的先验知识。因此，利用现有的知识库（KB）和丰富的人工事实信息，有可能使假新闻检测更加有效和强大。在本文中，我们研究了知识集成到PLM中对假新闻检测的影响。我们研究了几种最先进的知识整合方法，主要使用维基数据作为知识库，在两个流行的假新闻数据集上- LIAR，一个基于政治的数据集，以及COVID-19，一个在社交媒体上发布的与COVID-19流行病有关的消息数据集。我们的实验表明，知识增强模型可以显着提高LIAR上的假新闻检测，其中KB是相关的和最新的。COVID-19的好坏参半的结果突出了对文体特征的依赖以及特定领域和当前知识库的重要性。
2023-02-13 cs.CL
Cross-lingual COVID-19 Fake News Detection
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Pennsylvania State University（宾夕法尼亚州立大学）；Hong Kong Baptist University（香港浸会大学）
COVID-19疫情对全球公共卫生构成巨大威胁。与此同时，有大量与大流行病有关的错误信息，鼓吹毫无根据或不科学的说法。即使是主要的社交媒体和新闻媒体也在揭穿COVID-19错误信息方面做出了额外的努力，大部分事实核查信息都是英语的，而一些未经审核的COVID-19错误信息仍然以其他语言传播，威胁着移民社区和发展中国家信息不多的人的健康。在本文中，我们首次尝试仅使用高资源语言（英语）中经过事实核查的新闻来检测低资源语言（中文）中的COVID-19错误信息。首先，我们根据现有的事实核查信息，整理了一个中国真实和虚假新闻数据集。然后，我们提出了一个名为CrossFake的深度学习框架，以联合编码跨语言的新闻正文文本，并尽可能多地捕获新闻内容。在我们的数据集上的实证结果证明了CrossFake在跨语言环境下的有效性，它也优于几种单语和跨语言的假新闻检测器。该数据集可在https://github.com/YingtongDou/CrossFake上获得。
2021-10-14 cs.CL
An Adversarial Benchmark for Fake News Detection Models
Yale University（耶鲁大学）
随着在线错误信息的扩散，假新闻检测在人工智能社区中变得越来越重要。在本文中，我们提出了一个对抗性基准，测试假新闻检测器对现实世界事实进行推理的能力。我们制定了对抗攻击，目标是三个方面的“理解”：组成语义，词汇关系，修饰语的敏感性。我们使用在LIAR arXiv：arch-ive/1705648和Kaggle Fake-News数据集上微调的BERT分类器来测试我们的基准，并表明这两个模型都无法对成分和词汇意义的变化做出响应。我们的研究结果加强了这种模型与其他事实检查方法结合使用的必要性。
2022-01-03 cs.CL
Query-Focused Scenario Construction
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
对事件的新闻报道往往包含对所发生事件的多种不相容的描述。我们开发了一个基于查询的系统，从这些数据中提取兼容的事件集（场景），制定为一类聚类。我们的系统会逐步评估每个事件与已选择事件的兼容性，并考虑顺序。我们使用由文章混合物组成的合成数据进行可扩展的训练，并在一个新的人工策划的关于现实世界新闻主题的场景数据集上评估我们的模型。更强的神经网络模型和更难的合成训练设置对于实现高性能都很重要，我们最终的场景构建系统的性能大大优于基于先前工作的基线。
2019-09-15 cs.CL
Automatic News Generation and Fact-Checking System Based on Language Processing
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Northeastern University（东北大学）；New York University（纽约大学）；University of California（加利福尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出基于语言处理的自动化新闻生成与事实核查系统，详述相关关键技术并通过实验验证有效性，指出技术融合创新将推动其在新闻行业提供更高效可靠的服务。
2024-05-21 cs.CL cs.LG
CONSISTENT: Open-Ended Question Generation From News Articles
Columbia University（哥伦比亚大学）；The New York Times R&D（纽约时报研发部）
最近关于问题生成的工作主要集中在事实类问题上，例如关于基本事实的谁、什么、哪里、什么时候。产生开放式的为什么，如何，什么等问题，需要长形式的答案已被证明更困难。为了便于生成开放式的问题，我们提出了一致的，一个新的端到端的系统，用于生成开放式的问题，回答和忠实于输入文本。使用新闻文章作为一个值得信赖的实验基础，我们证明了我们的模型的实力超过几个基线使用自动和人为=基于评估。我们提供了一个专家生成的开放式问题的评估数据集。我们讨论了新闻媒体组织的潜在下游应用。
2022-10-20 cs.CL
Headline Diagnosis: Manipulation of Content Farm Headlines
随着技术的快速发展，新闻通过社交媒体传播。为了吸引更多的读者和获取额外的利润，一些通讯社以更有吸引力的方式复制大量的新闻。因此，准确预测一篇新闻文章是否来自官方新闻机构至关重要。本文提出了一种基于卷积神经网络的新闻标题分类方法，以确定新闻文章的可信度。该模型主要侧重于研究标题中的关键因素。这些因素包括分词、词性标记和情感特征。将这些特征集成到所提出的分类模型中，所展示的评估准确率达到93.99%。
2022-04-25 cs.CL
Towards LLM-based Fact Verification on News Claims with a Hierarchical Step-by-Step Prompting Method
School of Computing and Information Systems（计算与信息系统学院）；Singapore Management University（新加坡管理大学）
本文研究LLM在新闻声明事实验证中的应用，提出分层逐步HiSS提示方法，通过拆分声明并多步问答验证，在两个数据集上超过全监督SOTA与少样本ICL基线。
2023-09-30 cs.CL
Dataset of Fake News Detection and Fact Verification: A Survey
NARA Institute of Science and Technology（奈良先端科学技术大学）
假新闻的迅速增加对社会造成了重大损害，引发了许多与假新闻相关的研究，包括假新闻检测和事实验证技术的发展。这些研究的资源主要是从网络数据中获取的公共数据集。我们从三个角度大规模调查了118个与假新闻研究相关的数据集：（1）假新闻检测，（2）事实验证，（3）其他任务;例如，假新闻分析和讽刺检测。我们还详细描述了他们的利用任务和他们的特点。最后，我们强调了假新闻数据集构建中的挑战以及解决这些挑战的一些研究机会。我们的调查通过帮助研究人员找到合适的数据集而无需重新发明轮子来促进假新闻研究，从而深入改进假新闻研究。
2021-11-05 cs.CL cs.CY cs.LG
CAP-LLM: Context-Augmented Personalized Large Language Models for News Headline Generation
National Energy University（国家能源大学）
针对个性化新闻标题生成中用户兴趣捕捉和事实一致性的挑战，提出CAP-LLM框架，通过用户偏好编码器、上下文注入适配器和对比损失强化模块，在PENS数据集上取得最优性能，平衡个性化与事实准确性。
2025-08-05 cs.CL
BLUFF: Benchmarking the Detection of False and Synthetic Content across 58 Low-Resource Languages
Penn State University（宾夕法尼亚州立大学）；Trinity College Dublin（都柏林圣三一学院）；MIT Lincoln Lab（麻省理工学院林肯实验室）；Visa Research（Visa研究）；Kempelen Institute of Intelligent Technologies（凯普勒智能技术研究所）
BLUFF通过覆盖58种低资源语言的多语言基准测试，提供检测虚假和合成内容的全面框架，结合人工与AI生成内容，推动公平的虚假信息检测研究。
2026-02-28 cs.CL
Automatic Fake News Detection: Are current models "fact-checking" or "gut-checking"?
Harvard University（哈佛大学）
自动假新闻检测模型表面上是基于逻辑的，其中标题中的声明的真实性可以通过支持或反驳在结果Web查询中发现的证据来确定。这些模型被认为在某种程度上是推理的;然而，已经表明，这些相同的结果，或者更好的结果，可以在根本不考虑索赔的情况下实现-只有证据。这意味着其他信号包含在所检查的证据中，并且可能基于可操纵的因素，例如情绪，情感或词性（POS）频率，这些因素容易受到对抗性输入的影响。我们通过多种形式的神经和非神经预处理和风格转移来中和其中的一些信号，并发现这种无关指标的扁平化可以诱导模型实际上需要声明和证据来表现良好。最后，我们构建了一个模型，使用情感向量建立了一个词汇，并通过“情感注意”机制，适当地加权某些情绪。我们提供了可量化的结果，证明我们的假设，可操作的功能正在被用于事实核查。
2022-04-14 cs.CL
Fact-Preserved Personalized News Headline Generation
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS（中国科学院计算技术研究所智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Intelligent Computing Technology, Suzhou, CAS（中国科学院苏州智能计算技术研究院）
提出FPG框架，通过相似度引导关键事实关注和对比学习增强，在PENS基准上实现个性化与事实一致性的良好权衡。
2025-01-21 cs.AI cs.CL
From Fragments to Facts: A Curriculum-Driven DPO Approach for Generating Hindi News Veracity Explanations
TCS Research（TCS研究）；Department of Computer Science and Engineering, Indian Institute of Technology Patna（印度理工学院帕纳布计算机科学与工程系）；Indian Institute of Technology Patna（印度理工学院帕纳布）；University of Innsbruck（因斯布鲁克大学）
针对印地语等低资源语言的虚假信息检测，提出一种结合直接偏好优化（DPO）与课程学习的框架，通过引入“实际性”和“精炼度”参数优化解释质量，实验验证了生成连贯、相关解释的有效性。
2026-05-31 cs.CL
Factify 2: A Multimodal Fake News and Satire News Dataset
IIIT Sri City（斯里城印度信息技术学院）；UCLA（加利福尼亚大学洛杉矶分校）；University of South Carolina（南卡罗来纳大学）；Carnegie Mellon University（卡内基梅隆大学）；Stanford（斯坦福大学）；Amazon AI（亚马逊人工智能）；Microsoft（微软公司）；IIT Patna（巴特那印度理工学院）；Georgia Tech（佐治亚理工学院）
针对现有事实核查数据集多为文本、多模态相关研究不足的问题，本文发布含5万条数据的多模态数据集FACTIFY 2，新增讽刺新闻并设三类标签，同时提供65% F1值的基线模型。
2023-10-02 cs.CL cs.CV
Fake News Detection via NLP is Vulnerable to Adversarial Attacks
Hongyi Honor College, Wuhan University（武汉大学弘毅学堂）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
新闻在塑造人们的信仰和观点方面起着重要作用。假新闻一直是一个问题，直到美国第45任总统的选举周期才暴露在大众面前。虽然自2015年以来，已经提出了许多检测方法来打击假新闻，但它们主要集中在文章的语言方面，而没有任何事实检查。在本文中，我们认为这些模型有可能对篡改事实的假新闻以及隐藏的真实新闻进行错误分类。通过对最先进的假新闻检测器Faithman的实验，我们证明了事实篡改攻击是有效的。为了解决这些问题，我们认为，事实核查应与语言特征分析相结合，以真正区分假新闻和真新闻。提出了一种众包的知识图谱，作为收集有关新闻事件的及时事实的稻草人解决方案。
2019-01-05 cs.CL cs.LG cs.SI
Combining Lexical and Syntactic Features for Detecting Content-dense Texts in News
Redfin Inc.（Redfin公司）；University of Pennsylvania（宾夕法尼亚大学）
内容密集型新闻以直接、简洁的方式报道有关事件的重要事实信息。诸如信息抽取、问答和摘要之类的信息搜索应用通常假设它们处理的所有文本都是内容密集的。在这里，我们实证检验这一假设的新闻文章从商业，美国国际关系，体育和科学新闻领域。我们的研究结果清楚地表明，在我们的研究中，大约有一半的新闻文本实际上是不密集的内容，并激励监督内容密度检测器的发展。我们对一个大型的训练语料库进行了分类标注，并训练了一个基于词汇和非词汇化句法特征的两层分类模型。在手动注释的数据上，我们比较了特定于领域的分类器的性能，这些分类器仅对来自给定新闻领域的数据进行训练，而一般分类器则将来自所有四个领域的数据汇集在一起。我们的注释和预测实验表明，内容密度的概念根据域而变化，天真的注释者提供的判断偏向于刻板的域标签。特定领域分类器对于内容密集文本通常较少的领域更准确。领域独立分类器再现更好的天真众包判断。分类预测在所有条件下都很高，约为80%。
2017-04-03 cs.CL
In Plain Sight: Media Bias Through the Lens of Factual Reporting
Northeastern University（东北大学）；Texas A&M University（得克萨斯农工大学）
新闻媒体中政治偏见的日益普遍，要求提高公众对它的认识，并采取强有力的检测方法。虽然NLP之前的工作主要集中在语言属性（如单词选择和语法）所捕获的词汇偏见，但其他类型的偏见源于文本中选择的实际内容。在这项工作中，我们调查的信息偏见的影响：事实的内容，但可以部署到动摇读者的意见。我们首先产生了一个新的数据集，BASIL，300篇新闻文章注释与1,727个偏见跨度，并找到证据表明，信息偏见出现在新闻文章中更频繁地比词汇偏见。我们进一步研究我们的注释，以观察不同媒体的新闻文章中信息偏见的表面。最后，通过对标记数据进行微调BERT，提出了信息偏差预测的基线模型，指出了任务的挑战和未来的发展方向。
2019-09-05 cs.CL
NewsEdits 2.0: Learning the Intentions Behind Updating News
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）；Salesforce AI（Salesforce人工智能部门）
本研究假设语言特征可指示事实流动性并预测新闻事实更新，引入NewsEdits 2.0分类体系区分不同更新意图，标注训练模型后实现高精度预测，还在LLM-QA弃权任务中验证了实用性。
2024-11-27 cs.AI cs.CL cs.DL
Integrating Pattern- and Fact-based Fake News Detection via Model Preference Learning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
为了抵御假新闻，研究人员开发了各种基于文本的方法。这些方法可以分为：1）基于模式的方法，专注于假新闻帖子之间的共享模式，而不是索赔本身; 2）基于事实的方法，从外部来源检索以验证索赔的真实性，而不考虑模式。这两组方法对文本线索的偏好不同，在检测假新闻时实际上起到了互补的作用。然而，很少有作品考虑他们的整合。在本文中，我们研究的问题，集成模式和事实为基础的模型到一个框架，通过建模他们的偏好差异，即，使得基于模式和事实的模型集中于帖子中的各个优选部分，并尽可能地减轻来自非优选部分的干扰。为此，我们构建了一个偏好感知的假新闻检测框架（Pref-FEND），该框架学习了基于模式和基于事实的模型的各自偏好，以进行联合检测。我们首先设计了一个异构动态图卷积网络来生成各自的偏好图，然后使用这些图来指导基于模式和基于事实的模型的联合学习，以进行最终预测。在两个真实数据集上的实验表明，Pref-FEND有效地捕获了模型偏好，并提高了基于模式、事实或两者的模型的性能。
2021-09-23 cs.CL cs.SI
Many Ways to Be Fake: Benchmarking Fake News Detection Under Strategy-Driven AI Generation
Pennsylvania State University（宾夕法尼亚州立大学）
本文提出MANYFAKE基准，通过多种策略驱动的提示管道生成6798篇虚假新闻文章，评估了先进检测器在处理混合真相案例时的性能。
2026-04-10 cs.CL cs.HC
Automatic Detection of Entity-Manipulated Text using Factual Knowledge
The University of British Columbia（不列颠哥伦比亚大学）
在这项工作中，我们专注于区分人类书面新闻文章与通过操纵人类书面新闻文章中的实体（例如，用事实上不正确的实体替换实体）。这种被操纵的文章可以通过冒充人类书面新闻文章来误导读者。我们提出了一个基于神经网络的检测器，检测操纵的新闻文章中提到的事实推理。我们提出的检测器通过图卷积神经网络利用事实知识以及新闻文章中的文本信息。我们还通过考虑各种策略来生成新的替换实体（例如，从GPT-2生成实体）。在所有设置中，我们提出的模型在准确性方面与最先进的检测器相匹配或优于最先进的检测器。我们的代码和数据可在https://github.com/UBC-NLP/manipulated_entity_detection上获得。
2022-03-19 cs.AI cs.CL
Recognizing Is Not Reversing: A Controlled Inversion Test of Fact-Preserving News Framing
University of Science and Technology of China（中国科学技术大学）
本研究通过受控反转测试发现，大型语言模型在新闻改写中虽能保持事实（约0.84），但撤销已知框架的能力极低（约0.05），表明识别框架不等于能逆转框架。
2026-09-11 cs.AI cs.CL
NoFake at CheckThat! 2021: Fake News Detection Using BERT
许多研究都是为了揭穿和分析假新闻。去年，许多研究人员研究了假新闻检测，但许多人仅限于社交媒体数据。目前，多家事实核查机构正在以各种格式公布其结果。此外，多个事实检查员为假新闻使用不同的标签，这使得很难建立一个可推广的分类器。通过合并类，可以增强机器模型的性能。这种域分类将有助于对文章进行分组，这将有助于节省分配声明验证时的手动工作。本文提出了一种基于BERT的分类模型来预测领域和分类。我们还使用了来自事实核查文章的其他数据。使用额外的训练数据，我们已经实现了任务3A的83.76%和任务3B的85.55%的宏观F1分数。
2021-08-11 cs.CL cs.SI
Polarity Detection of Sustainable Development Goals in News Text
LinkaLab
介绍可持续发展目标极性检测新任务，提出SDG - POD数据集，评估六种开源大语言模型在零样本和微调设置下的表现，发现微调模型性能更佳，合成训练数据可提升模型鲁棒性和分类性能。
2026-07-07 cs.AI cs.CL cs.DL
Can We Spot the "Fake News" Before It Was Even Written?
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）
鉴于最近网上虚假信息的泛滥，自动揭穿谣言、虚假声明和“假新闻”的研究兴趣也越来越大。“到目前为止，已经启动了一些人工和自动的事实核查举措，但整个企业仍然处于危机状态：当一项索赔最终得到事实核查时，它可能已经到达数百万用户，造成的伤害几乎无法挽回。一个可以说更有希望的方向是专注于对整个新闻媒体进行事实核查，这可以提前完成。然后，我们可以在新闻被写出来之前就对它进行事实核查：通过检查发布它的媒体有多可信。我们描述了我们如何在Tanbih新闻聚合器中做到这一点，这使得读者知道他们正在阅读的内容。特别是，我们开发媒体简介，显示报道的一般真实性，宣传内容的程度，超党派，主要的政治意识形态，报道的一般框架，以及对各种主张和主题的立场。
2020-08-10 cs.CL cs.IR cs.LG
Automated Fact Checking in the News Room
Priberam Labs（Priberam实验室）；Priberam Informática, S.A.（Priberam信息公司）；Dep. of Computer Science and Technology, University of Cambridge（剑桥大学计算机科学与技术系）；BBC News Labs（英国广播公司新闻实验室）
事实核查是新闻业的一项基本任务;由于最近对打击错误信息的关注和努力增加，其重要性得到了强调。在本文中，我们提出了一个自动化的事实检查平台，它给出了一个索赔，它检索相关的文本证据，从文档集合，预测每一个证据是否支持或反驳的索赔，并返回一个最终的判决。我们描述了系统的体系结构和用户界面，重点是选择，以提高其用户友好性和透明度。我们在新闻环境中对事实核查平台进行了用户研究：我们将其与新闻文章集相结合，并使用记者在工作流程中的反馈对平台进行评估。我们发现，我们平台的预测在58%的情况下是正确的，返回的证据中有59%是相关的。
2019-04-03 cs.CL cs.IR
News Verifiers Showdown: A Comparative Performance Evaluation of ChatGPT 3.5, ChatGPT 4.0, Bing AI, and Bard in News Fact-Checking
University of Wisconsin–Stout（威斯康星大学斯托特分校）
本研究通过黑盒测试评估了ChatGPT 3.5、ChatGPT 4.0、Bing AI和Bard在新闻事实核查中的表现，发现GPT-4.0以71分领先，但所有AI模型在理解新闻语境上仍不及人类，凸显了持续提升AI能力及保留人类核查的必要性。
2023-06-18 cs.AI cs.CL cs.HC
Two Stage Transformer Model for COVID-19 Fake News Detection and Fact Checking
通过社交媒体平台进行在线交流的技术的快速发展导致错误信息和假新闻的传播大量增加。假新闻在当前的COVID-19大流行中尤其猖獗，导致人们相信虚假和潜在有害的说法和故事。快速检测假新闻可以缓解恐慌、混乱和潜在健康危害的传播。我们使用最先进的机器学习模型进行自然语言处理，为COVID-19假新闻检测开发了一个两阶段自动化流程。第一个模型利用了一种新颖的事实检查算法，该算法检索与特定COVID-19索赔有关的用户索赔的最相关事实。第二个模型通过计算索赔与从手动策划的COVID-19数据集检索的真实事实之间的文本蕴涵来验证索赔的真实程度。该数据集基于一个公开可用的知识源，包括5000多个COVID-19虚假声明和经验证的解释，其中一个子集经过内部注释和交叉验证，以训练和评估我们的模型。我们评估了一系列基于经典文本特征的模型，以更上下文的Transformer为基础的模型，并观察到基于BERT和ALBERT的模型管道分别为两个阶段产生最好的结果。
2020-11-26 cs.CL cs.IR cs.LG
Fake News Detection and Manipulation Reasoning via Large Vision-Language Models
Tsinghua University（清华大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出操纵推理任务，构建 HFFN 基准，并设计融合交叉注意力与 LVLM 的 M-DRUM 模型，实现多模态假新闻检测及伪造痕迹推理。
2024-07-02 cs.AI cs.CL
Findings of Factify 2: Multimodal Fake News Detection
IIIT Sri City（印度信息技术学院斯里城校区）；University of South Carolina（南卡罗来纳大学）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Stanford（斯坦福大学）；Amazon AI（亚马逊人工智能）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软公司）；IIT Patna（巴特那印度理工学院）；Georgia Tech（佐治亚理工学院）
本文介绍了 Factify 2 共享任务的结果，该任务提供多模态事实验证和讽刺新闻数据集，要求通过比较社交媒体声明与支持文档进行 5 类分类，最佳系统使用 DeBERTa、Swinv2 和 CLIP 达到 81.82% 的平均 F1 分数。
2023-09-12 cs.CL cs.CV
Attributed Multi-Relational Attention Network for Fact-checking URL Recommendation
Worcester Polytechnic Institute（伍斯特理工学院）；Alibaba Group（阿里巴巴集团）
为了打击假新闻，研究人员主要集中在检测假新闻和记者建立和维护事实核查网站（例如，Snopes.com和Politifact.com）。然而，假新闻传播通过社交媒体网站得到了极大的促进，而这些事实核查网站并没有得到充分利用。为了克服这些问题并补充现有的对抗假新闻的方法，在本文中，我们提出了一种基于深度学习的事实检查URL推荐系统，以减轻假新闻在Twitter和Facebook等社交媒体网站中的影响。特别是，我们提出的框架包括一个多关系的注意模块和异构的图形注意网络，以学习复杂/语义之间的关系，用户-URL对，用户对，和URL-URL对。在真实数据集上的大量实验表明，我们提出的框架优于8个最先进的推荐模型，实现至少3~5.3%的改进。
2020-01-07 cs.CL cs.IR cs.SI
Improving Factual Consistency of News Summarization by Contrastive Preference Optimization
School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院）；Alibaba Group（阿里巴巴集团）
针对大型语言模型（LLMs）新闻摘要存在的复杂事实幻觉问题，提出对比偏好优化（CPO）分离其生成忠实与虚假内容的倾向，并结合探测式训练增强区分能力，显著提升了摘要可靠性。
2025-02-13 cs.AI cs.CL
Check-COVID: Fact-Checking COVID-19 News Claims with Scientific Evidence
Columbia University（哥伦比亚大学）；Northwestern University（西北大学）
本文提出 Check-COVID 事实核查基准，用科学文献证据验证 COVID-19 新闻声明，并通过实验表明域内数据对提升自动核查性能至关重要。
2023-05-29 cs.AI cs.CL cs.CY
ViFactCheck: A New Benchmark Dataset and Methods for Multi-domain News Fact-Checking in Vietnamese
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
针对越南语事实核查资源匮乏问题，研究推出首个多领域越南语新闻基准数据集 ViFactCheck，并评估多种预训练与大语言模型，发现 Gemma 模型以 89.90% 的宏观 F1 创下新标准。
2024-12-19 cs.CL cs.IR
Overview of Factify5WQA: Fact Verification through 5W Question-Answering
New York University（纽约大学）；University of South Carolina（南卡罗来纳大学）；Amazon AI（亚马逊人工智能）；Stanford University（斯坦福大学）；Amazon GenAI（亚马逊生成式人工智能）
针对假新闻传播快、人工核验繁琐的问题，Factify5WQA共享任务发布带5W问答标注的数据集推动自动化事实验证研究，最佳参赛方案准确率达69.56%，较基线提升近35%。
2024-10-05 cs.AI cs.CL cs.LG
Learning from Fact-checkers: Analysis and Generation of Fact-checking Language
Worcester Polytechnic Institute（伍斯特理工学院）
在打击假新闻的过程中，许多事实核查系统由基于人类的事实核查网站组成（例如，snopes.com和politifact.com）和自动检测系统。然而，即使已经被揭穿，在线用户仍然继续分享假新闻。这意味着早期的假新闻检测可能是不够的，我们需要另一种补充方法来减轻错误信息的传播。在本文中，我们介绍了一种用于打击假新闻的文本生成新应用。具体而言，我们（1）利用名为\emph{fact-checkers}的在线用户，他们引用事实核查网站作为公共话语中的事实核查信息的可信证据;（2）分析事实核查推文的语言特征;（3）提出并构建一个深度学习框架，以生成具有事实核查意图的响应，以增加事实核查人员对事实核查活动的参与。我们的分析表明，事实核查者倾向于反驳错误信息，并使用形式语言（例如，很少使用脏话和互联网俚语）。我们的框架成功地生成相关的响应，并通过实现高达30%的改进，优于竞争模型。我们的定性研究也证实了我们所产生的反应与现有模型产生的反应相比的优越性。
2019-10-05 cs.AI cs.CL cs.IR
Automatic Fake News Detection: Are Models Learning to Reason?
University of Copenhagen（哥本哈根大学）
大多数用于自动虚假新闻检测的事实检查模型都是基于推理的：给定一个具有相关证据的声明，这些模型旨在根据证据中的支持或反驳内容来估计声明的真实性。当这些模型表现良好时，通常认为是由于模型已经学会了对索赔的证据进行推理。在本文中，我们通过探讨主张和证据的关系和重要性来研究这一推理假设。令人惊讶的是，我们在政治事实核查数据集上发现，最常见的最高有效性是通过只利用证据来获得的，因为包括索赔的影响可以忽略不计或对有效性有害。这突出了一个重要问题，即在现有的自动虚假新闻检测方法中，什么构成证据。
2021-05-17 cs.CL cs.CY cs.LG
Fake News Detection on News-Oriented Heterogeneous Information Networks through Hierarchical Graph Attention
Florida State University（佛罗里达州立大学）
假新闻的病毒式传播造成了巨大的社会危害，使得假新闻侦破成为一项紧迫的任务。目前的假新闻检测方法严重依赖于文本信息，通过学习提取的新闻内容或写作风格的内部知识。然而，故意的谣言可以掩盖写作风格，绕过语言模型，并使简单的基于文本的模型无效。事实上，新闻文章和其他相关组件（如新闻创作者和新闻主题）可以建模为异构信息网络（简称HIN）。本文提出了一种新的虚假新闻检测框架--层次图注意力网络（HGAT），该框架利用层次注意力机制对HIN中的节点进行表示学习，然后通过对新闻文章节点进行分类来检测虚假新闻。在两个真实世界的假新闻数据集上的实验表明，HGAT可以优于基于文本的模型和其他基于网络的模型。此外，实验证明了我们的图表示学习和其他节点分类相关的应用在异构图的可扩展性和通用性。
2021-02-13 cs.CL cs.LG cs.SI
What Was Written vs. Who Read It: News Media Profiling Using Text Analysis and Social Media Context
University of Cambridge（剑桥大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Sofia University（索非亚大学）
预测整个新闻媒体报道的政治偏见和真实性是媒体分析的关键要素，这是一个研究不足但越来越重要的研究方向。目前网上虚假、有偏见和宣传性内容的泛滥程度，使得人工或自动对每一个可疑的说法进行事实核查成为不可能。或者，我们可以分析整个新闻媒体，并寻找那些可能发布虚假或有偏见内容的媒体。这种方法可以在发布时检测出可能的“假新闻”，只需检查其来源的可靠性。从实践的角度来看，政治偏见和报道的真实性既有语言方面的原因，也有社会背景的原因。在这里，我们研究两者的影响，即（i）写了什么（即，目标媒体发布了什么，以及它如何在Twitter上描述自己）与（ii）谁阅读了它（即，分析Facebook、Twitter和YouTube上目标媒体的读者）。我们进一步研究（三）什么是写在维基百科上的目标媒体。评估结果表明，所写的内容最重要，将所有信息源放在一起会产生比当前最先进技术水平的巨大改进。
2020-05-09 cs.CL cs.IR cs.LG
