Probing Spurious Correlations in Popular Event-Based Rumor Detection Benchmarks
National University of Singapore（新加坡国立大学）
随着社交媒体成为错误信息传播的温床，谣言检测的关键任务已经见证了开源基准数据集所带来的有希望的进步。尽管被广泛使用，但我们发现这些数据集存在虚假相关性，这些相关性被现有的研究所忽略，并导致严重高估现有的谣言检测性能。虚假的相关性源于三个原因：（1）基于事件的数据汇集和标签方案将相同的真实性标签分配给来自同一基础事件的多个高度相似的帖子;（2）合并多个数据源虚假地将源身份与真实性标签相关联;以及（3）标签偏差。在本文中，我们仔细研究了三个最流行的谣言检测基准数据集（即，Twitter 15，Twitter 16和PHEME），并提出事件分离的谣言检测作为一种解决方案，以消除虚假的线索。在事件分离设置下，我们观察到现有最先进模型的准确性显著下降了40%以上，仅与简单的神经分类器相当。为了更好地解决这一任务，我们提出了出版商风格聚合（PSA），一种可推广的方法，聚合出版商发布记录，以了解写作风格和准确性的立场。大量的实验表明，我们的方法优于现有的基线的有效性，效率和泛化能力。
2022-09-19 cs.AI cs.CL cs.SI
Modeling Conversation Structure and Temporal Dynamics for Jointly Predicting Rumor Stance and Veracity
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
自动验证谣言信息已经成为自然语言处理和社交媒体分析中一项重要且具有挑战性的任务。以往的研究表明，人们对谣言信息的态度可以为判断谣言的真实性提供指示性线索，因此确定公众反应的态度是谣言真实性预测的关键前一步。在本文中，我们提出了一个分层的多任务学习框架，用于联合预测Twitter上的谣言立场和真实性，它由两个组件组成。我们的框架的底部组件分类的立场，在讨论谣言的对话通过建模的结构属性的基础上一种新的图卷积网络的推文。顶部组件预测谣言的真实性，利用立场演变的时间动态。在两个基准数据集上的实验结果表明，该方法在谣言立场分类和准确性预测方面都优于以往的方法。
2019-09-18 cs.CL cs.SI
SAFE-MR: Evidence Sufficiency Learning for Selective Multimodal Rumor Detection
Artificial Intelligence Research Institute（人工智能研究院）；Shenzhen University of Advanced Technology（深圳理工大学）
SAFE-MR框架将声明真实性与证据充分性分离，通过关系感知图与证据干预实现选择性多模态谣言检测，在三个基准上显著提升宏F1并降低选择性预测错误。
2026-10-06 cs.CL
Interpretable Rumor Detection in Microblogs by Attending to User Interactions
DSO National Laboratories（国防科技研究院）；Singapore Management University（新加坡管理大学）
我们通过学习区分社区对微博中真实和虚假声明的反应来解决谣言检测问题。现有的最先进的模型是基于对会话树进行建模的树模型。然而，在社交媒体中，发布回复的用户可能是回复整个线程，而不是回复特定用户。我们提出了一个后级注意力模型（post-level attention model），用于描述Transformer网络中具有多头注意力机制的推文之间的长距离交互。我们研究了该模型的变体：（1）结构感知的自注意模型（StA-HiTTH），它在Transformer网络中包含树结构信息，以及（2）分层令牌和后级注意模型（StA-HiTTH），它学习具有令牌级自注意的句子表示。据我们所知，我们是第一个在两个谣言检测数据集上评估我们的模型的人：PHEME数据集以及Twitter 15和Twitter 16数据集。我们表明，我们最好的模型优于目前的最先进的模型，这两个数据集。此外，注意力机制使我们能够解释谣言检测预测在令牌级和后级。
2020-01-29 cs.CL cs.IR cs.SI
Towards Real-World Rumor Detection: Anomaly Detection Framework with Graph Supervised Contrastive Learning
School of Computer Science and Technology & Beijing Key Lab of Traffic Data Analysis and Mining（计算机科学与技术学院及北京交通数据挖掘与分析重点实验室）
针对真实世界谣言数据不平衡与稀缺问题，构建Weibo和Twitter大规模对话数据集，提出图监督对比学习异常检测框架AD-GSCL，在平衡、不平衡及少样本条件下均表现优越。
2025-08-10 cs.CL cs.SI
A Weakly Supervised Propagation Model for Rumor Verification and Stance Detection with Multiple Instance Learning
Hong Kong Baptist University（香港浸会大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Singapore Management University（新加坡管理大学）
谣言在微博上的传播通常遵循传播树结构，这为原始消息如何随着时间的推移被用户传播和响应提供了有价值的线索。最近的研究表明，谣言检测和立场检测是两个不同但相关的任务，它们可以共同增强彼此，例如，辟谣可以通过核实相关微博所表达的立场来进行，而立场也取决于谣言的性质。然而，大多数姿态检测方法需要大量的帖子级姿态标签用于训练，这是劳动密集型的大量帖子。受多实例学习（MIL）方案的启发，本文首先用自底向上和自顶向下的树来表示声明的扩散，然后提出两个树结构的弱监督框架来联合分类谣言和立场，其中只需要关于声明真实性的袋级标签。具体来说，我们将多类问题转换为多个基于MIL的二进制分类问题，其中每个二进制模型侧重于区分目标立场或谣言类型和其他类型。最后，我们提出了一个分层的注意力机制来聚合二进制预测，包括（1）一个自下而上或自上而下的树注意力层，以聚合二进制立场到二进制准确性;和（2）一个歧视性的注意力层，以聚合二进制类到更细粒度的类。在三个基于Twitter的数据集上进行的大量实验表明，与最先进的方法相比，我们的模型在声明级谣言检测和后级立场分类方面都有很好的表现。
2022-04-27 cs.AI cs.CL
Breaking Event Rumor Detection via Stance-Separated Multi-Agent Debate
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对社交媒体突发事件谣言检测中缺乏标注资源、LLMs多样性有限的问题，提出立场分离的多智能体辩论模型S2MAD，通过分类评论立场和主张类型、多轮辩论及法官裁决，在两个数据集上性能优于现有方法，提升LLMs检测效果。
2024-12-06 cs.CL cs.MA
Neural Language Model Based Training Data Augmentation for Weakly Supervised Early Rumor Detection
The University of Sheffield（谢菲尔德大学）
训练数据的稀缺性和类别不平衡性是当前谣言检测任务中的已知问题。我们提出了一个简单的和通用的数据增强技术，这是有益的早期谣言检测依赖于事件传播模式。其关键思想是利用社交媒体上的大量未标记事件数据集来增强有限的标记谣言源推文。这项工作是基于最近的谣言研究和标记和未标记的数据之间的语义相关性揭示的谣言传播模式。一个国家的最先进的神经语言模型（NLM）和大型的可信度为重点的Twitter语料库学习上下文敏感的表示谣言推文。六个不同的现实世界中的事件的基础上，三个公开可用的谣言数据集在我们的实验中提供了一个比较评估的方法的有效性。结果表明，我们的方法可以将现有谣言数据集的大小扩展近200%，并且相应的社会背景（即，100%，质量合理。利用最先进的基于深度学习的谣言检测模型进行的初步实验表明，增强数据可以缓解由有限的训练数据引起的过拟合和类别不平衡，并且可以帮助训练复杂的神经网络（NN）。在增强数据的情况下，谣言检测的性能可以提高12.1%。我们的实验还表明，增强的训练数据可以帮助推广谣言检测模型上看不见的谣言。
2019-07-16 cs.CL cs.LG
Fully Automated Fact Checking Using External Sources
Sofia University “St. Kliment Ohridski”（索非亚大学）；Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）
鉴于近年来网上虚假声明的不断增长，自动区分虚假谣言和真实声明的研究兴趣也越来越大。在这里，我们提出了一个通用的框架，使用外部资源进行全自动的事实检查，挖掘整个网络的潜力作为一个知识来源，以确认或拒绝索赔。我们的框架使用带有LSTM文本编码的深度神经网络，将语义内核与特定于任务的嵌入相结合，这些嵌入将声明与来自Web的潜在相关文本片段一起编码，同时考虑源可靠性。评估结果表明，在两个不同的任务和数据集上表现良好：（i）谣言检测和（ii）社区问答论坛中问题答案的事实检查。
2017-10-01 cs.CL
Early Rumor Detection Using Neural Hawkes Process with a New Benchmark Dataset
Singapore Management University（新加坡管理大学）
针对早期谣言检测数据与评估不足的问题，本文构建 BEARD 基准数据集，并提出基于神经 Hawkes 过程的 HEARD 模型，以提升早期预测的及时性、准确性与稳定性。
2023-06-05 cs.CL
A Weakly Supervised Approach for Classifying Stance in Twitter Replies
Indian School of Business（印度商学院）；Carnegie Mellon University（卡内基梅隆大学）
社交媒体上的对话（SM）越来越多地被用来调查网络上的社会问题，如在线骚扰和谣言传播。对于这些问题，一个常见的研究思路是使用对抗性反应，例如，指出谣言中不实之处的答复。虽然在线对话中普遍存在敌对反应，但从回复中的文本中推断出这些负面观点（或立场）是困难的，需要复杂的自然语言处理（NLP）模型。此外，用于立场挖掘的传统NLP模型需要标记数据用于监督学习。获得标记的对话本身就具有挑战性，因为对话可以是任何主题，并且主题会随着时间的推移而变化。这些挑战使得学习姿势成为一个困难的NLP问题。在这项研究中，我们首先创建了一个新的立场数据集，包括三个不同的主题，通过标记用户对主题的意见（如赞成/反对）和用户在回复他人帖子时的立场（如赞成/反对）。由于我们发现监督方法的局限性，我们提出了一种弱监督方法来预测Twitter回复中的立场。我们的新方法允许使用较少数量的标签来为Twitter回复生成弱标签。与监督学习相比，我们的方法在人工标记的数据集上将平均F1-macro提高了8\%，而无需在训练集中使用任何人工标记的示例。我们进一步展示了我们提出的方法在Twitter上与COVID 19相关的对话中的适用性。
2021-03-12 cs.CL cs.SI
Empowering the Fact-checkers! Automatic Identification of Claim Spans on Twitter
IIIT Delhi（德里英迪拉·甘地信息技术学院）；IIT Delhi（德里印度理工学院）
2019冠状病毒病（COVID-19）后，医疗和政治主张的广泛传播导致错误信息和假新闻大量增加。目前的时尚是使用人工事实检查器来有效地对这些数据进行分类和验证，以对抗这种雪崩式的索赔错误信息。然而，信息传播的速度远远超过了事实核查人员的力量。因此，为了帮助手动事实检查器消除多余的内容，自动识别和提取帖子中存在的有价值的（错误）信息片段变得至关重要。在这项工作中，我们介绍了索赔跨度识别（CSI）的新任务。我们提出了CURT，一个大规模的Twitter语料库与令牌级索赔跨度超过7.5K的推文。此外，除了标准的令牌分类基线外，我们还使用DABERTa对我们的数据集进行了基准测试，DABERTa是RoBERTa的一种基于适配器的变体。实验结果证明，DABERTa在几个评估指标上优于基线系统，提高了约1.5个点。我们还报告了详细的误差分析，以验证模型的性能以及消融研究。最后，我们发布了全面的span注释指南供公众使用。
2022-10-11 cs.CL
Can Large Language Models Detect Rumors on Social Media?
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本研究提出基于LLM的谣言检测方法LeRuD，通过提示推理关键线索和传播链划分，在Twitter和微博数据集上超越现有模型3.2%-7.7%，且无需训练数据。
2024-02-08 cs.CL cs.IR
HAT4RD: Hierarchical Adversarial Training for Rumor Detection on Social Media
National Cheng Kung University（国立成功大学）
随着社交媒体的发展，社交方式发生了变化。这在方便人们沟通和获取信息的同时，也为谣言的传播提供了理想的平台。在正常或危急情况下，谣言会影响人们的判断，甚至危害社会安全。然而，自然语言是高维稀疏的，同一条谣言在社交媒体上可能有上百种表达方式。因此，目前的谣言检测模型的鲁棒性和泛化能力受到质疑。我们提出了一种新的\textbf{h}原型\textbf{a}对抗性\textbf{t}训练方法，用于社交媒体上的\textbf{r} umor \textbf{d}检测（HAT4RD）。具体来说，HAT4RD基于梯度上升，通过向后级和事件级模块的嵌入层添加对抗性扰动来欺骗检测器。同时，检测器使用随机梯度下降来最小化对抗风险，以学习更鲁棒的模型。通过这种方式，增强了后级和事件级样本空间，并且我们已经验证了我们的模型在各种对抗攻击下的鲁棒性。此外，视觉实验表明，该模型漂移到一个区域与平坦的损失景观，导致更好的泛化。我们在来自两个常用社交平台（Twitter和微博）的三个公共谣言数据集上评估了我们提出的方法。实验结果表明，我们的模型取得了更好的结果比国家的最先进的方法。
2022-08-29 cs.CL cs.SI
Graph Representation Learning with Massive Unlabeled Data for Rumor Detection
School of Computer；Information Technology \& Beijing Key Lab of Traffic Data Analysis
本研究利用微博和推特的大规模无标注话题数据，结合图自监督方法（InfoGraph、JOAO、GraphMAE）提升谣言检测的泛化能力，实验证明其优于专门设计的谣言检测方法，并在少样本条件下表现良好。
2025-08-06 cs.CL cs.SI
Call Attention to Rumors: Deep Attention Based Recurrent Neural Networks for Early Rumor Detection
The University of Queensland（昆士兰大学）；Deakin University（迪肯大学）；The University of New South Wales（新南威尔士大学）
社交媒体在沟通和信息传播方面的泛滥，使其成为传播谣言的理想平台。在谣言扩散阶段自动揭穿谣言被称为\textit{early rumor detection}，它指的是处理关于有争议的事实主张的连续帖子，这些事实主张随着时间的推移而发生某些变化和高度文本重复。因此，识别趋势谣言需要一个高效而灵活的模型，该模型能够捕获帖子之间的长期依赖关系，并为准确的早期检测产生不同的表示。然而，这是一个具有挑战性的任务，将传统的分类算法应用于谣言检测的早期，因为他们依赖于手工制作的功能，需要密集的人工努力的情况下，大量的职位。本文提出了一种基于循环神经网络（RNN）的深度注意模型，用于学习序列帖子的\textit{selectively}时间隐藏表示，以识别谣言。该模型将软注意力深入到递归中，同时汇集出具有特定焦点的不同特征，并产生隐藏的表示，以捕获相关帖子随时间的上下文变化。在社交媒体网站上收集的真实数据集上进行的大量实验表明：（1）基于深度注意力的RNN模型优于依赖手工特征的最新技术;（2）软注意力机制的引入可以有效地提前从原始帖子中提取谣言的相关部分;（3）所提出的方法比竞争对手更快，更准确地检测谣言。
2017-04-20 cs.CL cs.SI
Large Arabic Twitter Dataset on COVID-19
Center of Innovation and Development in Artificial Intelligence（人工智能创新与发展中心）；Umm Al-Qura University（乌姆·库拉大学）
2019冠状病毒病（COVID-19）于2019年12月下旬在中国出现，目前正在全球迅速蔓延。在撰写本文时，全球确诊病例数已超过250万，死亡人数超过18万。许多国家都实施了严格的社交距离政策，以遏制病毒的传播。这改变了数千万人的日常生活，并促使人们将他们的讨论转移到网上，例如，通过Twitter等社交网站在这项工作中，我们描述了自2020年1月1日以来收集的第一个关于COVID-19的阿拉伯语推文数据集。该数据集将有助于研究人员和决策者研究与这一流行病有关的各种社会问题。还可以分析与行为改变、信息共享、错误信息和谣言传播相关的许多其他任务。
2020-04-22 cs.CL cs.SI
The COVMis-Stance dataset: Stance Detection on Twitter for COVID-19 Misinformation
Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）；Leiden University（莱顿大学）
在COVID-19大流行期间，大量COVID-19错误信息在社交媒体上传播。我们关注Twitter用户对COVID-19错误信息的立场。然而，由于大流行的相对近期性质，只有少数立场检测数据集适合我们的任务。我们构建了一个新的立场数据集，由2631条推特组成，其中标注了对COVID-19错误信息的立场。在标记数据有限的情况下，我们通过利用MNLI数据集和两个现有的立场检测数据集（RumourEval和COVIDLies）来微调我们的模型，并在我们的数据集上评估模型性能。我们的实验结果表明，该模型在MNLI数据集以及欠采样RumourEval和COVIDLies数据集的组合上依次进行微调时表现最佳。我们的代码和数据集可在https://github.com/yanfangh/covid-rumor-stance上公开获取
2022-04-05 cs.CL cs.IR
VGA: Vision and Graph Fused Attention Network for Rumor Detection
Beijing Jiaotong University（北京交通大学）
本文提出视觉与图融合注意力网络VGA，利用传播结构获取群体意见，并挖掘图像篡改特征和隐藏文本，在多模态谣言检测上显著超越现有方法。
2024-01-03 cs.CL cs.CV cs.MM
Fake News Spreader Detection on Twitter using Character N-Grams. Notebook for PAN at CLEF 2020
Fraunhofer Institute for Secure Information Technology SIT（弗劳恩霍夫安全信息技术研究所）
假新闻的作者经常使用来自经过验证的新闻来源的事实，并将其与错误信息混合在一起，以制造混乱并在读者中引发不安。因此，假新闻的传播可能对我们的社会产生严重影响。他们可以左右政治选举，压低股价，或摧毁公司或公众人物的声誉。一些网站承担了核查谣言和指控的任务，但往往不够快，无法核查所传播的所有新闻的内容。特别是社交媒体网站为信息的快速传播提供了一个简单的平台。为了限制假新闻在社交媒体用户中传播，今年PAN 2020挑战赛的任务将重点放在假新闻传播者身上。该任务的目的是确定是否有可能区分过去分享过假新闻的作者和从未分享过假新闻的作者。在本笔记中，我们描述了我们在Twitter上进行假新闻检测任务的分析系统。为此，我们进行不同的特征提取技术和学习实验，从多语言的角度来看，即英语和西班牙语。我们最终提交的系统使用字符n-gram作为特征，结合英语的线性SVM和西班牙语的Logistic回归。我们提交的模型在英语和西班牙语官方测试集上的总体准确率分别为73%和79%。我们的实验表明，很难将Twitter上的假新闻传播者与分享可信信息的用户区分开来，这为进一步调查留下了空间。我们的模型在72个竞争对手中排名第三。
2020-09-29 cs.CL
Claim Detection in Biomedical Twitter Posts
University of Stuttgart（斯图加特大学）
社交媒体包含未经过滤和独特的信息，这些信息可能具有巨大的价值，但在错误信息的情况下，也可能造成巨大的伤害。关于生物医学主题，虚假信息可能特别危险。自动事实核查和假新闻检测方法解决了这个问题，但尚未应用于社交媒体中的生物医学领域。我们的目标是填补这一研究空白，并注释语料库的1200条推文的隐含和明确的生物医学索赔（后者也与跨度注释的索赔短语）。通过这个语料库，我们采样与COVID-19，麻疹，囊性纤维化和抑郁症有关，我们开发了自动检测包含索赔的推文的基线模型。我们的分析显示，生物医学推文中充斥着大量的声明（在一个包含1200条推文的语料库中，45%的推文集中在上述领域）。基于嵌入的分类器和基于BERT的迁移学习的基线分类实验表明，检测是具有挑战性的，然而，显示出可接受的性能，用于识别明确的表达的权利要求。隐式声明推文更难检测。
2021-05-01 cs.CL cs.SI
LLM-based Few-Shot Early Rumor Detection with Imitation Agent
Singapore Management University（新加坡管理大学）；Hong Kong Baptist University（香港 Baptist大学）
本文提出基于自主代理和大语言模型的少样本早期谣言检测框架，通过轻量级代理提升效率，实现准确性和早熟性的提升。
2026-01-29 cs.AI cs.CL
Cross-lingual Transfer Learning for Check-worthy Claim Identification over Twitter
Qatar University（卡塔尔大学）
在社交媒体上传播的错误信息已经成为不可否认的信息流行病。然而，并非所有的传播主张都是平等的。如果传播开来，有些主张可能具有破坏性，不仅对个人，而且对组织甚至国家都是如此。检测应该优先进行事实核查的声明被认为是打击假新闻传播的第一步。由于训练数据仅限于少数几种语言，因此开发监督模型来解决低资源语言的问题目前是不可行的。因此，我们的工作旨在研究我们是否可以使用现有的数据集来训练模型，以预测其他语言的推文中的声明的验证价值。本文利用多语言BERT（mBERT）模型，对六种跨语言检查值估计方法进行了系统的比较研究。我们使用最先进的多语言Twitter数据集运行我们的实验。我们的研究结果表明，对于某些语言对，zero-shot跨语言迁移是可能的，并且可以表现得像在目标语言上训练的单语模型一样好。我们还表明，在某些语言中，这种方法优于（或至少是可比的）国家的最先进的模型。
2022-11-09 cs.AI cs.CL cs.IR
A Semi-automatic Method for Efficient Detection of Stories on Social Media
Massachusetts Institute of Technology（麻省理工学院）
Twitter已经成为许多人的主要新闻来源之一。随着现实世界的事件和紧急情况的展开，Twitter上充斥着数十万关于这些事件的故事。其中一些故事是无害的，而另一些可能是拯救生命或恶意谣言的来源。因此，能够有效地跟踪这些事件期间在Twitter上传播的故事至关重要。在本文中，我们提出了一种新的半自动工具，使用户能够有效地识别和跟踪Twitter上的真实事件的故事。我们对25名参与者进行了一项用户研究，结果表明，与更传统的方法相比，我们的工具可以提高用户跟踪真实世界事件的速度和准确性。
2016-05-17 cs.CL cs.IR cs.SI
Stance in Replies and Quotes (SRQ): A New Dataset For Learning Stance in Twitter Conversations
Carnegie Mellon University（卡内基梅隆大学）
从社交媒体上的对话中提取立场（否认与支持意见）的自动化方法对于推进意见挖掘研究至关重要。最近，随着我们看到新的模型试图改进最先进的技术，该领域再次令人兴奋。然而，为了训练和评估模型，使用的数据集通常很小。此外，这些小数据集具有不均匀的类分布，即，数据集中只有一小部分例子有赞成或反对的立场，而大多数其他例子没有明确的立场。此外，现有的数据集没有区分社交媒体上的不同类型的对话（例如，回复vs.在Twitter上引用）。因此，在一个事件上训练的模型不会推广到其他事件。在所提出的工作中，我们创建了一个新的数据集标签的立场，在Twitter上的帖子（回复和报价）有争议的问题。据我们所知，这是目前Twitter对话中最大的人类标记立场数据集，拥有超过5200个立场标签。更重要的是，我们设计了一个推文收集方法，有利于选择否认型的回应。这个类预计在识别谣言和确定用户之间的敌对关系方面更有用。此外，我们包括许多基线模型学习的立场在对话中，并比较各种模型的性能。我们发现，结合数据的答复和报价降低了模型的准确性，表明这两种方式的行为不同，当涉及到立场学习。
2020-06-27 cs.CL cs.LG
Fake News Detection Tools and Methods -- A Review
Central University of Jammu（查谟中央大学）
在过去的十年中，Facebook、Twitter、Instagram和微博等社交网络平台和微博网站已经成为我们日常活动中不可或缺的一部分，并被全球数十亿用户广泛使用，以消息、图片和视频的形式分享他们的观点和传播信息。这些甚至被政府机构用来通过其经过验证的Facebook帐户和官方Twitter处理来传播重要信息，因为它们可以在有限的时间窗口内接触到大量人口。然而，许多欺骗性的活动，如宣传和谣言，每天都会误导用户。在这些COVID时代，假新闻和谣言非常普遍，并且在这个艰难时期制造了混乱。因此，在目前的情况下，对假新闻检测的需求是不可避免的。在本文中，我们调查了最近的文献不同的方法来检测假新闻在互联网上。特别是，我们首先讨论了假新闻以及文献中考虑的与之相关的各种术语。其次，我们强调了各种公开可用的数据集和各种在线工具，这些工具可以实时揭穿假新闻。第三，我们描述了基于两个更广泛领域的假新闻检测方法，即，它的内容和社会背景。最后，我们提供了用于揭穿假新闻的各种技术的比较。
2021-11-21 cs.CL cs.CY cs.SI
Harnessing Abstractive Summarization for Fact-Checked Claim Detection
IIT Bombay（印度理工学院孟买分校）；Surrey Institute for People-Centred AI（萨里以人为本人工智能研究所）；University of Surrey（萨里大学）
社交媒体平台已成为反社会分子的新战场，错误信息成为首选武器。事实核查组织试图揭穿尽可能多的说法，同时保持真实的新闻过程，但无法应对其快速传播。我们认为，解决方案在于事实检查生存周期的部分自动化，节省人类的时间，需要高认知的任务。我们提出了一个新的工作流程，有效地检测以前的事实检查索赔，使用抽象的总结，以生成清晰的查询。然后，这些查询可以在与先前经过事实检查的索赔集合相关联的通用检索系统上执行。我们策划了一个抽象的文本摘要数据集，包括来自Twitter的嘈杂的索赔和他们的黄金摘要。结果表明，检索性能提高2倍，通过使用流行的开箱即用的摘要模型和3倍，通过微调他们对附带的数据集相比，逐字查询。我们的方法实现了Recall@5和MRR分别为35%和0.3，而基线值分别为10%和0.1。我们的数据集、代码和模型都是公开的：https://github.com/varadhbhatnagar/FC-Claim-Det/
2022-09-14 cs.CL
IAI Group at CheckThat! 2024: Transformer Models and Data Augmentation for Checkworthy Claim Detection
University of Stavanger（斯塔万格大学）
本文介绍IAI团队在CheckThat! 2024任务1中，利用Transformer模型、少样本链式思维、微调、数据增强和跨语言迁移学习，在英荷阿三语可核查声明检测中分别取得第九、第三和第一的成绩。
2024-08-02 cs.CL
LESA: Linguistic Encapsulation and Semantic Amalgamation Based Generalised Claim Detection from Online Content
IIIT-Delhi（德里英迪拉·甘地信息技术学院）；Birla Institute of Technology and Science, Pilani（皮拉尼伯拉理工学院）
主张的概念化是论证挖掘的核心。索赔的分离是复杂的，因为不同的分布在文本句法和上下文的差异。另一个紧迫的问题是无法获得用于实验的标记非结构化文本。在本文中，我们提出了LESA，一个框架，其目的是在推进头先到消除前一个问题，通过组装一个源独立的广义模型，捕捉句法功能，通过词性和依赖嵌入，以及上下文功能，通过微调语言模型。我们解决后一个问题，注释Twitter数据集，旨在提供一个大型非结构化数据集的测试场。实验结果表明，LESA提高了国家的最先进的性能在六个基准索赔数据集的平均3索赔F1点的领域内的实验和2索赔F1点的一般领域的实验。在我们的数据集上，LESA在领域内实验中的表现也优于现有基线1个claim-F1点，在一般领域实验中优于现有基线2个claim-F1点。我们还发布了在注释阶段编译的综合数据注释指南（在当前文献中缺失）。
2021-01-28 cs.CL
DESYR: Definition and Syntactic Representation Based Claim Detection on the Web
IIIT-Delhi（德里印度理工学院）；BITS Pilani, Goa（比拉理工学院果阿校区）；Accenture Labs Bangalore（埃森哲实验室班加罗尔）
主张的形成是论证挖掘的核心。区分声明和非声明对于人类和机器来说都是困难的，因为两者之间存在潜在的语言差异，并且基于定义的形式化不充分。此外，在线社交媒体使用的增加导致网络上以非正式文本形式提供的未经请求的信息激增。为了解决上述问题，在本文中，我们提出了DESYR。这是一个框架，旨在取消非正式的基于Web的文本，通过利用层次表示学习（依赖启发庞加莱嵌入），基于定义的对齐和功能投影的组合所述问题。我们放弃了对计算机繁重的语言模型进行微调，转而采用一种更以领域为中心但更轻便的方法。实验结果表明，DESYR建立在国家的最先进的系统在四个基准索赔数据集，其中大部分是由非正式文本。我们看到在LESA-Twitter数据集上增加了3个claim-F1点，在线评论（OC）数据集上增加了1个claim-F1点和9个macro-F1点，Web话语（WD）数据集上增加了24个claim-F1点和17个macro-F1点，微文本（MT）数据集上增加了8个claim-F1点和5个macro-F1点。我们还对结果进行了广泛的分析。我们制作了一个100-D的庞加莱变体的预训练版本以及源代码。
2021-08-19 cs.CL
Leveraging Social Discourse to Measure Check-worthiness of Claims for Fact-checking
IIIT-Delhi（德里英迪拉·甘地信息技术研究所）；IIT-Delhi（印度理工学院德里分校）
本文提出细粒度声明核查价值新任务及CheckIt数据集，并设计统一方法CheckMate联合判断声明是否值得核查及其原因，实验验证了整合核查价值因素的有效性。
2023-09-17 cs.CL
Angry but Accurate: Detecting and Profiling the Counter-Misinformation Ecosystem on Twitter
University of Southern California（南加州大学）；Thomas Lord Department of Computer Science（托马斯·劳德计算机科学系）
研究推特反错误信息生态系统，用特定领域NLI模型分类新冠推文，对比支持或反对错误信息的两类推文的用户和文本特征，发现反错误信息推文负面情绪更强且发布者多为更成熟用户。
2026-08-10 cs.CL cs.CY cs.SI
A Stance Data Set on Polarized Conversations on Twitter about the Efficacy of Hydroxychloroquine as a Treatment for COVID-19
在本研究进行时，引起COVID-19大流行的SARS-CoV-2病毒已在全球范围内显著传播。考虑到政策的不确定性、健康风险、财政困难等，在线媒体，特别是Twitter平台，正在经历与这一流行病有关的大量活动。在热门话题中，关于未经证实的治疗和预防疾病的药物的两极化辩论引起了网络媒体用户的极大关注。在这项工作中，我们提出了一个立场数据集，COVID-CQ，在COVID-19的背景下，Twitter上的用户生成的内容。我们调查了超过14，000条推文，并手动注释了推文发起者关于使用“氯喹”和“羟氯喹”治疗或预防COVID-19的意见。据我们所知，COVID-CQ是在COVID-19大流行背景下Twitter用户立场的第一个数据集，也是任何领域中关于用户对索赔立场的最大Twitter数据集。我们已经通过GitHub向研究社区提供了这些数据集。我们希望这一数据集对许多研究目的都是有用的，包括立场检测，关于这次疫情的意见的演变和动态，以及应对政策决定和事件等外部冲击的意见变化。
2020-09-05 cs.CL cs.SI
ContextClaim: A Context-Driven Paradigm for Verifiable Claim Detection
School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦玛丽女王大学电子工程与计算机科学学院）
本文提出ContextClaim范式，通过提取实体、检索维基知识并生成上下文摘要，提升可验证声明检测的可靠性，验证其在不同领域和模型设置下的有效性。
2026-08-19 cs.CL
Claim Check-Worthiness Detection as Positive Unlabelled Learning
University of Copenhagen（哥本哈根大学）
作为自动事实核查的第一步，索赔核查价值检测是事实核查系统的关键组成部分。有多条研究路线研究这个问题：政治演讲和辩论的检查价值排名，Twitter上的谣言检测，以及维基百科的引用需要检测。到目前为止，还没有对这些不同的任务进行结构化的比较，以了解它们的相互关系，也没有调查是否可以对所有这些任务采取统一的方法。在这项工作中，我们阐明了所有这些任务背后的索赔检查价值检测的核心挑战，因为它们取决于检测句子的真实性以及句子在没有验证的情况下被相信的可能性。因此，注释者只标记那些他们认为值得明确检查的实例。我们的最佳执行方法是一种统一的方法，它使用一种积极的未标记学习的变体来自动纠正这种情况，该方法可以找到被错误标记为不值得检查的实例。在应用这一点时，我们在三个任务中的两个任务中表现出最先进的水平，这些任务是为了用英语进行索赔检查价值检测而研究的。
2020-09-16 cs.CL cs.LG
On the Role of Images for Analyzing Claims in Social Media
TIB – Leibniz Information Centre for Science and Technology（莱布尼茨科技与信息研究所）；L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）
假新闻是社交媒体中的一个严重问题。在本文中，我们提出了一个实证研究的视觉，文本和多模态模型的索赔，索赔检查价值，阴谋检测的任务，所有这些都与假新闻检测。最近的研究表明，图像比文本更有影响力，并且经常与假文本一起出现。为此，近年来提出了几种多模态模型，这些模型使用图像和文本来检测Twitter等社交媒体网站上的假新闻。然而，图像的作用并没有很好地理解索赔检测，特别是使用基于transformer的文本和多模态模型。我们研究了两种语言的四种不同数据集的图像、文本（基于transformer）和多模态信息的最新模型，以了解图像在索赔和阴谋检测任务中的作用。
2021-03-17 cs.CL cs.CV cs.SI
Inductive Claims Extraction at Scale
University of Edinburgh（爱丁堡大学）
本文提出一种利用大型语言模型从社交媒体大规模语料中归纳式提取并编目声明的流程，并在两个Twitter数据集上验证其有效性，为计算社会科学研究提供新工具。
2026-10-07 cs.CL cs.CY cs.SI
MythQA: Query-Based Large-Scale Check-Worthy Claim Detection through Multi-Answer Open-Domain Question Answering
The University of Florida（佛罗里达大学）
针对大规模信息源中值得核查声明检测研究不足的问题，提出结合矛盾立场挖掘的多答案开放域问答任务MythQA，构建含522个问题、5300条标注推文的TweetMythQA数据集，给出基线系统与初始基准。
2023-07-21 cs.CL cs.IR
Checkovid: A COVID-19 misinformation detection system on Twitter using network and content mining perspectives
Amirkabir University of Technology（阿米尔卡比尔理工大学）
在COVID-19疫情期间，由于社交隔离和隔离，社交媒体平台是沟通的理想平台。此外，它是大规模传播错误信息的主要来源，被称为信息流行病。因此，自动揭穿错误信息是一个至关重要的问题。为了解决这个问题，我们在Twitter上展示了两个与COVID-19相关的错误信息数据集，并提出了一个错误信息检测系统，该系统包括基于机器学习算法和NLP技术的基于网络和基于内容的过程。在基于网络的过程中，我们专注于社会属性，网络特征和用户。另一方面，我们在基于内容的过程中直接使用推文的内容对错误信息进行分类，该过程包括文本分类模型（段落级和段落级）和相似度模型。基于网络的过程的评价结果显示，人工神经网络模型的F1得分为88.68%的最佳结果。在基于内容的过程中，我们的新的相似性模型，其中获得了90.26%的F1得分，显示了改进的错误信息分类结果相比，基于网络的模型。此外，在文本分类模型中，使用堆叠集成学习模型取得了最好的结果，获得了95.18%的F1分数。此外，我们在Constraint@AAAI2021数据集上测试了我们基于内容的模型，并获得了94.38%的F1分数，我们改进了基线结果。最后，我们开发了一个名为Replikovid的事实核查网站，该网站使用每个流程从不同角度检测COVID-19领域中的错误信息和信息性声明。
2021-07-20 cs.CL cs.LG cs.SI
CheckThat! at CLEF 2020: Enabling the Automatic Identification and Verification of Claims in Social Media
DIT–Università di Bologna（博洛尼亚大学数字与信息工程系）；Qatar University（卡塔尔大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
我们描述了第三版的CheckThat！实验室，这是2020年跨语言评估论坛（CLEF）的一部分。CheckThat！提出了四个补充任务和一个与以前实验版本相关的任务，提供英语、阿拉伯语和西班牙语版本。任务1要求预测Twitter流中哪些推文值得进行事实核查。任务2要求确定是否可以使用一组先前经过事实检查的声明来验证推文中发布的声明。任务3要求从一组给定的Web页面中检索文本片段，这些文本片段对于验证目标tweet的声明很有用。任务4要求使用一组网页和其中可能有用的片段来预测目标推文声明的真实性。最后，实验室提供了第五个任务，要求预测在英语政治辩论和演讲中提出的主张的检查价值。CheckThat！有一个完整的评估框架。对于排序任务，使用平均精度或等级k处的精度进行评估，对于分类任务，使用F1进行评估。
2020-01-21 cs.AI cs.CL cs.IR
C$^{3}$T: Counterfactual Causal Reasoning for Sentiment Shifts in Social-Media Conversation Trees
Oklahoma State University（俄克拉荷马州立大学）
本研究针对社交媒体对话树的情感转变问题，提出C³T模型，基于CaSiRe数据集，联合预测节点情感与转变，在事件级划分下优于多类基线，为社交媒体分析提供结构导向的反事实建模动机。
2026-09-03 cs.AI cs.CL
Evaluating the Performance of Large Language Models in Scientific Claim Detection and Classification
Colorado State University（科罗拉多州立大学）
本研究评估了大型语言模型在检测和分类COVID-19相关科学声明中的性能，提出其在自动化事实核查和公共卫生传播中具有显著潜力。
2024-12-21 cs.CL cs.CY cs.LG
Transformer based Automatic COVID-19 Fake News Detection System
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
Twitter等在线社交网络最近的快速技术进步导致了传播虚假信息和假新闻的巨大趋势。在持续的冠状病毒病（COVID-19）大流行中，错误信息尤其普遍，导致个人接受虚假和潜在有害的索赔和文章。快速发现假新闻可以减少公众恐慌和混乱的传播。就我们在本文中的分析而言，我们报告了一种分析社交媒体上分享的与COVID-19大流行有关的信息可靠性的方法。我们最好的方法是基于三个Transformer模型（BERT，ALBERT和XLNET）的集合来检测假新闻。该模型在约束AI 2021共享任务COVID 19英语假新闻检测的背景下进行了训练和评估。我们的系统在测试集上获得了0.9855的f1分数，在160个团队中排名第5。
2021-01-21 cs.CL
A Few Topical Tweets are Enough for Effective User-Level Stance Detection
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad bin Khalifa University（哈马德·本·哈利法大学）
姿态检测需要确定用户朝向目标（诸如实体、主题或声明）的位置。最近采用无监督分类的工作表明，对有许多推文的声音Twitter用户执行立场检测可以产生非常高的准确率（+98%）。然而，这些方法对于声音较小的用户表现不佳或完全失败，这些用户可能只撰写了关于目标的几条推文。在本文中，我们解决了这样的用户使用两种方法的立场检测。在第一种方法中，我们通过使用上下文化嵌入来表示推文，从而在上下文中捕获单词的潜在含义，从而提高了用户级立场检测。我们表明，这种方法优于两个强大的基线，并达到89.6%的准确率和91.3%的宏观F-措施上八个有争议的话题。在第二种方法中，我们使用Twitter时间轴推文扩展给定用户的推文，然后对用户进行无监督分类，这需要将用户与训练集中的其他用户聚类。该方法实现了95.6%的准确度和93.1%的宏观F-测量。
2020-04-07 cs.CL cs.SI
MuMiN: A Large-Scale Multilingual Multimodal Fact-Checked Misinformation Social Network Dataset
University of Bristol（布里斯托大学）
错误信息在社交媒体和新闻文章中越来越普遍。它已经变得如此普遍，以至于我们需要利用机器学习的算法辅助来检测此类内容。训练这些机器学习模型需要足够规模、多样性和质量的数据集。然而，自动错误信息检测领域的数据集主要是单语的，包括有限数量的模态，并且没有足够的规模和质量。针对这一点，我们开发了一个数据汇集和链接系统（MuMiN-trawl），构建一个公共错误信息图数据集（MuMiN），包含丰富的社交媒体数据（推文，回复，用户，图像，文章，标签）跨越属于2.6万个Twitter线程的2100万条推文，每条推文在语义上都与数十个主题，事件和领域的1.3万个事实检查声明相关联，用41种不同的语言，跨越了十多年。该数据集通过Python包（mumin）作为异构图提供。我们提供了与涉及社交媒体的索赔的准确性相关的两个节点分类任务的基线结果，并证明这些任务具有挑战性，这两个任务的最高宏观平均F1分数分别为62.55%和61.45%。MuMiN生态系统可在https：//mumin-martet.github.io/获得，包括数据，文档，教程和排行榜。
2022-03-08 cs.CL cs.CY cs.IR
