DocMSU: A Comprehensive Benchmark for Document-level Multimodal Sarcasm Understanding
Beijing University of Posts and Telecommunications（北京邮电大学）；Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）
针对文档级新闻中讽刺线索稀疏且隐蔽的问题，提出包含102,588条图文新闻、覆盖9个主题的DocMSU基准，并引入细粒度对齐方法作为基线，实验验证其有效性。
2023-12-26 cs.CL cs.MM
MN-DS: A Multilabeled News Dataset for News Articles Hierarchical Classification
Lusófona University（卢索福纳大学）
本文构建并发布MN-DS多标签新闻数据集，包含2019年采集的10,917篇文章及两级层次标注，用于支持新闻主题自动分类、结构化和事件预测研究。
2023-04-23 cs.AI cs.CL cs.LG
L3Cube-IndicNews: News-based Short Text and Long Document Classification Datasets in Indic Languages
Pune Institute of Computer Technology（浦那计算机技术学院）；Indian Institute of Technology Madras（印度马德拉斯理工学院）；L3Cube Labs（L3Cube实验室）
本文提出L3Cube-IndicNews，为10种印度语言构建新闻标题、长文档和长段落三类分类数据集，并用多种BERT模型评估，推动印度区域语言主题分类与跨语言分析研究。
2024-04-26 cs.CL cs.LG
Who is Addressed in this Comment? Automatically Classifying Meta-Comments in News Comments
University of Hamburg（汉堡大学）；Hans-Bredow-Institute（汉斯·布雷多研究所）
用户评论已成为在线新闻的重要组成部分。然而，新闻编辑室经常被大量不同的评论所淹没，人工分析几乎不可行。识别那些涉及或提到新闻编辑室、个别记者或主持人的元评论，以及可能需要做出反应的元评论尤为重要。在本文中，我们提出了一个自动化的方法来识别和分类元评论。我们将基于手动提取特征的评论分类与端到端学习方法进行了比较。我们开发，优化和评估多个分类器的大型德国在线新闻编辑室明镜在线和“一百万个帖子”的DER标准，奥地利报纸语料库的评论数据集。两种优化的分类方法都取得了令人鼓舞的$F_{0.5}$值，在76%和91%之间。我们报告最重要的分类功能与定性分析的结果，并讨论我们的工作如何有助于使参与在线新闻更具建设性。
2018-10-02 cs.CL cs.CY
Employing Sentence Space Embedding for Classification of Data Stream from Fake News Domain
Department of Systems；Computer Networks, Faculty of Information；Communication Technology, Wroc aw University of Science
本文首次提出利用句空间嵌入将文本编码为离散数字信号，并借助图像分类卷积深度网络进行虚假新闻数据流分类，在Fakeddit数据集上验证了其泛化能力与时间效率。
2025-11-10 cs.CL cs.LG
Hierarchical Cross-Modality Semantic Correlation Learning Model for Multimodal Summarization
School of Cyber Science and Technology, Beihang University（北京航空航天大学网络科学与技术学院）；College of Cyber Security, Jinan University（暨南大学网络安全学院）
多模态摘要与多模态输出（MSMO）生成一个摘要与文本和视觉内容。多模态新闻报道包含着内容的异质性，这使得多模态新闻报道具有重要意义。此外，据观察，不同形式的数据在新闻报道中的层次相关。传统的MSMO方法通过学习整个数据的表示来处理不同形式的数据，这不能直接适应异构的内容和层次相关性。在本文中，我们提出了一个层次化的跨模态语义相关学习模型（HCSCL）来学习存在于多模态数据中的模态内和模态间的相关性。HCSCL采用图网络对模态内相关性进行编码。然后，提出了一个层次融合框架，学习文本和图像之间的层次相关性。此外，我们构建了一个新的数据集与相关的图像注释和图像对象标签信息提供监督信息的学习过程。在数据集上的大量实验表明，HCSCL在自动摘要度量和细粒度多样性测试方面明显优于基线方法。
2021-12-16 cs.AI cs.CL cs.CV
Supervised Contrastive Learning for Multimodal Unreliable News Detection in COVID-19 Pandemic
University of Warwick（华威大学）；Alan Turing Institute（艾伦·图灵研究所）
随着数字新闻行业成为信息传播的主要渠道，假新闻的不良影响被爆炸性放大。新闻报道的可信度不应孤立地考虑。相反，以前发表的关于类似事件的新闻文章可以用来评估新闻报道的可信度。受此启发，我们提出了一个基于BERT的多模态不可靠新闻检测框架，该框架利用对比学习策略从不可靠文章中捕获文本和视觉信息。对比学习器与不可靠新闻分类器交互，以将相似的可信新闻（或相似的不可靠新闻）推得更近，同时将具有相似内容但相反可信度标签的新闻文章在多模态嵌入空间中彼此远离。在COVID-19相关数据集ReCOVery上的实验结果表明，我们的模型在不可靠新闻检测方面优于许多竞争性基线。
2021-09-09 cs.CL
ClassBases at CASE-2022 Multilingual Protest Event Detection Tasks: Multilingual Protest News Detection and Automatically Replicating Manually Created Event Datasets
在这份报告中，我们描述了我们的ClassBases提交给多语言抗议事件检测的共享任务。对于多语言抗议新闻检测，我们参与了子任务1、子任务2和子任务4，即文档分类、句子分类和标记分类。在子任务1中，我们比较了XLM-RoBERTa-base、mLUKE-base和XLM-RoBERTa-large在顺序分类设置中的微调。我们总是使用来自每种语言的训练数据的组合来训练我们的多语言模型。我们发现，更大的模型似乎工作得更好，实体知识有所帮助，但代价不可忽略。对于子任务2，我们仅提交了一个基于mLUKE的句子分类系统。对于子任务-4，我们仅提交了用于序列标记的标记分类系统的XLM-RoBERTa-base。为了自动复制手动创建的事件数据集，我们参与了来自《纽约时报》新闻语料库的COVID相关抗议事件。我们创建了一个系统，将抓取的数据处理成抗议事件的数据集。
2023-01-16 cs.CL cs.CY cs.LG
MM-Claims: A Dataset for Multimodal Claim Detection in Social Media
TIB – Leibniz Information Centre for Science and Technology（莱布尼茨科技信息中心（TIB））；L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）；Jozef Stefan Institute（约瑟夫·斯特凡研究所）
近年来，网络上的错误信息问题在不同语言、国家和各种社交媒体平台上普遍存在。尽管在自动化虚假新闻检测方面已经做了很多工作，但图像的作用及其多样性还没有得到很好的探索。在本文中，我们研究了图像和文本在假新闻检测管道的早期阶段（称为索赔检测）中的作用。为此，我们引入了一个新的数据集，MM-Claims，它由三个主题的推文和相应的图像组成：COVID-19，气候变化和广泛的技术。该数据集包含大约86000条推文，其中3400条由多个注释器手动标记，用于多模态模型的训练和评估。我们详细描述了数据集，评估了强大的单峰和多峰基线，并分析了当前模型的潜力和缺点。
2022-05-04 cs.AI cs.CL cs.CV
Similarity-Aware Multimodal Prompt Learning for Fake News Detection
Qingdao University of Science and Technology（青岛科技大学）；University of Sheffield（谢菲尔德大学）
本文提出相似性感知的多模态提示学习框架（SAMPLE），通过提示学习与相似性感知融合，减少噪声并高效检测虚假新闻，在两个基准数据集上超越现有方法。
2023-06-16 cs.CL
Multimodal Fake News Detection
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
在过去的几年里，假新闻出现了前所未有的泛滥。因此，我们更容易受到错误信息和虚假信息传播在我们社会不同阶层可能产生的有害影响。因此，虚假新闻自动检测工具的开发在预防其负面影响方面发挥着重要作用。大多数检测和分类虚假内容的尝试只关注使用文本信息。多模态方法不太常见，它们通常将新闻分类为真或假。在这项工作中，我们使用单峰和多峰方法对Fakeddit数据集上的假新闻进行细粒度分类。我们的实验表明，基于卷积神经网络（CNN）架构结合文本和图像数据的多模态方法达到了最佳效果，准确率为87%。一些假新闻类别，如操纵内容，讽刺或虚假联系，从图像的使用中受益匪浅。使用图像也可以改善其他类别的结果，但影响较小。关于仅使用文本的单模方法，来自Transformers的双向编码器表示（BERT）是最好的模型，准确度为78%。因此，同时利用文本和图像数据可以显著提高假新闻检测的性能。
2021-12-09 cs.CL
Multimodal Fusion with BERT and Attention Mechanism for Fake News Detection
Toyo University（东洋大学）；Aimesoft JSC（艾美软件股份公司）
假新闻检测是提高媒体信息可信度的一项重要任务，因为假新闻每天都在社交媒体上不断传播，这是我们社会中非常严重的问题。假新闻通常是通过操纵图像，文本和视频来创建的。在本文中，我们提出了一种新的方法来检测假新闻融合来自文本和视觉数据的多模态特征。具体来说，我们使用预训练的BERT模型来学习文本特征，并使用在ImageNet数据集上预训练的VGG-19模型来提取图像特征。我们提出了一个尺度点积注意力机制来捕捉文本特征和视觉特征之间的关系。实验结果表明，我们的方法在公共Twitter数据集上的准确率比当前最先进的方法高3.1%。
2021-04-27 cs.CL
MMCFND: Multimodal Multilingual Caption-aware Fake News Detection for Low-resource Indic Languages
Indian Institute of Technology Indore（印度英迪尔印度理工学院）
本文提出了面向低资源印度语系的多模态多语言标题感知假新闻检测框架MMCFND，并构建了包含7种语言共28,085个实例的数据集MMIFND，通过融合视觉、文本和图像标题特征，有效提升了假新闻检测性能。
2024-10-14 cs.CL
Each Fake News is Fake in its Own Way: An Attribution Multi-Granularity Benchmark for Multimodal Fake News Detection
Nation University of Defence Technology（国防科技大学）；Xi’an Jiaotong University（西安交通大学）
针对现有数据集仅提供真假二元标签且无法反映多模态假新闻混合本质的问题，构建了归因多粒度数据集\amg并提出多粒度线索对齐模型\our，实现了假新闻检测与归因，为未来研究开辟了新途径。
2024-12-19 cs.AI cs.CL
Debunk and Infer: Multimodal Fake News Detection via Diffusion-Generated Evidence and LLM Reasoning
Sun Yat-sen University（中山大学）；Beihang University（北航）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing National Research Center for Information Science and Technology, Tsinghua University（北京信息科学与技术国家研究中心，清华大学）；Department of Automation, Tsinghua University（清华大学自动化系）
针对多模态假新闻检测问题，提出DIFND框架，结合条件扩散模型生成辟谣证据与多智能体MLLM的链式推理，在FakeSV和FVC数据集上显著提升了检测准确率与决策可信度。
2025-06-11 cs.CL
Synergizing LLMs with Global Label Propagation for Multimodal Fake News Detection
Inner Mongolia University（内蒙古大学）；National University of Singapore（新加坡国立大学）
针对LLM伪标签性能差的问题，提出GLPN-LLM模型，通过全局标签传播与掩码机制整合LLM能力，在多模态假新闻检测中超越现有基线。
2025-05-31 cs.CL
ExDR: Explanation-driven Dynamic Retrieval Enhancement for Multimodal Fake News Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；WeChat AI, Tencent（微信AI，腾讯）
ExDR通过基于解释的动态检索增强生成框架，提升多模态虚假新闻检测的准确性和泛化能力。
2026-01-22 cs.CL
Can Multimodal Large Language Models Generate and Detect Multimodal Social Media Fake News?
Carnegie Mellon University（卡内基梅隆大学）；RMIT University（皇家墨尔本理工大学）；Yale University（耶鲁大学）
本研究提出多智能体框架生成多模态假新闻，并基准测试16个MLLM的检测能力，发现多数模型远低于人类水平，尤其在图像真实性识别上失败，为防御假新闻奠定基础。
2026-09-30 cs.AI cs.CL
How does fake news use a thumbnail? CLIP-based Multimodal Detection on the Unrepresentative News Image
Soongsil University（崇实大学）；Adobe Research（奥多比研究院）
本研究调查假新闻如何使用新闻文章的缩略图，重点是新闻文章的缩略图是否正确地代表了新闻内容。与不相关的缩略图共享的新闻文章可能会误导读者对问题产生错误的印象，特别是在社交媒体环境中，用户不太可能点击链接并消费整个内容。我们建议通过使用预训练的CLIP表示来捕获多模态关系中的语义不一致程度。从来源层面分析，我们发现假新闻比一般新闻使用了与主要内容更不协调的图像。更进一步，我们试图检测新闻文章与图像-文本不一致。评估实验表明，基于CLIP的方法可以成功地检测新闻文章中的缩略图是语义无关的新闻文本。本研究为解决网络假新闻和虚假信息问题提供了一个新的视角。代码和数据集可在https://github.com/ssu-humane/fake-news-thumbnail上获得。
2022-04-27 cs.CL cs.SI
External Reliable Information-enhanced Multimodal Contrastive Learning for Fake News Detection
School of Cyber Science and Engineering, Southeast University（东南大学网络空间安全学院）；Key Laboratory of Computer Network and Information of Ministry of Education of China（中国教育部计算机网络与信息重点实验室）；Purple Mountain Laboratories（紫金山实验室）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Engineering Research Center of Blockchain Application, Supervision And Management (Southeast University), Ministry of Education（教育部区块链应用监管与管理工程研究中心（东南大学））
针对多模态假新闻检测中信息利用不充分及外部信息静态化的问题，提出外部可靠信息增强多模态对比学习框架 ERIC-FND，通过实体增强、多模态对比学习与自适应融合提升检测效果，在 X 和 Weibo 数据集上优于现有方法。
2025-03-05 cs.AI cs.CL
EAMA : Entity-Aware Multimodal Alignment Based Approach for News Image Captioning
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）
针对新闻图像描述中实体信息处理不足及文本输入充分性与简洁性权衡问题，提出EAMA方法，通过实体感知句子选择和实体选择两个对齐任务增强MLLM，在两个主流数据集上超越先前模型。
2024-09-20 cs.CL cs.CV
r/Fakeddit: A New Multimodal Benchmark Dataset for Fine-grained Fake News Detection
Laguna Blanca School（拉古纳布兰卡学校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
假新闻在政治和文化方面以消极的方式改变了社会。它对在线社交网络系统以及离线社区和对话都产生了不利影响。使用自动机器学习分类模型是打击假新闻广泛传播的有效方法。然而，缺乏有效、全面的数据集一直是假新闻研究和检测模型开发的一个问题。以前的假新闻数据集不提供多模态文本和图像数据，元数据，评论数据和细粒度的假新闻分类在我们的数据集的规模和广度。我们介绍了Fakeddit，这是一种新型的多模态数据集，由来自多个类别的假新闻的100多万个样本组成。在经过几个阶段的审查后，通过远程监督，将样本按2向、3向和6向分类类别进行标记。我们构建了混合文本+图像模型，并对多种分类变体进行了广泛的实验，证明了Fakeddit独特的多模态和细粒度分类的新方面的重要性。
2020-03-12 cs.CL cs.CY cs.IR
VMSMO: Learning to Generate Multimodal Summary for Video-based News Articles
Peking University（北京大学）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
当今流行的多媒体新闻格式是向用户提供生动的视频和相应的新闻文章，其被包括CNN、BBC的有影响力的新闻媒体以及包括Twitter和微博的社交媒体采用。在这种情况下，自动选择合适的视频封面框架并生成适当的文章摘要可以帮助编辑节省时间，读者更有效地做出决策。因此，在本文中，我们提出了基于视频的多模态摘要与多模态输出（VMSMO）的任务来解决这样的问题。在这项任务中的主要挑战是联合建模的时间依赖性的视频与文章的语义意义。为此，我们提出了一个基于双交互的多模态摘要（DIMS），由一个双交互模块和多模态生成器。在双交互模块中，我们提出了一个条件自注意力机制和一个全局注意力机制，前者捕获视频中的局部语义信息，后者从更高的层次处理新闻文本和视频之间的语义关系。在大规模真实世界VMSMO数据集上进行的大量实验表明，DIMS在自动度量和人工评估方面都达到了最先进的性能。
2020-10-12 cs.CL cs.CV
MalFake: A Multimodal Fake News Identification for Malayalam using Recurrent Neural Networks and VGG-16
School of Digital Sciences（数字科学学院）；Applied NLP Research Group（应用自然语言处理研究组）
本文首次针对马拉雅拉姆语提出多模态假新闻识别方法MalFake，结合循环神经网络与VGG-16提取文本和图像特征，以提升地区语言虚假信息检测效果。
2023-10-27 cs.CL cs.CY
Rethinking Multimodal Fake News Detection in the Generative AI Era
Nanjing University of Science and Technology（南京理工大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对生成式内容使假新闻更复杂的问题，本文构建多模态数据集Weibo26，并提出生成性感知层次推理框架GAHR，融合全局判断与局部修正，在多个基准上实现高效的真实性检测与生成内容识别。
2026-09-30 cs.CL cs.CV cs.MM
FKA-Owl: Advancing Multimodal Fake News Detection through Knowledge-Augmented LVLMs
Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
针对多模态假新闻跨域检测难题，本文提出 FKA-Owl 框架，通过文本-图像语义关联和图像操纵伪影知识增强 LVLM，并在公开基准上取得更优跨域性能。
2024-08-06 cs.CL
A Dataset and Strong Baselines for Classification of Czech News Texts
Charles University（查理大学）
该研究发布了大型捷克新闻分类数据集CZE-NEC，设置四类分类任务，实验显示预训练Transformer基线模型表现优于人类及商用大规模生成式语言模型，为捷克NLP分类任务提供更严格的评估基准。
2023-07-20 cs.CL
Transforming Fake News: Robust Generalisable News Classification Using Transformers
Newcastle University（纽卡斯尔大学）；Durham University（杜伦大学）
随着在线新闻越来越受欢迎，假新闻越来越普遍，审计在线新闻内容真实性的能力变得比以往任何时候都更加重要。这样的任务代表了二进制分类的挑战，Transformers已经取得了最先进的结果。使用公开的ISOT和组合语料库数据集，本研究探讨了Transformers识别假新闻的能力，特别注意调查对具有不同风格，主题和类别分布的不可见数据集的泛化。此外，我们探讨了这样一种想法，即基于观点的新闻文章由于其主观性质和经常耸人听闻的语言而不能被分类为真实或虚假，并提出了一种新颖的两步分类管道，以从模型训练和最终部署的推理系统中删除此类文章。在ISOT和Combined Corpus数据集上的实验表明，与基线方法相比，Transformers在分布外泛化方面的F1分数增加了4.9%，在实施我们的两步分类管道后进一步增加了10.1%。据我们所知，这项研究是第一次调查Transformers在这种情况下的泛化。
2021-12-03 cs.CL
A Self-Learning Multimodal Approach for Fake News Detection
CUIT（成都信息工程大学）；University at Buffalo（纽约州立大学布法罗分校）；Dropbox Inc.（Dropbox公司）；Purdue University（普渡大学）；University at Albany（奥尔巴尼大学）
针对假新闻检测中标注数据稀缺的问题，提出结合对比学习与大语言模型的自学习多模态方法，在公开数据集上各项指标超85%，性能优于现有主流方法。
2024-12-08 cs.CL cs.LG
Retrieval-Augmented Multimodal Model for Fake News Detection
University of International Business and Economics（国际商务经济大学）；Peking University（北京大学）；University of Southern California（南加州大学）；Upstart Holdings, Inc.（Upstart Holdings公司）
本文提出RAMM模型，通过多模态大语言模型和抽象叙述对齐模块，解决虚假新闻检测中跨实例叙述一致性缺失和领域知识不足的问题，实验验证了其有效性。
2026-04-29 cs.CL cs.MM
SEMI-FND: Stacked Ensemble Based Multimodal Inference For Faster Fake News Detection
Netaji Subhas University of Technology（尼塔吉·苏巴斯技术大学）
虚假新闻检测是自然语言处理中的一个重要领域，其目的是对新闻报道中的主要内容进行真实性识别和检验，从而判断新闻的真实性。FND可用于防止因歪曲事实而造成的社会、政治和国家损害，因为这种损害可能会伤害社会的某一部分。此外，随着社交媒体上虚假新闻传播的爆炸性增长，包括图像和文本，更快、更准确地识别虚假新闻已势在必行。为了解决这个问题，这项工作研究了一种新的基于多模态堆叠集成的方法（SEMIFND）来检测假新闻。重点还在于确保以更少的参数获得更快的性能。此外，为了提高多模态性能，对图像模态进行了深入的单峰分析，以确定NasNet Mobile是最适合该任务的模型。对于文本，使用BERT和ELECTRA的集合。该方法在两个数据集上进行了评估：Twitter MediaEval和微博语料库。该框架在Twitter和微博数据集上的准确率分别为85.80%和86.83%。这些报告的指标被认为是优越的，相比类似的最近的作品。此外，我们还报告了减少在训练中使用的参数的数量相比，最近的相关工程。SEMI-FND提供至少20%的整体参数减少，文本的单峰参数减少60%。因此，根据所提出的调查，可以得出结论，堆叠集成的应用显着提高FND比其他方法，同时也提高了速度。
2022-05-17 cs.AI cs.CL
Multimodal Analytics for Real-world News using Measures of Cross-modal Entity Consistency
Leibniz Information Centre for Science and Technology (TIB)（莱布尼茨科学技术信息中心（TIB））；Leibniz Universität Hannover（莱布尼茨汉诺威大学）；L3S Research Center, Leibniz Universität Hannover（莱布尼茨汉诺威大学L3S研究中心）
万维网已成为收集信息和新闻的流行来源。多模式信息，例如，用照片丰富文本通常用于更有效地传达新闻或吸引注意力。照片内容可以是装饰性的，描绘额外的重要信息，甚至可以包含误导性信息。因此，量化实体表示的跨模态一致性的自动方法可以支持人类评估员评估整体多模态消息，例如，关于偏见或情绪。在某些情况下，这些措施可以为发现假新闻提供线索，这是当今社会越来越重要的话题。在本文中，我们介绍了一个新的任务，跨模态一致性验证在现实世界的新闻，并提出了一个多模态的方法来量化图像和文本之间的实体一致性。命名实体链接用于从新闻文本中提取人物、地点和事件。建议几种措施来计算这些实体的跨模态相似性，使用最先进的方法。与以前的工作相比，我们的系统自动收集来自Web的示例数据，并适用于现实世界的新闻。两个新的数据集，涵盖不同的语言，主题和领域的结果证明了我们的方法的可行性。数据集和代码是公开的，以促进朝着这一新方向的研究。
2020-10-23 cs.CL cs.IR cs.MM
Cross-Modal Augmentation for Few-Shot Multimodal Fake News Detection
College of Information Science and Technology, Qingdao University of Science and Technology（青岛科技大学信息科学与技术学院）；College of Data Science, Qingdao University of Science and Technology（青岛科技大学数据科学学院）；University of Sheffield（谢菲尔德大学）
本文提出跨模态增强（CMA）方法，利用单模态特征增强多模态特征，将少样本多模态假新闻检测转化为更稳健的（n×z）-shot问题，在三个基准数据集上以轻量线性探测取得SOTA结果。
2024-07-16 cs.AI cs.CL cs.LG
Synthetic News Generation for Fake News Classification
本文研究利用大语言模型通过事实操纵生成合成假新闻，提出连贯性、差异性和正确性评估指标，并证明BERT等Transformer模型可有效利用合成数据提升假新闻检测性能，其中事实核查特征效果最佳。
2025-04-09 cs.CL
MiRAGeNews: Multimodal Realistic AI-Generated News Detection
University of Pennsylvania（宾夕法尼亚大学）
针对AI生成逼真假新闻的威胁，提出MiRAGeNews数据集并训练多模态检测器MiRAGe，显著提升域外假新闻检测性能。
2024-10-11 cs.CL cs.CV
Cross-modal Contrastive Learning for Multimodal Fake News Detection
Institute of Information Engineering, CAS（中国科学院信息工程研究所）；School of Cyber Security, UCAS（中国科学院大学网络空间安全学院）
本文提出跨模态对比学习框架COOLANT，通过辅助任务软化负样本损失、跨模态融合模块和注意力引导机制提升多模态假新闻检测性能，并在Twitter和Weibo数据集上取得最优结果。
2023-08-11 cs.AI cs.CL cs.LG
TLDW: Extreme Multimodal Summarisation of News Videos
The University of Sydney（悉尼大学）；International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））；University of Rochester（罗切斯特大学）
随着多媒体数据的快速增长，具有多模态输出的多模态摘要越来越受到人们的关注。虽然已经提出了几种方法来总结视觉文本内容，但它们的多模态输出在极端水平上不够简洁，无法解决信息过载问题。极端的多模态摘要的结束，我们引入了一个新的任务，极端的多模态摘要与多模态输出（XMSMO）的情况下，TL;DW -太长;没有看，类似于TL; DR。XMSMO的目的是总结一个视频文档对到一个摘要具有极短的长度，其中包括一个封面框架作为视觉摘要和一个句子作为文本摘要。我们提出了一种新的无监督分层最优传输网络（HOT-Net）由三个部分组成：分层多模式编码器，分层多模态融合解码器，和最优传输求解器。我们的方法是在不使用参考摘要的情况下，通过从最佳运输计划下语义分布之间的距离的角度优化视觉和文本覆盖来训练的。为了便于对这一任务的研究，我们收集了一个大规模的数据集XMSMO-News，收集了4，891个视频文档对。实验结果表明，我们的方法在ROUGE和IoU指标方面取得了令人满意的性能。
2022-10-16 cs.CL cs.CV cs.MM
Multimodal Inverse Attention Network with Intrinsic Discriminant Feature Exploitation for Fake News Detection
School of Information Science and Engineering, Shandong Normal University（山东师范大学信息科学与工程学院）；Faculty of Engineering & Information Technology, University of Technology Sydney（悉尼科技大学工程与信息技术学院）
针对多模态假新闻检测中未能充分利用模态特定表示和显式差异特征的问题，提出多模态逆向注意力网络（MIAN），通过分层学习、跨模态交互和逆向注意力机制提取内在判别与不一致特征，显著优于现有方法。
2025-05-29 cs.CL cs.CV cs.IR
Better Reasoning Behind Classification Predictions with BERT for Fake News Detection
Norwegian University of Science and Technology（挪威科技大学）
随着近年来互联网上虚假新闻的不断增多，虚假新闻检测已经成为一项重要的任务。虽然已经提出了许多基于统计学习方法的分类模型，显示出良好的效果，但分类性能背后的推理可能是不够的。在自监督学习研究中，已经强调了表示（嵌入）空间的质量很重要，并直接影响下游任务的性能。在这项研究中，代表空间的质量进行了视觉分析和分析方面的线性可分性不同类的真实和假新闻数据集。为了进一步增加分类模型的可解释性，提出了类激活映射（CAM）的修改。修改后的CAM为每个单词标记提供CAM分数，其中单词标记上的CAM分数表示对该单词标记的关注程度以进行预测。最后，它表明，天真的BERT模型加上一个可学习的线性层是足够的，以实现强大的性能，同时与CAM兼容。
2022-07-23 cs.CL
RAEGNet: Relation-Aware Evidence Graph Network for Harm-Aware Multimodal Fake News Detection
Nanjing University of Science and Technology（南京理工大学）；Zhejiang University（浙江大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对现有假新闻检测依赖实体级检索易引入噪声且忽视危害差异的问题，提出事件级证据检索框架ELERF和关系感知证据图网络RAEGNet，通过建模新闻-证据关系及条件危害分支，在多个数据集上取得最优性能。
2026-09-30 cs.CL cs.CV cs.MM
Hierarchical Text Classification of Urdu News using Deep Neural Network
National University of Computer and Emerging Sciences（国立计算机与新兴科学大学）
互联网上的数字文本日益增多。对大量异构数据集进行分类是一项非常具有挑战性的工作，需要改进的信息处理方法来组织文本。为了对大规模的语料库进行分类，一种常用的方法是使用层次文本分类，其目的是在层次结构中对文本数据进行分类。已经提出了几种方法来处理文本分类，但大多数研究都是在英语语言上进行的。本文提出了一种用于乌尔都语新闻分层文本分类的深度学习模型-由来自8个在线新闻网站的51，325个句子组成，属于以下类型：体育;科技;和娱乐。本文的目标有两个：（1）开发一个大型的乌尔都语新闻人工注释数据集，用于分层文本分类;（2）使用我们提出的基于LSTM机制的模型对乌尔都语新闻进行分层分类，称为分层多层LSTM（HMLSTM）。我们的模型由两个模块组成：文本表示层，用于获得文本表示，其中我们使用Word 2 vec嵌入将单词转换为矢量，乌尔都语分层LSTM层（UHLSTML）是一个端到端的完全连接的深度LSTM网络，用于执行自动特征学习，我们为类层次结构的每个级别训练一个LSTM层。我们已经进行了广泛的实验，我们自己创建的数据集命名为乌尔都语新闻数据集的层次文本分类（UNDHTC）。结果表明，我们提出的方法对于分层文本分类是非常有效的，它显著优于基线方法，并且与深度神经模型相比也取得了良好的效果。
2021-07-07 cs.CL
A Feature Analysis for Multimodal News Retrieval
TIB–Leibniz Information Centre for Science and Technology（TIB-莱布尼茨科学技术信息中心）；L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）
基于内容的信息检索基于文档中包含的信息，而不是使用关键字等元数据。大多数信息检索方法都是基于文本或图像的。在本文中，我们调查的有用性多模态功能的跨语言新闻搜索在各个领域：政治，健康，环境，体育和金融。为此，我们考虑五个特征类型的图像和文本，并比较使用不同的组合的检索系统的性能。实验结果表明，同时考虑视觉和文本信息可以提高检索结果。此外，据观察，在文本特征实体重叠优于词嵌入，而地理位置嵌入实现更好的性能之间的视觉特征在检索任务。
2020-10-01 cs.CL cs.IR cs.LG
Fake News Classification in Urdu: A Domain Adaptation Approach for a Low-Resource Language
University of Waikato（怀卡托大学）
本文提出了一种针对乌尔都语虚假新闻分类的领域适应方法，通过分阶段训练优化模型泛化能力，实验表明领域适应后的XLM-R在性能上优于原始模型。
2025-12-28 cs.CL
AMPLE: Emotion-Aware Multimodal Fusion Prompt Learning for Fake News Detection
College of Information Science and Technology, Qingdao University of Science and Technology（青岛科技大学信息科学与技术学院）
本文提出情感感知多模态融合提示学习框架AMPLE，结合情感分析、多头交叉注意力与相似度感知融合，在少样本和数据充足场景下有效提升假新闻检测性能。
2024-10-21 cs.AI cs.CL
A Deep Ensemble Framework for Fake News Detection and Classification
Indian Institute of Technology Patna（印度理工学院巴特那分校）
假新闻，谣言，错误信息和错误信息检测是当今的关键问题，因为这些可能会对我们的社会结构产生严重后果。由于大量网络信息源（包括社交媒体源、新闻博客、在线报纸等）的可用性，此类信息的比率正在迅速增加。在本文中，我们开发了各种深度学习模型，用于检测假新闻并将其分类为预定义的细粒度类别。首先，我们开发了基于卷积神经网络（CNN）和双向长短期记忆（Bi-LSTM）网络的模型。从这两个模型中获得的表示被馈送到多层感知器模型（MLP）进行最终分类。我们在基准数据集上的实验显示了有希望的结果，总体准确率为44.87%，优于当前的最新技术水平。
2018-11-12 cs.CL
Multimodal Emergent Fake News Detection via Meta Neural Process Networks
Purdue University（普渡大学）；Pennsylvania State University（宾夕法尼亚州立大学）；University of Virginia（弗吉尼亚大学）
假新闻以前所未有的速度传播，通过社交媒体平台到达全球受众，并使用户和社区面临巨大风险。基于深度学习的模型在对感兴趣事件的大量标记数据进行训练时表现出良好的性能，而由于域转移，模型的性能往往会在其他事件上下降。因此，现有的检测方法在检测紧急事件中的假新闻方面面临着重大挑战，其中大规模标记数据集难以获得。此外，从新出现的事件中添加知识需要从头开始构建新模型或继续微调模型，这对于现实世界的设置来说可能具有挑战性，昂贵且不切实际。为了应对这些挑战，我们提出了一个名为MetaFEND的端到端假新闻检测框架，该框架能够快速学习，通过一些经过验证的帖子来检测紧急事件中的假新闻。具体而言，该模型将元学习和神经处理方法集成在一起，以享受这些方法的好处。特别地，提出了标签嵌入模块和硬注意力机制，以通过处理类别信息和修剪不相关的帖子来增强有效性。在从Twitter和微博收集的多媒体数据集上进行了广泛的实验。实验结果表明，我们提出的MetaFEND模型可以有效地检测从未见过的事件上的假新闻，并优于最先进的方法。
2021-06-22 cs.CL cs.IR
A New Korean Text Classification Benchmark for Recognizing the Political Intents in Online Newspapers
SEOULTECH（首尔科技大学）；Kyung Hee University (KHU)（庆熙大学）；POSTECH（浦项科技大学）
本文构建含12,000篇韩国报纸政治文章、双维度标注的KoPolitic长文本多任务分类基准，并用transformer类SOTA模型验证性能。
2023-11-03 cs.CL
Like Article, Like Audience: Enforcing Multimodal Correlations for Disinformation Detection
European Commission, Joint Research Centre (JRC)（欧洲委员会联合研究中心）；KU Leuven（鲁汶大学）
本研究利用用户生成内容与共享内容的相关性，提出仅在训练阶段引入用户画像引导的多模态虚假信息检测算法，适配三类主流神经分类器，能更精准区分真假新闻。
2021-08-31 cs.CL cs.IR
Late Fusion with Triplet Margin Objective for Multimodal Ideology Prediction and Analysis
University of Michigan（密歇根大学）
先前关于意识形态预测的工作主要集中在单一模式上，即，文本或图像。在这项工作中，我们介绍了多模态意识形态预测的任务，其中一个模型预测二进制或五点尺度的意识形态倾向，给定一个文本图像对与政治内容。我们首先收集了五个新的大规模数据集，其中包含英文文档和图像以及它们的意识形态倾向，涵盖了来自美国主流媒体的新闻文章以及Reddit和Twitter的社交媒体帖子。我们对新闻文章进行深入分析，揭示图像内容和使用在政治光谱中的差异。此外，我们进行了广泛的实验和消融研究，证明了针对不同模型组件的预训练目标的有效性。我们表现最好的模型是一种后期融合架构，在多模态内容上使用三重目标进行预训练，其性能比最先进的纯文本模型高出近4%，而没有预训练的强大多模态基线超过3%。
2022-11-04 cs.CL
An Exploration of Unreliable News Classification in Brazil and The U.S
Rensselaer Polytechnic Institute（伦斯勒理工学院）
在世界许多地方，不可靠信息的传播正在增加。信息的迅速传播和互联网赋予的匿名性促进了这种扩张。不可靠信息的传播是一个得到充分研究的问题，它与负面的社会影响有关。在以前的工作中，我们已经确定了美国媒体中可靠和不可靠来源的新闻文章结构的显着差异。我们这项工作的目标是探索巴西媒体的这种差异。我们在两个数据集中发现了显著的特征：一个是葡萄牙语的巴西新闻，另一个是英语的美国新闻。我们的研究结果表明，相关的写作风格的功能是突出的，在这两个数据集，尽管语言的差异，一些功能具有普遍的行为，是显着的美国和巴西的新闻文章。最后，我们结合这两个数据集，并使用通用特征来构建一个机器学习分类器，以预测新闻文章的来源类型是可靠还是不可靠。
2018-06-07 cs.CL
Improving Generalization for Multimodal Fake News Detection
TIB – Leibniz Information Centre for Science and Technology（莱布尼茨科技信息中心）；University of Potsdam（波茨坦大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）
本文针对多模态假新闻检测模型泛化能力不足的问题，提出三种微调多模态 Transformer 的模型，并通过训练数据增强减少偏差，在社交媒体场景下取得了改进的最先进检测结果。
2023-05-29 cs.CL cs.IR cs.LG
A Novel Perspective to Look At Attention: Bi-level Attention-based Explainable Topic Modeling for News Classification
Insight Centre for Data Analytics（洞察数据分析中心）；University College Dublin（都柏林大学学院）
针对深度学习注意力机制在NLP任务中可解释性不足的问题，提出基于双层注意力架构的可解释主题建模框架，将解释与决策解耦，在新闻分类任务上性能达最优水平且具备良好可解释性。
2022-10-27 cs.CL
Binary classification for perceived quality of headlines and links on worldwide news websites, 2018-2024
Lakehead University（湖首大学）
本文基于2018–2024年5700余万条全球新闻标题/链接，比较12种模型与115个语言特征，证明传统集成和DistilBERT均可有效识别感知质量。
2025-06-11 cs.CL
Echoes of Unrest: A Multimodal NLP Framework for Early Warning of Fake News and Violence-Driven Mob Activity
Department of Computer Science and Engineering, Dhaka International University（达卡国际大学计算机科学与工程系）；Department of Computer Science and Engineering, Bangladesh University of Engineering and Technology（孟加拉国工程技术大学计算机科学与工程系）
针对社交媒体上错误信息传播引发危害的问题，提出多语言、多模态NLP框架。通过融合多基准数据集创建数据集，集成多种技术进行多模态融合，实验显示该框架在早期错误信息检测中有效。
2026-07-07 cs.AI cs.CL
