MLDocRAG: Multimodal Long-Context Document Retrieval Augmented Generation
Independent Researcher（独立研究者）
MLDocRAG通过构建多模态片段-查询图，实现多模态长上下文文档的检索增强生成，提升问答的准确性和连贯性。
2026-02-13 cs.CL cs.IR
Automated Summarization of Financial News Using Large Language Models and Retrieval-Augmented Generation: An Early Empirical Study (Fall 2023)
George Washington University（乔治·华盛顿大学）
该2023年秋的研究构建了结合LLM与RAG的财经新闻摘要流程，测试多种模型与方法，发现Summarize Chains的Falcon-7B表现最优，RAG存在缺陷，且相关失效模式至今仍具参考价值。
2026-08-21 cs.AI cs.CL cs.IR
On the fractal nature of mutual relevance sequences in the Internet news message flows
Elvisti（埃尔维斯蒂（公司））；Kiev Polytechnical Institute（基辅理工学院）
在信息检索任务中，相关性是指检索系统给出的文档与用户的信息查询在形式上的一致性。一般来说，检索系统找到的文件应该按一定的顺序提交给用户。因此，检索被认为是一个选择的文件正式解决用户的查询，应该补充一定的程序处理相关的设置。很自然地引入了一个文档符合查询的定量度量，即相关性度量。由于不存在确定相关性度量的单一规则，我们将考虑其中两个我们认为最简单的规则。所提出的方法不设任何限制，可以适用于其他相关性措施。
2007-10-01 cs.CL
MetaEmbed: Scaling Multimodal Retrieval at Test-Time with Flexible Late Interaction
Meta Superintelligence Labs（Meta超级智能实验室）；Rice University（莱斯大学）
MetaEmbed通过灵活的后期交互机制，在测试时实现多模态检索的扩展，通过多向量检索训练提升信息组织能力，实现在大规模模型下的高效检索性能。
2026-04-06 cs.CL cs.CV cs.IR
MARA: A Multimodal Adaptive Retrieval-Augmented Framework for Document Question Answering
Key Laboratory of Target Cognition and Application Technology (TCAT), AIRI, CAS（目标认知与应用技术重点实验室（TCAT），空气动力研究所，中国科学院）；School of Electronic, Electrical and Communication Engineering, UCAS（电子、电气与通信工程学院，中国科学院大学）；Aerospace Information Research Institute, Chinese Academy of Sciences（航天信息研究所，中国科学院）；Baidu Inc.（百度公司）
MARA框架通过引入查询自适应机制提升多模态文档检索与生成的精度和质量，实验表明其在多模态问答基准上优于现有最先进方法。
2026-02-01 cs.AI cs.CL cs.IR
Comparison of Text-Based and Image-Based Retrieval in Multimodal Retrieval Augmented Generation Large Language Model Systems
PricewaterhouseCoopers U.S.（普华永道美国公司）
本文比较了多模态RAG系统中基于文本和基于图像的检索方法，发现直接多模态嵌入检索在性能和准确性上优于基于LLM总结的方法。
2025-11-23 cs.CL
ColMate: Contrastive Late Interaction and Masked Text for Multimodal Document Retrieval
ServiceNow；York University（约克大学）；MILA - Quebec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；École de technologie supérieure（卓越工程学院）
针对多模态文档检索直接套用纯文本检索技术的局限，提出ColMate模型，结合基于OCR的预训练、自监督掩码对比学习与后期交互评分机制，在ViDoRe V2基准上提升3.61%并增强域外泛化能力。
2025-11-02 cs.CL
CMDR: Contextual Multimodal Document Retrieval
Human Informatics Labs.（人文信息实验室）；NTT, Inc.（日本NTT公司）
研究多模态文档检索，提出CMDR-Embed框架联合编码页面纳入文档上下文，引入CMCL对比学习目标训练，实验证明该框架显著优于非上下文嵌入，凸显上下文感知多模态嵌入对文档检索的重要性。
2026-07-08 cs.AI cs.CL cs.CV
Self-adaptive Multimodal Retrieval-Augmented Generation
针对传统RAG在多模态任务中检索固定文档导致信息不全或含噪的问题，提出SAM-RAG方法，通过动态过滤相关文档并验证检索与输出质量，在保持高召回率的同时显著提升了多模态任务的检索精度与响应生成表现。
2024-10-15 cs.CL
BayesRAG: Probabilistic Mutual Evidence Corroboration for Multimodal Retrieval-Augmented Generation
University of Science and Technology of China（中国科学技术大学）；Unisound AI Technology Co.Ltd（Unisound AI技术有限公司）；MAIS, Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院）
BayesRAG通过概率互证机制提升多模态检索增强生成的性能，有效解决异构模态的隔离问题。
2026-01-12 cs.CL
MTBench: A Multimodal Time Series Benchmark for Temporal Reasoning and Question Answering
Yale University, New Haven, CT, USA（耶鲁大学）；McGill University, Montreal, QC, Canada（麦吉尔大学）；University of Texas Rio Grande Valley, TX, USA（德克萨斯大学里奥格兰德谷分校）
MTBench是一种多模态时间序列基准，用于评估大型语言模型在金融和天气领域的时间推理和问答能力。
2026-02-11 cs.AI cs.CL
N24News: A New Dataset for Multimodal News Classification
Delft University of Technology（代尔夫特理工大学）
目前的新闻数据集只关注新闻的文本特征，很少利用图像的特征，排除了许多用于新闻分类的基本特征。在本文中，我们提出了一个新的数据集，N24新闻，这是从纽约时报产生的24个类别，并包含在每个新闻的文本和图像信息。我们使用多任务的多模态方法和实验结果表明，多模态新闻分类性能优于纯文本新闻分类。根据文本的长度，分类准确率最高可提高8.11%。我们的研究揭示了多模态分类器和其子分类器的性能之间的关系，以及将多模态应用于新闻分类时可能的改进。N24新闻在多模态新闻研究中具有巨大的潜力。
2022-06-06 cs.CL
Uncovering the Bigger Picture: Comprehensive Event Understanding Via Diverse News Retrieval
National University of Singapore（国立新加坡大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出两阶段框架 NEWSCOPE，通过密集检索、句子级聚类与多样性重排序提升新闻事件覆盖，并引入三项指标和两个基准验证其在保持相关性的同时显著减少冗余。
2025-08-29 cs.CL cs.IR
Each Fake News is Fake in its Own Way: An Attribution Multi-Granularity Benchmark for Multimodal Fake News Detection
Nation University of Defence Technology（国防科技大学）；Xi’an Jiaotong University（西安交通大学）
针对现有数据集仅提供真假二元标签且无法反映多模态假新闻混合本质的问题，构建了归因多粒度数据集\amg并提出多粒度线索对齐模型\our，实现了假新闻检测与归因，为未来研究开辟了新途径。
2024-12-19 cs.AI cs.CL
r/Fakeddit: A New Multimodal Benchmark Dataset for Fine-grained Fake News Detection
Laguna Blanca School（拉古纳布兰卡学校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
假新闻在政治和文化方面以消极的方式改变了社会。它对在线社交网络系统以及离线社区和对话都产生了不利影响。使用自动机器学习分类模型是打击假新闻广泛传播的有效方法。然而，缺乏有效、全面的数据集一直是假新闻研究和检测模型开发的一个问题。以前的假新闻数据集不提供多模态文本和图像数据，元数据，评论数据和细粒度的假新闻分类在我们的数据集的规模和广度。我们介绍了Fakeddit，这是一种新型的多模态数据集，由来自多个类别的假新闻的100多万个样本组成。在经过几个阶段的审查后，通过远程监督，将样本按2向、3向和6向分类类别进行标记。我们构建了混合文本+图像模型，并对多种分类变体进行了广泛的实验，证明了Fakeddit独特的多模态和细粒度分类的新方面的重要性。
2020-03-12 cs.CL cs.CY cs.IR
Supervised Contrastive Learning for Multimodal Unreliable News Detection in COVID-19 Pandemic
University of Warwick（华威大学）；Alan Turing Institute（艾伦·图灵研究所）
随着数字新闻行业成为信息传播的主要渠道，假新闻的不良影响被爆炸性放大。新闻报道的可信度不应孤立地考虑。相反，以前发表的关于类似事件的新闻文章可以用来评估新闻报道的可信度。受此启发，我们提出了一个基于BERT的多模态不可靠新闻检测框架，该框架利用对比学习策略从不可靠文章中捕获文本和视觉信息。对比学习器与不可靠新闻分类器交互，以将相似的可信新闻（或相似的不可靠新闻）推得更近，同时将具有相似内容但相反可信度标签的新闻文章在多模态嵌入空间中彼此远离。在COVID-19相关数据集ReCOVery上的实验结果表明，我们的模型在不可靠新闻检测方面优于许多竞争性基线。
2021-09-09 cs.CL
Multimodal Inverse Attention Network with Intrinsic Discriminant Feature Exploitation for Fake News Detection
School of Information Science and Engineering, Shandong Normal University（山东师范大学信息科学与工程学院）；Faculty of Engineering & Information Technology, University of Technology Sydney（悉尼科技大学工程与信息技术学院）
针对多模态假新闻检测中未能充分利用模态特定表示和显式差异特征的问题，提出多模态逆向注意力网络（MIAN），通过分层学习、跨模态交互和逆向注意力机制提取内在判别与不一致特征，显著优于现有方法。
2025-05-29 cs.CL cs.CV cs.IR
Improving Generalization for Multimodal Fake News Detection
TIB – Leibniz Information Centre for Science and Technology（莱布尼茨科技信息中心）；University of Potsdam（波茨坦大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）
本文针对多模态假新闻检测模型泛化能力不足的问题，提出三种微调多模态 Transformer 的模型，并通过训练数据增强减少偏差，在社交媒体场景下取得了改进的最先进检测结果。
2023-05-29 cs.CL cs.IR cs.LG
A Self-Learning Multimodal Approach for Fake News Detection
CUIT（成都信息工程大学）；University at Buffalo（纽约州立大学布法罗分校）；Dropbox Inc.（Dropbox公司）；Purdue University（普渡大学）；University at Albany（奥尔巴尼大学）
针对假新闻检测中标注数据稀缺的问题，提出结合对比学习与大语言模型的自学习多模态方法，在公开数据集上各项指标超85%，性能优于现有主流方法。
2024-12-08 cs.CL cs.LG
News Article Retrieval in Context for Event-centric Narrative Creation
Amazon（亚马逊）；Bloomberg（彭博）；University of Groningen（格罗宁根大学）；University of Amsterdam（阿姆斯特丹大学）；Ahold Delhaize Research（阿霍德德尔海兹研究院）
记者等作家经常使用自动工具来寻找相关内容以包含在他们的叙述中。在本文中，我们专注于支持作家在新闻领域发展以事件为中心的叙事。给定一个指定主要事件和上下文的不完整叙述，我们的目标是检索讨论相关事件的新闻文章，这些事件将使叙述得以继续。我们正式定义了这个任务，并提出了一个检索数据集的建设过程，依赖于现有的新闻文章来模拟不完整的叙述和相关的文章。在两个数据集上的实验表明，最先进的词汇和语义排序器不足以完成这项任务。我们发现，将这些与排名的文章按逆时间顺序排列的排名器相结合，优于那些排名器单独。我们还对结果进行了深入的定量和定性分析，揭示了这项任务的特点。
2021-06-30 cs.CL cs.IR
Similarity-Aware Multimodal Prompt Learning for Fake News Detection
Qingdao University of Science and Technology（青岛科技大学）；University of Sheffield（谢菲尔德大学）
本文提出相似性感知的多模态提示学习框架（SAMPLE），通过提示学习与相似性感知融合，减少噪声并高效检测虚假新闻，在两个基准数据集上超越现有方法。
2023-06-16 cs.CL
MuSaRoNews: A Multidomain, Multimodal Satire Dataset from Romanian News Articles
National University of Science and Technology POLITEHNICA Bucharest（布加勒斯特理工国立大学）
本文提出首个罗马尼亚语多模态讽刺检测语料库 MuSaRoNews，包含117,834篇新闻文章，实验证明结合文本与视觉信息可提升讽刺检测性能。
2025-04-10 cs.CL
MultiPress: A Multi-Agent Framework for Interpretable Multimodal News Classification
New York Institute of Technology（纽约理工学院）；University of Arizona（亚利桑那大学）；University of Macau（澳门大学）；Peking University（北京大学）；Juniata College（朱尼亚塔学院）
本文提出MultiPress多智能体框架，通过多模块协作和检索增强推理提升多模态新闻分类的准确性和可解释性。
2026-04-04 cs.CL
Multimodal Fake News Detection
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
在过去的几年里，假新闻出现了前所未有的泛滥。因此，我们更容易受到错误信息和虚假信息传播在我们社会不同阶层可能产生的有害影响。因此，虚假新闻自动检测工具的开发在预防其负面影响方面发挥着重要作用。大多数检测和分类虚假内容的尝试只关注使用文本信息。多模态方法不太常见，它们通常将新闻分类为真或假。在这项工作中，我们使用单峰和多峰方法对Fakeddit数据集上的假新闻进行细粒度分类。我们的实验表明，基于卷积神经网络（CNN）架构结合文本和图像数据的多模态方法达到了最佳效果，准确率为87%。一些假新闻类别，如操纵内容，讽刺或虚假联系，从图像的使用中受益匪浅。使用图像也可以改善其他类别的结果，但影响较小。关于仅使用文本的单模方法，来自Transformers的双向编码器表示（BERT）是最好的模型，准确度为78%。因此，同时利用文本和图像数据可以显著提高假新闻检测的性能。
2021-12-09 cs.CL
Can Multimodal Large Language Models Generate and Detect Multimodal Social Media Fake News?
Carnegie Mellon University（卡内基梅隆大学）；RMIT University（皇家墨尔本理工大学）；Yale University（耶鲁大学）
本研究提出多智能体框架生成多模态假新闻，并基准测试16个MLLM的检测能力，发现多数模型远低于人类水平，尤其在图像真实性识别上失败，为防御假新闻奠定基础。
2026-09-30 cs.AI cs.CL
Cross-Modal Augmentation for Few-Shot Multimodal Fake News Detection
College of Information Science and Technology, Qingdao University of Science and Technology（青岛科技大学信息科学与技术学院）；College of Data Science, Qingdao University of Science and Technology（青岛科技大学数据科学学院）；University of Sheffield（谢菲尔德大学）
本文提出跨模态增强（CMA）方法，利用单模态特征增强多模态特征，将少样本多模态假新闻检测转化为更稳健的（n×z）-shot问题，在三个基准数据集上以轻量线性探测取得SOTA结果。
2024-07-16 cs.AI cs.CL cs.LG
How does fake news use a thumbnail? CLIP-based Multimodal Detection on the Unrepresentative News Image
Soongsil University（崇实大学）；Adobe Research（奥多比研究院）
本研究调查假新闻如何使用新闻文章的缩略图，重点是新闻文章的缩略图是否正确地代表了新闻内容。与不相关的缩略图共享的新闻文章可能会误导读者对问题产生错误的印象，特别是在社交媒体环境中，用户不太可能点击链接并消费整个内容。我们建议通过使用预训练的CLIP表示来捕获多模态关系中的语义不一致程度。从来源层面分析，我们发现假新闻比一般新闻使用了与主要内容更不协调的图像。更进一步，我们试图检测新闻文章与图像-文本不一致。评估实验表明，基于CLIP的方法可以成功地检测新闻文章中的缩略图是语义无关的新闻文本。本研究为解决网络假新闻和虚假信息问题提供了一个新的视角。代码和数据集可在https://github.com/ssu-humane/fake-news-thumbnail上获得。
2022-04-27 cs.CL cs.SI
Cross-modal Contrastive Learning for Multimodal Fake News Detection
Institute of Information Engineering, CAS（中国科学院信息工程研究所）；School of Cyber Security, UCAS（中国科学院大学网络空间安全学院）
本文提出跨模态对比学习框架COOLANT，通过辅助任务软化负样本损失、跨模态融合模块和注意力引导机制提升多模态假新闻检测性能，并在Twitter和Weibo数据集上取得最优结果。
2023-08-11 cs.AI cs.CL cs.LG
Multimodal Fusion with BERT and Attention Mechanism for Fake News Detection
Toyo University（东洋大学）；Aimesoft JSC（艾美软件股份公司）
假新闻检测是提高媒体信息可信度的一项重要任务，因为假新闻每天都在社交媒体上不断传播，这是我们社会中非常严重的问题。假新闻通常是通过操纵图像，文本和视频来创建的。在本文中，我们提出了一种新的方法来检测假新闻融合来自文本和视觉数据的多模态特征。具体来说，我们使用预训练的BERT模型来学习文本特征，并使用在ImageNet数据集上预训练的VGG-19模型来提取图像特征。我们提出了一个尺度点积注意力机制来捕捉文本特征和视觉特征之间的关系。实验结果表明，我们的方法在公共Twitter数据集上的准确率比当前最先进的方法高3.1%。
2021-04-27 cs.CL
External Reliable Information-enhanced Multimodal Contrastive Learning for Fake News Detection
School of Cyber Science and Engineering, Southeast University（东南大学网络空间安全学院）；Key Laboratory of Computer Network and Information of Ministry of Education of China（中国教育部计算机网络与信息重点实验室）；Purple Mountain Laboratories（紫金山实验室）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Engineering Research Center of Blockchain Application, Supervision And Management (Southeast University), Ministry of Education（教育部区块链应用监管与管理工程研究中心（东南大学））
针对多模态假新闻检测中信息利用不充分及外部信息静态化的问题，提出外部可靠信息增强多模态对比学习框架 ERIC-FND，通过实体增强、多模态对比学习与自适应融合提升检测效果，在 X 和 Weibo 数据集上优于现有方法。
2025-03-05 cs.AI cs.CL
VeraCT Scan: Retrieval-Augmented Fake News Detection with Justifiable Reasoning
NewsBreak；Hong Kong University of Science and Technology（香港科技大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出VeraCT Scan，一个用于假新闻检测的检索增强系统，通过提取核心事实、互联网搜索佐证或冲突报道并利用来源可信度进行信息验证，同时提供透明证据和推理，基于GPT-4 Turbo和微调的Llama-2 13B实现了最先进的检测准确率。
2024-06-24 cs.AI cs.CL cs.IR
Reproducing Omitted Temporal Expressions in Japanese News for Retrieval-Augmented Applications
Kagawa University（香川大学）；Nikkei Inc.（日本经济新闻社）
针对日语新闻中省略时间表达式导致的检索与RAG时间错配问题，提出基于规则的jaROTE流水线，利用发布日期复原时间，性能媲美大语言模型且高效低成本。
2026-09-10 cs.CL
EAMA : Entity-Aware Multimodal Alignment Based Approach for News Image Captioning
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）
针对新闻图像描述中实体信息处理不足及文本输入充分性与简洁性权衡问题，提出EAMA方法，通过实体感知句子选择和实体选择两个对齐任务增强MLLM，在两个主流数据集上超越先前模型。
2024-09-20 cs.CL cs.CV
MMCFND: Multimodal Multilingual Caption-aware Fake News Detection for Low-resource Indic Languages
Indian Institute of Technology Indore（印度英迪尔印度理工学院）
本文提出了面向低资源印度语系的多模态多语言标题感知假新闻检测框架MMCFND，并构建了包含7种语言共28,085个实例的数据集MMIFND，通过融合视觉、文本和图像标题特征，有效提升了假新闻检测性能。
2024-10-14 cs.CL
RADAR: Retrieval-Augmented Detector with Adversarial Refinement for Adaptive LLM-Generated Fake News Detection
National Taiwan University（台湾大学）
RADAR通过生成器与检测器的对抗训练提升虚假新闻检测鲁棒性，利用结构化反馈优化生成与检测过程，优于现有基线和LLM方法。
2026-09-22 cs.CL
Reinforcement Retrieval Leveraging Fine-grained Feedback for Fact Checking News Claims with Black-Box LLM
Singapore Management University（新加坡管理大学）
提出FFRR方法，通过两级策略从黑盒LLM获取细粒度反馈作为奖励优化检索策略，在新闻声明事实核查任务上显著优于LLM和非LLM基线。
2024-04-26 cs.CL
Rethinking Multimodal Fake News Detection in the Generative AI Era
Nanjing University of Science and Technology（南京理工大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对生成式内容使假新闻更复杂的问题，本文构建多模态数据集Weibo26，并提出生成性感知层次推理框架GAHR，融合全局判断与局部修正，在多个基准上实现高效的真实性检测与生成内容识别。
2026-09-30 cs.CL cs.CV cs.MM
Multimodal Emergent Fake News Detection via Meta Neural Process Networks
Purdue University（普渡大学）；Pennsylvania State University（宾夕法尼亚州立大学）；University of Virginia（弗吉尼亚大学）
假新闻以前所未有的速度传播，通过社交媒体平台到达全球受众，并使用户和社区面临巨大风险。基于深度学习的模型在对感兴趣事件的大量标记数据进行训练时表现出良好的性能，而由于域转移，模型的性能往往会在其他事件上下降。因此，现有的检测方法在检测紧急事件中的假新闻方面面临着重大挑战，其中大规模标记数据集难以获得。此外，从新出现的事件中添加知识需要从头开始构建新模型或继续微调模型，这对于现实世界的设置来说可能具有挑战性，昂贵且不切实际。为了应对这些挑战，我们提出了一个名为MetaFEND的端到端假新闻检测框架，该框架能够快速学习，通过一些经过验证的帖子来检测紧急事件中的假新闻。具体而言，该模型将元学习和神经处理方法集成在一起，以享受这些方法的好处。特别地，提出了标签嵌入模块和硬注意力机制，以通过处理类别信息和修剪不相关的帖子来增强有效性。在从Twitter和微博收集的多媒体数据集上进行了广泛的实验。实验结果表明，我们提出的MetaFEND模型可以有效地检测从未见过的事件上的假新闻，并优于最先进的方法。
2021-06-22 cs.CL cs.IR
Like Article, Like Audience: Enforcing Multimodal Correlations for Disinformation Detection
European Commission, Joint Research Centre (JRC)（欧洲委员会联合研究中心）；KU Leuven（鲁汶大学）
本研究利用用户生成内容与共享内容的相关性，提出仅在训练阶段引入用户画像引导的多模态虚假信息检测算法，适配三类主流神经分类器，能更精准区分真假新闻。
2021-08-31 cs.CL cs.IR
Real-time Claim Detection from News Articles and Retrieval of Semantically-Similar Factchecks
Logically
事实核查一直是新闻工作的一部分。然而，随着新闻编辑室预算的缩减，它面临着越来越大的压力，而传播的虚假信息却在增加。因此，我们提出了一种方法来提高效率的事实检查过程中，使用自然语言处理（NLP）的最新发展。这种方法允许我们将传入的声明与现有的语料库进行比较，并在实时系统中返回类似的，经过事实检查的声明-允许事实检查员同时工作，而不会重复他们的工作。
2019-07-03 cs.CL
Debunk and Infer: Multimodal Fake News Detection via Diffusion-Generated Evidence and LLM Reasoning
Sun Yat-sen University（中山大学）；Beihang University（北航）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing National Research Center for Information Science and Technology, Tsinghua University（北京信息科学与技术国家研究中心，清华大学）；Department of Automation, Tsinghua University（清华大学自动化系）
针对多模态假新闻检测问题，提出DIFND框架，结合条件扩散模型生成辟谣证据与多智能体MLLM的链式推理，在FakeSV和FVC数据集上显著提升了检测准确率与决策可信度。
2025-06-11 cs.CL
ExDR: Explanation-driven Dynamic Retrieval Enhancement for Multimodal Fake News Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；WeChat AI, Tencent（微信AI，腾讯）
ExDR通过基于解释的动态检索增强生成框架，提升多模态虚假新闻检测的准确性和泛化能力。
2026-01-22 cs.CL
NewsRECON: News Article Retrieval for Image Contextualization
Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, TU Darmstadt and National Research Center for Applied Cybersecurity ATHENE（通用知识处理实验室（UKP实验室）、计算机科学系、图恩大学（TU Darmstadt）和应用网络安全国家研究中心ATHENE）；Department of Electrical Engineering, KU Leuven（电气工程系、鲁汶大学）；Department of Computer Science, KU Leuven（计算机科学系、鲁汶大学）
NewsRECON通过链接图像与相关新闻文章，利用元数据推断图像日期和位置，优于现有方法并结合多模态大语言模型实现新的SOTA结果。
2026-09-02 cs.CL
VMSMO: Learning to Generate Multimodal Summary for Video-based News Articles
Peking University（北京大学）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
当今流行的多媒体新闻格式是向用户提供生动的视频和相应的新闻文章，其被包括CNN、BBC的有影响力的新闻媒体以及包括Twitter和微博的社交媒体采用。在这种情况下，自动选择合适的视频封面框架并生成适当的文章摘要可以帮助编辑节省时间，读者更有效地做出决策。因此，在本文中，我们提出了基于视频的多模态摘要与多模态输出（VMSMO）的任务来解决这样的问题。在这项任务中的主要挑战是联合建模的时间依赖性的视频与文章的语义意义。为此，我们提出了一个基于双交互的多模态摘要（DIMS），由一个双交互模块和多模态生成器。在双交互模块中，我们提出了一个条件自注意力机制和一个全局注意力机制，前者捕获视频中的局部语义信息，后者从更高的层次处理新闻文本和视频之间的语义关系。在大规模真实世界VMSMO数据集上进行的大量实验表明，DIMS在自动度量和人工评估方面都达到了最先进的性能。
2020-10-12 cs.CL cs.CV
MalFake: A Multimodal Fake News Identification for Malayalam using Recurrent Neural Networks and VGG-16
School of Digital Sciences（数字科学学院）；Applied NLP Research Group（应用自然语言处理研究组）
本文首次针对马拉雅拉姆语提出多模态假新闻识别方法MalFake，结合循环神经网络与VGG-16提取文本和图像特征，以提升地区语言虚假信息检测效果。
2023-10-27 cs.CL cs.CY
Synergizing LLMs with Global Label Propagation for Multimodal Fake News Detection
Inner Mongolia University（内蒙古大学）；National University of Singapore（新加坡国立大学）
针对LLM伪标签性能差的问题，提出GLPN-LLM模型，通过全局标签传播与掩码机制整合LLM能力，在多模态假新闻检测中超越现有基线。
2025-05-31 cs.CL
NewsCLIPpings: Automatic Generation of Out-of-Context Multimodal Media
University of California, Berkeley（加州大学伯克利分校）
在线错误信息是一个普遍的社会问题，对手依赖从廉价假货到复杂的深度假货的各种工具。我们被威胁场景所激励，在这种场景中，一个图像被断章取义地用来支持某种叙述。虽然一些用于检测图像-文本不一致的先前数据集通过文本操作生成样本，但我们提出了一个图像和文本都未被操作但不匹配的数据集。我们介绍了几种策略，自动检索令人信服的图像为一个给定的标题，捕捉不一致的实体或语义上下文的情况下。我们的大规模自动生成的NewsCLIPpings数据集：（1）表明机器驱动的图像再利用现在是一个现实的威胁，（2）提供的样本代表了新闻中文本和图像之间不匹配的挑战性实例，这些实例能够误导人类。我们在我们的数据集上对几种最先进的多模态模型进行了基准测试，并分析了它们在不同预训练域和视觉骨干中的性能。
2021-09-21 cs.CL cs.CV
Retrieval-Augmented Multimodal Model for Fake News Detection
University of International Business and Economics（国际商务经济大学）；Peking University（北京大学）；University of Southern California（南加州大学）；Upstart Holdings, Inc.（Upstart Holdings公司）
本文提出RAMM模型，通过多模态大语言模型和抽象叙述对齐模块，解决虚假新闻检测中跨实例叙述一致性缺失和领域知识不足的问题，实验验证了其有效性。
2026-04-29 cs.CL cs.MM
SEMI-FND: Stacked Ensemble Based Multimodal Inference For Faster Fake News Detection
Netaji Subhas University of Technology（尼塔吉·苏巴斯技术大学）
虚假新闻检测是自然语言处理中的一个重要领域，其目的是对新闻报道中的主要内容进行真实性识别和检验，从而判断新闻的真实性。FND可用于防止因歪曲事实而造成的社会、政治和国家损害，因为这种损害可能会伤害社会的某一部分。此外，随着社交媒体上虚假新闻传播的爆炸性增长，包括图像和文本，更快、更准确地识别虚假新闻已势在必行。为了解决这个问题，这项工作研究了一种新的基于多模态堆叠集成的方法（SEMIFND）来检测假新闻。重点还在于确保以更少的参数获得更快的性能。此外，为了提高多模态性能，对图像模态进行了深入的单峰分析，以确定NasNet Mobile是最适合该任务的模型。对于文本，使用BERT和ELECTRA的集合。该方法在两个数据集上进行了评估：Twitter MediaEval和微博语料库。该框架在Twitter和微博数据集上的准确率分别为85.80%和86.83%。这些报告的指标被认为是优越的，相比类似的最近的作品。此外，我们还报告了减少在训练中使用的参数的数量相比，最近的相关工程。SEMI-FND提供至少20%的整体参数减少，文本的单峰参数减少60%。因此，根据所提出的调查，可以得出结论，堆叠集成的应用显着提高FND比其他方法，同时也提高了速度。
2022-05-17 cs.AI cs.CL
TLDW: Extreme Multimodal Summarisation of News Videos
The University of Sydney（悉尼大学）；International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））；University of Rochester（罗切斯特大学）
随着多媒体数据的快速增长，具有多模态输出的多模态摘要越来越受到人们的关注。虽然已经提出了几种方法来总结视觉文本内容，但它们的多模态输出在极端水平上不够简洁，无法解决信息过载问题。极端的多模态摘要的结束，我们引入了一个新的任务，极端的多模态摘要与多模态输出（XMSMO）的情况下，TL;DW -太长;没有看，类似于TL; DR。XMSMO的目的是总结一个视频文档对到一个摘要具有极短的长度，其中包括一个封面框架作为视觉摘要和一个句子作为文本摘要。我们提出了一种新的无监督分层最优传输网络（HOT-Net）由三个部分组成：分层多模式编码器，分层多模态融合解码器，和最优传输求解器。我们的方法是在不使用参考摘要的情况下，通过从最佳运输计划下语义分布之间的距离的角度优化视觉和文本覆盖来训练的。为了便于对这一任务的研究，我们收集了一个大规模的数据集XMSMO-News，收集了4，891个视频文档对。实验结果表明，我们的方法在ROUGE和IoU指标方面取得了令人满意的性能。
2022-10-16 cs.CL cs.CV cs.MM
RAEGNet: Relation-Aware Evidence Graph Network for Harm-Aware Multimodal Fake News Detection
Nanjing University of Science and Technology（南京理工大学）；Zhejiang University（浙江大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对现有假新闻检测依赖实体级检索易引入噪声且忽视危害差异的问题，提出事件级证据检索框架ELERF和关系感知证据图网络RAEGNet，通过建模新闻-证据关系及条件危害分支，在多个数据集上取得最优性能。
2026-09-30 cs.CL cs.CV cs.MM
Modality Interactive Mixture-of-Experts for Fake News Detection
School of Information Sciences（信息科学学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出MIMoE-FND分层混合专家框架，通过交互门控机制显式建模模态交互，提升多模态假新闻检测的准确性与可解释性，并在多语言基准上优于现有方法。
2025-02-26 cs.AI cs.CL cs.LG
Unfolding the Headline: Iterative Self-Questioning for News Retrieval and Timeline Summarization
Shanghai Jiao Tong University（上海交通大学）；Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）
本文提出CHRONOS，通过迭代自提问驱动大语言模型检索新闻信息并生成开放域时间线摘要，同时构建Open-TLS数据集，实验证明其性能可与封闭域最先进系统相媲美。
2025-01-01 cs.CL
MiRAGeNews: Multimodal Realistic AI-Generated News Detection
University of Pennsylvania（宾夕法尼亚大学）
针对AI生成逼真假新闻的威胁，提出MiRAGeNews数据集并训练多模态检测器MiRAGe，显著提升域外假新闻检测性能。
2024-10-11 cs.CL cs.CV
