Breaking MCP with Function Hijacking Attacks: Novel Threats for Function Calling and Agentic Models
IBM Research Europe(IBM欧洲研究院);Trinity College Dublin(三一学院都柏林);Imperial College London(帝国理工学院伦敦);ADAPT Research Centre(ADAPT研究中心)
本文提出了一种新的函数劫持攻击,通过操纵代理模型的工具选择过程,迫使调用特定攻击者选择的函数,展示了代理模型在函数调用接口上的新漏洞。
2026-09-01 cs.AI cs.CL cs.CR
Quantifying Conversation Drift in MCP via Latent Polytope
针对MCP非隔离执行上下文引发的安全风险,提出SecMCP框架,通过在潜在多面体空间对LLM激活向量建模来检测和量化对话漂移,有效识别劫持与数据泄露,AUROC超0.915且保持系统可用性。
2025-08-08 cs.CL
MemMorph: Tool Hijacking in LLM Agents via Memory Poisoning
Nanyang Technological University, Singapore(南洋理工大学,新加坡)
提出MemMorph攻击,通过向长期记忆注入少量伪装记录,诱导LLM代理自主选择攻击者偏好的工具,在多个基准测试中实现高达85.9%的攻击成功率。
2026-05-24 cs.AI cs.CR
ContextQFormer: A New Context Modeling Method for Multi-Turn Multi-Modal Conversations
Beihang University(北航);Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院);Nanjing University(南京大学);Kuaishou Technology(快手科技)
本文提出ContextQFormer上下文建模模块,利用记忆块增强多轮多模态对话中的上下文表示,并构建长对话数据集TMDialog,实验显示可用率较基线提升2%-4%。
2025-07-17 cs.AI cs.CL
Can LLMs Reason Over Non-Text Modalities in a Training-Free Manner? A Case Study with In-Context Representation Learning
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算机与数据科学学院);AI-X, Interdisciplinary Graduate Programme, Nanyang Technological University(南洋理工大学人工智能交叉研究生项目);Lee Kong Chian School of Medicine, Nanyang Technological University(南洋理工大学李科钦医学院);Centre of AI in Medicine (C-AIM), Nanyang Technological University(南洋理工大学医学人工智能中心);University of Toronto(多伦多大学);Brigham and Women’s Hospital, Harvard Medical School(哈佛医学院布里洛妇女医院);Massachusetts Institute of Technology(麻省理工学院)
本文提出ICRL框架,使LLMs在无训练情况下利用非文本模态表示,通过少量学习实现多模态推理,为适应性泛化提供新方向。
2025-12-11 cs.AI cs.CL
MMICT: Boosting Multi-Modal Fine-Tuning with In-Context Examples
Xiamen University(厦门大学);Tencent Youtu Lab(腾讯优图实验室)
本文提出多模态上下文微调范式MMICT,通过统一模块M-Hub捕获多模态特征并设计多种上下文演示,使多模态大模型能利用上下文示例进行微调,在多个下游任务上显著超越传统微调和普通ICT方法。
2024-08-12 cs.AI cs.CL cs.LG
The Deontic Gap: Large Language Models and the Modal Language of Obligation
本研究发现大语言模型的义务情态使用模式与当代人类存在缺口,其情态使用反映训练的正式书面资源,少用标记即时人际义务的情态结构。
2026-08-20 cs.AI cs.CL
MadaKV: Adaptive Modality-Perception KV Cache Eviction for Efficient Multimodal Long-Context Inference
Zhejiang University(浙江大学);Southeast University(东南大学);Alibaba(阿里巴巴);Shanghai Jiao Tong University(上海交通大学)
MadaKV提出模态自适应KV缓存驱逐策略,通过模态偏好适应与分层压缩补偿,在保持高准确率的同时减少内存占用并提升解码速度1.3至1.5倍。
2025-06-06 cs.AI cs.CL cs.LG
MMICL: Empowering Vision-language Model with Multi-Modal In-Context Learning
Peking University(北京大学);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);BIGAI(北京智源人工智能研究院);Paul G. Allen School of Computer Science and Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Beijing Jiaotong University(北京交通大学)
本文提出MMICL方法及MIC数据集,通过新的上下文方案增强视觉-语言模型对复杂多模态提示的理解能力,在多项视觉-语言任务上实现了最先进的零样本性能,并有效缓解了语言偏见导致的幻觉问题。
2024-03-20 cs.AI cs.CL cs.CV
Benchmarking Retrieval-Augmented Generation in Multi-Modal Contexts
Northeastern University, China(东北大学);Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学)
本文提出多模态RAG基准M$^2$RAG和指令微调方法MM-RAIT,通过四个开放域任务评估多模态大模型,实验显示MM-RAIT显著提升响应质量,优于现有模型。
2025-08-07 cs.AI
Bridging Modalities: Enhancing Cross-Modality Hate Speech Detection with Few-Shot In-Context Learning
Singapore University of Technology and Design(新加坡科技设计大学)
针对跨模态仇恨言论检测能力迁移不足的问题,本研究利用大语言模型少样本上下文学习开展实验,证实文本仇恨样本可提升视觉-语言仇恨分类准确率,且文本示例效果更优,为检测系统优化提供了思路。
2024-10-08 cs.CL
InsTALL: Context-aware Instructional Task Assistance with Multi-modal Large Language Models
University of Arkansas(阿肯色大学);AWS AI Labs(亚马逊云科技AI实验室)
InsTALL利用多模态大语言模型和自动提取的任务图,通过在线视觉流实时辅助用户执行多步骤任务,在任务识别、动作识别、动作预测和计划预测等子任务上达到最先进性能,并优于错误识别基线。
2025-01-21 cs.AI cs.CL cs.CV
A Multi-Modal Context Reasoning Approach for Conditional Inference on Joint Textual and Visual Clues
Harbin Institute of Technology(哈尔滨工业大学);Meituan(美团)
提出ModCR方法,通过将文本与视觉信息嵌入语言模型并引入可学习对齐前缀,增强多模态上下文推理,在PMR测试集上提升4.8%。
2023-05-08 cs.CL
What Factors Affect Multi-Modal In-Context Learning? An In-Depth Exploration
Tsinghua University(清华大学);Central South University(中南大学);Harbin Institute of Technology(哈尔滨工业大学);ByteDance(字节跳动)
本文通过6个视觉大语言模型和20种策略,系统考察示例检索、排序与提示构建对MM-ICL性能的影响,为策略优化提供指导。
2024-10-27 cs.AI cs.CL cs.CV
A First Look at the Security Issues in the Model Context Protocol Ecosystem
University of Delaware, USA(德克萨斯大学)
本文首次研究了模型上下文协议生态系统中的跨实体安全问题,揭示了注册表层面的漏洞和代码层面的攻击风险,提出了MCPInspect工具检测漏洞和可疑元数据。
2026-04-27 cs.AI cs.CR
Mitigating Modal Imbalance in Multimodal Reasoning
该研究针对多模态推理中的模态不平衡问题,发现FMs跨模态冲突识别能力远低于单模态,源于跨模态注意力不对称,提出在训练样本中显式结合多模态的方法可降低不平衡并提升视觉-语言基准性能。
2025-10-06 cs.AI
Convergent Emergence of In-Context Learning Across Modalities
Johns Hopkins University(约翰斯·霍普金斯大学);MIT(麻省理工学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究提出跨模态框架验证一致性涌现假说,发现少样本上下文学习在六种模态中涌现且任务难度分布相关,但并非所有模态均支持该假说。
2026-09-15 cs.AI
Phase Diagram of Vision Large Language Models Inference: A Perspective from Interaction across Image and Instruction
Japan Advanced Institute of Science and Technology(日本先进科学研究院);RIKEN(日本资源技术研究所)
本文通过测量不同模态 token 隐状态间的上下文化,揭示 VLLMs 沿 Transformer 深度推理时经历对齐、模态内编码、模态间编码和输出准备四阶段动态。
2025-05-15 cs.CL
Slow to See, Slow to Suppress: Understanding the Effects of Modality in Context-Memory Conflicts
Brown University(布朗大学)
该研究探究视觉语言模型处理上下文记忆冲突的不对称偏差,发现模型对文本实体偏好上下文信息、对图像实体偏好参数信息,思维链推理无法缩小该差距,增加视觉信息可产生效果,揭示多模态检索增强模型确保一致行为的复杂性。
2026-09-02 cs.CL
Bayesian Example Selection Improves In-Context Learning for Speech, Text, and Visual Modalities
Tsinghua University(清华大学);NVIDIA Research(英伟达研究院)
针对上下文学习中示例质量影响性能的问题,本文提出贝叶斯示例选择方法ByCS,依据测试输入的逆向推理结果选择示例,并在多模型、多任务及语音、文本、图像多模态实验中验证了其有效性与鲁棒性。
2024-06-16 cs.AI cs.CL cs.CV
Hijacking Large Audio-Language Models via Context-Agnostic and Imperceptible Auditory Prompt Injection
The State Key Laboratory of Blockchain and Data Security, Zhejiang University(区块链与数据安全国家重点实验室,浙江大学);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术区(滨江)区块链与数据安全研究院);Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
本文提出AudioHijack框架,通过生成不可察觉的对抗性音频劫持LALMs,实验显示在6种恶意行为中平均成功率达79%-96%。
2026-04-16 cs.AI cs.CR cs.SD
Causal-CoG: A Causal-Effect Look at Context Generation for Boosting Multi-modal Language Models
East China Normal University(华东师范大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出 Causal-CoG 提示策略,让多模态语言模型生成图像文本上下文并结合因果过滤辅助 VQA,在 10 个基准上取得一致且优于现有方法的性能提升。
2023-12-09 cs.AI
MIMIC-IT: Multi-Modal In-Context Instruction Tuning
Nanyang Technological University(南洋理工大学);Microsoft Research(微软研究院)
针对视觉语言指令数据不足的问题,提出含280万对数据的MIMIC-IT数据集及Syphus自动标注流程,训练的Otter模型在多模态任务上表现优异并已开源。
2023-06-08 cs.AI cs.CL cs.CV
Dissecting Multimodal In-Context Learning: Modality Asymmetries and Circuit Dynamics in modern Transformers
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心);DeepMind(深Mind);Beijing University of Posts(北京邮电大学)
通过可控实验,研究现代Transformer中多模态上下文学习的基本机制,发现模态间学习不对称性,并揭示其背后的归纳式电路机制。
2026-05-26 cs.CL cs.LG
CHARM: A Multimodal Graph Foundation Model with Hierarchical Context Modeling for Zero-Shot Transfer
School of Computer Science and Technology, College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部计算机科学与技术学院);Data Science Program, Columbian College of Arts and Sciences, The George Washington University(乔治华盛顿大学文理学院哥伦比亚艺术与科学学院数据科学项目)
研究多模态图零样本迁移问题,提出CHARM模型,通过分层上下文建模,用图上下文替换原始节点,减少对目标域监督或适配的依赖,经实验验证该模型在零样本多模态图任务上有改进。
2026-07-29 cs.AI
From Introspection to Best Practices: Principled Analysis of Demonstrations in Multimodal In-Context Learning
University of Southern California(南加州大学);Microsoft Research(微软研究院);University of California, Davis(加州大学戴维斯分校)
通过系统评估多模态上下文学习中不同模态对任务的影响,提出模态驱动的演示策略以提升ICL性能,并揭示了模型遵循的归纳偏置,为理解与改进多模态ICL提供原则性指导。
2025-02-07 cs.AI cs.CL cs.CV
Comment and Control: Hijacking Agentic Workflows via Context-Grounded Evolution
Johns Hopkins University Applied Physics Lab(约翰霍普金斯大学应用物理实验室);Johns Hopkins University(约翰霍普金斯大学);Wyze Labs(Wyze实验室)
本文提出JAW框架,通过上下文引导进化方法劫持自动化平台上的代理工作流,揭示代理工作流中因输入操控导致的安全风险,并展示了对GitHub和n8n的广泛影响。
2026-05-11 cs.AI cs.CR cs.SE
Otter: A Multi-Modal Model with In-Context Instruction Tuning
Nanyang Technological University(南洋理工大学);Microsoft Research(微软研究院)
本文提出 Otter 多模态模型及 MIMIC-IT 数据集,通过文本与视觉上下文中示例进行指令微调,提升模型在复杂视频和多图像理解任务中的收敛、泛化与表现。
2025-07-28 cs.CL cs.CV
HumanOmniV2: From Understanding to Omni-Modal Reasoning with Context
Tongyi Lab, Alibaba Group(通义实验室,阿里巴巴集团)
针对多模态推理模型中全局上下文理解不足和捷径问题,本文提出结合上下文、格式、准确率和逻辑奖励的强化学习方法,并构建了IntentBench基准,显著提升了模型的全模态推理与意图理解能力。
2025-06-26 cs.CL cs.CV
Modality-free Graph In-context Alignment
Nanyang Technological University(南洋理工大学)
本文提出MF-GIA框架,通过梯度指纹捕捉领域特征,实现跨异构域的无模态few-shot预测与泛化。
2026-03-13 cs.AI cs.LG
Improving Audio Codec-based Zero-Shot Text-to-Speech Synthesis with Multi-Modal Context and Large Language Model
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出基于音频编解码器的零样本 TTS 模型,通过 MMCE-Qformer 融合多模态长上下文信息,并利用预训练 LLM 与 SoundStorm 提升语音质量和说话人相似度,在多种上下文 TTS 场景中优于基线。
2024-06-06 cs.CL cs.SD eess.AS
Task-Aware Structured Memory for Dynamic Multi-modal In-Context Learning
Zhihui Chen(陈志辉);Ziwei Chen(陈子伟);Ling Shao(邵令)
提出TASM框架,通过任务向量引导压缩、语义感知令牌合并和层次化记忆结构,解决多模态大语言模型上下文学习中记忆压缩导致的语义破坏和静态问题。
2026-06-11 cs.AI cs.CV
AIM: Let Any Multi-modal Large Language Models Embrace Efficient In-Context Learning
本文提出轻量框架AIM,通过将多模态演示的图像信息聚合为融合虚拟token,使任意MLLM无需微调即可高效进行上下文学习,解决了多图演示读取困难和视觉token开销大的问题。
2024-06-30 cs.CL cs.MM
Semantic Context-aware mOdality fUsion Transformer (SCOUT): A Context-Aware Multimodal Transformer for Concept-Grounded Pathology Report Generation
Stony Brook University(石桥大学)
SCOUT通过整合局部组织学模式、整张滑片上下文和专家编纂的语义描述符,实现病理报告生成的语义上下文感知,提升临床相关性和可解释性。
2026-09-09 cs.AI cs.CV
Evolving Contextual Safety in Multi-Modal Large Language Models via Inference-Time Self-Reflective Memory
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出MM-SafetyBench++基准和EchoSafe框架,通过自反思记忆实现多模态大语言模型的上下文安全演化,实验表明其在安全性能上表现优异。
2026-03-16 cs.CL cs.CR cs.CV
Nudge the Judge: Uncovering Program Decision Hijacking in Real-World Jev Applications
Beijing University of Posts and Telecommunications(北京邮电大学);Zhongguancun Laboratory(中关村实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本文提出首个自动化框架JevProbe,评估真实世界Jev应用中的Jev程序决策劫持,发现多数应用易受攻击且现有防御有限,相关资源已公开。
2026-10-14 cs.AI cs.CR
MUCAR: Benchmarking Multilingual Cross-Modal Ambiguity Resolution for Multimodal Large Language Models
提出MUCAR基准,通过多语言和双重歧义数据集评估多模态大语言模型的跨模态歧义消解能力,发现现有模型与人类水平存在显著差距。
2025-09-26 cs.CL cs.LG
FutureOmni: Evaluating Future Forecasting from Omni-Modal Context for Multimodal LLMs
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学深圳分校);National University of Singapore(新加坡国立大学)
提出FutureOmni基准,评估多模态大模型从音视频线索预测未来的能力,发现现有模型在语音密集场景下表现差,并设计OFF训练策略提升性能。
2026-06-18 cs.CL cs.CV cs.MM
Multi-Axis Trust Modeling for Interpretable Account Hijacking Detection
Qatar University(卡塔尔大学)
本文提出了一种受经典哈迪斯研究启发的多轴信任建模框架,通过多维标准而非单一异常分数来评估信息源可信度,利用26个语义特征检测账户劫持,时间特征在CLUE-LDS和CERT数据集上均取得显著提升。
2026-02-20 cs.AI
Do Slides Help? Multi-modal Context for Automatic Transcription of Conference Talks
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本研究提出利用演示幻灯片作为多模态上下文增强语音识别,通过数据增强训练模型,在科学演讲中词错误率相对降低34%,领域术语降低35%。
2025-10-15 cs.AI cs.CL
On the Importance of Karaka Framework in Multi-modal Grounding
IIIT Hyderabad(印度海得拉巴国际信息技术学院)
计算Paninian语法模型有助于将自然语言表达式解码为一系列修饰符-修饰关系,因此与通常的Stanford依赖关系相比,有助于识别更接近语言(上下文)语义的依赖关系。然而,这种CPG依赖方案的重要性尚未在多模态视觉和语言应用的背景下进行研究。在IIIT海得拉巴,我们计划进行一项新的研究,以探索CPG框架在视觉语言导航任务设置中的潜在优势和劣势,这是一种流行且具有挑战性的多模态接地任务。
2022-04-09 cs.AI cs.CL
The Alignment Illusion: How BadReward Corrupts Text-to-Image Generation
City University of Hong Kong(香港城市大学);Zhejiang University(浙江大学);KTH Royal Institute of Technology(皇家理工学院);Hangzhou Dianzi University(杭州电子科技大学)
本文提出BadReward,一种针对多模态RLHF奖励模型的隐蔽干净标签投毒攻击,通过特征碰撞破坏奖励模型,使T2I模型生成不当图像,揭示多模态RLHF安全威胁。
2026-11-03 cs.AI cs.CR cs.LG
Learning Multi-Modal Word Representation Grounded in Visual Context
Sorbonne Universités, UPMC Univ Paris 06, UMR 7606, CNRS, LIP6(索邦大学,巴黎第六大学,UMR 7606,法国国家科学研究中心,LIP6实验室)
词语的语义表示是自然语言处理界长期存在的问题。大多数方法在大型语料库中根据文本上下文计算单词语义。最近,研究人员试图整合感知和视觉特征。这些作品大多考虑了对象的视觉外观,以增强文字表征,但他们忽略了视觉环境和上下文中的对象出现。我们建议统一基于文本的技术与基于视觉的技术,同时利用文本和视觉上下文来学习多模态词嵌入。我们探索了各种选择,什么可以作为一个视觉上下文,并提出了一个端到端的方法来整合视觉上下文元素的多模态跳图模型。我们提供实验和广泛的分析所获得的结果。
2017-11-09 cs.AI cs.CL cs.CV
Medusa: Cross-Modal Transferable Adversarial Attacks on Multimodal Medical Retrieval-Augmented Generation
Westlake University(西湖大学);Heilongjiang University(黑龙江大学);City University of Hong Kong(香港城市大学);Tencent(腾讯)
Medusa提出了一种针对多模态医疗检索增强生成系统的跨模态可转移对抗攻击方法,通过优化扰动和双循环策略实现高攻击成功率并抵御主流防御措施。
2025-11-24 cs.AI cs.CR cs.LG
Smart Multi-Modal Search: Contextual Sparse and Dense Embedding Integration in Adobe Express
Adobe(奥多比公司)
本文提出一种集成稀疏、稠密嵌入与上下文特征的多模态搜索架构,通过AB测试优化Adobe Express模板搜索,显著降低空结果率超70%并提升点击率,增强了复杂查询相关性。
2024-08-29 cs.AI cs.CL cs.CV
Transformer-Based Multimodal Knowledge Graph Completion with Link-Aware Contexts
Department of Computer and Information Science and Engineering, University of Florida(计算机与信息科学与工程系,佛罗里达大学)
提出一种结合基于Transformer的KGE模型与预训练VLM生成跨模态上下文的新方法,通过将视觉信息转为文本序列并以序列到序列任务微调模型,有效减小了模型规模并在多个大规模数据集上取得竞争力表现。
2025-09-15 cs.AI cs.CL cs.LG
Multi-Modal Subjective Context Modelling and Recognition
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);University of Trento(特伦托大学)
像个人助理这样的应用程序需要知道用户的上下文,例如,他们在哪里,他们在做什么,和谁在一起。上下文信息通常是从传感器数据中推断出来的,比如用户智能手机上的GPS传感器和加速度计。这种预测任务被称为上下文识别。定义良好的上下文模型是成功识别的基础。然而,现有的模型有两个主要的局限性。首先,它们专注于几个方面,如位置或活动,这意味着基于它们的识别方法只能计算和利用很少的方面间相关性。其次,现有的模型通常假设上下文是客观的,而在大多数应用程序中,上下文最好是从用户的角度来看。忽略这些因素限制了上下文模型的有用性并阻碍了识别。我们提出了一个新的本体论上下文模型,捕捉五个维度,即时间,地点,活动,社会关系和对象。此外,我们的模型定义了三个层次的描述(客观上下文,机器上下文和主观上下文),自然支持主观的注释和reasoning.A初始上下文识别实验在现实世界的数据暗示了我们的模型的承诺。
2020-11-19 cs.AI
A Modal Logic for Possibilistic Reasoning with Fuzzy Formal Contexts
Institute of Information Science, Academia Sinica(学术院信息科学研究所)
本文提出了一种用于模糊形式背景的可能性推理的双类型加权模态逻辑,实现了对模糊概念的扩展,并展示了逻辑的表达能力和扩展可能性。
2025-12-31 cs.AI cs.LO
Contextualized Keyword Representations for Multi-modal Retinal Image Captioning
University of Amsterdam(阿姆斯特丹大学);Georgia Institute of Technology(佐治亚理工学院)
医学图像描述自动生成医学描述以描述给定医学图像的内容。传统的医学图像描述模型仅基于单个医学图像输入来创建医学描述。因此,基于传统方法难以生成抽象的医学描述或概念。这种方法限制了医学图像描述的有效性。多模态医学图像描述是用于解决该问题的方法之一。在多模态医学图像描述中,文本输入,例如,专家定义的关键字被认为是医学描述生成的主要驱动力之一。因此,有效地编码文本输入和医学图像对于多模态医学图像描述的任务都是重要的。在这项工作中,提出了一种新的端到端深度多模态医学图像描述模型。语境化的关键字表示,文本特征强化,和掩蔽的自我注意力被用来开发所提出的方法。在现有多模态医学图像描述数据集上的实验结果表明,与现有方法相比,该模型的BLEU-avg和CIDEr分别提高了+53.2%和18.6%。
2021-04-26 cs.AI cs.CL cs.CV
Multi-layer Cross-attention is Provably Optimal for Multi-modal In-context Learning
Harvard University(哈佛大学)
本文研究了多模态上下文学习中多层交叉注意力机制的理论最优性,证明了在多模态数据下,交叉注意力机制在梯度流优化下可达到贝叶斯最优,同时指出单层线性自注意力无法在任务分布下统一恢复贝叶斯最优预测。
2026-11-17 cs.AI cs.LG stat.ML
MyGram: Modality-aware Graph Transformer with Global Distribution for Multi-modal Entity Alignment
MyGram通过模态感知图变换器与全局分布机制,提升多模态实体对齐的性能。
2026-01-17 cs.AI
Contextual Cross-Modal Attention for Audio-Visual Deepfake Detection and Localization
University of North Texas at Denton(北得克萨斯大学登顿分校)
本文提出一种基于循环神经网络的上下文跨模态注意力框架,通过融合音视频多序列表示提升深度伪造检测与定位性能,并在多个数据集上取得最先进结果。
2024-08-06 cs.AI cs.CV cs.MM