MM-BigBench: Evaluating Multimodal Models on Multimodal Content Comprehension Tasks
Northeastern University（东北大学）；Nanjing University of Science and Technology（南京理工大学）；University of Göttingen（哥廷根大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出MM-BigBench评估框架，通过多种度量标准全面评估多模态模型在多模态内容理解任务上的性能，涵盖20个语言模型、14个数据集和6项任务，并引入适应性度量以量化模型与指令间的匹配度。
2023-10-13 cs.CL cs.MM
OutSafe-Bench: A Benchmark for Multimodal Offensive Content Detection in Large Language Models
School of Engineering, Westlake University（西湖大学工学院）；Sony AI（索尼人工智能）
本文提出OutSafe-Bench，首个多模态时代内容安全评估测试套件，包含四类模态大规模数据集及多维交叉风险评分指标，评估九种内容风险类别，揭示九种先进MLLM的安全漏洞。
2026-04-07 cs.CL cs.LG
AgentPS: Agentic Process Supervision for Content Moderation with Multimodal LLMs
TikTok, Inc.（字节跳动公司）
针对多模态大语言模型在复杂细节密集逻辑推理上的不足，本文提出AgentPS框架，通过在微调中引入智能体式过程监督对辅助问题进行顺序推理，在公开基准和专有数据集上显著提升复杂多模态分类性能，并证明其可扩展性。
2025-07-04 cs.AI cs.CL
Tool-MCoT: Tool Augmented Multimodal Chain-of-Thought for Content Safety Moderation
Stanford University（斯坦福大学）；Google（谷歌）；Google DeepMind（谷歌DeepMind）
本文提出Tool-MCoT，一种基于工具增强的多模态链式思维模型，用于提升内容安全审核的效率与准确性，通过训练小语言模型以有效利用外部工具进行推理和决策。
2026-07-14 cs.AI cs.CL
EVADE-Bench: Multimodal Benchmark for Evaluating and Enhancing Evasive Content Detection
SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba Group（阿里巴巴集团）；University of New South Wales（新南威尔士大学）
针对电商平台中LLM/VLM易受规避性内容攻击的问题，提出首个专家标注的中文多模态基准EVADE-Bench，评估26个模型并发现规则分类可提升检测一致性，多智能体分解策略能显著提高准确率。
2026-05-27 cs.AI cs.CL
AutoP2C: An LLM-Based Agent Framework for Code Repository Generation from Multimodal Content in Academic Papers
University of Science and Technology of China（中国科学技术大学）；Johns Hopkins University（约翰霍普金斯大学）
本文提出AutoP2C，一种基于LLM的多智能体框架，用于将学术论文的多模态内容自动转化为可执行代码仓库，在八篇论文基准上全部成功，优于OpenAI-o1和DeepSeek-R1。
2025-05-24 cs.AI cs.SE
A Multimodal Social Agent
针对大语言模型社交能力与计算机结合潜力待挖掘的问题，提出基于多模态大语言模型的社交智能体MuSA，采用多策略完成多类以人为中心的内容分析任务，实验表现显著优于基线。
2024-12-11 cs.AI cs.CL
Detecting and Mitigating Hateful Content in Multimodal Memes with Vision-Language Models
Department of EECS University of Arkanasas Fayetteville（电子工程与科学系阿肯色大学法洛维尔分校）
本文利用视觉-语言模型（VLMs）解决多模态模因中仇恨内容的检测与缓解问题，提出定义引导提示技术和统一框架UnHateMeme，通过替换仇恨组件将其转化为非仇恨形式，并在LLaVA等模型上验证了有效性。
2025-04-30 cs.AI cs.CL cs.CV
Zero-Shot Recommendations with Pre-Trained Large Language Models for Multimodal Nudging
Lirio, LLC（Lirio有限责任公司）；Skoltech（斯科尔科沃科学技术研究院）
提出一种零样本多模态推荐方法，将各模态输入转为文本描述并用预训练LLM生成语义嵌入，通过相似度计算完成推荐，无需额外训练。
2023-10-01 cs.AI cs.CL cs.IR
Can Multimodal Large Language Models Truly Perform Multimodal In-Context Learning?
LMU Munich（慕尼黑大学）；Siemens AG（西门子公司）；Technical University of Munich（慕尼黑工业大学）；University of Oxford（牛津大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
该研究探究多模态大语言模型是否真的具备多模态上下文学习能力，发现其主要由文本驱动、视觉信息影响小但对选例有用，进而提出混合模态示例选择方法MMICES提升性能。
2024-12-07 cs.AI cs.CV cs.LG
AiGen-FoodReview: A Multimodal Dataset of Machine-Generated Restaurant Reviews and Images on Social Media
Nova School of Business and Economics（诺瓦商业与经济学院）
本文构建了包含20,144对真实与机器生成餐厅评论-图像的多模态数据集AiGen-FoodReview，并验证了多模态检测模型FLAVA可达99.80%准确率，同时开源数据集与检测器以支持虚假评论检测研究。
2024-01-16 cs.CL cs.CV cs.LG
Hierarchical Conditional Relation Networks for Multimodal Video Question Answering
Applied AI Institute（应用人工智能研究院）；Deakin University（迪肯大学）
视频QA在多个方面挑战建模人员。视频建模不仅需要建立动态视觉通道的时空模型，还需要建立相关信息通道（如字幕或音频）的多模态结构。视频QA至少增加了两层复杂性-在语言查询的上下文中为每个通道选择相关内容，并响应于查询组成时空概念和关系。为了满足这些要求，我们从两个方面开始：（a）内容选择和关系构建可以共同封装到一个条件计算结构中，以及（b）视频长度结构可以分层组成。对于（a），本文介绍了一种称为条件关系网络（CRN）的通用可重用神经单元，它将一组张量对象作为输入，并转换为一组新的对象，这些对象对输入的关系进行编码。CRN的通用设计有助于简化视频QA的常见复杂模型构建过程，通过简单的块堆叠，灵活地适应两个不同领域的输入方式和条件功能。因此，我们通过引入用于视频QA的分层条件关系网络（HCRN）来实现洞察（b）。HCRN的主要目的是利用视频的视觉内容的内在属性及其伴随的频道的组合性，层次结构，以及近和远的长期关系。然后，HCRN以两种形式应用于视频QA，其中答案仅从视觉内容中推理的短形式，以及呈现相关信息（例如字幕）的长形式。我们严格的评估表明，在经过充分研究的基准测试（包括TGIF-QA和TVQA等大规模真实世界数据集）上，SOTA得到了一致的改进，证明了我们的CRN单元和HCRN在视频QA等复杂领域的强大能力。
2021-01-03 cs.AI cs.CV
Webscraper: Leverage Multimodal Large Language Models for Index-Content Web Scraping
Dept. of Information Management, National Taiwan University, Taipei, Taiwan（国立台湾大学资讯管理学系，台北，台湾）
本文提出Webscraper框架，利用多模态大语言模型自动导航交互界面并提取结构化数据，通过五阶段提示和定制工具提升动态网站抓取准确性。
2026-03-31 cs.AI
From Content to Audience: A Multimodal Annotation Framework for Broadcast Television Analytics
Dipartimento di Elettronica, Informazione e Bioingegneria, Politecnico di Milano, Italy（意大利米兰理工大学电子、信息与生物工程系）
本文提出了一种多模态注释框架，用于广播电视内容分析，通过构建特定领域的基准测试，评估不同管道架构在广播新闻中的表现，展示了框架在受众分析中的应用价值。
2026-07-09 cs.AI cs.CV cs.CY
Modeling Human Responses to Multimodal AI Content
针对AI生成内容对人类感知和行为影响的研究空白，本文引入MhAIM数据集分析人类响应，提出可信度等三个新指标，并构建基于LLM的T-Lens智能体系统，通过HR-MCP协议集成人类响应预测，提升LLM的人类感知能力以降低虚假信息风险。
2025-08-14 cs.AI cs.MM
Towards Unified Multimodal Misinformation Detection in Social Media: A Benchmark Dataset and Baseline
School of Computer Science and Information Engineering, Hefei University of Technology（计算机科学与信息工程学院，合肥工业大学）；School of Computer Science and Technology, Northwestern Polytechnical University（计算机科学与技术学院，西北工业大学）
该研究构建了含9.8万样本的OmniFake基准数据集，提出UMFDet框架，实现对人工与AI生成两类多模态虚假内容的统一检测，性能优于专用基线。
2026-07-31 cs.AI cs.CV
Molar: Multimodal LLMs with Collaborative Filtering Alignment for Enhanced Sequential Recommendation
University of Science and Technology of China（中国科学技术大学）
针对LLM序列推荐缺乏协同过滤信息的问题，提出多模态框架Molar，通过统一多模态物品表示与后对齐协同信号，显著提升序列推荐准确性。
2024-12-30 cs.AI cs.IR
BiCFlow-MER: Orchestrating Discriminative and Generative Multimodal Emotion Recognition via Conditional Transport
OPPO Research Institute（OPPO研究院）
针对多模态情感识别中判别式融合丢失细节和生成式模型证据隐晦的问题，提出条件流框架BiCFlow-MER，实现生成式证据输运与冲突感知识别，在多个基准上超越现有方法。
2026-09-24 cs.AI cs.SD
Conditional Prompt Tuning for Multimodal Fusion
The Hong Kong Polytechnic University（香港理工大学）
本文提出条件提示调优方法，利用一种模态表示引导另一冻结模态，并通过 MoPE 动态生成实例提示，在三个数据集上以仅 0.7% 参数达到或超过微调性能。
2023-11-28 cs.AI cs.CL
Evidential Sparsification of Multimodal Latent Spaces in Conditional Variational Autoencoders
Stanford University（斯坦福大学）
变分自编码器中的离散潜在空间已经被证明可以有效地捕获许多现实世界问题的数据分布，例如自然语言理解、人类意图预测和视觉场景表示。然而，离散的潜在空间需要足够大，以捕获真实世界数据的复杂性，从而使下游任务在计算上具有挑战性。例如，在环境的高维潜在表示中执行运动规划可能是棘手的。我们考虑的问题稀疏化的离散潜在空间的训练条件变分自编码器，同时保持其学习的多模态。作为一种事后潜在空间缩减技术，我们使用证据理论来识别从特定输入条件接收直接证据的潜在类，并过滤掉那些不接收直接证据的潜在类。不同的任务，如图像生成和人类行为预测的实验，证明了我们提出的技术在减少模型的离散潜在样本空间大小，同时保持其学习的多模态的有效性。
2021-01-18 cs.AI cs.CV cs.LG
TRACE: A Temporal Conditional Estimation for Multimodal Time Series Foundation Models
University of Science and Technology of China（中国科学技术大学）
提出TRACE条件估计范式，通过利用可用辅助模态推断缺失目标模态，解决多模态时间序列中的时间错位和部分模态缺失问题，在医疗和情感分析基准上优于现有融合方法。
2026-06-04 cs.AI
DialogWAE: Multimodal Response Generation with Conditional Wasserstein Auto-Encoder
Hong Kong University of Science and Technology（香港科技大学）；Clova AI Research, NAVER（NAVER Clova AI研究）；CIFAR Azrieli Global Scholar（CIFAR Azrieli全球学者）
变分自编码器~（VAE）在数据驱动的对话建模中显示出了希望。然而，大多数VAE会话模型将潜在变量上的近似后验分布与简单先验（诸如标准正态分布）相匹配，从而将所生成的响应限制为相对简单的（例如，单峰）范围。在本文中，我们提出了DialogWAE，一个专门为对话建模而设计的条件Wasserstein自动编码器~（WAE）。与在潜在变量上施加简单分布的VAE不同，DialogWAE通过在潜在变量空间内训练GAN来对数据的分布进行建模。具体来说，我们的模型样本从先验和后验分布的潜在变量通过转换上下文相关的随机噪声使用神经网络，并最大限度地减少两个分布之间的Wasserstein距离。我们进一步开发了高斯混合先验网络来丰富潜在空间。在两个流行数据集上的实验表明，DialogWAE在生成更连贯、信息量更大和更多样化的响应方面优于最先进的方法。
2019-02-26 cs.AI cs.CL cs.LG
Brain-Conditional Multimodal Synthesis: A Survey and Taxonomy
South China University of Technology（华南理工大学）；Southeast University（东南大学）
本综述全面考察了基于AIGC的脑条件多模态合成（AIGC-Brain）领域，介绍了相关数据集、脑区和生成模型基础，提出了解码模型的分类法，并探讨了当前挑战与未来方向，为该新兴领域提供了基础概述。
2024-01-03 cs.AI
CISum: Learning Cross-modality Interaction to Enhance Multimodal Semantic Coverage for Multimodal Summarization
School of Cyber Science and Technology, Beihang University（北京航空航天大学网络空间安全学院）
多模态摘要（MS）旨在从多模态输入生成摘要。以前的工作主要集中在文本语义覆盖率指标，如ROUGE，认为视觉内容作为补充数据。因此，该摘要不能有效地涵盖不同模态的语义。本文提出了一个多任务跨模态学习框架（CISum），通过学习多模态文章中的跨模态交互来提高多模态语义覆盖率。为了获得视觉语义，我们将图像转换为视觉描述的基础上与文本内容的相关性。然后，视觉描述和文本内容被融合以生成文本摘要来捕获多模态内容的语义，并且最相关的图像被选择作为视觉摘要。此外，我们设计了一个自动的多模态语义覆盖度量来评估性能。实验结果表明，CISum在保持ROUGE和BLEU优秀性能的同时，在多模态语义覆盖度量方面优于基线。
2023-02-20 cs.AI
Multimodal Alignment and Preference Optimization for Zero-Shot Conditional RNA Generation
Univ. Grenoble Alpes, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔INP、LJK实验室）；Center for Computational Mathematics, Flatiron Institute（计算数学中心、Flatiron研究所）
提出Moirain框架，通过多模态监督微调和直接偏好优化实现条件RNA序列生成，在零样本条件下生成具有高结合亲和力的生物合理RNA序列。
2026-05-12 cs.AI cs.LG q-bio.BM
Examining Multimodal Gender and Content Bias in ChatGPT-4o
Università di Bologna（博洛尼亚大学）
本研究探究ChatGPT-4o的多模态内容生成偏见，发现其对性内容和裸体审查严格，对暴力和毒品使用较宽容，且女性相关内容监管更严；分析了偏见成因，强调AI需真正伦理标准，呼吁更平衡的内容审核实践。
2024-11-28 cs.AI cs.CL cs.CY
TailorMind: Towards Preference-Aligned Multimodal Content Generation
South China University of Technology（华南理工大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
提出TailorMind框架，通过超图协同过滤和文本梯度下降建模用户偏好，结合检索增强风格控制和跨模态一致性反射，实现无候选池的个性化多模态内容生成，在TailorBench上优于基线。
2026-06-23 cs.AI
Enhancing Multimodal Entity Linking with Jaccard Distance-based Conditional Contrastive Learning and Contextual Visual Augmentation
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；VinAI Research（VinAI研究院）
本文针对多模态实体链接中负样本选择不当的问题，提出 JD-CCL 方法利用元信息选取相似属性负样本以增强鲁棒性，并引入 CVaCPT 方法结合多视角合成图像与上下文文本增强视觉表示，在基准数据集上验证了有效性。
2025-01-24 cs.AI cs.CV
Generate, Not Recommend: Personalized Multimodal Content Generation
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学系）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学agate智能学院）；Serendipity One Inc.（Serendipity One公司）
本文提出用大型多模态模型直接为个体用户生成个性化多模态内容的新范式，结合监督微调与在线强化学习，实验和用户研究表明生成结果既符合历史偏好又关联未来兴趣。
2025-06-02 cs.AI cs.CL
Enhancing Content Preservation in Text Style Transfer Using Reverse Attention and Conditional Layer Normalization
The Hong Kong University of Science and Technology（香港科技大学）
文本样式转换旨在改变样式（例如，一个句子，同时保持它的内容。一种常见的方法是将给定的句子映射到没有样式的内容表示，并且内容表示被馈送到具有目标样式的解码器。以往的风格过滤方法都是在token级别上完全删除具有风格的token，从而导致内容信息的丢失。在本文中，我们提出了通过隐式地去除每个标记的反向注意的样式信息来增强内容保存，从而保留内容。此外，我们在构建目标样式表示时融合了内容信息，使其相对于内容是动态的。该方法在传递样式的过程中，不仅建立了与样式无关的内容表示，而且建立了与内容相关的样式表示。实证结果表明，我们的方法优于国家的最先进的基线的内容保存方面的大幅度。此外，它在风格转移的准确性和流畅性方面也具有竞争力。
2021-08-01 cs.AI cs.CL
Multimodal Ensemble with Conditional Feature Fusion for Dysgraphia Diagnosis in Children from Handwriting Samples
Qatar University（卡塔尔大学）
针对在线与离线手写数据分离分析的局限，提出一种基于条件特征融合的多模态集成方法，通过智能结合预测结果，在儿童书写障碍诊断中达到88.8%的准确率。
2024-08-25 cs.AI cs.CV
Aetheria: A multimodal interpretable content safety framework based on multi-agent debate and collaboration
Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信）；Sichuan University（四川大学）；Peking University（北京大学）；Beijing Jiaotong University（北京交通大学）；Harbin Institute of Technology（哈尔滨工业大学）；China Railway Rolling Stock Corporation Limited（中国铁路滚动股票有限公司）
Aetheria通过多智能体辩论与协作机制，实现多模态内容安全的可解释性与高准确性，提升可信AI审查水平。
2025-12-09 cs.AI
Cosmos-Transfer1: Conditional World Generation with Adaptive Multimodal Control
NVIDIA（英伟达）
提出条件世界生成模型Cosmos-Transfer，通过自适应多模态空间控制输入实现高度可控的世界生成，适用于Sim2Real等场景，并开源模型与代码以加速Physical AI研究。
2025-04-01 cs.AI cs.CV cs.LG
Robustness of Fusion-based Multimodal Classifiers to Cross-Modal Content Dilutions
Georgia Institute of Technology（佐治亚理工学院）；Adobe Research（奥多比研究院）
随着多模态学习在各种高风险社会任务中的应用，研究其鲁棒性变得非常重要。现有的工作主要集中在理解视觉和语言模型对基准任务的不可感知变化的鲁棒性。在这项工作中，我们调查的鲁棒性多模态分类跨模态稀释-一个合理的变化。我们开发了一个模型，给定一个多模态（图像+文本）输入，生成额外的稀释文本，（a）保持相关性和主题的连贯性与图像和现有的文本，（b）当添加到原始文本，导致错误分类的多模态输入。通过对危机人道主义和情感检测任务的实验，我们发现，在存在我们的模型生成的稀释的情况下，特定于任务的基于融合的多模态分类器的性能分别下降了23.3%和22.5%。与几个基线和人类评估的基于度量的比较表明，我们的稀释显示出更高的相关性和主题一致性，同时更有效地证明了多模态分类器的脆性。我们的工作旨在强调并鼓励进一步研究深度多模态模型对现实变化的鲁棒性，特别是在面向人类的社会应用中。代码和其他资源可在https://claws-lab.github.io/multimodal-robustness/上获得。
2022-11-04 cs.AI cs.LG cs.MM
Human-AI Collaboration via Conditional Delegation: A Case Study of Content Moderation
University of Colorado Boulder（科罗拉多大学博尔德分校）；Amazon（亚马逊）；Microsoft Research（微软研究院）；Twitter Inc.（推特公司）；University of Chicago（芝加哥大学）；IBM Research（IBM研究院）
尽管在许多基准数据集中表现出色，但人工智能模型仍然会犯错误，特别是在分布外的例子中。如何将这些不完美的模型有效地用于与人类的合作仍然是一个悬而未决的问题。之前的工作主要集中在人工智能辅助上，帮助人们做出个人高风险的决策，这对于大量相对低风险的决策来说是不可扩展的，例如，缓和社交媒体评论。相反，我们提出了条件委托作为人类-AI协作的替代范式，人类创建规则来指示模型的可信区域。使用内容审核作为测试平台，我们开发了新的界面，以帮助人类创建条件委托规则，并使用两个数据集进行随机实验，以模拟分发和分发场景。我们的研究证明了条件委托在提高模型性能方面的前景，并为这种新范式的设计提供了见解，包括AI解释的效果。
2022-04-25 cs.AI cs.HC cs.LG
A Multimodal Analysis of Influencer Content on Twitter
University of Sheffield（谢菲尔德大学）；Utrecht University（乌得勒支大学）
本文提出了一个包含15,998条推文的影响者数据集，通过结合文本与视觉信息的交叉注意力多模态模型，有效识别商业帖子并减少误报，助力检测未披露的商业推广。
2023-09-06 cs.AI cs.CL cs.CV
From Videos to Indexed Knowledge Graphs -- Framework to Marry Methods for Multimodal Content Analysis and Understanding
University Of Southern California（美国南加州大学）
针对多模态内容分析融合难度大、成本高的问题，本文提出一个框架，通过融合预训练模型将视频转为时序半结构化数据，再生成支持查询与持续学习的帧级索引化知识图谱。
2025-10-01 cs.AI cs.CL cs.CV
A Novel Site-Agnostic Multimodal Deep Learning Model to Identify Pro-Eating Disorder Content on Social Media
本研究构建了RoBERTa与MaxViT融合的多模态深度学习模型，可跨平台识别社交媒体上促进食障碍内容，准确率达95.9%，并通过时间序列分析揭示了相关内容的占比变化趋势。
2023-11-05 cs.AI cs.CL cs.LG
Zero-Shot Warning Generation for Misinformative Multimodal Content
University of Bologna（博洛尼亚大学）；National Institute of Informatics (NII)（信息学研究所）；The University of Tokyo（东京大学）
提出基于跨模态一致性检查的多模态错误信息检测模型与轻量级模型，并引入零样本学习任务生成情境化警告以实现自动辟谣。
2025-02-02 cs.AI cs.CL cs.IR
HateSieve: A Contrastive Learning Framework for Detecting and Segmenting Hateful Content in Multimodal Memes
University of Ottawa（渥太华大学）；American University（美国美国大学）
本文提出HateSieve框架，通过对比模因生成器、定制三元组数据集和图文对齐模块，有效检测和分割多模态模因中的仇恨内容，在Hateful Meme Dataset上以更少参数超越现有LMMs。
2025-04-30 cs.AI cs.CL cs.MM
MV-Debate: Multi-view Agent Debate with Dynamic Reflection Gating for Multimodal Harmful Content Detection in Social Media
提出MV-Debate多视角智能体辩论框架，通过四个互补智能体及动态反思门控，统一检测社交媒体多模态有害内容，在三个基准数据集上显著优于现有基线。
2025-09-07 cs.AI
Procedural content generation of puzzle games using conditional generative adversarial networks
IT University of Copenhagen（哥本哈根信息技术大学）
本文提出使用参数化GANs为益智游戏Lily's Garden生成关卡，通过提取两个条件向量控制输出细节，发现GANs能较好近似地图形状但难以近似棋子分布，并建议尝试替代架构以改善此问题。
2023-06-26 cs.AI cs.LG
ToxVidLM: A Multimodal Framework for Toxicity Detection in Code-Mixed Videos
Indian Institute of Technology Patna（印度理工学院巴特那分校）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对低资源语码混合视频有害内容检测研究不足的问题，本文构建了首个印地语-英语混合视频有害内容检测基准数据集，并提出包含三大模块的多模态多任务框架ToxVidLM，实现了94.29%的准确率和94.35%的加权F1值。
2024-07-14 cs.AI cs.CL cs.CV
Hierarchical Cross-Modality Semantic Correlation Learning Model for Multimodal Summarization
School of Cyber Science and Technology, Beihang University（北京航空航天大学网络科学与技术学院）；College of Cyber Security, Jinan University（暨南大学网络安全学院）
多模态摘要与多模态输出（MSMO）生成一个摘要与文本和视觉内容。多模态新闻报道包含着内容的异质性，这使得多模态新闻报道具有重要意义。此外，据观察，不同形式的数据在新闻报道中的层次相关。传统的MSMO方法通过学习整个数据的表示来处理不同形式的数据，这不能直接适应异构的内容和层次相关性。在本文中，我们提出了一个层次化的跨模态语义相关学习模型（HCSCL）来学习存在于多模态数据中的模态内和模态间的相关性。HCSCL采用图网络对模态内相关性进行编码。然后，提出了一个层次融合框架，学习文本和图像之间的层次相关性。此外，我们构建了一个新的数据集与相关的图像注释和图像对象标签信息提供监督信息的学习过程。在数据集上的大量实验表明，HCSCL在自动摘要度量和细粒度多样性测试方面明显优于基线方法。
2021-12-16 cs.AI cs.CL cs.CV
Social-DualCVAE: Multimodal Trajectory Forecasting Based on Social Interactions Pattern Aware and Dual Conditional Variational Auto-Encoder
Southern University of Science and Technology（南方科技大学）；University of Birmingham（伯明翰大学）
行人轨迹预测是自动驾驶、自主机器人和监控系统等多个实用领域的基本任务。未来的轨迹预测是多模态的，受到与场景上下文的物理交互和行人之间复杂的社会交互的影响。现有的文献主要通过深度学习网络来学习社会交互的表示，而没有利用显式交互模式。不同的交互模式，如跟随或碰撞避免，将产生不同的趋势，下一个运动，因此，社会交互模式的意识是重要的轨迹预测。此外，社会互动模式是隐私关注或缺乏标签。为了共同解决上述问题，我们提出了一种用于多模态轨迹预测的社会对偶条件变分自动编码器（Social-DualCVAE），该编码器基于生成模型，不仅以过去的轨迹为条件，还以交互模式的无监督分类为条件。在生成未标记的社会交互模式的类别分布后，DualCVAE，以过去的轨迹和社会交互模式为条件，通过潜变量估计提出了多模态轨迹预测。在训练过程中，作为最小化目标的变分界。该模型被广泛使用的轨迹基准进行评估，并优于现有的最先进的方法。
2022-02-08 cs.AI cs.CV
FlexLoc: Conditional Neural Networks for Zero-Shot Sensor Perspective Invariance in Object Localization with Distributed Multimodal Sensors
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；US DEVCOM Army Research Laboratory（美国DEVCOM陆军研究实验室）；Amazon（亚马逊）
本文提出 FlexLoc，通过条件神经网络在运行时依据传感器节点位姿生成部分模型权重，使分布式多模态定位系统无需校准即可泛化到新视角，精度较基线提升近 50%。
2024-06-10 cs.AI cs.CV cs.LG
Toward Accountable AI-Generated Content on Social Platforms: Steganographic Attribution and Multimodal Harm Detection
Kean University（基恩大学）；North Dakota State University（北达科他州立大学）；McGill University（麦吉尔大学）；Villanova University（维拉诺瓦大学）；University of Notre Dame（圣母大学）
本文提出一种隐写术溯源框架，结合多模态危害检测，用于追踪AI生成图像的有害部署，提升合成媒体环境中的问责能力。
2026-04-12 cs.AI cs.CR cs.CV
Nemotron 3.5 Content Safety Moderator: A Compact Multimodal, Multilingual, and Reasoning Enabled Content Safety Moderator
NVIDIA（英伟达）
本研究提出紧凑多模态多语言的Nemotron 3.5 CS安全审核器，兼具低计算成本与推理能力，可覆盖多场景安全审核，还发布配套安全数据集，验证其在多维度评估中表现优异。
2026-08-31 cs.AI
Multimodal Tree Decoder for Table of Contents Extraction in Document Images
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（讯飞研究院）
目录抽取的目的是抽取文档中不同层次的标题，以更好地理解内容的概要，可广泛应用于文档理解和信息检索。现有的作品往往使用手工制作的功能和预定义的基于规则的功能来检测标题和解决标题之间的层次关系。基于深度学习的基准测试和研究仍然有限。因此，在本文中，我们首先介绍了一个标准的数据集，HierDoc，包括从650个文件的科学论文的内容标签的图像样本。然后，我们提出了一种新的端到端模型，使用多模态树解码器（MTD）的ToC作为基准HierDoc。MTD模型主要由编码器、分类器和解码器三部分组成。编码器融合了文档中每个实体的视觉、文本和布局信息的多模态特征。然后分类器识别并选择标题实体。其次，为了解析标题实体之间的层次关系，设计了一个树形结构的解码器。为了评估性能，采用了树编辑距离相似度（TEDS）和F1-Measure。最后，我们的MTD方法在HierDoc的测试集上实现了87.2%的平均TEDS和88.1%的平均F1-Measure。代码和数据集将在https://github.com/Pengfei-Hu/MTD上发布。
2022-12-06 cs.AI cs.CV
A Context-aware Attention and Graph Neural Network-based Multimodal Framework for Misogyny Detection
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology Indore（印度理工学院印德分校）；Department of Computer Science and Engineering, National Institute of Technology Srinagar（计算机科学与工程系，印度国立技术学院斯里 Nagar分校）
针对社交媒体上针对女性的攻击性内容，提出一种基于上下文感知注意力与图神经网络的多模态框架，通过多模态注意力、图特征重构和内容特定特征学习模块，在MAMI和MMHS150K数据集上macro-F1分别平均提升10.17%和8.88%。
2025-08-07 cs.AI cs.CV
RU-AI: A Large Multimodal Dataset for Machine-Generated Content Detection
University of Technology Sydney（悉尼科技大学）；University of New South Wales（新南威尔士大学）；Macquarie University（麦考瑞大学）；The University of Sydney（悉尼大学）
针对机器生成内容检测缺乏对齐多模态数据集的问题，本文构建包含147万余实例的三模态数据集RU-AI并创建噪声变体，经实验发现现有SOTA模型检测性能不足，该数据集可推动相关研究与生成式AI的负责任使用。
2025-02-18 cs.AI cs.CV
AnyMo: Scaling Any-Modality Conditional Motion Generation with Masked Modeling
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS, China（中国科学院智能信息处理重点实验室（中国科学院计算技术研究所，中国））；University of Chinese Academy of Sciences, China（中国科学院大学）
提出AnyMo框架，结合残差FSQ运动分词器和可扩展掩码建模Transformer，利用大规模多模态对齐数据集OmniHuMo实现任意模态组合下的高质量人体运动生成。
2026-10-30 cs.AI cs.CV
