Attribute-Grounded Selective Reasoning for Artwork Emotion Understanding with Multimodal Large Language Models
Department of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Department of Computer Science, National Taiwan University（国立台湾大学计算机科学系）
本文提出基于属性的选型推理方法，通过多模态大语言模型实现艺术品情感理解，通过引入属性瓶颈引导框架提升情感预测精度和解释简洁性。
2026-05-15 cs.CV
ProcTag: Process Tagging for Assessing the Efficacy of Document Instruction Data
College of Computer Science, Zhejiang University（浙江大学计算机科学学院）；Alibaba Group（阿里巴巴集团）
本文提出ProcTag方法，通过对指令执行过程而非文本进行标记来评估文档指令数据效用，并结合DocLayPrompt提示策略，实现高效采样，仅需30.5%指令即可达到完整数据集100%的效用。
2025-03-12 cs.CL cs.CV
UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG
Salesforce AI Research（Salesforce人工智能研究）
UniDoc-Bench是首个大规模文档中心多模态RAG基准，通过多模态问答对评估文本-图像融合与联合检索性能，揭示多模态嵌入不足及视觉上下文补充机制。
2026-01-05 cs.CL cs.CV
Harmful YouTube Video Detection: A Taxonomy of Online Harm and MLLMs as Alternative Annotators
University of California, Davis（加州大学戴维斯分校）；University of Warsaw（华沙大学）
本研究提出视频平台在线危害的六分类法，并验证GPT-4-Turbo在多模态有害视频标注中优于众包工人，扩展了LLMs在多标签多模态场景的应用。
2026-10-19 cs.AI cs.CV cs.CY
Connecting Vision and Language with Localized Narratives
Google Research（谷歌研究院）
我们提出了本地化叙事，一种新形式的多模态图像注释连接视觉和语言。我们要求注释者用他们的声音描述图像，同时将鼠标悬停在他们所描述的区域上。由于语音和鼠标指针是同步的，我们可以定位描述中的每个单词。这种密集的视觉基础以每个单词的鼠标轨迹片段的形式出现，并且是我们数据所独有的。我们使用本地化叙述注释了849k图像：整个COCO，Flickr30k和ADE20K数据集，以及671k开放图像的图像，所有这些我们都公开提供。我们对这些注释进行了广泛的分析，显示它们是多样的，准确的，高效的。我们还证明了他们的实用程序上的应用程序控制图像描述。
2020-07-20 cs.CV
VectorLLM: Human-like Extraction of Structured Building Contours vis Multimodal LLMs
School of Remote Sensing and Information Engineering（遥感与信息工程学院）；College of Oceanography and Space Informatics（海洋学与空间信息学院）；School of Surveying and Geoinformation Engineering（测绘与地理信息工程学院）
本文提出VectorLLM，首个用于遥感建筑轮廓提取的多模态大语言模型，通过逐角点回归模拟人类标注，在三个数据集上显著超越SOTA并展现强零样本泛化能力。
2025-07-07 cs.CV
MME-RealWorld: Could Your Multimodal LLM Challenge High-Resolution Real-World Scenarios that are Difficult for Humans?
CASIA（中国科学院自动化研究所）；NJU（南京大学）；HKUST（香港科技大学）；NTU（南洋理工大学）；UCAS（中国科学院大学）；Squirrel AI Learning（松鼠AI智适应教育）；Meta AI
为解决现有MLLM基准数据规模小、标注质量受限和任务难度不足的问题，本文提出最大人工标注高分辨率真实世界基准MME-RealWorld，涵盖13,366张图像和29,429个问答对，并评估28个先进MLLMs，发现无一达到60%准确率。
2025-02-05 cs.CV
Pose-Aware Multimodal Automatic Tagging for Greek Traditional Music
National Technical University of Athens（雅典国家技术大学）；Athena Research Center（雅典娜研究中心）
本文针对希腊传统音乐自动标注，提出利用舞者姿态作为音频之外的补充信息，通过多模态融合（音频、视频、骨架）提升性能，最佳三模态系统较音频基线宏ROC-AUC提升约4个百分点。
2026-09-24 cs.CV cs.SD
Multimodal Entity Tagging with Multimodal Knowledge Base
Tsinghua University（清华大学）；ByteDance（字节跳动）
为了加强对多模态知识库和多模态信息处理的研究，我们提出了一个新的任务称为多模态实体标注（MET）与多模态知识库（MKB）。我们还开发了一个数据集的问题，使用现有的MKB。在MKB中，存在实体及其关联的文本和图像。在MET中，给定文本-图像对，可以使用MKB中的信息自动识别文本-图像对中的相关实体。我们通过使用信息检索范式来解决这个任务，并使用NLP和CV中最先进的方法实现了几个基线。我们进行了大量的实验，并对实验结果进行了分析。结果表明，这项任务具有挑战性，但目前的技术可以实现相对较高的性能。我们将发布数据集，代码和模型，以供未来研究。
2022-07-28 cs.AI cs.CL cs.CV
RAVENEA: A Benchmark for Multimodal Retrieval-Augmented Visual Culture Understanding
University of Copenhagen（哥本哈根大学）；ETH Zürich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；University of Cambridge（剑桥大学）；Massachusetts Institute of Technology（麻省理工学院）；Singapore University of Technology and Design（新加坡科技设计大学）；Singapore Management University（新加坡管理大学）
RAVENEA通过多模态检索增强方法提升视觉文化理解，验证了文化注释对多模态检索和下游任务的增强效果，并揭示了不同国家间性能差异。
2026-02-14 cs.CL cs.CV
Multimodal Feature Fusion for Video Advertisements Tagging Via Stacking Ensemble
Harbin Institute of Technology（哈尔滨工业大学）；Hebei University（河北大学）；Alibaba Group（阿里巴巴集团）；National University of Defense Technology（国防科技大学）
视频广告的自动标注一直是一个关键而又具有挑战性的问题，近年来由于其在许多领域的应用越来越明显，它引起了越来越多的关注。尽管已经做出了持续的努力，标记任务仍然受到一些挑战，例如，有效的特征融合方法是可取的，但在以前的研究中探索不足。在本文中，我们在2021年腾讯广告算法大赛中展示了我们的多模式视频广告标记方法。具体来说，我们提出了一种新的多模态特征融合框架，其目标是将来自多个模态的互补信息相结合。该框架引入了基于堆叠的集成方法，以减少不同程度的噪声和不同模态之间的冲突的影响。因此，与以前的方法相比，我们的框架可以提高标记任务的性能。为了实证研究所提出的框架的有效性和鲁棒性，我们对挑战数据集进行了广泛的实验。所获得的结果表明，我们的框架可以显着优于相关方法，我们的方法在最终排行榜上排名第一，全球平均精度（GAP）为82.63%。为了更好地推动这一领域的研究，我们将在最终版本中发布我们的代码。
2021-08-02 cs.CV cs.MM
VLM Judges Can Rank but Cannot Score: Task-Dependent Uncertainty in Multimodal Evaluation
University of Illinois at Chicago（伊利诺伊大学香槟分校）；AI Labs at Capital One（Capital One人工智能实验室）
本文通过置信预测框架分析VLM作为评判者的可靠性，发现任务依赖性显著影响评估不确定性，提出排名-评分解耦问题，揭示任务难度和标注质量对区间宽度的影响。
2026-04-29 cs.CL cs.CV cs.LG
CREMD: Crowd-Sourced Emotional Multimodal Dogs Dataset
dept. of Computer Science（计算机科学系）；New York Institute of Technology（纽约理工学院）
CREMD数据集通过众包方式探索不同多模态呈现模式对狗情绪识别的影响，揭示了情境、音频及标注者特征对情绪识别一致性的作用。
2026-02-17 cs.CV
Aligning Large Multimodal Models with Factually Augmented RLHF
UIUC（伊利诺伊大学厄巴纳-香槟分校）；UW–Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；UC Berkeley（加州大学伯克利分校）；CMU（卡内基梅隆大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）
本文提出 Factually Augmented RLHF，通过事实信息增强奖励模型并结合人工图文数据训练多模态模型，显著缓解幻觉，在 LLaVA-Bench 和 MMHAL-BENCH 上取得优异表现。
2023-09-25 cs.CL cs.CV
MultiEmo-Bench: Multi-label Visual Emotion Analysis for Multi-modal Large Language Models
ZOZO NEXT Inc.（ZOZO NEXT公司）
本文提出一个多标签视觉情绪分析基准数据集，用于评估多模态大语言模型对图像引发情绪的预测能力。通过改进标注方案，提供更可靠的数据集，并评估了多个模型在情绪预测上的表现。
2026-05-14 cs.AI cs.CV
Location Sensitive Image Retrieval and Tagging
Eurecat, Centre Tecnològic de Catalunya（加泰罗尼亚技术中心）；Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
来自世界各地的人们以不同的方式描述物体和概念。因此，视觉外观可以在不同的地理位置之间变化，这使得位置在分析视觉数据时成为相关的上下文信息。在这项工作中，我们解决了与地球上某个位置的给定标签相关的图像检索任务。我们提出了LocSens，一个学习通过可扩展性对图像，标签和坐标的三元组进行排名的模型，以及两个训练策略来平衡最终排名中的位置影响。LocSens学习融合多模态查询的文本和位置信息，以不同级别的位置粒度检索相关图像，并成功地利用位置信息来改进图像标记。
2020-07-07 cs.CV
MedPMC: A Systematic Framework for Scaling High-Fidelity Medical Multimodal Data for Foundation Models
Yale University（耶鲁大学）；Korea University（韩国大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；The University of Queensland（昆士兰大学）；The University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
研究针对医学多模态基础模型受高质量临床数据限制问题，提出MedPMC框架，将文献转化为高保真基础设施。经实验，该框架整理大量图像-文本对，在多方面评估表现出色，训练模型在多基准测试和临床场景中效果显著，还公开相关资源。
2026-07-09 cs.CV cs.LG
MLLM-CompBench: A Comparative Reasoning Benchmark for Multimodal LLMs
The Ohio State University（俄亥俄州立大学）
本文提出用于评估多模态大语言模型比较推理能力的基准MLLM-CompBench，覆盖八大比较维度、约4万组跨领域图像对，测试发现主流MLLM在该能力上存在明显缺陷，为后续改进提供了基础。
2025-01-13 cs.AI cs.CL cs.CV
Multimodal Large Language Model is a Human-Aligned Annotator for Text-to-Image Generation
Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）
为解决人类偏好数据集成本高且缺乏多样性的问题，研究利用多模态大语言模型构建了高质量偏好数据集 VisionPrefer，并训练奖励模型 VP-Score 指导文本到图像生成模型微调，显著提升了图文对齐效果与泛化能力。
2024-04-23 cs.CV cs.MM
COCO-CN for Cross-Lingual Image Tagging, Captioning and Retrieval
Renmin University of China（中国人民大学）
本文在数据和基线方法方面对跨语言图像标注和检索做出了贡献。我们提出了COCO-CN，一个新的数据集丰富MS-COCO与手工编写的中文句子和标签。为了更有效地获取注释，我们开发了一个辅助的集体注释系统，自动提供注释者与几个标签和句子被认为是相关的图片内容。COCO-CN拥有20，342张图片，标注了27，218个中文句子和70，993个标签，是目前最大的中英文数据集，为跨语言的图像标记，字幕和检索提供了统一和具有挑战性的平台。我们为每个任务开发概念上简单而有效的方法，用于从跨语言资源中学习。在这三个任务上进行的大量实验证明了所提出的数据集和方法的可行性。数据和代码可在https://github.com/li-xirong/coco-cn上公开获取
2019-01-15 cs.CL cs.CV
Not all Fake News is Written: A Dataset and Analysis of Misleading Video Headlines
University of Maryland（马里兰大学）
针对多模态误导信息检测数据集匮乏的问题，本研究构建了包含视频及标题误导性标注的VMH数据集，分析了相关多模态基线模型，并探究了标注者背景与视频内容的相互作用。
2023-12-14 cs.CL cs.CV
Recognizing and Presenting the Storytelling Video Structure with Deep Multimodal Networks
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
本文提出了一种新的方法，时间和语义分割的编辑视频到有意义的片段，从讲故事的结构的角度来看。我们的目标是将长视频分解为更易于管理的序列，这些序列可以反过来用于检索给定文本查询的最重要部分，并提供有效的摘要。以前的视频分解方法主要采用感知线索，解决这个问题，无论是作为一个故事的变化检测，或作为一个相似性分组任务，缺乏语义限制了他们的能力，以确定故事的边界。我们的建议将感知，音频和语义线索连接在一个专门的深度网络架构中，该架构设计有CNN的组合，这些CNN生成适当的嵌入，并将镜头聚类到语义场景的连接序列中，即故事。提出了一种检索呈现策略，通过选择语义和美学上“最有价值”的缩略图来呈现，考虑查询，以改善讲故事的呈现。最后，任务的主观性质被认为是通过与不同的注释者进行实验，并提出了一种算法，以最大限度地提高自动结果和人类注释者之间的协议。
2016-11-10 cs.CV
Efficient Unified Multimodal Understanding (EUMU): Winning Solution for the MUMU Track at the 8th LSVOS Challenge
Soongsil University（崇实大学）
EUMU是第八届LSVOS挑战赛MUMU赛道的获胜方案，通过共享预训练模型和跨任务线索细化，在单个模型中统一实现图像打标、开放词汇检测和图像描述，以239.169M参数和23.947 GFLOPs达到17.3409分。
2026-09-18 cs.CV
Through the Eyes of the Beholder: Biometric and Demographic Conditioning for Multimodal Sexism Detection
National University of Science and Technology POLITEHNICA Bucharest（布加勒斯特理工大学）；Academy of Romanian Scientists（罗马尼亚科学家学院）
针对互联网性别歧视检测的主观性，提出融合标注者心理与人口统计特征的多模态框架，通过交叉注意力和条件化提升检测性能，在EXIST 2026任务中排名第29。
2026-09-15 cs.AI cs.CL cs.CV
Multimodal Contrastive Training for Visual Representation Learning
University of Chicago（芝加哥大学）；Adobe Research（Adobe研究院）
我们开发了一种方法来学习视觉表示，包括多模态数据，由内和模态间的相似性保存目标的组合驱动。与现有的视觉预训练方法不同，这些方法在单个域中解决代理预测任务，我们的方法同时利用每个模态内的固有数据属性和跨模态相关性的语义信息，从而提高了学习的视觉表示的质量。通过在具有不同类型对比损失的统一框架中包含多模态训练，我们的方法可以学习更强大和通用的视觉特征。我们首先在COCO上训练我们的模型，并在各种下游任务上评估学习到的视觉表示，包括图像分类、目标检测和实例分割。例如，通过我们的方法在COCO上预训练的视觉表示在通用传输协议下在ImageNet分类上实现了$55.3\%$的最先进的top-1验证精度。我们还评估了我们的方法在大规模的股票图像数据集，并显示其有效性的多标签图像标记，和跨模态检索任务。
2021-04-26 cs.CV
YTClickbait21K: Human-Annotated Multimodal Dataset for YouTube Clickbait Detection Across Diverse Channels and Content Categories
Department of Computer Science and Engineering, Rajshahi University of Engineering & Technology（拉贾沙希工程与技术大学计算机科学与工程系）；Department of Electrical Engineering, Qatar University（卡塔尔大学电气工程系）；Department of Civil and Environmental Engineering, Qatar University（卡塔尔大学土木与环境工程系）；SenseNet Inc.（SenseNet公司）
为应对视频平台点击诱饵检测缺乏大规模高质量多模态数据的问题，构建了包含21,238个视频、来自29国40频道、覆盖新闻/娱乐/教育/游戏等类别的人工标注数据集YTClickbait21K，通过三人独立标注与多数投票确保质量，为多模态语义理解和自动内容审核提供基准。
2026-06-16 cs.CV cs.LG
A High-Quality Text-Rich Image Instruction Tuning Dataset via Hybrid Instruction Generation
University at Buffalo（布法罗大学）；Adobe Research（奥多比研究院）
针对大型多模态模型在富文本图像上的数据不足问题，提出LLaVAR-2，通过人工与GPT-4o混合生成指令并过滤低质量数据，构建了424k对高质量指令数据集，显著提升了模型微调效果。
2024-12-20 cs.CL cs.CV
Connecting Vision and Language with Video Localized Narratives
Google Research（谷歌研究院）
我们提出了视频本地化叙事，一种新形式的多模态视频注释连接视觉和语言。在最初的本地化叙事中，注释者在图像上同时说话和移动鼠标，因此每个单词都有一个鼠标轨迹段。这在视频上是一个挑战。我们的新协议使注释者能够用本地化叙事讲述视频的故事，捕捉甚至涉及多个参与者相互交互以及与多个被动对象交互的复杂事件。我们对OVIS、UVO和Oops数据集的20k个视频进行了注释，总计170万字。基于这些数据，我们还为视频叙事接地和视频问答任务构建了新的基准，并提供了强基线模型的参考结果。我们的注释可在https://google.github.io/video-localized-narratives/上获得。
2023-03-15 cs.CV
What Gives the Answer Away? Question Answering Bias Analysis on Video QA Datasets
Carnegie Mellon University（卡内基梅隆大学）
视频QA数据集中的问答偏差会误导多模态模型过拟合QA工件，并危及模型的泛化能力。了解这些QA偏见有多强以及它们来自哪里，可以帮助社区更准确地衡量进展，并为研究人员提供深入的见解来调试他们的模型。在本文中，我们分析了流行的视频问答数据集的QA偏差，发现预训练的语言模型可以正确回答37-48%的问题，而无需使用任何多模态上下文信息，远远超过了5-choose-1多项选择题的20%随机猜测基线。我们的消融研究表明，偏见可能来自注释者和问题类型。具体来说，在训练过程中看到的注释者被模型和推理更好地预测，抽象问题比事实，直接的问题产生更多的偏见。我们还根据经验表明，使用注释器非重叠训练测试分割可以减少视频QA数据集的QA偏差。
2020-07-07 cs.CL cs.CV cs.LG
MAP-Gen: An Automated 3D-Box Annotation Flow with Multimodal Attention Point Generator
The University of Hong Kong（香港大学）
手动标注3D点云既费力又昂贵，限制了现实世界目标检测中深度学习的训练数据准备。虽然之前的一些研究试图从弱标签（如2D框）自动生成3D边界框，但与人类注释器相比，质量并不理想。这项工作提出了一种新的自动标签，称为多模态注意点生成器（MAP-Gen），它可以从弱的2D框中生成高质量的3D标签。它利用密集的图像信息来解决3D点云的稀疏性问题，从而提高标签质量。对于每个2D像素，MAP-Gen通过基于其2D语义或几何关系引用上下文点来预测其对应的3D坐标。生成的3D点使原始稀疏点云致密化，然后由编码器回归3D边界框。使用MAP-Gen，由2D框弱监督的目标检测网络可以达到由3D注释完全监督的网络的94~99%的性能。希望这个新提出的MAP-Gen自动标记流程可以为利用多模态信息丰富稀疏点云提供新的思路。
2022-03-29 cs.CV
Instruction Mining From Images: Constructing a Synthetic Dataset for Multimodal Learning ILSP DCVLR Competition Submission
Institute of Language and Speech Processing（语言与语音处理研究所）；Athena Research Center（雅典研究中心）
本研究为DCVLR构建了基于图像指令的合成数据集，采用Magpie风格方法结合Qwen2.5-VL-7B Instruct模型，经DeBERTa-v3奖励模型过滤后，所得数据集覆盖多推理领域且指令质量良好。
2026-10-14 cs.CV
NaiLIA: Multimodal Nail Design Retrieval Based on Dense Intent Descriptions and Palette Queries
Keio University（庆应大学）
NaiLIA通过密集意图描述和调色板查询实现美甲设计图像的多模态检索，提升检索精度。
2026-03-05 cs.CV
ForenX: Towards Explainable AI-Generated Image Detection with Multimodal Large Language Models
Beijing Jiaotong University（北京交通大学）；Microsoft Research Asia（微软亚洲研究院）
ForenX利用多模态大语言模型和专门取证提示，结合ForgReason数据集，实现AI生成图像的可解释检测，在提升泛化能力的同时提供与人类认知相符的准确解释。
2025-08-02 cs.CV
Consensus and Subjectivity of Skin Tone Annotation for ML Fairness
Google（谷歌）；Harvard University（哈佛大学）
本文研究肤色标注的主观性，发布MST-E数据集，发现标注员能可靠标注肤色但存在地区差异，建议公平性研究采用多样化标注员和高重复次数。
2024-01-02 cs.CV cs.CY
MMIU: Dataset for Visual Intent Understanding in Multimodal Assistants
Apple（苹果公司）
在多模态助理中，视觉也是输入模态之一，用户意图的识别成为一项具有挑战性的任务，因为视觉输入会影响结果。当前的数字助理获取语音输入，并尝试从会话或设备上下文确定用户意图。因此，包括视觉输入（即针对多模态助理用例的相应问题的图像或视频）的数据集并不容易获得。可视化问答和可视化问题生成的研究是一个很大的进步。然而，他们没有捕捉到一个有视觉能力的人会问多模态助手的问题。而且，很多时候问题并不从外部知识中寻求信息。在本文中，我们提供了一个新的数据集MMIU（MultiModal Intent Understanding），它包含了人类注释者在查看图像时提供的问题和相应的意图。然后，我们使用该数据集进行多模态数字助理中的意图分类任务。我们还尝试了各种方法，结合视觉和语言功能，包括使用多模态Transformer的图像问题对分类成14个意图。我们提供了基准测试结果，并讨论了视觉和文本特征在我们数据集上的意图分类任务中的作用。
2021-10-31 cs.CV cs.LG
Judge Model for Large-scale Multimodality Benchmarks
Department of Electrical and Computer Engineering, Viterbi School of Engineering, University of Southern California（电气与计算机工程系，维特比工程学院，南加州大学）
本文提出了一种多模态判断模型，用于评估多种任务，通过聚合多模态判断并生成诊断反馈，展示了其在多模态AI研究中的应用潜力。
2026-01-03 cs.AI cs.CL cs.CV
Grounding Free-Form Instructions for Fashion Complementary Image Generation
Politecnico di Bari（巴里理工大学）；Sapienza University of Rome（罗马大学）；University of Klagenfurt（克拉根福大学）
针对现有时尚互补图像生成基准的缺陷，该研究提出基于自由形式指令的新设置，用StyleFlow模型实现该任务，其生成的服装符合指令且风格连贯，同时降低了架构复杂度和推理成本。
2026-08-25 cs.CV
OVO-S-Bench: A Hierarchical Benchmark for Streaming Spatial Intelligence in Multimodal LLMs
Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）；Beihang University（北京航空航天大学）
提出OVO-S-Bench，一个完全人工标注的流式空间智能基准，包含1680个问题，涵盖四个抽象层次，评估38个MLLM，发现Gemini-3.1-Pro落后人类专家27分，流式空间微调MLLM表现不如其骨干模型。
2026-08-27 cs.CV
MEDIC: A Multimodal Empathy Dataset in Counseling
针对共情理解计算研究数据集匮乏的问题，本文构建了含771个视频片段的多模态共情数据集MEDIC，提出三类共情标签，验证了标注可靠性，且实验表明该数据集可有效支持共情预测。
2023-05-04 cs.CV cs.CY
NepOOC-M: Bilingual Nepali-English Benchmark and Comparative Analysis of Multimodal Architectures for OOC Detection
针对尼泊尔语OOC虚假信息检测，构建首个尼泊尔语多语言OOC基准NepOOC，评估多模态等架构发现仅文本mBERT性能最优，数据集扩充比架构优化更有效。
2026-08-21 cs.CL cs.CV
MM-Claims: A Dataset for Multimodal Claim Detection in Social Media
TIB – Leibniz Information Centre for Science and Technology（莱布尼茨科技信息中心（TIB））；L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）；Jozef Stefan Institute（约瑟夫·斯特凡研究所）
近年来，网络上的错误信息问题在不同语言、国家和各种社交媒体平台上普遍存在。尽管在自动化虚假新闻检测方面已经做了很多工作，但图像的作用及其多样性还没有得到很好的探索。在本文中，我们研究了图像和文本在假新闻检测管道的早期阶段（称为索赔检测）中的作用。为此，我们引入了一个新的数据集，MM-Claims，它由三个主题的推文和相应的图像组成：COVID-19，气候变化和广泛的技术。该数据集包含大约86000条推文，其中3400条由多个注释器手动标记，用于多模态模型的训练和评估。我们详细描述了数据集，评估了强大的单峰和多峰基线，并分析了当前模型的潜力和缺点。
2022-05-04 cs.AI cs.CL cs.CV
MM-Soc: Benchmarking Multimodal Large Language Models in Social Media Platforms
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research Asia（微软亚洲研究院）
本文提出MM-Soc基准，通过整合多模态社交媒体数据集和YouTube标注数据，系统评估多模态大语言模型在虚假信息检测、仇恨言论检测和社会语境生成等任务上的表现，揭示其社会理解能力的不足及微调带来的改进潜力。
2024-09-02 cs.CL cs.CV cs.CY
HateClipSeg: A Segment-Level Annotated Dataset for Fine-Grained Hate Video Detection
Singapore University of Technology and Design（新加坡科技设计大学）
针对现有数据集缺乏细粒度标注导致视频仇恨言论检测困难的问题，本文构建了含片段级标注的多模态数据集HateClipSeg，提出三个基准任务，为细粒度仇恨视频检测提供资源与基准。
2025-08-15 cs.AI cs.CV
Generating Natural Questions from Images for Multimodal Assistants
Apple（苹果公司）
从图像中生成自然、多样和有意义的问题是多模态助理的一项重要任务，因为它可以确认他们是否正确理解了图像中的对象和场景。可视化问答和可视化问题生成的研究是一个很大的进步。然而，这项研究并没有捕捉到视觉能力正常的人会问多模态助手的问题。最近发布的数据集，如KB-VQA，FVQA和OK-VQA，试图收集问题，寻找外部知识，使它们适合多模态助理。然而，它们仍然包含许多人类通常不会问数字助理的明显和常识性问题。在本文中，我们提供了一个新的基准数据集，其中包含由人类注释者生成的问题，并记住他们会向多模态数字助理提出什么问题。几十万幅图像的大规模注释是昂贵和耗时的，所以我们也提出了一种有效的方法，自动生成问题，从看不见的图像。在本文中，我们提出了一种方法，用于生成考虑图像内容和图像元数据（例如，位置、关联关键字）。我们使用BLEU、METEOR、ROUGE和CIDER等标准评估指标来评估我们的方法，以显示生成的问题与人类提供的问题的相关性。我们还使用生成强度和创造性指标来衡量生成问题的多样性。我们报告关于公众和我们的数据集的最新结果。
2020-11-17 cs.AI cs.CL cs.CV
Augmenting Image Annotation: A Human-LMM Collaborative Framework for Efficient Object Selection and Label Generation
College of Information Sciences and Technology（信息科学与技术学院）；Pennsylvania State University（宾夕法尼亚州立大学）；Tsinghua University（清华大学）
本文提出 Human-LMM 协作框架，由人工用边界框选择目标、GPT 等 LMM 自动生成标签，以提升多类图像标注任务的效率与可扩展性。
2025-03-14 cs.AI cs.CV cs.HC
InfoVisDial: An Informative Visual Dialogue Dataset by Bridging Large Multimodal and Language Models
University of Washington（华盛顿大学）；Microsoft Azure AI（微软Azure人工智能部门）
本文构建InfoVisDial视觉对话数据集，通过桥接GIT和GPT-3自动生成信息丰富、多样化的长对话，并人工筛选，提供强基线，推动视觉对话研究。
2023-12-21 cs.AI cs.CV
NVLM: Open Frontier-Class Multimodal LLMs
NVIDIA（英伟达）
本文提出 NVLM 1.0 多模态大语言模型系列，通过新颖架构、一维瓦片标记设计及高质量多模态与纯文本数据训练，在视觉-语言任务上达到前沿水平，同时保持并提升纯文本性能。
2024-10-22 cs.AI cs.CL cs.CV
MMEvalPro: Calibrating Multimodal Benchmarks Towards Trustworthy and Efficient Evaluation
Peking University（北京大学）；Chinese Academy of Medical Sciences（中国医学科学院）；Alibaba Group（阿里巴巴集团）
针对多模态基准的系统性偏差，提出MMEvalPro基准，通过三部曲评估流程和更严格指标避免第一类错误，实验证明其更具挑战性和可信度。
2025-02-27 cs.AI cs.CL cs.CV
VideoAutoArena: An Automated Arena for Evaluating Large Multimodal Models in Video Analysis through User Simulation
Salesforce AI Research（Salesforce AI研究院）；Hong Kong Baptist University（香港浸会大学）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；The Australian National University（澳大利亚国立大学）
针对现有视频分析评估方法深度不足、人工标注成本高的问题，提出自动化竞技场式基准VideoAutoArena，通过用户模拟生成自适应问题、改进ELO评分等实现可扩展的LMM评估，且与人类判断高度一致。
2025-03-23 cs.AI cs.CL cs.CV
Impact of annotation modality on label quality and model performance in the automatic assessment of laughter in-the-wild
TU Delft（代尔夫特理工大学）；Instituto Tecnologico de Costa Rica（哥斯达黎加技术学院）
笑被认为是快乐的最明显的信号之一。笑声被公认为是一种多模态现象，但最常见的是通过感知笑声来检测。目前还不清楚当通过笑声的身体动作从视频等其他形式注释时，笑声的感知和注释有何不同。在本文中，我们在这个方向上迈出了第一步，询问是否以及如何可以注释笑声时，只有音频，只有视频（包含全身运动信息）或视听形式可供注释。我们询问笑的注释是否在模态之间是一致的，并比较标记模态对机器学习模型性能的影响。我们比较注释和模型的笑声检测，强度估计和分割，在以前的研究中常见的三个任务的笑声。我们的4000多个注释从48个注释者获得的分析揭示了证据的不一致的看法笑，其强度之间的方式。进一步分析注释对统一的视听参考注释显示，召回是较低的平均视频相比，音频条件下，但往往会增加与强度的笑声样本。我们的机器学习实验比较了最先进的单峰（基于音频、基于视频和基于加速度）和多模态模型在输入模态、训练标签模态和测试标签模态的不同组合下的性能。无论训练标签模式如何，具有视频和加速度输入的模型都具有类似的性能，这表明使用视频获取的标签来训练模型用于从身体运动中检测笑声可能是完全合适的，尽管它们的评分者间一致性较低。
2022-11-02 cs.CV cs.CY cs.LG
