MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI
IN.AI Research（IN.AI研究机构）；University of Waterloo（滑铁卢大学）；The Ohio State University（俄亥俄州立大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Victoria（维多利亚大学）；Princeton University（普林斯顿大学）
本文提出 MMMU 多学科多模态理解与推理基准，以大学级专业知识任务评测 14 个开源 LMM 及 GPT-4V、Gemini，揭示现有模型距专家 AGI 仍有明显差距。
2024-06-13 cs.AI cs.CL cs.CV
RCI: A Score for Evaluating Global and Local Reasoning in Multimodal Benchmarks
Oracle AI
本文提出RCI分数，通过比较模型在图像块与完整图像上的表现，量化多模态基准对全局或局部视觉信息的依赖，并发现13个常用基准多偏向局部推理且存在空间偏差。
2025-09-28 cs.AI cs.CL cs.CV
Benchmarking Llama2, Mistral, Gemma and GPT for Factuality, Toxicity, Bias and Propensity for Hallucinations
Innodata（英诺达公司）
该研究构建14个新数据集评估大模型企业任务安全性，对比多款开源模型与GPT的事实性、毒性等表现，发现多轮对话下开源模型安全性普遍下降，仅Mistral表现稳定。
2024-04-15 cs.CL
Fusing Perceptual Vision Experts with Multimodal LLMs for Explainable Plant Disease Diagnosis: From Benchmark Imagery to Real-World Robotic Field Validation
Cornell University（康奈尔大学）；University of the Peloponnese（伯罗奔尼撒大学）；Agricultural University of Athens（雅典农业大学）
该研究提出H²MAF框架，结合EfficientNet-B3、ConvNeXt-Tiny与Gemma、Qwen等MLLM，在PlantDoc及Cornell机器人田间数据集上实现高准确率可解释植物病害诊断，验证了MLLM仲裁的应用潜力。
2026-09-29 cs.AI cs.CV
Judge Model for Large-scale Multimodality Benchmarks
Department of Electrical and Computer Engineering, Viterbi School of Engineering, University of Southern California（电气与计算机工程系，维特比工程学院，南加州大学）
本文提出了一种多模态判断模型，用于评估多种任务，通过聚合多模态判断并生成诊断反馈，展示了其在多模态AI研究中的应用潜力。
2026-01-03 cs.AI cs.CL cs.CV
InterLV-Search: Benchmarking Interleaved Multimodal Agentic Search
Nanyang Technological University（南洋理工大学）；Shandong University（山东大学）；Damo Academy, Alibaba Group（阿里达摩院）
本文提出InterLV-Search基准测试，用于评估交错语言-视觉代理搜索，包含多层级任务，涵盖主动视觉证据搜索、受控离线交错多模态搜索和开放网页交错多模态搜索，揭示当前系统在视觉证据获取、搜索控制及多模态证据整合方面的挑战。
2026-05-08 cs.CL cs.CV cs.IR
MERRIN: A Benchmark for Multimodal Evidence Retrieval and Reasoning in Noisy Web Environments
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Virginia Tech（弗吉尼亚理工大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
MERRIN基准评估搜索增强代理在噪声网络环境中的多模态证据检索与推理能力，通过自然语言查询和多模态证据检索测试，发现现有模型在复杂任务中表现有限，需进一步提升多模态处理能力。
2026-04-15 cs.AI cs.CL cs.CV
Multimodal Recommendation Dialog with Subjective Preference: A New Challenge and Benchmark
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出包含12K购物对话的SURE数据集以刻画多模态推荐中的主观偏好与推荐行为，并基于该数据定义三个基准任务及一个由先进多模态模型驱动的基线模型。
2023-05-26 cs.AI cs.CL cs.CV
Benchmarking Multimodal Models for Fine-Grained Image Analysis: A Comparative Study Across Diverse Visual Features
University of Cambridge（剑桥大学）
本研究构建了涵盖七大视觉维度的细粒度图像分析基准，基于14580张生成图像评测7款主流多模态模型，揭示其性能优劣，为相关模型开发与选型提供参考。
2025-01-14 cs.CV
Leveraging Driver Field-of-View for Multimodal Ego-Trajectory Prediction
ETH Zürich（苏黎世联邦理工学院）；INSAIT, Sofia University "St. Kliment Ohridski"（保加利亚索菲亚大学圣·克利门特·奥赫里德斯基分校INSAIT研究所）；University of Bern（伯尔尼大学）；TU Munich（慕尼黑工业大学）
为解决现有自车轨迹预测方法忽略驾驶员注意力和意图的问题，提出结合GPS数据、环境背景与驾驶员视野的多模态网络RouteFormer及路径复杂度指标PCI，并构建GEM数据集，提升预测精度且验证驾驶员视野的重要性。
2025-04-15 cs.CV
Humor in Pixels: Benchmarking Large Multimodal Models Understanding of Online Comics
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出包含2,800个标注多格漫画的基准数据集PixelHumor，用于评估大型多模态模型解读多模态幽默和识别叙事序列的能力，实验表明顶级模型准确率仅61%，远低于人类，揭示了当前模型在视觉与文本线索整合上的关键局限。
2025-09-17 cs.AI cs.CL cs.CV
SMMBench: A Benchmark for Source-Distributed Multimodal Agent Memory
Shanghai Jiao Tong University, China（上海交通大学，中国）；OPPO, China（OPPO，中国）
SMMBench旨在评估智能体在多源分布证据下进行多模态推理、冲突解决和行动预测的能力，揭示当前系统在处理碎片化异构数据时的不足。
2026-05-15 cs.CL
GEMv2: Multilingual NLG Benchmarking in a Single Line of Code
Allen Institute for AI（艾伦人工智能研究所）；Amazon Alexa AI（亚马逊Alexa人工智能部门）；Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）；Carnegie Mellon University（卡内基梅隆大学）；Charles University（查理大学）
机器学习中的评估通常是根据过去的选择进行的，例如使用哪些数据集或指标。这种标准化使得能够使用排行榜在平等的基础上进行比较，但随着更好的替代方案的出现，评价选择变得次优。这个问题在自然语言生成中尤其相关，这需要不断改进的数据集，度量和人类评估套件来做出明确的声明。为了使下面的最佳模型评估实践更容易，我们引入了GEMv2。新版本的生成、评估和度量基准引入了一个模块化的基础设施，供数据集、模型和度量开发人员从彼此的工作中受益。GEMv2支持51种语言的40个记录数据集。所有数据集的模型都可以在线评估，我们的交互式数据卡创建和渲染工具可以更轻松地将新数据集添加到动态基准中。
2022-06-24 cs.AI cs.CL cs.LG
DMC-CF: Dynamic Multimodal CounterFactual QA benchmark for Causal Reasoning
Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所）；Alibaba Group（阿里巴巴集团）
针对现有因果推理数据集规模有限或基于非真实数据的问题，提出基于真实视频的大规模多模态因果反事实推理基准DMC-CF-Static，并利用动态图干预框架构建动态评估基准DMC-CF-Dynamic，实验表明当前多模态大模型在真实场景下的因果推理能力仍需大幅提升。
2026-05-28 cs.CV
Benchmarking Multimodal Models for Ukrainian Language Understanding Across Academic and Cultural Domains
Ukrainian Catholic University（乌克兰天主教大学）；OpenBabylon；Minerva University（密涅瓦大学）
本文构建了基于乌克兰大学入学考试的4300余题多模态基准ZNO-Vision，评估多模型在12个学科上的表现，并首次开展乌克兰语多模态文本生成评估及文化知识测试，以推动低资源语言多模态能力发展。
2024-11-22 cs.CL
Human-Grounded Multimodal Benchmark with 900K-Scale Aggregated Student Response Distributions from Japan's National Assessment of Academic Ability
Osaka Kyoiku University（大阪教养大学）；University of Tokyo（东京大学）；NII LLMC（日本国家信息与通信技术研究所大语言模型中心）
本文提出一个基于日本全国学业能力评估的多模态数据集，包含真实考试布局、图表和教育文本，用于评估多模态大语言模型的性能，通过精确匹配准确率和字符级F1分数分析不同学科间的差异。
2026-05-12 cs.CL
CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning
Alexa AI, Amazon Inc（亚马逊公司Alexa人工智能部门）；University of Southern California（南加州大学）
我们提出了一个多模态（视觉和语言）合作和异构多智能体学习的基准。我们引入了一个基准多模态数据集，其任务涉及在丰富的多房间家庭环境中多个模拟异构机器人之间的协作。我们提供了一个集成的学习框架，最先进的多智能体强化学习技术的多模态实现，以及一致的评估协议。我们的实验研究了不同模式对多智能体学习性能的影响。我们还介绍了一个简单的代理之间的消息传递方法。研究结果表明，多模态引入了独特的挑战，合作多智能体学习和有显着的空间，在这种情况下，推进多智能体强化学习方法。
2022-08-26 cs.AI cs.CV cs.LG
AgroTools: A Benchmark for Tool-Augmented Multimodal Agents in Agriculture
Sun Yat-Sen University（中山大学）；Southwest University（西南大学）；Northeastern University（东北大学）；National Supercomputing Center in Shenzhen（深圳国家超算中心）；Southwest Jiaotong University（西南交通大学）；China Agricultural University（中国农业大学）；Tsinghua University（清华大学）
本文提出AgroTools基准，用于评估农业中增强工具的多模态代理，通过539个问题-答案实例和1097张异构农业图像，评估模型在工具使用中的执行质量和任务成功率。
2026-05-21 cs.CV
Gemini in Reasoning: Unveiling Commonsense in Multimodal Large Language Models
Stanford University（斯坦福大学）；Meta Platforms, Inc.（Meta平台公司）
针对 Gemini 在常识推理上落后于 GPT 的初步评估，本文通过 12 个数据集全面评测其跨模态常识推理能力，发现其表现具有竞争力，并指出了当前模型的共同挑战。
2023-12-29 cs.AI cs.CL cs.CV
OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora
East China Normal University（华东师范大学）
研究人员推出OmniPhys这一覆盖中文教育语料库中中学至大学物理问题的大规模多模态基准，含15246个问题与19850张图像，可评估MLLMs的物理理解、推理及结构化图表生成能力，发现当前模型存在复杂推理与视觉生成差距，将推进物理领域多模态智能发展。
2026-08-27 cs.CL
MUOT_3M: A 3 Million Frame Multimodal Underwater Benchmark and the MUTrack Tracking Method
Khalifa University（卡利法大学）；Czech Technical University（捷克技术大学）；Information Technology University（信息科技大学）
MUOT_3M是首个包含300万帧的多模态水下目标跟踪基准，结合MUTrack方法提升水下跟踪性能。
2026-02-20 cs.CV
ARK: A Dual-Axis Multimodal Retrieval Benchmark along Reasoning and Knowledge
College of Computer Science, Sichuan University, Chengdu, China（四川大学计算机学院）；National Key Laboratory of Fundamental Algorithms and Models for Engineering Simulation, Sichuan University, China（四川省工程仿真基础算法与模型国家重点实验室）
ARK基准通过双轴视角评估多模态检索，揭示知识密集型与推理密集型检索间的差距，发现细粒度视觉推理是主要瓶颈。
2026-09-30 cs.CV
MMBench-Live: A Continuously Evolving Benchmark for Multimodal Models
Beijing University of Posts and Telecommunications（北京邮电大学）；PRIS-CV
提出MMBench-Live，一个通过多智能体自动化流水线构建的持续演进多模态基准，解决静态基准的时效性、数据污染和维护成本问题，采用分布一致性更新策略，每次更新成本约30美元。
2026-07-03 cs.AI cs.CV
Evaluating Gemini LLM in Food Image-Based Recipe and Nutrition Description with EfficientNet-B4 Visual Backbone
Department of Computer Science and Technology（计算机科学与技术系）；Nanjing University of Information Science and Technology（南京信息工程大学）
针对数字食品应用对自动化营养分析和烹饪指导的需求，本文通过整合EfficientNet-B4视觉骨干网络与Gemini LLM构建多模态管道，对比评估其在食物识别、营养数据及食谱生成中的表现，发现视觉前端感知准确率是系统效用的瓶颈。
2025-11-11 cs.CV cs.LG
CUE-Mem: Benchmarking Long-Term User Memory via Implicit Cues in Multimodal Conversations
CUE-Mem是一个多模态基准，通过隐式线索评估长期用户记忆，包含2674个问题和四个任务，发现保留细微线索是主要瓶颈，并测试了文本化与原生多模态访问的效果。
2026-09-29 cs.AI cs.CL
When Graph meets Multimodal: Benchmarking and Meditating on Multimodal Attributed Graphs Learning
Central South University（中南大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft AI（微软人工智能）
本文提出MAGB基准数据集，系统评估GNN与VLM在多模态属性图学习中的表现，揭示模态重要性差异及多模态嵌入的效用，为MAG研究提供可靠基准。
2025-02-27 cs.AI cs.CV cs.LG
MIKE: A New Benchmark for Fine-grained Multimodal Entity Knowledge Editing
本文提出MIKE基准，针对细粒度多模态实体知识编辑，包含普通名称回答、实体级描述、复杂场景识别及多步编辑任务，并证明现有最先进方法面临重大挑战，为未来研究指明方向。
2024-02-18 cs.AI cs.CL cs.LG
Gemini Goes to Med School: Exploring the Capabilities of Multimodal Large Language Models on Medical Challenge Problems & Hallucinations
Saama AI Research（萨马人工智能研究院）
该研究全面评估了多模态大模型Gemini在医学推理、幻觉检测和视觉问答上的表现，发现其准确率落后于GPT-4等模型且易产生幻觉，并通过提示策略改进及发布评估工具促进了医疗LLM的安全发展。
2024-02-10 cs.AI cs.CL cs.CV
LLaVA-Gemma: Accelerating Multimodal Foundation Models with a Compact Language Model
Intel Labs（英特尔实验室）
本文基于LLaVA框架和Gemma系列LLM（特别是2B模型）构建了LLaVA-Gemma多模态基础模型，通过消融实验分析连接器预训练、视觉骨干规模和语言骨干规模的影响，并公开了训练配方、代码和权重。
2024-06-10 cs.AI cs.CL
Scientific Reasoning: Assessment of Multimodal Generative LLMs
University of Stuttgart（斯图加特大学）
本文在ScienceQA上评估多模态LLM，发现Gemini模型准确率最高且解释最接近人类，而小模型Adapter-tuning及基于Gemini输出的训练效果均不佳。
2025-03-03 cs.AI cs.CL cs.CV
MSA at ImageCLEF 2025 Multimodal Reasoning: Multilingual Multimodal Reasoning With Ensemble Vision Language Models
October University for Modern Sciences and Arts（现代科学与艺术大学）
本文提出一种用于ImageCLEF 2025多语言多模态推理的集成系统，结合多个Gemini模型与精确提示策略，以81.4%准确率获多语言赛道第一，证明轻量级OCR-VLM集成可胜过端到端模型。
2025-07-15 cs.CL
Generative Multimodal Entity Linking
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本文提出基于大语言模型的生成式多模态实体链接框架GEMEL，通过冻结模型仅训练特征映射器并利用上下文学习，仅微调0.3%参数即实现最先进性能，有效缓解流行度偏差。
2024-03-20 cs.CL
Capabilities of Gemini Models in Medicine
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）；Verily
本文提出医学专用多模态模型系列 Med-Gemini，在 14 个医学基准中的 10 个上取得最先进性能，超越 GPT-4 系列及人类专家，展示了其在医学问答、多模态诊断和长上下文检索等任务上的强大潜力。
2024-05-01 cs.AI cs.CL cs.CV
GEM: Empowering MLLM for Grounded ECG Understanding with Time Series and Images
National University of Singapore（新加坡国立大学）；Peking University People’s Hospital（北京大学人民医院）；Peking University（北京大学）
本文提出 GEM，融合 ECG 时间序列、12 导联图像与文本，并通过双编码器、跨模态对齐和 ECG-Grounding 数据提升诊断、可解释性与证据定位能力。
2025-10-18 cs.AI cs.CL cs.CV
Multimodal RewardBench 2: Evaluating Omni Reward Models for Interleaved Text and Image
FAIR at Meta Superintelligence Labs（Meta超智能实验室的FAIR）
多模态奖励基准2评估多模态奖励模型在交错文本和图像任务中的性能，通过专家标注数据和先进模型对比，揭示了不同模型在多模态理解与生成任务中的准确率差异。
2026-01-19 cs.CL cs.CV
Many-Shot In-Context Learning in Multimodal Foundation Models
Stanford University（斯坦福大学）
本研究评估多模态基础模型从少样本到多样本上下文学习的性能，发现闭源模型随示例增多性能持续提升，开源模型无获益有限，批量查询可降本提效，为多模态模型适配新场景提供了思路。
2024-10-04 cs.AI cs.CL cs.CV
An Early Investigation into the Utility of Multimodal Large Language Models in Medical Imaging
Faculty of Computing and Information Technology, Sohar University（苏哈尔大学计算与信息技术学院）；Foundation University School of Sciences and Technology（基础大学科学与技术学院）；College of Science and Engineering, Hamad Bin Khalifa University（哈马德·本·哈利法大学科学与工程学院）
本研究探索了Gemini和GPT-4V在医学图像分析中的潜力，发现Gemini在真实与合成图像分类任务上略优于GPT-4V，揭示了多模态大语言模型的潜力与局限。
2024-06-02 cs.AI cs.CL cs.CV
Are We Really Measuring Forgetting? Pitfalls in Evaluating Machine Unlearning for Multimodal LLMs
Texas A&M University（得克萨斯农工大学）；National Taiwan University（台湾大学）；Columbia University（哥伦比亚大学）
本研究指出多模态大语言模型机器遗忘评估存在三类陷阱，推出GEMMU基准并重新评估代表性方法，发现泛化差距，为多模态机器遗忘评估提供指导。
2026-10-20 cs.CL
Multimodal Human-AI Synergy for Medical Imaging Quality Control: A Hybrid Intelligence Framework with Adaptive Dataset Curation and Closed-Loop Evaluation
Zhongda Hospital（中大医院）；School of Medicine, Southeast University（东南大学医学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文构建了医学影像质量控制数据集与评估框架，系统评估多种大语言模型在胸部X光与CT报告质量控制中的表现，发现DeepSeek-R1和Gemini 2.0-Flash性能优越，展示了人机协同混合智能框架在医学影像QC中的应用潜力。
2025-03-10 cs.CL cs.CV
Multimodal Arabic Captioning with Interpretable Visual Concept Integration
Ulm University（乌尔姆大学）；Alexandria University（亚历山大大学）
本研究提出可解释的阿拉伯语图像描述框架VLCAP，结合多语言CLIP编码器检索视觉概念与视觉语言模型生成描述，验证了不同编码器-解码器组合的效果，可生成文化适配、准确的阿拉伯语描述。
2025-09-29 cs.CL cs.CV cs.LG
Joint Visual and Text Prompting for Improved Object-Centric Perception with Multimodal Large Language Models
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Angelalign Inc.（时代天使公司）
本文提出VTPrompt，通过检测模型生成对象视觉提示并与文本提示联合输入MLLM，在MME、MMB和POPE上显著提升GPT-4V与Gemini Pro的对象中心感知性能。
2024-04-06 cs.CL
IV-Bench: A Benchmark for Image-Grounded Video Perception and Reasoning in Multimodal LLMs
ByteDance Inc.（字节跳动公司）
针对现有MLLM评估忽视图像上下文在视频理解中的作用，提出首个图像引导视频感知与推理基准IV-Bench，包含967个视频和2585个查询，评估显示当前模型最高准确率仅28.9%，并揭示推理模式、帧数和分辨率等影响因素。
2025-04-21 cs.CL cs.CV
Personalizing Multimodal Large Language Models for Image Captioning: An Experimental Analysis
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；IIT-CNR（意大利国家研究委员会信息科学与技术研究所）
本文实验评估GPT-4V、Gemini等多模态LLM在图像描述基准上的零样本与提示学习、前缀微调、LoRA微调表现，发现其零样本能力强但领域适配与泛化难以兼顾。
2024-12-04 cs.AI cs.CL cs.CV
MC-MKE: A Fine-Grained Multimodal Knowledge Editing Benchmark Emphasizing Modality Consistency
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
针对多模态大语言模型存在的误读、误识别类知识错误及现有基准缺乏细粒度分析的问题，提出强调模态一致性的细粒度多模态知识编辑基准MC-MKE，评估发现现有编辑方法在模态一致性上存在局限，为相关研究指明方向。
2024-10-30 cs.CL cs.CV
The Use of Multimodal Large Language Models to Detect Objects from Thermal Images: Transportation Applications
Arab American University（阿拉伯美国大学）；Columbia University（哥伦比亚大学）；Queensland University of Technology（昆士兰科技大学）
本研究探究多模态大语言模型对热图像的目标检测能力，验证了GPT-4与Gemini的有效性，给出了多类目标检测的MAPE数据，证实其可用于智能交通系统的成像自动化技术。
2024-06-20 cs.CL cs.CV cs.CY
Same Evidence, Different Answer: Auditing Order Sensitivity in Multimodal Large Language Models
Stanford University（斯坦福大学）
提出Facet-Probe审计框架，评估18个多模态大语言模型在五种顺序扰动下的答案翻转率，发现所有模型均非顺序不变，最佳模型仍有13.4%翻转率，提示仅靠提示级缓解难以实现通用顺序鲁棒性。
2026-06-25 cs.CL cs.CV cs.LG
UNIBROWSE: A Data-to-Agent Framework for Multimodal BrowseComp
Key Laboratory of Computational Linguistics, MOE, Peking University（教育部计算语言学重点实验室，北京大学）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）；School of Computer Science, Peking University（北京大学计算机科学学院）
研究多模态浏览比较任务，提出UNIBROWSE统一数据管道，同时生成三种模式训练数据，增强知识图谱，引入探索度度量。经此训练的35B规模智能体在多模态浏览比较基准测试中性能领先，超多个闭源智能体工作流程。
2026-07-14 cs.CL
SafetyALFRED: Evaluating Safety-Conscious Planning of Multimodal Large Language Models
University of Michigan（密歇根大学）；Boise State University（博伊西州立大学）
本文提出SafetyALFRED，基于ALFRED基准测试，引入六类厨房真实世界危险，评估多模态大语言模型在安全意识规划中的表现，发现静态QA评估不足，需转向强调具身环境中的纠正行动的基准。
2026-04-21 cs.AI cs.CL cs.RO
Magnifier Prompt: Tackling Multimodal Hallucination via Extremely Simple Instructions
针对多模态大语言模型的幻觉问题，提出无需训练的Magnifier Prompt方法，基于两项核心原则设计极简指令，适用于开源闭源模型，效果媲美甚至优于复杂方法，为相关研究提供见解。
2025-02-21 cs.AI cs.CL cs.CV
KBE-DME: Dynamic Multimodal Evaluation via Knowledge Enhanced Benchmark Evolution
Wangxuan Institute of Computer Technology（王轩计算机技术研究所）；Peking University（北京大学）
KBE-DME通过整合多模态知识和动态基准进化，实现对多模态大语言模型能力的更全面评估。
2026-01-21 cs.CL cs.CV
Images are Achilles' Heel of Alignment: Exploiting Visual Vulnerabilities for Jailbreaking Multimodal Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Information, Renmin University of China（中国人民大学信息学院）
该研究发现图像是多模态大语言模型的对齐漏洞，提出了利用精心制作的图像隐藏并放大文本恶意意图的HADES越狱方法，在主流模型上取得了较高的攻击成功率。
2025-01-13 cs.CL cs.CV
AlanaVLM: A Multimodal Embodied AI Foundation Model for Egocentric Video Understanding
Alana AI（阿拉纳人工智能公司）
针对现有视觉语言模型忽略第一人称感知的问题，研究构建EVUD数据集并训练7B参数的AlanaVLM，在OpenEQA基准上取得多项性能突破，推动具身AI落地应用。
2024-06-21 cs.AI cs.CL cs.CV
MultiClimate: Multimodal Stance Detection on Climate Change Videos
LMU Munich（慕尼黑大学）；Center for Information and Language Processing（信息与语言处理中心）；MaiNLP（迈自然语言处理实验室）；MCML（慕尼黑计算与机器学习实验室）
本文提出首个气候变化多模态立场检测数据集MultiClimate，通过融合视觉与语言模型实现最优性能，并发现大语言模型在该任务上仍具挑战。
2024-09-26 cs.CL cs.CV
MEGAVERSE: Benchmarking Large Language Models Across Languages, Modalities, Models and Tasks
Microsoft Corporation（微软公司）
本文提出MEGAVERSE基准，利用22个覆盖83种语言的数据集及2个多模态数据集，系统评估多款SoTA LLM和视觉模型，并揭示模型性能差异及多语言基准污染问题。
2024-04-02 cs.CL
