Implicit Multimodal Alignment: On the Generalization of Frozen LLMs to Multimodal Inputs
Sorbonne University（索邦大学）
本研究探究冻结大语言模型的多模态泛化机制，发现其内部存在隐式多模态对齐现象，该现象与架构相关，可用于评估模型性能、解释幻觉问题，还能支撑推理加速与模型压缩方案。
2024-10-05 cs.CL cs.CV cs.LG
Exploring Large Language Models for Multimodal Sentiment Analysis: Challenges, Benchmarks, and Future Directions
National University of Defense Technology（国防科技大学）
本文系统评估了大语言模型在多模态方面级情感分析中的适用性，构建基准并与监督学习方法对比，揭示了其在准确率和推理时间上的不足，并提出了未来改进方向。
2024-11-23 cs.AI cs.CL
Multimodal Reasoning with Multimodal Knowledge Graph
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
针对LLMs多模态推理中的幻觉与知识匮乏问题，提出MR-MKG方法，利用多模态知识图谱与跨模态对齐模块增强推理能力，仅训练2.25%参数即在多模态问答与类比推理任务上超越现有模型。
2024-06-05 cs.AI cs.CL
ShizhenGPT: Towards Multimodal LLMs for Traditional Chinese Medicine
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Freedom AI；National Health Data Institute, Shenzhen（深圳国家健康数据研究院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Guangdong University of Technology（广东工业大学）
针对中医药领域大语言模型应用面临的数据稀缺和诊断多模态特性两大挑战，提出首个定制化多模态LLM ShizhenGPT，构建大规模中医药数据集并通过预训练与微调实现，在资格考试和视觉任务中表现优异，为中医药多模态诊断提供支撑。
2025-08-20 cs.AI cs.CL cs.CV
On the Performance of Multimodal Language Models
Scale AI（Scale AI公司）；GE HealthCare（通用电气医疗集团）
本文对比分析了不同多模态指令微调方法在复杂推理、对话、图像描述等任务上的性能，揭示了架构选择的关键见解，并指出当前方法在指令数据集多样性和响应真实性方面的不足。
2023-11-28 cs.AI cs.CL cs.CV
Multimodal LLMs Outperform Pathology Foundation Models in Cross-Domain Histological Similarity
本研究揭示多模态大语言模型在跨域组织学相似性判断中优于病理学基础模型，通过MOSAIC基准评估17个模型，发现病理编码器存在域内偏差，而LLMs通过语义视觉比较更鲁棒，为跨机构检索提供新方案。
2026-09-30 cs.AI cs.CL cs.CV
Format Matters: The Robustness of Multimodal LLMs in Reviewing Evidence from Tables and Charts
本文针对多模态大模型跨格式核验科学论断的鲁棒性问题，改造现有数据集开展评测，发现模型更擅长处理表格证据、图表理解能力不足，为后续模型优化指明方向。
2025-11-13 cs.CL
Can LLMs Deceive CLIP? Benchmarking Adversarial Compositionality of Pre-trained Multimodal Representation via Text Updates
Seoul National University（首尔国立大学）
提出 MAC 基准，利用 LLM 生成欺骗文本以揭示 CLIP 等多模态表示的组合性漏洞，并通过拒绝采样微调的自训练方法显著提升攻击成功率与样本多样性。
2025-05-28 cs.AI cs.CL cs.CV
Text Is Not All You Need: Multimodal Prompting Helps LLMs Understand Humor
Northwestern University（西北大学）
针对大语言模型难以理解幽默的问题，研究提出结合文本与TTS生成的口语形式的多模态提示方法，在所有测试数据集上均提升了幽默解释效果。
2024-12-01 cs.CL cs.CY
Learning Deliberately, Acting Intuitively: Unlocking Test-Time Reasoning in Multimodal LLMs
Kyoto University（京都大学）；Initial S；NEC Corporation, Japan（日本NEC公司）
提出D2I框架，通过训练时使用基于规则的格式奖励进行有意推理以增强模态对齐，推理时移除显式策略转为直觉推理，从而提升多模态大语言模型的推理能力，无需额外标注或复杂奖励。
2026-05-27 cs.CL cs.CV cs.LG
Can We Edit Multimodal Large Language Models?
Platform and Content Group, Tencent（腾讯平台与内容事业群）；Zhejiang Laboratory（浙江省实验室）；Zhejiang University（浙江大学）；Donghai Laboratory（东海实验室）
本文提出多模态大语言模型编辑基准MMEdit及创新评估指标，通过全面实验分析不同编辑基线效果，发现现有方法编辑多模态模型效果有限，揭示该任务的挑战性，并提供代码与数据集以推动研究。
2024-04-18 cs.AI cs.CL cs.CV
Geneverse: A collection of Open-source Multimodal Large Language Models for Genomic and Proteomic Research
Yale University（耶鲁大学）；UCLA（加利福尼亚大学洛杉矶分校）；UT Health（得克萨斯大学卫生科学中心）
提出开源多模态大语言模型集合Geneverse，通过参数高效微调技术适应基因组和蛋白质组研究的三项新任务，表现优于闭源大规模模型。
2024-06-21 cs.AI cs.CL cs.LG
AgentPS: Agentic Process Supervision for Content Moderation with Multimodal LLMs
TikTok, Inc.（字节跳动公司）
针对多模态大语言模型在复杂细节密集逻辑推理上的不足，本文提出AgentPS框架，通过在微调中引入智能体式过程监督对辅助问题进行顺序推理，在公开基准和专有数据集上显著提升复杂多模态分类性能，并证明其可扩展性。
2025-07-04 cs.AI cs.CL
EasyGen: Easing Multimodal Generation with BiDiffuser and LLMs
The Hong Kong Polytechnic University（香港理工大学）
针对现有多模态模型依赖特定编码器、训练数据需求大的问题，研究提出EasyGen模型，借助BiDiffuser与LLM，通过投影层、适配器实现模态交互，在数据效率、生成质量与扩展性上表现更优。
2024-05-17 cs.AI cs.CL cs.CV
Multimodal Task Interference: A Benchmark and Analysis of History-Target Mismatch in Multimodal LLMs
研究多模态大语言模型中任务切换导致的性能下降问题，通过六个任务的基准测试发现，从纯文本切换到图像目标会导致严重性能下降，而反向切换则影响较小，且多模态差异是主要干扰因素。
2026-03-19 cs.CL
MMIDR: Teaching Large Language Model to Interpret Multimodal Misinformation via Knowledge Distillation
Institute of Information Engineering, CAS（中国科学院信息工程研究所）；School of Cyber Security, UCAS（中国科学院大学网络空间安全学院）
本文提出 MMIDR 框架，通过多模态数据增强流水线生成解释理由，并利用知识蒸馏将专有 LLM 的虚假信息解读能力迁移至开源模型。
2024-04-08 cs.CL
Personalizing Multimodal Large Language Models for Image Captioning: An Experimental Analysis
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；IIT-CNR（意大利国家研究委员会信息科学与技术研究所）
本文实验评估GPT-4V、Gemini等多模态LLM在图像描述基准上的零样本与提示学习、前缀微调、LoRA微调表现，发现其零样本能力强但领域适配与泛化难以兼顾。
2024-12-04 cs.AI cs.CL cs.CV
LLMs Meet Multimodal Generation and Editing: A Survey
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）
本文系统综述了大语言模型在多模态生成与编辑中的方法分类、技术组件、数据集、工具增强智能体及安全进展，为AIGC和世界模型发展提供全景式参考。
2024-06-09 cs.AI cs.CL cs.CV
Text or Pixels? It Takes Half: On the Token Efficiency of Visual Text Inputs in Multimodal LLMs
Allen Institute for AI（艾伦人工智能研究所）；University of Chicago（芝加哥大学）；Stony Brook University（石溪大学）
本研究针对多模态LLM的文本输入令牌消耗问题，提出将长文本渲染为单张图像作为视觉输入的压缩方法，在RULER和CNN/DailyMail基准上实现近半令牌节省且性能不下降。
2025-10-22 cs.AI cs.CL
Can Frontier LLMs Match Natively Multimodal Embeddings? A Comparison on Hard-Negative Text-to-Image Retrieval
Westcliff University（韦克利夫大学）
本研究在Flickr30k数据集上对比Gemini Embedding 2等原生多模态嵌入与GPT-4.1、Claude Sonnet 4.6等前沿LLM的难负例文本到图像检索性能，发现二者表现相当，且多模态嵌入更适配低延迟应用
2026-08-13 cs.AI cs.CV cs.IR
Grounding Multilingual Multimodal LLMs With Cultural Knowledge
Carnegie Mellon University（卡内基梅隆大学）
本文提出以数据为中心的方法，利用Wikidata知识图谱构建了覆盖42国39种语言的2200万文化VQA对数据集CulturalGround，并训练开源模型CulturalPangea，在保持通用能力的同时显著提升了多模态LLM的文化理解能力。
2025-08-12 cs.CL cs.LG
A Thousand Words or An Image: Studying the Influence of Persona Modality in Multimodal LLMs
Georgia Institute of Technology（佐治亚理工学院）
本研究探讨多模态LLM中人物角色模态（文本、图像等）对体现效果的影响，构建40个角色的平行数据集和60问评估框架，发现文本更显语言习惯，图像易被忽略，为改进提供方向。
2025-02-27 cs.AI cs.CL cs.CV
Model-in-the-Loop (MILO): Accelerating Multimodal AI Data Annotation with LLMs
Meta
提出 Model-in-the-Loop (MILO) 框架，将 LLMs 整合进多模态数据标注流程作为预标注、实时助手和评判者，有效减少了标注时间并提升了数据质量与标注员体验。
2024-09-24 cs.AI cs.CL cs.HC
OrdMoE: Preference Alignment via Hierarchical Expert Group Ranking in Multimodal Mixture-of-Experts LLMs
AntGroup（蚂蚁集团）；Peking University（北京大学）
OrdMoE通过利用混合专家架构中的内在信号，实现多模态混合专家语言模型的零成本偏好对齐，无需人工标注数据即可提升模型对齐和性能。
2025-11-24 cs.AI cs.LG
Exploring Graph Structure Comprehension Ability of Multimodal Large Language Models: Case Studies
Aarhus University（奥胡斯大学）
本研究探索多模态大语言模型的图结构理解能力，对比多模态与纯文本图表示在节点、边、图层级基准任务的表现，揭示视觉图模态的应用潜力与局限。
2024-09-13 cs.AI cs.LG
"Yeah Right!" -- Do LLMs Exhibit Multimodal Feature Transfer?
Georgia Tech（佐治亚理工学院）；Wand AI（Wand AI公司）
本文研究 LLM 是否能将言语交际意图理解迁移到文本，通过隐蔽欺骗检测任务发现，speech+text 模型及对话训练模型均优于普通单模态文本 LLM。
2025-01-07 cs.CL
Understanding the Role of LLMs in Multimodal Evaluation Benchmarks
The University of Hong Kong（香港大学）；Fudan University（复旦大学）
本文通过引入修改的评估协议和自动知识识别技术，揭示了MLLM评估基准对LLM骨干网络先验知识的高度依赖，并提出知识增强流水线显著提升性能。
2024-10-16 cs.AI cs.CL
UoR-NCL at SemEval-2025 Task 1: Using Generative LLMs and CLIP Models for Multilingual Multimodal Idiomaticity Representation
Department of Computer Science, University of Reading（阅读大学计算机科学系）；School of Computing, Newcastle University（新castle大学计算机学院）
针对SemEval-2025 Task 1的跨语言图像排序任务，本研究利用生成式LLM生成习语语义，并结合多语言CLIP模型编码及对比学习微调，有效提升了多模态习语性表示的性能。
2025-05-01 cs.AI cs.CL
Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey
Jilin University（吉林大学）；Nanjing University（南京大学）；University of California at Merced（加州大学默塞德分校）
该综述首次系统分类并分析面向大语言模型的离散标记化方法，涵盖8种VQ变体，探讨其算法原理、训练动态及在单模态与多模态系统中的集成，指出码本崩溃等挑战并展望动态量化等方向。
2026-09-22 cs.AI cs.CL
Learning to Steer: Input-dependent Steering for Multimodal LLMs
ISIR, Sorbonne Université（ISIR，索邦大学）
本文提出L2S方法，通过训练辅助模块预测输入特定引导向量，实现多模态LLM的细粒度输入依赖引导，有效减少幻觉并增强安全性。
2025-11-02 cs.AI cs.CL cs.CV
Wiki-LLaVA: Hierarchical Retrieval-Augmented Generation for Multimodal LLMs
University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）；University of Pisa（比萨大学）；IIT-CNR（意大利国家研究委员会信息科学与技术研究所）
本文提出Wiki-LLaVA，通过分层检索多模态文档外部知识源，为大语言模型提供额外上下文，以增强其回答外部知识问题的能力，并在相关数据集上验证了方法的有效性。
2024-05-22 cs.AI cs.CL cs.CV
Can Multimodal LLMs Perform Time Series Anomaly Detection?
Illinois Institute of Technology（伊利诺伊理工学院）；Emory University（埃默里大学）；University of Illinois Chicago（伊利诺伊大学香槟分校）；University of Southern California（南加州大学）
本研究提出基于多代理框架的TSAD-Agents，利用多模态大语言模型实现自动时间序列异常检测。
2026-02-17 cs.CL cs.LG
Atari-GPT: Benchmarking Multimodal Large Language Models as Low-Level Policies in Atari Games
DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）；Army Educational Outreach Program（陆军教育拓展计划）
本文提出Atari-GPT基准，评估多模态大型语言模型作为Atari游戏底层策略的能力，发现其尚未能成为零样本底层策略，部分原因是视觉与空间推理不足，为相关研究提供测试基准。
2024-12-02 cs.AI
Bifrost-1: Bridging Multimodal LLMs and Diffusion Models with Patch-level CLIP Latents
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Lambda
提出 Bifrost-1 框架，利用 patch 级 CLIP 潜变量连接预训练多模态 LLM 与扩散模型，通过轻量级 ControlNet 适配和视觉生成分支，在保留多模态推理能力的同时实现了高效的高保真可控图像生成。
2025-08-08 cs.AI cs.CL cs.CV
MM-LLMs: Recent Advances in MultiModal Large Language Models
Tencent AI Lab（腾讯AI实验室）；Kyoto University（京都大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文综述了多模态大语言模型（MM-LLMs）的最新进展，涵盖架构设计、训练流程、126个模型分类、基准性能及关键训练秘诀，并展望未来方向，旨在促进该领域研究。
2024-05-28 cs.CL
GSR-BENCH: A Benchmark for Grounded Spatial Reasoning Evaluation via Multimodal LLMs
George Mason University（乔治梅森大学）
本文扩展了What'sUp数据集，提出了GSR-BENCH基准，通过评估27个不同参数规模和训练方法的VLMs与MLLMs，全面测试并审视了多模态大模型在图像空间关系理解任务上的性能与缩放定律。
2024-10-10 cs.CL cs.CV cs.LG
Cross-Domain Generalization of Multimodal LLMs for Global Photovoltaic Assessment
School of Electrical, Computer and Energy Engineering（电气、计算机与能源工程学院）；Arizona State University（亚利桑那州立大学）
本研究提出利用多模态大语言模型实现跨领域泛化，用于全球光伏评估，通过结构化提示和微调在统一框架内整合检测、定位和量化，优于传统CV和Transformer基线。
2025-11-24 cs.AI cs.CV cs.LG
To See or To Read: User Behavior Reasoning in Multimodal LLMs
Personalization Team, Walmart Global Tech（Walmart全球科技个性化团队）
本文提出 BehaviorLens 基准框架，系统比较文本、散点图和流程图三种模态表示对多模态大语言模型用户行为推理的影响，发现图像表示可使下次购买预测准确率提升 87.5% 且不增加计算成本。
2025-11-05 cs.AI cs.LG
Lumos : Empowering Multimodal LLMs with Scene Text Recognition
Meta Reality Labs（元宇宙实验室）；Meta
本文提出首个端到端多模态问答系统Lumos，通过场景文本识别组件提取第一人称视角图像文本以增强多模态大语言模型输入，并探讨了系统架构与建模技术以克服STR质量、延迟等挑战，评估显示其高质量与高效率。
2024-06-01 cs.CL cs.CV cs.LG
NVLM: Open Frontier-Class Multimodal LLMs
NVIDIA（英伟达）
本文提出 NVLM 1.0 多模态大语言模型系列，通过新颖架构、一维瓦片标记设计及高质量多模态与纯文本数据训练，在视觉-语言任务上达到前沿水平，同时保持并提升纯文本性能。
2024-10-22 cs.AI cs.CL cs.CV
Can LLMs Improve Multimodal Fact-Checking by Asking Relevant Questions?
School of Computing, and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）
针对大语言模型事实核查缺少问题拟定环节的局限，提出LRQ-FACT框架用LLM生成事实核查问题以辅助多模态证据检索与核查，实验验证其有效性并分析各组件作用。
2025-02-20 cs.CL
UniMEL: A Unified Framework for Multimodal Entity Linking with Large Language Models
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
针对多模态实体链接任务，提出统一框架UniMEL，利用大语言模型增强表示并仅微调0.26%参数实现高效链接，在三个基准上达到最优性能。
2024-08-21 cs.AI cs.CL
Improving Visual Sensitivity of LLMs on Multimodal Machine Translation with Metric-based Loss Weighting
Maastricht University（马斯特里赫特大学）；Warsaw University of Technology（华沙理工大学）；IDEAS Research Institute（IDEAS研究所）
提出基于度量的损失加权方法，利用PCXMI指标识别受益于图像的令牌并提高其损失，增强多模态翻译的视觉敏感性，在CoMMuTE数据集上准确率提升超7个百分点。
2026-09-28 cs.AI cs.CL
Unlearning Sensitive Information in Multimodal LLMs: Benchmark and Attack-Defense Evaluation
Department of Computer Science（计算机科学系）；University of North Carolina at Chapel Hill（北卡罗来纳大学 Chapel Hill 分校）；School of Artificial Intelligence and Data Science（人工智能与数据科学学院）；University of Science and Technology of China（中国科学技术大学）
本文提出多模态遗忘基准UnLOK-VQA及攻防框架，通过生成不同邻近度样本评估六种防御目标对七种攻击的效果，发现多模态攻击更强、移除内部答案信息最有效，且更大模型编辑后更鲁棒。
2025-05-01 cs.AI cs.CL cs.CV
Adaptive Token Boundaries: Integrating Human Chunking Mechanisms into Multimodal LLMs
Sanda University（上海杉达学院）
本文提出一种基于人类组块机制的自适应动态跨模态分词框架，通过自适应边界、层次化表示和对齐机制改进多模态大语言模型，在视觉问答和复杂场景描述任务上分别提升7.8%和5.3%，并表现出更符合人类认知的错误模式与注意力分布。
2025-05-03 cs.AI cs.CL
Exploring Multimodal Challenges in Toxic Chinese Detection: Taxonomy, Benchmark, and Findings
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；Qihoo 360（奇安信）；Nanyang Technological University（南洋理工大学）
本文针对中文毒性检测提出包含3种扰动策略和8种方法的分类体系，构建数据集对9个SOTA LLMs进行基准测试，发现LLMs难以检测多模态扰动毒性内容，且少量样本的ICL或SFT易导致模型过度纠正，误判正常内容。
2025-05-30 cs.AI cs.CL cs.CY
Retrieve, Annotate, Evaluate, Repeat: Leveraging Multimodal LLMs for Large-Scale Product Retrieval Evaluation
Zalando SE（扎兰多股份公司）
本文提出利用多模态大语言模型在大规模电商环境中自动生成标注指南并执行标注，以评估产品检索系统，实现与人工标注相当的质量，同时大幅降低时间和成本，支持快速问题发现与生产级质量控制。
2024-09-18 cs.AI cs.CL cs.ET
Computational Humor with Multimodal LLMs: Methods, Datasets, Evaluation, and Challenges
Case Western Reserve University（凯斯西储大学）；The Hong Kong Polytechnic University（香港理工大学）
本研究聚焦于单图像和多面板作品中的视觉幽默理解，通过与先前综述对比，按能力层次组织文献，综合基准设计等内容，追溯领域转变，指出进展的主要障碍包括易出现捷径的评估、文化覆盖有限等问题。
2026-09-02 cs.AI cs.CL cs.MM
How to Bridge the Gap between Modalities: Survey on Multimodal Large Language Model
College of Computer, National University of Defense Technology（国防科技大学计算机学院）；School of Computer and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）
本文综述 MLLMs 的模态对齐方法，将其归纳为转换器、感知器、工具学习和数据驱动四类，以应对多模态语义差距并提升模型能力。
2025-01-08 cs.AI cs.CL cs.CV
Structured Attention Matters to Multimodal LLMs in Document Understanding
vivo Mobile Communication Co., Ltd（vivo移动通信有限公司）；The University of Queensland（昆士兰大学）；University of California, Merced（加州大学默塞德分校）
针对多模态大语言模型在文档理解中输入格式影响性能的问题，提出基于LaTeX范式的保结构编码方法，通过诱导结构化注意力模式减少注意力浪费，无需修改架构或额外训练即可显著提升文档问答性能。
2025-06-19 cs.AI cs.CL cs.IR
Image Captioning Evaluation in the Age of Multimodal LLMs: Challenges and Future Perspectives
University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学）；IIT-CNR（意大利国家研究委员会IIT）
本综述全面概述了多模态大型语言模型时代图像描述评估的进展，分析了现有指标在相关性、排序准确性和幻觉敏感性等维度的局限，并指出了未来研究方向。
2025-05-30 cs.AI cs.CL cs.CV
Multi-Modality Expansion and Retention for LLMs through Parameter Merging and Decoupling
Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳））；Xiamen University Malaysia（厦门大学马来西亚分校）；Nanyang Technological University（南洋理工大学）；Beijing Academy of Artificial Intelligence, China（北京人工智能研究院）；Peng Cheng Laboratory, China（鹏城实验室）；Shaqra University, Saudi Arabia（沙迦大学）
本文提出MMER，一种无需训练的模型集成方法，通过参数合并与解耦扩展大语言模型的多模态能力，同时保留99%的原始性能并显著缓解灾难性遗忘。
2025-05-21 cs.CL
Chitranuvad: Adapting Multi-Lingual LLMs for Multimodal Translation
Krutrim AI
Chitranuvad通过ViT图像编码器和适配器层将视觉信息融入多语言大语言模型，实现多模态翻译，在WAT2024印地语挑战集上取得SOTA。
2025-02-27 cs.CL cs.CV
From Generator to Embedder: Harnessing Innate Abilities of Multimodal LLMs via Building Zero-Shot Discriminative Embedding Model
Department of Artificial Intelligence（人工智能系）
本文提出一种高效框架，通过构建零样本判别嵌入模型，利用多模态大语言模型的固有能力，提升多模态表示空间的鲁棒性和零样本嵌入能力。
2026-08-05 cs.AI cs.IR cs.LG
