From LLMs to MLLMs: Exploring the Landscape of Multimodal Jailbreaking
University of Southern California（南加州大学）；Fudan University（复旦大学）；Alibaba Inc.（阿里巴巴集团）
本文针对大语言模型与多模态大语言模型的越狱研究展开全面综述，梳理相关评估基准、攻击与防御进展，指出多模态越狱研究的不足，提出未来研究方向以提升模型安全性。
2024-06-21 cs.AI cs.CL
Hidden in Plain Sight: Evaluation of the Deception Detection Capabilities of LLMs in Multimodal Settings
本文在RLTD、MU3D和OpSpam数据集上系统评估LLM与LMM的欺骗检测能力，发现微调LLM文本检测表现最优，而LMM利用跨模态线索仍有限。
2025-06-11 cs.CL
Vision Enhancing LLMs: Empowering Multimodal Knowledge Storage and Sharing in LLMs
Research Institute of Computing and Intelligence（计算与智能研究 institute）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出MKS2方法，通过多模态知识存储与共享增强大语言模型的推理能力，提升其在物理和常识知识场景下的表现。
2025-12-28 cs.AI cs.CL cs.CV
Towards Trust Calibration in Socially Interactive Agents: Investigating Gendered Multimodal Behaviors Generation with LLMs
LIS Laboratory, Amu（LIS实验室，Amu）；Inria Paris（Inria巴黎）
本文研究了LLMs生成多模态行为以反映能力与善意的不同层次，探讨了性别对行为生成的影响，并通过用户研究验证了方法的有效性。
2026-05-19 cs.CL
Generative Multimodal Entity Linking
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本文提出基于大语言模型的生成式多模态实体链接框架GEMEL，通过冻结模型仅训练特征映射器并利用上下文学习，仅微调0.3%参数即实现最先进性能，有效缓解流行度偏差。
2024-03-20 cs.CL
Retrieving Multimodal Information for Augmented Generation: A Survey
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Salesforce Research（Salesforce研究院）
本文综述了通过检索图像、代码、表格、图和音频等多模态知识来增强大型语言模型生成能力的方法，以提升模型在事实性、推理、可解释性和鲁棒性方面的表现。
2023-12-01 cs.CL
Text Is Not All You Need: Multimodal Prompting Helps LLMs Understand Humor
Northwestern University（西北大学）
针对大语言模型难以理解幽默的问题，研究提出结合文本与TTS生成的口语形式的多模态提示方法，在所有测试数据集上均提升了幽默解释效果。
2024-12-01 cs.CL cs.CY
MIS-Bench: Benchmarking Multimodal LLMs for Psychotherapeutic Interpersonal Skills Assessment
NYU Shanghai, New York University（上海纽约大学，纽约大学）
本文提出MIS-Bench基准，评估多模态大语言模型在心理治疗人际技能评估中的表现，发现其与专家一致性有限，并引入MIS-RAFT微调方法以提升评分准确性。
2026-09-22 cs.CL
Table Understanding and (Multimodal) LLMs: A Cross-Domain Case Study on Scientific vs. Non-Scientific Data
Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI)（德国人工智能研究中心有限公司）；Technische Universität Berlin（柏林技术大学）；BIFOLD；Deutsche Telekom（德国电信）；Common Crawl Foundation（Common Crawl基金会）；Humboldt-Universität zu Berlin（柏林洪堡大学）
本文通过跨领域和跨模态评估，研究文本与多模态大语言模型在表格理解上的表现，引入TableEval基准，发现模型对科学表格处理存在显著挑战。
2025-06-30 cs.CL
Amharic LLaMA and LLaVA: Multimodal LLMs for Low Resource Languages
Garri Logistcs（加里物流公司）
针对低资源语言阿姆哈拉语训练数据匮乏的问题，本研究通过数据增强扩充语料，微调LLaMA-2得到阿姆哈拉语LLM，并参照LLaVA接入图像编码器训练出多模态模型，同时开源了对应基准数据集与模型。
2024-03-11 cs.CL
Are We Really Measuring Forgetting? Pitfalls in Evaluating Machine Unlearning for Multimodal LLMs
Texas A&M University（得克萨斯农工大学）；National Taiwan University（台湾大学）；Columbia University（哥伦比亚大学）
本研究指出多模态大语言模型机器遗忘评估存在三类陷阱，推出GEMMU基准并重新评估代表性方法，发现泛化差距，为多模态机器遗忘评估提供指导。
2026-10-20 cs.CL
Locate-then-Merge: Neuron-Level Parameter Fusion for Mitigating Catastrophic Forgetting in Multimodal LLMs
Department of Computer Science, National Centre for Text Mining（计算机科学系、文本挖掘国家中心）
提出Locate-then-Merge训练无关参数融合框架及Neuron-Fusion神经元级策略，通过定位并选择性融合重要参数，在13个基准上缓解多模态大语言模型灾难性遗忘并减少幻觉。
2025-05-22 cs.CL
Adaptive Linguistic Prompting (ALP) Enhances Phishing Webpage Detection in Multimodal Large Language Models
Algoverse AI Research（Algoverse AI研究院）
针对钓鱼攻击威胁，本研究提出自适应语言提示（ALP）方法，引导GPT-4o等多模态LLMs通过结构化语义推理分析钓鱼内容，结合多维度特征检测，F1分数达0.93，提升检测准确性并为相关系统奠定基础。
2025-08-25 cs.CL
Open-Qwen2VL: Compute-Efficient Pre-Training of Fully-Open Multimodal LLMs on Academic Resources
UC Santa Barbara（圣巴巴拉加利福尼亚大学）；Seed Vision Team ByteDance（字节跳动种子视觉团队）；Nvidia Research（英伟达研究院）
本文提出Open-Qwen2VL，一个2B参数完全开源多模态LLM，通过动态分辨率、序列打包和高质量数据过滤，仅用220 A100 GPU小时在学术资源上完成预训练，并在多个基准上超越Qwen2-VL-2B，同时开源全部代码、数据和方法。
2025-04-02 cs.CL
Symphony of Bias: Exploring Gender Associations with Musical Instruments in Multimodal LLMs
Amirkabir University of Technology（阿米尔卡比尔理工大学）；King’s College London（伦敦国王学院）；University of Tehran（德黑兰大学）；Bocconi University（博科尼大学）
本研究推出多模态数据集Symphony-Bias，评估多模态模型在乐器性别关联上的偏见，发现多数结果符合社会研究，契合度随文本、视觉、音频依次减弱。
2026-07-30 cs.CL
Unveiling the Impact of Multimodal Features on Chinese Spelling Correction: From Analysis to Design
University of Science and Technology Beijing（北京科技大学）；Fudan University（复旦大学）
针对中文拼写纠错中多模态特征利用不足及LLMs过度纠正问题，本文通过MACU实验分析提出新型多模态模型NamBert，在基准数据集上超越SOTA方法，并系统比较了其与LLMs的优劣。
2025-04-10 cs.CL
A Comprehensive Survey of Large Language Models and Multimodal Large Language Models in Medicine
School of Artificial Intelligence, Chongqing University of Technology（重庆理工大学人工智能学院）
本文系统综述了医学领域大语言模型和多模态大语言模型的发展、构建评估方法、应用场景及挑战，并提出未来方向，旨在推动智能医疗系统发展。
2024-12-30 cs.CL
Multimodal LLMs are not all you need for Pediatric Speech Language Pathology
Ostbayerische Technische Hochschule（奥斯特拜尔技术大学）
本文提出一种分层方法对儿童语音障碍进行分类，通过微调语音表示模型和数据增强技术，提高了临床任务的性能，证明语音表示模型在各项任务中均显著优于基于大语言模型的最新方法。
2026-04-29 cs.CL
A Survey of Mathematical Reasoning in the Era of Multimodal Large Language Model: Benchmark, Method & Challenges
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technological University（南洋理工大学）；Squirrel Ai Learning（松鼠Ai学习）
该综述首次全面分析多模态大语言模型时代的数学推理，梳理2021年来200余项研究，从基准、方法、挑战三维度分类，探讨多模态推理流水线等，指出五大AGI落地挑战并给出未来方向，为相关研究提供参考。
2025-05-20 cs.CL
FinVis-GPT: A Multimodal Large Language Model for Financial Chart Analysis
Harbin Institute of Technology（哈尔滨工业大学）
本文提出FinVis-GPT，一种专为金融图表分析设计的多模态大语言模型，通过指令微调与多模态能力解读金融图表，在生成描述、问答及趋势预测等任务上超越现有最先进模型。
2023-07-31 cs.CL
I Came, I Saw, I Explained: Benchmarking Multimodal LLMs on Figurative Meaning in Memes
MaiNLP, Center for Information and Language Processing, LMU Munich（MaiNLP，信息与语言处理中心，慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；National Research Council Canada（加拿大国家研究委员会）
本文评估了八种最先进的生成式多模态大语言模型在检测和解释六种隐喻意义类型上的能力，并通过人工评估验证其解释的合理性与忠实性。
2026-03-24 cs.CL
Scientific Reasoning: Assessment of Multimodal Generative LLMs
University of Stuttgart（斯图加特大学）
本文在ScienceQA上评估多模态LLM，发现Gemini模型准确率最高且解释最接近人类，而小模型Adapter-tuning及基于Gemini输出的训练效果均不佳。
2025-03-03 cs.AI cs.CL cs.CV
Large Language Models Meet Text-Centric Multimodal Sentiment Analysis: A Survey
Harbin Institute of Technology（哈尔滨工业大学）；Chinese Academy of Sciences（中国科学院）
本综述围绕以文本为中心的多模态情感分析，回顾相关研究进展，考察大语言模型（LLMs）在该任务中的潜力、方法、优劣势，总结应用场景并探讨未来挑战与研究方向。
2024-08-16 cs.CL
Multi-Physics: A Comprehensive Benchmark for Multimodal LLMs Reasoning on Chinese Multi-Subject Physics Problems
School of Science（科学学院）；Engineering, The Chinese University of Hong Kong, Shenzhen, China（工程学院，香港中文大学（深圳））
本文提出中文物理推理基准Multi-Physics，含1,412道图像关联题、11个学科和5个难度等级，通过双重评估框架分析20种多模态大语言模型的答案准确率与思维链完整性，并系统研究难度和视觉信息对推理的影响。
2025-09-19 cs.CL
Compliance, Capability, and Conflict: Benchmarking Multimodal LLMs under System Messages
NAVER Cloud（NAVER云）；KAIST AI（韩国科学技术院人工智能）
该研究构建基准VSysBench测试多模态大语言模型在系统消息下的合规性，发现施加系统消息会降低任务准确率，开放权重模型易受用户冲突影响，视觉约束最难。
2026-08-21 cs.CL
CoMMET: A Psychologically Grounded Benchmark for Evaluating Theory of Mind in Multimodal LLMs
Agency for Science, Technology and Research (A*STAR)（科技研究局）；Nanyang Technological University（南洋理工大学）；Hong Kong University of Science and Technology (Guangzhou), China（香港科技大学（广州），中国）
本文提出CoMMET多模态基准数据集，用于评估大型语言模型在多轮对话中的理论思维能力，通过扩展心理状态评估和引入多轮测试，分析模型优劣势并指明未来改进方向。
2026-09-02 cs.CL
Implicit Multimodal Alignment: On the Generalization of Frozen LLMs to Multimodal Inputs
Sorbonne University（索邦大学）
本研究探究冻结大语言模型的多模态泛化机制，发现其内部存在隐式多模态对齐现象，该现象与架构相关，可用于评估模型性能、解释幻觉问题，还能支撑推理加速与模型压缩方案。
2024-10-05 cs.CL cs.CV cs.LG
Exploring Large Language Models for Multimodal Sentiment Analysis: Challenges, Benchmarks, and Future Directions
National University of Defense Technology（国防科技大学）
本文系统评估了大语言模型在多模态方面级情感分析中的适用性，构建基准并与监督学习方法对比，揭示了其在准确率和推理时间上的不足，并提出了未来改进方向。
2024-11-23 cs.AI cs.CL
Multimodal Reasoning with Multimodal Knowledge Graph
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
针对LLMs多模态推理中的幻觉与知识匮乏问题，提出MR-MKG方法，利用多模态知识图谱与跨模态对齐模块增强推理能力，仅训练2.25%参数即在多模态问答与类比推理任务上超越现有模型。
2024-06-05 cs.AI cs.CL
Chitranuvad: Adapting Multi-Lingual LLMs for Multimodal Translation
Krutrim AI
Chitranuvad通过ViT图像编码器和适配器层将视觉信息融入多语言大语言模型，实现多模态翻译，在WAT2024印地语挑战集上取得SOTA。
2025-02-27 cs.CL cs.CV
GME: Improving Universal Multimodal Retrieval by Multimodal LLMs
The Hong Kong Polytechnic University（香港理工大学）；Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）；Soochow University（苏州大学）
本文提出利用多模态大语言模型改进通用多模态检索，通过构建数据合成流程生成高质量融合模态数据集，开发了基于MLLM的密集检索器GME，并构建综合基准UMRB，最终实现了最先进的性能。
2025-04-01 cs.CL cs.IR
LLMs Meet Multimodal Generation and Editing: A Survey
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）
本文系统综述了大语言模型在多模态生成与编辑中的方法分类、技术组件、数据集、工具增强智能体及安全进展，为AIGC和世界模型发展提供全景式参考。
2024-06-09 cs.AI cs.CL cs.CV
Learning Deliberately, Acting Intuitively: Unlocking Test-Time Reasoning in Multimodal LLMs
Kyoto University（京都大学）；Initial S；NEC Corporation, Japan（日本NEC公司）
提出D2I框架，通过训练时使用基于规则的格式奖励进行有意推理以增强模态对齐，推理时移除显式策略转为直觉推理，从而提升多模态大语言模型的推理能力，无需额外标注或复杂奖励。
2026-05-27 cs.CL cs.CV cs.LG
Personalizing Multimodal Large Language Models for Image Captioning: An Experimental Analysis
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；IIT-CNR（意大利国家研究委员会信息科学与技术研究所）
本文实验评估GPT-4V、Gemini等多模态LLM在图像描述基准上的零样本与提示学习、前缀微调、LoRA微调表现，发现其零样本能力强但领域适配与泛化难以兼顾。
2024-12-04 cs.AI cs.CL cs.CV
AgentPS: Agentic Process Supervision for Content Moderation with Multimodal LLMs
TikTok, Inc.（字节跳动公司）
针对多模态大语言模型在复杂细节密集逻辑推理上的不足，本文提出AgentPS框架，通过在微调中引入智能体式过程监督对辅助问题进行顺序推理，在公开基准和专有数据集上显著提升复杂多模态分类性能，并证明其可扩展性。
2025-07-04 cs.AI cs.CL
EasyGen: Easing Multimodal Generation with BiDiffuser and LLMs
The Hong Kong Polytechnic University（香港理工大学）
针对现有多模态模型依赖特定编码器、训练数据需求大的问题，研究提出EasyGen模型，借助BiDiffuser与LLM，通过投影层、适配器实现模态交互，在数据效率、生成质量与扩展性上表现更优。
2024-05-17 cs.AI cs.CL cs.CV
Semantic Head Specialization Guides Hybrid ViT Attention for Multimodal LLMs
Peking University（北京大学）；Xiaomi Corporation（小米公司）；The University of Hong Kong（香港大学）
该研究针对多模态LLM中混合ViT注意力设计不足的问题，提出语义头专业化（SHS）概念，据此设计Ariadne注意力机制，在22项图像视频任务上性能与全注意力相当，计算量降低6.5倍。
2026-08-31 cs.CL cs.CV
Chart-to-Experience: Benchmarking Multimodal LLMs for Predicting Experiential Impact of Charts
KAIST（韩国科学技术院）；Adobe Research（Adobe研究院）
该研究提出Chart-to-Experience基准数据集，评估多模态大语言模型预测图表体验影响的能力，发现其在成对比较中准确可靠，但在单个图表评估上不如人类敏感。
2025-05-23 cs.CL cs.HC
Text or Pixels? It Takes Half: On the Token Efficiency of Visual Text Inputs in Multimodal LLMs
Allen Institute for AI（艾伦人工智能研究所）；University of Chicago（芝加哥大学）；Stony Brook University（石溪大学）
本研究针对多模态LLM的文本输入令牌消耗问题，提出将长文本渲染为单张图像作为视觉输入的压缩方法，在RULER和CNN/DailyMail基准上实现近半令牌节省且性能不下降。
2025-10-22 cs.AI cs.CL
Grounding Multilingual Multimodal LLMs With Cultural Knowledge
Carnegie Mellon University（卡内基梅隆大学）
本文提出以数据为中心的方法，利用Wikidata知识图谱构建了覆盖42国39种语言的2200万文化VQA对数据集CulturalGround，并训练开源模型CulturalPangea，在保持通用能力的同时显著提升了多模态LLM的文化理解能力。
2025-08-12 cs.CL cs.LG
A Thousand Words or An Image: Studying the Influence of Persona Modality in Multimodal LLMs
Georgia Institute of Technology（佐治亚理工学院）
本研究探讨多模态LLM中人物角色模态（文本、图像等）对体现效果的影响，构建40个角色的平行数据集和60问评估框架，发现文本更显语言习惯，图像易被忽略，为改进提供方向。
2025-02-27 cs.AI cs.CL cs.CV
Understanding the Role of LLMs in Multimodal Evaluation Benchmarks
The University of Hong Kong（香港大学）；Fudan University（复旦大学）
本文通过引入修改的评估协议和自动知识识别技术，揭示了MLLM评估基准对LLM骨干网络先验知识的高度依赖，并提出知识增强流水线显著提升性能。
2024-10-16 cs.AI cs.CL
UoR-NCL at SemEval-2025 Task 1: Using Generative LLMs and CLIP Models for Multilingual Multimodal Idiomaticity Representation
Department of Computer Science, University of Reading（阅读大学计算机科学系）；School of Computing, Newcastle University（新castle大学计算机学院）
针对SemEval-2025 Task 1的跨语言图像排序任务，本研究利用生成式LLM生成习语语义，并结合多语言CLIP模型编码及对比学习微调，有效提升了多模态习语性表示的性能。
2025-05-01 cs.AI cs.CL
Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey
Jilin University（吉林大学）；Nanjing University（南京大学）；University of California at Merced（加州大学默塞德分校）
该综述首次系统分类并分析面向大语言模型的离散标记化方法，涵盖8种VQ变体，探讨其算法原理、训练动态及在单模态与多模态系统中的集成，指出码本崩溃等挑战并展望动态量化等方向。
2026-09-22 cs.AI cs.CL
FESTA: Functionally Equivalent Sampling for Trust Assessment of Multimodal LLMs
Indian Institute of Science（印度科学研究院）；University of Maryland College Park（马里兰大学学院公园分校）
FESTA通过功能等效采样技术提升多模态大语言模型的预测选择性性能，实现33.3%和29.6%的改进。
2026-01-30 cs.AI cs.CL cs.LG
MIA-Bench: Towards Better Instruction Following Evaluation of Multimodal LLMs
Apple（苹果公司）；HKUST（香港科技大学）
本研究推出用于评估多模态大语言模型复杂指令遵循能力的MIA-Bench基准，发现前沿模型性能差异显著，还通过额外训练数据与监督微调提升模型指令遵从度且不影响其他任务性能。
2025-03-20 cs.CL cs.CV
ShizhenGPT: Towards Multimodal LLMs for Traditional Chinese Medicine
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Freedom AI；National Health Data Institute, Shenzhen（深圳国家健康数据研究院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Guangdong University of Technology（广东工业大学）
针对中医药领域大语言模型应用面临的数据稀缺和诊断多模态特性两大挑战，提出首个定制化多模态LLM ShizhenGPT，构建大规模中医药数据集并通过预训练与微调实现，在资格考试和视觉任务中表现优异，为中医药多模态诊断提供支撑。
2025-08-20 cs.AI cs.CL cs.CV
Can Multimodal LLMs Perform Time Series Anomaly Detection?
Illinois Institute of Technology（伊利诺伊理工学院）；Emory University（埃默里大学）；University of Illinois Chicago（伊利诺伊大学香槟分校）；University of Southern California（南加州大学）
本研究提出基于多代理框架的TSAD-Agents，利用多模态大语言模型实现自动时间序列异常检测。
2026-02-17 cs.CL cs.LG
Multimodal Foundation Models: From Specialists to General-Purpose Assistants
Microsoft Corporation（微软公司）
本文系统综述了多模态基础模型从专用模型向通用助手演进的五类核心主题，涵盖视觉骨干学习、文本到图像生成、统一视觉模型、多模态大语言模型端到端训练及工具链接，为相关研究者提供基础与前沿参考。
2023-09-18 cs.CL cs.CV
A Survey on Large Language Models in Multimodal Recommender Systems
Huawei London Research Centre（华为伦敦研究中心）
本文综述 LLM 在多模态推荐系统中的应用，梳理提示、微调与数据适配方法，提出集成模式分类体系并总结评估资源与未来方向。
2025-05-14 cs.CL cs.IR
Bifrost-1: Bridging Multimodal LLMs and Diffusion Models with Patch-level CLIP Latents
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Lambda
提出 Bifrost-1 框架，利用 patch 级 CLIP 潜变量连接预训练多模态 LLM 与扩散模型，通过轻量级 ControlNet 适配和视觉生成分支，在保留多模态推理能力的同时实现了高效的高保真可控图像生成。
2025-08-08 cs.AI cs.CL cs.CV
M3Exam: A Multilingual, Multimodal, Multilevel Benchmark for Examining Large Language Models
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；The Chinese University of Hong Kong（香港中文大学）；Singapore University of Technology and Design（新加坡科技设计大学）
M3Exam是一个多语言、多模态、多级别的人类考试基准，含12,317道题目，评估LLMs，发现当前模型包括GPT-4在多语言和复杂多模态任务上仍表现不佳。
2023-11-10 cs.CL cs.CV
GSR-BENCH: A Benchmark for Grounded Spatial Reasoning Evaluation via Multimodal LLMs
George Mason University（乔治梅森大学）
本文扩展了What'sUp数据集，提出了GSR-BENCH基准，通过评估27个不同参数规模和训练方法的VLMs与MLLMs，全面测试并审视了多模态大模型在图像空间关系理解任务上的性能与缩放定律。
2024-10-10 cs.CL cs.CV cs.LG
WISE: Weak-Supervision-Guided Step-by-Step Explanations for Multimodal LLMs in Image Classification
Faculty of Engineering, Monash University（墨尔本大学工程学院）；AIM for Health Lab, Faculty of IT, Monash University（墨尔本大学信息技术学院健康人工智能实验室）
本文提出WISE方法，在弱监督下将概念瓶颈模型表示转化为多模态思维链，为图像分类数据集增补可解释推理链，实验表明可解释性提升37%且微调后分类准确率提高。
2025-09-22 cs.CL cs.CV
