Covert Visual Prompt Injection against Commercial Multimodal Large Language Models
Rapid-Rich Object Search Lab, School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院快速丰富目标搜索实验室）
本文研究了针对强大闭源多模态大语言模型的不可察觉视觉提示注入攻击，通过界文本叠加嵌入恶意提示并优化视觉扰动，提升攻击性能。
2026-08-12 cs.AI cs.CV
Enhancing Multimodal Large Language Models with Multi-instance Visual Prompt Generator for Visual Representation Enrichment
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Amazon（亚马逊公司）
本文指出Q-former适配器是忽略实例相关性的简化多实例学习方法，提出通用组件多实例视觉提示生成器（MIVPG），利用图像或补丁间的实例相关性增强视觉表示并引入LLMs，在三个公开VL数据集上提升了性能。
2024-06-05 cs.CV
EAGLE: Towards Efficient Arbitrary Referring Visual Prompts Comprehension for Multimodal Large Language Models
Fudan University（复旦大学）；Meituan（美团）
针对多模态大语言模型在理解任意指代视觉提示时存在的架构冗余和泛化难题，提出EAGLE模型，通过将提示作为彩色色块渲染并引入几何无关学习范式，以更少训练量实现了高效理解。
2024-09-26 cs.CV
Calibrating MLLM-as-a-judge via Multimodal Bayesian Prompt Ensembles
Adobe（Adobe公司）；Oregon State University（俄勒冈州立大学）
针对多模态大模型评判文生图时的偏差与过度自信问题，提出多模态贝叶斯提示集成（MMB），通过图像聚类动态分配提示权重，提升偏好判断准确性与校准能力，并在HPSv2和MJBench上超越基线。
2025-09-10 cs.CL cs.CV
Visual Prompting in Multimodal Large Language Models: A Survey
UC San Diego（加州大学圣地亚哥分校）；Dartmouth College（达特茅斯学院）；Rutgers University（罗格斯大学）；UC Los Angeles（加州大学洛杉矶分校）；Adobe Research（奥多比研究院）；The University of New South Wales（新南威尔士大学）；CSIRO’s Data61（联邦科学与工业研究组织Data61）
本文综述了多模态大语言模型中的视觉提示方法，涵盖提示分类、生成、组合推理及提示学习，并总结了提升模型对齐与感知的训练方法及未来展望。
2024-09-05 cs.CV cs.LG
Multimodal Prompt Retrieval for Generative Visual Question Answering
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
针对现有判别式VQA方法在低资源领域易过拟合及跨域泛化差的问题，提出多模态提示检索增强的生成模型，通过整合检索提示与多模态特征生成自由文本答案，实现零样本跨域适应，在医学VQA少样本设置下准确率提升达30%。
2023-06-30 cs.AI cs.CV
ControlMLLM: Training-Free Visual Prompt Learning for Multimodal Large Language Models
Xiamen University（厦门大学）；National University of Singapore（新加坡国立大学）；CATL（宁德时代新能源科技股份有限公司）
本文提出 ControlMLLM，通过测试时基于能量函数优化潜在变量来调整视觉 token 与注意力，无需训练即可让 MLLM 支持多种区域指称、描述与推理。
2025-01-07 cs.CV
Prompt-Aware Adapter: Towards Learning Adaptive Visual Tokens for Multimodal Large Language Models
School of Computer Science and Technology（计算机科学与技术学院）；Zhejiang University（浙江大学）
本文提出提示感知适配器，根据提示动态生成视觉令牌，减轻多模态大语言模型在复杂场景中的认知负担，并在视觉问答任务中验证其有效性。
2024-05-24 cs.AI cs.CV
FashionLOGO: Prompting Multimodal Large Language Models for Fashion Logo Embeddings
ByteDance Inc.（字节跳动公司）
针对纯视觉标志嵌入易包含非标志特征的问题，本文提出 FashionLOGO，通过提示 MLLM 生成辅助文本并用交叉注意力融合图文嵌入，在真实数据集上达到最先进性能。
2024-09-09 cs.CV
X-Reflect: Cross-Reflection Prompting for Multimodal Recommendation
University of Rochester（罗切斯特大学）；Adobe Research（Adobe研究）
针对多模态推荐中文本与图像互补信息利用不足的问题，提出X-Reflect交叉反思提示框架，通过MLLM调和模态冲突生成丰富表示，在基准上提升推荐精度，并推出轻量变体实现高效推理。
2025-10-23 cs.CL cs.CV cs.IR
MM-REACT: Prompting ChatGPT for Multimodal Reasoning and Action
Microsoft Azure AI（微软Azure人工智能）
我们提出了MM-REACT，一个系统范例，集成了ChatGPT与视觉专家池，以实现多模态推理和行动。在本文中，我们定义并探索了一系列高级视觉任务，这些任务很难解决，但可能超过现有视觉和视觉语言模型的能力。为了实现这种先进的视觉智能，MM-REACT引入了文本提示设计，可以表示文本描述，文本化的空间坐标和对齐的文件名，用于密集的视觉信号，如图像和视频。MM-REACT的快速设计允许语言模型接受、关联和处理多模态信息，从而促进ChatGPT和各种视觉专家的协同组合。Zero-shot实验证明了MM-REACT在解决特定兴趣能力方面的有效性及其在需要高级视觉理解的不同场景中的广泛应用。此外，我们讨论和比较MM-REACT的系统范式与另一种方法，通过联合微调扩展多模态场景的语言模型。代码、演示、视频和可视化可在https://multimodal-react.github.io/上获得
2023-03-20 cs.CL cs.CV cs.LG
MAF: Multimodal Adaptive Few-shot Prompting for Sentiment Analysis with MLLMs
Nanjing University of Posts and Telecommunications（南京邮电大学）
提出MAF框架，通过动态检索与查询相关的多模态示例，利用轻量级系数生成网络实时融合多模态相似度，结合多数投票提升MLLM在情感分析中的性能。
2026-06-16 cs.AI cs.CV cs.LG
Delving into Multimodal Prompting for Fine-grained Visual Classification
Nanjing University of Science and Technology（南京理工大学）；Tongji University（同济大学）；Singapore Management University（新加坡管理大学）
针对细粒度视觉分类（FGVC）的现有单模态局限与跨模态模型适用性不明问题，提出基于CLIP的多模态提示方案MP-FGVC，含多模态提示、适配机制及两阶段优化策略，在四个数据集上验证了有效性。
2023-12-13 cs.CV cs.MM
Test-Time Computing for Referring Multimodal Large Language Models
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（多媒体可信感知与高效计算重点实验室，中国教育部，厦门大学）；VCIP, CS, Nankai University（VCIP，计算机科学，南开大学）；Tsinghua University（清华大学）；Zhongguancun Academy, Beijing, China（中关村学院，北京，中国）
ControlMLLM++通过注入可学习的视觉提示实现多模态大语言模型的测试时适应，提升细粒度视觉推理能力。
2026-02-23 cs.CV
When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning
该研究针对多模态大语言模型在视觉化任务语义场景下的准确率下降问题，提出提示词-区域定位方法，有效提升了基准测试准确率且无需OCR或区域元数据。
2026-08-06 cs.AI cs.CV
Image-based Prompt Injection: Hijacking Multimodal LLMs through Visually Embedded Adversarial Instructions
Northern Arizona University（北亚利桑那大学）
研究提出基于图像的提示注入攻击方法，通过视觉嵌入对抗性指令，成功操控多模态大语言模型输出，揭示了该攻击的有效性和潜在威胁。
2026-03-04 cs.AI cs.CR cs.CV
TP-Eval: Tap Multimodal LLMs' Potential in Evaluation by Customizing Prompts
OpenGV Lab（OpenGV实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）
本文提出TP-Eval评估框架，通过为不同多模态大语言模型定制提示来缓解提示敏感性和评估偏差，从而更准确地挖掘模型能力并改进MLLM基准测试。
2024-10-23 cs.AI cs.CL cs.CV
Image-of-Thought Prompting for Visual Reasoning Refinement in Multimodal Large Language Models
School of Engineering, Westlake University（西湖大学工程学院）；City University of Hong Kong（香港城市大学）；Research Center for Industries of the Future, Westlake University（西湖大学未来产业研究中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出 Image-of-Thought (IoT) 提示方法，通过自动设计视觉信息提取操作逐步生成视觉推理路径，结合文本与视觉推理路径，提升了多模态大语言模型在零样本视觉推理任务中的性能并增强了过程可解释性。
2024-05-29 cs.AI cs.CL cs.CV
Distance-aware Soft Prompt Guidance for Multimodal Valence-Arousal Estimation
Graduate School of Automobile and Mobility（汽车与移动研究生院）；Department of Automobile and IT Convergence（汽车与IT融合系）
本文提出一种多模态框架，通过引入距离感知的软提示学习，提升多模态愉悦-唤醒估计的精度，在无约束场景中取得良好效果。
2026-08-03 cs.CV
Player-Centric Multimodal Prompt Generation for Large Language Model Based Identity-Aware Basketball Video Captioning
Beijing University of Technology（北京理工大学）；Shanghai Jiao Tong University（上海交通大学）；Chinese Academy of Sciences（中国科学院）；The Hong Kong Polytechnic University（香港理工大学）
针对体育视频字幕中球员身份易出错的问题，本文提出LLM-IAVC以球员为中心生成多模态提示，并构建NBA-Identity数据集，实验验证其先进性能。
2025-07-27 cs.CV
SAGE: Spuriousness-Aware Guided Prompt Exploration for Mitigating Multimodal Bias
针对CLIP等视觉语言模型存在的多模态伪相关偏差问题，本文提出无需训练微调的SAGE提示探索方法，通过选择最优提示提升模型鲁棒性，在多基准实验中性能优于现有零样本方法。
2025-11-17 cs.AI cs.CV
PATFinger: Prompt-Adapted Transferable Fingerprinting against Unauthorized Multimodal Dataset Usage
Southeast University（东南大学）；Nanyang Technological University（南洋理工大学）；University of Hong Kong（香港大学）；Wuhan University（武汉大学）
针对多模态数据集所有权验证中跨模态方法不足、侵入式方法降精度、非侵入式方法不稳定的问题，提出免训练的PATFinger方案，结合全局最优扰动和自适应提示捕捉分布特征，在跨模态检索架构上验证有效性比基线高30%。
2025-04-17 cs.CV cs.IR
Magnifier Prompt: Tackling Multimodal Hallucination via Extremely Simple Instructions
针对多模态大语言模型的幻觉问题，提出无需训练的Magnifier Prompt方法，基于两项核心原则设计极简指令，适用于开源闭源模型，效果媲美甚至优于复杂方法，为相关研究提供见解。
2025-02-21 cs.AI cs.CL cs.CV
Motion-as-Prompt: Enhancing Motion Reasoning in Multimodal Large Language Models via Motion-Guided Cross-Frame Visual Prompting
本文针对多模态大语言模型处理视频时丢失帧间关键运动信息的问题，提出Motion-as-Prompt框架，通过标记轨迹增强视觉提示，在CLEVRER等数据集上提升GPT-5.5的运动推理准确率且不影响非运动理解
2026-08-13 cs.AI cs.CV
Token-Efficient Multimodal Reasoning via Image Prompt Packaging
BNY；Pittsburgh US（美国匹兹堡）
本文提出图像提示包装方法，通过将结构化文本嵌入图像以减少文本令牌开销，并在多个数据集和模型上验证其效果，展示了在多模态系统设计中视觉编码的重要性。
2026-04-02 cs.AI cs.CV
PAR: Prompt-Aware Token Reduction Method for Efficient Large Multimodal Models
College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机与通信电子学院）
针对多模态大型语言模型处理长上下文时的效率问题，提出即插即用的PAR方法，通过提示感知策略识别聚类关键视觉令牌、分类解决两类冗余，实现83%FLOPs缩减与97%准确率保留，达成性能效率平衡。
2024-12-02 cs.AI cs.CV
PrismVAU: Prompt-Refined Inference System for Multimodal Video Anomaly Understanding
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Aalborg University（奥胡斯大学）；Milestone Systems（Milestone系统）
PrismVAU通过轻量级系统和自动提示工程实现高效的多模态视频异常理解，无需复杂标注和外部模块。
2026-01-07 cs.AI cs.CV
Exploring the Transferability of Visual Prompting for Multimodal Large Language Models
Tsinghua University（清华大学）；RealAI；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））
针对多模态大语言模型下游任务适配成本高的问题，提出可迁移视觉提示方法，通过两种策略提升提示跨模型迁移能力，仅在单模型训练即可提升多种MLLMs的多类下游任务性能。
2024-04-17 cs.AI cs.CV cs.LG
Med-GRIM: Enhanced Zero-Shot Medical VQA using prompt-embedded Multimodal Graph RAG
Shiv Nadar University Chennai（施瓦斯纳大学钦奈）
针对医疗VQA精度不足问题，提出Med-GRIM模型，通过BIND密集编码优化联合嵌入空间，结合图检索与提示工程动态注入知识，采用模块化小模型工作流，以极低计算成本实现大模型性能，并发布DermaGraph数据集支持零样本研究。
2025-07-20 cs.CV cs.MA
Transferring Pre-trained Multimodal Representations with Cross-modal Similarity Matching
LG AI Research（LG人工智能研究院）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
尽管在zero-shot传输上有令人惊讶的性能，但预训练大规模多模态模型通常是禁止的，因为它需要大量的数据和计算资源。在本文中，我们提出了一种方法（BeamCLIP），可以有效地将大型预训练多模态模型（CLIP-ViT）的表示转换为小型目标模型（例如，ResNet-18）。对于无监督传输，我们引入了跨模态相似性匹配（CSM），使学生模型能够通过匹配跨文本提示嵌入的相对相似性分布来学习教师模型的表示。为了更好地编码文本提示，我们设计了基于上下文的提示增强（CPA），可以减轻输入文本提示的词汇歧义。我们的实验表明，预训练的视觉语言模型的无监督表示转移使小型ResNet-18能够实现比仅视觉自监督学习（SSL）方法（例如，Simplified：51.8%，SwAV：63.7%），而监督学习（69.8%）则缩小了差距。
2023-01-07 cs.CV cs.LG
By My Eyes: Grounding Multimodal Large Language Models with Sensor Data via Visual Prompting
KAIST（韩国科学技术院）；UNIST（蔚山科学技术院）
本文提出By My Eyes视觉提示方法，通过自动生成传感器数据可视化并结合多模态大语言模型，在九个感知任务上实现平均准确率提升10%、token成本降低15.8倍。
2024-09-29 cs.AI cs.CL cs.CV
Graph-of-Mark: Promote Spatial Reasoning in Multimodal Language Models with Graph-Based Visual Prompting
University of Bologna（博洛尼亚大学）
本文提出Graph-of-Mark，一种基于图的视觉提示方法，通过在输入图像上叠加场景图来增强多模态语言模型的空间推理能力，实验表明其在视觉问答和定位任务中提升了11个百分点的准确率。
2026-03-26 cs.AI cs.CV
Insight-A: Attribution-aware for Multimodal Misinformation Detection
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Institute of Artificial Intelligence, Soochow University（苏州大学人工智能研究院）；School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
Insight-A通过归因意识和分层推理提升多模态虚假信息检测效果，有效识别伪造来源并增强跨模态一致性检查。
2025-11-17 cs.CL cs.CV
Prompt4Trust: A Reinforcement Learning Prompt Augmentation Framework for Clinically-Aligned Confidence Calibration in Multimodal Large Language Models
McGill University（麦吉尔大学）；Mila – Quebec AI Institute（魁北克AI研究所）
本文提出首个用于多模态大语言模型置信度校准的强化学习提示增强框架Prompt4Trust，通过轻量级LLM生成辅助提示引导下游模型，在提升任务准确率并实现零样本泛化的同时，优先保障了安全临床决策中的置信度校准。
2025-10-13 cs.AI cs.CL cs.CV
Multimodal Resource-Exhaustion Attacks on Vision-Language Models via Joint Pixel-Prompt Optimization
Guangzhou University（广州大学）；University of Macau（澳门大学）
提出联合像素-提示优化（JPPO）框架，将提示与图像联合优化，对VLM实现显著成本放大，揭示多模态服务防御的结构性盲点。
2026-10-20 cs.AI cs.CR cs.CV
Language Integration in Fine-Tuning Multimodal Large Language Models for Image-Based Regression
Samsung Israel R&D Center（三星以色列研发中心）
本文提出RvTC方法，通过灵活的区间法替代传统词汇受限分类，提升多模态大语言模型在图像回归任务中的性能。
2025-12-08 cs.CV cs.LG
Bidirectional Multimodal Prompt Learning with Scale-Aware Training for Few-Shot Multi-Class Anomaly Detection
Yonsei University（延世大学）
本文提出AnoPLe框架，通过双向交互文本与视觉提示，实现高效多类异常检测，在MVTec-AD等数据集上超越现有方法，且具备良好的泛化能力。
2026-03-30 cs.AI cs.CV
How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts
Apple（苹果公司）
本文提出MAD-Bench基准评估多模态大语言模型对欺骗性提示的脆弱性，发现GPT-4o准确率达82.82%远超其他模型（9%-50%），并提出通过添加提示段落鼓励模型三思的简单方法使准确率翻倍。
2024-07-23 cs.CL cs.CV
Mitigating Hallucinations in Multimodal Spatial Relations through Constraint-Aware Prompting
University of Rochester（罗切斯特大学）
针对大型视觉语言模型存在的空间关系幻觉问题，提出融入双向与传递性约束的约束感知提示框架，在三个常用数据集上性能优于现有方法，为约束缓解空间幻觉提供了更多可能。
2025-03-21 cs.AI cs.CL cs.CV
Unified Multimodal Pre-training and Prompt-based Tuning for Vision-Language Understanding and Generation
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
大多数现有的视觉语言预训练方法专注于理解任务，并在预训练期间使用BERT类目标（掩蔽语言建模和图像-文本匹配）。虽然它们在许多理解下游任务中表现良好，例如，视觉问答、图文检索和视觉蕴涵等，它们不具备生成能力。为了解决这个问题，我们提出了统一的多模态预训练的视觉-语言理解和生成（UniVL）。所提出的UniVL能够处理理解任务和生成任务。我们增强了现有的预训练范例，这些范例仅使用随机掩码和因果掩码，即，三角形掩码，用于屏蔽未来的令牌，这样预先训练的模型可以通过设计具有自回归生成能力。我们制定了几个以前的理解任务作为一个文本生成任务，并建议使用基于JavaScript的方法进行微调不同的下游任务。我们的实验表明，在使用相同的模型时，理解任务和生成任务之间存在权衡，而改善这两个任务的可行方法是使用更多的数据。我们的UniVL框架在理解任务和生成任务上的性能与最近的视觉语言预训练方法相当。此外，我们还证明了基于统计的微调更有效-它在Few-Shot场景中优于判别方法。
2021-12-15 cs.CL cs.CV cs.LG
Ranking-Aware Prompt Optimization for Multimodal Clinical Diagnosis
Harvard University（哈佛大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；Brown University（布朗大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Georgia Institute of Technology（佐治亚理工学院）
针对多模态临床诊断中类别不平衡问题，提出成对排序帕累托提示演化（Ranking-PE），用AUROC替代准确率优化提示，在MIMIC上显著提升排序性能。
2026-10-01 cs.CL cs.CV cs.LG
Persona Prompting in Multimodal Urban Perception: Descriptive Convergence and Interpretive Variation
Universidade Tecnologica Federal do Parana（巴西南里奥格兰德联邦技术大学）；University of Toronto（多伦多大学）
通过对比不同角色提示和无角色设置下多模态大语言模型生成的文本，发现标题描述趋同，但理由描述随社会经济和政治属性系统变化，感知标签无显著差异。
2026-09-25 cs.CL cs.CV cs.HC
Multimodal Modular Chain of Thoughts in Energy Performance Certificate Assessment
University College London（伦敦大学学院）
本文提出了一种基于多模态模块化思维链的低成本EPC预评估方法，通过结构化提示实现对EPC评分的序数结构捕捉，实验表明其在数据稀缺环境下具有显著优势。
2026-02-20 cs.AI cs.CV physics.soc-ph
Labels or Input? Rethinking Augmentation in Multimodal Hate Detection
本文提出通过提示优化、微调和自动化数据增强改进小型模型，开发多模态增强框架以提升隐含仇恨检测性能。
2026-01-24 cs.AI cs.CL cs.CV
Mastering Robot Manipulation with Multimodal Prompts through Pretraining and Multi-task Fine-tuning
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Amazon AGI（亚马逊AGI）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
提出一种两阶段训练框架，通过逆动力学预训练和多任务微调，使机器人理解多模态提示并执行操作，在VIMA-BENCH上取得10%成功率提升，并展现上下文学习能力。
2024-05-28 cs.AI cs.RO
VIMA: General Robot Manipulation with Multimodal Prompts
Stanford University（斯坦福大学）；Macalester College（麦卡莱斯特学院）；Allen Institute for AI（艾伦人工智能研究所）；NVIDIA（英伟达）
本文提出VIMA，一种基于Transformer的机器人智能体，通过多模态提示统一表达多种操作任务，并构建大规模仿真基准，在零样本泛化中显著优于现有方法，同时具备高数据效率。
2023-05-28 cs.AI cs.LG cs.RO
