UltraG-Bench: A Multi-task Benchmark for assessing Large Vision-Language Models on Pixel-level Evidence Grounding in Ultrasound
Dalian University of Technology(大连理工大学);RMIT University(皇家墨尔本理工大学)
针对超声图像理解中缺乏像素级证据定位的问题,提出多任务基准UltraG-Bench及结合VLM与UltraSAM3的UltraG-Agent,显著提升语义预测与像素级定位能力。
2026-09-28 cs.AI cs.CV
Domain-Invariant Prompt Learning for Vision-Language Models
本文提出DiCoOp,通过对抗训练方法提升视觉-语言模型在不同领域中的泛化能力,有效解决领域偏移问题。
2026-03-30 cs.AI cs.CV
Multimodal Resource-Exhaustion Attacks on Vision-Language Models via Joint Pixel-Prompt Optimization
Guangzhou University(广州大学);University of Macau(澳门大学)
提出联合像素-提示优化(JPPO)框架,将提示与图像联合优化,对VLM实现显著成本放大,揭示多模态服务防御的结构性盲点。
2026-10-20 cs.AI cs.CR cs.CV
Single-Pixel Vision-Language Model for Intrinsic Privacy-Preserving Behavioral Intelligence
Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究院(TeleAI),中国电信)
单像素视觉-语言模型通过内在隐私保护机制,在隐私敏感环境中实现安全监控与行为智能的平衡。
2026-01-21 cs.AI cs.CV
ROSGPT_Vision: Commanding Robots Using Only Language Models' Prompts
Prince Sultan University(苏丹王子大学)
提出提示机器人模态(PRM)设计模式,构建ROSGPT_Vision框架,仅用视觉和LLM两个提示词操控机器人,开发CarMate监控驾驶员分心,降低开发成本,优化提示策略提升质量并开源框架。
2023-08-23 cs.AI cs.RO
A Retrospect to Multi-prompt Learning across Vision and Language
Jinan University(济南大学);Sun Yat-sen University(中山大学);Pazhou Laboratory(琶洲实验室)
本文回顾视觉语言多提示学习,提出基于能量的多提示学习方法(EMPL),通过从VLMs隐式定义的能量分布生成多个提示嵌入,在参数高效的同时实现域内与域外开放词汇泛化的平衡。
2025-10-31 cs.AI cs.CV cs.LG
BiomedAP: A Vision-Informed Dual-Anchor Framework with Gated Cross-Modal Fusion for Robust Medical Vision-Language Adaptation
Wenzhou University(温州大学);Wenzhou Business College(温州商务学院)
BiomedAP通过门控跨模态融合和双锚约束机制,提升医学视觉-语言模型在提示变化下的鲁棒性,实验显示其在多个基准上均优于基线方法。
2026-05-15 cs.AI cs.CV
Target Prompting for Information Extraction with Vision Language Model
本文针对 VLM 信息抽取中通用提示易产生信息缺口的问题,提出 Target prompting 方法,通过显式定位文档图像区域以生成更准确答案,并对不同提示技术进行评估。
2024-08-07 cs.AI cs.CV
Prompt Tuning with Soft Context Sharing for Vision-Language Models
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA(中国科学院自动化研究所多模态人工智能系统国家重点实验室);Engineering Laboratory for Intelligent Industrial Vision, CASIA(中国科学院自动化研究所智能工业视觉工程实验室);Research Center of Aerospace Information, CASIA(中国科学院自动化研究所航天信息研究中心)
针对视觉语言模型提示调优忽视少样本任务相关性的问题,提出SoftCPT方法,通过任务共享元网络生成软共享提示上下文,联合调优多任务,在多数据集上显著优于单任务提示调优。
2024-03-31 cs.AI cs.CV
Context-Adaptive Multi-Prompt Embedding with Large Language Models for Vision-Language Alignment
Google DeepMind(谷歌DeepMind)
提出上下文自适应多提示嵌入方法,利用大语言模型在CLIP框架中生成多个自适应提示嵌入,结合多样性正则化和否定感知损失,提升视觉-语言对齐,在图像和视频检索基准上取得一致改进。
2025-08-06 cs.AI cs.LG
UniDCP: Unifying Multiple Medical Vision-language Tasks via Dynamic Cross-modal Learnable Prompts
Zhejiang University(浙江大学);Zhejiang University-University of Illinois Urbana-Champaign Institute(浙江大学伊利诺伊大学厄巴纳香槟校区联合学院)
针对现有医学视觉语言预训练模型跨任务灵活性差的问题,本研究提出搭载动态跨模态可学习提示的UniDCP模型,通过统一框架适配多任务并优化共享临床知识处理,在8类任务14个数据集上性能优于现有先进方法。
2023-12-18 cs.AI cs.CV
The Last Visible Pixel: Probing Fine-Scale Perception in Vision-Language Models
University of Luxembourg(卢森堡大学);Foyer S.A.;Université Paris-Saclay(巴黎-萨克雷大学)
提出FineSightBench基准,通过4-48像素尺度分离感知与推理任务,发现视觉-语言模型感知在12像素饱和,推理在更大尺度仍受限,揭示精细视觉推理的根本缺陷。
2026-06-05 cs.AI cs.CV
Text-driven Prompt Generation for Vision-Language Models in Federated Learning
Bosch Center for AI(博世人工智能中心);Tulane University(杜兰大学)
针对联邦学习中提示学习泛化不足的问题,提出FedTPG,利用任务相关文本输入生成上下文感知的提示,在九个数据集上优于现有方法,提升已见与未见类别的泛化能力。
2023-10-09 cs.AI cs.CV
Beyond the Pixels: VLM-based Evaluation of Identity Preservation in Reference-Guided Synthesis
针对生成模型身份保留评估的挑战,提出Beyond the Pixels层次化框架,通过分解主体特征并引导VLM结构化推理,在与人类判断一致性及诊断性上优于现有方法,并构建了新基准。
2025-11-11 cs.AI cs.CV
CLIP Tricks You: Training-free Token Pruning for Efficient Pixel Grounding in Large VIsion-Language Models
KAIST(韩国科学技术院)
提出LiteLVLM,一种无需训练、文本引导的令牌剪枝策略,通过反转CLIP视觉-文本相似度排序,保留指代区域令牌并恢复上下文令牌,实现高效像素定位推理,在多种令牌预算下性能提升超5%,保持90%原始性能同时加速22%并减少2.3倍内存。
2026-06-01 cs.AI cs.CV
Gram-Anchored Prompt Learning for Vision-Language Models via Second-Order Statistics
Southwestern University of Finance and Economics(西南财经大学)
本文提出GAPL框架,通过引入Gram矩阵增强局部语义对齐与全局结构一致性,解决传统一阶特征在领域偏移下的鲁棒性不足问题。
2026-04-05 cs.AI cs.CV
Biomed-DPT: Dual Modality Prompt Tuning for Biomedical Vision-Language Models
School of Future Technology(未来技术学院);Xi’an Jiaotong University(西安交通大学);School of Automation Science and Engineering(自动化科学与工程学院)
Biomed-DPT提出知识增强的双模态提示微调方法,通过文本双提示与知识蒸馏、视觉零向量软提示的注意力重加权,在11个生物医学图像数据集上平均分类准确率达66.14%,显著超越CoOp。
2025-05-08 cs.AI cs.CV
Answer It or Not? Towards Prompt-Adapted Adversarial Images on Vision Language Models
Xi’an Jiaotong University(西安交通大学)
针对现有VLM对抗图像与提示词无关的局限,提出ProAda对抗图像,通过迭代更新提示词平衡拒有害提示与响应合法提示,在视觉隐私数据集上实现拒90%有害提示、允90%合法提示,性能更优且鲁棒性强。
2026-10-14 cs.AI cs.CV
Show or Tell? Effectively prompting Vision-Language Models for semantic segmentation
IBM Research(IBM研究院);ETH Zurich(苏黎世联邦理工学院)
本文提出PromptMatcher,通过结合文本和视觉提示提升VLMs在语义分割中的性能,实现优于现有方法的改进。
2025-03-25 cs.AI cs.CV
CPL: Counterfactual Prompt Learning for Vision and Language Models
UC Santa Cruz(加州大学圣克鲁兹分校);UC Santa Barbara(加州大学圣巴巴拉分校);Google(谷歌)
提示调优是一种新的Few-Shot迁移学习技术,它仅针对预训练的视觉和语言模型(如CLIP)调优可学习提示。然而,现有的快速调优方法往往会学习虚假或纠缠的表示,这导致对不可见概念的泛化能力差。为了从有限的例子中快速有效地进行非虚假学习,提出了一种新的视觉和语言模型的\underline{\textbf{C}}反事实\underline{\textbf{L}}快速学习(CPL)方法,该方法在联合优化框架中同时采用反事实生成和对比学习.特别是,CPL通过识别语义相似的正样本和负样本之间引起概念变化的最小非虚假特征变化来构建反事实,并通过对比学习从事实和反事实样本中学习更概括的提示表征。大量的实验表明,CPL可以获得优越的Few-Shot性能不同的视觉和语言任务比以前的提示调整方法CLIP。在图像分类方面,我们在7个数据集上对不可见类实现了3.55\%的平均相对改进;在图像-文本检索和视觉问答方面,我们在3个Few-Shot场景下对不可见测试集分别获得了4.09\%和25.08\%的相对改进。
2022-11-05 cs.AI cs.CL cs.CV
AmPLe: Supporting Vision-Language Models via Adaptive-Debiased Ensemble Multi-Prompt Learning
National Key Laboratory of Space Integrated Information System, Institute of Software, Chinese Academy of Sciences(中国科学院空间信息集成系统国家重点实验室,软件研究所);University of Chinese Academy of Sciences(中国科学院大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
AmPLe通过自适应去偏集成多提示学习方法,解决模型-提示匹配偏差和样本-提示匹配偏差,提升视觉-语言模型在下游任务中的性能。
2025-12-20 cs.AI cs.CV
Guided Prompt Evolution for Vision-Language Models Adaptation
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Sun Yat-sen University(中山大学);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出EvoPrompt框架,通过引导提示演化路径并解耦低秩更新为方向和幅度分量,实现视觉-语言模型在少样本学习中的遗忘-free微调,同时保持零样本能力。
2026-09-02 cs.AI cs.CV
PRIMA: Multi-Image Vision-Language Models for Reasoning Segmentation
PRIMA通过整合像素级定位与多图像推理,提升了多图像分割任务的性能,其在Recall和S-IoU上分别优于现有基线7.83%和11.25%。
2025-11-27 cs.AI cs.CV cs.LG
Tree of Attributes Prompt Learning for Vision-Language Models
Harvard University(哈佛大学);Mass General Brigham(麻省总医院);Microsoft(微软公司)
提出属性树提示学习(TAP),利用大语言模型生成结构化属性树并学习层级视觉与文本提示,以解决类别名称上下文利用不足问题,在零样本泛化、跨数据集迁移和少样本分类上超越现有方法。
2025-04-21 cs.AI cs.CV cs.LG
Mechanisms of Prompt-Induced Hallucination in Vision-Language Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Brown University(布朗大学);Technion(技术学院);University of Tübingen(图宾根大学);Harvard University(哈佛大学)
研究揭示了视觉-语言模型在提示诱导幻觉中的机制,通过分析三种模型发现特定注意力头可显著减少幻觉现象,揭示了模型对提示的响应差异。
2026-04-17 cs.AI cs.CL cs.CV
Visual Modality Prompt for Adapting Vision-Language Object Detectors
ETS Montreal(蒙特利尔理工学院);International Laboratory on Learning Systems (ILLS)(国际学习系统实验室)
本文提出ModPrompt视觉提示策略,通过编码器-解码器与模态提示解耦残差,将YOLO-World和Grounding DINO适配到红外、深度模态,并在保留零样本能力的同时达到接近全量微调的效果。
2025-03-14 cs.AI cs.CV cs.LG
Conditional Prompt Learning for Vision-Language Models
Nanyang Technological University(南洋理工大学);S-Lab
随着CLIP等强大的预训练视觉语言模型的兴起,研究如何使这些模型适应下游数据集变得至关重要。最近提出的一种名为上下文优化(CoOp)的方法将提示学习的概念(NLP的最新趋势)引入视觉领域,以适应预训练的视觉语言模型。具体来说,CoOp将提示中的上下文单词转化为一组可学习的向量,并且只需要几个标记的图像进行学习,就可以实现对密集调整的手动提示的巨大改进。在我们的研究中,我们确定了CoOp的一个关键问题:学习的上下文不能推广到同一数据集中更广泛的不可见类,这表明CoOp过度拟合了训练过程中观察到的基类。为了解决这个问题,我们提出了条件上下文优化(CoCoOp),它通过进一步学习轻量级神经网络来为每个图像生成输入条件令牌(向量)来扩展CoOp。与CoOp的静态提示相比,我们的动态提示适应每个实例,因此对类转换不太敏感。大量的实验表明,CoCoOp比CoOp更好地推广到看不见的类,甚至显示出有前途的可移植性超出了单个数据集,并产生更强的领域泛化性能以及。代码可在https://github.com/KaiyangZhou/CoOp上获得。
2022-10-06 cs.AI cs.CL cs.CV
PRE: Vision-Language Prompt Learning with Reparameterization Encoder
Kingston University(金斯顿大学);University of Oxford(牛津大学);Queen Mary University of London(伦敦大学玛丽皇后学院)
针对CLIP等视觉-语言模型手动提示工程繁琐、CoOp提示学习对未见过类别泛化性差的问题,提出带重参数化编码器的PRE方法,在8个基准上实现了泛化性能的显著提升。
2024-09-14 cs.AI cs.CV cs.LG
Why Is Prompt Tuning for Vision-Language Models Robust to Noisy Labels?
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);ByteDance Inc.(字节跳动公司)
本研究探究视觉-语言模型提示调优抗标签噪声的鲁棒性原因,发现固定类别名令牌的正则化、强预训练图文嵌入是关键,还验证了用带噪零样本预测自调优提示可提升无监督分类准确率。
2023-07-22 cs.AI cs.CV cs.LG
Learning to Prompt for Vision-Language Models
Nanyang Technological University(南洋理工大学)
像CLIP这样的大型预训练视觉语言模型在学习表示方面表现出了巨大的潜力,这些表示可以在广泛的下游任务中转移。与传统的表示学习主要基于离散化标签不同,视觉语言预训练将图像和文本在一个共同的特征空间中对齐,这允许通过提示将zero-shot转移到下游任务,即,从描述感兴趣的类别的自然语言合成分类权重。在这项工作中,我们表明,在实践中部署这样的模型的一个主要挑战是提示工程,这需要领域的专业知识,是非常耗时的-一个需要花费大量的时间在字调优,因为在措辞的轻微变化可能会对性能产生巨大的影响。受自然语言处理(NLP)中即时学习研究的最新进展的启发,我们提出了上下文优化(CoOp),这是一种简单的方法,专门用于适应CLIP类视觉语言模型用于下游图像识别。具体地说,CoOp用可学习的向量对提示语的上下文单词进行建模,而整个预训练参数保持固定。为了处理不同的图像识别任务,我们提供了两种CoOp实现:统一上下文和类特定上下文。通过对11个数据集的广泛实验,我们证明了CoOp只需要一个或两个镜头就能以可观的利润击败手工制作的提示,并且能够通过更多的镜头获得比提示工程的显着改进,例如,16次发射的平均增益约为15%(最高可达45%以上)。尽管是一种基于学习的方法,但与使用手工提示的zero-shot模型相比,CoOp实现了出色的领域泛化性能。
2022-10-06 cs.AI cs.CV cs.LG
Black-Box Visual Prompt Engineering for Mitigating Object Hallucination in Large Vision Language Models
Amazon AWS AI(亚马逊云科技人工智能部门);KAIST(韩国科学技术院)
针对大型视觉语言模型的物体幻觉问题,提出黑盒视觉提示工程框架,通过训练路由器模型动态选择最优视觉提示,无需访问模型内部即可有效缓解幻觉。
2025-04-30 cs.AI cs.CL cs.CV
Doubly Debiased Test-Time Prompt Tuning for Vision-Language Models
针对视觉-语言模型测试时提示调优存在的优化偏差问题,本文从模型和数据角度分析原因,提出双重去偏方法,通过动态检索增强调制和可靠性感知提示优化模块提升性能,在15个基准数据集上验证了有效性。
2025-11-12 cs.AI cs.CV cs.LG
Bayesian Principles Improve Prompt Learning In Vision-Language Models
UBC CS(不列颠哥伦比亚大学计算机科学系);KAIST AI(韩国科学技术院人工智能学院)
针对提示学习过拟合问题,提出基于贝叶斯原理的目标函数,以预训练模型为先验、微调模型为后验,平衡适应性与泛化性。
2025-04-19 cs.AI cs.CL cs.CV
APoLLo: Unified Adapter and Prompt Learning for Vision Language Models
University of Maryland, College Park(马里兰大学帕克分校);University of Toronto(多伦多大学)
APoLLo提出统一适配器与提示学习的多模态方法,通过交叉注意力适配层和编码器一致性约束提升视觉语言模型少样本泛化能力,在新类别、跨数据集和域偏移任务上优于现有方法。
2023-12-04 cs.AI cs.CL cs.CV
P2P: Tuning Pre-trained Image Models for Point Cloud Analysis with Point-to-Pixel Prompting
Tsinghua University(清华大学)
如今,在大规模数据集上预训练大模型已经成为深度学习中的一个重要课题。预训练模型具有良好的表达能力和可移植性,在自然语言处理和二维视觉中取得了巨大的成功,并主导了许多下游任务。然而,这是不平凡的,以促进这样的预训练调整范例的3D vision,鉴于有限的训练数据是相对不便collect.In本文中,我们提供了一个新的角度,利用预先训练的2D知识在3D域来解决这个问题,调整预训练的图像模型与新的点到像素提示点云分析在一个较小的参数成本。遵循提示工程的原则,我们将点云转换为具有几何保持投影和几何感知着色的彩色图像,以适应预训练的图像模型,其权重在点云分析任务的端到端优化期间保持冻结。我们进行了大量的实验来证明,与我们提出的点到像素的优化相配合,更好的预训练图像模型将在3D视觉中带来更好的性能。该方法在图像预训练领域得到了蓬勃发展,在ScanObjectNN的最难设置上达到了89.3%的准确率,超过了传统的点云模型,可训练参数少得多。我们的框架在ModelNet分类和ShapeNet部分分割上也表现出非常有竞争力的性能。代码可在https://github.com/wangzy22/P2P上获得。
2022-10-12 cs.AI cs.CV cs.LG
Review of Large Vision Models and Visual Prompt Engineering
Northwestern Polytechnical University(西北工业大学);The University of Georgia(佐治亚大学);City University of Hong Kong(香港城市大学);Shaanxi Normal University(陕西师范大学);University of Electronic Science and Technology of China(电子科技大学);The University of Texas at Arlington(德克萨斯大学阿灵顿分校);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
本文综述了大型视觉模型与视觉提示工程方法,系统梳理代表性大模型及提示设计技术,为视觉零样本能力研究提供参考。
2023-07-03 cs.AI cs.CV
Vision-Language Consistency Guided Multi-modal Prompt Learning for Blind AI Generated Image Quality Assessment
University of Science and Technology of China(中国科学技术大学);Cardiff University(卡迪夫大学);Ningbo University(宁波大学);Shanghai Jiao Tong University(上海交通大学)
针对现有单模态提示学习适配CLIP做AI生成图像质量评估的不足,提出视觉-语言一致性引导的多模态提示学习方法CLIP-AGIQA,通过双分支可学习提示加文本-图像对齐任务引导优化,在两个公开数据集上性能超越现有最优模型。
2024-06-24 cs.AI cs.CV
Beyond Uniform Restoration: Empowering All-in-One Restoration with Pixel-Level Multimodal Guidance
Xiaomi Corporation(小米公司)
针对全场景图像恢复现有方法采用统一策略忽略区域退化差异的问题,提出MGN-AIR框架,通过像素级多模态引导实现更精细恢复,在多任务基准上性能显著优于现有方法。
2026-11-10 cs.AI cs.CV
OTSeg: Multi-prompt Sinkhorn Attention for Zero-Shot Semantic Segmentation
Graduate School of AI, Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院人工智能研究生院);Massachusetts General Hospital (MGH)(麻省总医院);Harvard Medical School(哈佛医学院)
针对现有零样本语义分割方法中CLIP文本与像素嵌入对齐不足的问题,提出基于最优传输的多提示Sinkhorn注意力机制OTSeg,在三个基准数据集上实现SOTA性能。
2024-07-11 cs.AI cs.CV cs.LG
HyWorldVLA: A Vision-Language-Action Model with Hybrid World Modeling for Autonomous Driving
Automotive New Technology Research Institute, BYD Company Limited(比亚迪汽车新技术研究院)
研究针对自动驾驶中视觉-语言-动作模型的不足,提出HyWorldVLA框架,统一像素级监督与潜在表征学习。预训练阶段预测视频潜在并重建帧,微调阶段预测潜在特征生成轨迹,实验表明其性能优于基线,还建立了世界模型噪声鲁棒性评估新基准。
2026-07-24 cs.AI cs.CV
From Pixels to Predictions: Spectrogram and Vision Transformer for Better Time Series Forecasting
J. P. Morgan AI Research(摩根大通人工智能研究院)
本文提出使用时间-频率频谱图作为时间序列的视觉表示,并采用视觉Transformer进行多模态学习,在多个领域数据集上优于统计基线、深度学习方法及其他视觉表示。
2024-03-17 cs.AI cs.CE cs.CV
Improving Visual Prompt Tuning for Self-supervised Vision Transformers
Seoul National University(首尔国立大学)
针对视觉提示调优在自监督视觉Transformer上表现不佳的问题,提出为每个ViT块学习门控以选择性干预提示令牌的方法,在多项图像分类和语义分割任务上优于现有VPT变体。
2023-06-08 cs.AI cs.CV cs.LG
ADAPT: Vision-Language Navigation with Modality-Aligned Action Prompts
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
视觉语言导航(VLN)是一项具有挑战性的任务,需要一个具体的代理执行动作级模态对齐,即,在复杂的视觉环境中按顺序做出预防性动作。大多数现有的VLN代理直接学习动作路径数据,不能充分探索多模态输入中的动作级对齐知识。在本文中,我们提出了模态对齐的动作提示(ADAPT),它提供了VLN代理的动作提示,使明确的学习动作级模态对齐追求成功的导航。具体来说,动作提示被定义为图像子提示和文本子提示的模态对齐对,其中前者是单视图观察,后者是类似于“走过椅子”的短语。当开始导航时,从预先构建的动作提示库中检索与提示相关的动作提示集,并将其传递通过提示编码器以获得提示特征。然后将提示特征与原始指令特征级联并馈送到多层Transformer以进行动作预测。为了将高质量的动作提示收集到提示库中,我们使用了具有强大跨通道对齐能力的对比图像预训练(CLIP)模型。进一步引入模态一致性损失和顺序一致性损失,以增强动作提示的一致性,并迫使智能体顺序地关注相关提示。在R2R和RxR上的实验结果表明,ADAPT优于最先进的方法。
2022-05-31 cs.AI cs.CL cs.CV
Adaptive Prompt Tuning: Vision Guided Prompt Tuning with Cross-Attention for Fine-Grained Few-Shot Learning
Faculty of Science and Engineering, University of Groningen(格罗宁根大学科学与工程学院);TNO(荷兰国防技术研究院)
提出基于交叉注意力的自适应提示调优方法,利用视觉输入动态优化CLIP文本提示,提升少样本细粒度分类性能,并集成蒙特卡洛Dropout增强预测可靠性。
2025-01-01 cs.AI cs.CV cs.LG
Distilling Vision-Language Foundation Models: A Data-Free Approach via Prompt Diversification
Hikvision Research Institute(海康威视研究院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Fuzhou University(福州大学)
本文提出通过提示多样化方法,在无数据条件下将视觉-语言基础模型蒸馏为紧凑学生模型,以继承分布外泛化能力,其中对比提示效果最佳。
2024-07-21 cs.AI cs.CV cs.MM
Why Only Text: Empowering Vision-and-Language Navigation with Multi-modal Prompts
The University of Queensland(昆士兰大学);CSIRO Data61(联邦科学与工业研究组织Data61);The University of Adelaide(阿德莱德大学)
提出多模态提示的视觉语言导航任务VLN-MP,通过在指令中结合自然语言和图像解决文本歧义,并构建新基准和模块,实验证明其显著提升了导航性能且兼容纯文本。
2024-06-04 cs.AI cs.CL cs.CV
ADAPT to Robustify Prompt Tuning Vision Transformers
Northeastern University(东北大学)
本文提出ADAPT框架,在提示微调范式下进行自适应对抗训练,仅微调约1%参数即可达到与全模型微调SOTA方法相当的约40%鲁棒准确率,解决了现有防御方法在提示微调中遭受梯度混淆和自适应攻击的问题。
2025-02-07 cs.AI cs.CV cs.LG