Small Language Model Meets with Reinforced Vision Vocabulary
MEGVII Technology(旷视科技);University of Chinese Academy of Sciences(中国科学院大学);Huazhong University of Science and Technology(华中科技大学)
本文提出小型视觉语言模型Vary-toy,以Qwen-1.8B为语言基座,并用目标检测正样本改进视觉词汇表,使其可在GTX1080ti上训练部署,同时在多个基准上取得有效性能。
2024-01-23 cs.CV
Exploring Vision-Language Models for Open-Vocabulary Zero-Shot Action Segmentation
Purdue University(普渡大学);Birla Institute of Technology and Science (BITS) Hyderabad(比拉理工学院和科学研究院(BITS)海得拉巴)
本文提出开放词汇零样本时间动作分割方法,利用视觉-语言模型的零样本能力,通过帧-动作嵌入相似性和相似性矩阵时间分割实现无需训练的分割任务,展示了其在结构化时间理解中的潜力。
2026-02-24 cs.CV
Open-Vocabulary HOI Detection with Interaction-aware Prompt and Concept Calibration
Wangxuan Institute of Computer Technology, Peking University(北京大学王璇计算机技术研究所);National Institute of Health Data Science, Peking University(北京大学国家健康数据科学研究院)
提出INP-CC,一种端到端开放词汇HOI检测器,通过交互感知提示生成器和语言模型引导的概念校准,在SWIG-HOI和HICO-DET上超越现有方法。
2025-08-05 cs.CV
Revisiting Natural Language Prompts from Large Language Models for Open-Vocabulary Video Recognition
School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院);School of Software Engineering, Beijing Jiaotong University(北京交通大学软件学院)
针对CLIP应用于开放词汇视频识别的挑战,提出P2CLIP方法,通过设计通用-判别式提示、生成帧与视频描述及知识引导的时间聚合机制,提升模型性能,经多基准实验验证有效。
2026-10-14 cs.CV
Open-Vocabulary SAM3D: Towards Training-free Open-Vocabulary 3D Scene Understanding
Zhejiang University(浙江大学);Youtu Lab, Tencent(腾讯优图实验室);Nanjing University(南京大学);Nanyang Technological University(南洋理工大学)
本文提出免训练的OV-SAM3D框架,结合SAM分割与RAM开放标签,无需场景先验知识即可实现开放词汇3D场景理解,并在ScanNet200和nuScenes上超越现有方法。
2024-09-05 cs.CV
VL-DINO: Leveraging CLIP Vision-Language Knowledge for Open-Vocabulary Object Detectio
Chongqing University(重庆大学);City University of Hong Kong(香港城市大学)
提出VL-DINO,通过QPSC模块构建高质量正样本增强视觉-语言对齐,VSE模块蒸馏CLIP视觉知识,ORSA模块对齐区域特征与文本嵌入,在LVIS零样本检测上达到36.3/38.1 AP。
2026-06-11 cs.CV
Vocabulary-free few-shot learning for Vision-Language Models
UCLouvain(乌得勒支大学);UMons(蒙斯大学);ÉTS Montreal(蒙特利尔ÉTS)
本文针对视觉-语言模型在无法获得类别名称时的少样本分类问题,提出基于通用提示相似性得分的相似性映射(SiM)方法,无需手工设计提示词即可实现高效、可解释的分类,为无词汇表少样本学习建立了重要基线。
2025-06-04 cs.CV
Pre-training image-language transformers for open-vocabulary tasks
Google Research(谷歌研究院)
我们提出了一种基于不同任务混合的视觉和语言Transformer模型的预训练方法。我们探索了在预训练中使用图像-文本字幕数据,这不需要额外的监督,以及对象感知策略来预训练模型。我们在一些文本生成视觉+语言任务上评估了该方法,例如视觉问答,视觉蕴涵和字幕,并展示了比标准预训练方法更大的收益。
2022-09-09 cs.CV
Bilateral Collaboration with Large Vision-Language Models for Open Vocabulary Human-Object Interaction Detection
South China University of Technology(南方科技大学);Tencent AI Lab(腾讯人工智能实验室);Foshan University(佛山大学)
提出双边协作框架BC-HOI,通过注意力偏置引导和LLM监督引导,利用大型视觉-语言模型生成细粒度特征,提升开放词汇人-物交互检测性能。
2025-07-09 cs.CV
Synthetic Captions for Open-Vocabulary Zero-Shot Segmentation
Meta;KU Leuven(鲁汶大学)
本研究通过将图像与VLMs生成的低成本、可扩展合成描述进行密集对齐,结合了生成式VLM与表示学习两条路线,在零样本开放词汇分割基准上超越了先前工作且数据效率更高。
2025-09-15 cs.CV
Pro-Bench: Prompt-Robust Open-Vocabulary Visual Grounding Across Real-World Heterogeneous Environments
Montanuniversität Leoben(莱奥本矿业大学);Middlesex University(密德萨斯大学)
提出Pro-Bench基准,包含多领域RGB帧和丰富查询,系统评估16种开放词汇模型在真实环境中的提示鲁棒性,发现其强依赖架构,并揭示聚合mAP掩盖的恢复差异。
2026-09-24 cs.CV cs.RO
Relation-aware Hierarchical Prompt for Open-vocabulary Scene Graph Generation
针对开放词汇场景图生成中文本表示固定的问题,提出关系感知分层提示框架,通过整合主客体信息、利用LLM生成区域感知提示并引入动态选择机制,在多个数据集上实现了最先进的性能。
2025-07-13 cs.AI cs.CV
DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models
Homi Bhabha National Institute(霍米·巴伯哈国家学院);Bhabha Atomic Research Centre(巴巴原子研究中心)
针对无人机载荷表征在远距离和分布偏移下的挑战,提出基于合成数据和接地视觉-语言模型的两阶段开放词汇框架DroneGround,显著提升F1分数与泛化能力。
2026-09-22 cs.CV
Streamlined Open-Vocabulary Human-Object Interaction Detection
South China University of Technology(华南理工大学)
本文提出SL-HOI框架,基于DINOv3模型简化开放词汇人类-物体交互检测,通过融合特征和跨注意力机制提升性能,实验显示在SWiG-HOI和HICO-DET基准上达到最新水平。
2026-03-29 cs.CV
Vocabulary-free Image Classification
University of Trento(特伦托大学);Fondazione Bruno Kessler (FBK)(布鲁诺·凯斯勒基金会(FBK))
本文提出无词汇表图像分类任务 VIC,并设计 CaSED 方法,借助预训练视觉-语言模型和外部数据库在无需训练的情况下检索并匹配候选类别,以更少参数超越复杂框架。
2024-01-12 cs.CV
Prompt Algebra for Task Composition
AWS AI Labs(亚马逊云科技人工智能实验室)
本文提出提示代数与约束提示微调,使独立学习的提示可组合,并在目标及属性分类任务上取得接近或超越最佳基础模型的性能。
2023-06-01 cs.CV
GroundVLP: Harnessing Zero-shot Visual Grounding from Vision-Language Pre-training and Open-Vocabulary Object Detection
Zhejiang University(浙江大学);Binjiang Institute of Zhejiang University(浙江大学滨江研究院)
GroundVLP提出一种零样本视觉定位方法,通过融合GradCAM热力图与开放词汇检测器目标提议,在RefCOCO等数据集上显著超越现有零样本方法,性能提升约28%。
2023-12-22 cs.CV
A Training-Free Guess What Vision Language Model from Snippets to Open-Vocabulary Object Detection
Aerospace and Informatics Domain(航空航天与信息领域);National Key Laboratory of Science and Technology on Space-Born Intelligent Information Processing(空间智能信息处理国家级重点实验室);School of Electronic(电子学院)
本文提出无需训练的Guess What视觉语言模型GW-VLM,通过多尺度视觉语言搜索与上下文概念提示实现开放词汇物体检测的高效检测性能。
2026-01-21 cs.CV
Adapting Vision-Language Model with Fine-grained Semantics for Open-Vocabulary Segmentation
Tsinghua University(清华大学);Bosch Corporate Research(博世公司研究部门)
该研究发现开放词汇分割瓶颈在掩码分类而非生成,提出FISA方法通过早期整合细粒度语义优化VLM少量参数,在多基准上取得SOTA且训练成本降近5倍。
2024-12-09 cs.CV
Multimodal Open-Vocabulary Video Classification via Pre-Trained Vision and Language Models
Google Research(谷歌研究院);Cornell University(康奈尔大学);University of Copenhagen(哥本哈根大学)
利用在大规模图像-文本对上预训练的视觉和语言模型(VLM)正在成为开放词汇视觉识别的一个有前途的范例。在这项工作中,我们扩展了这种模式,利用运动和音频,自然存在于视频。我们提出了\textbf{MOV},一个简单而有效的方法\textbf{M}多模态\textbf{O}笔- \textbf{V}枕视频分类。在MOV中,我们直接使用来自预训练VLM的视觉编码器,只需进行最小的修改即可对视频,光流和音频频谱图进行编码。我们设计了一个跨模态融合机制来聚合互补的多模态信息。在Kinetics-700和VGGSound上的实验表明,与预先训练的VLM和现有方法相比,引入流或音频模态会带来很大的性能提升。具体来说,MOV大大提高了基类的准确性,同时更好地推广了新类。MOV在UCF和HMDB zero-shot视频分类基准测试中取得了最先进的结果,显著优于传统的zero-shot方法和基于VLM的最新方法。代码和模型将被释放。
2022-07-15 cs.CV cs.LG
WAVER: Writing-style Agnostic Text-Video Retrieval via Distilling Vision-Language Models Through Open-Vocabulary Knowledge
FPT Software AI Center(FPT软件人工智能中心);International University, VNU-HCM(越南胡志明市国家大学国际大学);RMIT University, Vietnam(澳大利亚皇家墨尔本理工大学越南分校);University of Liverpool, UK(英国利物浦大学);University of Arkansas, USA(美国阿肯色大学)
针对视频描述受写作风格影响的问题,提出跨域知识蒸馏框架WAVER,利用预训练视觉语言模型的开放词汇特性将文本知识从教师模型转移至视觉学生模型,在四个基准数据集上实现了最先进的文本-视频检索性能。
2024-01-10 cs.AI cs.CV
MROVSeg: Breaking the Resolution Curse of Vision-Language Models in Open-Vocabulary Image Segmentation
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所基础模型研究中心);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对开放词汇图像分割中视觉语言模型(如CLIP)因低分辨率预训练导致的细节丢失问题,提出MROVSeg多分辨率训练框架,通过滑动窗口和多分辨率适配器等组件,在单CLIP骨干上实现高分辨率分割,提升性能并降低计算开销。
2024-11-27 cs.AI cs.CV
Vocabulary-free Fine-grained Visual Recognition via Enriched Contextually Grounded Vision-Language Model
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·扎耶德人工智能大学)
本文提出E-FineR方法,无需词汇实现细粒度视觉识别,提供高可解释性和在零样本和少样本分类中的高性能。
2025-07-30 cs.CV
Dense Multimodal Alignment for Open-Vocabulary 3D Scene Understanding
Hong Kong Polytechnic University(香港理工大学);Joins Hopkins University(约翰斯·霍普金斯大学)
针对现有开放词汇3D场景理解方法忽略多模态协同的问题,提出DMA框架,通过密集多模态对齐结合CLIP特征与可学习掩码特征,在多类场景任务中取得优异的开放词汇分割性能。
2024-07-13 cs.CV
Vocabulary-Guided Gait Recognition
School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院)
本文提出词汇引导的步态识别范式Gait-World及模型α-Gait,利用视觉-语言模型词汇知识引导步态网络学习,通过词汇关系映射器和细粒度检测器解决模态异质性,在多个数据集上验证了有效性。
2026-09-17 cs.CV
Open-Vocabulary Camouflaged Object Segmentation with Cascaded Vision Language Models
Shanghai University(上海大学);UCLA(美国大学联盟);Nankai University(南开大学)
本文提出了一种基于视觉语言模型的级联框架,用于解决开放词汇伪装物体分割中的领域差距和分割精度问题,通过共享VLM实现高效且语义一致的分割与分类。
2026-03-08 cs.CV
AnchorVLN: Geometry-Anchored Vision-Language Grounding Reasoning for Open-Vocabulary Navigation
AnchorVLN提出语义由VLM提出、几何决定度量的规则,通过MCP工具分离语义与几何,在CMU VLN挑战2026上指令遵循达64.4%,物体引用中位误差降至2.48米。
2026-09-14 cs.CV cs.RO
VIVAS: Vitalizing Visual Perception in VLM Pre-training via Vision-language Unified Autoregressive Supervision
Tsinghua University(清华大学);Tencent Youtu Lab(腾讯优图实验室);Nanjing University(南京大学)
VIVAS通过统一标记空间和密集结构语义视觉分词器,在预训练中对视觉与语言内容进行统一自回归监督,以增强细粒度视觉感知,在12.4T标记上训练后于7项任务和39个多模态基准上达到最先进性能。
2026-09-24 cs.CV
Are Open-Vocabulary Models Ready for Detection of MEP Elements on Construction Sites
ETS Montreal(蒙特利尔理工学院);Lab INIT Robots(INIT机器人实验室);GRIDD(GRIDD研究院)
本研究评估开放词汇视觉语言模型与微调轻量级闭集目标检测器在移动地面机器人平台上检测建筑工地MEP组件的适用性,发现后者在专业环境中性能更优。
2025-04-12 cs.CV cs.RO
Answer-Me: Multi-Task Open-Vocabulary Visual Question Answering
Google Research(谷歌研究院)
我们提出了一个任务感知的多任务框架,它统一了各种问答任务,如视觉问答,视觉蕴涵,视觉推理。与以前使用对比或生成式字幕训练的作品相比,我们提出了一种新颖而简单的方法来预训练视觉-语言联合模型,该模型也是多任务的。预训练仅使用有噪声的图像描述数据,并且被制定为使用具有强语言编码器和解码器的端到端的整个架构。我们的研究结果显示了最先进的性能,zero-shot泛化,对遗忘的鲁棒性,以及在各种问答任务中具有竞争力的单任务结果。我们的多任务混合训练从各种问题意图的任务中学习,从而更好地泛化,包括zero-shot视觉语言任务。我们在具有挑战性的多任务和开放词汇设置中进行实验,并跨越各种数据集和任务,如VQA 2.0,SNLI-VE,NLVR 2,GQA。我们观察到,所提出的方法是能够推广到看不见的任务,更多样化的混合物导致更高的准确性,在已知的和新的任务。
2022-11-30 cs.CV
Open-vocabulary Attribute Detection
University of Freiburg(弗赖堡大学)
视觉语言建模已经启用了开放词汇表任务,其中可以使用任何文本提示以zero-shot方式查询预测。现有的开放式词汇表任务主要关注对象类,而对对象属性的研究由于缺乏可靠的以属性为中心的评价基准而受到限制。本文介绍了开放词汇表属性检测(OVAD)任务和相应的OVAD基准测试。新的任务和基准的目标是探测对象级的属性信息学习的视觉语言模型。为此,我们创建了一个干净且注释密集的测试集,涵盖了MS COCO的80个对象类上的117个属性类。它包括积极和消极的注释,这使得开放式词汇评估。总体而言,该基准包含140万个注释。作为参考,我们提供了开放词汇属性检测的第一个基线方法。此外,我们通过研究几个基础模型的属性检测性能来证明基准测试的价值。项目页面https://ovad-benchmark.github.io
2023-03-08 cs.CV cs.LG
ReasonGrounder: LVLM-Guided Hierarchical Feature Splatting for Open-Vocabulary 3D Visual Grounding and Reasoning
Fudan University(复旦大学);Nanyang Technological University(南洋理工大学);Shanghai Innovation Institute(上海创新研究院);NeuHelium Co., Ltd(NeuHelium公司)
提出LVLM引导的框架ReasonGrounder,利用分层3D特征高斯场实现开放词汇3D定位与推理,结合SAM和CLIP处理遮挡,并贡献新数据集ReasoningGD,显著提升真实场景定位准确率。
2025-03-30 cs.CV
From Open Vocabulary to Open World: Teaching Vision Language Models to Detect Novel Objects
The University of Melbourne Parkville, VIC, Australia(墨尔本大学帕克维尔分校)
本文提出了一种开放世界框架,使OVD模型能够检测新物体,通过引入OWEL和MSCAL方法提升模型对远超出分布物体的识别能力。
2026-02-26 cs.AI cs.CV
Towards Continual Test-Time Adaptation of Vision-Language Models in Open-Vocabulary Semantic Segmentation
Norwegian University of Life Sciences (NMBU)(挪威生命科学大学);Tulane University(杜兰大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对开放词汇语义分割中视觉-语言模型在持续测试时分布偏移下的对齐脆弱问题,提出DAF框架,在多数据集上实现mIoU显著提升且鲁棒性良好。
2026-09-01 cs.CV cs.LG
DivScene: Towards Open-Vocabulary Object Navigation with Large Vision Language Models in Diverse Scenes
CSE Department, HKUST(香港科技大学计算机科学与工程系);Tencent AI Lab(腾讯AI实验室);Robotics X, Tencent(腾讯机器人实验室);University of Pennsylvania(宾夕法尼亚大学)
本研究推出大规模多样化场景数据集DivScene以支撑开放词汇物体导航评估,发现现有模型存在能力短板,并提出仅用BFS最短路径微调LVLM结合CoT的方法,导航成功率超GPT-4o 20%以上。
2025-09-01 cs.CL cs.CV cs.RO
Emergent Open-Vocabulary Semantic Segmentation from Off-the-shelf Vision-Language Models
Nanyang Technological University(南洋理工大学);University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究院)
提出免训练的PnP-OVSS,利用现成VLM的交叉注意力、图文匹配损失和Salience Dropout实现开放词汇语义分割,并在多个基准上显著提升mIoU。
2024-06-15 cs.AI cs.CV
World-to-Words: Grounded Open Vocabulary Acquisition through Fast Mapping in Vision-Language Models
University of Michigan(密歇根大学);Computer Science and Engineering Division, University of Michigan(密歇根大学计算机科学与工程系)
本文提出GOVA框架和OctoBERT模型,通过在图像-文本对上以接地为目标的预训练,验证视觉-语言模型能更快速稳健地学习新词汇,揭示了接地能力对新词学习的自举作用。
2024-12-26 cs.AI cs.CL cs.CV
Multitask Vision-Language Prompt Tuning
University of California Berkeley(加州大学伯克利分校);ByteDance Inc(字节跳动公司)
提示微调以任务特定的学习提示向量为条件,已经成为一种数据高效和参数高效的方法,用于使大型预训练视觉语言模型适应多个下游任务。然而,现有的方法通常考虑从零开始独立地学习每个任务的提示向量,从而无法利用跨不同视觉语言任务的丰富的可共享知识。在本文中,我们提出了多任务视觉语言提示微调(MVLPT),它将跨任务的知识到视觉语言模型的提示微调。具体而言,(i)我们证明了从多个源任务中学习单个可转移提示以初始化每个目标任务的提示的有效性;(ii)我们表明许多目标任务可以从共享提示向量中相互受益,因此可以通过多任务提示微调来共同学习。我们基准建议MVLPT使用三个代表性的提示微调方法,即文本提示微调,视觉提示微调,和统一的视觉语言提示微调。在20个视觉任务的结果表明,所提出的方法优于所有的单任务基线提示微调方法,设置新的国家的最先进的Few-Shot ELEVATER基准和跨任务的泛化基准。为了了解跨任务知识最有效的地方,我们还进行了一项大规模的研究任务的可转移性与20个视觉任务的400个组合的每一个提示微调方法。结果表明,每种提示微调方法的最佳性能MVLPT更倾向于不同的任务组合,并且许多任务可以相互受益,这取决于它们的视觉相似性和标签相似性。代码可在https://github.com/sIncerass/MVLPT上获得。
2022-12-05 cs.CL cs.CV
Beyond Isolated Objects: Relationship-aware Open Vocabulary Scene Understanding via 3D Scene Graph Analysis
State Key Lab of CAD&CG, Zhejiang University(浙江大学计算机辅助设计与图形学国家重点实验室);Zhejiang University(浙江大学)
针对现有开放词汇3D理解方法忽略对象关系的问题,提出RelGraphOV框架,通过3D场景图与自适应门控双流式图注意力网络,提升场景理解性能与泛化性。
2026-07-07 cs.CV cs.RO
OCTOPUS: Open-vocabulary Content Tracking and Object Placement Using Semantic Understanding in Mixed Reality
University of California, Santa Barbara(加州大学圣巴巴拉分校)
提出开放词汇对象放置方法OCTOPUS,利用分割、视觉-语言模型和LLM的八阶段流程,在AR中放置任意虚拟对象,初步用户研究中57%情况达到或超过人类专家水平。
2023-12-20 cs.AI cs.CL cs.CV
Prompt-Guided Transformers for End-to-End Open-Vocabulary Object Detection
AWS AI Labs(AWS人工智能实验室);NAVER Cloud(NAVER云)
OVD是一个高效的开放词汇表目标检测框架,它利用CLIP中的类嵌入作为提示,引导Transformer解码器检测基类和新类中的对象。此外,我们新颖的基于RoI的掩蔽注意力和RoI修剪技术有助于利用基于视觉Transformer的CLIP的zero-shot分类能力,从而以最小的计算成本提高检测性能。我们在OV-COCO和OVLVIS数据集上的实验表明,与第一个端到端开放词汇检测方法(OV-DETR)相比,Akt-OVD实现了令人印象深刻的21.2倍的推理速度,同时还实现了比在类似推理时间范围内运行的四个基于两阶段的方法更高的AP。代码将很快提供。
2023-03-25 cs.CV
Beyond Open Vocabulary: Multimodal Prompting for Object Detection in Remote Sensing Images
School of Computer Science and Engineering, Beihang University, Beijing, China(计算机科学与工程学院,北京航空航天大学,中国)
RS-MPOD提出了一种多模态开放词汇检测框架,通过整合视觉和文本提示提升遥感图像中目标检测的稳定性与准确性。
2026-02-02 cs.CV
CytoSPM: Open-Vocabulary Cytopathology Detection with Structured Prompt Bank
Central South University(中南大学);Shanghai Jiao Tong University(上海交通大学)
针对细胞病理学检测的开放词汇识别需求,提出多领域基准PentaCyto和基于解耦两阶段设计的检测器CytoSPM,通过结构化形态学提示匹配提升新颖类别检测性能。
2026-09-28 cs.CV
Identifying the Unknown: Prompt-Free Open Vocabulary Anomaly Recognition for Robot-Object Interaction
University of Hamburg(汉堡大学)
提出AnomNOVIC框架,结合掩码自编码器与无提示开放词汇分类器,实现机器人对未知物体的实时识别,在多个数据集上显著超越现有基线。
2026-06-26 cs.CV
Prompt Ensemble Self-training for Open-Vocabulary Domain Adaptation
Nanyang Technological University(南洋理工大学)
提出开放词汇域适应框架OVDA及提示集成自训练技术PEST,利用视觉与语言模态内及跨模态的提示互补性缓解域差异,在10个图像识别任务上持续优于现有方法。
2023-06-29 cs.CV
YOLOE-26: Integrating YOLO26 with YOLOE for Real-Time Open-Vocabulary Instance Segmentation
Cornell University(康奈尔大学)
YOLOE-26 结合 YOLO26 和 YOLOE,通过统一框架实现实时开放词汇实例分割,采用多尺度特征聚合和嵌入空间匹配,提升效率与准确性。
2026-01-29 cs.CV
MVP-SEG: Multi-View Prompt Learning for Open-Vocabulary Semantic Segmentation
Beihang University(北京航空航天大学);Xiaohongshu Inc(小红书公司)
本文提出 MVP-SEG 方法,通过正交约束损失学习多视图提示并结合全局提示精炼,实现 CLIP 像素级特征适配,显著提升开放词汇语义分割性能。
2023-04-14 cs.CV
DPSeg: Dual-Prompt Cost Volume Learning for Open-Vocabulary Semantic Segmentation
University of South Carolina(南卡罗来纳大学);Shenzhen University of Advanced Technology(深圳先进技术大学)
本文提出DPSeg双提示框架,通过双提示代价体、代价体引导解码器和语义引导提示细化,弥合图文域差并利用浅层特征,提升开放词汇语义分割性能。
2025-05-16 cs.CV
F-VLM: Open-Vocabulary Object Detection upon Frozen Vision and Language Models
Google Research(谷歌研究院)
我们提出了F-VLM,一个简单的开放词汇的目标检测方法建立在冻结的视觉和语言模型。F-VLM通过消除对知识蒸馏或检测量身定制的预训练的需要,简化了当前的多阶段训练管道。令人惊讶的是,我们观察到冻结的VLM:1)保留了检测所需的局部敏感特征,2)是一个强大的区域分类器。我们只微调探测器头,并在推理时将每个区域的探测器和VLM输出组合起来。F-VLM显示出令人信服的缩放行为,并在LVIS开放词汇检测基准的新类别上实现了比先前最先进水平+6.5掩码AP的改进。此外,我们在COCO开放词汇检测基准和跨数据集传输检测方面展示了非常有竞争力的结果,此外还显着提高了训练速度并节省了计算成本。代码将在https://sites.google.com/view/f-vlm/home上发布
2023-02-23 cs.CV
PromptDet: Towards Open-vocabulary Detection using Uncurated Images
Meituan Inc.(美团公司);Shanghai Jiao Tong University(上海交通大学)
这项工作的目标是建立一个可扩展的管道,用于将对象检测器扩展到新的/看不见的类别,使用零手动注释。为了实现这一点,我们做了以下四个方面的贡献:(i)为了追求泛化,我们提出了一个两阶段的开放词汇对象检测器,其中类无关的对象建议是从预先训练的视觉语言模型中分类的文本编码器;(ii)配对视觉潜在空间(RPN框建议)与预先训练的文本编码器相比,我们提出了区域提示学习的思想,使文本嵌入空间与区域视觉对象特征相匹配;(iii)为了扩大学习过程,以检测更广泛的对象,我们利用现有的在线资源,通过一种新的自训练框架,它允许训练提出的检测器上的一个大型语料库的噪声未经策划的网络图像。最后,(iv)为了评估我们提出的检测器(称为LattDet),我们在具有挑战性的LVIS和MS-COCO数据集上进行了广泛的实验。与现有的方法相比,ApproxtDet具有更好的性能,只需更少的额外训练图像和零手动注释。项目页面代码:https://fcjian.github.io/promptdet.
2022-07-18 cs.CV
Backdoor Attacks on Open Vocabulary Object Detectors via Multi-Modal Prompt Tuning
TrAP通过多模态提示调优对开放词汇目标检测器实施后门攻击,利用轻量级提示标记植入恶意行为,提升攻击成功率并改进下游任务性能。
2026-01-13 cs.CV
ViCo-SAM3: Vision-Conditioned Alignment for Open-Vocabulary Camouflaged Object Segmentation
Jiangxi Normal University(江西师范大学);East China Normal University(华东师范大学)
ViCo-SAM3通过视觉条件模块动态调制文本嵌入,并设计跨模态绑定模块增强交互,以弥合语义鸿沟,在OVCamo基准上取得最先进性能。
2026-09-15 cs.CV
Simple Open-Vocabulary Object Detection with Vision Transformers
Google Research(谷歌研究院)
将简单的架构与大规模的预训练相结合,使图像分类得到了巨大的改进。对于目标检测,预训练和缩放方法不太完善,特别是在长尾和开放词汇设置中,其中训练数据相对较少。在本文中,我们提出了一个强大的食谱转移图像-文本模型开放词汇目标检测。我们使用标准的视觉Transformer架构,只需最少的修改,对比图像-文本预训练和端到端检测微调。我们对这种设置的缩放特性的分析表明,增加图像级预训练和模型大小可以在下游检测任务上产生一致的改进。我们提供了适应策略和正则化需要达到非常强大的性能zero-shot文本条件和单次图像条件目标检测。代码和模型可以在GitHub上找到。
2022-07-20 cs.CV
NVSMask3D: Hard Visual Prompting with Camera Pose Interpolation for 3D Open Vocabulary Instance Segmentation
Aalto University(阿莱大学);University of Helsinki(赫尔辛基大学);University of Oulu(奥卢大学)
提出NVSMask3D,一种基于三维高斯泼溅和相机位姿插值的免训练硬视觉提示方法,通过生成多样化视角并强制几何一致性,增强视觉语言模型在三维开放词汇实例分割中的性能。
2025-04-20 cs.CV