Learning Pseudo-Labeler beyond Noun Concepts for Open-Vocabulary Object Detection
Kakao Brain;Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出PLAC方法,通过直接学习任意概念的区域-文本对齐生成伪标签,解决了OVOD中间接监督和概念迁移受限的问题,在OVOD和指代表达理解基准上均取得优异性能。
2023-12-04 cs.CV
Rethinking Evaluation Metrics of Open-Vocabulary Segmentaion
Harbin Engineering University(哈尔滨工程大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学);The University of California, Merced(加州大学默塞德分校)
针对开放词汇分割现有闭集评估指标未考虑类别相似性的问题,调研11种类别词相似性度量,设计适配三类任务的Open mIoU等新指标,经12种方法基准测试验证可有效评估模型开放能力。
2023-11-06 cs.CV
Towards Open-Vocabulary Semantic Segmentation Without Semantic Labels
KAIST(韩国科学技术院);Korea University(高丽大学);Google Research(谷歌研究院)
本文提出PixelCLIP方法,利用SAM和DINO等视觉基础模型生成的无标签掩码,通过在线聚类算法学习通用语义概念,使CLIP具备像素级开放词汇语义分割能力,性能显著优于CLIP并与字幕监督方法相当。
2024-09-30 cs.CV
TAG: Guidance-free Open-Vocabulary Semantic Segmentation
Keio University(庆应义塾大学)
提出TAG方法,利用预训练模型实现无需训练、标注和引导的开放词汇语义分割,在多个基准上达到最优性能。
2024-03-17 cs.CV
Open-vocabulary Semantic Segmentation with Frozen Vision-Language Models
Coop. Medianet Innovation Center(媒体网络协同创新中心);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
当在足够的规模上训练时,自监督学习表现出了解决广泛的视觉或语言理解任务的显着能力。在本文中,我们研究了简单而有效的方法,用于使预训练的基础模型适应下游感兴趣的任务,即开放词汇语义分割。为此,我们做出了以下贡献:(i)我们引入了FuelBand,它具有一个轻量级的,基于transformer的融合模块,通过少量的图像分割数据将冻结的视觉表示与语言概念配对。该模型具有zero-shot迁移的能力,能够对新类别进行分割;(ii)在不失一般性的情况下,我们在广泛的自监督模型上进行实验,这些模型已经用不同的方案进行了预训练,例如仅视觉模型(MoCo v3,DINO)、纯语言模型(BERT)、视觉语言模型(CLIP),并表明,所提出的融合方法对任何一对视觉和语言模型都是有效的,即使是那些在单模态数据语料库上预先训练的模型;(iii)我们进行全面的消融研究,以分析我们建议的Fuketone中的关键组件,同时根据标准基准进行评估,例如PASCAL-5i和COCO-20 i,它超过了现有的国家的最先进的模型,由一个很大的利润,尽管只被训练冻结的视觉和语言特征;(iv)为了衡量模型的鲁棒性学习视觉语言对应,我们进一步评估合成数据集,命名为马赛克4,其中图像是通过镶嵌从FSS-1000的样本构建的。Future展示了优于以前型号的性能。
2022-10-27 cs.CV
Open-Vocabulary Object Detection using Pseudo Caption Labels
KakaoBrain
最近的开放词汇检测方法旨在通过从大量图像-文本对上训练的视觉语言模型(VLM)中提取知识来检测新对象。为了提高这些方法的有效性,研究人员利用了包含大量对象类的大型词汇表数据集,假设这些数据将使模型能够提取关于各种对象之间关系的全面知识,并更好地推广到看不见的对象类。在这项研究中,我们认为,更细粒度的标签是必要的,以提取更丰富的知识,新的对象,包括对象属性和关系,除了他们的名字。为了解决这个问题,我们提出了一个简单而有效的方法命名为伪标题标注(PCL),它利用一个图像描述模型来生成标题,描述对象实例从不同的角度。由此产生的伪标题标签为知识蒸馏提供了密集的样本。在LVIS基准测试中,我们在重复数据消除的VisualGenome数据集上训练的最佳模型实现了34.5的AP和30.6的APr,与最先进的性能相当。PCL的简单性和灵活性是其他值得注意的特征,因为它是一种简单的预处理技术,可以与任何图像描述模型一起使用,而不会对模型架构或训练过程施加任何限制。
2023-03-23 cs.AI cs.CV
Generative Region-Language Pretraining for Open-Ended Object Detection
Monash University(莫纳什大学);ByteDance Inc.(字节跳动公司)
本文提出生成式开放式目标检测新任务,并设计GenerateU框架,利用Deformable DETR与语言模型实现无需预定义类别的自由形式目标检测,在LVIS上零样本性能与GLIP相当。
2024-03-15 cs.CV
Can We Challenge Open-Vocabulary Object Detectors with Generated Content in Street Scenes?
University of Wuppertal(乌珀塔尔大学);Aptiv Services Deutschland GmbH(Aptiv Services 德国分公司)
本研究提出利用stable diffusion生成合成数据并设计自动化流水线,系统评估并揭示了开放词汇目标检测器在忽略物体及过度依赖物体位置上的系统性失败模式。
2025-06-30 cs.CV
Expanding Scene Graph Boundaries: Fully Open-vocabulary Scene Graph Generation via Visual-Concept Alignment and Retention
The Hong Kong Polytechnic University(香港理工大学);Centre for Artificial Intelligence and Robotics, HKISI-CAS(香港中文大学(深圳)人工智能与机器人中心(HKISI-CAS));State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所 多模态人工智能系统国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学 人工智能学院)
针对传统场景图生成的闭集局限,研究提出统一框架OvSGTR,通过视觉-概念对齐、关系感知预训练及知识蒸馏,实现完全开放词汇的场景图生成,在Visual Genome基准上验证了有效性。
2024-10-07 cs.CV
OpenDPR: Open-Vocabulary Change Detection via Vision-Centric Diffusion-Guided Prototype Retrieval for Remote Sensing Imagery
Wuhan University(武汉大学);Beijing Institute of Technology(北京理工大学)
提出OpenDPR框架,通过扩散模型构建原型并检索视觉相似性,解决开放词汇变化检测中类别识别瓶颈,并设计S2C模块增强变化定位能力。
2026-05-31 cs.CV
LaMI-DETR: Open-Vocabulary Detection with Language Model Instruction
Beihang University(北京航空航天大学);Baidu AIR(百度人工智能研究院);Tsinghua University(清华大学)
针对开放词汇检测中概念表示不足和基类别过拟合问题,提出LaMI策略,利用GPT构建视觉概念、T5探索类别间相似性,集成于DETR检测器,在OV-LVIS上以43.4稀有框AP超越现有方法。
2024-07-18 cs.CV
GUIDED: Granular Understanding via Identification, Detection, and Discrimination for Fine-Grained Open-Vocabulary Object Detection
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Meituan(美团);GuangDong Province Key Laboratory of Information Security Technology(广东省信息安全技术重点实验室);Research Institute, Sun Yat-sen University(中山大学深圳研究院)
GUIDED通过分解框架解决细粒度提示中主体与属性的语义纠缠问题,通过分离定位与识别任务提升细粒度开放词汇物体检测性能。
2026-03-27 cs.CV
Comprehensive Multi-Modal Prototypes are Simple and Effective Classifiers for Vast-Vocabulary Object Detection
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
针对海量词汇目标检测中粗略类名对齐导致识别性能下降的问题,提出多模态原型分类器Prova,通过提取全面多模态原型初始化分类器,在监督和开放词汇设置下显著提升多种检测器性能并达到SOTA。
2024-12-23 cs.CV
UniM-OV3D: Uni-Modality Open-Vocabulary 3D Scene Understanding with Fine-Grained Feature Representation
YouTu Lab, Tencent(腾讯优图实验室);Shanghai Development Center of Computer Software Technology(上海计算机软件技术开发中心)
本文提出UniM-OV3D网络,通过分层点云特征提取和分层3D描述对,融合点云、图像、语言和深度模态,在室内外基准上实现了最先进的3D开放词汇语义与实例分割性能。
2024-04-21 cs.CV
Boosting Segment Anything Model Towards Open-Vocabulary Learning
Huawei Inc.(华为技术有限公司)
本文提出Sambor端到端框架,通过SideFormer模块和Open-set RPN增强SAM的语义感知能力,使其能从类别名称等输入中检测任意对象,在COCO和LVIS基准上实现优越零样本性能,推进开放词汇学习。
2025-02-13 cs.CV
Vocabulary-Free 3D Instance Segmentation with Vision and Language Assistant
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
针对无词汇先验的三维实例分割,提出利用视觉-语言助手和开放词汇二维分割器发现语义类别,通过谱聚类合并超点形成实例掩码,在ScanNet200和Replica上超越现有方法。
2025-03-28 cs.AI cs.CV
CLIPSelf: Vision Transformer Distills Itself for Open-Vocabulary Dense Prediction
Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学);SenseTime Research and Tetras.AI(商汤科技研究院与Tetras.AI);Shanghai AI Laboratory(上海人工智能实验室)
针对 CLIP ViT 从全局图像迁移到局部区域时的域偏移问题,本文提出 CLIPSelf 自蒸馏方法,在无需区域-文本对的情况下增强区域-语言对齐,并在多项开放词汇密集预测基准上达到最优性能。
2024-01-24 cs.CV
OpenSeg-R: Improving Open-Vocabulary Segmentation via Step-by-Step Visual Reasoning
Mohamed Bin Zayed University of Artificial Intelligence(莫扎德大学人工智能学院);Tianjin University(天津大学);Nanjing University(南京大学);Aalto University(艾尔沃斯大学)
针对现有开放词汇分割方法缺乏显式推理、难以区分相似类别的问题,提出OpenSeg-R框架,借助大型多模态模型进行分层逐步视觉推理生成提示,在多个基准的语义与全景分割任务上取得性能提升,同时增强了可解释性。
2025-08-01 cs.CV
Open-vocabulary 3D object detection with promptable segmentation
Institute of Data Science and Artificial Intelligence, Boğaziçi University(博阿齐奇大学数据科学与人工智能研究所)
本文提出利用可提示分割模型SAM3,以文本提示生成实例掩码并转换为三维框,实现无训练开放词汇三维目标检测,在nuScenes上达到0.298 mAP/0.348 NDS,并显著提升LiDAR检测器性能。
2026-09-18 cs.CV
RelateAnything: Real-Time Open-Vocabulary Relation Prediction From Any Inputs
RelateAnything是一个53M参数的开放词汇关系预测模型,接受任意区域输入和推理时提供的谓词词汇表,无需对象标签,在跨数据集基准上平均召回率提升2.3-3.5倍,并构建了RA-4M语料库和OV-SGG-Bench基准。
2026-09-14 cs.CV
Weakly Supervised Open-Vocabulary Object Detection
Xiamen University(厦门大学);Tencent Youtu Lab(腾讯优图实验室);East China Normal University(华东师范大学)
针对传统弱监督目标检测仅支持闭集类别的局限,提出WSOVOD框架,通过三项策略实现仅图像级标注的开放词汇检测,在闭集任务上达SOTA,开放词汇性能媲美全监督方法。
2023-12-19 cs.CV
SynSeg: Feature Synergy for Multi-Category Contrastive Learning in End-to-End Open-Vocabulary Semantic Segmentation
Beijing Jiaotong University(北京交通大学)
提出SynSeg方法,通过多类别对比学习和特征协同结构,在弱监督下提升开放词汇语义分割的定位与判别能力,在多个基准上mIoU提升0.6%-8.9%。
2026-06-29 cs.CV
Open-Vocabulary Animal Keypoint Detection with Semantic-feature Matching
The Chinese University of Hong Kong(香港中文大学);Zhejiang University(浙江大学);The University of Hong Kong(香港大学);Shanghai AI Laboratory(上海人工智能实验室)
当前基于图像的动物(包括人)身体和面部的关键点检测方法通常分为全监督和Few-Shot类不可知方法。前者通常依赖于费力且耗时的手动注释,在将关键点检测扩展到更广泛的关键点类别和动物物种方面带来了相当大的挑战。后者虽然不太依赖大量的手动输入,但仍然需要必要的支持图像和注释,以供测试期间参考。为了实现zero-shot关键点检测而无需任何预先注释,我们引入了开放词汇关键点检测(OVKD)任务,该任务被创新地设计为使用文本提示来识别任何物种的任意关键点。为了实现这一目标,我们开发了一个新的框架,名为开放词汇关键点检测与语义特征匹配(KDSM)。该框架将视觉和语言模型协同结合,在语言特征和局部关键点视觉特征之间创建相互作用。KDSM通过集成领域分布矩阵匹配(DDMM)和其他特殊模块(如视觉-关键点关系感知(VKRA)模块)来增强其能力,从而提高了框架的通用性和整体性能。我们的综合实验表明,KDSM在性能方面明显优于基线,并在OVKD任务中取得了显著的成功。令人印象深刻的是,我们的方法以zero-shot方式运行,仍然可以产生与最先进的Few-Shot物种类无关的关键点检测方法相当的结果。我们将公开源代码。
2024-10-02 cs.CV
AttrSeg: Open-Vocabulary Semantic Segmentation via Attribute Decomposition-Aggregation
Coop. Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学协同媒体网络创新中心);Shanghai AI Laboratory(上海人工智能实验室)
本文提出AttrSeg框架,通过将类别名称解耦为属性描述并分层聚合,解决开放词汇语义分割中低质量文本类别名称的问题,实验证明其性能优越。
2024-01-06 cs.AI cs.CV
OpenIns3D: Snap and Lookup for 3D Open-vocabulary Instance Segmentation
University of Cambridge(剑桥大学);The University of Hong Kong(香港大学);Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本研究提出仅3D输入的OpenIns3D框架,通过掩码-捕捉-检索机制实现3D开放词汇场景理解,在多类任务与数据集上达SOTA,支持灵活切换2D检测器,结合LLM模型可处理复杂推理文本查询。
2024-08-12 cs.CV
SED: A Simple Encoder-Decoder for Open-Vocabulary Semantic Segmentation
Tianjin University(天津大学);Chongqing University(重庆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出SED,一种用于开放词汇语义分割的简单编码器-解码器,通过分层骨干生成代价图、渐进融合解码和类别早期拒绝,在保证精度的同时实现最高4.7倍加速。
2024-02-27 cs.CV
High-Quality Mask Tuning Matters for Open-Vocabulary Segmentation
Nankai University(南开大学);Sun Yat-sen University(中山大学);ByteDance Inc.(字节跳动公司)
本文提出 MaskCLIP++ 微调框架,通过使用真实掩码替代生成掩码并引入一致性对齐原则,显著提升了 CLIP 在开放词汇分割任务中的掩码分类性能。
2025-03-12 cs.CV
Language-Guided Open-World Anomaly Segmentation
Technical University of Munich(慕尼黑技术大学);BMW Group(宝马集团)
基于CLIP的开放世界异常分割方法,通过零样本学习实现未知物体的分割与命名,提升自动驾驶中的异常检测能力。
2025-12-01 cs.CV
Learning Open-vocabulary Semantic Segmentation Models From Natural Language Supervision
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiaotong University(上海交通大学)
在本文中,我们考虑的问题,开放词汇语义分割(OVS),其目的是分割对象的任意类,而不是预定义的,封闭的类别。主要贡献如下:首先,我们提出了一个基于transformer的OVS模型,称为OVSegmentor,它只利用网络抓取的图像-文本对进行预训练,而不使用任何掩码注释。OVSegmentor通过基于slot-attention的绑定模块将图像像素组装成一组可学习的组标记,并将组标记与相应的字幕嵌入对齐。其次,我们提出了两个代理任务进行训练,即掩码实体完成和跨图像掩码一致性。前者的目标是在给定组标记的情况下推断标题中的所有掩码实体,这使得模型能够学习视觉组和文本实体之间的细粒度对齐。后者在包含共享实体的图像之间强制执行一致的掩码预测,这鼓励模型学习视觉不变性。第三,我们通过过滤频繁出现的实体CC 12 M来构建CC 4 M数据集进行预训练,这显著提高了训练效率。第四,我们在三个基准数据集上执行zero-shot传输,PASCAL VOC 2012,PASCAL Context和COCO Object。我们的模型通过仅使用3%的数据(4 M vs 134 M)进行预训练,实现了优于最先进方法的分割结果。代码和预训练模型将被发布用于未来的研究。
2023-03-03 cs.CV
RT-DETR-World: Transferring Rich LLM Semantics to Real-Time Open-Vocabulary Detection
Tianjin University(天津大学);Shenzhen University of Advanced Technology(深圳理工大学);Shanghai Jiaotong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
针对实时开放词汇检测中紧凑模型难以吸收丰富语义的问题,提出RT-DETR-World,通过训练时迁移LLM描述语义并保持推理轻量匹配,实现竞争性零样本精度与高效权衡。
2026-11-06 cs.CV
Hierarchical Cross-Modal Alignment for Open-Vocabulary 3D Object Detection
City University of Hong Kong(香港城市大学)
本文提出层次化框架HCMA,通过HDI、ICMA和OFCA联合学习局部物体与全局场景信息,在OV-3DOD基准上超越SOTA,且无需3D标注即可取得有前景的结果。
2025-03-10 cs.CV
Global Knowledge Calibration for Fast Open-Vocabulary Segmentation
Beijing Jiaotong University(北京交通大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);ByteDance Inc.(字节跳动公司);Nanyang Technological University(南洋理工大学)
本文针对开放词汇语义分割中分类器过拟合基类及额外 CLIP 编码器推理开销大的问题,提出文本多样化与文本引导知识蒸馏的全局知识校准方法,实现快速且跨数据集泛化良好的分割,并拓展至视频分割基准。
2023-07-15 cs.CV
Learning a Semantic Calibration Network for Open-Vocabulary Semantic Segmentation
University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学);University of California, Berkeley(加州大学伯克利分校)
提出语义校准网络(SCN),通过类消歧和logits融合模块显式建模类间语义相关性,在保持CLIP泛化能力的同时提升分割性能。
2026-06-06 cs.CV
OV-DINO: Unified Open-Vocabulary Detection with Language-Aware Selective Fusion
Sun Yat-sen University(中山大学);Pengcheng Lab(鹏城实验室);Meituan Inc(美团公司);Harbin Institute of Technology(哈尔滨工业大学)
提出统一开放词汇检测方法OV-DINO,通过UniDI消除伪标注噪声、LASF增强跨模态融合,在COCO和LVIS零样本基准上取得SOTA性能。
2024-07-22 cs.CV
CLIPer: Hierarchically Improving Spatial Representation of CLIP for Open-Vocabulary Semantic Segmentation
Tianjin University(天津大学);Chongqing University(重庆大学);Zhengzhou University(郑州大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出CLIPer层次化框架,通过早期层融合和扩散模型细粒度补偿改进CLIP空间表示,在多个开放词汇语义分割数据集上取得最优性能。
2024-11-21 cs.CV
WeDetect: Fast Open-Vocabulary Object Detection as Retrieval
WeChat Vision, Tencent Inc.(腾讯微信视觉部);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔));Shenzhen Loop Area Institute(深圳河套学院)
WeDetect通过检索框架实现快速开放词汇物体检测,结合双塔架构和LMMs,提升检测效率和通用性。
2025-12-13 cs.CV
Side Adapter Network for Open-Vocabulary Semantic Segmentation
Huazhong University of Science and Technology(华中科技大学);Microsoft Research Asia(微软亚洲研究院)
本文提出了一种新的框架,开放词汇表语义分割与预先训练的视觉语言模型,命名为侧适配器网络(SAN)。我们的方法模型的语义分割任务作为一个区域识别问题。一个侧网络连接到一个冻结的CLIP模型有两个分支:一个用于预测面具的建议,另一个用于预测注意力偏差,这是在CLIP模型中应用,以识别类的面具。这种解耦设计在识别掩模提议的类别方面具有CLIP的益处。由于附接侧网络可以重用CLIP特性,因此可以非常轻。此外,整个网络可以进行端到端的训练,允许侧网络适应冻结的CLIP模型,这使得预测的掩码提案具有CLIP意识。我们的方法快速,准确,只增加了一些额外的可训练参数。我们在多个语义分割基准上评估我们的方法。我们的方法明显优于其他方法,可训练参数减少了18倍,推理速度提高了19倍。我们希望我们的方法将作为一个坚实的基线,并有助于简化未来的研究开放词汇语义分割。该代码将在https://github.com/MendelXu/SAN上提供。
2023-03-22 cs.AI cs.CV
Modulating CNN Features with Pre-Trained ViT Representations for Open-Vocabulary Object Detection
University of Electronic Science and Technology of China(电子科技大学)
提出VMCNet双分支骨干网络,通过VMC模块利用预训练ViT表示调制可训练CNN特征,在保持开放词汇泛化能力的同时增强检测表示,显著提升了新类别目标检测性能。
2025-03-06 cs.CV
Prompt-Guided Mask Proposal for Two-Stage Open-Vocabulary Segmentation
Adobe(奥多比公司);Amazon(亚马逊公司);ByteDance(字节跳动公司)
针对两阶段开放词汇分割中掩码提议易缺失目标的问题,提出提示引导掩码提议PMP方法,通过文本-查询交叉注意力生成对齐提示的掩码,在五个基准上较现有两阶段模型mIOU提升1%~3%,泛化性优异。
2024-12-13 cs.CV
Retrieval-Augmented Open-Vocabulary Object Detection
Korea University(高丽大学);Samsung Research(三星研究院)
本文提出 RALF,通过检索相关负类别构建语义感知损失,并利用 LLM 语言化概念增强视觉特征,在 COCO 和 LVIS 上显著提升开放词汇目标检测性能。
2024-04-08 cs.CV
SDDF: Specificity-Driven Dynamic Focusing for Open-Vocabulary Camouflaged Object Detection
Shenzhen University(深圳大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出SDDF方法,通过专门性感知子描述和动态聚焦提升开放词汇伪装物体检测性能,在OVCOD-D基准上达到56.4的AP。
2026-03-27 cs.CV
CoDA: Collaborative Novel Box Discovery and Cross-modal Alignment for Open-vocabulary 3D Object Detection
Hong Kong University of Science Technology(香港科技大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对开放词汇3D目标检测中新类目标定位与分类难题,本文提出CoDA框架,通过3D新框发现与点云、图像/文本跨模态对齐的联合迭代学习,在SUN-RGBD和ScanNet上实现显著性能提升。
2023-10-04 cs.CV
Exploiting Unlabeled Data with Multiple Expert Teachers for Open Vocabulary Aerial Object Detection and Its Orientation Adaptation
Tongji University(同济大学);Southeast University(东南大学)
本文提出CastDet框架,通过多专家教师和动态标签队列实现开放词汇空中物体检测及其方向适应,提升新型物体识别与分类能力。
2026-01-24 cs.CV
Open-YOLO 3D: Towards Fast and Accurate Open-Vocabulary 3D Instance Segmentation
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学);Technical University of Munich (TUM)(慕尼黑工业大学);Aalto University(阿尔托大学);Australian National University(澳大利亚国立大学);Linköping University(林雪平大学)
针对开放词汇3D实例分割现有方法推理慢、计算成本高的问题,提出仅用多视图RGB图像2D检测的Open-YOLO 3D方法,在两基准集达SOTA性能且提速约16倍,ScanNet200验证集mAP24.7%、单场景耗时22秒。
2025-02-13 cs.CV
SegCLIP: Patch Aggregation with Learnable Centers for Open-Vocabulary Semantic Segmentation
JD AI Research(京东人工智能研究院);Southwest Jiaotong University(西南交通大学)
提出SegCLIP,一种基于CLIP的无标注开放词汇语义分割方法,通过可学习中心聚合补丁,结合重建和KL损失,在多个基准上提升分割精度。
2023-06-20 cs.AI cs.CV
Simple Image-level Classification Improves Open-vocabulary Object Detection
Beihang University(北京航空航天大学);Singapore Management University(新加坡管理大学)
针对现有开放词汇目标检测方法未充分利用视觉语言模型全局场景理解能力、难检测小/模糊/遮挡目标的问题,提出SIC-CADS方法,通过多模态多标签识别模块利用CLIP的全局上下文知识修正检测分数,在多个基准上实现一致性能提升并增强跨数据集泛化能力。
2023-12-19 cs.CV
ObjectFinder: An Open-Vocabulary Assistive System for Interactive Object Search by Blind People
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
提出开放词汇可穿戴辅助系统ObjectFinder,结合开放词汇物体检测器与多模态大语言模型,支持盲人灵活查询、实时定位及多分支信息收集,用户研究证实其在物体搜索中提升了独立性与体验。
2025-04-30 cs.CV cs.HC
Prompt-Calibrated SAM 3 for Open-Vocabulary Remote Sensing Semantic Segmentation
School of Information Science and Technology, Yunnan Normal University(云南师范大学信息科学与技术学院);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);College of Computer Science, Beijing University of Technology(北京工业大学计算机学院)
提出ProC-SAM3方法,通过离线提示池、缓存文本嵌入和存在引导残差融合,解决开放词汇遥感语义分割中提示语义覆盖不足、冗余编码和噪声传播问题,在8个基准上平均mIoU达56.1%。
2026-07-23 cs.CV
Language-conditioned Detection Transformer
UT Austin(德克萨斯大学奥斯汀分校)
本文提出DECOLA框架,通过先训练语言条件检测器生成高质量伪标签,再训练无条件开放词汇检测器,在多个零样本检测基准上大幅超越现有方法。
2023-11-29 cs.CV
Open-vocabulary vs. Closed-set: Best Practice for Few-shot Object Detection Considering Text Describability
Graduate School of Information Sciences, Tohoku University(东北大学信息科学研究科);RIKEN Center for AIP(理化学研究所AIP中心)
本文提出用 CLIP 零样本分类准确率量化数据集文本可描述性,并在不同可描述性类别上对比开放词汇与封闭集方法的少样本目标检测性能,发现低可描述性类别上二者差异很小且 OVD 可能适得其反。
2024-10-20 cs.CV
ITACLIP: Boosting Training-Free Semantic Segmentation with Image, Text, and Architectural Enhancements
Bilkent University(比尔肯特大学);RWTH Aachen University(亚琛工业大学);Technical University of Munich(慕尼黑工业大学);Istanbul Technical University(伊斯坦布尔理工大学)
针对VLMs密集预测能力不足的问题,提出无训练方法ITACLIP,通过ViT架构调整、图像工程和LLM生成类别语义信息增强CLIP,在多个分割基准上优于现有SOTA。
2025-04-14 cs.CV
Open-Vocabulary Object Detection Using Captions
Snap Inc(Snap公司);Columbia University(哥伦比亚大学)
尽管深度神经网络在目标检测方面具有显著的准确性,但由于监管要求,它们的训练和规模化成本很高。特别地,学习更多的对象类别通常需要成比例地更多的限界框注释。已经探索了弱监督和零样本学习技术,以在较少的监督下将对象检测器扩展到更多的类别,但它们没有像监督模型那样成功和广泛采用。在本文中,我们提出了一种新的配方的目标检测问题,即开放词汇的目标检测,这是更普遍,更实用,更有效的弱监督和zero-shot的方法。我们提出了一种新的方法来训练对象检测器,使用限界框注释的对象类别的有限集合,以及图像标题对,覆盖了更大的各种各样的对象,在一个显着降低成本。我们表明,所提出的方法可以检测和定位对象,在训练过程中没有提供限界框注释,在一个显着更高的精度比zero-shot方法。同时,具有限界框注释的对象可以几乎与监督方法一样准确地检测到,这明显优于弱监督基线。因此,我们建立了一种新的可扩展目标检测技术。
2021-03-14 cs.AI cs.CV cs.LG
Hierarchical Open-vocabulary Universal Image Segmentation
UC Berkeley(加州大学伯克利分校);Panasonic AI Research(松下人工智能研究院)
HIPIE通过解耦文本-图像融合和分层表示学习,在统一框架中实现层次化开放词汇通用分割,在40多个数据集上达到最先进水平。
2023-12-21 cs.AI cs.CV cs.LG
Open Vocabulary Panoptic Segmentation With Retrieval Augmentation
本文提出RetCLIP方法,通过检索增强提升开放词汇全景分割的性能,实现对未见类别的有效分割。
2026-01-19 cs.CL cs.CV