PLA: Language-Driven Open-Vocabulary 3D Scene Understanding
The University of Hong Kong（香港大学）；ByteDance（字节跳动）
开放词汇场景理解的目标是定位和识别标注空间之外的不可见类别。2D开放式词汇感知的最新突破主要是由互联网规模的具有丰富词汇概念的配对图像-文本数据驱动的。然而，由于无法访问大规模的3D文本对，这种成功不能直接转移到3D场景。为此，我们建议通过从3D中为多视图图像添加字幕来提取预训练的视觉语言（VL）基础模型中编码的知识，这允许显式关联3D和语义丰富的字幕。此外，为了促进从字幕的从粗到细的视觉语义表示学习，我们设计了分层的3D字幕对，利用3D场景和多视图图像之间的几何约束。最后，通过采用对比学习，该模型学习连接3D和文本的开放词汇任务的语言感知嵌入。我们的方法不仅在开放词汇语义和实例分割方面显著优于基线方法$\sim$ 44.7%hIoU和$\sim$ 50.4%hAP $_{50}$，而且在具有挑战性的zero-shot域转移任务上显示出强大的可转移性。参见项目网站https://dingry.github.io/projects/PLA。
2023-03-22 cs.CV
Simple Open-Vocabulary Object Detection with Vision Transformers
Google Research（谷歌研究院）
将简单的架构与大规模的预训练相结合，使图像分类得到了巨大的改进。对于目标检测，预训练和缩放方法不太完善，特别是在长尾和开放词汇设置中，其中训练数据相对较少。在本文中，我们提出了一个强大的食谱转移图像-文本模型开放词汇目标检测。我们使用标准的视觉Transformer架构，只需最少的修改，对比图像-文本预训练和端到端检测微调。我们对这种设置的缩放特性的分析表明，增加图像级预训练和模型大小可以在下游检测任务上产生一致的改进。我们提供了适应策略和正则化需要达到非常强大的性能zero-shot文本条件和单次图像条件目标检测。代码和模型可以在GitHub上找到。
2022-07-20 cs.CV
Mosaic3D: Foundation Dataset and Model for Open-Vocabulary 3D Segmentation
NVIDIA（英伟达）；POSTECH（浦项科技大学）
针对开放词汇3D场景理解，提出自动数据生成流水线构建大规模Mosaic3D-5.6M数据集，基于该数据设计结合对比学习3D编码器与轻量掩码解码器的Mosaic3D基础模型，在多项任务上取得最优结果。
2025-04-14 cs.CV
OpenVIS: Open-vocabulary Video Instance Segmentation
Academy for Engineering and Technology, Fudan University（复旦大学工程与应用技术研究院）；Amazon Web Services（亚马逊云科技）
针对开放词汇视频实例分割任务，提出InstFormer框架，通过对比损失优化掩码提议、适配CLIP构建实例编码器及通用滚动关联跟踪，在有限类别微调下实现基准最优与全监督任务的竞争力表现。
2024-08-17 cs.CV
RTGen: Generating Region-Text Pairs for Open-Vocabulary Object Detection
Carnegie Mellon University（卡内基梅隆大学）
本研究提出RTGen方法，通过文本到区域和区域到文本双向生成流程构建可扩展区域-文本对，并引入定位感知对比损失，显著提升开放词汇目标检测性能。
2024-05-30 cs.CV
Sparse Attention for Dense Open-Vocabulary Prediction in CLIP
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
研究在CLIP的最终视觉自注意力层用α-entmax变换替代逐行softmax，以解决其在密集开放词汇预测时注意力分散产生噪声的问题，在开放词汇任务评估中，注意力稀疏化增益与基线注意力偏离目标类程度成正比。
2026-07-14 cs.CV
Region-Aware Pretraining for Open-Vocabulary Object Detection with Vision Transformers
Google Research（谷歌研究院）
该研究提出区域感知开放词汇视觉Transformer（RO-ViT），通过区域位置嵌入裁剪、focal loss对比学习及新型目标提议优化，在开放词汇检测和图文检索任务上均取得SOTA表现。
2023-08-28 cs.AI cs.CL cs.CV
A Simple Framework for Open-Vocabulary Zero-Shot Segmentation
EPFL（瑞士联邦理工学院）；KU Leuven（比利时卢旺达大学）；CHUV（日内瓦大学医院）
提出SimZSS框架，利用冻结视觉模型和文本离散性，仅用图像-标题对数据，在8个GPU上15分钟内实现开放词汇零样本分割的SOTA性能。
2025-10-15 cs.CV
Hierarchical Attention Network for Few-Shot Object Detection via Meta-Contrastive Learning
Hanyang University（汉阳大学）
Few-Shot目标检测（FSOD）的目的是对新类别的少量图像进行分类和检测。现有的元学习方法没有充分利用支持和查询图像之间的功能，由于结构上的限制。我们提出了一个层次化的注意力网络与顺序大的感受野，充分利用查询和支持图像。此外，元学习不能很好地区分类别，因为它决定了支持图像和查询图像是否匹配。换句话说，基于度量的分类学习是无效的，因为它不直接工作。因此，我们提出了一种称为Meta对比学习的对比学习方法，它直接帮助实现元学习策略的目的。最后，我们建立了一个新的国家的最先进的网络，通过实现显着的利润。对于COCO数据集上的1-30个镜头的目标检测，我们的方法带来了2.3，1.0，1.3，3.4和2.4%的AP改进。我们的代码可在：https://github.com/infinity7428/hANMCL
2022-12-14 cs.CV
ExpAlign: Expectation-Guided Vision-Language Alignment for Open-Vocabulary Grounding
Department of Automation, Tsinghua University, China（清华大学自动化系）；University of Electronic Science and Technology of China, China（电子科技大学）；University of Copenhagen, Denmark（哥本哈根大学）；Lingsu Lab, China（灵素实验室）
ExpAlign通过理论指导的多实例学习框架，实现开放词汇接地任务中隐式token和实例选择，提升检测和分割性能，尤其在长尾类别上表现突出。
2026-01-30 cs.CV
ProxyCLIP: Proxy Attention Improves CLIP for Open-Vocabulary Segmentation
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
本文提出无需训练的 ProxyCLIP 框架，利用 VFMs 的空间特征对应形成代理注意力以增强 CLIP，并通过自适应归一化和掩码策略适配多种 VFM，在八个基准上显著提升开放词汇分割 mIoU。
2024-08-09 cs.CV
Open-Vocabulary Point-Cloud Object Detection without 3D Annotation
本文提出分治策略解决开放词汇3D点云检测，利用2D图像和视觉-语言预训练模型监督点云检测器定位与分类，并设计去偏三重态跨模态对比学习，实现无需3D标注的检测，在ScanNet和SUN RGB-D上显著优于基线。
2023-05-17 cs.CV
MVP-SEG: Multi-View Prompt Learning for Open-Vocabulary Semantic Segmentation
Beihang University（北京航空航天大学）；Xiaohongshu Inc（小红书公司）
本文提出 MVP-SEG 方法，通过正交约束损失学习多视图提示并结合全局提示精炼，实现 CLIP 像素级特征适配，显著提升开放词汇语义分割性能。
2023-04-14 cs.CV
YOLO-World: Real-Time Open-Vocabulary Object Detection
Tencent PCG（腾讯平台与内容事业群）；ARC Lab（ARC实验室）；Huazhong University of Science & Technology（华中科技大学）；Tencent AI Lab（腾讯AI实验室）
本文提出YOLO-World，通过视觉-语言建模与大规模预训练赋予YOLO开放词汇检测能力，并以RepVL-PAN和区域-文本对比损失实现零样本高效检测，在LVIS上达到35.4 AP和52.0 FPS，兼顾精度与速度。
2024-02-22 cs.CV
Instance Brownian Bridge as Texts for Open-vocabulary Video Instance Segmentation
School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院）；Tsinghua University（清华大学）；Xiamen University（厦门大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出 BriVIS，通过 TIR 将帧级实例查询连接为布朗桥，并利用 BTA 对比学习实现桥级实例表示与文本对齐，在 BURST 上显著优于 OV2Seg。
2024-01-18 cs.CV
Multi-Grained Cross-modal Alignment for Learning Open-vocabulary Semantic Segmentation from Text Supervision
Beihang University（北京航空航天大学）；Hangzhou Innovation Institute（杭州创新研究院）
针对文本监督开放词汇语义分割的对齐粒度差距问题，提出多粒度跨模态对齐框架，结合伪多粒度语义对应与难样本策略实现细粒度对齐，还设计自适应语义单元缓解分割缺陷，仅用CC3M训练即超越SOTA。
2024-03-06 cs.CV
OpenSplat3D: Open-Vocabulary 3D Instance Segmentation using Gaussian Splatting
RWTH Aachen University（亚琛工业大学）；Robert Bosch GmbH（博世公司）
提出 OpenSplat3D，利用特征溅射、SAM 实例掩码、对比学习和视觉语言嵌入，实现无需人工标注的文本驱动开放词汇 3D 实例分割。
2025-06-09 cs.CV
TagCLIP: A Local-to-Global Framework to Enhance Open-Vocabulary Multi-Label Classification of CLIP Without Training
Zhejiang University（浙江大学）；Hangzhou Dianzi University（杭州电子科技大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；FABU Inc.（法布科技（FABU Inc.））；Nantong Port Group（南通港口集团）
TagCLIP提出一种无需训练的局部到全局框架，通过块级分类、双掩码注意力精炼和类别级重识别，显著提升冻结CLIP在开放词汇多标签分类上的性能，并验证了生成标签在弱监督语义分割中的有效性。
2023-12-20 cs.AI cs.CV
An Iterative Feedback Mechanism for Improving Natural Language Class Descriptions in Open-Vocabulary Object Detection
The Charles Stark Draper Laboratory, Inc.（查尔斯·斯塔克·德雷珀实验室公司）
针对开放词汇目标检测中非技术用户的自然语言类别描述优化需求，提出结合文本嵌入分析与对比样本嵌入组合的迭代反馈机制，经多个公开模型验证可量化提升检测性能。
2025-03-21 cs.CL cs.CV
CLIPSelf: Vision Transformer Distills Itself for Open-Vocabulary Dense Prediction
Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；SenseTime Research and Tetras.AI（商汤科技研究院与Tetras.AI）；Shanghai AI Laboratory（上海人工智能实验室）
针对 CLIP ViT 从全局图像迁移到局部区域时的域偏移问题，本文提出 CLIPSelf 自蒸馏方法，在无需区域-文本对的情况下增强区域-语言对齐，并在多项开放词汇密集预测基准上达到最优性能。
2024-01-24 cs.CV
Masked Point-Entity Contrast for Open-Vocabulary 3D Scene Understanding
State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI）；Tsinghua University（清华大学）
本文提出MPEC方法，利用3D实体-语言对齐和点-实体一致性学习实体特定特征表示，在ScanNet上达到最先进水平，并在8个数据集上展现出卓越的零样本理解与持续性能提升。
2025-04-28 cs.CL cs.CV
Region-centric Image-Language Pretraining for Open-Vocabulary Detection
Google DeepMind（谷歌DeepMind）
提出基于区域中心图像-语言预训练的开放词汇检测方法，利用对比损失和移位窗口学习，在LVIS和COCO基准上取得领先性能。
2024-07-19 cs.AI cs.CV cs.LG
DSAA: Dual-Stage Attribute Activation for Fine-grained Open Vocabulary Detection
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing E-Hualu Information Technology Co., Ltd.（北京亿华鲁信息技术有限公司）；State Key Laboratory of General Artificial Intelligence, BIGAI, Beijing, China（通用人工智能国家重点实验室，BIGAI，北京，中国）
提出DSAA框架，通过文本嵌入阶段的属性前缀适配器和BERT编码阶段的键/值调制器增强属性语义，并引入属性感知对比损失，提升细粒度开放词汇检测性能。
2026-05-29 cs.CV
RelateAnything: Real-Time Open-Vocabulary Relation Prediction From Any Inputs
RelateAnything是一个53M参数的开放词汇关系预测模型，接受任意区域输入和推理时提供的谓词词汇表，无需对象标签，在跨数据集基准上平均召回率提升2.3-3.5倍，并构建了RA-4M语料库和OV-SGG-Bench基准。
2026-09-14 cs.CV
CorrCLIP: Reconstructing Patch Correlations in CLIP for Open-Vocabulary Semantic Segmentation
South China University of Technology（南方科技大学）；Pengcheng Laboratory（鹏城实验室）
针对CLIP因块相关性不一致难以适配开放词汇语义分割的问题，提出CorrCLIP，通过SAM限定块交互范围、自监督模型优化相似度、增设分支增强特征及掩码更新分割图，在8个基准上取得更优性能。
2025-08-01 cs.CV
Open-Vocabulary and Referring Segmentation for 3D Gaussians Using 2D Detectors
Johns Hopkins University（约翰霍普金斯大学）
提出GaussDet方法，利用离散的2D开放词汇检测器与指代表达能力，通过视图聚合语义标签分布实现3D场景的开放词汇分割和指代分割，在零样本设置下显著提升指代分割性能。
2026-06-29 cs.CV
CLIP-VIS: Adapting CLIP for Open-Vocabulary Video Instance Segmentation
School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；School of Big Data and Software Engineering, Chongqing University（重庆大学大数据与软件学院）
本研究提出CLIP-VIS网络，通过引入类别无关掩码生成、时序topK增强匹配和加权开放词汇分类三个模块，将冻结的CLIP适配于开放词汇视频实例分割，在新类别上效果显著，性能优于现有方法。
2024-10-08 cs.CV
High-Quality Mask Tuning Matters for Open-Vocabulary Segmentation
Nankai University（南开大学）；Sun Yat-sen University（中山大学）；ByteDance Inc.（字节跳动公司）
本文提出 MaskCLIP++ 微调框架，通过使用真实掩码替代生成掩码并引入一致性对齐原则，显著提升了 CLIP 在开放词汇分割任务中的掩码分类性能。
2025-03-12 cs.CV
Enhancing Open-Vocabulary Object Detection through Multi-Level Fine-Grained Visual-Language Alignment
University of Minnesota（明尼苏达大学）；Meta
VLDet通过多级细粒度视觉-语言对齐提升开放词汇物体检测性能，引入VL-PUB模块和SigRPN块，实现新类别检测的显著提升。
2026-01-31 cs.CV
CQ-DINO: Mitigating Gradient Dilution via Category Queries for Vast Vocabulary Object Detection
提出CQ-DINO框架，通过将分类转化为目标查询与可学习类别查询的对比任务，并引入图像引导的查询选择机制，有效缓解了海量词汇目标检测中的正负梯度稀释问题，在V3Det上超越先前方法2.1% AP。
2025-10-10 cs.CV
Harnessing Vision Foundation Models for High-Performance, Training-Free Open Vocabulary Segmentation
City University of Hong Kong（香港城市大学）；University of Sydney（悉尼大学）
提出无需训练的Trident框架，采用“先拼接后分割”范式结合CLIP、DINO和SAM解决分辨率限制，通过全局聚合和提示细化策略，在八个基准上将mIoU从44.4提升至48.6。
2024-11-14 cs.CV
Standalone DINOv3 for Training-Free Open-Vocabulary Semantic Segmentation in Remote Sensing
针对遥感语义分割标注成本高的问题，提出无需训练的DinoSplat-OV框架，结合DINOv3的文本感知拉普拉斯传播与高斯溅射上采样模块，在多数据集上取得优于现有方法的性能，填补了DINO系列模型在该领域的空白。
2026-08-05 cs.AI cs.CV
CLIPer: Hierarchically Improving Spatial Representation of CLIP for Open-Vocabulary Semantic Segmentation
Tianjin University（天津大学）；Chongqing University（重庆大学）；Zhengzhou University（郑州大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出CLIPer层次化框架，通过早期层融合和扩散模型细粒度补偿改进CLIP空间表示，在多个开放词汇语义分割数据集上取得最优性能。
2024-11-21 cs.CV
TagCLIP: Improving Discrimination Ability of Open-Vocabulary Semantic Segmentation
The Chinese University of Hong Kong (CUHK)（香港中文大学（CUHK））；SmartMore（思谋科技）
TagCLIP通过解耦语义匹配与可靠性判断并引入可信token，提升CLIP在开放词汇语义分割中对未见类别的判别能力，在多个基准上显著提高IoU。
2024-09-03 cs.CV
DetCLIPv2: Scalable Open-Vocabulary Object Detection Pre-training via Word-Region Alignment
Hong Kong University of Science and Technology（香港科技大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Shenzhen Campus of Sun Yat-Sen University（中山大学深圳校区）
本文提出DetCLIPv2框架，通过端到端学习大规模图文对的细粒度词-区域对齐并采用混合监督，在LVIS基准上取得40.4%零样本AP，大幅超越现有方法及全监督模型。
2023-04-10 cs.CV
Consistency Beyond Contrast: Enhancing Open-Vocabulary Object Detection Robustness via Contextual Consistency Learning
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Pengcheng Laboratory（鹏城实验室）；CUHK（香港中文大学）
本文提出上下文一致性学习框架，通过上下文自举数据生成和上下文一致性损失提升开放词汇物体检测在不同场景下的鲁棒性，实验表明其在OmniLabel和D3数据集上分别提升16.3和14.9 AP。
2026-03-27 cs.CV
Modulating CNN Features with Pre-Trained ViT Representations for Open-Vocabulary Object Detection
University of Electronic Science and Technology of China（电子科技大学）
提出VMCNet双分支骨干网络，通过VMC模块利用预训练ViT表示调制可训练CNN特征，在保持开放词汇泛化能力的同时增强检测表示，显著提升了新类别目标检测性能。
2025-03-06 cs.CV
3D Annotation-Free Learning by Distilling 2D Open-Vocabulary Segmentation Models for Autonomous Driving
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Zhongke JingYu Sensing Technology Co., Ltd（中科京宇传感技术有限公司）；Waytous（维图思）
本文提出AFOV框架，借助2D开放词汇分割模型，通过三模态对比预训练、伪标签跨模态蒸馏与AFI模块实现无3D标注点云学习，并在nuScenes和SemanticKITTI上取得领先结果。
2025-01-07 cs.CV
Enabling Training-Free Text-Based Remote Sensing Segmentation
SnT, University of Luxembourg（SnT，卢森堡大学）
本研究提出无需额外训练的遥感分割方法，结合对比和生成型VLMs与SAM，实现零样本开放词汇语义分割。
2026-02-19 cs.CV
SDDF: Specificity-Driven Dynamic Focusing for Open-Vocabulary Camouflaged Object Detection
Shenzhen University（深圳大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出SDDF方法，通过专门性感知子描述和动态聚焦提升开放词汇伪装物体检测性能，在OVCOD-D基准上达到56.4的AP。
2026-03-27 cs.CV
FA-Seg: A Fast and Accurate Diffusion-Based Method for Open-Vocabulary Segmentation
University of Information Technology（信息科技大学）；Vietnam National University（越南国家大学）
FA-Seg提出一种基于扩散模型的快速准确开放词汇分割框架，通过双提示机制、层次注意力细化方法和测试时翻转方案提升分割质量，实现高效且高精度的分割性能。
2026-04-29 cs.CV
MedROV: Towards Real-Time Open-Vocabulary Detection Across Diverse Medical Imaging Modalities
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
MedROV是首个实时开放词汇医学影像检测模型，通过大规模数据集和伪标签策略提升检测性能，实现40 mAP50的提升并达到70 FPS的实时处理速度。
2025-11-25 cs.AI cs.CV
Structure-Aware Feature Rectification with Region Adjacency Graphs for Training-Free Open-Vocabulary Semantic Segmentation
The MIx Group, School of Computer Science University of Birmingham（米克集团，计算机科学学院，伯明翰大学）
本文提出基于区域邻接图的结构感知特征校正方法，通过增强局部辨别能力来提升开放词汇语义分割的性能。
2025-12-08 cs.AI cs.CV
SegCLIP: Patch Aggregation with Learnable Centers for Open-Vocabulary Semantic Segmentation
JD AI Research（京东人工智能研究院）；Southwest Jiaotong University（西南交通大学）
提出SegCLIP，一种基于CLIP的无标注开放词汇语义分割方法，通过可学习中心聚合补丁，结合重建和KL损失，在多个基准上提升分割精度。
2023-06-20 cs.AI cs.CV
dinov3.seg: Open-Vocabulary Semantic Segmentation with DINOv3
IITB-Monash Research Academy（IITB-莫纳什研究学院）；IIT Bombay（印度理工学院班加罗尔）；Monash University（莫纳什大学）
本文提出dinov3.seg，通过改进DINOv3模型实现开放词汇语义分割，结合文本嵌入与视觉特征，提升复杂场景下的分割精度与鲁棒性。
2026-03-19 cs.AI cs.CV
OV-DQUO: Open-Vocabulary DETR with Denoising Text Query Training and Open-World Unknown Objects Supervision
Harbin Institute of Technology（哈尔滨工业大学）；Shenzhen University（深圳大学）；University of Chinese Academy of Sciences（中国科学院大学）；Harbin Institute of Technology, Chongqing Research Institute（哈尔滨工业大学重庆研究院）；CECloud Computing Technology Co., Ltd（天翼云计算技术有限公司）
提出OV-DQUO，通过通配符匹配和去噪文本查询训练，缓解开放词汇检测中基础与新颖类别的置信度偏差，在OV-COCO和OV-LVIS上取得45.6 AP50和39.3 mAP的最新结果。
2024-08-21 cs.AI cs.CV
GCL: Gradient-Guided Contrastive Learning for Medical Image Segmentation with Multi-Perspective Meta Labels
Zhejiang University（浙江大学）；University of Notre Dame（圣母大学）
本文提出GCL方法，通过梯度缓解器统一多视角元标签以解决语义矛盾，并利用梯度过滤器筛选判别性像素对，从而在有限标注下提升医学图像分割性能与泛化能力。
2023-09-16 cs.AI cs.CV
CLIM: Contrastive Language-Image Mosaic for Region Representation
Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）
针对开放词汇目标检测中区域-文本对齐标注成本高的问题，提出CLIM方法，通过拼接图像构造伪区域，利用对比损失和图像-文本对学习对齐，有效提升开放词汇检测器性能及视觉语言模型区域表征能力。
2023-12-19 cs.CV
Panoptic Vision-Language Feature Fields
ETH Zürich（苏黎世联邦理工学院）
本文提出 PVLFF，通过蒸馏2D视觉-语言特征并结合实例对比学习构建3D特征场，首次实现3D开放词汇全景分割，并在多个数据集上达到接近闭集SOTA的性能。
2024-01-18 cs.AI cs.CL cs.CV
Large-vocabulary forensic pathological analyses via prototypical cross-modal contrastive learning
本文提出专为法医病理学设计的视觉语言模型SongCi，通过原型跨模态自监督对比学习，在多中心大规模数据上预训练，在多项法医任务中超越现有AI模型，表现媲美资深病理学家，是首个直接处理千兆像素全切片图像的大词汇量计算病理学模型。
2024-07-20 cs.AI cs.CL cs.CV
Open-Vocabulary Mobile Manipulation Based on Double Relaxed Contrastive Learning with Dense Labeling
Keio University（庆应义塾大学）
本研究提出RelaX-Former模型，通过双重松弛对比学习从正样本、无标签正样本和负样本中学习鲁棒表示，解决家庭服务机器人在开放词汇指令下从大量图像中检索目标物品和容器的挑战，零样本迁移物理实验成功率达75%。
2024-12-24 cs.CL cs.CV cs.RO
GALA: Guided Attention with Language Alignment for Open Vocabulary Gaussian Splatting
Technical University of Munich（慕尼黑技术大学）；Universitat Politècnica de Catalunya（巴塞罗那技术大学）；Google（谷歌）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Tubingen（图宾根大学）；ETH Zurich（苏黎世联邦理工学院）；Visualais
GALA提出基于3DGS的开放词汇场景理解框架，通过自监督对比学习和双码本交叉注意力模块实现视角无关语义嵌入，在降低内存的同时支持2D/3D开放词汇查询。
2025-08-21 cs.CV
Hybrid Gaussians for Robust Open-Vocabulary 3D Segmentation with Multi-View Object Association and Boundary Refinement
Durham University（杜伦大学）；Shanghai Jiao Tong University（上海交通大学）
针对开放词汇3D分割中多视角身份不稳定和对象判别性弱的问题，提出混合高斯体表示，结合多视角对象关联与边界重建优化，在LERF上达到59.1% mIoU，相对提升13.4%。
2026-09-24 cs.CV
Weakly Supervised Human-Object Interaction Detection in Video via Contrastive Spatiotemporal Regions
MIT（麻省理工学院）；CIIRC CTU（捷克理工大学计算机科学与人工智能研究所）；Adobe（奥多比）
我们介绍了弱监督学习的任务，用于检测视频中的人和对象的交互。我们的任务带来了独特的挑战，因为系统不知道视频中存在什么类型的人与物体的交互，也不知道人与物体的实际时空位置。为了解决这些挑战，我们引入了一种对比性弱监督训练损失，旨在将视频中的时空区域与动作和对象词汇相关联，并鼓励移动对象的视觉外观的时间连续性作为自我监督的一种形式。为了训练我们的模型，我们引入了一个数据集，该数据集包括超过6.5k个带有人机交互注释的视频，这些注释是从与视频相关的句子标题中半自动策划的。我们证明了在弱监督基线上改进的性能，这些基线适合我们在视频数据集上的任务。
2021-10-07 cs.CV
