Adventurer's Treasure Hunt: A Transparent System for Visually Grounded Compositional Visual Question Answering based on Scene Graphs
University of Bremen(不来梅大学)
为了提高VQA推理过程的透明性和可视性,提出了一个基于场景图的组合式VQA任务模块化系统。我们的系统被称为“冒险家的寻宝”(或ATH),以我们在模型的答案搜索过程和冒险家的宝藏搜索之间的类比命名。我们开发ATH时考虑了三个特征:1.通过设计,ATH允许我们明确量化每个子组件对整体VQA性能的影响,以及它们对各自子任务的性能。2.通过对寻宝之后的搜索任务进行建模,ATH本质上为处理的问题产生了一个明确的、基于视觉的推理路径。3. ATH是第一个GQA训练的VQA系统,它通过直接查询视觉知识库来动态提取答案,而不是从预先固定的答案词汇表上专门学习的分类器的输出分布中选择一个。我们报告了所有组件的详细结果及其对GQA数据集整体VQA性能的贡献,并表明ATH在所有检查系统中获得了最高的视觉基础分数。
2021-06-28 cs.CV
Learning Structured Visual Compositional Representations for Weakly Supervised Referring Expression Comprehension
The University of Western Australia(西澳大利亚大学);Murdoch University(莫道克大学);Sun Yat-sen University(中山大学);The Hong Kong University of Science and Technology(香港科技大学)
针对弱监督指称表达式理解问题,提出结构化视觉组合表示学习框架,显式建模一元对象嵌入和成对关系嵌入,引入组合对齐机制,实验证明该方法有效。
2026-07-07 cs.CV
CS-CLIP: Compositional Scene Graph-guided CLIP for Robust Compositional Reasoning
Seoul National University(首尔国立大学)
提出CS-CLIP,利用场景图构建结构化负样本,解决组合推理中元素特定偏差,实现稳健的最先进性能并保留通用能力。
2026-09-09 cs.AI cs.CV
Open-Vocabulary Camouflaged Object Segmentation
Dalian University of Technology(大连理工大学);X3000 Inspection Co., Ltd(X3000检测有限公司)
本文提出开放词汇伪装目标分割新任务,构建含11,483张精细标注图像的OVCamo数据集,并设计基于CLIP的单阶段基线OVCoser,通过迭代语义引导与结构增强高效捕获伪装目标,显著超越现有开放词汇分割方法。
2024-07-04 cs.CV
ConInfer: Context-Aware Inference for Training-Free Open-Vocabulary Remote Sensing Segmentation
Yunnan Normal University(云南师范大学);Xi’an University of Posts & Telecommunications(西安邮电大学)
本文提出ConInfer框架,通过联合预测多空间单元并建模其语义依赖,提升遥感图像分割的准确性和鲁棒性,实验表明在多个数据集上优于现有方法。
2026-03-31 cs.CV
VL-DINO: Leveraging CLIP Vision-Language Knowledge for Open-Vocabulary Object Detectio
Chongqing University(重庆大学);City University of Hong Kong(香港城市大学)
提出VL-DINO,通过QPSC模块构建高质量正样本增强视觉-语言对齐,VSE模块蒸馏CLIP视觉知识,ORSA模块对齐区域特征与文本嵌入,在LVIS零样本检测上达到36.3/38.1 AP。
2026-06-11 cs.CV
CAGE-SGG: Counterfactual Active Graph Evidence for Open-Vocabulary Scene Graph Generation
Institute of Intelligent Vision and Embodied Cognition(智能视觉与具身认知研究院)
提出基于反事实关系验证的开放词汇场景图生成框架,通过分解谓词为软证据基并使用反事实验证器确保关系有视觉证据支持,从而提升可靠性、可解释性和泛化能力。
2026-05-26 cs.CV
Compositional Image-Text Matching and Retrieval by Grounding Entities
Department of Computer Science, George Mason University(计算机科学系,乔治·马歇尔大学)
本文针对CLIP缺乏实体接地和组合匹配能力的问题,提出免学习的零样本嵌入增强方法,通过开放词汇检测器定位实体与关系并加权组合子图像嵌入,在多个匹配与检索基准上取得显著提升。
2025-05-04 cs.CV
DIFFCZSL: Compositional Zero-Shot Learning Regularized by Diffusion Representations
The Hong Kong University of Science and Technology(香港科技大学)
DIFFCZSL将预训练扩散模型的生成先验注入基于CLIP的组合零样本学习流程,通过对比对齐提升性能,在两类设置下均优于强基线,凸显了扩散表示与视觉-语言模型的互补优势。
2026-08-21 cs.CV
Attribute Retrieving for Open-Vocabulary Endoscopic Compositional Referring Segmentation
Virginia Commonwealth University(弗吉尼亚联邦大学);King’s College London(伦敦国王学院);University at Buffalo(纽约州立大学布法罗分校);Harvard Medical School(哈佛医学院)
该研究针对内镜图像指称分割面临的挑战,引入ReferEndoscopy基准,提出AR-ERIS框架,利用属性检索进行开放词汇量内镜组合式指称分割,在模拟和真实内镜数据上实现最优性能且泛化能力强。
2026-07-10 cs.CV
From Model Patterns to Abstract Semantics in Compositional Zero-Shot Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Key Laboratory of Network System and Network Culture(网络系统与网络文化北京市重点实验室);Key Laboratory of Interactive Technology and Experience System(交互技术与体验系统重点实验室)
本文提出CLEAR框架,通过从粗到细提取条件变体并进行完形填空式推理,在组合零样本学习中实现抽象语义推断,显著提升C-GQA和MIT-States数据集上的性能。
2026-09-15 cs.CV
State Space Models are Effective Sign Language Learners: Exploiting Phonological Compositionality for Vocabulary-Scale Recognition
William A. Shine Great Neck South High School(威廉·A·夏因大颈南高中)
本文提出PHONSSM模型,通过语音学分解提升手语识别性能,实现词汇级识别,优于现有方法,尤其在少样本场景下表现更佳。
2026-04-09 cs.CV
Human-like compositional learning of visually-grounded concepts using synthetic environments
Nanyang Technological University(南洋理工大学);Harvard University(哈佛大学);Centre for Frontier AI Research, A*STAR(新加坡科技研究局前沿人工智能研究中心)
本文在3D合成环境中研究多模态强化学习智能体如何通过试错学习将限定词和介词等复杂概念与视觉目标组合基础化,并证明课程学习可减少15%训练回合、提升学习效率,使智能体能够分解未见指令并快速适应新视觉组合。
2025-04-09 cs.CV
Learning a Hierarchical Compositional Shape Vocabulary for Multi-class Object Representation
University of Toronto(多伦多大学);University of Ljubljana(卢布尔雅那大学);University of Birmingham(伯明翰大学)
层次结构允许在多个表示级别的对象之间共享特征,可以以非常紧凑的方式对指数变化进行编码,并实现快速推理。这使得它们可能适合学习和识别更多数量的对象类。然而,到目前为止,分层方法的成功一直受到手工制作的功能或预定分组规则的使用的阻碍。本文提出了一种新的框架,用于学习表示多个对象类的分层组成形状词汇。该方法采用简单的轮廓片段,并学习其频繁的空间配置。这些被递归地组合成越来越复杂和类别特定的形状组合物,每个形状组合物都具有高度的形状可变性。在词汇表的顶层,组成足够大和复杂,以表示对象的整个形状。我们通过逐渐增加分析窗口的大小和降低学习形状配置的空间分辨率,一层接一层地学习词汇。较低的层是在所有类的图像上联合学习的,而词汇的较高层是通过一个接一个地呈现算法来增量学习的。实验结果表明,学习的多类对象表示与对象类的数量有利地缩放,并实现了最先进的检测性能,更快的推理以及更短的训练时间。
2014-08-23 cs.CV
Gate-and-Merge: Zero-shot Compositional Personalization of Vision Language Models
National University of Singapore(新加坡国立大学)
本文提出Gate-and-Merge框架,实现视觉语言模型的零样本组合个性化,通过轻量LoRA适配器和门控机制,在无需共现训练的情况下提升多概念联合识别性能。
2026-05-09 cs.AI cs.CV
Pro-Bench: Prompt-Robust Open-Vocabulary Visual Grounding Across Real-World Heterogeneous Environments
Montanuniversität Leoben(莱奥本矿业大学);Middlesex University(密德萨斯大学)
提出Pro-Bench基准,包含多领域RGB帧和丰富查询,系统评估16种开放词汇模型在真实环境中的提示鲁棒性,发现其强依赖架构,并揭示聚合mAP掩盖的恢复差异。
2026-09-24 cs.CV cs.RO
PCA-Seg: Revisiting Cost Aggregation for Open-Vocabulary Semantic and Part Segmentation
Nanjing University of Science and Technology(南京理工大学);Nanjing Normal University(南京师范大学);Department of Electrical and Computer Engineering, Sungkyunkwan University(成均馆大学电子与计算机工程系);University of Electronic Science and Technology of China(电子科技大学);State Key Laboratory of Intelligent Manufacturing of Advanced Construction Machinery(先进施工机械智能制造国家重点实验室)
本文提出PCA-Seg方法,通过并行成本聚合缓解类级语义与空间上下文之间的知识干扰,提升开放词汇语义和部分分割性能。
2026-03-18 cs.CV
Linear Spaces of Meanings: Compositional Structures in Vision-Language Models
AWS AI Labs(AWS人工智能实验室)
本文从几何和概率视角研究视觉-语言模型嵌入中的组合结构,将表示近似为少量“理想词语”向量的组合,并在CLIP上验证其可用于分类、去偏和检索等任务。
2024-01-11 cs.AI cs.CL cs.CV
GeoProg3D: Compositional Visual Reasoning for City-Scale 3D Language Fields
Rikkyo University(立命馆大学);University of Tokyo(东京大学);ATR(ATR研究所);Institute of Science Tokyo(东京科学研究院);National Institute of Informatics(国家信息研究所);NII LLMC(日本信息处理学会LLMC);Sony Semiconductor Solutions(索尼半导体解决方案)
提出GeoProg3D框架,通过地理感知3D语言场与地理视觉API,结合大语言模型实现城市规模高保真3D场景的自然语言组合推理,并在新基准GeoEval3D上显著优于现有方法。
2025-06-29 cs.CV
Structure-aware Prompt Adaptation from Seen to Unseen for Open-Vocabulary Compositional Zero-Shot Learning
University of Electronic Science and Technology of China(电子科技大学);Ningbo University(宁波大学);Southwest Jiaotong University(西南交通大学);Tongji University(同济大学)
本文提出Structure-aware Prompt Adaptation方法,通过利用嵌入空间中语义相关属性和对象的局部结构一致性,提升开放词汇组合零样本学习的泛化能力。
2026-03-04 cs.CV
SANEval: Open-Vocabulary Compositional Benchmarks with Failure-mode Diagnosis
Stony Brook University(石溪大学);nd Set AI Corp.(第二集AI公司);Rowan University(罗文大学)
SANEval提出一种开放词汇组合评估基准,结合大型语言模型和增强对象检测器,通过实验展示其在属性绑定、空间关系和数值任务上的评估效果优于现有基准。
2026-11-10 cs.AI cs.CV
GoDeep: Annotation-Free Open-Vocabulary 3D Scene Understanding via Language-Space Lifting
School of Rural, Surveying and Geoinformatics Engineering, NTUA(希腊国家技术大学农村、测量与地理信息工程学院)
GoDeep利用视觉-语言模型作为翻译器,在纯语言嵌入空间中直接聚合实体级描述,实现免标注的开放词汇3D场景理解,无需3D训练数据,性能优于CLIP基线并支持点级可解释性。
2026-09-09 cs.AI cs.CV
Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception
本文提出DeCLIP框架,通过解耦自注意力获得内容与上下文特征,并分别利用视觉基础模型和扩散模型增强局部判别力与空间一致性,在多种开放词汇稠密感知任务中取得最先进性能。
2026-10-27 cs.AI cs.CV
Open Vocabulary Compositional Explanations for Neuron Alignment
Department of Computer Science and Engineering University of California, Santa Cruz(计算机科学与工程系加州大学圣克ruz分校)
本文提出了一种开放词汇组合解释框架,通过语义分割生成掩码来实现神经元对齐,提升解释的灵活性和适用性。
2025-11-25 cs.AI cs.CV cs.LG
Hierarchical and Holistic Open-Vocabulary Functional 3D Scene Graphs for Indoor Spaces
Tsinghua University(清华大学);ETH Zürich(苏黎世联邦理工学院);MPI for Informatics(信息研究所);Dalian University of Technology(大连理工大学);Microsoft(微软);Stanford University(斯坦福大学);University of Lugano(卢加诺大学)
本文提出一种开放词汇管道,结合2D视觉定位和3D图优化,解决小规模密集相似实例的场景图推理问题,通过时间图优化和全局层次塑造提升室内空间的功能3D场景图生成能力。
2026-07-14 cs.CV cs.RO
DRPT: Disentangled and Recurrent Prompt Tuning for Compositional Zero-Shot Learning
Hong Kong Polytechnic University(香港理工大学);Shanghai AI Laboratory(上海人工智能实验室)
针对组合式零样本学习中视觉语言模型提示调优易因耦合陷入局部最优的问题,提出DRPT解耦循环提示调优框架,通过渐进式独立优化状态和物体令牌等策略,在多个基准上实现准确率与效率的提升。
2023-05-02 cs.AI cs.CV
MM-JudgeBias: A Benchmark for Evaluating Compositional Biases in MLLM-as-a-Judge
Seoul National University(首尔国立大学);NAVER Cloud AI(NAVER云AI);KAIST AI(韩国科学技术院人工智能实验室)
本文提出MM-JudgeBias基准,通过引入控制扰动和两个互补指标,评估MLLM-as-a-Judge中的组合偏见,揭示了九种偏见类型,并发现现有模型存在模态忽视和评估倾向性问题。
2026-04-21 cs.AI cs.CL cs.CV
Compositional Zero-Shot Learning with Contextualized Cues and Adaptive Contrastive Training
CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所);UNSW(新南威尔士大学)
针对基于 CLIP 的组合式零样本学习难以理解和关联属性与物体的问题,本文提出 ULAO 框架,通过上下文化原语理解与自适应困难负样本对比训练,在 CW 和 OW 场景的三个基准上达到最先进性能。
2024-12-10 cs.CV
SLAck: Semantic, Location, and Appearance Aware Open-Vocabulary Tracking
ETH Zürich(苏黎世联邦理工学院);INSAIT(INSAIT(国际计算机科学与技术研究所))
针对开放词汇多目标跟踪中现有方法未有效利用运动与语义线索的问题,提出SLAck框架,通过轻量级时空目标图早期融合语义、位置与外观先验,在相关基准新类别跟踪任务上取得最优性能。
2024-09-17 cs.CV
Sampling Bag of Views for Open-Vocabulary Object Detection
KAIST AI(韩国科学技术院AI研究院);Sogang University(西江大学)
提出基于概念对齐的视图袋采样方法,通过分组上下文相关概念并调整尺度优化嵌入对齐,在COCO和LVIS上提升新类别检测性能并减少80.3%的CLIP计算量。
2024-12-24 cs.AI cs.CV
Fine-Grained Image-Text Correspondence with Cost Aggregation for Open-Vocabulary Part Segmentation
KAIST, Republic of Korea(韩国科学技术院);Samsung Electronics, Republic of Korea(三星电子)
本文提出PartCATSeg框架,通过对象感知部件级代价聚合、组合损失和DINO结构指导解决开放词汇部件分割中的图文对齐与结构理解问题,显著提升了未见类别部件分割的泛化性能。
2025-08-08 cs.CV
Distributed Implicit Harm: A Compositional Safety Blind Spot in MLLM-Based Video Moderation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));State University of New York at Buffalo(纽约州立大学布法罗分校);Kuaishou Technology(快手科技)
该研究发现基于 MLLM 的视频 moderation 存在分布式隐含危害(DIH)这一组合安全盲点,开发多智能体合成框架构建含超9000个视频的数据集,测试30余种MLLM发现其检测DIH存在显著缺陷。
2026-09-02 cs.AI cs.CV
Ov3R: Open-Vocabulary Semantic 3D Reconstruction from RGB Videos
University of Bologna(博洛尼亚大学);USTC(中科大);BIT(北京理工);Monash University(墨尔本大学)
Ov3R通过结合CLIP语义和融合描述符,实现从RGB视频流中进行开放词汇语义3D重建,提升空间人工智能的实时性和语义感知能力。
2026-09-02 cs.CV
Semantic Part Segmentation using Compositional Model combining Shape and Appearance
University of California, Los Angeles(加州大学洛杉矶分校)
在本文中,我们研究的问题,语义部分分割的动物。这比标准的目标检测、目标分割和姿态估计任务更具挑战性,因为动物的语义部分通常具有相似的外观和高度变化的形状。为了应对这些挑战,我们建立了一个混合的组合模型来表示对象边界和语义部分的边界。我们将边缘,外观和语义部分线索到组成模型。鉴于部分级别的分割注释,我们开发了一种新的算法来学习的组合模型的各种姿势和观点的某些动物类的混合物。此外,一个线性复杂性算法提供了有效的推理组合模型使用动态规划。我们使用Pascal VOC 2010上新注释的数据集评估我们的方法,该数据集具有像素部分标签。实验结果证明了该方法的有效性。
2014-12-18 cs.CV
Enhancing Historical Image Retrieval with Compositional Cues
Computer Vision Lab, TU Wien(计算机视觉实验室,维也纳技术大学)
针对历史图像检索忽视非语义信息的问题,提出将CNN提取的图像构图线索显式融入检索模型,同时利用构图与语义信息,实验证明该方法优于仅依赖内容的方法,能更符合人类感知地检索图像。
2024-03-21 cs.AI cs.CV eess.IV
EviSplat: Preserving Multi-View Evidence in 3D Gaussian Splatting for Open-Vocabulary Segmentation
DGIST(大邱庆北科学技术院);Chubu University(中部大学);HUAWEI(华为);KAIST(韩国科学技术院);Elith Inc.(Elith公司)
EviSplat通过保留3D高斯泼溅中每个观测特征作为证据,并在查询时按相关性聚合,解决了查询前整合导致线索抑制的问题,实现了开放词汇分割的最先进性能。
2026-09-29 cs.AI cs.CV
SAFCAR: Structured Attention Fusion for Compositional Action Recognition
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一个一般的框架组成的动作识别-即动作识别的标签组成的更简单的组件,如主体,原子动作和对象。组合动作识别的主要挑战是,有一个组合的可能的动作,可以使用基本组件组成的大集合。然而,组合性也提供了一个可以利用的结构。为此,我们开发并测试了一种新的结构化注意力融合(SAF)的自我注意力机制,结合信息从目标检测,捕捉的动作的时间序列结构,与视觉线索,捕捉上下文信息。我们表明,我们的方法比当前最先进的系统更有效地识别新的动词-名词组合物,并且它可以从只有少数标记的示例中非常有效地推广到看不见的动作类别。我们在Something-Something-V2数据集的具有挑战性的Something-Else任务上验证了我们的方法。我们进一步表明,我们的框架是灵活的,可以推广到一个新的领域,显示竞争力的结果Charades-Fewshot数据集。
2020-12-17 cs.CV
Relation-Centric Open-Vocabulary 3D Gaussian Segmentation
Seoul National University(首尔大学)
提出PairGS框架,通过建模高斯间成对关系实现开放词汇3D高斯分割,无需逐场景优化,速度比优化方法快50倍。
2026-07-02 cs.CV
Aligning Bag of Regions for Open-Vocabulary Object Detection
Nanyang Technological University(南洋理工大学);The University of Hong Kong(香港大学);SenseTime Research and Tetras.AI(商汤研究院与Tetras.AI);Shanghai AI Laboratory(上海人工智能实验室)
预训练的视觉语言模型(VLM)学习在大规模数据集上对齐视觉和语言表示,其中每个图像-文本对通常包含一组语义概念。然而,现有的开放词汇对象检测器仅将区域嵌入与从VLM中提取的相应特征单独对齐。这样的设计使得场景中的语义概念的组成结构未被充分利用,尽管该结构可以被VLM隐式地学习。在这项工作中,我们提出了调整包的区域超出个别地区的嵌入。所提出的方法组上下文相关的区域作为一个袋子。包中区域的嵌入被视为句子中单词的嵌入,并且它们被发送到VLM的文本编码器以获得区域包嵌入,该区域包嵌入被学习为与由冻结VLM提取的相应特征对齐。应用于常用的Faster R-CNN,我们的方法在开放词汇COCO和LVIS基准的新类别上分别超过了4.6框AP 50和2.8掩模AP。代码和模型可在https://github.com/wusize/ovdet上获得。
2023-02-27 cs.CV
Beyond Open Vocabulary: Multimodal Prompting for Object Detection in Remote Sensing Images
School of Computer Science and Engineering, Beihang University, Beijing, China(计算机科学与工程学院,北京航空航天大学,中国)
RS-MPOD提出了一种多模态开放词汇检测框架,通过整合视觉和文本提示提升遥感图像中目标检测的稳定性与准确性。
2026-02-02 cs.CV
A Graph Theoretic Approach for Object Shape Representation in Compositional Hierarchies Using a Hybrid Generative-Descriptive Model
The University of Birmingham(伯明翰大学)
提出了一种基于图论的对象形状表示方法,并将其应用于一种层次化的组合结构中,称为组合层次结构(CHOP)。在所提出的方法中,词汇学习是使用一个混合生成描述模型。首先,使用最小条件熵聚类算法学习部件之间的统计关系。然后,描述部分的选择被定义为一个频繁子图发现问题,并使用最小描述长度(MDL)原则解决。最后,通过压缩内部数据表示与发现的子结构构造部件组合。形状表示和计算复杂性属性的方法和算法进行检查使用六个基准的二维形状图像数据集。实验表明,CHOP可以采用部分共享和索引机制,快速推理的部分组成使用学习形状词汇。此外,CHOP提供了更好的形状检索性能比国家的最先进的形状检索方法。
2015-01-23 cs.CV
ViCo-SAM3: Vision-Conditioned Alignment for Open-Vocabulary Camouflaged Object Segmentation
Jiangxi Normal University(江西师范大学);East China Normal University(华东师范大学)
ViCo-SAM3通过视觉条件模块动态调制文本嵌入,并设计跨模态绑定模块增强交互,以弥合语义鸿沟,在OVCamo基准上取得最先进性能。
2026-09-15 cs.CV
Modelling Spatio-Temporal Interactions For Compositional Action Recognition
Centre for Frontier AI Research(前沿人工智能研究中心);Institute of High Performance Computing(高性能计算研究所)
本文面向组合式动作识别,提出融合逐帧手物细粒度交互、长程时空交互及全局运动信息的 token 建模方法,并在 Something-Else 上取得最优性能。
2024-09-19 cs.CV
LASA: A Weak Supervision Method for Open-Vocabulary Scene Sketch Semantic Segmentation
Beijing University of Posts and Telecommunications(北京邮电大学)
提出LASA方法,通过跨层聚合Vision Transformer注意力图,在弱监督下实现开放词汇场景草图的语义分割,显著提升分割精度和空间一致性。
2026-06-11 cs.AI cs.CV
From Data to Modeling: Fully Open-vocabulary Scene Graph Generation
Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算机系);CAIR, HKISI-CAS(中国科学院香港创新研究院);MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所马克思主义学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
提出OvSGTR框架,利用类似DETR架构和关系感知预训练,实现全开放词汇场景图生成,在VG150上达到最先进性能。
2025-05-26 cs.CV
VLAD-VSA: Cross-Domain Face Presentation Attack Detection with Vocabulary Separation and Adaptation
Zhejiang University(浙江大学);Huawei Cloud(华为云);CASIA(中国科学院自动化研究所)
对于面部呈现攻击检测(PAD),大多数欺骗线索是微妙的局部图像模式(例如,局部图像失真、3D掩模边缘和剪切照片边缘)。现有PAD的表示方法采用简单的全局池化方法,但失去了局部特征的可区分性。本文采用VLAD聚合方法,利用视觉词汇对特征空间进行局部划分,从而保持局部特征的可区分性。我们进一步提出了词汇分离和自适应的方法来修改VLAD跨域PAD任务。提出的词汇分离方法将词汇分为领域共享和领域特定的视觉词,以应对跨领域场景下的活动和攻击面的多样性。所提出的词汇自适应方法在端到端训练中模仿k-means算法的最大化步骤,保证视觉词汇接近指定局部特征的中心,从而带来鲁棒的相似性度量。我们给出了插图和广泛的实验来证明VLAD的有效性与建议的词汇分离和适应方法在标准的跨域PAD基准。这些代码可在https://github.com/Liubinggunzu/VLAD-VSA上获得。
2022-02-21 cs.AI cs.CV
Training-Free Text-to-Image Compositional Food Generation via Prompt Grafting
Elmore Family School of Electrical and Computer Engineering, Purdue University(电气与计算机工程学院,普渡大学);Department of Systems Design Engineering, University of Waterloo(系统设计工程系,滑铁卢大学)
无需训练的文本到图像组合食品生成方法通过提示嫁接实现对多食物图像生成的可控分离。
2026-01-25 cs.CV
Unveiling the Unknown: Open Vocabulary Object Detection with Scene Graphs
Faculty of Electrical Engineering and Computer Science, Ningbo University(宁波大学电气工程与计算机科学学院);Faculty of Computing, Georg-August-Universität Göttingen(哥廷根大学计算机学院);Merchants’ Guild Economics and Cultural Intelligent Computing Laboratory, Ningbo University(宁波大学商帮经济与文化智能计算实验室);School of Software Technology, Zhejiang University(浙江大学软件学院)
提出场景引导的关系建模检测框架,利用场景图捕获候选区域与上下文对象之间的结构化语义和空间关系,并通过关系注意力模块和场景文本对齐分支增强开放词汇目标检测性能。
2026-06-04 cs.CV
RT-DETR-World: Transferring Rich LLM Semantics to Real-Time Open-Vocabulary Detection
Tianjin University(天津大学);Shenzhen University of Advanced Technology(深圳理工大学);Shanghai Jiaotong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
针对实时开放词汇检测中紧凑模型难以吸收丰富语义的问题,提出RT-DETR-World,通过训练时迁移LLM描述语义并保持推理轻量匹配,实现竞争性零样本精度与高效权衡。
2026-11-06 cs.CV
Open-Vocabulary Object Detection via Scene Graph Discovery
Monash University(莫纳什大学)
本文提出基于场景图的发现网络SGDN,通过场景图引导注意力、偏移回归和跨模态学习,利用场景图线索提升开放词汇目标检测性能,并首次实现OV场景图检测。
2023-07-07 cs.CV
Textual Decomposition Then Sub-motion-space Scattering for Open-Vocabulary Motion Generation
Shanghai Jiao Tong University(上海交通大学);Tencent Youtu Lab(腾讯优图实验室);East China Normal University(华东师范大学);Zhejiang University(浙江大学)
本文提出DSO-Net,通过文本分解和子运动空间散射,将开放词汇运动生成从外推转为插值,显著提升泛化性能。
2024-11-06 cs.CV
Primitive-Driven Compositional Forensic Visual Prompting for Open-World Face Anti-Spoofing
School of Computer Science, University of South China(南华大学计算机学院);MAIS, CASIA(中国科学院自动化研究所模式识别国家重点实验室);University of California, Merced(加州大学默塞德分校)
针对开放世界人脸活体检测的协变量与语义偏移问题,提出基元驱动的组合式取证视觉提示框架,在9个协议上实现先进性能,具备强跨域泛化与未见攻击适配能力。
2026-08-25 cs.CV
SENSE: Stereo OpEN Vocabulary SEmantic Segmentation
Centre Inria d’Universite Cote d’Azur, France(法国里莫纳大学信息科学研究中心);NXP Semiconductors, France(法国恩智科半导体公司)
本文提出SENSE,通过立体视觉与视觉语言模型提升开放词汇语义分割的精度,实验显示在PhraseStereo数据集上平均精度提升2.9%,并在Cityscapes和KITTI上取得更好的结果。
2026-04-17 cs.CV cs.RO
Human-Object Interaction Detection Collaborated with Large Relation-driven Diffusion Models
University of Technology Sydney(悉尼科技大学);Zhejiang University(浙江大学)
本文提出 DIFFUSIONHOI,利用文本到图像扩散模型的中低层视觉与组合推理能力,通过关系反演嵌入生成交互图像并提取 HOI 线索,在三个数据集的常规与零样本设置下达到 SOTA。
2024-10-26 cs.CV