Retrieve What's Missing: Coverage-Maximizing Retrieval for Consistent Long Video Generation
Korea University(韩国大学);KAIST(韩国科学技术院)
提出基于深度的覆盖最大化检索增强生成框架COVRAG,利用预训练3D先验构建轻量级覆盖图作为记忆证据,通过迭代检索最大化残差覆盖来提升长视频生成的几何一致性。
2026-11-10 cs.CV
Use What You Have: Video Retrieval Using Representations From Collaborative Experts
University of Oxford(牛津大学)
互联网上视频的快速增长使得使用自然语言查询来搜索视频内容成为一个重大挑战。人工生成的视频数据集“在野外”的查询在具体程度上有很大差异,有些查询描述了特定的细节,如著名身份的名称,语音内容或屏幕上的文本。我们的目标是将视频中的多模态、极高维信息浓缩成一个单一的、紧凑的视频表示,用于使用自由形式文本查询的视频检索任务,其中的特异性程度是开放式的。为此,我们以预先训练的语义嵌入的形式利用现有的知识,其中包括“一般”特征,如视觉内容的运动,外观和场景特征。我们还探讨了使用更“具体”的线索,从ASR和OCR的间歇性可用于视频,并发现这些信号仍然具有挑战性,有效地用于检索。我们提出了一个协作专家模型,从这些不同的预先训练的专家汇总信息,并评估我们的方法经验上的五个检索基准:MSR-VTT,LSMDC,MSVD,DiDeMo和ActivityNet。代码和数据可以在www.robots.ox.ac.uk/~vgg/research/collaborative-experts/上找到。本文包含对上一版本中报告的结果的更正。
2020-02-14 cs.CV
Leveraging Modality Tags for Enhanced Cross-Modal Video Retrieval
School of Computer Science University of Bristol(计算机科学学院英国布里斯托尔大学)
针对视频检索的跨模态对齐问题,提出MAC-VR方法,利用基础模型提取的模态特定标签,结合辅助潜在概念的学习与对齐增强跨模态匹配,在多个数据集上取得优于或比肩现有SOTA的效果。
2025-08-31 cs.CV
CMAG: Concept-Scaffolded Retrieval for Marketplace Avatar Generation
Arizona State University(亚利桑那州立大学);Roblox Corporation(Roblox公司)
本文提出CMAG框架,通过概念引导的检索和验证组合方法,解决市场人像生成中因文本模糊、元数据噪声和部件不一致导致的检索问题,提升生成人像的拓扑一致性和组合正确性。
2026-05-18 cs.CV
Furnishing Your Room by What You See: An End-to-End Furniture Set Retrieval Framework with Rich Annotated Benchmark Dataset
Zhejiang University(浙江大学)
理解室内场景已经引起了计算机视觉界的极大兴趣。然而,很少有工作集中在场景中的家具的理解和大规模的数据集也缺乏推进该领域。在本文中,我们首先通过介绍DeepFurniture来填补这一空白,DeepFurniture是一个注释丰富的大型室内场景数据集,包括24 k室内图像,170 k家具实例和20 k唯一家具身份。在数据集上,我们引入了一个新的基准,命名为家具集检索。给定一张室内照片作为输入,该任务需要检测所有家具实例并搜索一组匹配的家具标识。为了解决这个具有挑战性的任务,我们提出了一个功能和上下文嵌入的框架。它包含3个主要贡献:(1)引入了一种改进的Mask-RCNN模型,并增加了一个基于掩码的分类器,以更好地利用掩码信息来缓解家具检测上下文中的遮挡问题。(2)提出了一种多任务风格的Siamese网络来训练特征嵌入模型,该网络由一个自聚类伪属性监督的分类子网和一个判断输入对是否匹配的验证子网组成。(3)为了对室内设计中家具实体之间的关系进行建模,采用上下文嵌入模型对检索结果进行重新排序。大量的实验证明了每个模块和整个系统的有效性。
2020-01-31 cs.CV
ConceptFormer: Learning Adaptive Latent Concepts for Query-Document Alignment in Visual Document Retrieval
Northeastern University(东北大学);Tsinghua University(清华大学);Peking University(北京大学)
针对视觉文档检索中现有监督信号的局限,本文提出ConceptFormer框架,以自适应潜在概念为中间表示衔接语义鸿沟,在基准测试中较最强基线实现了16.7%、22.1%的NDCG@10相对提升,性能优异。
2026-08-24 cs.CV cs.IR
Dual Encoding for Zero-Example Video Retrieval
Zhejiang Gongshang University(浙江工商大学);Renmin University of China(中国人民大学);Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Alibaba Group(阿里巴巴集团)
本文针对零示例视频检索这一具有挑战性的问题进行了研究。在这样的检索范例中,终端用户通过在没有提供视觉示例的情况下以自然语言文本描述的自组织查询来搜索未标记的视频。给定视频作为帧序列和查询作为词序列,需要有效的序列到序列跨模态匹配。大多数现有的方法是基于概念的,从查询和视频中提取相关概念,并相应地建立两种模式之间的关联。相比之下,本文采用了一种无概念的方法,提出了一种双重深度编码网络,将视频和查询编码为它们自己的强大密集表示。双重编码在概念上简单,实际上有效并且是端到端的。在MSR-VTT、TRECVID 2016和2017 Ad-hoc视频搜索三个基准测试上的实验表明,该解决方案为零示例视频检索建立了一种新的最先进的技术。
2019-03-19 cs.CV
End-to-end Concept Word Detection for Video Captioning, Retrieval, and Question Answering
Seoul National University(首尔大学)
我们提出了一个高层次的概念词检测器,可以与任何视频到语言模型。它以视频作为输入,并生成一系列概念词作为语言生成模型的有用语义先验。建议的字检测器有两个重要的属性。首先,它不需要任何外部知识来源进行培训。其次,所提出的词检测器是可训练的,在一个端到端的方式与任何视频到语言模型。为了最大化检测到的词的值,我们还开发了一种语义注意力机制,该机制选择性地关注检测到的概念词,并将它们与语言模型中的词编码和解码相融合。为了证明所提出的方法确实提高了多个视频到语言任务的性能,我们参加了LSMDC 2016的四个任务。我们的方法在其中三个方面达到了最好的准确率,包括填空,多项选择测试和电影检索。我们在另一项任务--电影描述上也取得了类似的成绩。
2017-07-25 cs.CV
Who Remains, What Changes: Identity Anchored Composed Gait Retrieval
Beijing University of Posts and Telecommunications(北京邮电大学);Huazhong University of Science and Technology(华中科技大学)
本文提出组合步态检索(CoGR)新任务,构建了首批步态-语言数据集,提出基于身份锚定的ComposeGait框架,在两个基准上取得最优R@1,为CoGR提供强基线。
2026-09-02 cs.CV
Selecting Relevant Web Trained Concepts for Automated Event Retrieval
Center For Automation Research, University of Maryland, College Park(马里兰大学帕克分校自动化研究中心)
复杂事件检索是一个具有挑战性的研究问题,特别是在没有训练视频的情况下。收集训练视频的替代方案是先验地训练大型语义概念库。给定事件的文本描述,事件检索通过选择与事件描述语言相关的概念并融合看不见的视频上的概念响应来执行。然而,定义一个详尽的概念词典和预训练它需要大量的计算资源。因此,最近的方法自动化的概念发现和训练,利用大量的弱注释的Web数据。紧凑的视觉上突出的概念是自动获得的概念对,或更一般地说,n-gram的使用。然而,并不是所有视觉上突出的n-gram都一定对事件查询有用--一些概念的组合可能在视觉上紧凑但不相关--这会极大地影响性能。我们提出了一个事件检索算法,构造对自动发现的概念,然后修剪这些概念是不太可能有助于检索。修剪取决于查询和正在评估的特定视频实例。我们的方法还解决了校准和领域自适应问题时出现的概念检测器看不见的视频。我们证明了在TRECVID MED 13数据集上比其他基于视觉的系统有很大的改进。
2015-09-25 cs.CL cs.CV cs.IR
MulVec: Fine-Grained Role-Aware Matching for Training-Free Zero-Shot Composed Image Retrieval
Institute of Information Engineering, CAS(中国科学院信息工程研究所);Johns Hopkins University(约翰斯·霍普金斯大学)
提出MULVEC方法,通过结构化查询的四个检索角色进行细粒度匹配,在三个图像检索数据集及三种骨干规模下提升了零样本组合图像检索性能。
2026-09-07 cs.CV
What Matters for Grocery Product Retrieval with Open Source Vision Language Models
AI Graduate Program, University of the Philippines, Diliman, Quezon City(菲律宾大学达林学院人工智能研究生项目);EEEI, University of the Philippines, Diliman, Quezon City(菲律宾大学达林学院电子工程系)
本文研究了开源视觉语言模型在杂货产品检索任务中的表现,发现数据质量比规模更重要,高效模型可以胜出,并且存在召回率差距的问题。
2026-05-18 cs.CV
What Drives Hierarchy-Aware Image Retrieval? Taxonomy Alignment, Objective Choice, and Geometry
Southeast University(东南大学)
本研究通过2x2因子实验,发现分类法感知监督目标比几何选择更显著提升层级检索性能,且真实语义对齐至关重要。
2026-09-23 cs.CV
Training-free Zero-shot Composed Image Retrieval with Local Concept Reranking
Queen Mary University of London(伦敦玛丽女王大学);University College London(伦敦大学学院)
提出一种免训练零样本组合图像检索方法,通过将查询转换为显式文本并引入局部概念重排序机制,显著提升了检索性能与泛化能力。
2024-03-24 cs.CV
Training-Free Personalization via Retrieval and Reasoning on Fingerprints
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯瑟实验室)
针对视觉语言模型难以理解用户特定概念的问题,提出无训练个性化方法R2P,通过提取概念指纹、检索与思维链推理及跨模态验证,在多个基准上优于现有方法。
2025-10-16 cs.CV
Is What You Ask For What You Get? Investigating Concept Associations in Text-to-Image Models
Department of Computer Science(计算机科学系);Harvard University(哈佛大学)
本文提出 Concept2Concept 框架,用于审计文本到图像模型中提示与生成内容之间的概念关联,通过可解释的概念和度量标准进行可视化分析。
2025-05-07 cs.CV
Automatic Concept Discovery from Parallel Text and Visual Corpora
Univ. of Southern California(南加州大学);Tsinghua University(清华大学)
人类通过语言和视觉来感知世界。如何为计算机建立类似的连接?一种可能的方式是通过视觉概念,这是与视觉上有区别的实体相关的文本术语。我们提出了一个自动的视觉概念发现算法,使用并行文本和视觉语料库,它过滤的文本条款的基础上的相关图像的视觉辨别力,并将它们分组到概念使用视觉和语义相似性。我们使用双向图像和句子检索任务和图像标记任务来说明所发现的概念的应用,并表明所发现的概念不仅显著优于几个大的手动选择的概念集,而且在检索任务中也达到了最先进的性能。
2015-09-24 cs.CV
Cross-Modal Retrieval with Implicit Concept Association
Microsoft AI & Research(微软人工智能与研究部);University of Geneva(日内瓦大学)
传统的跨模态检索假设跨模态的概念的显式关联,其中概念如何彼此链接没有歧义,例如,当我们使用查询“dogs”进行图像搜索时,我们期望看到狗的图像。在本文中,我们考虑一个不同的设置为跨模态检索,从不同的模态数据隐式地通过概念,必须推断出高层次的推理,我们称之为隐式概念关联。为了促进未来在这种情况下的研究,我们提出了一个新的数据集,包含47K对动画GIF和从网络上抓取的句子,其中GIF描述了对文本中描述的场景的身体或情感反应(称为“反应GIF”)。我们报告的用户研究表明,尽管存在隐式的概念关联,人类能够识别视频句子对匹配的概念,这表明我们的任务的可行性。此外,我们提出了一种新的基于多示例学习的视觉语义嵌入网络。与传统方法不同,我们从每个模态中计算多个嵌入,每个嵌入代表不同的概念,并通过在多实例学习框架中考虑所有可能的视觉语义嵌入组合来测量它们的相似性。我们评估我们的方法在两个视频句子数据集与显式和隐式的概念关联和报告竞争力的结果相比,现有的方法跨模态检索。
2018-04-25 cs.AI cs.CV cs.MM
Concepts Complement Dense Semantics: Learning Compact Sparse Spaces for Text-Image Retrieval
Korea University(高丽大学);Sungkyunkwan University(成均馆大学);KT Corporation(KT公司)
提出GRASP框架,通过挖掘视觉-文本概念并训练轻量级稀疏头,生成可解释的概念级证据以补充稠密语义匹配,在文本-图像检索中实现更优准确率与更紧凑接地的稀疏空间。
2026-09-29 cs.CV cs.IR
CalibCLIP: Contextual Calibration of Dominant Semantics for Text-Driven Image Retrieval
Chengdu Institute of Computer Applications, Chinese Academy of Sciences(成都计算机应用研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);International Research Institute for Artificial Intelligence, Harbin Institute of Technology (Shenzhen)(人工智能国际研究院,哈尔滨工业大学(深圳));Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Southwest Jiaotong University(西南交通大学);Tencent(腾讯)
CalibCLIP是一种无需训练的文本驱动图像检索方法,通过对比视觉增强器和判别性概念校准器分别抑制视觉主导标记和增强文本判别概念,在七个基准上取得一致改进。
2025-10-07 cs.CV
Remembering What Is Important: A Factorised Multi-Head Retrieval and Auxiliary Memory Stabilisation Scheme for Human Motion Prediction
Queensland University of Technology(昆士兰科技大学)
本文提出一种辅助记忆驱动的深度神经网络框架,通过分解特征解耦、Multi-Head检索方案和动态掩码策略建模历史运动,并在Human3.6M和CMU-Mocap基准上分别以超17%和9%的幅度超越现有最优方法。
2023-05-19 cs.CV
A Semantically-Aware Relevance Measure for Content-Based Medical Image Retrieval Evaluation
Université Paris Cité, LIPADE(巴黎Cité大学,LIPADE)
针对医学领域CBIR评估依赖人工标注、现有方法忽略医学概念关联的问题,提出基于知识图谱的语义感知相关性度量方法,经公开数据集验证有效可行。
2025-06-16 cs.CV
Improving Personalized Search with Regularized Low-Rank Parameter Updates
Georgia Tech(佐治亚理工学院);Adobe Research(Adobe研究);CIIRC CTU(查理大学CIIRC);UIUC(伊利诺伊大学厄巴纳-香槟分校)
针对个性化视觉-语言检索需兼顾新概念学习与通用知识保留的问题,提出对语言编码器最后层少量参数做正则化低秩自适应的方法,结合参数加法组合多概念,用VLM生成描述的指标评估知识保留,在两个基准上超越现有技术4%-22%。
2025-06-11 cs.CV
Smart Routing for Multimodal Video Retrieval: When to Search What
Cloudglue
本文提出基于LLM的智能路由系统ModaRoute,通过分析查询意图动态选择ASR、OCR和视觉等最优模态,在保持60.9% Recall@5的同时将计算开销降低41%,为大规模多模态视频检索提供了兼顾成本与效果的实用方案。
2025-07-12 cs.AI cs.CV cs.IR
Concept Driven Domain Adaptation: Finding an Abstract Needle in a Haystack
Central China Normal University(华中师范大学);Wuhan United Imaging Healthcare Co., Ltd.(武汉联影医疗科技有限公司)
针对教学视频检索中抽象概念与具体视觉证据的匹配难题,提出概念驱动域适应(CDDA)三阶段框架,通过概念锚点对齐文本与视觉空间,在中学物理基准上优于多模态基线。
2026-10-02 cs.CV physics.ed-ph
AgenticOCR: Parsing Only What You Need for Efficient Retrieval-Augmented Generation
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Peking University(北京大学)
AgenticOCR通过动态解析范式提升视觉文档检索增强生成系统的效率和准确性,实现按需提取和解耦检索粒度。
2026-02-27 cs.CL cs.CV
Are They the Same Picture? Adapting Concept Bottleneck Models for Human-AI Collaboration in Image Retrieval
University of Michigan(密歇根大学);Massachusetts Institute of Technology(麻省理工学院)
针对现有图像检索AI模型可解释性与可校正性不足、人在回路方式耗费人力的问题,研究提出适配概念瓶颈模型的CHAIR方法,支持人类校正中间概念与灵活介入,无介入时性能优于同类模型,结合人类介入可实现人机互补。
2024-07-12 cs.AI cs.CV cs.IR
Text-Video Retrieval with Disentangled Conceptualization and Set-to-Set Alignment
Peking University(北京大学);Peking University Shenzhen Graduate School(北京大学深圳研究生院);Peng Cheng Laboratory(鹏城实验室);Tsinghua University(清华大学)
本文提出DiCoSA方法,通过解耦概念化将粗粒度特征划分为语义潜在因子,并采用自适应池化的集合到集合对齐解决部分匹配问题,在五个数据集上实现高效细粒度的文本-视频检索并超越现有最先进方法。
2023-05-20 cs.AI cs.CV cs.IR
ConText-CIR: Learning from Concepts in Text for Composed Image Retrieval
Washington University in St. Louis(华盛顿大学圣路易斯分校);Saint Louis University(圣路易斯大学);The George Washington University(乔治华盛顿大学)
提出ConText-CIR框架,通过文本概念一致性损失和合成数据生成流程,提升组合图像检索性能,在CIRR和CIRCO上达到监督与零样本新最先进水平。
2025-05-27 cs.CV cs.LG
Decomposing Queries into Tool Calls for Long-Video Keyframe Retrieval
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出ToolMerge方法,通过LLM规划器将查询分解为工具调用并使用布尔运算符合并排名,实现长视频关键帧检索,在字幕检索任务上优于其他方法5%。
2026-07-08 cs.CL cs.CV
See What You See: Self-supervised Cross-modal Retrieval of Visual Stimuli from Brain Activity
University of New South Wales(新南威尔士大学);CSIRO’s Data 61(联邦科学与工业研究组织数据61所);Lehigh University(理海大学);Neuroscience Research Australia(澳大利亚神经科学研究所)
最近的研究表明,使用一个两阶段的监督框架,以产生图像,描绘人类的感知视觉刺激的EEG,指的是EEG视觉重建。然而,它们无法再现精确的视觉刺激,因为决定合成图像是什么的是人类指定的图像注释,而不是它们的数据。此外,合成的图像往往受到噪声EEG编码和生成模型的不稳定训练的影响,使其难以识别。相反,我们提出了一个单阶段的EEG视觉检索范式,其中两种模式的数据是相关的,而不是他们的注释,使我们能够恢复确切的视觉刺激的EEG剪辑。我们最大限度地提高了互信息之间的EEG编码和相关的视觉刺激,通过优化的对比自我监督的目标,导致两个额外的好处。第一,它使EEG编码能够处理训练期间可见的视觉类别,因为学习并不针对类别注释。此外,模型不再需要生成视觉刺激的每个细节,而是专注于跨模态对齐并在实例级别检索图像,确保可区分的模型输出。实证研究进行了最大的单一主题EEG数据集,测量大脑活动引起的图像刺激。我们证明了所提出的方法完成了现有方法无法完成的实例级EEG视觉检索任务。我们还研究了一系列EEG和视觉编码器结构的影响。此外,对于一个主要研究的语义级脑电视觉分类任务,尽管不使用类注释,所提出的方法优于国家的最先进的监督脑电视觉重建方法,特别是在开放类识别的能力。
2022-08-18 cs.CV cs.HC cs.MM
3D Model Retrieval Based on Semantic and Shape Indexes
Sidi Mohamed Ben Abdellah University(西迪·穆罕默德·本·阿卜杜拉大学)
在网络上使用或存储在数据库中的3D模型的大小变得越来越高。然后,一种有效的方法,允许用户找到类似的3D对象为给定的3D模型查询已成为必要的。关键词和三维模型的几何形状不包含语义信息,不能满足用户检索的需要。提出了一种结合语义概念和形状索引的三维模型检索方法。为了获得这些概念,我们使用机器学习的方法来标记三维模型的k-means算法在措施和形状指标空间。此外,语义概念已组织和表示的本体语言OWL和空间关系被用来消除歧义之间的模型相似的外观。SPARQL查询语言已被用来质疑在这种语言中显示的信息,并计算两个3D模型之间的相似性。我们解释我们的结果使用普林斯顿形状基准数据库和结果显示的性能所提出的新方法来检索3D模型。关键词:三维模型,三维检索,度量,形状索引,语义,本体
2011-11-28 cs.AI cs.CV cs.IR
Evaluating the Stability of Semantic Concept Representations in CNNs for Robust Explainability
Continental AG(大陆集团);Hochschule Anhalt(安哈尔特应用技术大学)
本文聚焦CNN中概念表示的稳定性,提出兼顾分离性与一致性的新指标评估概念检索,并探究梯度平滑对概念归因稳定性的作用,为安全关键型XAI应用提供层与维度选择依据。
2023-04-28 cs.AI cs.CV cs.LG
How a General-Purpose Commonsense Ontology can Improve Performance of Learning-Based Image Retrieval
University of Toronto(多伦多大学);Pontificia Universidad Católica de Chile(智利天主教大学);Chilean Center for Semantic Web Research(智利语义网研究中心)
知识表示社区已经构建了通用本体,其包含关于世界的相关方面的大量常识知识,包括有用的视觉信息,例如:“球被足球运动员使用”,“网球运动员位于网球场”。目前最先进的视觉识别方法不利用这些基于规则的知识源。相反,它们直接从训练样本中学习识别模型。在本文中,我们研究如何通用本体-具体地说,麻省理工学院的ConceptNet本体-可以提高最先进的视觉系统的性能。作为一个测试平台,我们解决了基于图像检索的问题。我们的检索方法将ConceptNet中的知识结合在来自深度学习技术的大型对象检测器池之上。在我们的实验中,我们表明ConceptNet可以提高通用基准数据集的性能。我们性能的关键是使用ESPGAME数据集从ConceptNet中选择视觉相关的关系。因此,这项工作的一个主要结论是,通用常识本体提高性能的视觉推理任务时,适当过滤,选择有意义的视觉关系。
2017-05-24 cs.AI cs.CV cs.IR
Socializing the Semantic Gap: A Comparative Survey on Image Tag Assignment, Refinement and Retrieval
Renmin University of China(中国人民大学);University of Florence(佛罗伦萨大学);Stanford University(斯坦福大学);University of Amsterdam(阿姆斯特丹大学);Qualcomm Research Netherlands(荷兰高通研究院)
在以前的评论基于内容的图像检索强调什么可以在图像中看到,以弥合语义差距,这项调查认为人们对图像的标签。一个全面的论述三个密切相关的问题,即,图像标签分配、细化和基于标签的图像检索。虽然现有的作品在其目标任务和方法方面有所不同,但它们依赖于标签相关性的关键功能,即估计特定标签与给定图像及其社会背景的视觉内容的相关性。通过分析一种特定的方法利用什么信息来构建其标签相关函数以及如何利用这些信息,本文介绍了一种分类法来构建不断增长的文献,了解主要作品的成分,澄清它们的联系和区别,并认识到它们的优点和局限性。为了进行最先进技术之间的头对头比较,提出了一种新的实验方案,训练集包含10k,100k和1m图像,并对三个测试集进行了评估,这些测试集由各个研究小组提供。对11个代表作品进行了实施和评价。将所有这些放在一起,调查的目的是概述过去,并促进在不久的将来取得进展。
2016-03-23 cs.CV cs.IR cs.MM