VisualRouter: Query-Grounded Visual Sampling for Long Video Understanding
Tongji University(同济大学);University of Electronic Science and Technology of China(电子科技大学)
本文提出无训练即插即用框架VisualRouter,通过将查询分为全局或局部并采用对应采样策略,提升了大型视觉语言模型的长视频理解性能,在多个基准数据集上优于均匀采样及现有无训练方法。
2026-07-31 cs.CV
RELOCATE: A Simple Training-Free Baseline for Visual Query Localization Using Region-Based Representations
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
RELOCATE通过基于区域的表示和双向跟踪实现长视频中视觉查询定位,无需训练并在Ego4D数据集上取得49%的精度提升。
2025-12-10 cs.CV
Active query-driven visual search using probabilistic bisection and convolutional neural networks
Boston University(波士顿大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
我们提出了一种新的有效的目标检测和定位框架的基础上的概率二分法。卷积神经网络(CNN)被训练并用作噪声预言机,其为输入查询图像提供答案。响应以及从CNN获得的错误概率估计用于更新关于沿每个维度的对象位置的置信度。我们表明,沿每个维度的查询实现了相同的下限定位误差的联合查询设计。最后,我们将我们的方法与传统的滑动窗口技术在现实世界中的人脸定位任务进行了比较,并在保持准确定位的同时显示了至少一个数量级的速度提高。
2020-02-27 cs.CV
QuoTA: Query-oriented Token Assignment via CoT Query Decouple for Long Video Comprehension
Xiamen University(厦门大学);Nanjing University(南京大学);University of Rochester(罗切斯特大学)
QuoTA提出一种事前无需训练的即插即用模块,通过思维链查询解耦和面向查询的帧级重要性评估,在相同视觉令牌预算下提升长视频理解性能,在LLaVA-Video-7B上六个基准平均提升3.2%。
2025-03-11 cs.CV
Bear the Query in Mind: Visual Grounding with Query-conditioned Convolution
Carnegie Mellon University(卡内基梅隆大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
视觉基础是旨在根据自然语言表达来定位目标对象的任务。作为一个多模态任务,文本和视觉输入之间的特征交互至关重要。然而,以前的解决方案主要是在将它们融合在一起之前单独处理每个模态,这在提取视觉特征时没有充分利用相关的文本信息。为了更好地利用视觉基础中的文本-视觉关系,我们提出了一个查询条件卷积模块(QCM),该模块通过将查询信息纳入卷积核的生成中来提取查询感知的视觉特征。通过我们提出的QCM,下游融合模块接收更具鉴别力的视觉特征,并专注于表达式中描述的所需对象,从而实现更准确的预测。在三个流行的视觉基础数据集上的大量实验表明,我们的方法达到了最先进的性能。此外,查询感知的视觉特征提供的信息足以在直接用于预测时实现与最新方法相当的性能,而无需进一步的多模态融合。
2022-06-22 cs.CV cs.LG
Single-Stage Visual Query Localization in Egocentric Videos
UT Austin(德克萨斯大学奥斯汀分校);FAIR, Meta(Meta人工智能研究院)
针对第一人称视频视觉查询定位现有多阶段方法推理慢的问题,提出单阶段端到端框架VQLoC,通过联合建模查询-帧与帧间对应关系实现定位,准确率提升20%、速度快10倍,登顶Ego4D VQ2D挑战赛。
2023-06-15 cs.CV
QCPruner: Query-Conditioned Population Coverage for Visual Token Pruning
Guizhou University(贵州大学);Shanghai Ocean University(上海海洋大学)
QCPruner通过查询条件化双边效用加权,实现无需训练的视觉令牌剪枝,在多个MLLM上以子模贪心保证取得最高平均相对性能。
2026-09-18 cs.CV
Shifting More Attention to Visual Backbone: Query-modulated Refinement Networks for End-to-End Visual Grounding
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团);NLPR, CASIA(中国科学院自动化研究所模式识别国家重点实验室);Fudan University(复旦大学)
视觉基础的重点是建立视觉和自然语言之间的细粒度对齐,这在多模态推理系统中有重要的应用。现有的方法使用预先训练的查询无关的视觉骨干,独立地提取视觉特征图,而不考虑查询信息。我们认为,从视觉骨干提取的视觉特征和多模态推理真正需要的特征是不一致的。其中一个原因是,训练前的任务和视觉基础之间存在差异。此外,由于主干是查询不可知的,因此很难通过在视觉基础框架中端到端地训练视觉主干来完全避免不一致问题。在本文中,我们提出了一个查询调制的细化网络(QRNet),以解决不一致的问题,通过调整中间功能的视觉骨干与一种新的查询感知的动态注意力(QD-ATT)机制和查询感知的多尺度融合。QD-ATT可以在视觉中枢产生的特征图的空间和通道级别上动态地计算查询依赖的视觉注意。我们将QRNet应用于端到端的视觉基础框架。大量的实验表明,该方法优于国家的最先进的方法在五个广泛使用的数据集。
2022-03-29 cs.CV cs.MM
Where is my Wallet? Modeling Object Proposal Sets for Egocentric Visual Query Localization
Meta AI;KAUST(阿卜杜拉国王科技大学)
针对自我中心视觉查询定位中的隐式偏差,提出通过扩展标注、动态丢弃物体候选及基于Transformer的CocoFormer模块进行改进,在VQ2D和VQ3D任务及少样本检测中取得领先成绩。
2023-04-06 cs.CV
Towards Visual Query Localization in the 3D World
Wuhan University(武汉大学);AutoLab, SAI, Shanghai Jiao Tong University(AutoLab、SAI、上海交通大学);Anyverse Dynamics;University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本文首次提出3D多模态视觉查询定位基准3DVQL,包含2002个序列和17万帧数据,通过点云、RGB图像和深度图像多模态数据提升研究灵活性,并提出LaF算法提升性能。
2026-05-02 cs.CV
TBPos: Dataset for Large-Scale Precision Visual Localization
University of Vaasa(瓦萨大学);Aalto University(阿尔托大学)
基于图像的定位是一个经典的计算机视觉挑战,具有几个众所周知的数据集。通常,数据集包括捕获建模场景的视觉3D数据库,以及要发现其3D姿态的查询图像。通常,查询图像是用与用于收集3D数据库的成像硬件不同的相机获取的;因此,难以获取查询图像和3D数据库之间的准确地面实况姿态。随着视觉定位算法精度的不断提高,精确的地面实况变得越来越重要。本文提出了TBPos,一种新的大规模的基于图像的定位,它提供查询图像与完全准确的地面实况构成的视觉数据集:数据库图像和查询图像已来自相同的激光扫描仪数据。在本文的实验部分中,通过基于图像的定位管道来评估所提出的数据集。
2023-02-20 cs.CV
HERO-VQL: Hierarchical, Egocentric and Robust Visual Query Localization
Kyung Hee University Republic of Korea(韩国庆熙大学);AI R&D Division, CJ Group Republic of Korea(CJ集团人工智能研发部门)
针对第一人称视频中视角变化导致视觉查询定位精度低的问题,提出受人类认知启发的HERO-VQL方法,结合自顶向下注意力引导与第一人称增强一致性训练,在VQ2D数据集上显著优于基线方法。
2025-08-30 cs.CV
MR-COSMO: Visual-Text Memory Recall and Direct CrOSs-MOdal Alignment Method for Query-Driven 3D Segmentation
MR-COSMO通过视觉-文本记忆召回与直接跨模态对齐方法,在查询驱动的3D分割中实现几何与语义特征的精确融合,提升点云分割性能。
2025-12-15 cs.CV
Groupwise Query Specialization and Quality-Aware Multi-Assignment for Transformer-based Visual Relationship Detection
Korea University(高丽大学)
提出SpeaQ方法,通过分组查询专用化和质量感知多重分配解决Transformer视觉关系检测中查询缺乏专用性和训练不充分问题,以零额外推理成本实现一致性能提升。
2024-03-26 cs.CV
Query-Guided Spatial-Temporal-Frequency Interaction for Music Audio-Visual Question Answering
University of Twente(特文特大学);University of Bath(巴斯大学);IT University of Copenhagen(哥本哈根IT大学)
本文提出一种查询引导的时空频交互方法,通过整合问题引导的线索和频域特性,提升音频-视觉问答的性能。
2026-10-12 cs.CV
VaRS-Doc: Interpretation-Aware Variant Representations via Latent Self-Probing for Visual Document Retrieval
本文针对视觉文档检索中固定文档表示难以适配不同查询意图的问题,提出VaRS-Doc框架,通过两阶段训练实现变体表示,在基准测试中达到最先进性能,解决了查询与文档编码的不匹配问题。
2026-08-04 cs.CV
Dynamic Query Selection for Fast Visual Perceiver
Sorbonne Université(索邦大学)
在最近的工作中,Transformers一直在为视觉架构匹配深度卷积网络。大多数工作都集中在大规模基准测试上获得最佳结果,而缩放定律似乎是最成功的策略:更大的模型、更多的数据和更长的训练时间会带来更高的性能。然而,减少网络复杂性和推理时间仍然是探索不足。Perceiver模型为这个问题提供了一个解决方案:通过首先使用固定数量Q的潜在查询令牌执行交叉注意,随后的L层Transformer网络的复杂度为O(LQ^2)。在这项工作中,我们将探索如何使感知器更有效,通过减少推理过程中的查询数量Q,同时限制准确率下降。
2023-03-21 cs.CV
EAGLE: Episodic Appearance- and Geometry-aware Memory for Unified 2D-3D Visual Query Localization in Egocentric Vision
针对第一视角视觉查询定位受相机运动等因素影响的挑战,提出EAGLE框架,通过情景化外观与几何感知记忆巩固机制及视觉几何接地Transformer,统一2D-3D定位并在Ego4D-VQ基准上实现最先进性能。
2025-11-12 cs.CV
Jointly Visual- and Semantic-Aware Graph Memory Networks for Temporal Sentence Localization in Videos
Peking University(北京大学);Huazhong University of Science and Technology(华中科技大学)
视频中的时间句子定位(TSLV)旨在根据给定的句子查询,从未经裁剪的视频中检索出最感兴趣的片段。然而,现有的TSLV方法都存在以下局限性:(1)它们只关注框架级或对象级的视觉表示学习和相关推理,而没有将两者结合起来;(2)它们忽略了利用丰富的语义上下文来进一步促进查询推理。为了解决这些问题,在本文中,我们提出了一种新的层次视觉和语义感知推理网络(HVSARN),它使视觉和语义感知查询推理从对象级到帧级。具体而言,我们提出了一种新的图记忆机制来执行视觉语义查询推理:对于视觉推理,我们设计了一个视觉图记忆,利用视频的视觉信息;对于语义推理,语义图记忆也被引入,显式地利用包含在视频对象的类和属性的语义知识,并在语义空间进行相关推理。三个数据集上的实验表明,我们的HVSARN实现了一个新的国家的最先进的性能。
2023-03-15 cs.CV
LAST: The Last Query Token Guides Visual Token Pruning for Edge-Cloud Collaborative MLLM Inference
该研究提出无训练框架LAST,利用边缘侧VLM的最后查询令牌注意力实现查询感知视觉令牌剪枝,在11个多模态基准上以12.5%视觉令牌保留率维持95.4%全令牌准确率,降低边缘和云侧开销。
2026-07-31 cs.AI cs.CV
Towards Test-time Efficient Visual Place Recognition via Asymmetric Query Processing
本文提出一种非对称VPR框架,通过地理记忆库和隐式嵌入增强技术,实现低计算成本的高效视觉位置识别。
2025-12-15 cs.CV
Visual Query Answering by Entity-Attribute Graph Matching and Reasoning
Northwestern University(西北大学);Southwest Jiaotong University(西南交通大学)
可视化查询查询(VQA)在为人们提供便利方面具有重要意义:人们可以对图像提出关于对象细节或对场景的高级理解的问题。本文提出了一种新的方法来解决VQA问题。与以前的作品相比,我们的方法,目标是单场景VQA,基于图的技术,并涉及推理的答复。简而言之,我们的方法集中在三个图上。第一个图,称为推理图GI,是通过对标记数据的学习来构建的。另外两个图,称为查询图Q和实体-属性图GEA,分别从用户发出的自然语言查询Qnl和图像Img生成。由于GEA往往不采取足够的信息来回答Q,我们开发的技术来推断GEA与GI的缺失信息。在GEA和Q的基础上,我们提供了在GEA中寻找Q的匹配的技术,作为Img中Qnl的答案。与通常使用的基于端到端神经网络的VQA方法不同,我们基于图的方法显示了精心设计的推理能力,因此具有高度的可解释性。我们还创建了一个具有丰富注释的足球比赛数据集(Soccer-VQA)。实验结果表明,我们的方法优于国家的最先进的方法,并有很高的潜力,为未来的调查。
2019-03-16 cs.CV
Mutual Query Network for Multi-Modal Product Image Segmentation
Retail Platform Operation and Marketing Center, JD(京东零售平台运营与营销中心)
针对仅依赖视觉模态难以区分无关产品的问题,提出融合视觉与语言模态的互查询网络,并构建含3万张图像的MMPS数据集,显著优于现有方法。
2023-06-26 cs.CV
PRVQL: Progressive Knowledge-guided Refinement for Robust Egocentric Visual Query Localization
University of North Texas(北卡罗来纳州立大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);U.S. Naval Research Laboratory(美国海军研究实验室);Brookhaven National Laboratory(布鲁克海文国家实验室)
针对自我中心视觉查询定位中目标外观变化和背景杂乱问题,提出渐进式知识引导细化框架PRVQL,通过多阶段从视频中提取外观与空间知识来细化查询和视频特征,在Ego4D上取得最先进性能。
2025-06-30 cs.CV
Gaze Attention: Query-Adaptive Visual Routing for Efficient Multimodal LLMs
NAVER AI Lab(NAVER AI实验室)
本文提出Gaze Attention机制,使多模态大语言模型在生成过程中选择性关注任务相关的视觉区域,减少冗余计算并提升聚焦效果,实验表明其在图像和视频理解任务中性能优于密集注意力基线。
2026-10-05 cs.CV
Online Episodic Memory Visual Query Localization with Egocentric Streaming Object Memory
University of Udine(乌迪内大学);University of Catania(卡塔尼亚大学);York University(约克大学)
本文提出OVQ2D任务,通过在线处理视频流实现对象定位,引入ESOM框架整合发现、跟踪和记忆模块,实验显示其在Ego4D数据集上表现优异,但仍有提升空间。
2025-12-19 cs.CV
Video-QTR: Query-Driven Temporal Reasoning Framework for Lightweight Video Understanding
School of Software Technology, Zhejiang University, Hangzhou, China(浙江大学软件技术学院);School of Computer Science, Zhejiang University, Hangzhou, China(浙江大学计算机科学学院);School of Software Engineering, Xidian University, Xi’an, China(西安电子科技大学软件工程学院)
Video-QTR通过查询驱动的时序推理框架,实现轻量级视频理解,显著降低计算成本并提升效率。
2025-12-10 cs.CV
HKVLM: Faithful Query--Region Binding for Frozen-Detector Visual Grounding
Bo Ma
提出HKVLM框架,通过将定位从语言路径中分离,利用冻结检测器和语言模型,仅训练轻量对齐钩子实现推理定位,在少样本冷启动场景下显著提升定位精度并减少幻觉。
2026-07-07 cs.CV
Towards Visual Query Segmentation in the Wild
Department of Computer Science and Engineering, University of North Texas(计算机科学与工程系,北卡罗来纳州立大学)
本文提出VQS-4K基准和VQ-SAM方法,实现对视频中目标所有像素级出现的精确分割,提升真实场景下的定位性能。
2026-11-05 cs.CV
Query by Activity Video in the Wild
University of Amsterdam(阿姆斯特丹大学)
本文针对不平衡场景下的活动视频检索问题,提出包含视觉对齐和语义对齐两个模块的视觉-语义嵌入网络,通过固定大小的表示匹配避免忽略低频活动,在新基准上验证了对各类活动的有效性。
2023-11-23 cs.CV
TDVR: Joint Text Disambiguation and Viewpoint Reasoning for Zero-Shot 3D Visual Grounding
本文提出TDVR框架,通过联合文本消歧与视点推理解决零样本3D视觉定位中的文本歧义与视点不足问题,在ScanRefer数据集上的Acc@0.25和Acc@0.5指标较现有最优方法分别提升15.25%和14.46%
2026-08-05 cs.CV
CyberLoc: Towards Accurate Long-term Visual Localization
Huawei Cloud Computing Technologies Co., Ltd.(华为云计算技术有限公司)
本技术报告介绍了CyberLoc,这是一种基于图像的视觉定位管道,可在具有挑战性的条件下进行稳健而准确的长期姿态估计。所提出的方法包括顺序连接的四个模块。首先,应用映射模块来构建场景的精确3D映射,如果在不同条件下存在多个参考序列,则每个参考序列一个映射。其次,执行基于单个图像的定位流水线(检索-匹配-PSNR)以估计每个查询图像的6-DoF相机姿态,每个3D地图一个。第三,提出了一个共识集最大化模块,以过滤出离群的6-DoF相机姿态,并输出一个6-DoF相机姿态的查询。最后,提出了一个鲁棒的姿态细化模块来优化6-DoF查询姿态,将候选全局6-DoF相机姿态及其对应的全局2D-3D匹配、连续查询图像之间的稀疏2D-2D特征匹配以及查询序列的SLAM姿态作为输入。在4seasons数据集上的实验表明,该方法具有较高的准确性和鲁棒性。特别是,我们的方法赢得了ECCV 2022自动驾驶基于地图的定位研讨会(MLAD-ECCV 2022)的本地化挑战。
2023-01-06 cs.CV
Bridging the Gap between Local Semantic Concepts and Bag of Visual Words for Natural Scene Image Retrieval
Faculty of Information Technology, Applied Science Private University(应用科学私立大学信息技术学院)
研究了基于语义的自然场景图像检索问题。典型的基于内容的图像检索系统将查询图像和数据集中的图像作为低级特征的集合来处理,并且基于查询图像的特征与图像数据集中的图像的特征之间的相似性来检索图像的排序列表。然而,检索列表中排名靠前的图像(其与查询图像具有高相似性)在用户的语义解释方面可能与查询图像不同,这被称为语义差距。为了减少语义鸿沟,本文研究了如何使用视觉词模型袋和局部语义概念的分布进行自然场景检索。本文研究了使用不同的方法来表示自然场景图像中描述的语义信息,用于图像检索的效率。实验研究了利用语义信息和视觉词袋模型进行自然和城市场景图像检索的有效性。
2022-10-17 cs.CV
EgoHieraLoc: A Cortically Inspired Hierarchical Segmentation-Guided Framework for Egocentric Visual Query Localization
Dalian University of Technology(大连理工大学);University of International Business and Economics(对外经济贸易大学);Jinan University(暨南大学)
该研究提出受人类视觉分层机制启发的EgoHieraLoc框架,含判别解析等三个模块及GSJC,在VQL-2D和VQL-3D基准上实现最优视觉查询定位性能。
2026-08-11 cs.CV
Towards a Flexible Scale-out Framework for Efficient Visual Data Query Processing
Intel Labs(英特尔实验室)
本文提出VDMS-Async,通过事件驱动架构和远程操作扩展,实现视觉数据查询的高效灵活处理,显著降低查询延迟并支持线性扩展。
2024-02-05 cs.CV cs.DB
PGL-3D: Towards Progressive Geometric Learning for 3D Visual Query Localization
Wuhan University(武汉大学);University of North Texas(北德克萨斯大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
PGL-3D提出预测-选择-细化-重新预测框架,利用中间立方体几何引导特征更新,提升3D视觉查询定位性能,stAP达0.270,并在GSOT3D上提升mAO至25.78%。
2026-09-30 cs.CV
Learning Sample-wise Rank-aware Interpolation Weights for Composed Visual Data Retrieval
AI Center, Samsung Electronics(三星电子AI中心);POSTECH(浦项科技大学);Ajou University(明知大学)
针对组合视觉数据检索中基于MLLM方法延迟高的问题,提出SRAIN框架,通过批量排名感知权重估计和合成难负样本的内存库,实现低延迟且性能优异的检索。
2026-08-25 cs.CV
Convolutional Hierarchical Attention Network for Query-Focused Video Summarization
Zhejiang University(浙江大学);Huawei Technologies(华为技术有限公司)
针对传统视频摘要未考虑用户偏好的问题,提出由特征编码网络和查询相关性计算模块构成的CHAN模型,通过带注意力机制的卷积网络学习镜头特征并计算查询相关性,在基准数据集上取得了有竞争力的性能。
2020-02-15 cs.CV
Capturing Gaze Shifts for Guidance: Cross-Modal Fusion Enhancement for VLM Hallucination Mitigation
AWS AI Labs(AWS人工智能实验室)
提出GIFT方法,通过预计算视觉显著性图并跟踪注视转移,在解码时增强对显著视觉信息和用户查询的注意力,以缓解视觉语言模型中的幻觉问题。
2026-05-29 cs.CV
Focusing On Targets For Improving Weakly Supervised Visual Grounding
Toshiba Corporation(东芝公司)
弱监督视觉基础旨在预测图像中对应于特定语言查询的区域,其中目标对象和查询之间的映射在训练阶段是未知的。最先进的方法使用视觉语言预训练模型从Grad-CAM中获取热图,Grad-CAM将每个查询词与图像区域相匹配,并使用组合的热图对区域建议进行排名。在本文中,我们提出了两个简单而有效的方法来改善这种方法。首先,我们提出了一个目标感知裁剪方法,鼓励模型学习对象和场景级语义表示。其次,我们应用依存句法分析来提取与目标对象相关的词,然后在热图组合中强调这些词。我们的方法在RefCOCO、RefCOCO+和RefCOCOg上明显优于以前的SOTA方法。
2023-02-22 cs.CV
Multiple Visual-Semantic Embedding for Video Retrieval from Query Sentence
Tohoku University(东北大学)
本文提出多重视觉-语义嵌入框架,将视频和句子映射到多个独立嵌入空间,并通过基于句子的加权求和融合相似度,在句子到视频检索任务上取得了优于现有方法的性能。
2020-04-16 cs.CV
QID: Efficient Query-Informed ViTs in Data-Scarce Regimes for OCR-free Visual Document Understanding
Sungkyunkwan University(成均馆大学);Amazon(亚马逊公司);Pluralis Research(普拉里斯研究院)
QID通过保持架构不变的查询感知与查询无关双模块,将查询嵌入高效集成到视觉编码器中,显著提升数据稀缺场景下无OCR视觉文档理解的性能。
2025-04-07 cs.CL cs.CV
Negative Frames Matter in Egocentric Visual Query 2D Localization
Meta AI;King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of Surrey(萨里大学)
最近发布的Ego 4D数据集和基准测试显着扩展和多样化的第一人称视觉感知数据。在Ego 4D中,视觉2D定位任务旨在以第一人称视角从记录中检索过去出现的对象。该任务需要系统在空间上和时间上定位给定对象查询的最近出现,其中查询通过对象在不同场景中的单个紧密视觉裁剪来注册。我们的研究是基于情景记忆基准中引入的三阶段基线。基线通过检测和跟踪来解决这个问题:检测所有帧中的相似对象,然后从最可信的检测结果运行跟踪器。在VQ 2D挑战中,我们确定了当前基线的两个局限性。(1)训练配置具有冗余计算。虽然训练集有数百万个实例,但大多数都是重复的,唯一对象的数量只有14.6k左右。对同一目标的重复梯度计算导致训练效率低下;(2)背景帧上的误报率高。这是由于培训和评价之间的分配差距。在训练过程中,模型只能看到干净、稳定和标记的帧,但以自我为中心的视频也有嘈杂、模糊或未标记的背景帧。为此,我们开发了一种更高效、更有效的解决方案。具体来说,我们将训练循环从约15天缩短到不到24小时,并且我们实现了0.17%的时空AP,比基线高出31%。我们的解决方案在公共排行榜上获得第一名。我们的代码可在https://github.com/facebookresearch/vq2d_cvpr上公开获取。
2022-08-03 cs.CV
SparseVILA: Decoupling Visual Sparsity for Efficient VLM Inference
NVIDIA;MIT(麻省理工学院);UC San Diego(南加州大学圣地亚哥分校);University of Toronto(多伦多大学)
本文提出 SparseVILA,通过在预填充阶段剪枝冗余视觉标记、解码阶段检索查询相关标记来解耦视觉稀疏性,从而在不降低多轮对话与推理能力的情况下显著加速 VLM 推理。
2025-10-20 cs.CV
CQVPR: Landmark-aware Contextual Queries for Visual Place Recognition
Nagoya University(名古屋大学)
本文提出CQVPR方法,通过可学习上下文查询自动融合landmark及其周围场景信息,并引入查询匹配损失,在多个数据集上超越现有视觉地点识别方法。
2025-03-11 cs.CV
FoveaTree: Information-Density Trees for Query-Guided Visual Token Pruning in Video Large Language Models
University of Science and Technology of China(中国科学技术大学);Harbin Institute of Technology(哈尔滨工业大学)
FoveaTree是一种两阶段无训练的视觉令牌剪枝框架,通过合并增益密度估计和注意力树剪枝解决视频LLMs推理成本高的问题,在多基准测试中实现最优性能与出色的准确率-效率权衡。
2026-10-14 cs.CV
CO2: Consistent Contrast for Unsupervised Visual Representation Learning
Johns Hopkins University(约翰斯·霍普金斯大学)
对比学习是无监督视觉表示学习的核心方法。在没有人工注释的情况下,通常的做法是执行实例区分任务:给定查询图像裁剪,该任务将来自同一图像的裁剪标记为阳性,将来自其他随机采样图像的裁剪标记为阴性。这种标签分配策略的一个重要局限性是,它不能反映查询作物和其他图像中的每个作物之间的异质相似性,将它们视为同样的负面,而其中一些作物甚至可能与查询属于相同的语义类。为了解决这个问题,受半监督学习中未标记数据的一致性正则化的启发,我们提出了一致性对比(CO2),它将一致性正则化项引入到当前的对比学习框架中。关于查询作物与来自其他图像的每个作物的相似性为“未标记”,一致性项将正作物的对应相似性作为伪标签,并且鼓励这两个相似性之间的一致性。从经验上看,CO2在ImageNet线性协议上将动量对比度(MoCo)提高了2.9%的前1准确度,在1%和10%标记的半监督设置上提高了3.8%和1.1%的前5准确度。它还转移到图像分类,目标检测,和语义分割的PASCAL VOC。这表明CO2为这些下游任务学习了更好的视觉表示。
2020-10-05 cs.CV
ConceptFormer: Learning Adaptive Latent Concepts for Query-Document Alignment in Visual Document Retrieval
Northeastern University(东北大学);Tsinghua University(清华大学);Peking University(北京大学)
针对视觉文档检索中现有监督信号的局限,本文提出ConceptFormer框架,以自适应潜在概念为中间表示衔接语义鸿沟,在基准测试中较最强基线实现了16.7%、22.1%的NDCG@10相对提升,性能优异。
2026-08-24 cs.CV cs.IR
Knowing Whether, Not Just Where: Anchor-Probing Distillation for Open-Set Remote Sensing Visual Grounding
本文提出 AnchorProbe-Distill(APD)师生框架,将开放集遥感视觉 grounding 转化为视觉支持学习,可同时实现目标定位与不存在目标的拒绝,提升了模型的定位与拒绝能力。
2026-10-12 cs.CV
Visual Natural Language Query Auto-Completion for Estimating Instance Probabilities
Columbia University(哥伦比亚大学)
我们提出了一个新的任务,估计实例概率的查询自动完成。我们完成了一个用户查询前缀的图像条件。给定完整的查询,我们微调BERT嵌入,以估计广泛的实例集的概率。所得到的实例概率用于选择,同时与分割或注意力机制无关。我们的研究结果表明,使用语言和视觉的自动完成比只使用语言更好,并且微调BERT嵌入可以有效地对图像中的实例进行排名。本着可重复研究的精神,我们提供我们的数据、模型和代码。
2019-10-10 cs.CL cs.CV cs.LG
LiveSketch: Query Perturbations for Guided Sketch-based Visual Search
University of Surrey(萨里大学);Adobe Research(Adobe研究院)
LiveSketch是一种使用手绘查询搜索大型图像集的新算法。LiveSketch通过创建可视化建议来解决草图搜索的固有模糊性,这些建议在绘制查询时增加查询,使查询规范成为一个迭代而不是一次性的过程,有助于消除用户搜索意图的模糊性。我们的技术贡献是:三重convnet架构,其结合了基于RNN的变分自编码器以使用向量(基于笔划)查询来搜索图像;实时聚类以识别可能的搜索意图(以及因此,搜索嵌入内的目标);以及使用来自这些目标的反向传播来扰动输入笔划序列,从而建议对查询的更改以引导搜索。我们使用67 M图像语料库显示了在准确性和任务时间方面的改进。
2019-04-14 cs.AI cs.CV cs.IR
TRAIL: Trajectory-Aware Visual Place Recognition against Unordered Databases
Visual Geometry Group (VGG), University of Oxford(牛津大学视觉几何组(VGG));Helsing(赫尔辛公司)
TRAIL提出一种基于条件随机场的轨迹感知视觉地点识别框架,利用查询序列上下文在无序数据库中定位图像,无需数据库序列结构,作为轻量级后处理层可将基线性能提升高达8.3个百分点。
2026-09-09 cs.CV
Script: Graph-Structured and Query-Conditioned Semantic Token Pruning for Multimodal Large Language Models
BCML, Heriot-Watt University(赫瑞瓦德大学BCML中心)
Script通过图结构和查询条件的语义令牌修剪,提升多模态大语言模型的效率和准确性,实现显著的性能提升。
2025-12-01 cs.CV
Query Independent Variable Rate Visual Token Coding
Peking University(北京大学);Uppsala University(乌普萨拉大学);University of Southern California(南加州大学)
针对视觉-语言模型,提出查询无关的可变码率视觉标记编码,通过失真-码率曲线分配比特预算,在保持输出分布和答案上优于均匀码率及剪枝方法,并超越注意力排序剪枝于跨问题场景。
2026-10-02 cs.CV