Applications of Generative Adversarial Models in Visual Search Reformulation
查询重构是用户对输入搜索查询进行细化以匹配原始前n个结果之外的文档的过程。平均而言,大约50%的文本搜索查询涉及某种形式的重新表述,而术语建议工具在提供给用户时有35%的时间被使用。然而,尽管文本搜索查询很普遍,但这种功能还有待于在视觉搜索中进行大规模的探索。这是因为图像的重构提出了一个新的挑战,无缝地转换视觉特征,以匹配典型用户会话的上下文中的用户意图。在本文中,我们提出了语义转换视觉查询的方法,例如利用生成对抗模型的潜在空间中的操作,用于时尚和产品搜索的场景。
2019-10-28 cs.CV cs.IR cs.LG
Recurrent Latent Visual Search for GUI Grounding
Sun Yat-sen University(中山大学)
提出ReLaViS,一种在单轮交互中通过循环潜在视觉搜索实现显式空间多步搜索的GUI接地方法,基于Qwen2.5-VL-7B,在ScreenSpot-Pro上准确率提升3.1个百分点至56.3%,推理开销仅增3.5%,并在五个基准上均优于单步基线。
2026-10-06 cs.CV
V*: Guided Visual Search as a Core Mechanism in Multimodal LLMs
UC San Diego(加州大学圣迭戈分校);New York University(纽约大学)
针对多模态大语言模型缺乏视觉搜索机制的问题,提出V*引导式视觉搜索机制及SEAL架构,并构建V*Bench基准,以增强高分辨率图像中视觉细节的聚焦能力。
2023-12-26 cs.CV
OVIS: Open-Vocabulary Visual Instance Search via Visual-Semantic Aligned Representation Learning
University at Buffalo(布法罗大学);Microsoft(微软公司)
我们介绍了开放词汇可视化实例搜索(OVIS)的任务。给定任意文本搜索查询,开放词汇视觉实例搜索(OVIS)旨在返回视觉实例的排名列表,即,图像块,其满足来自图像数据库的搜索意图。术语“开放词汇表”意味着既不存在对要搜索的可视实例的限制,也不存在对可用于组成文本搜索查询的词的限制。我们建议通过视觉语义对齐的表示学习(ViSA)来解决这样的搜索挑战。ViSA利用大量图像-标题对作为弱图像级(而不是实例级)监督来学习丰富的跨模态语义空间,其中视觉实例(而不是图像)的表示和文本查询的表示对齐,从而使我们能够测量任何视觉实例和任意文本查询之间的相似性。为了评估ViSA的性能,我们构建了两个名为OVIS 40和OVIS 1600的数据集,并引入了一个用于错误分析的管道。通过对这两个数据集的广泛实验,我们证明了ViSA在训练过程中无法搜索图像中的视觉实例的能力,因为它提供了广泛的文本查询,包括由不常用词组成的文本查询。实验结果表明,在最具挑战性的设置下,ViSA在OVIS 40上实现了21.9%的mAP@50,在OVIS 1600数据集上实现了14.9%的mAP@6。
2021-08-08 cs.AI cs.CV
Integrating Three Mechanisms of Visual Attention for Active Visual Search
York University(约克大学)
机器人视觉搜索的算法可以受益于视觉注意方法的使用,以减少计算成本。在这里,我们描述了三种不同的视觉注意力机制可以集成和有效地用于提高搜索性能。第一个是视点选择,如之前已经提出的,使用概率占用网格表示上的贪婪搜索。第二种是使用直方图反投影方法的自上而下的基于对象的注意力,也在前面描述过。第三是视觉显著性。这是新颖的意义上说,它不是用作当前图像的感兴趣区域的方法,而是作为一种非组合形式的前瞻性搜索未来的视点选择。此外,在一个单一的框架内,这三个注意力计划的整合是独一无二的,以前没有研究过。我们研究我们提出的方法在场景中很少或没有关于环境的信息。通过对移动机器人的大量实验,我们表明,我们的方法通过减少所需的时间和动作数量来提高视觉搜索性能。
2017-02-14 cs.CV cs.RO
InterLV-Search: Benchmarking Interleaved Multimodal Agentic Search
Nanyang Technological University(南洋理工大学);Shandong University(山东大学);Damo Academy, Alibaba Group(阿里达摩院)
本文提出InterLV-Search基准测试,用于评估交错语言-视觉代理搜索,包含多层级任务,涵盖主动视觉证据搜索、受控离线交错多模态搜索和开放网页交错多模态搜索,揭示当前系统在视觉证据获取、搜索控制及多模态证据整合方面的挑战。
2026-05-08 cs.CL cs.CV cs.IR
Visual Decoding of Targets During Visual Search From Human Eye Fixations
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
人类的凝视揭示了用户的意图是什么?这些意图在多大程度上可以被推断甚至可视化?凝视被提出作为一种隐式信息源来预测视觉搜索的目标,最近,预测搜索目标的对象类别和属性。在这项工作中,我们更进一步,研究了将使用深度卷积神经网络编码人类凝视信息的最新进展与生成图像模型的能力相结合的可行性,以视觉解码,即创建搜索目标的视觉表示。这样的视觉解码是具有挑战性的,原因有两个:1)搜索目标仅作为主观视觉模式驻留在用户的头脑中,并且通常甚至不能被人口头描述,以及2)到目前为止,还不清楚注视注视是否包含用于该任务的足够信息。我们表明,第一次,搜索目标的视觉表示确实只能从人类的凝视固定解码。我们建议首先将注视编码成语义表示,然后将此表示解码成图像。我们在最近的一个凝视数据集上评估了我们的方法,该数据集包含14名参与者,他们在图像拼贴中搜索服装,并使用两项人类研究验证了模型的预测。我们的研究结果表明,62%(机会水平= 10%)的时间用户能够正确选择解码图像的类别。在我们的第二个研究中,我们展示了本地注视编码对解码用户视觉搜索目标的重要性。
2017-06-21 cs.CV cs.HC
Efficient Zero-shot Visual Search via Target and Context-aware Transformer
Baylor College of Medicine(贝勒医学院);Agency for Science, Technology and Research(新加坡科技研究局)
视觉搜索是自然视觉中无处不在的挑战,包括在人群中寻找朋友或在停车场搜索汽车等日常任务。人类在很大程度上依赖于相关的目标特征来执行目标导向的视觉搜索。同时,上下文对于在复杂场景中定位目标对象至关重要,因为它有助于缩小搜索范围并使搜索过程更有效。然而,很少有工作结合目标和上下文信息的视觉搜索计算模型。在这里,我们提出了一个zero-shot深度学习架构,TCT(目标和上下文感知的Transformer),它在视觉Transformer中使用目标和上下文相关信息来调节自我注意力,以实现类似人类的zero-shot视觉搜索性能。目标调制被计算为目标和搜索图像之间的局部相关性,而上下文调制以全局方式应用。我们进行视觉搜索实验TCT和其他竞争力的视觉搜索模型在三个自然场景数据集不同程度的难度。TCT在搜索效率方面表现出类似人类的性能,并在具有挑战性的视觉搜索任务中击败了SOTA模型。重要的是,TCT可以很好地在具有新对象的数据集上推广,而无需重新训练或微调。此外,我们还引入了一个新的数据集基准模型不变的视觉搜索不一致的情况下。TCT通过目标和上下文调制灵活地进行搜索,即使在不一致的上下文下。
2022-11-24 cs.AI cs.CV cs.LG
Target Features Affect Visual Search, A Study of Eye Fixations
Center for Intelligent Machines(智能机器中心);McGill University(麦吉尔大学)
视觉搜索是指在视觉显示中的一组分散注意力的对象中找到目标对象的任务。在本文中,基于对COCO-Search 18数据集的独立分析,我们研究了人类参与者在视觉搜索过程中的表现如何受到目标对象的大小和偏心率等不同参数的影响。我们还研究了参与者的出错率和搜索性能之间的相关性。我们的研究表明,一个更大,更偏心的目标是发现更快的注视次数较少。我们的图形代码可在https://github.com/ManooshSamiei/COCOSearch18_Analysis上公开获取。
2022-10-03 cs.CV stat.AP
DyFo: A Training-Free Dynamic Focus Visual Search for Enhancing LMMs in Fine-Grained Visual Understanding
Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所);School of Intelligence Science and Technology, University of Science and Technology Beijing(北京科技大学智能科学与技术学院);Tencent Beijing Research(腾讯北京研究院)
DyFo提出一种无需训练的动态聚焦视觉搜索方法,利用蒙特卡洛树搜索模拟人类视觉搜索,增强LMMs的细粒度理解并减少幻觉,在固定和动态分辨率模型上均表现优越。
2025-04-21 cs.CV
Interactive Visual Feature Search
Jane Street(简街);Princeton University(普林斯顿大学)
本文提出 Visual Feature Search,一种适用于任意 CNN 的交互式可视化工具,可通过高亮图像区域检索特征最相似的数据集图像,并在医学成像和野生动物分类等应用中验证其解释模型行为的能力。
2023-12-15 cs.CV
LOCUS: Local Visual Cue Search for Enhancing Fine-Grained Perception in Multimodal Large Language Models
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
提出LOCUS训练框架,通过可验证的局部线索搜索代理任务,使MLLM内化细粒度证据选择,提升定位敏感视觉理解而不改变推理接口。
2026-07-30 cs.CV
A computational model of serial and parallel processing in visual search
本文提出并扩展了CASPER计算模型,以解释视觉搜索中的串行与并行加工及关系搜索现象,并通过实验和模拟验证了模型预测,揭示了涌现特征在关系搜索中的作用。
2023-10-16 cs.CV cs.SC
CNN-based search model underestimates attention guidance by simple visual features
最近,Zhang等人(2018)提出了一种有趣的注意力引导模型,该模型使用卷积神经网络学习的视觉特征进行对象识别。我将这个模型用于搜索实验,并将准确性作为性能的衡量标准。对我们先前发表的特征和连接搜索实验的模拟表明,基于CNN的搜索模型大大低估了简单视觉特征对人类注意力的引导。一个简单的解释是,该模型没有自下而上的注意力指导。另一种观点可能是,标准的CNN不会学习类似人类的注意力引导所需的特征。
2021-04-25 cs.CV q-bio.NC
Visual Congruent Ads for Image Search
Yahoo Inc.(雅虎公司)
在线用户体验的质量受到广告的相关性和放置的影响。我们提出了一个新的系统,用于选择和显示图像搜索结果集中的视觉广告。我们的方法将候选广告的视觉相似性与图像搜索结果进行比较,并选择要显示的视觉上最相似的广告。该方法还在所显示的图像网格中选择适当的位置,以最小化广告与其相邻广告之间的感知视觉差异。我们进行了一个实验,约900名用户,发现我们提出的方法提供了显着改善用户的整体满意度的图像搜索体验,而不会削弱用户的能力,看到广告或召回广告品牌。
2016-04-21 cs.CV cs.HC
Attention-based Active Visual Search for Mobile Robots
York University(约克大学);Technische Universität München(慕尼黑工业大学)
我们提出了一个主动视觉搜索模型,在未知的环境中寻找对象。所提出的算法引导机器人对所寻求的对象使用由视觉传感器提供的相关刺激。现有的搜索策略要么是纯粹的反应式的,要么使用简化的传感器模型,不利用所有可用的视觉信息。在本文中,我们提出了一个新的模型,积极提取视觉信息,通过视觉注意力技术,并结合非近视决策算法,导致机器人搜索更多的相关领域的环境。注意力模块耦合了自上而下和自下而上的注意力模型,使机器人能够首先搜索重要性较高的区域。所提出的算法进行评估的移动机器人平台上的3D模拟环境。结果表明,视觉注意的使用显着改善搜索,但改善的程度取决于任务的性质和环境的复杂性。在我们的实验中,我们发现使用视觉注意力机制可以在结构化环境中提高42%,在高度非结构化的杂乱环境中提高38%。
2018-07-27 cs.CV cs.RO
An efficient deep learning hashing neural network for mobile visual search
Beijing University of Posts and Telecommunications(北京邮电大学)
移动视觉搜索应用正在出现,其使得用户能够用智能手机感知他们的周围环境。然而,由于移动视觉搜索的特殊挑战,实现高识别比特率已成为先前相关工作的一致目标。在本文中,我们提出了一种少参数,低延迟,高精度的深度哈希方法,用于构建移动视觉搜索的二进制哈希码。首先,我们利用MobileNet模型的架构,通过减少模型参数的数量,同时保持准确性,显著降低了深度特征提取的延迟。其次,我们在MobileNet中添加了一个类似哈希的层,以在标记的移动视觉数据上训练模型。评估表明,该系统可以超过国家的最先进的准确性性能的MAP。更重要的是,内存消耗比其他深度学习模型要少得多。所提出的方法仅需要用于神经网络的存储器的$13$ MB,并且在用于测试的移动位置识别数据集上实现了$97.80\%$的MAP。
2017-10-21 cs.CV
Thinking in 360°: Humanoid Visual Search in the Wild
NYU(纽约大学);NVIDIA(英伟达);TU Darmstadt(图鲁姆大学);UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
本文提出人形视觉搜索方法,通过人形代理在360°全景图像中搜索物体和路径,实验表明现有模型在复杂场景中表现不佳,但通过后训练技术显著提升了性能。
2025-11-26 cs.CV
Visual-Textual Association with Hardest and Semi-Hard Negative Pairs Mining for Person Search
Beijing Institute of Technology(北京理工大学)
利用自然语言描述的查询方式在大规模图像数据库中进行人物检索是视频监控中一个较为实用的重要应用。直观地说,对于人物搜索来说,核心问题应该是视觉-文本关联,由于文本描述的高度抽象性和视觉图像的直观表达之间的矛盾,这仍然是一个极具挑战性的任务。然而,对于这个任务,虽然积极的图像-文本对总是很好地提供,大多数现有的方法不解决这个问题,有效地挖掘更合理的负对。本文提出了一种新的视觉-文本关联方法,该方法结合了视觉和文本注意力,以及跨模态最难和半难否定对挖掘。为了验证该方法的有效性和可行性,我们在典型的人物搜索引擎CUHK-PEDES上进行了大量的实验,取得了55.32%的top1成绩,成为一个新的研究领域。此外,我们还在COCO字幕数据集上对半硬对挖掘方法进行了评估,验证了该方法的有效性和互补性。
2019-12-06 cs.CV
Web-Scale Responsive Visual Search at Bing
Microsoft(微软)
在本文中,我们介绍了一个Web规模的通用视觉搜索系统部署在微软必应。该系统在索引中容纳数百亿张图像,每张图像具有数千个特征,并且可以在不到200 ms内响应。为了克服如此大规模数据的相关性,延迟和可扩展性方面的挑战,我们采用了基于各种最新深度学习视觉特征的级联学习排名框架,并部署在分布式异构计算平台上。定量和定性的实验表明,我们的系统能够支持各种应用程序的Bing网站和应用程序。
2018-02-20 cs.CV
Capacity limitations of visual search in deep convolutional neural networks
University of Tartu(塔尔图大学)
深度卷积神经网络大致遵循生物视觉系统的架构,并在对象识别任务中表现出与人类观察者相当的性能。在这项研究中,我测试了三个预训练的深度神经网络在视觉搜索中对简单视觉特征和特征配置的搜索。结果揭示了从人类的表现质的差异。在人类实验中出现的简单特征的搜索和在人类视觉中表现出严格的容量限制的特征配置的搜索之间似乎没有明显的区别。这两种类型的刺激揭示了在这里测试的神经网络中相当的容量限制。
2021-03-29 cs.CV q-bio.NC
Picture It In Your Mind: Generating High Level Visual Representations From Textual Descriptions
ISTI-CNR(意大利国家研究委员会信息科学与技术研究所)
在本文中,我们解决的问题时,查询是一个简短的文字描述的图像用户正在寻找的图像搜索。我们选择通过学习将文本查询转换为视觉表示,将实际搜索过程实现为视觉特征空间中的相似性搜索。在视觉特征空间中搜索具有以下优点:对翻译模型的任何更新不需要重新处理在其上执行搜索的通常巨大的图像集合。我们提出了Text 2 Vis,这是一个神经网络,它在ImageNet的fc 6-fc 7层的视觉特征空间中,从一个简短的描述性文本中生成一个视觉表示。Text 2 Vis使用随机损失选择方法优化两个损失函数。以视觉为中心的损失旨在学习实际的文本到视觉特征映射,而以文本为中心的损失旨在对语言中表达的更高级别的语义概念进行建模,并对抗视觉损失的非相关视觉组件的过拟合。我们报告了MS-COCO数据集的初步结果。
2016-06-23 cs.CL cs.CV cs.IR
Virtual ID Discovery from E-commerce Media at Alibaba: Exploiting Richness of User Click Behavior for Visual Search Relevance
Alibaba Group(阿里巴巴集团)
视觉搜索在电子商业中起着至关重要的作用。为了满足用户的搜索需求,提升阿里巴巴的购物体验,实时拍摄图像的视觉搜索相关性正在成为瓶颈。传统的视觉搜索范式通常是基于标记数据的监督学习。然而,大规模的分类标签需要昂贵的人工注释,这限制了它的适用性,并且通常无法区分真实拍摄的图像。在本文中,我们提出了从用户点击行为中发现虚拟ID,以提高阿里巴巴的视觉搜索相关性。作为一种完全由点击数据驱动的方法,我们收集各种类型的点击数据来训练深度网络,而无需任何人工注释。特别地,虚拟ID被学习为具有共点击嵌入的分类监督,其从用户共点击行为中探索图像关系以指导类别预测和特征学习。具体地说,我们通过整合首次点击和切换点击作为正则化器来部署虚拟ID类别网络。虚拟身份特征网络采用三元组和列表约束相结合的方式进行训练。受益于对用户点击数据的探索,我们的网络更有效地编码更丰富的监督,并在类别和特征方面更好地区分实拍图像。为了验证我们的视觉搜索相关性的方法,我们进行了广泛的离线和在线实验上收集的实拍图像。与替代方法和最先进的方法相比,我们在所有组件中始终获得更好的实验结果。
2021-02-09 cs.CV
ViTAA: Visual-Textual Attributes Alignment in Person Search by Natural Language
Beihang University(北京航空航天大学);Arizona State University(亚利桑那州立大学)
基于自然语言的人物搜索是指在大规模的图像池中,根据给定的文本描述,检索出一个特定的人物。虽然目前的大多数方法将任务视为一个整体的视觉和文本特征匹配的一个,我们从属性对齐的角度,允许接地特定的属性短语到相应的视觉区域。我们取得了成功,以及性能提升的强大功能学习,所指的身份可以准确地捆绑多属性视觉线索。具体来说,我们的视觉-文本属性对齐模型(称为ViTAA)学习使用轻辅助属性分割计算分支将人的特征空间分解为与属性对应的子空间。然后,它将这些视觉特征与通过使用新颖的对比学习损失从句子中解析出的文本属性进行对齐。在此基础上,我们验证了我们的ViTAA框架通过广泛的实验任务的人搜索自然语言和属性短语查询,我们的系统达到国家的最先进的性能。代码将在发布时公开提供。
2020-07-30 cs.CV
Visual Search at Alibaba
Alibaba Group(阿里巴巴集团)
本文介绍了阿里巴巴大规模视觉搜索的算法和系统架构。在阿里巴巴电子商务环境下,讨论了以下挑战:(a)如何处理异构图像数据,弥合用户查询的实时图像与在线图像之间的差距。(b)如何处理大规模索引海量更新数据。(c)如何训练深度模型以实现有效的特征表示,而无需大量的人工注释。(d)如何通过考虑内容的质量来提高用户参与度。我们利用阿里巴巴的大量图像收集和最先进的深度学习技术来进行大规模的视觉搜索。我们提出了解决方案和实现细节,以克服这些问题,并分享我们的经验教训,从建设这样一个大规模的商业视觉搜索引擎。具体而言,基于模型和搜索的融合方法,引入有效地预测类别。此外,我们提出了一个深度CNN模型,通过挖掘用户点击行为进行联合检测和特征学习。二进制索引引擎旨在扩大索引而不影响查全率和精度。最后,我们将所有阶段应用到一个端到端的系统架构中,该架构可以同时实现适应实时拍摄图像的高效和可扩展的性能。大量的实验证明了我们系统中每个模块的先进性。我们希望阿里巴巴的视觉搜索能更广泛地融入到今天的商业应用中。
2021-02-09 cs.CV
Predicting Visual Attention and Distraction During Visual Search Using Convolutional Neural Networks
McGill University(麦吉尔大学)
大多数视觉注意的计算建模研究都包括无任务的图像观察。自由观看显著性考虑日常生活的有限场景。大多数视觉活动都是以目标为导向的,需要大量的自上而下的注意力控制。视觉搜索任务需要更多的自上而下的注意控制,相比自由观看。在本文中,我们提出了两种方法来模拟视觉搜索过程中观察者的视觉注意力和注意力分散。我们的第一种方法采用轻量级的自由观看显着性模型来预测人类观察者在搜索图像像素上的眼睛注视密度图,使用双流卷积编码器-解码器网络,在COCO-Search 18数据集上进行训练和评估。该方法预测在搜索特定目标时哪些位置更容易分散注意力。我们的网络在标准显着性指标上取得了良好的结果(AUC-Judd=0.95,AUC-Borji=0.85,sAUC=0.84,NSS=4.64,KLD=0.93,CC=0.72,SIM=0.54和IG=2.59)。我们的第二种方法是基于对象的,并预测视觉搜索过程中的分心物和目标对象。干扰物是除了观察者在搜索过程中注视的目标之外的所有物体。该方法使用Mask-RCNN分割网络,该网络在MS-COCO上进行了预训练,并在COCO-Search 18数据集上进行了微调。我们在COCO-Search 18中发布了三个目标类别的目标和干扰物的分割注释:瓶子,碗和汽车。三个类别的平均得分为:F1-得分=0.64,MAP(iou:0.5)=0.57,MAR(iou:0.5)=0.7…
2022-10-27 cs.AI cs.CV cs.LG
Benchmarking human visual search computational models in natural scenes: models comparison and reference datasets
Universidad de Buenos Aires(布宜诺斯艾利斯大学);CONICET(阿根廷国家科学与技术研究理事会)
视觉搜索是几乎所有日常人类目标导向与环境互动的重要组成部分。如今,有几种算法能够在简单的观察过程中预测注视位置,但很少有模型试图模拟人类在自然场景中视觉搜索时的行为。此外,这些模型在设计上差异很大,在评估它们的数据集和指标上也存在差异。因此,需要有一个参照点,以便对每个模式进行测试,并从中得出可能的改进。在目前的工作中,我们选择了自然场景中公开可用的最先进的视觉搜索模型,并在不同的数据集上对其进行评估,采用相同的指标来估计其效率和与人类主题的相似性。特别是,我们提出了一个改进的理想贝叶斯搜索器,通过结合一个基于神经网络的视觉搜索模型,使其能够推广到其他数据集。目前的工作揭示了当前模型的局限性,以及如何通过组合方法来实现潜在的改进。此外,它进一步提供了一个解决方案,迫切需要基准数据和指标,以支持更一般的人类视觉搜索计算模型的发展。
2021-12-10 cs.AI cs.CV
VINS: Visual Search for Mobile User Interface Design
Northeastern University(东北大学);University of California at Santa Cruz(加州大学圣克鲁兹分校)
搜索相关的移动用户界面设计实例可以帮助界面设计者获得设计灵感和比较设计方案。然而,找到这样的设计示例是具有挑战性的,特别是当前的搜索系统仅依赖于基于文本的查询,而不考虑UI结构和内容。本文介绍了VINS,一个可视化搜索框架,它以UI图像(线框,高保真)作为输入,并检索视觉上相似的设计示例。我们首先调查界面设计师,以更好地了解他们的例子发现过程。然后,我们开发了一个大规模的UI数据集,它提供了界面视图层次结构的准确规范(即,所有UI组件及其特定位置)。通过利用这个数据集,我们提出了一个基于对象检测的图像检索框架,模型的UI上下文和层次结构。该框架实现了76.39%的平均精度的UI检测和查询类似的UI设计的高性能。
2021-02-10 cs.CV cs.DB cs.HC
Zero-shot Active Visual Search (ZAVIS): Intelligent Object Search for Robotic Assistants
Korea University(高丽大学);Allen Institute for AI(艾伦人工智能研究所);Queens University(皇后大学)
在本文中,我们专注于使用配备有视觉传感器的移动机器人(例如,RGBD相机)。传统的主动视觉搜索预先定义了一组要搜索的对象,使得这些技术在实践中受到限制。为了提供更多的灵活性,在主动视觉搜索,我们提出了一个系统,用户可以输入目标命令使用自由形式的语言,我们称之为这个系统的主动视觉搜索在野外(AVSW)。AVSW通过由静态地标(例如,书桌或床)。为了有效地规划目标搜索模式,AVSW在决定首先访问哪些地标时考虑基于常识知识的同现和预测不确定性。我们验证了所提出的方法相对于SR(成功率)和SPL(成功加权路径长度)在模拟和现实世界的环境。在模拟场景中,所提出的方法在SPL方面优于以前的方法,平均差距为0.283。我们进一步证明AVSW与先锋-3AT机器人在现实世界中的研究。
2023-02-07 cs.CV cs.RO
GeoViS: Geospatially Rewarded Visual Search for Remote Sensing Visual Grounding
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院航空信息研究所);University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学);National University of Defense Technology(国防科技大学);Shanghai Jiao Tong University(上海交通大学);Chongqing University(重庆大学)
GeoViS通过地理奖励机制,实现了遥感影像中的细粒度视觉定位,通过逐步搜索和推理提升小目标检测精度与跨领域泛化能力。
2025-12-02 cs.CV
Towards Practical Visual Search Engine within Elasticsearch
Jet.com/Walmart Labs(捷特公司/沃尔玛实验室)
在本文中,我们描述了我们的端到端的基于内容的图像检索系统建立在Elasticsearch,一个著名的和流行的文本搜索引擎。据我们所知,这是第一次在电子商务中实施这样的系统,我们的努力是非常值得的。我们最终得到了一个新颖而令人兴奋的视觉搜索解决方案,它非常容易以成本友好的方式部署,分发,扩展和监控。此外,我们的平台在支持多模态搜索方面具有内在的灵活性,在检索中可以联合利用视觉和文本信息。其核心思想是将图像特征向量编码到字符串标记的集合中,使得更接近的向量将共享更多的字符串标记。通过这样做,我们可以利用Elasticsearch根据编码的sting令牌内的相似性有效地检索相似的图像。作为开发的一部分,我们提出了一种新的矢量到字符串编码方法,该方法在精度和延迟方面都大大优于以前的方法。在实现这个基于Elasticsearch的平台方面的第一手经验得到了广泛的讨论,这对于那些对在Elasticsearch之上构建可视化搜索引擎感兴趣的从业者来说应该是有价值的。
2019-03-17 cs.CV
Structured Visual Search via Composition-aware Learning
QUvA Lab, University of Amsterdam(阿姆斯特丹大学QUvA实验室);University of Amsterdam(阿姆斯特丹大学)
本文研究了基于结构化查询的视觉搜索。该结构是以2D组合的形式,对对象的位置和类别进行编码。对象的位置和类别的变换导致视觉组成之间的连续值关系,其携带高度有益的信息,尽管没有被先前的技术利用。为此,在这项工作中,我们的目标是通过使用等方差对称的概念来利用这些连续的关系。我们的模型输出被训练成相对于输入变换对称地变化,从而产生敏感的特征空间。这样做会导致一种高效的搜索技术,因为我们的方法使用更小的特征空间从更少的数据中学习。在MS-COCO和HICO-DET两个大规模基准测试上的实验表明,我们的方法在性能上比竞争技术有相当大的提高。
2020-10-27 cs.CV
Self-Prophetic Decoding to Unlock Visual Search in LVLMs
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);ShanghaiTech University(上海科技大学)
提出SeProD框架,通过自预言解码利用预训练模型的内在单步能力,以无训练、即插即用的方式增强LVLM在多步视觉搜索中的连贯推理,在4个基准的12个分割上一致提升性能。
2026-05-27 cs.CV
How hard can it be? Estimating the difficulty of visual search in an image
Institute of Mathematical Statistics and Applied Mathematics of the Romanian Academy(罗马尼亚科学院数学统计与应用数学研究所);Institute of Mathematics of the Romanian Academy(罗马尼亚科学院数学研究所);University of Bucharest(布加勒斯特大学);University of Edinburgh(爱丁堡大学)
我们解决的问题,估计图像难度定义为人类的响应时间解决视觉搜索任务。我们通过众包平台收集PASCAL VOC 2012数据集的图像难度的人类注释。然后,我们分析了人类可解释的图像属性可以对视觉搜索难度产生影响,以及这些属性对预测难度的准确性。接下来,我们基于使用最先进的卷积神经网络学习的深度特征构建回归模型,并显示出更好的结果来预测人类注释器产生的地面实况视觉搜索难度分数。我们的模型能够正确地排名约75%的图像对,根据他们的难度得分。我们还表明,我们的难度预测推广以及在训练过程中没有看到新的类。最后,我们证明了我们预测的难度分数对于弱监督对象定位(提高8%)和半监督对象分类(提高1%)是有用的。
2017-05-23 cs.CV
Joint Visual-Textual Embedding for Multimodal Style Search
Amazon Lab126(亚马逊Lab126)
我们介绍了一种多模态视觉文本搜索细化方法的时尚服装。现有的搜索引擎不能实现基于特定产品的属性对检索结果的直观的、交互式的细化。我们提出了一种方法来检索相似的项目,基于查询项目的图像和文本细化属性。我们相信这种方法可以用来解决许多现实生活中的客户场景,其中需要不同颜色,图案,长度或风格的类似物品。我们采用了一种联合嵌入训练方案,其中产品图像及其目录文本元数据在共享空间中紧密映射。这种联合视觉-文本嵌入空间允许基于文本细化要求在语义上操纵目录图像。我们提出了一个新的训练目标函数,小批量匹配检索,并证明了它的优越性比常用的三重损失。此外,我们还演示了添加属性提取模块的可行性,该模块在相同的目录数据上进行训练,并演示了如何将其集成到多模态搜索中以提高其性能。我们介绍了一个评估协议与相关的基准,并比较几种方法。
2019-06-15 cs.CV cs.IR cs.LG
eProduct: A Million-Scale Visual Search Benchmark to Address Product Recognition Challenges
eBay Inc(eBay公司)
大型商品识别是计算机视觉和机器学习在电子商务领域的主要应用之一。由于产品的数量通常远大于产品类别的数量,因此基于图像的产品识别通常被视为视觉搜索而不是分类问题。它也是超细粒度识别的实例之一,其中有许多产品具有轻微或微妙的视觉差异。创建一个基准数据集来训练和评估现实世界中的各种视觉搜索解决方案一直是一个挑战。这激发了eProduct的创建,eProduct是一个由250万个产品图像组成的数据集,旨在加速自监督学习、弱监督学习和多模式学习领域的发展,以实现细粒度识别。我们将eProduct作为训练集和评估集,其中训练集包含1.3M+带有标题和层次类别标签的列表图像,用于模型开发,评估集包括10,000个查询和110万个索引图像,用于视觉搜索评估。我们将介绍eProduct的构建步骤,提供有关其多样性的分析,并介绍在其上训练的基线模型的性能。
2021-07-13 cs.CV
Modeling human visual search: A combined Bayesian searcher and saliency map approach for eye movement guidance in natural scenes
Instituto del Cálculo, Universidad de Buenos Aires – CONICET(布宜诺斯艾利斯大学计算研究所 – CONICET)
寻找物体对于几乎所有日常视觉任务都是必不可少的。显著性模型对于预测自然图像中的注视位置是有用的,但是是静态的,即,它们没有提供关于注视的时间顺序的信息。如今,该领域最大的挑战之一是超越显着图来预测与视觉任务相关的一系列注视,例如搜索给定的目标。贝叶斯观察者模型已经提出了这项任务,因为他们代表视觉搜索作为一个积极的采样过程。然而,它们大多是在人工图像上进行评估的,它们如何适应自然图像在很大程度上仍未被探索。在这里,我们提出了一个统一的贝叶斯模型的视觉搜索显着图作为先验信息的指导。我们通过在自然场景中记录眼球运动的视觉搜索实验来验证我们的模型。我们发现,虽然国家的最先进的显着性模型表现良好,在预测的前两个固定在视觉搜索任务,其性能下降到机会之后。这表明,显着图本身是很好的模型自下而上的第一印象,但不足以解释自上而下的任务信息是至关重要的扫描路径。因此,我们建议使用它们作为先验的贝叶斯搜索。这种方法导致整个扫描路径的行为非常类似于人类,无论是在作为固定等级和扫描路径相似性的函数发现的目标的百分比,再现整个序列的眼球运动。
2020-12-08 cs.AI cs.CV q-bio.NC
Deep Learning based Large Scale Visual Recommendation and Search for E-Commerce
Flipkart Internet Pvt. Ltd.(Flipkart互联网私人有限公司)
在本文中,我们提出了一个统一的端到端的方法来建立一个大规模的视觉搜索和推荐系统的电子商业。以前的作品针对这些问题孤立。我们认为,将它们放在一起处理,可以得到一个更有效和更优雅的解决办法。我们提出了一个统一的深度卷积神经网络架构,称为VisNet,以学习嵌入来捕捉视觉相似性的概念,跨越几个语义粒度。我们证明了我们的方法的图像检索任务的优越性,通过比较对国家的最先进的精确Street2Shop数据集。然后,我们分享了在部署该模型时所做的设计决策和权衡,以在5000万种产品的目录中提供视觉推荐,支持印度最大的电子商业公司Flipkart每秒2K次查询。我们的解决方案的部署已经产生了重大的业务影响,如转换率所衡量的。
2017-03-07 cs.CV
Utilization of Deep Reinforcement Learning for saccadic-based object visual search
IBM Research(IBM研究院)
本文重点研究的问题,学习眼跳,使视觉对象搜索。所开发的系统将强化学习与用于学习的神经网络相结合,以预测其行动的可能结果。我们验证了解决方案在三种类型的环境组成的(伪)-随机生成的数字矩阵。实验验证之后的讨论所需的系统模仿中央凹运动和可能的进一步研究方向的元素。
2016-10-20 cs.CV cs.LG
Latent Visual Diffusion Reasoning with Monte Carlo Tree Search
Beijing Jiaotong University(北京交通大学);Virginia Commonwealth University(弗吉尼亚联邦大学);University at Buffalo(布法罗大学)
提出LVDR框架,结合关键点引导的蒙特卡洛树搜索,实现细粒度技能活动的可解释视觉推理,在多个体育和手术数据集上取得竞争性表现。
2026-06-29 cs.CV
PicArrange -- Visually Sort, Search, and Explore Private Images on a Mac Computer
HTW Berlin, University of Applied Sciences(柏林工程应用技术大学)
本机macOS应用PicArrange集成了最先进的图像排序和相似性搜索,使用户能够更好地了解他们的图像。添加了许多文件和图像管理功能,使其成为解决完整图像管理工作流程的工具。自排序映射算法的修改使得能够在不失去视觉排序的情况下实现列表式图像排列。高效计算和存储视觉功能以及使用许多macOS API,使应用程序易于使用。
2021-11-26 cs.CV cs.LG
Latent Beam Diffusion Models for Generating Visual Sequences
NOVA LINCS, NOVA School of Science and Technology(NOVA LINCS、NOVA科学与技术学校)
本文提出BeamDiffusion,通过潜在空间束搜索与交叉注意力剪枝实现图像序列的条件生成,解决扩散模型在序列生成中的视觉一致性问题,实验证明其在连贯性、视觉连续性和文本对齐方面优于基线方法。
2025-09-20 cs.CV
A Meta-Bayesian Model of Intentional Visual Search
University of Bristol(布里斯托大学);King’s College London(伦敦国王学院)
我们提出了一个计算模型的视觉搜索,结合贝叶斯解释的神经机制,分类感知和眼跳规划。为了使模拟和人类行为之间的有意义的比较,我们采用了一个凝视的偶然范式,要求参与者通过一个窗口,跟随他们的目光,对被遮挡的MNIST数字进行分类。在这项任务中的时间尺度的分离所施加的条件独立性体现在我们的模型的层次结构的约束;规划和决策被铸造作为一个部分可观察的马尔可夫决策过程,而本体感受和外感受信号集成的动态模型,便于近似推理的视觉信息及其潜在的原因。我们的模型能够概括人类行为指标,如分类准确性,同时保持高度的可解释性,我们通过从观察到的人类行为中恢复特定于受试者的参数来证明这一点。
2020-06-05 cs.CV
Visual Fashion-Product Search at SK Planet
SK Planet
我们建立了一个大规模的视觉搜索系统,找到类似的产品图像给定的时尚项目。任意时尚产品之间的相似性定义仍然是一个具有挑战性的问题,即使没有确切的地面真理。为了解决这个问题,我们定义了90多个与时尚相关的属性,这些属性的组合可以代表数千种独特的时尚风格。服装属性是定义服装产品图像语义相似度的要素之一。为了大规模地构建我们的系统,这些时尚属性再次被用来构建一个倒排索引方案。除了这些时尚属性的语义相似性,我们提取颜色和外观特征的一个区域的兴趣(ROI)的时尚项目的视觉相似性。通过分享我们的方法,我们希望就如何将当前的计算机视觉研究应用于电子商务行业进行积极的讨论。
2017-04-12 cs.CV
Unsupervised Deep Hashing for Large-scale Visual Search
Northwestern Polytechnical University(西北工业大学);University of Oulu(奥卢大学)
基于学习的哈希算法在大规模视觉搜索中起着关键作用。然而,大多数现有的散列算法倾向于学习不寻求代表性二进制代码的浅模型。在本文中,我们提出了一种基于无监督深度学习的哈希方法,将特征分层转换为哈希码。在异构深度哈希框架内,考虑具有特定约束的自动编码器层来建模特征和二进制代码之间的非线性映射。然后,一个限制玻尔兹曼机(RBM)层的约束被用来减少在汉明空间的维数。视觉搜索问题上的广泛实验证明了我们所提出的方法相比,国家的最先进的竞争力。
2016-01-31 cs.CV cs.LG
From Web to Pixels: Bringing Agentic Search into Visual Perception
Deep Research
本文提出感知深度研究,引入WebEye基准,通过代理搜索到像素的工作流程,解决隐藏目标身份并绑定到框、掩码或 grounded 答案,实验显示其在三个任务视图中表现最佳。
2026-05-12 cs.CV
Adaptive Substring Extraction and Modified Local NBNN Scoring for Binary Feature-based Local Mobile Visual Search without False Positives
The University of Tokyo(东京大学);KDDI R&D Laboratories, Inc.(KDDI研究与开发实验室);National Institute of Informatics(信息学研究所)
在本文中,我们提出了一个独立的移动视觉搜索系统的基础上二进制特征和袋视觉词框架。本研究的贡献是三方面的:(1)我们提出了一种自适应子串提取方法,自适应地从原始二进制向量中提取信息位,并将其存储在倒排索引中。这些子字符串用于优化基于视觉单词的匹配。(2)在图像检索的背景下,提出了一种改进的局部NBNN评分方法,该方法在对每个特征匹配进行评分时考虑了二值特征的密度。(3)为了抑制误报,我们引入了一个凸性检查步骤,对变换后的参考图像的配置施加凸性约束。与传统方法相比,该系统在不增加数据库大小的情况下,检索精度提高了11%。此外,我们的系统与凸性检查不会导致假阳性结果。
2016-10-20 cs.CV
LRVS-Fashion: Extending Visual Search with Referring Instructions
CRITEO AI Lab(CRITEO AI实验室);LIGM, École des Ponts(巴黎桥路学校LIGM实验室)
本文针对时尚领域图像相似度搜索的模糊性问题,提出指代视觉搜索(RVS)任务,发布含27.2万件商品、84.2万张图像的LRVS-Fashion数据集,并提出一种无需显式目标检测的弱监督条件对比学习方法,在200万干扰项设置下Recall@1优于强检测基线。
2024-05-15 cs.CV
Neural Networks for Fashion Image Classification and Visual Search
NUS Business School(新加坡国立大学商学院)
我们讨论了电子商务行业面临的两个潜在的挑战性问题。其中一个问题涉及卖家在平台上上传产品图片以供销售时所面临的问题以及随之而来的手动标记。它会引起错误分类,导致其在搜索结果中的缺失。另一个问题是,当客户可能不知道正确的关键字,但对图像有视觉印象时,下订单可能会遇到瓶颈。基于图像的搜索算法可以释放电子商务的真正潜力,使客户能够点击一个对象的图片和搜索类似的产品,而不需要打字。在本文中,我们将探讨机器学习算法,它可以帮助我们解决这两个问题。
2020-05-17 cs.CV cs.LG
Explainable Search and Discovery of Visual Cultural Heritage Collections with Multimodal Large Language Models
University of Richmond(里士满大学)
本文提出利用多模态大语言模型为视觉文化遗产馆藏构建开放式、可解释的搜索与发现界面,通过聚类和推荐系统提供文本解释,避免视觉嵌入缺陷,并通过纪实照片案例验证其有效性。
2024-11-07 cs.CV
An Efficient Index for Visual Search in Appearance-based SLAM
University of Alberta(阿尔伯塔大学)
当词汇量很大时,矢量量化在视觉词袋(BoW)搜索中可能是计算上昂贵的步骤。基于BoW的外观SLAM需要解决这个问题,以实现高效的实时操作。我们提出了一种有效的方法来加快矢量量化过程中的BoW为基础的视觉SLAM。为此,我们采用了基于图的最近邻搜索(GNNS)算法,实验表明,它可以优于国家的最先进的GNNS中使用的基于图的搜索结构,可以有效地集成到BoW模型和SLAM框架。基于图的索引是一个k-NN图,它是在词汇单词上构建的,可以通过向k-means聚类添加一次迭代来从BoW的词汇构建过程中提取,这会增加少量额外成本。此外,利用为基于外观的SLAM获取的图像是顺序的这一事实,可以明智地启动GNNS搜索,这有助于显著提高量化过程的加速比。
2013-09-27 cs.CV cs.RO
Axiomatic Explanations for Visual Search, Retrieval, and Similarity Learning
MIT(麻省理工学院);Microsoft(微软);Google(谷歌)
视觉搜索、推荐和对比相似性学习技术影响着全球数十亿用户。现代模型架构可能很复杂,很难解释,并且有几种相互竞争的技术可以用来解释搜索引擎的行为。我们表明,公平的信用分配理论提供了一个$\textit{unique}$公理化的解决方案,概括了现有的几个建议和度量的可解释性技术在文献中。使用这种形式主义,我们表明,当现有的方法违反“公平”,并得出回避这些缺点,自然处理反事实的信息的方法。更具体地说,我们现有的方法隐式近似二阶Shapley-Taylor指数和扩展CAM,GradCAM,LIME,SHAP,SBSM和其他方法的搜索引擎。这些扩展可以从训练的$\textit{opaque-box}$模型中提取图像之间的成对对应关系。我们还介绍了一个快速的基于内核的方法来估计Shapley-Taylor指数,需要数量级更少的函数评估收敛。最后,我们表明,这些博弈论的措施产生更一致的解释图像相似性架构。
2022-03-16 cs.CV cs.HC cs.IR
From Pixels to Purchase: Building and Evaluating a Taxonomy-Decoupled Visual Search Engine for Home Goods E-commerce
Wayfair
本文提出了一种去分类的视觉搜索引擎,通过无分类区域提案和统一嵌入提升搜索灵活性,并引入LLM-as-a-Judge框架实现零样本评估,从而提高家居电商的检索质量和客户参与度。
2026-01-16 cs.CV
Visual search and recognition for robot task execution and monitoring
Sapienza University of Rome(罗马第一大学)
在环境中进行相关目标的视觉搜索是机器人的一项重要技能。我们提出了一个初步的框架,机器人任务的执行监视器,照顾机器人的态度,以视觉搜索环境中涉及的任务的目标。视觉搜索也与从故障中恢复有关。该框架利用深度强化学习来获取"常识"场景结构,并利用深度卷积网络来检测对象及其之间的相关关系。该框架建立在这些方法的基础上,引入了基于视觉的执行监控,它使用经典的规划作为任务执行的骨干。实验结果表明,提出的基于视觉的执行监视器的机器人可以完成简单的任务,并可以从故障中恢复自主。
2019-02-07 cs.AI cs.CV cs.RO