Visual Vocabulary Learning and Its Application to 3D and Mobile Visual Search
Harbin Engineering University（哈尔滨工程大学）
在这份技术报告中，我们回顾了基于视觉词汇的Web图像搜索，对象识别，移动视觉搜索和3D对象检索的相关工作和最新趋势。特别重点也将给出监督/无监督词汇优化，紧凑的视觉搜索描述符，以及在基于多视图的三维对象表示的最新趋势。
2012-06-29 cs.CV
Visual search over billions of aerial and satellite images
Descartes Labs（笛卡尔实验室）
我们提出了一个系统进行视觉搜索超过数十亿的航空和卫星图像。视觉搜索的目的是找到在视觉上与查询图像相似的图像。我们使用512个抽象的视觉特征定义视觉相似性，这些视觉特征是由一个卷积神经网络生成的，该网络已经在航空和卫星图像上进行了训练。特征被转换为二进制值以减少数据和计算需求。我们使用Bigtable进行基于哈希的搜索，Bigtable是Google Cloud的一种可扩展数据库服务。以1米像素分辨率搜索美国大陆，对应约20亿张图像，大约需要0.1秒。该系统能够在地球表面进行实时视觉搜索，并在https://search.descarteslabs.com上提供交互式演示。
2020-02-07 cs.CV
Visual Search at Pinterest
Pinterest；University of California, Berkeley（加州大学伯克利分校）
我们证明，随着分布式计算平台，如亚马逊网络服务和开源工具的可用性，它是可能的一个小的工程团队来构建，启动和维护一个具有成本效益的，大规模的视觉搜索系统与广泛可用的工具。我们还通过Pinterest的一系列全面的现场实验证明，由视觉搜索提供支持的内容推荐可以提高用户参与度。通过分享我们的实现细节和从头开始推出商业视觉搜索引擎的经验，我们希望视觉搜索更广泛地融入到今天的商业应用中。
2017-03-08 cs.CV
Open Cross-Domain Visual Search
University of Amsterdam（阿姆斯特丹大学）
本文讨论了跨域视觉搜索，视觉查询检索类别样本从不同的域。例如，我们可能想要绘制飞机草图并检索飞机的照片。尽管取得了相当大的进展，但搜索发生在两个预定义域之间的封闭环境中。在本文中，我们朝着开放的设置，多个视觉领域可用的一步。这特别地转化为在任何一对域之间、从域的组合或在多个域内的搜索。我们介绍一种简单而有效的方法。我们制定的搜索作为一个映射，从每个视觉域到一个共同的语义空间，类别表示的超球形原型。然后，通过在公共语义空间中搜索来执行开放的跨域视觉搜索，而不管哪个域被用作源或目标。域在公共空间中组合，以同时从多个域或在多个域内搜索。每个特定于域的映射函数的单独训练使得能够有效地扩展到任何数量的域，而不会影响搜索性能。我们经验说明我们的能力，在三个不同的情况下执行开放的跨域视觉搜索。我们的方法是有竞争力的，相对于现有的封闭设置，在那里我们获得了国家的最先进的结果，对三个基于草图的搜索任务的几个基准。
2020-07-28 cs.CV
Recurrent Latent Visual Search for GUI Grounding
Sun Yat-sen University（中山大学）
提出ReLaViS，一种在单轮交互中通过循环潜在视觉搜索实现显式空间多步搜索的GUI接地方法，基于Qwen2.5-VL-7B，在ScreenSpot-Pro上准确率提升3.1个百分点至56.3%，推理开销仅增3.5%，并在五个基准上均优于单步基线。
2026-10-06 cs.CV
V*: Guided Visual Search as a Core Mechanism in Multimodal LLMs
UC San Diego（加州大学圣迭戈分校）；New York University（纽约大学）
针对多模态大语言模型缺乏视觉搜索机制的问题，提出V*引导式视觉搜索机制及SEAL架构，并构建V*Bench基准，以增强高分辨率图像中视觉细节的聚焦能力。
2023-12-26 cs.CV
DyFo: A Training-Free Dynamic Focus Visual Search for Enhancing LMMs in Fine-Grained Visual Understanding
Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所）；School of Intelligence Science and Technology, University of Science and Technology Beijing（北京科技大学智能科学与技术学院）；Tencent Beijing Research（腾讯北京研究院）
DyFo提出一种无需训练的动态聚焦视觉搜索方法，利用蒙特卡洛树搜索模拟人类视觉搜索，增强LMMs的细粒度理解并减少幻觉，在固定和动态分辨率模型上均表现优越。
2025-04-21 cs.CV
Interactive Visual Feature Search
Jane Street（简街）；Princeton University（普林斯顿大学）
本文提出 Visual Feature Search，一种适用于任意 CNN 的交互式可视化工具，可通过高亮图像区域检索特征最相似的数据集图像，并在医学成像和野生动物分类等应用中验证其解释模型行为的能力。
2023-12-15 cs.CV
LOCUS: Local Visual Cue Search for Enhancing Fine-Grained Perception in Multimodal Large Language Models
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
提出LOCUS训练框架，通过可验证的局部线索搜索代理任务，使MLLM内化细粒度证据选择，提升定位敏感视觉理解而不改变推理接口。
2026-07-30 cs.CV
An efficient deep learning hashing neural network for mobile visual search
Beijing University of Posts and Telecommunications（北京邮电大学）
移动视觉搜索应用正在出现，其使得用户能够用智能手机感知他们的周围环境。然而，由于移动视觉搜索的特殊挑战，实现高识别比特率已成为先前相关工作的一致目标。在本文中，我们提出了一种少参数，低延迟，高精度的深度哈希方法，用于构建移动视觉搜索的二进制哈希码。首先，我们利用MobileNet模型的架构，通过减少模型参数的数量，同时保持准确性，显著降低了深度特征提取的延迟。其次，我们在MobileNet中添加了一个类似哈希的层，以在标记的移动视觉数据上训练模型。评估表明，该系统可以超过国家的最先进的准确性性能的MAP。更重要的是，内存消耗比其他深度学习模型要少得多。所提出的方法仅需要用于神经网络的存储器的$13$ MB，并且在用于测试的移动位置识别数据集上实现了$97.80\%$的MAP。
2017-10-21 cs.CV
Thinking in 360°: Humanoid Visual Search in the Wild
NYU（纽约大学）；NVIDIA（英伟达）；TU Darmstadt（图鲁姆大学）；UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
本文提出人形视觉搜索方法，通过人形代理在360°全景图像中搜索物体和路径，实验表明现有模型在复杂场景中表现不佳，但通过后训练技术显著提升了性能。
2025-11-26 cs.CV
Visual-Textual Association with Hardest and Semi-Hard Negative Pairs Mining for Person Search
Beijing Institute of Technology（北京理工大学）
利用自然语言描述的查询方式在大规模图像数据库中进行人物检索是视频监控中一个较为实用的重要应用。直观地说，对于人物搜索来说，核心问题应该是视觉-文本关联，由于文本描述的高度抽象性和视觉图像的直观表达之间的矛盾，这仍然是一个极具挑战性的任务。然而，对于这个任务，虽然积极的图像-文本对总是很好地提供，大多数现有的方法不解决这个问题，有效地挖掘更合理的负对。本文提出了一种新的视觉-文本关联方法，该方法结合了视觉和文本注意力，以及跨模态最难和半难否定对挖掘。为了验证该方法的有效性和可行性，我们在典型的人物搜索引擎CUHK-PEDES上进行了大量的实验，取得了55.32%的top1成绩，成为一个新的研究领域。此外，我们还在COCO字幕数据集上对半硬对挖掘方法进行了评估，验证了该方法的有效性和互补性。
2019-12-06 cs.CV
Web-Scale Responsive Visual Search at Bing
Microsoft（微软）
在本文中，我们介绍了一个Web规模的通用视觉搜索系统部署在微软必应。该系统在索引中容纳数百亿张图像，每张图像具有数千个特征，并且可以在不到200 ms内响应。为了克服如此大规模数据的相关性，延迟和可扩展性方面的挑战，我们采用了基于各种最新深度学习视觉特征的级联学习排名框架，并部署在分布式异构计算平台上。定量和定性的实验表明，我们的系统能够支持各种应用程序的Bing网站和应用程序。
2018-02-20 cs.CV
ViTAA: Visual-Textual Attributes Alignment in Person Search by Natural Language
Beihang University（北京航空航天大学）；Arizona State University（亚利桑那州立大学）
基于自然语言的人物搜索是指在大规模的图像池中，根据给定的文本描述，检索出一个特定的人物。虽然目前的大多数方法将任务视为一个整体的视觉和文本特征匹配的一个，我们从属性对齐的角度，允许接地特定的属性短语到相应的视觉区域。我们取得了成功，以及性能提升的强大功能学习，所指的身份可以准确地捆绑多属性视觉线索。具体来说，我们的视觉-文本属性对齐模型（称为ViTAA）学习使用轻辅助属性分割计算分支将人的特征空间分解为与属性对应的子空间。然后，它将这些视觉特征与通过使用新颖的对比学习损失从句子中解析出的文本属性进行对齐。在此基础上，我们验证了我们的ViTAA框架通过广泛的实验任务的人搜索自然语言和属性短语查询，我们的系统达到国家的最先进的性能。代码将在发布时公开提供。
2020-07-30 cs.CV
GeoViS: Geospatially Rewarded Visual Search for Remote Sensing Visual Grounding
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航空信息研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；National University of Defense Technology（国防科技大学）；Shanghai Jiao Tong University（上海交通大学）；Chongqing University（重庆大学）
GeoViS通过地理奖励机制，实现了遥感影像中的细粒度视觉定位，通过逐步搜索和推理提升小目标检测精度与跨领域泛化能力。
2025-12-02 cs.CV
Towards Practical Visual Search Engine within Elasticsearch
Jet.com/Walmart Labs（捷特公司/沃尔玛实验室）
在本文中，我们描述了我们的端到端的基于内容的图像检索系统建立在Elasticsearch，一个著名的和流行的文本搜索引擎。据我们所知，这是第一次在电子商务中实施这样的系统，我们的努力是非常值得的。我们最终得到了一个新颖而令人兴奋的视觉搜索解决方案，它非常容易以成本友好的方式部署，分发，扩展和监控。此外，我们的平台在支持多模态搜索方面具有内在的灵活性，在检索中可以联合利用视觉和文本信息。其核心思想是将图像特征向量编码到字符串标记的集合中，使得更接近的向量将共享更多的字符串标记。通过这样做，我们可以利用Elasticsearch根据编码的sting令牌内的相似性有效地检索相似的图像。作为开发的一部分，我们提出了一种新的矢量到字符串编码方法，该方法在精度和延迟方面都大大优于以前的方法。在实现这个基于Elasticsearch的平台方面的第一手经验得到了广泛的讨论，这对于那些对在Elasticsearch之上构建可视化搜索引擎感兴趣的从业者来说应该是有价值的。
2019-03-17 cs.CV
Structured Visual Search via Composition-aware Learning
QUvA Lab, University of Amsterdam（阿姆斯特丹大学QUvA实验室）；University of Amsterdam（阿姆斯特丹大学）
本文研究了基于结构化查询的视觉搜索。该结构是以2D组合的形式，对对象的位置和类别进行编码。对象的位置和类别的变换导致视觉组成之间的连续值关系，其携带高度有益的信息，尽管没有被先前的技术利用。为此，在这项工作中，我们的目标是通过使用等方差对称的概念来利用这些连续的关系。我们的模型输出被训练成相对于输入变换对称地变化，从而产生敏感的特征空间。这样做会导致一种高效的搜索技术，因为我们的方法使用更小的特征空间从更少的数据中学习。在MS-COCO和HICO-DET两个大规模基准测试上的实验表明，我们的方法在性能上比竞争技术有相当大的提高。
2020-10-27 cs.CV
Self-Prophetic Decoding to Unlock Visual Search in LVLMs
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；ShanghaiTech University（上海科技大学）
提出SeProD框架，通过自预言解码利用预训练模型的内在单步能力，以无训练、即插即用的方式增强LVLM在多步视觉搜索中的连贯推理，在4个基准的12个分割上一致提升性能。
2026-05-27 cs.CV
How hard can it be? Estimating the difficulty of visual search in an image
Institute of Mathematical Statistics and Applied Mathematics of the Romanian Academy（罗马尼亚科学院数学统计与应用数学研究所）；Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；University of Bucharest（布加勒斯特大学）；University of Edinburgh（爱丁堡大学）
我们解决的问题，估计图像难度定义为人类的响应时间解决视觉搜索任务。我们通过众包平台收集PASCAL VOC 2012数据集的图像难度的人类注释。然后，我们分析了人类可解释的图像属性可以对视觉搜索难度产生影响，以及这些属性对预测难度的准确性。接下来，我们基于使用最先进的卷积神经网络学习的深度特征构建回归模型，并显示出更好的结果来预测人类注释器产生的地面实况视觉搜索难度分数。我们的模型能够正确地排名约75%的图像对，根据他们的难度得分。我们还表明，我们的难度预测推广以及在训练过程中没有看到新的类。最后，我们证明了我们预测的难度分数对于弱监督对象定位（提高8%）和半监督对象分类（提高1%）是有用的。
2017-05-23 cs.CV
eProduct: A Million-Scale Visual Search Benchmark to Address Product Recognition Challenges
eBay Inc（eBay公司）
大型商品识别是计算机视觉和机器学习在电子商务领域的主要应用之一。由于产品的数量通常远大于产品类别的数量，因此基于图像的产品识别通常被视为视觉搜索而不是分类问题。它也是超细粒度识别的实例之一，其中有许多产品具有轻微或微妙的视觉差异。创建一个基准数据集来训练和评估现实世界中的各种视觉搜索解决方案一直是一个挑战。这激发了eProduct的创建，eProduct是一个由250万个产品图像组成的数据集，旨在加速自监督学习、弱监督学习和多模式学习领域的发展，以实现细粒度识别。我们将eProduct作为训练集和评估集，其中训练集包含1.3M+带有标题和层次类别标签的列表图像，用于模型开发，评估集包括10，000个查询和110万个索引图像，用于视觉搜索评估。我们将介绍eProduct的构建步骤，提供有关其多样性的分析，并介绍在其上训练的基线模型的性能。
2021-07-13 cs.CV
Deep Learning based Large Scale Visual Recommendation and Search for E-Commerce
Flipkart Internet Pvt. Ltd.（Flipkart互联网私人有限公司）
在本文中，我们提出了一个统一的端到端的方法来建立一个大规模的视觉搜索和推荐系统的电子商业。以前的作品针对这些问题孤立。我们认为，将它们放在一起处理，可以得到一个更有效和更优雅的解决办法。我们提出了一个统一的深度卷积神经网络架构，称为VisNet，以学习嵌入来捕捉视觉相似性的概念，跨越几个语义粒度。我们证明了我们的方法的图像检索任务的优越性，通过比较对国家的最先进的精确Street2Shop数据集。然后，我们分享了在部署该模型时所做的设计决策和权衡，以在5000万种产品的目录中提供视觉推荐，支持印度最大的电子商业公司Flipkart每秒2K次查询。我们的解决方案的部署已经产生了重大的业务影响，如转换率所衡量的。
2017-03-07 cs.CV
Latent Visual Diffusion Reasoning with Monte Carlo Tree Search
Beijing Jiaotong University（北京交通大学）；Virginia Commonwealth University（弗吉尼亚联邦大学）；University at Buffalo（布法罗大学）
提出LVDR框架，结合关键点引导的蒙特卡洛树搜索，实现细粒度技能活动的可解释视觉推理，在多个体育和手术数据集上取得竞争性表现。
2026-06-29 cs.CV
Latent Beam Diffusion Models for Generating Visual Sequences
NOVA LINCS, NOVA School of Science and Technology（NOVA LINCS、NOVA科学与技术学校）
本文提出BeamDiffusion，通过潜在空间束搜索与交叉注意力剪枝实现图像序列的条件生成，解决扩散模型在序列生成中的视觉一致性问题，实验证明其在连贯性、视觉连续性和文本对齐方面优于基线方法。
2025-09-20 cs.CV
A Meta-Bayesian Model of Intentional Visual Search
University of Bristol（布里斯托大学）；King’s College London（伦敦国王学院）
我们提出了一个计算模型的视觉搜索，结合贝叶斯解释的神经机制，分类感知和眼跳规划。为了使模拟和人类行为之间的有意义的比较，我们采用了一个凝视的偶然范式，要求参与者通过一个窗口，跟随他们的目光，对被遮挡的MNIST数字进行分类。在这项任务中的时间尺度的分离所施加的条件独立性体现在我们的模型的层次结构的约束;规划和决策被铸造作为一个部分可观察的马尔可夫决策过程，而本体感受和外感受信号集成的动态模型，便于近似推理的视觉信息及其潜在的原因。我们的模型能够概括人类行为指标，如分类准确性，同时保持高度的可解释性，我们通过从观察到的人类行为中恢复特定于受试者的参数来证明这一点。
2020-06-05 cs.CV
Visual Fashion-Product Search at SK Planet
SK Planet
我们建立了一个大规模的视觉搜索系统，找到类似的产品图像给定的时尚项目。任意时尚产品之间的相似性定义仍然是一个具有挑战性的问题，即使没有确切的地面真理。为了解决这个问题，我们定义了90多个与时尚相关的属性，这些属性的组合可以代表数千种独特的时尚风格。服装属性是定义服装产品图像语义相似度的要素之一。为了大规模地构建我们的系统，这些时尚属性再次被用来构建一个倒排索引方案。除了这些时尚属性的语义相似性，我们提取颜色和外观特征的一个区域的兴趣（ROI）的时尚项目的视觉相似性。通过分享我们的方法，我们希望就如何将当前的计算机视觉研究应用于电子商务行业进行积极的讨论。
2017-04-12 cs.CV
From Web to Pixels: Bringing Agentic Search into Visual Perception
Deep Research
本文提出感知深度研究，引入WebEye基准，通过代理搜索到像素的工作流程，解决隐藏目标身份并绑定到框、掩码或 grounded 答案，实验显示其在三个任务视图中表现最佳。
2026-05-12 cs.CV
Adaptive Substring Extraction and Modified Local NBNN Scoring for Binary Feature-based Local Mobile Visual Search without False Positives
The University of Tokyo（东京大学）；KDDI R&D Laboratories, Inc.（KDDI研究与开发实验室）；National Institute of Informatics（信息学研究所）
在本文中，我们提出了一个独立的移动视觉搜索系统的基础上二进制特征和袋视觉词框架。本研究的贡献是三方面的：（1）我们提出了一种自适应子串提取方法，自适应地从原始二进制向量中提取信息位，并将其存储在倒排索引中。这些子字符串用于优化基于视觉单词的匹配。(2)在图像检索的背景下，提出了一种改进的局部NBNN评分方法，该方法在对每个特征匹配进行评分时考虑了二值特征的密度。(3)为了抑制误报，我们引入了一个凸性检查步骤，对变换后的参考图像的配置施加凸性约束。与传统方法相比，该系统在不增加数据库大小的情况下，检索精度提高了11%。此外，我们的系统与凸性检查不会导致假阳性结果。
2016-10-20 cs.CV
From Pixels to BFS: High Maze Accuracy Does Not Imply Visual Planning
Independent Researcher（独立研究者）
本文通过MazeBench基准测试，揭示了多模态模型在视觉空间任务中依赖于文本网格转换和逐步路径枚举，而非真正的规划，高精度并不等同于人类空间理解。
2026-05-12 cs.CV cs.LG
Beyond Pixels: Benchmarking and Reward-Based Assessing Framework for Visual Spatial Aesthetics
Alibaba Group（阿里巴巴集团）
SA-IQA通过多维奖励框架系统评估室内场景的美学质量，利用SA-BENCH基准提升AIGC生成流程和图像质量。
2026-08-11 cs.AI cs.CV
OVIS: Open-Vocabulary Visual Instance Search via Visual-Semantic Aligned Representation Learning
University at Buffalo（布法罗大学）；Microsoft（微软公司）
我们介绍了开放词汇可视化实例搜索（OVIS）的任务。给定任意文本搜索查询，开放词汇视觉实例搜索（OVIS）旨在返回视觉实例的排名列表，即，图像块，其满足来自图像数据库的搜索意图。术语“开放词汇表”意味着既不存在对要搜索的可视实例的限制，也不存在对可用于组成文本搜索查询的词的限制。我们建议通过视觉语义对齐的表示学习（ViSA）来解决这样的搜索挑战。ViSA利用大量图像-标题对作为弱图像级（而不是实例级）监督来学习丰富的跨模态语义空间，其中视觉实例（而不是图像）的表示和文本查询的表示对齐，从而使我们能够测量任何视觉实例和任意文本查询之间的相似性。为了评估ViSA的性能，我们构建了两个名为OVIS 40和OVIS 1600的数据集，并引入了一个用于错误分析的管道。通过对这两个数据集的广泛实验，我们证明了ViSA在训练过程中无法搜索图像中的视觉实例的能力，因为它提供了广泛的文本查询，包括由不常用词组成的文本查询。实验结果表明，在最具挑战性的设置下，ViSA在OVIS 40上实现了21.9%的mAP@50，在OVIS 1600数据集上实现了14.9%的mAP@6。
2021-08-08 cs.AI cs.CV
Integrating Three Mechanisms of Visual Attention for Active Visual Search
York University（约克大学）
机器人视觉搜索的算法可以受益于视觉注意方法的使用，以减少计算成本。在这里，我们描述了三种不同的视觉注意力机制可以集成和有效地用于提高搜索性能。第一个是视点选择，如之前已经提出的，使用概率占用网格表示上的贪婪搜索。第二种是使用直方图反投影方法的自上而下的基于对象的注意力，也在前面描述过。第三是视觉显著性。这是新颖的意义上说，它不是用作当前图像的感兴趣区域的方法，而是作为一种非组合形式的前瞻性搜索未来的视点选择。此外，在一个单一的框架内，这三个注意力计划的整合是独一无二的，以前没有研究过。我们研究我们提出的方法在场景中很少或没有关于环境的信息。通过对移动机器人的大量实验，我们表明，我们的方法通过减少所需的时间和动作数量来提高视觉搜索性能。
2017-02-14 cs.CV cs.RO
Visual Decoding of Targets During Visual Search From Human Eye Fixations
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
人类的凝视揭示了用户的意图是什么？这些意图在多大程度上可以被推断甚至可视化？凝视被提出作为一种隐式信息源来预测视觉搜索的目标，最近，预测搜索目标的对象类别和属性。在这项工作中，我们更进一步，研究了将使用深度卷积神经网络编码人类凝视信息的最新进展与生成图像模型的能力相结合的可行性，以视觉解码，即创建搜索目标的视觉表示。这样的视觉解码是具有挑战性的，原因有两个：1）搜索目标仅作为主观视觉模式驻留在用户的头脑中，并且通常甚至不能被人口头描述，以及2）到目前为止，还不清楚注视注视是否包含用于该任务的足够信息。我们表明，第一次，搜索目标的视觉表示确实只能从人类的凝视固定解码。我们建议首先将注视编码成语义表示，然后将此表示解码成图像。我们在最近的一个凝视数据集上评估了我们的方法，该数据集包含14名参与者，他们在图像拼贴中搜索服装，并使用两项人类研究验证了模型的预测。我们的研究结果表明，62%（机会水平= 10%）的时间用户能够正确选择解码图像的类别。在我们的第二个研究中，我们展示了本地注视编码对解码用户视觉搜索目标的重要性。
2017-06-21 cs.CV cs.HC
Target Features Affect Visual Search, A Study of Eye Fixations
Center for Intelligent Machines（智能机器中心）；McGill University（麦吉尔大学）
视觉搜索是指在视觉显示中的一组分散注意力的对象中找到目标对象的任务。在本文中，基于对COCO-Search 18数据集的独立分析，我们研究了人类参与者在视觉搜索过程中的表现如何受到目标对象的大小和偏心率等不同参数的影响。我们还研究了参与者的出错率和搜索性能之间的相关性。我们的研究表明，一个更大，更偏心的目标是发现更快的注视次数较少。我们的图形代码可在https://github.com/ManooshSamiei/COCOSearch18_Analysis上公开获取。
2022-10-03 cs.CV stat.AP
A computational model of serial and parallel processing in visual search
本文提出并扩展了CASPER计算模型，以解释视觉搜索中的串行与并行加工及关系搜索现象，并通过实验和模拟验证了模型预测，揭示了涌现特征在关系搜索中的作用。
2023-10-16 cs.CV cs.SC
CNN-based search model underestimates attention guidance by simple visual features
最近，Zhang等人（2018）提出了一种有趣的注意力引导模型，该模型使用卷积神经网络学习的视觉特征进行对象识别。我将这个模型用于搜索实验，并将准确性作为性能的衡量标准。对我们先前发表的特征和连接搜索实验的模拟表明，基于CNN的搜索模型大大低估了简单视觉特征对人类注意力的引导。一个简单的解释是，该模型没有自下而上的注意力指导。另一种观点可能是，标准的CNN不会学习类似人类的注意力引导所需的特征。
2021-04-25 cs.CV q-bio.NC
Visual Congruent Ads for Image Search
Yahoo Inc.（雅虎公司）
在线用户体验的质量受到广告的相关性和放置的影响。我们提出了一个新的系统，用于选择和显示图像搜索结果集中的视觉广告。我们的方法将候选广告的视觉相似性与图像搜索结果进行比较，并选择要显示的视觉上最相似的广告。该方法还在所显示的图像网格中选择适当的位置，以最小化广告与其相邻广告之间的感知视觉差异。我们进行了一个实验，约900名用户，发现我们提出的方法提供了显着改善用户的整体满意度的图像搜索体验，而不会削弱用户的能力，看到广告或召回广告品牌。
2016-04-21 cs.CV cs.HC
Attention-based Active Visual Search for Mobile Robots
York University（约克大学）；Technische Universität München（慕尼黑工业大学）
我们提出了一个主动视觉搜索模型，在未知的环境中寻找对象。所提出的算法引导机器人对所寻求的对象使用由视觉传感器提供的相关刺激。现有的搜索策略要么是纯粹的反应式的，要么使用简化的传感器模型，不利用所有可用的视觉信息。在本文中，我们提出了一个新的模型，积极提取视觉信息，通过视觉注意力技术，并结合非近视决策算法，导致机器人搜索更多的相关领域的环境。注意力模块耦合了自上而下和自下而上的注意力模型，使机器人能够首先搜索重要性较高的区域。所提出的算法进行评估的移动机器人平台上的3D模拟环境。结果表明，视觉注意的使用显着改善搜索，但改善的程度取决于任务的性质和环境的复杂性。在我们的实验中，我们发现使用视觉注意力机制可以在结构化环境中提高42%，在高度非结构化的杂乱环境中提高38%。
2018-07-27 cs.CV cs.RO
Capacity limitations of visual search in deep convolutional neural networks
University of Tartu（塔尔图大学）
深度卷积神经网络大致遵循生物视觉系统的架构，并在对象识别任务中表现出与人类观察者相当的性能。在这项研究中，我测试了三个预训练的深度神经网络在视觉搜索中对简单视觉特征和特征配置的搜索。结果揭示了从人类的表现质的差异。在人类实验中出现的简单特征的搜索和在人类视觉中表现出严格的容量限制的特征配置的搜索之间似乎没有明显的区别。这两种类型的刺激揭示了在这里测试的神经网络中相当的容量限制。
2021-03-29 cs.CV q-bio.NC
Benchmarking human visual search computational models in natural scenes: models comparison and reference datasets
Universidad de Buenos Aires（布宜诺斯艾利斯大学）；CONICET（阿根廷国家科学与技术研究理事会）
视觉搜索是几乎所有日常人类目标导向与环境互动的重要组成部分。如今，有几种算法能够在简单的观察过程中预测注视位置，但很少有模型试图模拟人类在自然场景中视觉搜索时的行为。此外，这些模型在设计上差异很大，在评估它们的数据集和指标上也存在差异。因此，需要有一个参照点，以便对每个模式进行测试，并从中得出可能的改进。在目前的工作中，我们选择了自然场景中公开可用的最先进的视觉搜索模型，并在不同的数据集上对其进行评估，采用相同的指标来估计其效率和与人类主题的相似性。特别是，我们提出了一个改进的理想贝叶斯搜索器，通过结合一个基于神经网络的视觉搜索模型，使其能够推广到其他数据集。目前的工作揭示了当前模型的局限性，以及如何通过组合方法来实现潜在的改进。此外，它进一步提供了一个解决方案，迫切需要基准数据和指标，以支持更一般的人类视觉搜索计算模型的发展。
2021-12-10 cs.AI cs.CV
Zero-shot Active Visual Search (ZAVIS): Intelligent Object Search for Robotic Assistants
Korea University（高丽大学）；Allen Institute for AI（艾伦人工智能研究所）；Queens University（皇后大学）
在本文中，我们专注于使用配备有视觉传感器的移动机器人（例如，RGBD相机）。传统的主动视觉搜索预先定义了一组要搜索的对象，使得这些技术在实践中受到限制。为了提供更多的灵活性，在主动视觉搜索，我们提出了一个系统，用户可以输入目标命令使用自由形式的语言，我们称之为这个系统的主动视觉搜索在野外（AVSW）。AVSW通过由静态地标（例如，书桌或床）。为了有效地规划目标搜索模式，AVSW在决定首先访问哪些地标时考虑基于常识知识的同现和预测不确定性。我们验证了所提出的方法相对于SR（成功率）和SPL（成功加权路径长度）在模拟和现实世界的环境。在模拟场景中，所提出的方法在SPL方面优于以前的方法，平均差距为0.283。我们进一步证明AVSW与先锋-3AT机器人在现实世界中的研究。
2023-02-07 cs.CV cs.RO
Visual Search at eBay
eBay Inc.（eBay公司）
在本文中，我们提出了一种新的端到端的方法可扩展的视觉搜索基础设施。我们讨论了我们在eBay这样的大规模不稳定库存中所面临的挑战，并提出了克服这些挑战的解决方案。我们利用eBay物品的大量图像集合和最先进的深度学习技术来大规模执行视觉搜索。用于优化搜索的监督方法仅限于最佳预测类别，也适用于紧凑的二进制签名，这是在不影响准确性和精度的情况下扩大规模的关键。两者都使用一个共同的深度神经网络，只需要一个前向推理。该系统的体系结构，其基本组件和优化之间的权衡搜索相关性和延迟的深入讨论。该解决方案目前部署在分布式云基础设施中，并为eBay ShopBot和Close5中的视觉搜索提供支持。我们在ImageNet数据集上展示了基准测试，我们的方法比几个无监督基线更快，更准确。我们分享我们的经验，希望视觉搜索成为所有大型搜索引擎的一等公民，而不是事后的想法。
2017-07-07 cs.CV cs.IR
Efficient Zero-shot Visual Search via Target and Context-aware Transformer
Baylor College of Medicine（贝勒医学院）；Agency for Science, Technology and Research（新加坡科技研究局）
视觉搜索是自然视觉中无处不在的挑战，包括在人群中寻找朋友或在停车场搜索汽车等日常任务。人类在很大程度上依赖于相关的目标特征来执行目标导向的视觉搜索。同时，上下文对于在复杂场景中定位目标对象至关重要，因为它有助于缩小搜索范围并使搜索过程更有效。然而，很少有工作结合目标和上下文信息的视觉搜索计算模型。在这里，我们提出了一个zero-shot深度学习架构，TCT（目标和上下文感知的Transformer），它在视觉Transformer中使用目标和上下文相关信息来调节自我注意力，以实现类似人类的zero-shot视觉搜索性能。目标调制被计算为目标和搜索图像之间的局部相关性，而上下文调制以全局方式应用。我们进行视觉搜索实验TCT和其他竞争力的视觉搜索模型在三个自然场景数据集不同程度的难度。TCT在搜索效率方面表现出类似人类的性能，并在具有挑战性的视觉搜索任务中击败了SOTA模型。重要的是，TCT可以很好地在具有新对象的数据集上推广，而无需重新训练或微调。此外，我们还引入了一个新的数据集基准模型不变的视觉搜索不一致的情况下。TCT通过目标和上下文调制灵活地进行搜索，即使在不一致的上下文下。
2022-11-24 cs.AI cs.CV cs.LG
Utilization of Deep Reinforcement Learning for saccadic-based object visual search
IBM Research（IBM研究院）
本文重点研究的问题，学习眼跳，使视觉对象搜索。所开发的系统将强化学习与用于学习的神经网络相结合，以预测其行动的可能结果。我们验证了解决方案在三种类型的环境组成的（伪）-随机生成的数字矩阵。实验验证之后的讨论所需的系统模仿中央凹运动和可能的进一步研究方向的元素。
2016-10-20 cs.CV cs.LG
PicArrange -- Visually Sort, Search, and Explore Private Images on a Mac Computer
HTW Berlin, University of Applied Sciences（柏林工程应用技术大学）
本机macOS应用PicArrange集成了最先进的图像排序和相似性搜索，使用户能够更好地了解他们的图像。添加了许多文件和图像管理功能，使其成为解决完整图像管理工作流程的工具。自排序映射算法的修改使得能够在不失去视觉排序的情况下实现列表式图像排列。高效计算和存储视觉功能以及使用许多macOS API，使应用程序易于使用。
2021-11-26 cs.CV cs.LG
Unsupervised Deep Hashing for Large-scale Visual Search
Northwestern Polytechnical University（西北工业大学）；University of Oulu（奥卢大学）
基于学习的哈希算法在大规模视觉搜索中起着关键作用。然而，大多数现有的散列算法倾向于学习不寻求代表性二进制代码的浅模型。在本文中，我们提出了一种基于无监督深度学习的哈希方法，将特征分层转换为哈希码。在异构深度哈希框架内，考虑具有特定约束的自动编码器层来建模特征和二进制代码之间的非线性映射。然后，一个限制玻尔兹曼机（RBM）层的约束被用来减少在汉明空间的维数。视觉搜索问题上的广泛实验证明了我们所提出的方法相比，国家的最先进的竞争力。
2016-01-31 cs.CV cs.LG
Neural Networks for Fashion Image Classification and Visual Search
NUS Business School（新加坡国立大学商学院）
我们讨论了电子商务行业面临的两个潜在的挑战性问题。其中一个问题涉及卖家在平台上上传产品图片以供销售时所面临的问题以及随之而来的手动标记。它会引起错误分类，导致其在搜索结果中的缺失。另一个问题是，当客户可能不知道正确的关键字，但对图像有视觉印象时，下订单可能会遇到瓶颈。基于图像的搜索算法可以释放电子商务的真正潜力，使客户能够点击一个对象的图片和搜索类似的产品，而不需要打字。在本文中，我们将探讨机器学习算法，它可以帮助我们解决这两个问题。
2020-05-17 cs.CV cs.LG
An Efficient Index for Visual Search in Appearance-based SLAM
University of Alberta（阿尔伯塔大学）
当词汇量很大时，矢量量化在视觉词袋（BoW）搜索中可能是计算上昂贵的步骤。基于BoW的外观SLAM需要解决这个问题，以实现高效的实时操作。我们提出了一种有效的方法来加快矢量量化过程中的BoW为基础的视觉SLAM。为此，我们采用了基于图的最近邻搜索（GNNS）算法，实验表明，它可以优于国家的最先进的GNNS中使用的基于图的搜索结构，可以有效地集成到BoW模型和SLAM框架。基于图的索引是一个k-NN图，它是在词汇单词上构建的，可以通过向k-means聚类添加一次迭代来从BoW的词汇构建过程中提取，这会增加少量额外成本。此外，利用为基于外观的SLAM获取的图像是顺序的这一事实，可以明智地启动GNNS搜索，这有助于显著提高量化过程的加速比。
2013-09-27 cs.CV cs.RO
Visual Search Asymmetry: Deep Nets and Humans Share Similar Inherent Biases
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Harvard Medical School（哈佛医学院）；Center for Brains, Minds and Machines（大脑、心智与机器研究中心）；Brigham and Women’s Hospital（布列根和妇女医院）；Children’s Hospital（儿童医院）
视觉搜索是一项无处不在且经常具有挑战性的日常任务，例如在家中或在人群中寻找汽车钥匙。一些经典搜索任务的一个有趣特性是不对称性，在干扰物B中找到目标A可能比在A中找到B更容易。为了阐明视觉搜索中不对称性的机制，我们提出了一个计算模型，该模型以目标和搜索图像为输入，产生一系列眼动，直到目标被找到，该模型将偏心依赖的视觉识别与目标依赖的自上而下的线索相结合。我们在六个范式搜索任务中比较了人类行为的模型，这些任务显示了人类的不对称性。没有事先暴露的刺激或特定任务的培训，该模型提供了一个合理的搜索不对称的机制。我们假设，搜索不对称的极性来自自然环境的经验。我们通过在ImageNet的增强版本上训练模型来测试这一假设，其中自然图像的偏差被移除或逆转。搜索不对称的极性消失或改变，这取决于训练协议。这项研究强调了经典的感知特性如何在神经网络模型中出现，而不需要特定于任务的训练，而是作为喂养模型的发育饮食的统计特性的结果。所有源代码和数据都可以在https://github.com/kreimanlab/VisualSearchAsymmetry上公开获得。
2021-11-07 cs.CV q-bio.NC
DiffVAS: Diffusion-Guided Visual Active Search in Partially Observable Environments
Washington University in St. Louis（华盛顿大学圣路易斯分校）；RISE Research Institutes of Sweden（瑞典RISE研究机构）；Climate AI Nordics（北欧气候AI）
DiffVAS提出了一种目标条件化的策略，能够在部分可观测环境中同时搜索多种目标，提升了视觉主动搜索在现实应用中的部署能力。
2026-05-15 cs.AI cs.CV
A Partially Supervised Reinforcement Learning Framework for Visual Active Search
Washington University in St. Louis（圣路易斯华盛顿大学）
针对现有深度强化学习视觉主动搜索方法未充分利用监督信息的局限，提出融合DRL与传统主动搜索的分解式策略框架及联合元学习方法，在多领域任务上性能显著优于SOTA。
2023-11-08 cs.AI cs.CV
Semantic-Based Active Perception for Humanoid Visual Tasks with Foveal Sensors
Instituto Superior Técnico（高等技术学院）
本研究拓展基于语义的中央凹主动感知模型至视觉搜索任务，对比传统显著性模型等，证实自上而下语义信息可显著提升场景探索与视觉搜索性能，为其与自下而上线索整合提供研究方向。
2024-04-16 cs.CV eess.IV
VISOR: Agentic Visual Retrieval-Augmented Generation via Iterative Search and Over-horizon Reasoning
Soochow University（苏州大学）；Baidu Inc.（百度公司）
VISOR通过结构化证据空间和动态轨迹机制解决多步推理中的视觉证据稀疏和搜索漂移问题，实现高效长视距视觉推理。
2026-08-19 cs.AI cs.CV
Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation
Hong Kong University of Science and Technology（香港科技大学）；University of Waterloo（滑铁卢大学）；Qwen Applications（通义千问应用）；Imperial College London（帝国理工学院）
针对视觉生成器的世界知识瓶颈，构建专用数据集与基准，提出教-搜协同训练框架定位动态知识边界，实现知识驱动的可迭代视觉生成性能提升。
2026-07-28 cs.AI cs.CV
Do vision-language models search like humans? Reasoning tokens as a reaction-time analog in classic visual-search paradigms
Independent Researcher（独立研究者）
研究视觉-语言模型（VLM）在经典视觉搜索任务中是否表现出类似人类的行为模式，通过推理标记数量作为搜索努力度的指标，发现模型复现了部分人类特征但也存在关键差异。
2026-06-25 cs.AI cs.CV
