Zero-Shot Sketch-Image Hashing
University of East Anglia（东安格利亚大学）；Inception Institute of Artificial Intelligence (IIAI)（人工智能初创研究院）；University of Electronic Science and Technology of China（电子科技大学）
最近的研究表明，跨模态二值表示学习方法可以有效地解决大规模草图图像检索问题，其中汉明距离匹配显著加快了相似性搜索的过程。提供训练和测试数据受到一组固定的预定义的类别，尖端SBIR和跨模态哈希作品获得可接受的检索性能。然而，大多数现有的方法失败时，查询草图的类别在训练过程中从未见过。在本文中，上述问题被简要介绍为一个新的，但现实的zero-shot SBIR哈希任务。我们阐述了这个特殊的任务的挑战，并相应地提出了一个zero-shot草图图像哈希（ZSIH）模型。构建了端到端的三网结构，其中两个网络作为二进制编码器。第三个网络分别利用Kronecker融合层和图卷积来减轻草图图像的异构性并增强数据之间的语义关系。作为ZSIH的一个重要组成部分，我们制定了一个产生式哈希方案重建语义知识表示的zero-shot检索。据我们所知，ZSIH是第一个适用于SBIR和交叉模式搜索的zero-shot哈希工作。在两个扩展数据集上进行了综合实验，草图和TU柏林与一个新的zero-shot列车测试分裂。所提出的模型显着优于相关工作。
2018-03-06 cs.CV
Compact and Effective Representations for Sketch-based Image Retrieval
DCC University of Chile（智利大学DCC）；Impresee Inc.（Impresee公司）
基于草图的图像检索（SBIR）在计算机视觉领域引起了越来越多的关注，并在实际应用中产生了很大的影响。例如，SBIR为电子商务搜索引擎带来了更多的好处，因为它允许用户通过绘制他们需要购买的内容来制定查询。然而，目前的方法显示出高精度的检索工作在高维空间，这会对内存消耗和时间处理等方面产生负面影响。虽然一些作者也提出了紧凑的表示，这些大大降低了低维的性能。因此，在这项工作中，我们提出了不同的评估方法，以产生紧凑的嵌入的背景下，基于草图的图像检索的结果。我们的主要兴趣是旨在保持原始空间的局部结构的策略。最近的无监督局部拓扑保持降维方法UMAP符合我们的要求，表现出出色的性能，甚至提高了SOTA方法所达到的精度。我们在两个不同的数据集中评估了六种方法。我们使用Flickr 15 K和电子商务数据集;后者是这项工作的另一个贡献。我们表明，UMAP允许我们有16个字节的特征向量，提高精度超过35%。
2021-04-20 cs.CV
Progressive Domain-Independent Feature Decomposition Network for Zero-Shot Sketch-Based Image Retrieval
Xidian University（西安电子科技大学）
基于零镜头草图的图像检索（Zero-shot-based sketch-imageretrieval，简称ZS-SBIR）是一种在zero-shot场景下基于手绘草图的跨模态检索任务。大多数现有的方法解决了这个问题，同时投影视觉特征和语义监督到一个低维的公共空间进行有效的检索。然而，这种低维投影破坏了语义知识在原始语义空间中的完整性，从而在从不同模态学习语义时无法很好地传递有用的知识。此外，视觉特征中的领域信息和语义信息纠缠在一起，不利于缩小草图和图像之间的领域差距，不利于跨模态匹配。在本文中，我们提出了一个渐进的域独立的特征分解（PDFD）网络的EST-SBIR。具体地说，在原始语义知识的指导下，PDFD将视觉特征分解为领域特征和语义特征，然后将语义特征投影到公共空间作为检索特征。渐进式投射策略保持了较强的语义监督。此外，为了保证检索特征能够捕捉到干净完整的语义信息，引入了交叉重构损失，以鼓励检索特征和领域特征的任意组合能够重构视觉特征。大量的实验证明了我们的PDFD优于国家的最先进的竞争对手。
2022-05-06 cs.CV
Composite Sketch+Text Queries for Retrieving Objects with Elusive Names and Complex Interactions
Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）；Microsoft（微软公司）
针对非母语者难命名对象及复杂交互的检索需求，提出复合草图+文本查询界面，构建CSTBIR数据集，设计STNET模型，实验证明其在多模态检索中优于现有方法。
2025-02-12 cs.AI cs.CL cs.CV
Cross-Modal Hierarchical Modelling for Fine-Grained Sketch Based Image Retrieval
University of Surrey（萨里大学）
草图作为图像搜索查询是捕获细粒度视觉细节的文本的理想替代。先前在基于细粒度草图的图像检索（FG-SBIR）上的成功已经证明了处理草图而不是照片的独特特征的重要性，例如，时间与静态、笔划与像素以及抽象与像素完美。在本文中，我们研究了迄今为止被忽视的草图的另一个特点，即它们在细节层次方面是分层的-一个人通常会绘制各种程度的细节来描绘一个对象。这种层次结构通常在视觉上是不同的。在本文中，我们设计了一种新的网络，能够培养草图特定的层次结构，并利用它们来匹配草图与相应层次的照片。特别是，从草图和照片的特征是丰富使用跨模态的共同注意，再加上层次节点融合在每一个层次，形成一个更好的嵌入空间进行检索。常见的基准测试实验表明，我们的方法优于国家的最先进的显着保证金。
2020-08-11 cs.CV cs.IR
Generative Model for Zero-Shot Sketch-Based Image Retrieval
IIT-Kanpur（印度理工学院坎普尔分校）；IIT-Guwahati（印度理工学院古瓦哈提分校）；IIT-Madras（印度理工学院马德拉斯分校）
我们提出了一个基于草图的图像检索（SBIR）的概率模型，在检索时，我们从新的类，在训练时不存在的草图。现有的SBIR方法，其中大部分依赖于学习类之间的草图和图像的对应关系，通常工作良好，只有以前看到的草图类，并导致在新的类检索性能差。为了解决这个问题，我们提出了一个生成模型，学习生成图像，条件是一个给定的小说类草图。这使我们能够减少SBIR问题，一个标准的图像到图像的搜索问题。我们的模型是基于逆自回归流的变分自编码器，与反馈机制，以确保强大的图像生成。我们在两个非常具有挑战性的数据集Sketchy和TU Berlin上评估了我们的模型，并使用了新的训练测试分割。所提出的方法显着优于两个数据集上的各种基线。
2019-04-18 cs.CV cs.IR stat.ML
Style-Content Disentanglement in Language-Image Pretraining Representations for Zero-Shot Sketch-to-Image Synthesis
University of Amsterdam（阿姆斯特丹大学）
在这项工作中，我们提出并验证了一个框架，利用语言图像预训练表示的训练免费zero-shot草图到图像合成。我们发现，解开的内容和风格表示可以用来指导图像生成器，采用它们作为草图到图像生成器，而无需（重新）训练任何参数。我们的方法来解开的风格和内容需要一个简单的方法，包括基本的算术假设输入草图表示的信息组合性。我们的研究结果表明，这种方法与最先进的实例级开放域草图到图像模型相比具有竞争力，而只依赖于预先训练的现成模型和一小部分数据。
2022-06-03 cs.CV
Stacked Adversarial Network for Zero-Shot Sketch based Image Retrieval
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
基于草图的图像检索（SBIR）的传统方法假设在训练期间所有类的数据都是可用的。假设可能并不总是实用的，因为一些类的数据可能不可用，或者类可能在训练时不出现。基于零拍摄草图的图像检索（Zero-Shot Sketch-Based Image Retrieval，简称SBIR）放宽了这一限制，允许算法在测试过程中处理以前看不到的类。本文提出了一种基于堆叠对抗网络（SAN）和暹罗网络（SN）的优势的生成方法，用于分布式SBIR。当SAN生成高质量样本时，SN学习到比最近邻搜索更好的距离度量。生成模型基于草图合成图像特征的能力将SBIR问题降低为图像到图像检索问题。我们评估了我们提出的方法在TU-柏林和Sketchy数据库中的标准BNL和广义BNL设置的有效性。所提出的方法产生了显着的改善，在标准的BNL，以及在一个更具挑战性的广义BNL设置（GBNL）SBIR。
2020-01-18 cs.CV cs.IR cs.LG
Scene Designer: a Unified Model for Scene Search and Synthesis from Sketch
Universidade de São Paulo（圣保罗大学）；University of Surrey（萨里大学）；Adobe Research（Adobe研究院）
场景设计器是一种新颖的方法，用于搜索和生成图像，使用场景组成的手绘草图;即描述对象的外观和相对位置的绘图。我们的核心贡献是一个单一的统一模型来学习跨模态搜索嵌入，用于将草图组合匹配到图像，以及用于布局合成的对象嵌入。我们表明，一个图神经网络（GNN），然后在我们的新的对比学习设置下的Transformer是必需的，以允许学习对象类型，外观和安排之间的相关性，驱动掩模生成模块，合成连贯的场景布局，同时也提供了最先进的草图为基础的视觉搜索场景。
2021-08-16 cs.CV
Multi-Object Sketch Animation by Scene Decomposition and Motion Planning
Renmin University of China（中国人民大学）
针对多对象草图动画的挑战，提出基于场景分解与运动规划的MoSketch方法，通过SDS迭代优化实现无需训练数据的动画生成，实验证明其优越性。
2025-08-02 cs.CV
CoGS: Controllable Generation and Search from Sketch and Style
Georgia Institute of Technology（佐治亚理工学院）；University of Surrey（萨里大学）；Adobe Inc.（奥多比公司）
我们提出了CoGS，一种新的方法，风格条件，草图驱动的图像合成。CoGS允许探索给定草图对象的不同外观可能性，从而实现对输出的结构和外观的解耦控制。经由输入草图和范例“样式”调节图像到基于变换器的草图和样式编码器来实现对对象结构和外观的粗粒度控制，以生成离散码本表示。我们将码本表示映射到度量空间中，从而在通过矢量量化GAN（VQ GAN）解码器生成图像之前，能够对多个合成选项之间的选择和插值进行细粒度控制。因此，我们的框架统一了搜索和合成任务，因为草图和样式对可以用于运行初始合成，该初始合成可以通过与搜索语料库中的类似结果组合来细化，以产生更接近地匹配用户意图的图像。我们证明了我们的模型，在我们新创建的伪草图数据集的125个对象类上训练，能够产生各种各样的语义内容和外观风格。
2022-07-20 cs.CV
SketchEmbedNet: Learning Novel Concepts by Imitating Drawings
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；CIFAR（加拿大高等研究院）
素描捕捉视觉概念的突出信息。以前的工作表明，神经网络能够从少量的类中绘制自然对象的草图。虽然早期的方法侧重于生成质量或检索，但我们探索了通过训练模型来生成图像草图的图像表示的属性。我们表明，这种生成，类不可知模型产生信息嵌入的图像从新的例子，类，甚至新的数据集在一个Few-Shot设置。此外，我们发现，这些学到的表示表现出有趣的结构和组合性。
2021-06-22 cs.CV cs.LG cs.NE
On Leveraging Variational Graph Embeddings for Open World Compositional Zero-Shot Learning
Technische Universität München（慕尼黑工业大学）；Mercateo AG（Mercateo股份公司）
人类能够识别和分类已知概念的新组合。组合零镜头学习（Compositional Zero-Shot learning，CNOML）的任务是学习原始概念（即对象和状态）的组合，即使是它们的新组合也可以被zero-shot分类。在这项工作中，我们不假设任何先验知识的可行性，即开放世界的设置，其中不可行的组合物占主导地位的搜索空间的新组合物。我们提出了一种组合变分图自动编码器（CVGAE）的方法来学习原始概念（节点）的变分嵌入以及它们的组合（通过边缘）的可行性。这样的建模使得CVGAE可扩展到现实世界的应用场景。这与SOTA方法CGE相反，SOTA方法CGE在计算上非常昂贵。例如，对于基准C-GQA数据集，CGE需要3.94 x 10^5个节点，而CVGAE只需要1323个节点。我们学习将图和图像嵌入映射到公共嵌入空间。CVGAE采用深度度量学习方法，并通过投影图和图像嵌入之间的双向对比损失来学习该空间中的相似性度量。我们在三个基准数据集上验证了该方法的有效性，并通过一个图像检索任务证明了CVGAE学习的表示更适合于组合泛化。
2022-04-23 cs.AI cs.CV cs.IR
Towards Realistic Face Photo-Sketch Synthesis via Composition-Aided GANs
Hangzhou Dianzi University（杭州电子科技大学）；Xidian University（西安电子科技大学）；Hefei University of Technology（合肥工业大学）；The University of Sydney（悉尼大学）；University of Chinese Academy of Sciences（中国科学院大学）
人脸照片-素描合成的目的是在给定的照片/素描的条件下生成面部素描/照片。它具有广泛的应用，包括数字娱乐和执法。由于结构现实主义和纹理一致性的限制，精确描绘面部照片/草图仍然具有挑战性。虽然现有的方法取得了令人信服的结果，他们大多产生模糊的效果和各种面部组件的巨大变形，导致合成图像的不切实际的感觉。为了应对这一挑战，在这项工作中，我们建议使用的面部组成信息，以帮助合成的面部素描/照片。特别是，我们提出了一种新的合成辅助生成对抗网络（CA-GAN）的人脸照片素描合成。在CA-GAN中，我们利用成对的输入，包括面部照片/草图和相应的像素面部标签来生成草图/照片。此外，为了将训练集中在硬生成的组件和精致的面部结构上，我们提出了一种成分重建损失。最后，我们使用堆栈CA-GAN（SCA-GAN）来进一步纠正缺陷并添加引人注目的细节。实验结果表明，我们的方法是能够生成视觉舒适和身份保持的人脸草图/照片在广泛的挑战性的数据。我们的方法达到了最先进的质量，大大降低了以前最好的Frechet Inception距离（FID）。此外，我们证明了所提出的方法是相当的推广能力。我们已经公开了我们的代码和结果：https://fei-hdu.github.io/ca-gan/。
2020-01-09 cs.CV
PSDoodle: Searching for App Screens via Interactive Sketching
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
基于关键字的移动屏幕搜索不考虑屏幕内容，无法作为所有级别用户的通用工具。视觉搜索（例如，图像、草图）结构化，易于采用。目前的视觉搜索方法依赖于完整的屏幕，因此缓慢而乏味。PSDoodle采用深度神经网络，在数字绘图界面上即时识别部分屏幕元素绘图，并实时显示结果。PSDoodle是第一个利用部分草图并以交互式迭代方式搜索屏幕的工具。PSDoodle支持不同的绘图风格，并检索与用户草图查询相关的搜索结果。一个简短的视频演示可在网上获得：https://youtu.be/3cVLHFm5pY4
2022-04-06 cs.CV cs.SE
LiveSketch: Query Perturbations for Guided Sketch-based Visual Search
University of Surrey（萨里大学）；Adobe Research（Adobe研究院）
LiveSketch是一种使用手绘查询搜索大型图像集的新算法。LiveSketch通过创建可视化建议来解决草图搜索的固有模糊性，这些建议在绘制查询时增加查询，使查询规范成为一个迭代而不是一次性的过程，有助于消除用户搜索意图的模糊性。我们的技术贡献是：三重convnet架构，其结合了基于RNN的变分自编码器以使用向量（基于笔划）查询来搜索图像;实时聚类以识别可能的搜索意图（以及因此，搜索嵌入内的目标）;以及使用来自这些目标的反向传播来扰动输入笔划序列，从而建议对查询的更改以引导搜索。我们使用67 M图像语料库显示了在准确性和任务时间方面的改进。
2019-04-14 cs.AI cs.CV cs.IR
SketchCleanNet -- A deep learning approach to the enhancement and correction of query sketches for a 3D CAD model retrieval system
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Jadavpur University（贾达普大学）
搜索和检索仍然是计算机图形学、计算机视觉、工程设计等多个领域的主要研究课题。搜索引擎主要需要输入搜索查询和要搜索的项目数据库。在工程中，这是本文的主要内容，数据库由3D CAD模型，如垫圈，活塞，连杆等，从用户查询通常是在一个草图，试图捕捉3D模型的细节的形式。然而，草图有一些典型的缺陷，如间隙，过度绘制的部分（多笔划）等，因为检索结果是一样好的输入查询，草图需要清理和增强更好的检索结果。本文提出了一种深度学习方法来改进或清理查询草图。首先，分析不同类别的草图，以了解可能发生的许多可能的缺陷。然后，基于对这些缺陷的理解，创建清理或增强的查询草图的数据集。因此，执行深度神经网络的端到端训练，以便提供有缺陷草图和干净草图之间的映射。该网络将有缺陷的查询草图作为输入，并生成干净或增强的查询草图。定性和定量的比较，所提出的方法与其他国家的最先进的技术表明，所提出的方法是有效的。搜索引擎的结果报告使用有缺陷的和增强的查询草图，它表明，使用增强的查询草图从开发的方法产生改进的搜索结果。
2022-07-02 cs.AI cs.CV cs.LG
Sketches image analysis: Web image search engine usingLSH index and DNN InceptionV3
University of Pisa（比萨大学）
采用合适的近似相似性搜索方法是开发快速高效的CBIR系统的必要前提，尤其是在处理大量数据时。在这项研究中，我们实现了一个Web图像搜索引擎上的局部敏感哈希（LSH）索引，允许快速相似性搜索的深度功能。具体来说，我们利用迁移学习从图像中提取深度特征。首先，我们采用在ImageNet上预训练的InceptionV 3作为特征提取器，其次，我们尝试了几个构建在InceptionV 3之上的CNN，作为在我们的数据集上微调的卷积基。在前面的两种情况下，我们索引内提取的特征ourLSH索引实现，以便比较检索性能与没有fine-tuning.In我们的方法，我们尝试了两种不同的LSH实现：第一个工作与real numberfeature vectors和第二个与二进制转置版本的这些向量。有趣的是，当使用二进制LSH时，我们获得了最好的性能，在平均精度方面，通过执行特征的顺序扫描获得了几乎相同的结果，从而避免了LSH索引引入的偏差。最后，我们进行了性能分析类的召回againstmAP突出方面，正如预期的那样，两者之间的强正相关性。
2021-05-03 cs.CV
VSC: Visual Search Compositional Text-to-Image Diffusion Model
VinUniversity（文大学）；POSTECH（POSTECH大学）；Academia Sinica（学术院）；KAIST（韩国科学技术院）
本文提出 VSC，一种组合式文本到图像扩散模型，通过将复杂提示分解为子提示并融合成对图像嵌入与文本嵌入，结合基于分割的定位训练，显著提升了多属性到对象的绑定准确性与图像质量。
2025-05-02 cs.CV
LOTS of Fashion! Multi-Conditioning for Image Generation via Sketch-Text Pairing
University of Verona（威尼斯大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Polytechnic Institute of Turin（都灵理工学院）；University of Reykjavik（雷克雅未克大学）
针对服装设计中视觉与文本融合的创作需求，提出LOTS多条件生成方法，结合全局描述与局部草图-文本对，通过模块化表示与扩散配对引导实现定制化时尚图像生成，并发布首个多对文本-草图时尚数据集Sketchy，性能达SOTA。
2025-09-04 cs.AI cs.CV
Adventurer's Treasure Hunt: A Transparent System for Visually Grounded Compositional Visual Question Answering based on Scene Graphs
University of Bremen（不来梅大学）
为了提高VQA推理过程的透明性和可视性，提出了一个基于场景图的组合式VQA任务模块化系统。我们的系统被称为“冒险家的寻宝”（或ATH），以我们在模型的答案搜索过程和冒险家的宝藏搜索之间的类比命名。我们开发ATH时考虑了三个特征：1.通过设计，ATH允许我们明确量化每个子组件对整体VQA性能的影响，以及它们对各自子任务的性能。2.通过对寻宝之后的搜索任务进行建模，ATH本质上为处理的问题产生了一个明确的、基于视觉的推理路径。3. ATH是第一个GQA训练的VQA系统，它通过直接查询视觉知识库来动态提取答案，而不是从预先固定的答案词汇表上专门学习的分类器的输出分布中选择一个。我们报告了所有组件的详细结果及其对GQA数据集整体VQA性能的贡献，并表明ATH在所有检查系统中获得了最高的视觉基础分数。
2021-06-28 cs.CV
Sketch-based Manga Retrieval using Manga109 Dataset
The University of Tokyo（东京大学）
日本漫画在全世界都很受欢迎。然而，目前的电子漫画档案提供非常有限的搜索支持，包括基于标题或作者的关键字搜索，或基于标签的分类。为了使漫画搜索体验更加直观、高效和愉快，我们提出了一个基于内容的漫画检索系统。首先，我们提出了一个漫画特定的图像描述框架。它包括有效的边缘标记，边缘方向直方图特征描述，和近似最近邻搜索使用产品量化。其次，我们提出了一个基于草图的界面作为一种自然的方式与漫画内容进行交互。该界面提供基于草图的查询、相关反馈和查询修饰。为了进行评估，我们建立了一个新的漫画图像数据集Manga 109，它由专业漫画艺术家绘制的109本漫画书组成，共21，142页。据我们所知，Manga 109是目前可用于研究的最大的漫画图像数据集。我们进行了比较研究，本地化评估，和一个大规模的定性研究。实验结果表明：（1）该方法的检索准确率高于已有方法;（2）该方法能够以合理的运行时间和准确率定位对象实例;（3）草图查询对于漫画搜索是有用的。
2015-10-15 cs.CV cs.IR cs.MM
Image Search with Text Feedback by Additive Attention Compositional Learning
University of California, Merced（加州大学默塞德分校）；Pinterest（拼趣）
具有文本反馈的有效图像检索将影响一系列现实世界的应用，例如电子商务。给定源图像和描述对该图像的期望修改的文本反馈，目标是通过组成多模态（图像-文本）查询来检索与源相似但满足给定修改的目标图像。我们提出了一种新的解决方案，添加剂注意组合学习（AACL），它使用了多模态转换器为基础的架构，并有效地模拟图像-文本上下文。具体来说，我们提出了一种新的基于附加注意力的图像-文本合成模块，可以无缝地插入到深度神经网络中。我们还介绍了一个新的具有挑战性的基准来自Shopping 100 k数据集。AACL在三个大规模数据集（FashionIQ，Fashion 200 k和Shopping 100 k）上进行了评估，每个数据集都有很强的基线。大量的实验表明，AACL在所有三个数据集上都取得了新的最先进的结果。
2022-03-08 cs.CL cs.CV
NEUSIS: A Compositional Neuro-Symbolic Framework for Autonomous Perception, Reasoning, and Planning in Complex UAV Search Missions
Faculty of Information Technology, Monash University（莫纳什大学信息技术学院）
针对复杂环境下无人机自主搜索任务的感知决策难题，提出组合式神经符号框架NEUSIS，整合多模块实现高效搜索，实验验证其性能优于现有最优模型。
2024-09-16 cs.AI cs.CV cs.RO
Open Cross-Domain Visual Search
University of Amsterdam（阿姆斯特丹大学）
本文讨论了跨域视觉搜索，视觉查询检索类别样本从不同的域。例如，我们可能想要绘制飞机草图并检索飞机的照片。尽管取得了相当大的进展，但搜索发生在两个预定义域之间的封闭环境中。在本文中，我们朝着开放的设置，多个视觉领域可用的一步。这特别地转化为在任何一对域之间、从域的组合或在多个域内的搜索。我们介绍一种简单而有效的方法。我们制定的搜索作为一个映射，从每个视觉域到一个共同的语义空间，类别表示的超球形原型。然后，通过在公共语义空间中搜索来执行开放的跨域视觉搜索，而不管哪个域被用作源或目标。域在公共空间中组合，以同时从多个域或在多个域内搜索。每个特定于域的映射函数的单独训练使得能够有效地扩展到任何数量的域，而不会影响搜索性能。我们经验说明我们的能力，在三个不同的情况下执行开放的跨域视觉搜索。我们的方法是有竞争力的，相对于现有的封闭设置，在那里我们获得了国家的最先进的结果，对三个基于草图的搜索任务的几个基准。
2020-07-28 cs.CV
Guaranteed Optimal Compositional Explanations for Neurons
Computer Science and Engineering Department, University of California, Santa Cruz, US（加州大学圣克鲁兹分校计算机科学与工程系）
提出首个框架，通过分解、启发式和算法，在完整状态空间上计算保证最优的组合解释，并证明10-40%的波束搜索解释在概念重叠时非最优。
2026-05-27 cs.AI cs.CV cs.LG
'CADSketchNet' -- An Annotated Sketch dataset for 3D CAD Model Retrieval with Deep Neural Networks
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；National Institute of Technology Tiruchirappalli（印度国立理工学院蒂鲁吉拉伯利分校）
3D建模和数字存档领域的不断进步导致了数字存储数据量的爆发。因此，根据这些数据库中存储的数据类型，开发了几种检索系统。然而，与文本数据或图像不同，执行对3D模型的搜索是不平凡的。在3D模型中，检索3D工程/CAD模型或机械部件甚至更具挑战性，因为存在孔、体积特征、存在尖锐边缘等，使CAD成为一个独立的领域。本文提出的研究工作旨在开发一个数据集，适用于建立基于深度学习的三维CAD模型检索系统。从现有的CAD数据库中收集3D CAD模型，并准备了一个计算机生成的草图数据集，称为“CADSketchNet”。此外，CADSketchNet中还添加了组件的手绘草图。使用该数据集的草图图像，本文还旨在评估各种检索系统或搜索引擎的性能为3D CAD模型，接受草图图像作为输入查询。在CADSketchNet上构建了多个实验模型并进行了测试。这些实验，以及模型架构，相似性度量的选择与搜索结果一起报告。
2021-07-20 cs.AI cs.CV cs.GR
Compositional Transformers for Scene Generation
Stanford University（斯坦福大学）；Facebook AI Research（Facebook人工智能研究院）；Facebook, Inc.（Facebook公司）
我们介绍GANformer2模型，这是一个迭代的面向对象的Transformer，用于生成建模的任务。该网络结合了强大而明确的结构先验，以反映视觉场景的组成性质，并通过顺序过程合成图像。它分为两个阶段：一个快速和轻量级的规划阶段，我们起草了一个高层次的场景布局，其次是一个基于注意力的执行阶段，布局正在被细化，演变成一个丰富和详细的图片。我们的模型远离传统的黑盒GAN架构，该架构具有平坦和单片的潜在空间，朝向透明的设计，鼓励效率，可控性和可解释性。我们通过对一系列数据集（从多对象CLEVR场景到具有挑战性的COCO图像）的仔细评估来展示GANformer2的优势和质量，表明它在视觉质量，多样性和一致性方面成功实现了最先进的性能。进一步的实验证明了模型的解纠缠，并提供了对其生成过程的更深入的了解，因为它从粗略的初始草图一步一步地进行，到详细的布局，考虑对象的深度和依赖性，直到最终的高分辨率描绘充满活力和复杂的现实世界场景。有关模型实现，请参见https://github.com/dorarad/gansformer。
2021-11-17 cs.AI cs.CV cs.LG
Inner Product Similarity Search using Compositional Codes
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
针对内积相似性下的最近邻搜索问题，提出了一种基于压缩码的方法。其思想是使用从源字典中选择的几个元素的组合来近似向量，并通过由所选元素的索引组成的短代码来表示该向量。从查询向量和数据库向量的短码有效地估计查询向量和数据库向量之间的内积。我们提出的组$M$选择算法，选择$M$元素从$M$源字典向量近似的搜索精度和效率方面的优良性能，通过理论和实证分析的紧凑代码。在大规模数据集（$1M$和$1B$ SIFT特征、$1M$线性模型和Netflix）上的实验结果证明了该方法的优越性。
2014-06-20 cs.CV cs.LG stat.ML
Vision-Free Retrieval: Rethinking Multimodal Search with Textual Scene Descriptions
Queen Mary University of London（伦敦女王大学）；Samsung AI Centre（三星人工智能中心）；Technical University of Iași（伊阿苏技术大学）
本文提出一种无视觉的单编码器文本到文本检索方法，利用VLLM生成图像描述替代视觉编码器，显著缩小模态差距并提升组合性，在多个基准上以0.3B参数模型取得最先进的零样本性能。
2025-09-23 cs.CV
Learning Graph Embeddings for Open World Compositional Zero-Shot Learning
University of Tübingen（蒂宾根大学）；ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute (MPI) for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
组合零镜头学习（Compositional Zero-Shot Learning，CNOML）旨在识别在训练过程中看到的状态和对象视觉基元的不可见组合。标准CNOML的一个问题是假设知道哪些看不见的成分在测试时可用。在这项工作中，我们克服了这个假设上的开放世界设置，其中没有限制施加在测试时间的成分空间，和搜索空间包含大量的看不见的成分。为了解决这个问题，我们提出了一种新的方法，组合余弦图嵌入（Co-CGE），基于两个原则。首先，Co-CGE通过图卷积神经网络对状态、对象及其组合之间的依赖关系进行建模。图将信息从可见的概念传播到不可见的概念，改善它们的表示。其次，由于并非所有看不见的组合都是同样可行的，并且不太可行的组合可能会损坏学习的表示，Co-CGE估计每个看不见的组合的可行性得分，使用得分作为基于余弦相似性的损失中的余量和作为图的邻接矩阵中的权重。实验表明，我们的方法实现了国家的最先进的性能，在标准的CNOML，同时优于以前的方法在开放世界的情况下。
2022-04-08 cs.CV
Tattoo Image Search at Scale: Joint Detection and Compact Representation Learning
Michigan State University（密歇根州立大学）
视频监控和社交媒体中数字图像的爆炸性增长导致了对执法和法医应用中感兴趣的人的有效搜索的显著需求。尽管在主要生物特征方面取得了巨大进展（例如，面部和指纹）的个人识别，单独的单个生物特征不能满足法医场景中期望的识别精度。纹身作为一种重要的软生物特征，在身份识别中具有重要的应用价值。然而，在大量无约束图像中进行纹身搜索仍然是一个难题，现有的纹身搜索方法主要集中在匹配裁剪的纹身，这与实际应用场景不同。为了缩小差距，我们提出了一种有效的纹身搜索方法，该方法能够通过多任务学习在单个卷积神经网络（CNN）中联合学习纹身检测和紧凑表示。虽然骨干网络中的特征由纹身检测和紧凑表示学习共享，但是每个子网络的各个潜在层分别针对检测和特征学习任务来优化共享特征。我们通过随机图像拼接和预先特征缓冲来解决联合纹身检测和紧凑表示学习网络内部的小批量问题。我们评估建议的纹身搜索系统使用多个公共领域的纹身基准，和画廊集从这些数据集和图像从互联网上编译约300K分心纹身图像。此外，我们还介绍了一个纹身草图数据集包含300纹身草图为基础的纹身搜索。实验结果表明，该方法具有优越的性能，在纹身检测和纹身搜索的规模相比，几个国家的最先进的纹身检索算法。
2018-11-01 cs.CV
DeepSSN: a deep convolutional neural network to assess spatial scene similarity
Beijing University of Chemical Technology（北京化工大学）；Chinese Academy of Sciences（中国科学院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of South Florida（南佛罗里达大学）
空间查询草图是一个直观的工具，探索人类的地理环境的空间知识，并支持场景数据库查询的通信。然而，传统的基于草图的空间搜索方法表现不够，由于他们无法找到隐藏的多尺度地图功能从心理草图。在这项研究中，我们提出了一种深度卷积神经网络，即深度空间场景网络（DeepSSN），以更好地评估空间场景相似性。在DeepSSN中，设计了三元组损失函数作为综合距离度量来支持相似性评估。在空间推理中使用定性约束网络的正例和反例挖掘策略，旨在确保在训练过程中不断增加三元组的区别。此外，我们开发了一个原型空间场景搜索系统使用建议的DeepSSN，其中用户通过草图输入空间查询和系统可以自动增加草图训练数据。该模型使用多源合并地图数据进行验证，其中包括数据增强后的131，300个标记场景样本。实证结果表明，DeepSSN使用平均倒数秩和精度指标优于基线方法，包括k-最近邻，多层感知器，AlexNet，DenseNet和ResNet。该研究通过引入一种针对空间场景查询的新型深度学习方法来推进地理信息检索研究。
2022-02-07 cs.AI cs.CV
Open World Compositional Zero-Shot Learning
University of Tübingen（蒂宾根大学）；TU München（慕尼黑工业大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
成分零样本学习（CNOML）需要识别在训练过程中看不到的状态对象成分。在这项工作中，而不是假设先验知识的看不见的组合物，我们在开放世界的设置，其中的搜索空间包括大量的看不见的组合物，其中一些可能是不可行的。在这种情况下，我们从视觉特征和合成嵌入之间的余弦相似性开始。在估计每个组合的可行性得分之后，我们使用这些得分直接屏蔽输出空间，或者作为训练期间视觉特征和组合嵌入之间的余弦相似性的余量。我们在两个标准的CNOHL基准测试上的实验表明，所有的方法在开放世界环境中应用时，都会出现严重的性能下降。虽然我们简单的CNOML模型在封闭世界场景中实现了最先进的性能，但我们的可行性分数提高了我们在开放世界环境中的性能，明显优于以前的最先进水平。
2021-03-30 cs.CV cs.LG
Surgment: Segmentation-enabled Semantic Search and Creation of Visual Question and Feedback to Support Video-Based Surgery Learning
University of Michigan（密歇根大学）
Surgment利用少样本分割流水线（SegGPT+SAM）实现手术视频场景分割，支持外科医生通过草图检索帧并创建带视觉反馈的练习，评估显示其高教育价值。
2024-02-27 cs.CV cs.HC
SCOT: Self-Supervised Contrastive Pretraining For Zero-Shot Compositional Retrieval
Yahoo Research（雅虎研究院）；University at Buffalo, SUNY（纽约州立大学布法罗分校）
针对全监督组合图像检索数据标注成本高、泛化性弱的问题，提出自监督组合预训练策略SCOT，借助大语言模型与图文对数据对比训练嵌入组合网络，零样本性能超越现有最优方法及诸多全监督方案。
2025-01-12 cs.AI cs.CV
EPIC: Efficient Predicate-Guided Inference-Time Control for Compositional Text-to-Image Generation
Graduate School of Artificial Intelligence, POSTECH（人工智能研究生院，POSTECH）；Department of Computer Science & Engineering, POSTECH（计算机科学与工程系，POSTECH）
EPIC通过谓词引导的搜索方法提升组合式文本到图像生成的准确性，减少计算成本，提升生成质量。
2026-11-05 cs.CV cs.LG
