Technical Report: Towards Efficient Indexing of Spatiotemporal Trajectories on the GPU for Distance Threshold Similarity Searches
在许多领域中的应用需要处理移动对象轨迹。在这项工作中，我们专注于一个轨迹相似性搜索，发现在给定的距离内的查询轨迹在一个时间间隔，我们称之为距离阈值相似性搜索的所有轨迹。我们开发了三个索引策略，空间，时间和时空的选择性的GPU显着不同的索引适合CPU，并显示条件下，每个索引达到良好的性能。此外，我们表明，GPU实现优于多线程CPU实现在一系列的实验方案，使GPU处理移动物体轨迹的一个有吸引力的技术。我们测试我们的实现在两个合成和一个真实世界的星系合并数据集。
2014-10-10 cs.DB cs.DC
Fast Data Series Indexing for In-Memory Data
数据序列相似性搜索是跨多个不同领域的多个数据序列分析应用的核心操作。然而，国家的最先进的技术未能提供所需的交互式探索，或大型数据系列集合的分析的时间性能。在这项工作中，我们提出了MESSI，第一个数据系列索引设计在内存中操作的现代硬件。我们的索引利用了现代硬件并行化的机会（即，SIMD指令、多套接字和多核架构），以便加速索引构建和相似性搜索处理时间。此外，它受益于在并行工作器和数据结构的设置和协调中的精心设计，使得它最大化其在内存中操作的性能。MESSI支持使用欧氏距离和动态时间规整（DTW）距离的相似性搜索。我们对合成数据集和真实数据集的实验表明，总体MESSI在索引构建方面快4倍，在查询响应方面比最先进的并行方法快11倍。MESSI是第一个在约50毫秒（30- 75毫秒）内回答100 GB数据集上的精确相似性搜索查询的系统，这使得在非常大的数据系列集合上进行实时，交互式的数据探索成为可能。
2021-10-14 cs.DB
MESSI: In-Memory Data Series Indexing
数据序列相似性搜索是跨多个不同领域的多个数据序列分析应用的核心操作。然而，国家的最先进的技术未能提供所需的交互式探索，或大型数据系列集合的分析的时间性能。在这项工作中，我们提出了MESSI，第一个数据系列索引设计在内存中操作的现代硬件。我们的索引利用了现代硬件并行化的机会（即，SIMD指令、多核和多套接字架构），以便加速索引构建和相似性搜索处理时间。此外，它受益于在并行工作器和数据结构的设置和协调中的精心设计，使得它最大化其在内存中操作的性能。我们对合成数据集和真实数据集的实验表明，总体MESSI在索引构建方面快4倍，在查询响应方面比最先进的并行方法快11倍。MESSI是第一个在_50毫秒（30- 75毫秒，跨不同的数据集）内回答100 GB数据集上的精确相似性搜索查询的系统，这使得在非常大的数据系列集合上进行实时，交互式的数据探索成为可能。
2020-09-02 cs.DB
LES3: Learning-based Exact Set Similarity Search
集合相似性搜索是数据清洗和Web搜索等应用的核心问题。过去的集合相似性搜索方法要么使用繁重的索引结构，导致大量的搜索成本，要么使用产生大量候选集合的索引。在本文中，我们设计了一个基于学习的精确集相似性搜索方法，LES3。我们的方法首先将集合划分为组，然后利用一个轻量级的位图式索引结构，称为令牌组矩阵（TGM），组织组和修剪候选人给定的查询集。为了优化修剪使用TGM，我们分析研究在一定的分布假设下的最优划分策略。利用这些结果，我们设计了一种基于学习的分区方法，称为L2P和相关的数据表示编码，PTR，以识别分区。我们在真实和合成数据集上进行了广泛的实验，以充分研究LES3，建立与其他适用方法相比的有效性和优越性。
2021-07-22 cs.DB
Billion-scale Similarity Search Using a Hybrid Indexing Approach with Advanced Filtering
BULGARIAN ACADEMY OF SCIENCES（保加利亚科学院）；Sofia University “St. Kliment Ohridski”（索非亚大学“圣·克利门特·奥赫里德斯基”）
本文提出一种面向CPU的十亿级相似性搜索混合索引方法，扩展IVF-Flat结构以集成多维过滤，实现高维空间快速检索，并通过案例研究验证其有效性与实用性。
2025-01-23 cs.DB cs.DC cs.IR
TISIS : Trajectory Indexing for SImilarity Search
本文提出TISIS及其变体TISIS*，通过轨迹索引和POI嵌入实现高效的相似轨迹检索，显著优于基于LCSS算法的基线方法。
2024-09-20 cs.DB cs.IR
ParIS+: Data Series Indexing on Multi-Core Architectures
数据序列相似性搜索是跨多个不同领域的多个数据序列分析应用的核心操作。然而，即使是最先进的技术也无法提供大型数据系列收集所需的时间性能。我们提出了ParIS和ParIS+，第一个基于磁盘的数据系列索引精心设计，从本质上利用多核架构，以加快相似性搜索处理时间。我们的实验表明，ParIS+完全消除了磁盘驻留数据的索引构建过程中的CPU延迟，并且对于精确的查询应答，比当前最先进的索引扫描方法快1个数量级，比优化的串行扫描方法快3个数量级。ParIS+（它是ADS+索引的演变）的效率归功于多核和多套接字架构的有效使用，以便并行分布和执行索引构建和查询应答，并利用现代CPU的单指令多数据（SIMD）功能，以便进一步并行执行每个核心内的指令。
2020-09-01 cs.DB
Streaming Similarity Self-Join
我们介绍和研究的问题计算的相似性自连接在一个流的上下文中（SSSJ），输入是一个无界的项目流不断到达。目标是找到流中相似度大于给定阈值的所有项目对。这个问题的最简单的表述需要无限的内存，因此，它是棘手的。为了使问题可行，我们引入了时间相关相似性的概念：两个项目的相似性随着它们到达时间的差异而降低。借由利用这个时间相依的相似度函数的性质，我们设计了两个演算架构来解决sssj问题。第一个是MiniBatch（MB），它使用现有的基于索引的过滤技术来解决问题的静态版本，并将它们组合在一个管道中。第二个框架，流（STR），增加了时间过滤到现有的索引，并集成了新的基于时间的边界深入的算法的工作。我们还介绍了一种新的索引技术（L2），它是基于现有的国家的最先进的索引技术（L2AP），但优化的流的情况下。大量的实验表明，STR算法在使用L2索引实例化时，是跨各种数据集和参数的最具可扩展性的选项。
2016-03-08 cs.DB cs.DS
Link and code: Fast indexing with graphs and compact regression codes
Facebook AI Research（脸书人工智能研究院）；Inria（法国国家信息与自动化研究所）
基于图遍历的相似性搜索方法最近取得了突出的速度-精度权衡，把内存要求放在一边。在本文中，我们重新考虑这些方法，此外，在一个服务器上索引数十亿张图像所需的内存约束。这使得我们提出了一种基于图遍历和紧凑表示的方法。我们使用量化编码的索引向量，并利用图结构来细化相似性估计。从本质上讲，我们的方法充分利用了这两个方面：搜索策略基于嵌套图，从而以相对较小的比较集提供高精度。同时，它提供了一个显着的内存压缩。因此，我们的方法在考虑每个向量64-128字节的操作点上优于最先进的方法，正如我们在20亿级公共基准测试中的结果所证明的那样。
2018-04-27 cs.CV cs.DB cs.DS
Return of the Lernaean Hydra: Experimental Evaluation of Data Series Approximate Similarity Search
数据序列是存在于众多领域的一种特殊类型的多维数据，其中相似性搜索是数据序列文献中已广泛研究的关键操作。与此同时，多维社区研究了近似相似性搜索技术。我们提出了一个分类的相似性搜索技术，调和这两个领域中使用的术语，我们描述了修改数据系列索引技术，使他们能够回答近似相似性查询的质量保证，我们进行了彻底的实验评估，比较近似相似性搜索技术在一个统一的框架下，在内存和磁盘上的合成和真实的数据集。虽然数据系列不同于一般的多维向量（系列通常表现出相邻值之间的相关性），我们的研究结果表明，数据系列技术回答近似%相似性查询具有强有力的保证和优秀的经验性能，数据系列和向量一样。当在磁盘上操作时，这些技术优于最先进的向量近似技术，并且在内存中保持竞争力。
2020-06-20 cs.DB
Efficient Graph Indexing for Interval-Aware Vector Search
Beijing Institute of Technology（北京理工大学）；Nanyang Technological University（南洋理工大学）；University of Science and Technology Beijing（北京科技大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
提出统一区间感知相对邻域图（URNG），支持多种区间感知ANN查询语义，并开发实用图索引UG，通过统一剪枝和迭代修复实现高效搜索。
2026-06-11 cs.DB
DIMS: Distributed Index for Similarity Search in Metric Spaces
针对现有分布式度量空间相似性搜索方法存在的本地管理低效、负载不均、并发效率低等问题，提出分布式索引DIMS，通过三阶段异构划分、三级索引结构、带过滤验证的并发搜索及代价优化模型，实现更优的搜索性能。
2024-10-07 cs.DB cs.DC
A Learned Index for Exact Similarity Search in Metric Spaces
Hong Kong University of Science and Technology（香港科技大学）；Guangzhou University（广州大学）
索引是在大型数据库中支持高效查询处理的有效方法。最近，学习索引的概念，它取代或补充传统的索引结构与机器学习模型，已被积极探索，以减少存储和搜索成本。然而，在高维度量空间中准确和高效的相似性查询处理仍然是一个开放的挑战。在本文中，我们提出了一种新的索引方法，称为LIMS，使用数据聚类，基于XML的数据转换技术和学习索引，以支持有效的相似性查询处理度量空间。在LIMS中，底层数据被划分为簇，使得每个簇遵循相对均匀的数据分布。数据重新分配是通过为每个集群使用少量的枢轴来实现的。相似的数据被映射到紧凑的区域和映射的值是完全有序的。开发机器学习模型来近似磁盘上每个数据记录的位置。设计了基于LIMS的范围查询和最近邻查询处理算法，以及动态更新的索引维护算法。在真实世界和人工数据集上的大量实验表明，LIMS与传统索引和最先进的学习索引相比具有优越性。
2022-07-29 cs.DB cs.LG
Em-K Indexing for Approximate Query Matching in Large-scale ER
在许多需要集成和处理大量数据汇集的数据采掘和分析项目中，准确和有效的实体解析（ER）是一个重大挑战。在现实世界的应用中，开发对大型数据库上的实体查询产生快速响应的ER解决方案变得越来越重要。这些应用中的一些需要在短时间内与大规模参考数据库进行实体查询匹配。在这项工作中，我们将其定义为ER中的查询匹配问题。索引或分块技术减少了ER过程中的搜索空间和执行时间。然而，扩展到非常大规模数据集的近似索引技术仍然有待研究。在本文中，我们研究的查询匹配问题，在ER提出一个索引方法，适合近似和高效的查询匹配。我们首先使用空间映射嵌入记录在多维欧氏空间，保持特定领域的相似性。在各种映射技术中，我们选择多维缩放。然后使用Kd树和最近邻搜索，该方法返回一个记录块，其中包括查询的潜在匹配。我们的方法可以处理查询对一个大规模的数据集使用的数据$L$的一小部分（给定的数据集大小是$N$），与$O(L^2)$复杂性，其中$L \ll N$。在多个数据集上进行的实验表明了该方法的有效性。
2021-11-07 cs.DB cs.IR
TaCo: Data-adaptive and Query-aware Subspace Collision for High-dimensional Approximate Nearest Neighbor Search
Oceanbase, Ant Group（蚂蚁集团）；Huazhong University of Science and Technology（华中科技大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；LIPADE, Université Paris Cité（巴黎西岱大学）
本文提出TaCo方法，通过数据自适应和查询感知的子空间碰撞框架，提升高维近似最近邻搜索的效率与精度，实验表明其在索引构建速度和内存占用方面优于现有方法。
2026-03-26 cs.DB
Quantixar: High-performance Vector Data Management System
Quantixar是一个向量数据库项目，通过结合HNSW索引与二进制和乘积量化技术，实现高维数据的高效存储与相似性搜索，降低存储和计算成本。
2024-03-19 cs.DB
Filter-Centric Vector Indexing: Geometric Transformation for Efficient Filtered Vector Search
提出FCVI框架，通过几何变换将过滤条件编码进向量空间，兼容现有索引，吞吐量提升2.6-3.0倍且保持召回率，并在分布偏移下表现稳定。
2025-06-19 cs.DB math.MG
Unified and Efficient Approach for Multi-Vector Similarity Search
State Key Laboratory of Complex & Critical Software Environment, Beihang University（复杂与关键软件环境国家重点实验室，北京航空航天大学）
本文提出MV-HNSW，首个针对多向量数据的层次图索引，通过新型边权函数和加速算法提升搜索效率与精度，实验显示在七个真实数据集上表现优异。
2026-04-03 cs.DB
High Dimensional Similarity Search with Satellite System Graph: Efficiency, Scalability, and Unindexed Query Compatibility
高维空间中的近似最近邻搜索（ANNS）是数据库和信息检索中必不可少的一种方法.最近，人们对探索用于ANNS问题的有效的基于图的索引的兴趣激增。其中，导航导出图（NSG）提供了精细的理论分析，并实现了最先进的性能。然而，我们发现NSG也有一些局限性：1）当查询没有被索引时，NSG在最近邻搜索上没有理论保证; 2）NSG过于稀疏，影响了搜索性能。此外，NSG遭受高索引复杂性。为了解决上述问题，我们提出了卫星系统图（SSG）和一个实用的变种NSSG。具体来说，我们提出了一种新的修剪策略，从完整的图产生SSG。SSG定义了一种新的MSNG族，其中每个节点的外边缘均匀分布在所有方向上。图中的每个节点建立有效的连接，其邻域全向，因此我们得到SSG的优秀的理论属性的索引和未索引的查询。我们可以通过超参数自适应地调整SSG的稀疏性来优化搜索性能。此外，NSSG被提出来降低索引复杂度的SSG的大规模应用。理论和广泛的实验分析，以证明所提出的方法在现有的代表性算法的优势。我们的代码已在www.example.com上发布。
2021-03-18 cs.DB cs.IR
Ball*-tree: Efficient spatial indexing for constrained nearest-neighbor search in metric spaces
新兴的基于位置的系统和数据分析框架需要有效管理空间数据，以进行近似和精确搜索。精确的相似性搜索可以使用空间划分数据结构来完成，例如Kd树、R* 树和Ball树。在本文中，我们专注于球树，一个高效的搜索树，是特定的空间查询，使用欧几里德距离。球树的每个节点定义一个球，即一个包含要搜索的点的子集的超球体。在本文中，我们提出了球 * 树，一个改进的球树，更有效的空间查询。Ball*-tree具有一种改进的空间划分算法，该算法考虑了数据点的分布，以找到一个有效的分裂超平面。此外，我们提出了一个新的算法，KNN查询与限制范围使用球 *-树，这比KNN和范围搜索这样的查询。实验结果表明，Ball*-tree算法比原Ball-tree算法快39%~ 57%。
2015-11-02 cs.CG cs.DB cs.DS
Efficient Immediate-Access Dynamic Indexing
在动态检索系统中，文档必须在到达时被摄取，并且可以通过查询立即找到。我们在本文中的目的是描述一个索引结构和处理制度，以适应即时访问的要求，寻求使摄取过程尽可能精简，而在同一时间，寻求使不断增长的索引尽可能小，并寻求通过索引进行基于术语的查询尽可能有效。我们描述了一种新的压缩操作和一种新的方法，可扩展的列表，共同促进三重目标。特别是，我们描述的结构提供增量文档级索引使用少到两个字节每次张贴和只有少量的字级索引;提供快速的文档插入;支持即时和连续的查询能力;提供支持快速合取查询和基于相似性评分的排名查询;并促进快速转换的动态索引到一个“正常”的静态压缩倒排索引结构。对我们的新机制的测量证实，使用典型的服务器架构，可以以2GB/分钟的速率构建千兆字节范围内的集合的内存中动态文档级索引，即使在并发摄取新文档时，也可以平均在几毫秒内解决多项合取布尔查询，并且所有所需的数据结构所需的净存储器空间平均为每个存储的发布只有两个字节，小于最佳的先前机制所需空间的一半。
2023-01-11 cs.DB cs.IR
MSQ-Index: A Succinct Index for Fast Graph Similarity Search
图相似性搜索在生物信息学、数据挖掘、模式识别、社交网络等领域有着广泛的应用。针对此问题的现有方法具有有限的可扩展性，因为它们在处理具有数百万或数十亿个图的非常大的图数据库时消耗大量的内存。本文研究了图编辑距离约束下的图相似性搜索问题。我们提出了一个空间有效的索引结构的基础上，结合简洁的数据结构和混合编码，以实现最小的空间使用，以提高查询时间的性能。具体来说，我们的索引的空间使用仅需要测试数据上以前最先进的索引大小的5%-15%，同时在小数据集上实现2 - 3倍的查询时间加速。我们还通过使用范围搜索增强全局过滤器来提高查询性能，这允许我们在缩小的区域中执行查询。此外，我们提出了两个有效的过滤器，结合度结构和标签结构。大量的实验表明，我们提出的方法是优越的空间和竞争力的过滤国家的最先进的方法。据我们所知，我们的索引是这个问题的第一个内存索引，它成功地扩展到处理来自PubChem数据集的2500万个化学结构图的大型数据集。
2016-12-29 cs.DB
Scalable Graph Indexing using GPUs for Approximate Nearest Neighbor Search
本文提出由GPU加速的图索引库Tagore，包含k-NN图初始化算法GNN-Descent、通用剪枝计算流程CFS及异步GPU-CPU-磁盘框架，在7个数据集上实现1.32至112.79倍加速且保持索引质量。
2025-08-13 cs.DB cs.DC
HyEm: Query-Adaptive Hyperbolic Retrieval for Biomedical Ontologies via Euclidean Vector Indexing
Waseda University（早稻田大学）
HyEm通过结合双曲本体嵌入与欧几里得ANN基础设施，解决生物医学本体中层次感知的检索问题，提升实体中心查询和混合意图查询性能，保持索引可扩展性。
2026-01-26 cs.DB cs.IR
Efficient Authentication of Outsourced String Similarity Search
云计算使大数据分析的外包成为可能，其中第三方服务器负责数据存储和处理。在本文中，我们考虑外包模式，提供字符串相似性搜索的服务。具体地，给定相似性搜索查询，服务提供商返回来自外包数据集的与查询字符串相似的所有字符串。外包模式的一个主要安全问题是验证服务提供商是否返回可靠和完整的搜索结果。在本文中，我们设计了AutoS3，外包字符串相似性搜索的认证机制。AutoS3的核心思想是服务器返回一个验证对象VO来证明结果正确。首先，我们设计了一个认证的字符串索引结构命名为MBtree的VO建设。其次，我们设计了两种轻量级的认证方法VS2和EVS2，能够以较低的验证成本捕获服务提供商的各种欺骗行为。此外，我们推广了我们的解决方案的前k字符串相似性搜索。我们在真实世界的数据集上进行了大量的实验结果，以证明我们的方法的效率。
2016-03-08 cs.CR cs.DB
GRAB-ANNS: High-Throughput Indexing and Hybrid Search via GPU-Native Bucketing
Zhejiang University（浙江大学）
GRAB-ANNS通过GPU原生分桶技术实现高吞吐混合搜索，提升查询效率和索引构建速度，同时保持高召回率。
2026-03-31 cs.DB cs.IR
S$^3$GND: An Effective Learning-Based Approach for Subgraph Similarity Search Under Generalized Neighbor Difference Semantics (Technical Report)
East China Normal University（华东师范大学）；Kent State University（肯特州立大学）
本文提出S$^3$GND方法，通过构建超图和训练HGNN模型，实现基于广义邻居差语义的高效子图相似性搜索。
2026-03-02 cs.DB
EmbAssi: Embedding Assignment Costs for Similarity Search in Large Graph Databases
图编辑距离是一种直观的度量图的相异性的方法，但它的计算是NP困难的，在实践中具有挑战性。我们介绍的方法来回答最近的邻居和范围查询有关这个距离有效的大型数据库高达数百万的图形。我们建立在过滤器验证范例，其中下限和上限用于减少图形编辑距离的精确计算的数量。高效的边界涉及解决数据库中每个图的线性分配问题，这在大规模数据集中是禁止的。基于索引的方法通常只提供弱边界，导致高计算成本的验证。在这项工作中，我们推导出新的下界有效的过滤限制分配问题，其中的成本函数是一个树度量。这种特殊情况允许将最优分配的成本等距地嵌入到$\ell_1$空间中，从而使高效索引成为可能。我们提出了几个下界的图编辑距离从树度量反映编辑成本，这是有效的过滤相结合。我们称为EmbAssi的方法可以集成到现有的过滤器验证管道中，作为快速有效的预过滤步骤。从经验上讲，我们表明，对于许多现实世界的图形，我们的下限已经接近确切的图形编辑距离，而我们的索引建设和搜索规模非常大的数据库。
2022-07-19 cs.DB
climber++: Pivot-Based Approximate Similarity Search over Big Data Series
针对现有分布式大数据序列近似kNN搜索重可扩展性、轻准确性的问题，提出含抗损失双重表示、分布式两级索引及两种查询算法的CLIMBER框架，实现了80%以上准确率且兼具太字节级可扩展性。
2024-04-15 cs.DB
Memory vectors for similarity search in high-dimensional spaces
Inria（法国国家信息与自动化研究所）；Télécom Bretagne（布列塔尼电信）；McGill University（麦吉尔大学）；Facebook AI research（Facebook人工智能研究院）
本文从统计信号处理和决策理论的角度，研究了一种在高维向量数据库中进行存储和检索的索引结构。这种架构由几个内存单元组成，每个内存单元通过一个代表性向量总结数据库的一部分。查询与存储在存储器单元中的向量之一的潜在相似性通过与存储器单元的代表向量的简单相关性来衡量。该代表优化了以下假设的测试：查询独立于存储器单元中的任何向量，而查询是存储向量之一的简单扰动。与穷举搜索相比，我们的方法可以更快地找到最相似的数据库向量，而搜索质量没有明显降低。有趣的是，复杂性的降低在高维空间中被证明更好。我们经验证明其实际利益，在一个大规模的图像搜索场景与现成的最先进的描述符。
2017-03-01 cs.CV cs.DB
S3AND: Efficient Subgraph Similarity Search Under Aggregated Neighbor Difference Semantics (Technical Report)
本文提出S3AND问题，通过同时考虑关键词和图结构在数据图中搜索相似子图，并设计了关键词集与聚合邻居差异下界剪枝方法及索引机制以提升查询效率。
2025-06-02 cs.DB cs.SI
Query Language for Complex Similarity Queries
对于多媒体等复杂数据类型，传统的数据管理方法已不适用。代替属性匹配方法，基于对象相似性的访问方法正变得流行。近年来，基于相似性检索的索引和检索方法得到了广泛的研究。如今，许多有效的方法已经可用，但使用它们来构建实际的搜索系统仍然需要专家调整方法并手动构建系统。已经进行了几次尝试来为这样的系统提供查询语言形式的更方便的高级接口，但是这些仅限于支持基本的相似性查询。在本文中，我们提出了一种新的语言，允许制定基于内容的查询，以灵活的方式，考虑到所提供的功能，在使用中的特定搜索引擎。为了确保这一点，该语言是基于一个通用的数据模型与一个抽象的操作集。因此，该语言支持各种高级查询操作，如相似性连接，反向最近邻查询或不同的kNN查询，以及多对象和多模式查询。该语言主要设计用于MESSIF框架，用于基于内容的搜索，但也可以用于其他检索系统。
2012-04-05 cs.DB cs.IR cs.MM
Succinct Trit-array Trie for Scalable Trajectory Similarity Search
RIKEN AIP（理化学研究所先进智能项目中心）；Kyoto University（京都大学）；Nagoya University（名古屋大学）
大量的空间轨迹数据集代表了移动对象的多样性的移动性是无处不在的研究和工业。大量轨迹的相似性搜索对于将这些数据集转化为知识是必不可少的。局部敏感哈希（LSH）是一种快速相似性搜索的强大技术。最近的方法采用LSH，并试图实现一个有效的相似性搜索的轨迹，然而，这些方法是低效的搜索时间和内存应用于海量数据集时。为了解决这个问题，我们提出了一个可扩展的方法，利用LSH的轨迹相似性搜索的索引简洁的三字符数组特里（tSTAT）。tSTAT在称为trie的树数据结构上快速执行搜索。我们还提出了两种新的技术，使显着提高内存效率的tSTAT。一个是节点减少技术，基本上省略了冗余的trie节点，同时保持时间性能。另一种是利用简洁数据结构背后的思想（即，支持快速数据操作的压缩数据结构）。我们通过实验测试tSTAT从大量轨迹集合中检索查询的相似轨迹的能力，并表明tSTAT与最先进的相似性搜索方法相比表现出色。
2020-09-21 cs.DB cs.DS cs.LG
DumpyOS: A Data-Adaptive Multi-ary Index for Scalable Data Series Similarity Search
针对现有数据序列索引构建慢、准确率低的问题，提出自适应多叉索引Dumpy及其变体，并行化得到DumpyOS并优化近似搜索算法，兼顾构建效率与搜索精度。
2024-12-12 cs.DB
OneDB: A Distributed Multi-Metric Data Similarity Search System
OneDB 提出一种分布式多度量相似性检索系统，通过为不同模态建立各自度量空间并统一多模态数据，结合权重学习、搜索剪枝、两层索引和参数自动调优，在准确率、效率和可扩展性上显著超越现有方法。
2025-07-06 cs.DB
Scalable Locality-Sensitive Hashing for Similarity Search in High-Dimensional, Large-Scale Multimedia Datasets
相似性搜索对于许多数据库应用至关重要，包括日益流行的基于内容的多媒体检索（CBMR）在线服务。这些服务，包括图像搜索引擎，必须处理大量的数据，同时保持较低的响应时间。因此，可扩展性是必不可少的相似性搜索在Web规模的应用程序，但大多数现有的方法是顺序和目标共享内存的机器。在这里，我们解决了这些问题，一个分布式的，高效的，可扩展的索引基于局部敏感哈希（LSH）。LSH是最有效和最流行的相似性搜索技术之一，但其不良的引用局部性使其实现具有挑战性的问题。我们的解决方案是基于一个广泛的异步并行化，具有许多优化，包括分层并行化解耦索引和数据存储，本地感知的数据分区策略，以减少消息传递，和多探测，以限制内存使用。建议的并行化达到了90%的效率，在分布式系统约800个CPU核心。特别是，原始的本地感知数据分区将交换的消息数量减少了30%。我们的并行LSH使用最大的公共数据集进行相似性搜索（据我们所知），从Web图像中提取$10^9$ 128-d SIFT描述符。这比以前的LSH并行化可以处理的数据集大两个数量级。
2013-10-15 cs.DB cs.DC cs.IR
Billion-scale similarity search with GPUs
Facebook AI Research（Facebook人工智能研究院）
相似性搜索在处理复杂数据（例如图像或视频）的专用数据库系统中找到应用，这些数据通常由高维特征表示并需要特定的索引结构。本文解决了更好地利用GPU完成这项任务的问题。虽然GPU擅长数据并行任务，但先前的方法被暴露较少并行性的算法所验证，例如k-min选择，或者对存储层次结构的利用不佳。我们提出了一种k-选择的设计，其运行速度高达理论峰值性能的55%，实现了比现有GPU最先进技术快8.5倍的最近邻实现。我们将其应用于不同的相似性搜索场景，通过提出基于乘积量化的蛮力，近似和压缩域搜索的优化设计。在所有这些设置中，我们的表现都远远超过了最先进的水平。我们的实现可以在35分钟内在Yfcc 100 M数据集的9500万张图像上构建高精度k-NN图，并在不到12小时的时间内在4个Maxwell Titan X GPU上构建连接10亿个向量的图。为了比较和可重复性，我们开放了我们的方法。
2017-02-28 cs.CV cs.DB cs.DS
Bayesian Locality Sensitive Hashing for Fast Similarity Search
The Ohio State University（俄亥俄州立大学）
给定一组对象和相关的相似性度量，所有对相似性搜索问题要求我们找到所有相似性大于某个用户指定阈值的对象对。基于局部敏感哈希（LSH）的方法已经成为解决这个问题的一种非常流行的方法。然而，大多数这样的方法仅在相似性搜索的第一阶段使用LSH-即用于候选生成的有效索引。在本文中，我们提出了BayesLSH，一个原则性的贝叶斯算法的后续阶段的相似性搜索-执行候选人修剪和相似性估计使用LSH。一个更简单的变种，贝叶斯LSH-Lite，它计算相似性，也提出了。BayesLSH能够快速修剪掉大部分假阳性候选对，从而使基线方法的速度显著提高。对于BayesLSH，我们还在准确率和召回率方面对输出质量提供概率保证。最后，BayesLSH的输出质量可以很容易地调整，并且不需要手动设置用于相似性估计的哈希数，这与标准方法不同。对于两种最先进的候选生成算法，AllPairs和LSH，BayesLSH能够显著加速，通常在2x-20 x范围内用于各种数据集。
2012-03-28 cs.AI cs.DB cs.DS
FLASH: Randomized Algorithms Accelerated over CPU-GPU for Ultra-High Dimensional Similarity Search
我们提出了FLASH（\textbf{F} ast \textbf{L} SH \textbf{A} lsm for \textbf{S} imilarity search accelerated with \textbf{H} PC），一个在单机上的超高维数据集的相似性搜索系统，它不需要相似性计算，是为高性能计算平台量身定制的。通过利用LSH风格的随机化索引过程，并将其与几种原则性技术相结合，如水库采样，最新进展的一次通过minwise散列，基于计数的估计，我们降低了相似性搜索的计算和并行化成本，同时保留了良好的理论保证。我们评估FLASH上的几个真正的，高维的数据集，从不同的领域，包括文本，恶意URL，点击预测，社交网络等，我们的实验揭示了新的光与数据集具有数百万个维度的困难。当前最先进的实现要么在所呈现的规模上失败，要么比闪存慢几个数量级。FLASH能够在不到10秒的时间内从零开始计算整个垃圾邮件数据集（13亿个非零值）的近似k-NN图。使用蛮力（$n^2D$）在不到10秒的时间内在webspam数据集上计算一个完整的k-NN图，将需要至少20 teraflops。我们提供闪存的CPU和GPU实现，以实现结果的可复制性。
2018-07-03 cs.DB cs.DC cs.DS
NED: An Inter-Graph Node Metric Based On Edit Distance
Boston University（波士顿大学）
节点相似性是图分析中的一个基本问题。然而，不同图中的节点（图间节点）之间的节点相似性还没有得到很多关注。图间节点相似性在基于现有图的知识学习新图（图上的迁移学习）中是重要的，并且在生物、通信和社交网络中具有应用。在本文中，我们提出了一种新的距离函数，用于测量图间节点的相似性与编辑距离，称为NED。在NED中，两个节点根据它们的局部邻域结构进行比较，这些邻域结构表示为无序的k-相邻树，而不依赖于标签或其他假设。由于无序树的树编辑距离的计算问题是NP-完全的，我们提出了一个修改的树编辑距离，称为TED*，用于比较邻居树。TED* 是一个度量距离，作为原始树编辑距离，但更重要的是，TED* 是多项式可计算的。作为一种度量距离，NED承认有效的索引，提供可解释的结果，并在许多数据分析任务上表现得比现有方法更好，包括图形去匿名化。最后，NED的效率和有效性的实证证明使用现实世界的图表。
2016-02-16 cs.DB cs.LG cs.SI
Exact Trajectory Similarity Search With N-tree: An Efficient Metric Index for kNN and Range Queries
针对轨迹相似性搜索中现有度量索引性能不足的问题，提出新型度量距离函数DistanceAvg与N-tree索引结构，在kNN查询上优于现有最优索引，范围查询性能相当，可返回精确结果。
2024-08-14 cs.DB cs.DS cs.IR
