Data Series Indexing Gone Parallel
数据序列相似性搜索是跨多个不同领域的多个数据序列分析应用的核心操作。然而，国家的最先进的技术未能提供所需的交互式探索，或大型数据系列集合的分析的时间性能。在这个博士工作，我们提出了第一个数据系列索引解决方案，磁盘上和内存中的数据，旨在利用多核架构的固有优势，以加快相似性搜索处理时间。我们对各种合成数据和真实数据的实验表明，我们的方法比其他方法快了几个数量级。更具体地说，我们的磁盘解决方案可以在几秒钟内回答100 GB数据集上的精确相似性搜索查询，而我们的内存解决方案可以在几毫秒内回答，这使得对非常大的数据系列集合进行实时交互式数据探索成为可能。
2020-09-02 cs.DB
Local Similarity Search on Geolocated Time Series Using Hybrid Indexing
地理位置的时间序列，即，与特定位置相关的时间序列，在许多现代应用中比比皆是。在本文中，我们考虑混合查询检索地理定位的时间序列过滤器的基础上，结合空间距离和时间序列的相似性。对于后者，与现有的工作不同，我们允许基于局部相似性进行过滤，这是基于连续性而不是每个系列的整个长度计算的，从而允许发现更细粒度的趋势和模式。为了有效地支持这样的查询，我们首先利用国家的最先进的BTSR树索引，利用时间序列的位置和形状的界限修剪的搜索空间。此外，我们提出了优化，检查在特定的时间戳，以确定可能超过所需的本地相似性阈值的候选时间序列。为了进一步提高剪枝能力，我们引入了SBTSR树索引，这是对BTSR树的扩展，它在时间上对时间序列进行了额外的分段，从而可以构建更严格的边界。我们在几个真实数据集上的实验结果表明，SBTSR树可以为所有检查的查询类型提供更快的答案。该论文发表在第27届地理信息系统进展国际会议（ACM SIGSPATIAL 2019）上。
2021-04-19 cs.DB
Technical Report: Towards Efficient Indexing of Spatiotemporal Trajectories on the GPU for Distance Threshold Similarity Searches
在许多领域中的应用需要处理移动对象轨迹。在这项工作中，我们专注于一个轨迹相似性搜索，发现在给定的距离内的查询轨迹在一个时间间隔，我们称之为距离阈值相似性搜索的所有轨迹。我们开发了三个索引策略，空间，时间和时空的选择性的GPU显着不同的索引适合CPU，并显示条件下，每个索引达到良好的性能。此外，我们表明，GPU实现优于多线程CPU实现在一系列的实验方案，使GPU处理移动物体轨迹的一个有吸引力的技术。我们测试我们的实现在两个合成和一个真实世界的星系合并数据集。
2014-10-10 cs.DB cs.DC
Fast Data Series Indexing for In-Memory Data
数据序列相似性搜索是跨多个不同领域的多个数据序列分析应用的核心操作。然而，国家的最先进的技术未能提供所需的交互式探索，或大型数据系列集合的分析的时间性能。在这项工作中，我们提出了MESSI，第一个数据系列索引设计在内存中操作的现代硬件。我们的索引利用了现代硬件并行化的机会（即，SIMD指令、多套接字和多核架构），以便加速索引构建和相似性搜索处理时间。此外，它受益于在并行工作器和数据结构的设置和协调中的精心设计，使得它最大化其在内存中操作的性能。MESSI支持使用欧氏距离和动态时间规整（DTW）距离的相似性搜索。我们对合成数据集和真实数据集的实验表明，总体MESSI在索引构建方面快4倍，在查询响应方面比最先进的并行方法快11倍。MESSI是第一个在约50毫秒（30- 75毫秒）内回答100 GB数据集上的精确相似性搜索查询的系统，这使得在非常大的数据系列集合上进行实时，交互式的数据探索成为可能。
2021-10-14 cs.DB
MESSI: In-Memory Data Series Indexing
数据序列相似性搜索是跨多个不同领域的多个数据序列分析应用的核心操作。然而，国家的最先进的技术未能提供所需的交互式探索，或大型数据系列集合的分析的时间性能。在这项工作中，我们提出了MESSI，第一个数据系列索引设计在内存中操作的现代硬件。我们的索引利用了现代硬件并行化的机会（即，SIMD指令、多核和多套接字架构），以便加速索引构建和相似性搜索处理时间。此外，它受益于在并行工作器和数据结构的设置和协调中的精心设计，使得它最大化其在内存中操作的性能。我们对合成数据集和真实数据集的实验表明，总体MESSI在索引构建方面快4倍，在查询响应方面比最先进的并行方法快11倍。MESSI是第一个在_50毫秒（30- 75毫秒，跨不同的数据集）内回答100 GB数据集上的精确相似性搜索查询的系统，这使得在非常大的数据系列集合上进行实时，交互式的数据探索成为可能。
2020-09-02 cs.DB
LES3: Learning-based Exact Set Similarity Search
集合相似性搜索是数据清洗和Web搜索等应用的核心问题。过去的集合相似性搜索方法要么使用繁重的索引结构，导致大量的搜索成本，要么使用产生大量候选集合的索引。在本文中，我们设计了一个基于学习的精确集相似性搜索方法，LES3。我们的方法首先将集合划分为组，然后利用一个轻量级的位图式索引结构，称为令牌组矩阵（TGM），组织组和修剪候选人给定的查询集。为了优化修剪使用TGM，我们分析研究在一定的分布假设下的最优划分策略。利用这些结果，我们设计了一种基于学习的分区方法，称为L2P和相关的数据表示编码，PTR，以识别分区。我们在真实和合成数据集上进行了广泛的实验，以充分研究LES3，建立与其他适用方法相比的有效性和优越性。
2021-07-22 cs.DB
Billion-scale Similarity Search Using a Hybrid Indexing Approach with Advanced Filtering
BULGARIAN ACADEMY OF SCIENCES（保加利亚科学院）；Sofia University “St. Kliment Ohridski”（索非亚大学“圣·克利门特·奥赫里德斯基”）
本文提出一种面向CPU的十亿级相似性搜索混合索引方法，扩展IVF-Flat结构以集成多维过滤，实现高维空间快速检索，并通过案例研究验证其有效性与实用性。
2025-01-23 cs.DB cs.DC cs.IR
TISIS : Trajectory Indexing for SImilarity Search
本文提出TISIS及其变体TISIS*，通过轨迹索引和POI嵌入实现高效的相似轨迹检索，显著优于基于LCSS算法的基线方法。
2024-09-20 cs.DB cs.IR
ParIS+: Data Series Indexing on Multi-Core Architectures
数据序列相似性搜索是跨多个不同领域的多个数据序列分析应用的核心操作。然而，即使是最先进的技术也无法提供大型数据系列收集所需的时间性能。我们提出了ParIS和ParIS+，第一个基于磁盘的数据系列索引精心设计，从本质上利用多核架构，以加快相似性搜索处理时间。我们的实验表明，ParIS+完全消除了磁盘驻留数据的索引构建过程中的CPU延迟，并且对于精确的查询应答，比当前最先进的索引扫描方法快1个数量级，比优化的串行扫描方法快3个数量级。ParIS+（它是ADS+索引的演变）的效率归功于多核和多套接字架构的有效使用，以便并行分布和执行索引构建和查询应答，并利用现代CPU的单指令多数据（SIMD）功能，以便进一步并行执行每个核心内的指令。
2020-09-01 cs.DB
Optimization of Indexing Based on k-Nearest Neighbor Graph for Proximity Search in High-dimensional Data
高精度地搜索高维矢量数据是各种类型数据的必然搜索技术。众所周知，基于图的索引可以减少高维数据的查询时间。为了进一步利用图来提高查询时间，我们重点研究了图的度和度。虽然足够数量的传入边缘（度）是必不可少的，以提高搜索精度，过多的传出边缘（outdegrees）应被抑制，以便不增加查询时间。因此，我们提出了三种度调整方法：静态度调整的outdegrees，但也度，动态度调整，其中outdegrees由用户需要的搜索精度确定，和路径调整，以消除边缘有替代搜索路径，以减少outdegrees。我们还展示了如何获得最佳的度调整参数，我们的方法优于以前的方法的图像和文本数据。
2018-10-17 cs.DB cs.IR
Survey of Vector Database Management Systems
本文综述了向量数据库管理系统，指出向量数据管理的五大障碍，系统梳理了查询处理、存储索引及查询优化的新技术，并对比了原生与扩展型VDBMSs，指出了未来研究方向。
2023-10-21 cs.DB
Streaming Similarity Self-Join
我们介绍和研究的问题计算的相似性自连接在一个流的上下文中（SSSJ），输入是一个无界的项目流不断到达。目标是找到流中相似度大于给定阈值的所有项目对。这个问题的最简单的表述需要无限的内存，因此，它是棘手的。为了使问题可行，我们引入了时间相关相似性的概念：两个项目的相似性随着它们到达时间的差异而降低。借由利用这个时间相依的相似度函数的性质，我们设计了两个演算架构来解决sssj问题。第一个是MiniBatch（MB），它使用现有的基于索引的过滤技术来解决问题的静态版本，并将它们组合在一个管道中。第二个框架，流（STR），增加了时间过滤到现有的索引，并集成了新的基于时间的边界深入的算法的工作。我们还介绍了一种新的索引技术（L2），它是基于现有的国家的最先进的索引技术（L2AP），但优化的流的情况下。大量的实验表明，STR算法在使用L2索引实例化时，是跨各种数据集和参数的最具可扩展性的选项。
2016-03-08 cs.DB cs.DS
Link and code: Fast indexing with graphs and compact regression codes
Facebook AI Research（脸书人工智能研究院）；Inria（法国国家信息与自动化研究所）
基于图遍历的相似性搜索方法最近取得了突出的速度-精度权衡，把内存要求放在一边。在本文中，我们重新考虑这些方法，此外，在一个服务器上索引数十亿张图像所需的内存约束。这使得我们提出了一种基于图遍历和紧凑表示的方法。我们使用量化编码的索引向量，并利用图结构来细化相似性估计。从本质上讲，我们的方法充分利用了这两个方面：搜索策略基于嵌套图，从而以相对较小的比较集提供高精度。同时，它提供了一个显着的内存压缩。因此，我们的方法在考虑每个向量64-128字节的操作点上优于最先进的方法，正如我们在20亿级公共基准测试中的结果所证明的那样。
2018-04-27 cs.CV cs.DB cs.DS
Return of the Lernaean Hydra: Experimental Evaluation of Data Series Approximate Similarity Search
数据序列是存在于众多领域的一种特殊类型的多维数据，其中相似性搜索是数据序列文献中已广泛研究的关键操作。与此同时，多维社区研究了近似相似性搜索技术。我们提出了一个分类的相似性搜索技术，调和这两个领域中使用的术语，我们描述了修改数据系列索引技术，使他们能够回答近似相似性查询的质量保证，我们进行了彻底的实验评估，比较近似相似性搜索技术在一个统一的框架下，在内存和磁盘上的合成和真实的数据集。虽然数据系列不同于一般的多维向量（系列通常表现出相邻值之间的相关性），我们的研究结果表明，数据系列技术回答近似%相似性查询具有强有力的保证和优秀的经验性能，数据系列和向量一样。当在磁盘上操作时，这些技术优于最先进的向量近似技术，并且在内存中保持竞争力。
2020-06-20 cs.DB
Indexing Execution Patterns in Workflow Provenance Graphs through Generalized Trie Structures
Universidad Europea de Madrid（马德里欧洲大学）；Expert System（Expert System公司）
在过去的几年里，科学工作流程已经足够成熟，可以用于生产风格。然而，尽管越来越成熟，仍然缺乏搜索，调整和重用工作流的工具，这阻碍了科学界更广泛的采用。事实上，由于机器可读的科学元数据的可用性有限，以及工作流程规范格式和表示的异质性，需要新的方法来利用补充现有方法的替代信息源。在本文中，我们解决这样的局限性，应用统计丰富的广义特里结构，利用工作流执行起源信息，以协助分析，索引和搜索的科学工作流。我们的方法弥合了工作流应该根据其规范和相关元数据做什么的描述与其起源执行跟踪中记录的实际情况之间的差距。在这样做的过程中，我们还证明了所提出的方法优于SPARQL 1.1属性路径查询起源图。
2018-07-19 cs.DB cs.IR cs.LG
Efficient Graph Indexing for Interval-Aware Vector Search
Beijing Institute of Technology（北京理工大学）；Nanyang Technological University（南洋理工大学）；University of Science and Technology Beijing（北京科技大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
提出统一区间感知相对邻域图（URNG），支持多种区间感知ANN查询语义，并开发实用图索引UG，通过统一剪枝和迭代修复实现高效搜索。
2026-06-11 cs.DB
DIMS: Distributed Index for Similarity Search in Metric Spaces
针对现有分布式度量空间相似性搜索方法存在的本地管理低效、负载不均、并发效率低等问题，提出分布式索引DIMS，通过三阶段异构划分、三级索引结构、带过滤验证的并发搜索及代价优化模型，实现更优的搜索性能。
2024-10-07 cs.DB cs.DC
A Learned Index for Exact Similarity Search in Metric Spaces
Hong Kong University of Science and Technology（香港科技大学）；Guangzhou University（广州大学）
索引是在大型数据库中支持高效查询处理的有效方法。最近，学习索引的概念，它取代或补充传统的索引结构与机器学习模型，已被积极探索，以减少存储和搜索成本。然而，在高维度量空间中准确和高效的相似性查询处理仍然是一个开放的挑战。在本文中，我们提出了一种新的索引方法，称为LIMS，使用数据聚类，基于XML的数据转换技术和学习索引，以支持有效的相似性查询处理度量空间。在LIMS中，底层数据被划分为簇，使得每个簇遵循相对均匀的数据分布。数据重新分配是通过为每个集群使用少量的枢轴来实现的。相似的数据被映射到紧凑的区域和映射的值是完全有序的。开发机器学习模型来近似磁盘上每个数据记录的位置。设计了基于LIMS的范围查询和最近邻查询处理算法，以及动态更新的索引维护算法。在真实世界和人工数据集上的大量实验表明，LIMS与传统索引和最先进的学习索引相比具有优越性。
2022-07-29 cs.DB cs.LG
Em-K Indexing for Approximate Query Matching in Large-scale ER
在许多需要集成和处理大量数据汇集的数据采掘和分析项目中，准确和有效的实体解析（ER）是一个重大挑战。在现实世界的应用中，开发对大型数据库上的实体查询产生快速响应的ER解决方案变得越来越重要。这些应用中的一些需要在短时间内与大规模参考数据库进行实体查询匹配。在这项工作中，我们将其定义为ER中的查询匹配问题。索引或分块技术减少了ER过程中的搜索空间和执行时间。然而，扩展到非常大规模数据集的近似索引技术仍然有待研究。在本文中，我们研究的查询匹配问题，在ER提出一个索引方法，适合近似和高效的查询匹配。我们首先使用空间映射嵌入记录在多维欧氏空间，保持特定领域的相似性。在各种映射技术中，我们选择多维缩放。然后使用Kd树和最近邻搜索，该方法返回一个记录块，其中包括查询的潜在匹配。我们的方法可以处理查询对一个大规模的数据集使用的数据$L$的一小部分（给定的数据集大小是$N$），与$O(L^2)$复杂性，其中$L \ll N$。在多个数据集上进行的实验表明了该方法的有效性。
2021-11-07 cs.DB cs.IR
TaCo: Data-adaptive and Query-aware Subspace Collision for High-dimensional Approximate Nearest Neighbor Search
Oceanbase, Ant Group（蚂蚁集团）；Huazhong University of Science and Technology（华中科技大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；LIPADE, Université Paris Cité（巴黎西岱大学）
本文提出TaCo方法，通过数据自适应和查询感知的子空间碰撞框架，提升高维近似最近邻搜索的效率与精度，实验表明其在索引构建速度和内存占用方面优于现有方法。
2026-03-26 cs.DB
Quantixar: High-performance Vector Data Management System
Quantixar是一个向量数据库项目，通过结合HNSW索引与二进制和乘积量化技术，实现高维数据的高效存储与相似性搜索，降低存储和计算成本。
2024-03-19 cs.DB
Filter-Centric Vector Indexing: Geometric Transformation for Efficient Filtered Vector Search
提出FCVI框架，通过几何变换将过滤条件编码进向量空间，兼容现有索引，吞吐量提升2.6-3.0倍且保持召回率，并在分布偏移下表现稳定。
2025-06-19 cs.DB math.MG
Content Based Image Retrieval System Using NOHIS-tree
King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
基于内容的图像检索（CBIR）是计算机视觉的重要研究方向之一。它是一种广泛使用的在大型数据库中搜索图像的方法。在本文中，我们提出了一个CBIR系统称为NOHIS搜索。该系统基于NOHIS树索引技术。描述了系统的两个阶段，并用图像数据库ImagEval说明了系统的性能。将NOHIS-Search系统与其他两种基于内容的检索系统进行了比较，第一种系统采用PDDP索引算法，第二种系统采用顺序检索算法。结果表明，NOHIS-Search系统的性能优于其他两个系统。
2013-02-28 cs.CV cs.DB cs.IR
High Dimensional Similarity Search with Satellite System Graph: Efficiency, Scalability, and Unindexed Query Compatibility
高维空间中的近似最近邻搜索（ANNS）是数据库和信息检索中必不可少的一种方法.最近，人们对探索用于ANNS问题的有效的基于图的索引的兴趣激增。其中，导航导出图（NSG）提供了精细的理论分析，并实现了最先进的性能。然而，我们发现NSG也有一些局限性：1）当查询没有被索引时，NSG在最近邻搜索上没有理论保证; 2）NSG过于稀疏，影响了搜索性能。此外，NSG遭受高索引复杂性。为了解决上述问题，我们提出了卫星系统图（SSG）和一个实用的变种NSSG。具体来说，我们提出了一种新的修剪策略，从完整的图产生SSG。SSG定义了一种新的MSNG族，其中每个节点的外边缘均匀分布在所有方向上。图中的每个节点建立有效的连接，其邻域全向，因此我们得到SSG的优秀的理论属性的索引和未索引的查询。我们可以通过超参数自适应地调整SSG的稀疏性来优化搜索性能。此外，NSSG被提出来降低索引复杂度的SSG的大规模应用。理论和广泛的实验分析，以证明所提出的方法在现有的代表性算法的优势。我们的代码已在www.example.com上发布。
2021-03-18 cs.DB cs.IR
Ball*-tree: Efficient spatial indexing for constrained nearest-neighbor search in metric spaces
新兴的基于位置的系统和数据分析框架需要有效管理空间数据，以进行近似和精确搜索。精确的相似性搜索可以使用空间划分数据结构来完成，例如Kd树、R* 树和Ball树。在本文中，我们专注于球树，一个高效的搜索树，是特定的空间查询，使用欧几里德距离。球树的每个节点定义一个球，即一个包含要搜索的点的子集的超球体。在本文中，我们提出了球 * 树，一个改进的球树，更有效的空间查询。Ball*-tree具有一种改进的空间划分算法，该算法考虑了数据点的分布，以找到一个有效的分裂超平面。此外，我们提出了一个新的算法，KNN查询与限制范围使用球 *-树，这比KNN和范围搜索这样的查询。实验结果表明，Ball*-tree算法比原Ball-tree算法快39%~ 57%。
2015-11-02 cs.CG cs.DB cs.DS
Efficient Immediate-Access Dynamic Indexing
在动态检索系统中，文档必须在到达时被摄取，并且可以通过查询立即找到。我们在本文中的目的是描述一个索引结构和处理制度，以适应即时访问的要求，寻求使摄取过程尽可能精简，而在同一时间，寻求使不断增长的索引尽可能小，并寻求通过索引进行基于术语的查询尽可能有效。我们描述了一种新的压缩操作和一种新的方法，可扩展的列表，共同促进三重目标。特别是，我们描述的结构提供增量文档级索引使用少到两个字节每次张贴和只有少量的字级索引;提供快速的文档插入;支持即时和连续的查询能力;提供支持快速合取查询和基于相似性评分的排名查询;并促进快速转换的动态索引到一个“正常”的静态压缩倒排索引结构。对我们的新机制的测量证实，使用典型的服务器架构，可以以2GB/分钟的速率构建千兆字节范围内的集合的内存中动态文档级索引，即使在并发摄取新文档时，也可以平均在几毫秒内解决多项合取布尔查询，并且所有所需的数据结构所需的净存储器空间平均为每个存储的发布只有两个字节，小于最佳的先前机制所需空间的一半。
2023-01-11 cs.DB cs.IR
Scalable Graph Indexing using GPUs for Approximate Nearest Neighbor Search
本文提出由GPU加速的图索引库Tagore，包含k-NN图初始化算法GNN-Descent、通用剪枝计算流程CFS及异步GPU-CPU-磁盘框架，在7个数据集上实现1.32至112.79倍加速且保持索引质量。
2025-08-13 cs.DB cs.DC
Efficient Authentication of Outsourced String Similarity Search
云计算使大数据分析的外包成为可能，其中第三方服务器负责数据存储和处理。在本文中，我们考虑外包模式，提供字符串相似性搜索的服务。具体地，给定相似性搜索查询，服务提供商返回来自外包数据集的与查询字符串相似的所有字符串。外包模式的一个主要安全问题是验证服务提供商是否返回可靠和完整的搜索结果。在本文中，我们设计了AutoS3，外包字符串相似性搜索的认证机制。AutoS3的核心思想是服务器返回一个验证对象VO来证明结果正确。首先，我们设计了一个认证的字符串索引结构命名为MBtree的VO建设。其次，我们设计了两种轻量级的认证方法VS2和EVS2，能够以较低的验证成本捕获服务提供商的各种欺骗行为。此外，我们推广了我们的解决方案的前k字符串相似性搜索。我们在真实世界的数据集上进行了大量的实验结果，以证明我们的方法的效率。
2016-03-08 cs.CR cs.DB
GRAB-ANNS: High-Throughput Indexing and Hybrid Search via GPU-Native Bucketing
Zhejiang University（浙江大学）
GRAB-ANNS通过GPU原生分桶技术实现高吞吐混合搜索，提升查询效率和索引构建速度，同时保持高召回率。
2026-03-31 cs.DB cs.IR
Query Language for Complex Similarity Queries
对于多媒体等复杂数据类型，传统的数据管理方法已不适用。代替属性匹配方法，基于对象相似性的访问方法正变得流行。近年来，基于相似性检索的索引和检索方法得到了广泛的研究。如今，许多有效的方法已经可用，但使用它们来构建实际的搜索系统仍然需要专家调整方法并手动构建系统。已经进行了几次尝试来为这样的系统提供查询语言形式的更方便的高级接口，但是这些仅限于支持基本的相似性查询。在本文中，我们提出了一种新的语言，允许制定基于内容的查询，以灵活的方式，考虑到所提供的功能，在使用中的特定搜索引擎。为了确保这一点，该语言是基于一个通用的数据模型与一个抽象的操作集。因此，该语言支持各种高级查询操作，如相似性连接，反向最近邻查询或不同的kNN查询，以及多对象和多模式查询。该语言主要设计用于MESSIF框架，用于基于内容的搜索，但也可以用于其他检索系统。
2012-04-05 cs.DB cs.IR cs.MM
LeanVec: Searching vectors faster by making them fit
Intel Labs（英特尔实验室）
本文提出 LeanVec 框架，结合线性降维与向量量化，并针对 ID/OOD 查询设计变体，在保持或提升检索准确性的同时显著提高搜索吞吐量并缩短索引构建时间。
2024-04-03 cs.DB cs.LG
A PSO Strategy of Finding Relevant Web Documents using a New Similarity Measure
UBDTCE（UBDT工程学院）
本文提出一种基于新型相似度度量SMDR和生物启发PSO优化的网络文档检索策略，在CACM数据集上实验表明其精确率、召回率及整体效率均优于现有方法。
2021-03-26 cs.AI cs.DB cs.IR
Approximate Nearest Neighbor Search for Modern AI: A Projection-Augmented Graph Approach
University of Yamanashi（山梨大学）；Beijing Institute of Technology, Zhuhai（北京理工大学（珠海））；Shenzhen University（深圳大学）；Nagoya University（名古屋大学）；Osaka University（大阪大学）
本文提出了一种投影增强图方法，用于解决现代AI应用中近似最近邻搜索的高效率、快速索引、低内存占用、高维扩展性、鲁棒性和在线插入支持等需求。
2026-07-23 cs.DB cs.IR cs.LG
Succinct Trit-array Trie for Scalable Trajectory Similarity Search
RIKEN AIP（理化学研究所先进智能项目中心）；Kyoto University（京都大学）；Nagoya University（名古屋大学）
大量的空间轨迹数据集代表了移动对象的多样性的移动性是无处不在的研究和工业。大量轨迹的相似性搜索对于将这些数据集转化为知识是必不可少的。局部敏感哈希（LSH）是一种快速相似性搜索的强大技术。最近的方法采用LSH，并试图实现一个有效的相似性搜索的轨迹，然而，这些方法是低效的搜索时间和内存应用于海量数据集时。为了解决这个问题，我们提出了一个可扩展的方法，利用LSH的轨迹相似性搜索的索引简洁的三字符数组特里（tSTAT）。tSTAT在称为trie的树数据结构上快速执行搜索。我们还提出了两种新的技术，使显着提高内存效率的tSTAT。一个是节点减少技术，基本上省略了冗余的trie节点，同时保持时间性能。另一种是利用简洁数据结构背后的思想（即，支持快速数据操作的压缩数据结构）。我们通过实验测试tSTAT从大量轨迹集合中检索查询的相似轨迹的能力，并表明tSTAT与最先进的相似性搜索方法相比表现出色。
2020-09-21 cs.DB cs.DS cs.LG
Billion-scale similarity search with GPUs
Facebook AI Research（Facebook人工智能研究院）
相似性搜索在处理复杂数据（例如图像或视频）的专用数据库系统中找到应用，这些数据通常由高维特征表示并需要特定的索引结构。本文解决了更好地利用GPU完成这项任务的问题。虽然GPU擅长数据并行任务，但先前的方法被暴露较少并行性的算法所验证，例如k-min选择，或者对存储层次结构的利用不佳。我们提出了一种k-选择的设计，其运行速度高达理论峰值性能的55%，实现了比现有GPU最先进技术快8.5倍的最近邻实现。我们将其应用于不同的相似性搜索场景，通过提出基于乘积量化的蛮力，近似和压缩域搜索的优化设计。在所有这些设置中，我们的表现都远远超过了最先进的水平。我们的实现可以在35分钟内在Yfcc 100 M数据集的9500万张图像上构建高精度k-NN图，并在不到12小时的时间内在4个Maxwell Titan X GPU上构建连接10亿个向量的图。为了比较和可重复性，我们开放了我们的方法。
2017-02-28 cs.CV cs.DB cs.DS
