Efficient Subgraph Matching on Billion Node Graphs
处理大规模图形数据的能力对于越来越多的应用程序至关重要。许多工作一直致力于支持基本的图操作，如子图匹配，可达性，正则表达式匹配等，在许多情况下，图索引被用来加快查询处理。通常，大多数索引需要超线性索引时间或超线性索引空间。不幸的是，对于非常大的图，超线性方法几乎总是不可行的。本文研究了十亿节点图的子图匹配问题。我们提出了一种新的算法，支持高效的子图匹配部署在分布式存储器上的图形。我们使用高效的图探索和大规模并行计算来进行查询处理，而不是依赖于超线性索引。我们的实验结果证明了在网络规模的图数据上进行子图匹配的可行性。
2012-05-30 cs.DB
Ingestion, Indexing and Retrieval of High-Velocity Multidimensional Sensor Data on a Single Node
多维数据正变得越来越普遍，部分原因是物联网（IoT）的兴起，以及以比以前更高的速率摄取和分析数据流的需求。一些工业物联网应用程序需要每秒摄取数百万条记录，同时处理最近摄取和历史数据的查询。不幸的是，现有的数据库系统适合于多维数据表现出低的每节点摄取性能，即使他们可以在分布式设置中水平扩展，他们需要大量的节点，以满足这样的摄取需求。出于这个原因，在本文中，我们评估一个单节点的多维数据存储的高速传感器数据。它的设计围绕两级索引结构，其中全局索引是内存中的R * 树，局部索引是序列化的kd树。本研究仅限于具有数值索引字段和范围查询的记录，并涵盖摄取吞吐量、查询响应时间和存储占用。我们表明，所采用的设计简化了数据摄取，并提供比Percona Server，SQLite和Druid高两个数量级的入口率。我们的原型还报告查询响应时间可比或优于Percona服务器和Druid，并比较有利的存储占用方面。此外，我们评估一个kd树分区为基础的计划分组传入流数据记录。与随机方案相比，该方案在流记录组之间产生较少的重叠，但与我们预期的相反，这种减少的重叠并没有转化为更好的查询性能。相比之下，本地索引证明对查询性能更有益。我们相信，本文中报告的经验是有价值的从业者和研究人员都有兴趣在高速多维数据构建数据库系统。
2017-07-04 cs.DB
A role-free approach to indexing large RDF data sets in secondary memory for efficient SPARQL evaluation
大量的RDF数据集正在变得司空见惯。RDF数据通常是在社会语义领域（如个人信息管理）中生成的，其中固定的模式通常是先验不可用的。我们提出了一个简单的三向三叉树（TripleT）二级内存索引技术，以方便高效的SPARQL查询评估这样的数据集。TripleT的新颖之处在于：（1）索引是在数据集中出现的原子上构建的，而不是以更粗的粒度构建的，例如在数据集中出现的整个三元组;以及（2）原子被索引而不管角色（即，主语、谓语或宾语），它们在数据集的三元组中起作用。我们通过广泛的实证评估表明，TripleT表现出多个数量级的改进，在存储和查询处理成本方面的RDF索引的最先进的状态。
2008-11-07 cs.DB cs.DS
Spatial Indexing of Large Multidimensional Databases
诸如大型天文测量之类的科学工作产生了TB级的数据库。这些通常是多维数据库，必须进行可视化和挖掘，以便找到有趣的对象或提取有意义的和定性的新关系。这些任务所需的许多统计算法在对内存中的小数据集进行操作时运行得相当快，但在对不适合内存的大型数据库进行操作时会出现明显的性能下降。我们利用新的软件技术来开发和评估快速多维索引方案，这些方案本质上遵循数据的底层，高度不均匀的分布：它们是分层的均匀网格索引，分层的二进制空间分区，以及数据的采样平面Voronoi细分。我们的工作数据库是斯隆数字巡天的5维星等空间，拥有超过2.7亿个数据点，我们表明这些技术可以大大加快数据采掘操作，例如通过实例查找类似对象，对对象进行分类或将大量模拟集与观测结果进行比较。我们还在开发与多维数据库交互的工具，并以自适应的方式以多种分辨率显示数据。
2012-09-28 cs.DB
A Reinforcement Learning Based R-Tree for Spatial Data Indexing in Dynamic Environments
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
已经提出了学习索引来用机器学习（ML）模型代替经典的索引结构，如B树。它们需要替换数据库目前部署的索引和查询处理算法，这种彻底的偏离可能会遇到挑战和障碍。相比之下，我们提出了一种根本不同的方法，使用ML技术来提高经典R树的查询性能，而不需要改变其结构或查询处理算法。具体来说，我们开发了基于强化学习（RL）的模型来决定如何选择插入的子树以及如何在构建R树时拆分节点，而不是依赖于R树及其变体目前使用的手工启发式规则。在包含超过1亿个空间对象的真实和合成数据集上的实验清楚地表明，我们基于RL的索引在查询处理时间方面优于R-Tree及其变体。
2021-10-11 cs.AI cs.DB
ParIS+: Data Series Indexing on Multi-Core Architectures
数据序列相似性搜索是跨多个不同领域的多个数据序列分析应用的核心操作。然而，即使是最先进的技术也无法提供大型数据系列收集所需的时间性能。我们提出了ParIS和ParIS+，第一个基于磁盘的数据系列索引精心设计，从本质上利用多核架构，以加快相似性搜索处理时间。我们的实验表明，ParIS+完全消除了磁盘驻留数据的索引构建过程中的CPU延迟，并且对于精确的查询应答，比当前最先进的索引扫描方法快1个数量级，比优化的串行扫描方法快3个数量级。ParIS+（它是ADS+索引的演变）的效率归功于多核和多套接字架构的有效使用，以便并行分布和执行索引构建和查询应答，并利用现代CPU的单指令多数据（SIMD）功能，以便进一步并行执行每个核心内的指令。
2020-09-01 cs.DB
Sélection simultanée d'index et de vues matérialisées
索引和物化视图是加速数据仓库中数据访问的物理结构。然而，这些数据结构产生一些维护开销。它们也共享相同的存储空间。现有的索引和物化视图选择的研究都是分别考虑这些结构。本文采用对立的立场，将索引和物化视图选择结合起来，考虑到它们之间的相互影响，实现了高效的存储空间共享。我们开发的成本模型，评估索引和视图物化各自的好处。这些成本模型，然后利用贪心算法来选择一个相关的配置的索引和物化视图。实验结果表明，我们的策略性能优于独立选择的索引和物化视图。
2007-07-09 cs.DB
How Good Are Multi-dimensional Learned Indices? An Experimental Survey
针对多维学习型索引缺乏统一评测的问题，本文在一致实现、数据集、工作负载和指标下实证比较六种近期索引，为选型和后续设计提供依据。
2024-05-09 cs.DB
MIX-RS: A Multi-indexing System based on HDFS for Remote Sensing Data Storage
随着卫星技术的部署，产生了大量遥感数据。这些数据有助于生态监测、土地管理和荒漠化等研究。巨大的容量、大的单个文件大小和苛刻的容错要求）使得Hadoop分布式文件系统（HDFS）成为RS数据存储的理想选择，因为它高效、可扩展并且配备了用于故障恢复的数据复制机制。为了使用遥感数据，最重要的技术之一是地理空间索引。然而，庞大的数据量使得有效构建和利用非常耗时。考虑到大多数现代地理空间数据中心都配备了基于HDFS的大数据处理基础设施，部署多个地理空间索引变得很自然，以优化效率。此外，由于高质量的硬件引入的可靠性和RS数据的不经常修改的属性，使用多索引不会导致大的开销。因此，我们设计了一个框架，称为多索引RS（MIX-RS），统一的多索引机制上的HDFS与数据复制启用容错和地理空间索引效率。考虑到HDFS提供的容错，RS数据在结构上存储在内部，以实现更快的地理空间索引。此外，多索引提高了效率。所提出的技术自然地位于HDFS之上，以形成一个整体框架，而不会产生严重的开销或复杂的系统实现工作。利用中国科学院提供的真实遥感数据实现和评估了MIX-RS框架，展示了出色的地理空间索引性能。
2022-08-05 cs.CY cs.DB
Hierarchical Characteristic Set Merging for Optimizing SPARQL Queries in Heterogeneous RDF
特征集（CS）基于表征其主题节点的属性集来组织RDF三元组。这个概念最近在索引技术中使用，因为它可以捕获RDF数据的隐式模式。虽然大多数基于CS的方法在空间和查询性能方面都有显著的改进，但它们在存在模式异构性的情况下表现不佳，即，当CS的数量变得非常大时，导致高度分区的数据组织。在本文中，我们解决这个问题，通过引入一种新的技术，合并CS的层次结构的基础上。我们的技术采用了一个网格来捕捉CS之间的层次关系，确定密集的CS和合并密集的CS与他们的祖先，从而减少CS的大小以及它们之间的联系。我们实现了我们的算法上的关系骨干，其中每个合并的CS存储在一个关系表中，我们进行了广泛的实验研究，以评估性能和合并的RDF数据集的存储和查询的影响，表明显着的改进。
2018-09-07 cs.DB
GRAB-ANNS: High-Throughput Indexing and Hybrid Search via GPU-Native Bucketing
Zhejiang University（浙江大学）
GRAB-ANNS通过GPU原生分桶技术实现高吞吐混合搜索，提升查询效率和索引构建速度，同时保持高召回率。
2026-03-31 cs.DB cs.IR
Efficient Spatial Nearest Neighbor Queries Based on Multi-layer Voronoi Diagrams
最近邻问题是一个重要的科学问题。NN查询是在一组点中找到与给定查询点最近的一个点，广泛用于密度估计、模式分类、信息检索和空间分析等应用中。NN查询的一个直接推广是k最近邻查询（kNN），其中要求找到k个最近点，自从NN和kNN问题被提出以来，已经提出了许多算法来解决它们。在文献中已经指出，以次线性时间复杂度精确地解决这些问题的唯一方法是通过使用通常被称为空间索引的预处理结构来过滤掉不必要的空间计算。最近提出的用于NN搜索的空间索引几乎都是通过空间划分来构造的。这些索引是树状的，树状的层次结构通常可以显着提高NN搜索的效率。然而，当数据分布极不均匀时，很难同时满足树的平衡和节点对应的子空间的不重叠。因此，加速性能的树状指数是严重危害。本文提出了一种由多层沃罗诺伊图（MVD）组成的非树空间索引。该索引完全避免了树状结构所面临的困境，并以对数时间复杂度稳定地解决了神经网络问题。此外，通过在MVD上扩展NN搜索，可以方便地实现kNN搜索。在实验中，我们评估的效率，这种索引的NN搜索和kNN搜索通过比较VoR树，R树和kd树。实验结果表明，与NN搜索和kNN搜索相比，这两种搜索方法具有更高的效率与其他三个指标，MVD。
2019-11-07 cs.DB
Approximate Nearest Neighbor Search of Large Scale Vectors on Distributed Storage
针对单机 ANNS 索引成本高、规模受限和单点故障问题，本文提出 DSANN 图—簇混合系统，在分布式存储上支持十亿规模向量的高可用索引与搜索。
2025-10-20 cs.DB
Dimensionality Reduced Clustered Data and Order Partition and Stepwise Dimensionality Increasing Indices
本文回顾了针对高维卫星图像相似性搜索的索引构建研究，通过数据聚类、SVD降维及Ordered Partition和SDI索引技术，显著降低了k-NN查询处理成本并提升了效率。
2024-01-05 cs.DB cs.DL cs.DS
Scalable Data Discovery Using Profiles
我们研究了大规模发现可连接数据集的问题。也就是说，如何在大量独立的、异构的数据集中自动发现可以连接的属性对。精确（例如，基于不同的值）和基于散列的（例如，基于局部敏感散列）技术需要索引整个数据集，这在规模上是无法实现的。为了克服这个问题，我们从学习的角度来处理这个问题，依赖于配置文件。这些是捕获数据集的模式和数据值的基本特征的简洁表示，可以以分布式和并行的方式有效地提取。然后比较配置文件，以预测来自不同数据集的一对属性之间的连接操作的质量。与现有技术相比，我们定义了一个新的连接质量概念，它依赖于一个度量，同时考虑候选属性之间的包容性和基数比例。我们在一个名为NextiaJD的系统中实现了我们的方法，并进行了大量的实验，以显示我们的方法的预测性能和计算效率。我们的实验表明，NextiaJD获得了与基于哈希的方法相似的预测性能，但我们能够扩展到更大的数据量。此外，NextiaJD产生的误报量要少得多，这是一个理想的大规模功能。
2020-12-03 cs.DB
Accelerating Point-in-Polygon Predicates via Algebraic Hash-Joins and Discrete Global Grids at Scale: An interactive benchmark
University of Florida（佛罗里达大学）
研究传统矢量多边形内点查询对海量数据扩展性差的问题，核心方法是用DuckDB对四种DGGS实现进行实证评估，主要贡献是证明数据预索引时DGGS能实现亚秒级连接延迟，释放执行引擎吞吐量。
2026-08-26 cs.DB
CubeGraph: Efficient Retrieval-Augmented Generation for Spatial and Temporal Data
University of Leicester（利兹大学）
CubeGraph通过整合向量搜索与任意空间约束，解决传统方法在处理高维向量相似性搜索与时空过滤时的碎片化问题，提升查询性能和扩展性。
2026-04-30 cs.AI cs.DB cs.IR
Cost-Effective, Low Latency Vector Search with Azure Cosmos DB
本研究将DiskANN深度集成到Azure Cosmos DB NoSQL中，在云原生运营数据库内构建高性价比低延迟向量搜索系统，性能与成本优势显著，为数据库向量索引融合提供参考。
2025-07-31 cs.DB cs.IR
Towards an open registry of Earth observation instruments
Leipzig University（莱比锡大学）；Universitat de València（瓦伦西亚大学）；UFZ（赫尔姆霍茨环境研究中心）
针对地球观测仪器元数据分散问题，提出一个基于GitHub的开放注册表，采用可扩展的通用模式，支持自动验证与人工审核，以促进仪器发现和数据互操作。
2026-06-15 cs.DB cs.DL
WoW: A Window-to-Window Incremental Index for Range-Filtering Approximate Nearest Neighbor Search
本文提出窗口图增量索引WoW，通过分层窗口插入算法和范围选择性优化，实现范围过滤近似最近邻搜索的高效增量构建与查询，性能优于现有增量索引。
2025-09-26 cs.DB
Index Search Algorithms for Databases and Modern CPUs
多年来，已经提出了许多不同的索引技术和搜索算法，包括CSS树，CSB+树，k-ary二叉搜索和快速架构敏感树搜索。还有一些论文讨论了如何最好地设置这些索引结构的许多不同参数，例如CSB+树的节点大小。提出这些指数是因为CPU速度的增长速度比内存速度快得多，从而导致了冯·诺依曼CPU-内存瓶颈。为了隐藏由内存访问引起的长延迟，充分利用现代CPU的特性变得非常重要。为了降低执行CPU指令所需的平均CPU时钟周期数，从而提高吞吐量，实现CPU资源的良好利用变得非常重要。其中一些是数据和指令缓存，以及翻译后备缓冲区。但是，避免分支误预测惩罚以及利用CPU以SIMD指令形式提供的向量化也变得重要。虽然索引结构的布局已经针对现代CPU的数据缓存进行了大量优化，但到目前为止，指令缓存一直被忽视。在本文中，我们提出了氮，一个框架，利用代码生成，加快索引遍历内存数据库系统。通过将数据和代码放在一起，我们使索引结构使用指令缓存的休眠资源。我们展示了如何将索引编译与以前的方法相结合，如二叉树搜索，缓存敏感的树搜索，以及Kim等人提出的架构敏感的树搜索。
2017-06-20 cs.DB cs.DS
