A Two-level Spatial In-Memory Index
大量的空间数据日益增多,需要有效的管理。虽然空间数据管理已经有几十年的研究,很少有作品考虑商品硬件的当前状态,具有相对较大的内存和并行多核处理的能力。在这项工作中,我们重新考虑在这种新的现实下的空间索引的设计。具体来说,我们提出了一个主内存索引的方法与空间范围内的对象,这是基于一个经典的规则空间分割成不相交的瓷砖。我们的索引的新颖之处在于,每个瓦片的内容被进一步划分为四个类别。这种第二级划分不仅减少了计算结果所需的比较次数,而且避免了重复结果的生成和消除,这是基于不相交空间划分的空间索引的固有问题。由我们的索引方案定义的空间分区是完全独立的,便于轻松的并行评估,因为分区之间不需要同步或通信。我们展示了如何使用我们的索引来有效地处理空间范围查询,并大大降低了查询的细化步骤的成本。此外,我们研究了大量的范围查询的批处理和并行处理的效率。在真实数据集上的大量实验证实了我们方法的有效性。
2021-02-23 cs.DB
Survey of Vector Database Management Systems
本文综述了向量数据库管理系统,指出向量数据管理的五大障碍,系统梳理了查询处理、存储索引及查询优化的新技术,并对比了原生与扩展型VDBMSs,指出了未来研究方向。
2023-10-21 cs.DB
LES3: Learning-based Exact Set Similarity Search
集合相似性搜索是数据清洗和Web搜索等应用的核心问题。过去的集合相似性搜索方法要么使用繁重的索引结构,导致大量的搜索成本,要么使用产生大量候选集合的索引。在本文中,我们设计了一个基于学习的精确集相似性搜索方法,LES3。我们的方法首先将集合划分为组,然后利用一个轻量级的位图式索引结构,称为令牌组矩阵(TGM),组织组和修剪候选人给定的查询集。为了优化修剪使用TGM,我们分析研究在一定的分布假设下的最优划分策略。利用这些结果,我们设计了一种基于学习的分区方法,称为L2P和相关的数据表示编码,PTR,以识别分区。我们在真实和合成数据集上进行了广泛的实验,以充分研究LES3,建立与其他适用方法相比的有效性和优越性。
2021-07-22 cs.DB
Indexing Metric Spaces for Exact Similarity Search
随着社会进程的持续数字化,我们看到可用数据的爆炸式增长。这被称为大数据。在研究环境中,当试图从大数据中创造价值时,数据的三个方面通常被视为挑战的主要来源:数量,速度和多样性。许多研究涉及体积或速度,而较少的研究涉及品种。度量空间是处理多样性的理想空间,因为它们可以容纳任何数据,只要它可以配备满足三角不等式的距离概念。为了加速度量空间中的搜索,已经提出了一系列用于度量数据的索引技术。然而,现有的调查覆盖面有限,尚未报告全面的实证研究。我们提供了一个全面的调查现有的度量索引,支持精确的相似性搜索:我们总结了现有的分区,修剪和验证技术的度量索引,以支持精确的相似性搜索,我们提供的时间和空间复杂度分析索引建设,我们提供了一个实证比较其查询处理性能。在评估指标索引性能时,实证研究非常重要,因为性能高度依赖于可用修剪和验证的有效性以及数据分布,这意味着复杂性分析通常提供有限的见解。本文旨在揭示不同标引技术的优缺点,为特定环境下选择合适的标引技术提供指导,并为未来的度量标引研究提供方向。
2022-05-23 cs.DB
Spatial Indexing of Large Multidimensional Databases
诸如大型天文测量之类的科学工作产生了TB级的数据库。这些通常是多维数据库,必须进行可视化和挖掘,以便找到有趣的对象或提取有意义的和定性的新关系。这些任务所需的许多统计算法在对内存中的小数据集进行操作时运行得相当快,但在对不适合内存的大型数据库进行操作时会出现明显的性能下降。我们利用新的软件技术来开发和评估快速多维索引方案,这些方案本质上遵循数据的底层,高度不均匀的分布:它们是分层的均匀网格索引,分层的二进制空间分区,以及数据的采样平面Voronoi细分。我们的工作数据库是斯隆数字巡天的5维星等空间,拥有超过2.7亿个数据点,我们表明这些技术可以大大加快数据采掘操作,例如通过实例查找类似对象,对对象进行分类或将大量模拟集与观测结果进行比较。我们还在开发与多维数据库交互的工具,并以自适应的方式以多种分辨率显示数据。
2012-09-28 cs.DB
Ball*-tree: Efficient spatial indexing for constrained nearest-neighbor search in metric spaces
新兴的基于位置的系统和数据分析框架需要有效管理空间数据,以进行近似和精确搜索。精确的相似性搜索可以使用空间划分数据结构来完成,例如Kd树、R* 树和Ball树。在本文中,我们专注于球树,一个高效的搜索树,是特定的空间查询,使用欧几里德距离。球树的每个节点定义一个球,即一个包含要搜索的点的子集的超球体。在本文中,我们提出了球 * 树,一个改进的球树,更有效的空间查询。Ball*-tree具有一种改进的空间划分算法,该算法考虑了数据点的分布,以找到一个有效的分裂超平面。此外,我们提出了一个新的算法,KNN查询与限制范围使用球 *-树,这比KNN和范围搜索这样的查询。实验结果表明,Ball*-tree算法比原Ball-tree算法快39%~ 57%。
2015-11-02 cs.CG cs.DB cs.DS
ScaleGANN: Accelerate Large-Scale ANN Indexing by Cost-effective Cloud GPUs
University of Pennsylvania(宾夕法尼亚大学);CUHK(香港中文大学);Duke Kunshan University(杜克昆山大学);Alibaba Cloud(阿里云)
ScaleGANN利用廉价的云GPU资源,通过分治策略和优化算法,提升大规模高维数据集的索引构建效率与空间效率,同时降低整体成本。
2026-05-11 cs.DB
PDET-LSH: Scalable In-Memory Indexing for High-Dimensional Approximate Nearest Neighbor Search with Quality Guarantees
Oceanbase, Ant Group(蚂蚁集团);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);LIPADE, Université Paris Cité(巴黎西岱大学)
本文提出PDET-LSH,通过动态编码树提升索引效率并支持高效范围查询,实验显示其在索引和查询速度上优于现有方法,尤其在大规模数据集上表现突出。
2026-03-26 cs.DB
DEX: Scalable Range Indexing on Disaggregated Memory [Extended Version]
针对内存分解环境,提出可扩展B+-树DEX,通过逻辑分区、轻量级缓存和成本感知卸载减少远程访问,性能超越现有方法1.7-56.3倍。
2024-05-23 cs.DB cs.DC
Ingestion, Indexing and Retrieval of High-Velocity Multidimensional Sensor Data on a Single Node
多维数据正变得越来越普遍,部分原因是物联网(IoT)的兴起,以及以比以前更高的速率摄取和分析数据流的需求。一些工业物联网应用程序需要每秒摄取数百万条记录,同时处理最近摄取和历史数据的查询。不幸的是,现有的数据库系统适合于多维数据表现出低的每节点摄取性能,即使他们可以在分布式设置中水平扩展,他们需要大量的节点,以满足这样的摄取需求。出于这个原因,在本文中,我们评估一个单节点的多维数据存储的高速传感器数据。它的设计围绕两级索引结构,其中全局索引是内存中的R * 树,局部索引是序列化的kd树。本研究仅限于具有数值索引字段和范围查询的记录,并涵盖摄取吞吐量、查询响应时间和存储占用。我们表明,所采用的设计简化了数据摄取,并提供比Percona Server,SQLite和Druid高两个数量级的入口率。我们的原型还报告查询响应时间可比或优于Percona服务器和Druid,并比较有利的存储占用方面。此外,我们评估一个kd树分区为基础的计划分组传入流数据记录。与随机方案相比,该方案在流记录组之间产生较少的重叠,但与我们预期的相反,这种减少的重叠并没有转化为更好的查询性能。相比之下,本地索引证明对查询性能更有益。我们相信,本文中报告的经验是有价值的从业者和研究人员都有兴趣在高速多维数据构建数据库系统。
2017-07-04 cs.DB
Unsupervised classification of uncertain data objects in spatial databases using computational geometry and indexing techniques
无监督分类称为聚类,是将对象组织成成员在某些方面相似的组的过程。不确定数据对象的聚类是空间数据库中的一个挑战。本文采用概率密度函数(PDF)来表示这些不确定的数据对象,并应用不确定K均值算法来生成聚类。该聚类算法使用期望距离(ED)来计算对象和聚类代表之间的距离。为了进一步提高UK-Means的性能,我们提出了一种新的技术,称为沃罗诺伊图从计算几何修剪ED的计算数量。这种技术有效地工作,但结果修剪开销。为了减少这些在修剪开销,我们引入R*-树索引这些不确定的数据对象,使它减少了计算成本和修剪开销。我们的新方法集成UK-Means与沃罗诺伊图和R* 树应用于不确定的数据对象产生强加的结果相比,可访问的方法。
2013-12-09 cs.DB
Gcube Indexing
空间联机分析处理系统也涉及非类别属性信息,而标准联机分析处理系统只处理类别属性信息。为数据仓库(DW)提供空间信息,面临的两个主要挑战是:1.空间/连续值的定义和聚合; 2.表示、索引、更新和高效的查询处理。在本文中,我们提出了GCUBE(地理立方体)的存储和索引过程来聚合的空间信息/连续值。我们采用所提出的方法存储和索引使用合成和真实的数据集,并评估其构建,更新和查询时间。据观察,所提出的程序提供了显着的性能优势。
2013-08-19 cs.DB
TaCo: Data-adaptive and Query-aware Subspace Collision for High-dimensional Approximate Nearest Neighbor Search
Oceanbase, Ant Group(蚂蚁集团);Huazhong University of Science and Technology(华中科技大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);LIPADE, Université Paris Cité(巴黎西岱大学)
本文提出TaCo方法,通过数据自适应和查询感知的子空间碰撞框架,提升高维近似最近邻搜索的效率与精度,实验表明其在索引构建速度和内存占用方面优于现有方法。
2026-03-26 cs.DB
Local Similarity Search on Geolocated Time Series Using Hybrid Indexing
地理位置的时间序列,即,与特定位置相关的时间序列,在许多现代应用中比比皆是。在本文中,我们考虑混合查询检索地理定位的时间序列过滤器的基础上,结合空间距离和时间序列的相似性。对于后者,与现有的工作不同,我们允许基于局部相似性进行过滤,这是基于连续性而不是每个系列的整个长度计算的,从而允许发现更细粒度的趋势和模式。为了有效地支持这样的查询,我们首先利用国家的最先进的BTSR树索引,利用时间序列的位置和形状的界限修剪的搜索空间。此外,我们提出了优化,检查在特定的时间戳,以确定可能超过所需的本地相似性阈值的候选时间序列。为了进一步提高剪枝能力,我们引入了SBTSR树索引,这是对BTSR树的扩展,它在时间上对时间序列进行了额外的分段,从而可以构建更严格的边界。我们在几个真实数据集上的实验结果表明,SBTSR树可以为所有检查的查询类型提供更快的答案。该论文发表在第27届地理信息系统进展国际会议(ACM SIGSPATIAL 2019)上。
2021-04-19 cs.DB
MIX-RS: A Multi-indexing System based on HDFS for Remote Sensing Data Storage
随着卫星技术的部署,产生了大量遥感数据。这些数据有助于生态监测、土地管理和荒漠化等研究。巨大的容量、大的单个文件大小和苛刻的容错要求)使得Hadoop分布式文件系统(HDFS)成为RS数据存储的理想选择,因为它高效、可扩展并且配备了用于故障恢复的数据复制机制。为了使用遥感数据,最重要的技术之一是地理空间索引。然而,庞大的数据量使得有效构建和利用非常耗时。考虑到大多数现代地理空间数据中心都配备了基于HDFS的大数据处理基础设施,部署多个地理空间索引变得很自然,以优化效率。此外,由于高质量的硬件引入的可靠性和RS数据的不经常修改的属性,使用多索引不会导致大的开销。因此,我们设计了一个框架,称为多索引RS(MIX-RS),统一的多索引机制上的HDFS与数据复制启用容错和地理空间索引效率。考虑到HDFS提供的容错,RS数据在结构上存储在内部,以实现更快的地理空间索引。此外,多索引提高了效率。所提出的技术自然地位于HDFS之上,以形成一个整体框架,而不会产生严重的开销或复杂的系统实现工作。利用中国科学院提供的真实遥感数据实现和评估了MIX-RS框架,展示了出色的地理空间索引性能。
2022-08-05 cs.CY cs.DB
An Entropy Maximizing Geohash for Distributed Spatiotemporal Database Indexing
我们提出了一个修改的标准geohash算法的最大熵编码的基础上,其中的数据量是近似恒定的一个给定的哈希前缀长度。分布式时空数据库通常需要将空间和时间元素交织到单个键中,通过在空间和时间精度之间创建一致的比率,即使在数据密度不同的区域中,也可以从平衡的geohash中获得很大的好处。此属性对于索引纯空间数据集也很有用,其中大范围扫描的负载分布是查询性能的一个重要方面。我们将我们的算法应用于与人口成比例生成的数据,这些数据由美国人口普查局提供的人口普查块人口计数给出。
2015-06-16 cs.DB cs.DC
Label Space Partition Selection for Multi-Object Tracking Using Two-Layer Partitioning
本文针对多目标跟踪中的数据关联模糊性和计算量激增问题,提出了一种基于二次划分技术的标签分组高效实现方法,用于广义标记多伯努利滤波器框架,实现了并行计算并避免了重复比较,在大规模数据集上表现出卓越的可扩展轨迹估计性能。
2023-10-23 cs.DB eess.SP
Efficient $k$-NN Search in IoT Data: Overlap Optimization in Tree-Based Indexing Structures
Ziane Achour University(齐亚努·阿舒尔大学);mai 1945 University(1945年5月8日大学);Labstic Laboratory(拉布斯蒂克实验室)
针对IoT数据索引构建中分区重叠导致的搜索效率低下问题,提出VBM、DBM和OBM三种启发式方法量化并减少重叠,有效降低搜索时间并提升系统性能。
2024-08-28 cs.AI cs.DB cs.IR
Indexicon: A Spatial Indexing Library
University of Ioannina(约阿尼纳大学);Johannes Gutenberg University Mainz(美因茨约翰内斯古腾堡大学)
针对现有开源空间索引库存在单一索引、依赖复杂、功能缺失等问题,提出Indexicon,一个统一、高度可移植、可扩展的开源空间索引库,提供多种树形空间访问方法的轻量级实现,并验证其性能与灵活性。
2026-06-03 cs.CG cs.DB
GLIN: A (G)eneric (L)earned (In)dexing Mechanism for Complex Geometries
GLIN是一种面向复杂几何图形空间关系查询的通用学习索引机制,通过将几何图形转换为Z地址区间并利用保序学习索引,显著降低了存储开销并提升了查询和维护性能。
2023-09-14 cs.DB
I/O efficient bisimulation partitioning on very large directed acyclic graphs
在本文中,我们介绍了第一个有效的外部存储算法计算的双相似等价类的有向无环图(DAG)。DAG通常用于在各种实际应用中对数据进行建模,从XML文档和数据起源模型到Web分类和科学工作流。在研究大规模图上的高效推理时,节点双相似性的概念起着核心作用。例如,将XML数据集中的双相似节点分组在一起是许多复杂方法的第一步,这些方法用于构建索引数据结构,以实现高效的XML查询评估。然而,迄今为止,只有内部内存互模拟算法进行了研究。由于真实世界的DAG数据集的大小通常超过可用的主存储器,因此需要在外部存储器中进行存储。因此,实际上需要一种有效的方法来计算外部存储器中的互模拟。我们的通用算法具有O(Sort(|N| + |E|))的最坏情况IO复杂度,其中|N|和|E|分别是节点和边的数量,Sort(n)是对大小为n的输入进行排序所需的外部存储器访问次数。我们还研究了这种算法的特殊化,以共同的变化,互模拟树结构的XML数据集。我们经验验证了高效的性能的算法上的图形和XML文档具有数十亿的节点和边缘,并发现,即使在非常有限的内部内存可用的算法可以有效地处理这样的图形。所提出的算法是足够简单的实际实现和使用,并打开大门,进一步研究外部存储互模拟算法。为此,完整的开源C++实现已经免费提供。
2011-12-05 cs.DB cs.DS
TopCom: Index for Shortest Distance Query in Directed Graph
图中两点间的最短距离是一个重要的问题,因为它在地理空间数据库、社会网络分析和信息检索等领域有着广泛的应用。经典算法(如Dijkstra)在多项式时间内解决了这个问题,但这些算法不能对大型图上的大量突发查询提供实时响应。因此,基于索引的解决方案,预处理图,以实时有效地回答(准确或近似)大量的距离查询,正变得越来越流行。现有的解决方案在索引大小、索引构建时间、查询时间和准确性方面具有不同的性能。在这项工作中,我们提出了T OP COM,一种新的基于索引的解决方案,准确地回答距离查询。我们的实验与现有的两个国家的最先进的方法(IS-Label和TreeMap)显示的优越性,T OP COM这两种方法,考虑到可扩展性和查询时间。此外,T OP C OM的索引利用了图中的DAG(有向无环图)结构,这使得它在输入图的SCC(强连通分量)相对较小的情况下比现有方法快得多。
2016-12-05 cs.DB
GeoReach: An Efficient Approach for Evaluating Graph Reachability Queries with Spatial Range Predicates
图被广泛用于在许多应用领域中对数据建模。由于启用GPS的设备的广泛使用,许多应用将空间属性分配给图顶点(例如,地理标记的社交媒体)。用户可以发出具有空间范围谓词(abbr. RangeReach)。RangeReach查找输入顶点是否可以到达位于输入空间范围内的任何空间顶点。RangeReach查询的一个例子是:给定一个社交图,查找Alice是否可以到达位于亚利桑那州立大学地理区域内的任何场所。本文提出了GeoReach的一种方法,增加了空间数据感知的图形数据库管理系统(GDBMS)。GeoReach允许高效执行RangeReach查询,但不会对整体系统的可扩展性(以存储大小和初始化/维护时间衡量)造成很大影响。为了实现这一点,GeoReach配备了一个轻量级的数据结构,即SPA-Graph,它通过空间索引目录增强了底层图形数据。当发出RangeReach查询时,系统采用修剪图遍历方法。基于Neo4j内部真实系统实现的实验证明,GEOREACH的查询响应时间比最先进的空间和可达性索引方法提高了两个数量级,存储量减少了四倍。
2016-03-17 cs.DB cs.SI
The PGM-index: a multicriteria, compressed and learned approach to data indexing
University of Pisa(比萨大学)
最近引入的学习索引已经动摇了几十年的数据结构索引领域的基础。将B树节点等经典设计元素与机器学习模型相结合,甚至将其替换,已被证明可以显著改善数据系统的空间占用和时间效率。然而,这些新的方法是基于几何学,因此他们缺乏任何保证,在他们的时间和空间的要求。我们提出了分段几何模型索引(简称PGM-index),它在查询操作中实现了保证的I/O最优性,学习了最优数量的线性模型,其独特的递归结构使其成为一个纯学习的数据结构,而不是传统索引和学习索引(如RMI和FITing-tree)的混合体。我们发现,PGM索引提高了空间的FITING树的63.3%和B-树超过四个数量级,同时实现相同的甚至更好的查询时间效率。我们补充这一结果,提出了三个变种的PGM指数。首先,我们设计了一个压缩的PGM索引,通过利用其组成的学习线性模型的重复性,进一步减少其空间占用。其次,我们设计了一个PGM索引,使其适应查询的分布,从而产生了迄今为止第一个已知的分布感知学习索引。最后,鉴于其灵活性,在所提供的时空权衡,我们提出了多准则PGM索引,有效地自动调整自己在几秒钟内超过数亿键的可能不断变化的时空限制所施加的应用程序的使用。我们向读者指出,本文是我们以前的论文“通过编排学习和几何来取代传统索引”(arXiv:1903.00507)的扩展和改进版本。
2019-10-14 cs.DB cs.DS cs.IR
Differentially Private Grids for Geospatial Data
在本文中,我们解决的问题,构建一个差异化的私人概要的二维数据集,如地理空间数据集。当前最先进的方法通过执行数据域的递归二进制分区并构造分区的层次结构来工作。我们发现,基于分区的概要方法的关键挑战在于选择正确的分区粒度来平衡噪声误差和非均匀性误差。我们研究了均匀网格的方法,它适用于一个等宽度的网格上的数据域的一定大小,然后在网格单元上发出独立的计数查询。这种方法在文献中没有得到关注,可能是因为没有好的方法来选择网格大小是已知的。在分析这两种误差的基础上,提出了一种选择网格尺寸的方法。实验结果验证了我们的方法,并表明,这种方法执行以及,往往倍优于,国家的最先进的方法。我们进一步介绍了一种新的自适应网格方法。自适应网格方法在数据集上放置粗粒度网格,然后根据其噪声计数进一步划分每个单元。然后,这两个级别的分区都用于回答对数据集的查询。该方法利用了在密集区域上具有更细粒度分区的需要,并且同时在稀疏区域上具有粗分区。通过对真实世界数据集的大量实验,我们表明这种方法始终显着优于均匀网格方法和其他最先进的方法。
2012-09-06 cs.CR cs.DB