Difference Sequence Compression of Multidimensional Databases
多维数据库通常使用压缩技术来减小数据库的大小。本文介绍了一种新的差分序列压缩方法。在某些情况下,这种新技术能够创建比其他方法(如单计数头压缩,逻辑位置压缩或基偏移压缩)更小的多维数据库。关键词:压缩,多维数据库,联机分析处理,联机分析处理。
2011-04-26 cs.DB
Predictive Indexing
在数据库管理系统(DBMS)中,对自动索引调优进行了大量的研究。但是,这些解决方案中的大多数都是通过回顾性地一次性进行计算代价高昂的物理设计更改来调整索引配置的。这样的改变降低了DBMS在处理期间的性能,并且由于工作负载转移和相关联的改变之间的延迟而降低了在随后的查询处理期间的实用性。一种更好的方法是生成随时间调整物理设计的小更改,预测这些更改的实用性,并提前应用它们以最大限度地发挥其影响。本文介绍了预测索引,不断提高数据库的物理设计使用轻量级的物理设计的变化。它使用机器学习模型来预测这些更改的效用,并不断改进数据库的索引配置以处理不断变化的工作负载。我们引入了一个轻量级的混合扫描操作,DBMS可以利用部分建立的索引进行查询处理。我们的评估表明,预测索引提高了3.5- 5.2倍的数据库管理系统的吞吐量相比,其他国家的最先进的索引方法。我们证明了预测索引与其他轻量级自动化物理设计调优方法无缝配合。
2019-01-21 cs.DB
Indexing Designs and Adaptive Data Distribution Optimization for In-Memory Databases on Hybrid DDR--CXL Memory
East China Normal University(华东师范大学)
针对混合DDR--CXL内存数据库,提出五种索引设计并开发自适应数据分布优化,通过分层热度跟踪和收益感知驱逐提升性能,使单一索引设计吞吐量最高提升至1.59倍。
2026-10-08 cs.DB
Bag-of-Features Image Indexing and Classification in Microsoft SQL Server Relational Database
Institute of Computational Intelligence Cz e stochowa University of Technology al. Armii Krajowej 36, 42-200 Cz e stochowa, Poland Email
本文提出了一种新的关系数据库体系结构,旨在视觉对象的分类和检索。该框架是基于袋的特征图像表示模型结合支持向量机分类,并集成在Microsoft SQL Server数据库。
2015-06-26 cs.CV cs.DB
Unsupervised classification of uncertain data objects in spatial databases using computational geometry and indexing techniques
无监督分类称为聚类,是将对象组织成成员在某些方面相似的组的过程。不确定数据对象的聚类是空间数据库中的一个挑战。本文采用概率密度函数(PDF)来表示这些不确定的数据对象,并应用不确定K均值算法来生成聚类。该聚类算法使用期望距离(ED)来计算对象和聚类代表之间的距离。为了进一步提高UK-Means的性能,我们提出了一种新的技术,称为沃罗诺伊图从计算几何修剪ED的计算数量。这种技术有效地工作,但结果修剪开销。为了减少这些在修剪开销,我们引入R*-树索引这些不确定的数据对象,使它减少了计算成本和修剪开销。我们的新方法集成UK-Means与沃罗诺伊图和R* 树应用于不确定的数据对象产生强加的结果相比,可访问的方法。
2013-12-09 cs.DB
An Entropy Maximizing Geohash for Distributed Spatiotemporal Database Indexing
我们提出了一个修改的标准geohash算法的最大熵编码的基础上,其中的数据量是近似恒定的一个给定的哈希前缀长度。分布式时空数据库通常需要将空间和时间元素交织到单个键中,通过在空间和时间精度之间创建一致的比率,即使在数据密度不同的区域中,也可以从平衡的geohash中获得很大的好处。此属性对于索引纯空间数据集也很有用,其中大范围扫描的负载分布是查询性能的一个重要方面。我们将我们的算法应用于与人口成比例生成的数据,这些数据由美国人口普查局提供的人口普查块人口计数给出。
2015-06-16 cs.DB cs.DC
'Intelligence Studies Network': A human-curated database for indexing resources with open-source tools
本文介绍情报研究网络数据库,展示如何利用Zotero、OpenAlex和Streamlit等开源工具自动监测、人工策展并可视化情报研究领域资源,证明构建专业学术数据库的可行性。
2024-08-07 cs.DB cs.DL
Object-Relational Database Representations for Text Indexing
与数据库管理系统相比,信息检索系统的一个显著特征是它们为倒排列表提供更好的压缩,从而产生更好的I/O性能,从而更快地进行查询评估。在本文中,我们介绍了数据库表示的索引,减少大小(从而磁盘I/O)的倒排列表。这不是通过重新设计DBMS来实现的,而是通过利用现有对象关系DBM系统(RDBMS)已经提供的非1 NF特性来实现的。具体而言,四个不同的数据库表示,并详细的实验结果为100万页的报告。其中三种表示比普通关系表示的空间效率高一个数量级,并且(在查询评估中)更快。
2009-06-17 cs.DB cs.IR
On the Scalability of Multidimensional Databases
在数据库联机分析处理的实践中,人们普遍认为多维数据库组织的可伸缩性低于关系数据库组织。很容易看出,多维组织的规模可能会非常迅速地增加。例如,如果我们引入一个额外的维度,那么可能的细胞总数将至少增加一倍。然而,这种推理没有考虑到多维组织可以被压缩的事实。有压缩技术,可以从多维组织中删除所有或至少一部分空单元格,同时保持良好的检索性能。关系数据库通常使用B树索引来加速对给定表行的访问。在一些合理的假设下,可以证明表和B树索引的总大小大于压缩的多维表示。这意味着压缩数组可以同时实现更小的数据库和更快的访问速度。本文比较了几种压缩技术,并说明了何时应该和不应该应用压缩数组而不是关系表。
2011-04-25 cs.DB
RTIndeX: Exploiting Hardware-Accelerated GPU Raytracing for Database Indexing
本文提出 RX,将数据库点查与范围查重构为 GPU 光线追踪相交测试,借助 NVIDIA RTX 专用核心实现索引,并从十四个维度验证其竞争力。
2023-09-27 cs.DB cs.GR
Difference-Huffman Coding of Multidimensional Databases
本文介绍了一种新的压缩方法-差分霍夫曼编码(DHC)。它是经验验证DHC结果在一个更小的多维物理表示比其他以前公布的技术(单计数头压缩,逻辑位置压缩,基本偏移压缩和差分序列压缩)。本文研究了缓存如何影响关系的多维和表表示的预期检索时间。为此提出了一个模型,然后用经验数据进行了验证。根据模型和实验,得出结论,当一个物理表示优于另一个检索时间。在测试的可用内存范围内,多维表示的性能总是比表表示快得多。
2011-04-20 cs.DB
Indices in XML Databases
随着XML成为商业信息表示和交换的标准,XML文档的存储、索引和查询已迅速成为数据库研究的主要问题。在这种情况下,查询处理和优化是原始的,原生XML数据库还不成熟。诸如索引之类的数据结构有助于大大提高性能,因此得到了广泛的研究,特别是因为XML数据具有相对于关系数据的许多特性。在本文中,我们调查国家的最先进的XML索引,并讨论了主要问题,权衡和未来的趋势,XML索引。我们还提出了一个索引,我们专门设计的XML数据仓库的特定体系结构。
2017-01-27 cs.DB
Learned Adaptive Indexing with Updatable Learned Index
针对动态工作负载下传统学习型索引需预先构建的挑战,提出一种随查询动态构建的学习型自适应索引,利用工作负载预测提升性能,实验显示查询性能提升1.2-5.6倍。
2026-11-10 cs.DB
Designing Succinct Secondary Indexing Mechanism by Exploiting Column Correlations (Extended Version)
数据库管理员在数据表上构造二级索引以加速关系数据库管理系统(RDBMS)中的查询处理。根据数据统计信息,这些索引构建在最常查询的列之上。不幸的是,在同一个数据库中维护多个辅助索引可能非常消耗空间,由于可能耗尽内存空间,导致性能显著下降。在本文中,我们证明了有很多机会利用列相关性来加速数据访问。我们提出了HERMIT,一个简洁的现代RDBMS二级索引机制。HERMIT明智地利用隐藏在列中的丰富的软函数依赖关系,为索引键访问修剪掉冗余结构。HERMIT不是构建一个完整的索引来存储键列中的每个条目,而是将任何传入的键访问查询导航到基于相关列构建的现有索引。这是通过分层回归搜索树(TRS树)实现的,TRS树是一种简洁的ML增强型数据结构,可执行快速曲线拟合,以自适应地动态捕获列相关性和离群值。我们在两个不同的RDBMS中进行了广泛的实验研究,证实了HERMIT可以显着减少空间消耗,在查询响应时间和索引维护时间方面的性能开销有限,特别是在支持复杂范围查询时。
2019-04-01 cs.DB
Subspace Aggregation Query and Index Generation for Multidimensional Resource Space Model
Key Lab of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所智能信息处理重点实验室);Great Bay University and Great Bay Institute for Advanced Study(大湾区大学和大湾区先进研究院)
针对多维资源空间中的子空间聚合查询问题,提出一种基于偏序关系的图索引生成方法,以高效定位非空点并聚合资源,并通过策略降低索引生成成本。
2026-05-25 cs.AI cs.DB
COAX: Correlation-Aware Indexing on Multidimensional Data with Soft Functional Dependencies
Imperial College London(帝国理工学院);Johns Hopkins University(约翰斯·霍普金斯大学)
最近的工作提出了学习索引结构,它学习底层数据集的分布以提高性能。学习索引的初步工作表明,通过学习数据的累积分布函数,B树等索引结构可以将其性能提高一个数量级,同时具有更小的内存占用。在本文中,我们提出了COAX,这是一种多维数据的学习索引,它不是学习键的分布,而是学习数据集属性之间的相关性。我们的方法是由观察驱动的,在许多数据集中,两个(或多个)属性的值是相关的。COAX利用这些相关性来降低数据集的维度。更准确地说,我们学习了如何从剩余的属性中推断出一个(或多个)属性$C_d$,因此不再需要索引属性$C_d$。这降低了维度,因此使索引更小,更有效。我们从理论上研究所提出的技术的有效性的基础上的FD属性的可预测性。我们进一步通过实验表明,通过预测数据中的相关属性,我们可以提高查询执行时间,减少索引的内存开销。在我们的实验中,我们将执行时间减少了25%,同时将索引的内存占用减少了四个数量级。
2021-02-02 cs.DB cs.DC cs.LG
Caching in Multidimensional Databases
多维数据库的一个应用是联机分析处理(OLAP)领域。这一领域的应用程序旨在快速分析共享的多维信息[9]。一方面,速度可以通过专门设计的数据结构和算法来实现。另一方面,分析过程是循环的。换句话说,OLAP应用程序的用户一个接一个地运行他或她的查询。最后一个查询的输出可能(至少部分地)存在于先前的结果之一中。因此,缓存在这些系统的操作中也起着重要的作用。然而,缓存本身可能不足以确保可接受的性能。大小确实很重要:可用的内存越多,我们通过加载和保存信息获得的信息就越多。通常,高速缓存大小是固定的。这也限制了多维数据库的性能,除非我们压缩数据以便将更大比例的数据移动到内存中。缓存与适当的压缩方法相结合,保证了进一步的性能改进。在本文中,我们研究如何缓存影响OLAP系统的速度。不同的物理表示(多维和表)进行评估。为了进行全面的比较,提出了模型。基于这些模型得出结论,并用实证数据验证了结论。
2011-05-02 cs.DB
Structural Indexing of Relational Databases for the Evaluation of Free-Connex Acyclic Conjunctive Queries
Pontificia Universidad Católica de Chile(智利天主教 Pontificia Universidad Católica 大学);Humboldt-Universität zu Berlin(柏林洪堡大学)
该研究提出了一种基于数据库元组结构性对称性的索引方法,用于高效评估自由连通无环联接查询。
2026-01-08 cs.DB cs.LO
Towards Conceptual Multidimensional Design in Decision Support Systems
多维数据库支持高效的联机分析处理(OLAP)。在本文中,我们描述了一个专用于多维数据库的模型。我们提出的方法通过事实和维度的星座来设计决策信息。每个维度可能在多个事实之间共享,并且根据多个层次结构进行组织。此外,我们定义了一个全面的查询代数重组更流行的多维操作在当前的商业系统和研究方法。我们引入新的运营商致力于星座。最后,我们描述了一个原型,允许管理人员查询星座的事实,尺寸和多层次结构。
2010-05-03 cs.DB
A New Framework to Adopt Multidimensional Databases for Organizational Information System Strategies
随着信息变得越来越大,组织维护数据的挑战仍然存在。更重要的是,分析输入数据的持续过程是持续进行的,组织应采用现有程序,这些程序在试图访问特定信息进行分析时可能不够充分或效率低下。在技术进步的后期,组织可以为客户提供广泛的数据资源,从而实现个人目标并保持竞争力;然而,以满足每个客户需求的格式提供数据仍然是一个挑战。对于某些人来说,数据模型的复杂性可能难以利用。此外,企业应确保了解特定消费群体的购买力,以保持竞争力并简化数据分析操作。本文旨在研究多维模型在商业环境中的使用,以及它如何为客户和管理人员提供生成查询,从而为有效分析提供准确和相关的数据。它还提供了一个新的框架,可以帮助使用大型数据库系统的各种类型的组织从关系数据库创建自己的多维模型,并在多维视图中呈现数据。它还定义了要求。尽管有现成的工具,但使用这些概念的复杂性使客户望而却步,因为他们可能会担心出于分析目的探索这些选项。这可以通过进行查询来完成。
2021-05-17 cs.DB
Em-K Indexing for Approximate Query Matching in Large-scale ER
在许多需要集成和处理大量数据汇集的数据采掘和分析项目中,准确和有效的实体解析(ER)是一个重大挑战。在现实世界的应用中,开发对大型数据库上的实体查询产生快速响应的ER解决方案变得越来越重要。这些应用中的一些需要在短时间内与大规模参考数据库进行实体查询匹配。在这项工作中,我们将其定义为ER中的查询匹配问题。索引或分块技术减少了ER过程中的搜索空间和执行时间。然而,扩展到非常大规模数据集的近似索引技术仍然有待研究。在本文中,我们研究的查询匹配问题,在ER提出一个索引方法,适合近似和高效的查询匹配。我们首先使用空间映射嵌入记录在多维欧氏空间,保持特定领域的相似性。在各种映射技术中,我们选择多维缩放。然后使用Kd树和最近邻搜索,该方法返回一个记录块,其中包括查询的潜在匹配。我们的方法可以处理查询对一个大规模的数据集使用的数据$L$的一小部分(给定的数据集大小是$N$),与$O(L^2)$复杂性,其中$L \ll N$。在多个数据集上进行的实验表明了该方法的有效性。
2021-11-07 cs.DB cs.IR
Just In Time Indexing
当今数据库管理员面临的主要挑战之一是管理复杂SQL查询的性能,这些查询本质上是动态的。由于查询的动态特性,不可能对每个查询都进行调优,因此如果不对这些查询进行调优,它们很可能会导致严重的数据库性能问题。常规索引仅适用于那些频繁执行的查询或SQL查询中频繁连接的列。本发明涉及一种用于优化数据库管理系统中的数据库查询的方法、查询优化器。即时(JIT)索引是按需的,是根据当前需求动态创建的临时索引,以便它们能够满足任何类型的查询。仅当查询的资源消耗超过配置的阈值时,才会创建JIT索引。JIT索引将临时存储,并将在一段时间内被新的JIT索引取代。该建议得到证实的实验方案的帮助下,并与各种测试用例。并行编程的思想也被带入画面,因为它可以有效地用于多处理器系统。采用多个线程,而一组线程以常规方式进行,另一组线程以所提出的方式进行。当达到合适的阶段时,进行现场切换,从那时起,所提出的方法将只出现在画面中。
2013-08-16 cs.DB
Indexing the Earth Mover's Distance Using Normal Distributions
查询不确定的数据集(表示为概率分布)提出了许多挑战,由于涉及大量的数据和比较分布之间的不确定性的困难。地球移动器距离(EMD)已越来越多地用于比较不确定的数据,由于其能够有效地捕捉两个分布之间的差异。计算EMD需要找到运输问题的解决方案,这是计算密集型的。在本文中,我们提出了一个新的下界的EMD和索引结构,显着提高性能的EMD为基础的K-最近邻(K-NN)查询不确定数据库。我们提出了一个新的EMD下界,该下界逼近投影向量上的EMD。每个分布都被投影到一个向量上,并近似为正态分布以及伴随的误差项。然后,我们将每个法线表示为Hough变换空间中的一个点。然后,我们使用随机优势的概念,实现一个有效的索引结构中的转换空间。我们表明,我们的方法显着减少K-NN查询时间不确定数据库。索引结构也可以很好地扩展数据库基数。它非常适合于异构数据集,有助于保持EMD为基础的查询易处理的不确定数据集变得更大,更复杂。
2011-11-30 cs.DB
Extending Contexts with Ontologies for Multidimensional Data Quality Assessment
数据质量和数据清理是依赖于上下文的活动。从这个观察,在以前的工作中提出了一个上下文模型的数据库实例的质量评估。在该框架中,上下文采取可能的虚拟数据库或数据集成系统的形式,在质量评估下的数据库实例被映射到该虚拟数据库或数据集成系统中,以进行附加的分析和处理,从而实现质量评估。在这项工作中,我们扩展的情况下,尺寸,这样做,我们有可能对数据质量评估的多维评估。多维上下文被表示为用Datatron +-编写的本体。我们使用这种语言来表示维度约束和维度规则,并进行基于维度导航的查询回答,这成为数据评估中的一个重要辅助活动。我们通过例子展示了想法和机制。
2014-01-20 cs.DB
An index for regular expression queries: Design and implementation
Like正则表达式谓词至少从1989年起就成为SQL标准的一部分。然而,尽管它的流行和广泛的使用,数据库供应商只提供有限的索引支持正则表达式查询,几乎总是需要一个完整的表扫描。在本文中,我们提出了一个严格的和强大的方法,为正则表达式查询提供索引支持。我们的方法包括制定索引问题作为一个组合优化问题。我们从一个数据库开始,它被抽象为字符串的集合。从这个数据集,我们生成一个查询工作负载。优化问题的输入是数据库和工作负载。输出是一组多重字符(子字符串),可以用作满足查询工作负载的记录的键。然后可以将multigram与数据结构(如B+树)集成,为查询提供索引支持。我们提供了一个确定性和随机近似算法(可证明的保证)来解决优化问题。在合成数据集上的大量实验表明,该方法是准确和有效的。我们还提出了一个案例研究的PROSITE模式-这是复杂的正则表达式签名类蛋白质。同样,我们能够证明我们的索引方法在准确性和效率方面的实用性。因此,也许是第一次,有一个强大的和实用的索引机制,为一类重要的数据库查询。
2011-08-15 cs.DB cs.IR
Taking the Shortcut: Actively Incorporating the Virtual Memory Index of the OS to Hardware-Accelerate Database Indexing
本文提出利用操作系统页表作为数据库索引的捷径,通过直接在页表中表达间接层来减少遍历高度并利用硬件加速,并在可扩展哈希上验证了有效性。
2023-10-13 cs.DB cs.OS
INSTRUCT: Space-Efficient Structure for Indexing and Complete Query Management of String Databases
搜索引擎、词典和同义词词典存储以及其他文本挖掘应用的巨大扩展,与容易获得的扫描设备和光学字符识别工具的普及相结合,使得对于各种现代应用的大量文本数据库的有效存储、检索和管理成为必要。对于这样的应用程序,我们提出了一种新的数据结构,INFECT,有效地存储和管理的序列数据库。我们的结构使用位向量重用的存储空间,共同的三元组,因此,有一个非常低的内存需求。除了精确的字符串搜索操作之外,INCLUCT还通过迭代地检查三元组的存在来有效地处理前缀和后缀搜索查询。我们还提出了一个扩展的结构,以有效地处理子串搜索,虽然增加了空间的要求。这个扩展是很重要的,在上下文的trie为基础的解决方案,无法有效地处理这样的查询。我们进行了几个实验,描绘INDROCT优于现有的结构,近两个因素的空间需求方面,而查询时间更好。除了支持所有类型的查询(包括精确搜索、前缀/后缀搜索和子串搜索)之外,还能够处理字符串的插入和删除,这使得INCLECT成为一个完整的数据结构。
2012-07-03 cs.DB cs.DS
Feature-Based Adaptive Tolerance Tree (FATT): An Efficient Indexing Technique for Content-Based Image Retrieval Using Wavelet Transform
本文介绍了一种新的索引和访问方法,称为基于特征的自适应容差树(FATT),提出了使用小波变换来有效地组织大型图像数据集,并支持流行的图像访问机制,如基于内容的图像检索(CBIR)。然而,这种方法不再适用于图像,因为图像的数字表示并不传达图像的真实性。当数据库非常大时,图像检索变得困难。本文针对这些问题,并提出了一种新的索引技术,基于特征的自适应容差树(FATT),这是旨在带来一个有效的解决方案,特别是对大型数据库的索引。建议的索引方案,然后使用与查询的图像内容,以实现最终目标,从用户的角度来看,是检索所有相关的图像。FATT索引技术,利用二维离散小波变换(2DDWT)提取图像的特征,并由特征的行列式值生成索引码。基于2D-DWT的多分辨率分析技术可以将图像分解为不同尺度的分量,使得最粗尺度分量包含全局近似信息,而更细尺度分量包含细节信息。实验结果表明,FATT比M-tree的性能提高了200%,比Slim-tree的性能提高了120%,比HCT的性能提高了89%。采用FATT索引技术提高了数据存储和检索的效率。
2010-04-08 cs.DB cs.MM
XML Multidimensional Modelling and Querying
随着XML变得无处不在,XML存储和处理变得更加高效,这些技术的用例范围每天都在扩大。一个很有前途的领域是XML和数据仓库的集成,其中原生XML数据库存储多维数据并处理用XQuery询问语言编写的OLAP查询。本文探讨了在实现这样一个数据仓库的问题。我们首先比较了XML中的多维数据建模方法,然后描述了这些模型上的典型OLAP查询如何在XQuery中表达。然后,我们将展示,无论模型如何,XQuery1.1的分组特性如何提高这些查询的性能和可读性。最后,我们使用eXist数据库,我们扩展了一个分组子句的实现,在每个建模选择的查询评估的性能进行评估。
2009-12-06 cs.DB
Event Indexing Systems for Efficient Selection and Analysis of HERA Data
本文介绍了为提高DESY HERA电子-质子对撞机ZEUS探测器事件数据离线分析效率而设计和实现的两个软件系统。提出了两种不同的方法,一种使用一组事件目录,另一种使用基于商业面向对象数据库管理系统的标记数据库。这些描述和比较。这两个系统都提供了快速直接存取单个碰撞事件在一个连续的数据存储的几个TB,他们都大大提高了事件分析的效率。特别地,标签数据库提供了非常灵活的选择机制,并且可以显著地减少从总事件样本中提取小的子样本所需的计算时间。已获得高达20倍的增益。
2001-04-03 cs.DB cs.IR
A+ Indexes: Tunable and Space-Efficient Adjacency Lists in Graph Database Management Systems
Cheriton School of Computer Science, University of Waterloo(滑铁卢大学切里顿计算机科学学院)
针对现有图数据库管理系统固定邻接表结构仅适配特定工作负载的问题,提出支持物化视图的可调优A+索引子系统,含顶点/边分区两类索引,采用偏移列表实现二级索引空间高效,经三类工作负载实验验证了可调优性与空间效率。
2021-03-03 cs.DB
Multi-Entry Generalized Search Trees for Indexing Trajectories
针对传统广义索引单条目表示复杂对象效率低的问题,提出支持可插拔拆分模块的多入口广义搜索树MGiST与MSP-GiST,在轨迹索引场景下实现多种空间索引的多入口版本,查询性能最高提升一个数量级。
2024-09-13 cs.DB
SAVIME: A Multidimensional System for the Analysis and Visualization of Simulation Data
科学应用产生了大量的数据,这给管理和分析带来了严峻的挑战。特别是,在当前的数据库管理系统的限制,防止他们在模拟应用程序中,在原位分析库,在运输中的I/O接口和科学格式的文件是首选的DBMS。为了使仿真应用程序受益于DBMS的支持,作者在他的博士论文的背景下,提出了一个名为SAVIME的系统的开发。SAVIME是一个数组数据库系统,用于管理数值模拟数据。在本文件中,作者介绍了迄今为止所做的所有工作和目前的发展状况。
2019-03-15 cs.DB
Multidimensional or Relational? / How to Organize an On-line Analytical Processing Database
在过去的几年中,OLAP应用的数量迅速增加。这些应用程序使用两种截然不同的数据库结构:多维(MD)和基于表的。可以看出,传统的关系数据库模型无法区分这两种结构。另一个模型是必要的,使差异可见。其中之一就是系统的速度。可以证明,多维数据库组织导致更短的响应时间。这是至关重要的,因为如果经理不得不等待下一个屏幕超过20秒,他或她可能会变得不耐烦。另一方面,我们必须为更大的数据库大小的速度付出代价。为什么MD数据库的规模增长如此之快?原因是数据的稀疏性:MD矩阵包含许多空单元。稀疏矩阵的有效处理在OLAP应用中是必不可少的。处理稀疏性的一种方法是使结构更接近基于表的结构。因此,数据库大小减小,而应用程序变慢。因此,需要其他方法。本文对这两种数据库结构进行了比较,并指出了它们的使用局限性。本文的新结果是:(1)构造性地证明了所有关系都可用MD阵列表示。(2)它还显示了MD数组表示何时比基于表的表示更快。(3)MD表示在某些条件下导致较小的DB大小。本文证明了一个这样的充分条件。(4)单计数头压缩方案的一个变化描述了一个算法,它从有序表创建压缩数组,而不具体化未压缩数组。(5)并通过实验对两种不同数据库组织的速度进行了测试。测试是在基准测试和真实数据上进行的。实验结果支持了理论结果。
2011-04-19 cs.DB
Optimization of stochastic database cracking
变体随机破解是一种适应性更强的自适应索引方法。它表明[1]随机破解使用每个查询作为如何重组数据的提示,但不是盲目地这样做;它通过在决策中故意应用某些任意选择来获得弹性并避免性能瓶颈。因此,使自适应索引向前发展到一个成熟的公式,赋予以前的方法缺乏的工作负载鲁棒性。原始破解依赖于工作负载的随机性来很好地收敛。[2][3]然而,在工作负载是非随机的情况下,破解需要自己引入随机性。随机破解明显优于原始破解,在工作负载变化中具有鲁棒性,同时在适应时保持所有原始破解功能。但是看看这两种类型的破解,它传达了一个不完整的画面,因为在某个时间点,必须知道工作负载是随机的还是顺序的。在本文中,我们的重点是优化变量随机破解,这可以通过两种方式来实现,通过减少初始化成本,使随机破解对用户更加透明,特别是对于发起工作负载改变并因此招致更高成本的查询,或者通过经由决定为查询选择哪种算法的动态组件来组合各种随机破解算法的强度在飞行中。已经努力做出一种算法,该算法通过使用两种破解的主要概念来降低初始化成本,同时考虑自适应索引的要求[2]。
2013-05-08 cs.DB
Quantixar: High-performance Vector Data Management System
Quantixar是一个向量数据库项目,通过结合HNSW索引与二进制和乘积量化技术,实现高维数据的高效存储与相似性搜索,降低存储和计算成本。
2024-03-19 cs.DB
Curator: Efficient Indexing for Multi-Tenant Vector Databases
Duke University(杜克大学);Yale University(耶鲁大学);Emerald Innovations
本文提出 Curator,一种面向多租户向量数据库的内存索引,通过将租户特定聚类树编码为共享聚类树的子树,同时实现低内存开销和高查询、插入、删除性能。
2024-01-13 cs.DB cs.DC cs.IR
Rapid AkNN Query Processing for Fast Classification of Multidimensional Data in the Cloud
$k$ -最近邻($k$ NN)查询使用距离度量确定距特定位置的$k$最近点。全$k$最近邻($k$ NN)查询构成$k$ NN查询的变体,并且检索数据库内的每个点的$k$最近点。它们的主要用途在空间数据库中产生共鸣,它们构成了许多基于位置的应用程序的主干,不仅如此(即$k$ NN加入数据库,数据采掘中的分类)。因此,开发有效解决这些问题的方法至关重要。在这项工作中,我们提出了一种新的方法分类多维数据使用一个$k$ NN算法在MapReduce框架。我们的方法利用空间分解技术以并行和分布式的方式处理分类过程。据我们所知,我们是第一个在这个角度下研究多维对象的分类。通过广泛的实验评估,我们证明了我们的解决方案是有效的和可扩展的处理给定的查询。我们调查了许多不同的角度,可以影响总的计算成本,如不同的数据集分布,维数,增长的$k$值和粒度的空间分解,并证明我们的系统是有效的,鲁棒性和可扩展性。
2014-02-27 cs.DB
Exact Indexing for Massive Time Series Databases under Time Warping Distance
Chulalongkorn University(朱拉隆功大学)
在众多时间序列数据的距离度量中,动态时间规整(DTW)距离因其在序列比对中的灵活性而被公认为最准确、最合适的距离度量之一。然而,DTW距离计算是计算密集型的。特别是在非常大的时间序列数据库中,顺序扫描整个数据库肯定是不切实际的,即使是利用一些索引结构的随机访问,因为时间序列数据的高维性会导致极高的I/O成本。更具体地,顺序结构消耗高CPU但低I/O成本,而索引结构需要低CPU但高I/O成本。在这项工作中,因此,我们提出了一种新的索引顺序结构称为TWIST(索引顺序结构中的时间弯曲),受益于顺序存取和索引结构。当一个查询序列发出时,TWIST计算一组候选序列与查询序列之间的下界距离,然后预先识别数据访问顺序,从而减少了大量的顺序访问和随机访问。令人印象深刻的是,我们的索引顺序结构在查询过程中实现了几个数量级的显着加速。此外,我们的方法显示优于现有的竞争对手的方法在查询处理时间,页面访问的数量和存储要求,没有错误的解雇保证。
2009-06-13 cs.AI cs.DB cs.IR
Survey of Vector Database Management Systems
本文综述了向量数据库管理系统,指出向量数据管理的五大障碍,系统梳理了查询处理、存储索引及查询优化的新技术,并对比了原生与扩展型VDBMSs,指出了未来研究方向。
2023-10-21 cs.DB
Don't Stir the Pot! Authorized Vector Data Retrieval via Access-Aware Indexing
University of California, Irvine(加州大学尔湾分校)
提出基于访问感知格结构的Veda和EffVeda索引策略,通过分区、复制合并及查询计划,在存储预算下实现高召回率和高吞吐量的向量数据库访问控制。
2026-06-02 cs.DB
Indexing Join Inputs for Fast Queries and Maintenance
本文提出 merged index,结合传统索引与物化连接视图,支持全连接类型、非阻塞查询及高效维护,实验表明其兼具两者优势。
2025-02-15 cs.DB
Automated Training of Learned Database Components with Generative AI
RPTU Kaiserslautern-Landau(莱茵兰-普法尔茨应用技术大学凯撒斯劳滕-兰道)
本文提出利用生成AI合成训练数据以提升数据库组件的学习效果,通过生成真实查询分布和执行计划,改善数据库技术的适应性。
2025-12-23 cs.DB
Inverse Queries For Multidimensional Spaces
对于给定的查询对象$q$,传统的空间查询返回满足给定谓词的所有数据库对象,例如查询范围和$k$ -最近邻居。本文定义并研究了{ \em逆}空间查询,给定一个数据库对象子集$Q$和一个查询谓词,它返回所有的对象,这些对象如果用作带有谓词的查询对象,则在其结果中包含$Q$。我们首先展示了一个简单的解决方案,回答任何查询谓词的逆空间查询。然后,我们提出了一个过滤和细化框架,可以用来提高效率。我们将展示如何应用这个框架上的各种反向查询,使用适当的空间修剪策略。特别是,我们提出了解决方案,逆范围查询,逆$k$ -最近邻查询,逆天际线查询。我们的实验表明,我们的框架是显着更有效的比天真的方法。
2011-05-05 cs.DB
Towards Adaptive Storage Views in Virtual Memory
传统上,DBMS将其存储层与索引层分离。虽然存储层物理上实现了数据库并提供了对数据库的低级访问方法,但顶部的索引层可以更快地定位搜索到的条目。虽然这清楚地分离的关注,它也增加了一个层次的间接已经复杂的执行path.In这项工作中,我们提出了一种替代设计:而不是保守地分离两个层,我们自然融合它们集成自适应粗粒度索引方案直接到存储层。我们这样做是通过利用操作系统提供的虚拟内存管理子系统的工具:在最底层,我们将数据库内容具体化为物理主存的形式。最重要的是,我们允许创建任意多个虚拟内存存储视图,这些视图映射到具有某些感兴趣属性的数据库子集。这种创建完全自适应地作为查询处理的副产品发生。为了加快查询应答,我们将每个查询自动路由到最合适的虚拟视图。通过这种方式,我们自然地在其核心中索引存储层,并逐渐提高所提供的扫描性能。
2022-12-06 cs.DB cs.OS
Return of the Lernaean Hydra: Experimental Evaluation of Data Series Approximate Similarity Search
数据序列是存在于众多领域的一种特殊类型的多维数据,其中相似性搜索是数据序列文献中已广泛研究的关键操作。与此同时,多维社区研究了近似相似性搜索技术。我们提出了一个分类的相似性搜索技术,调和这两个领域中使用的术语,我们描述了修改数据系列索引技术,使他们能够回答近似相似性查询的质量保证,我们进行了彻底的实验评估,比较近似相似性搜索技术在一个统一的框架下,在内存和磁盘上的合成和真实的数据集。虽然数据系列不同于一般的多维向量(系列通常表现出相邻值之间的相关性),我们的研究结果表明,数据系列技术回答近似%相似性查询具有强有力的保证和优秀的经验性能,数据系列和向量一样。当在磁盘上操作时,这些技术优于最先进的向量近似技术,并且在内存中保持竞争力。
2020-06-20 cs.DB
Personnalisation de bases de données multidimensionnelles
本文论述了决策支持系统的多维数据建模。此外,我们打算提供一组个性化的多维数据库规范的概念和机制。这种个性化包括将权重与多维模式的不同组件相关联。个性化规范是通过使用基于事件条件操作原则的语言来指定的。这种个性化决定了多维数据显示及其分析(使用钻孔或旋转操作)。
2010-05-03 cs.DB
Indexing Temporal Relations for Range-Duration Queries
时态信息在许多数据库应用中起着至关重要的作用,然而对此类数据的查询支持是有限的。我们提出了一个索引结构,称为RD索引,以支持区间时间戳关系的范围持续时间查询,这限制了元组的时间轴上的位置和它们的持续时间的范围。RD-index是二维空间中的网格结构,分别表示时间戳在时间轴上的位置和持续时间。而不是使用一个规则的网格,我们考虑的数据分布的网格的建设,以确保每个网格单元包含近似相同数量的间隔。RD-index提供了所有操作运行时间的可证明边界,允许简单的实现,并支持非常可预测的查询性能。我们在各种数据集和查询工作负载上对我们的解决方案进行基准测试,调查查询速率和单个查询的行为。结果表明,RD-index在范围-持续时间查询上的性能优于基线,它是显式设计的。此外,它在包含仅约束持续时间或范围的查询的工作负载上也优于专门的索引。
2022-06-15 cs.DB
Cost-Effective, Low Latency Vector Search with Azure Cosmos DB
本研究将DiskANN深度集成到Azure Cosmos DB NoSQL中,在云原生运营数据库内构建高性价比低延迟向量搜索系统,性能与成本优势显著,为数据库向量索引融合提供参考。
2025-07-31 cs.DB cs.IR
An Algorithm for Mining Multidimensional Fuzzy Association Rules
多维关联规则挖掘是在关系数据库中寻找不同维度或属性的值之间的有趣关系。在该方法中,相关性是在维度集合之间,即,形成规则的项目来自不同的维度。因此,每个维度都应该在模糊集级别上进行划分。提出了一种利用模糊集生成多维关联规则的新算法。针对由模糊事务组成的数据库,利用Apriory属性对无用的候选项集进行剪枝。
2009-09-28 cs.DB cs.IR
RapidEarth: A Search-by-Classification Engine for Large-Scale Geospatial Imagery
本文提出 RapidEarth 搜索引擎,通过协同设计多维索引与决策分支,将模型推理转化为范围查询,实现秒级大规模卫星影像按分类检索。
2023-09-29 cs.DB
Multi-Dimensional Data Compression and Query Processing in Array Databases
近年来,多维数据在各个领域的生产及其在阵列数据库中的存储急剧增加;这种数据量的快速增长需要在阵列数据库中进行压缩。然而,阵列数据库中使用的现有压缩方案是通用的,而不是专门为数据库设计的。它们可能会降低复杂分析任务的查询性能,从而产生巨大的计算成本。因此,需要考虑阵列数据库工作流的压缩方案。本文提出了一种存储和查询多维数组数据的压缩方案SEACOW。该方案是专门设计的,是有效的基于维和基于值的探索。它考虑了探索查询的数据访问模式,并在压缩数组中嵌入了可用作索引的概要。此外,我们实现了一个阵列存储系统,即MSDB,进行实验。我们评估查询性能的真实科学数据集,并与现有的压缩方案。最后,我们的实验表明,SEACOW提供了较高的压缩率相比,现有的压缩方案,和概要提高分析查询处理性能。
2022-11-11 cs.DB
Hopping over Big Data: Accelerating Ad-hoc OLAP Queries with Grasshopper Algorithms
本文提出了一个快速子集过滤算法族内的整数表示的组合键的有序集。应用程序包括针对数据仓库的(ad-hoc)分析查询的显著加速,而无需任何额外的索引。该算法适用于多个属性的点、范围和集合限制,可以任意组合,并且本质上是多维的。其主要思想是将顺序爬行与跳过大部分不相关的键相结合。组合它们的方式是自适应的基础数据存储的特征。
2015-02-25 cs.DB
How to Optimize the Environmental Impact of Transformed NoSQL Schemas through a Multidimensional Cost Model?
本文提出一种自动化全局方法,通过首次融合时间、环境和财务约束的多维成本模型,对转换后的NoSQL数据模型进行逻辑层比较,从而为给定用例选择最优数据模型,并开发了相应的转换与成本计算仿真系统。
2023-11-28 cs.DB