Interactive graph query language for multidimensional data in Collaboration Spotting visual analytics framework
数据网可视化分析中的人类推理主要依赖于视觉感知的质量和从不同方面交互地探索数据的能力。网络的视觉质量取决于网络的规模和维度复杂度,而网络的探索能力则取决于用户前端的直观性和表现力。本文所采取的方法旨在解决上述问题,通过分解数据网成多个网络的较小的尺寸和建立一个交互式的图形查询语言,支持跨子网络的全面导航。在降维的子网络中,结构抽象和语义技术可以用来进一步增强视觉感知。
2017-12-12 cs.DB cs.HC
Building MultiView Analyst Profile From Multidimensional Query Logs: From Consensual to Conflicting Preferences
为了给分析者提供合适的结果,用户偏好摘要被广泛应用于多个领域。本文介绍了一种从OLAP查询日志中构造用户简档的新方法。其核心思想是通过从OLAP日志中提取证据来了解用户的偏好。事实上,分析师的偏好分为三个主要池:(i)一致或非冲突的偏好,指的是所有分析师的相同偏好;(ii)半冲突的偏好,对应于一些分析师的相似偏好;(iii)冲突的偏好,与所有分析师的不相交的偏好。为了建立通用的和全局的模型,准确地描述分析师,我们丰富了所获得的特性,通过包括几个视图,即个人视图,专业视图和行为视图。然后,对从多维数据库中提取的多视图轮廓进行标注。
2012-03-15 cs.DB cs.IR
Quantization Meets Projection: A Happy Marriage for Approximate k-Nearest Neighbor Search
HKUST (GZ) & HKUST(香港科技大学(广州)及香港科技大学);University of Leicester(莱斯特大学)
MRQ通过结合投影与量化,提升近似k近邻搜索效率,实现任意压缩比和更快搜索速度。
2026-02-03 cs.DB
Subspace Aggregation Query and Index Generation for Multidimensional Resource Space Model
Key Lab of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所智能信息处理重点实验室);Great Bay University and Great Bay Institute for Advanced Study(大湾区大学和大湾区先进研究院)
针对多维资源空间中的子空间聚合查询问题,提出一种基于偏序关系的图索引生成方法,以高效定位非空点并聚合资源,并通过策略降低索引生成成本。
2026-05-25 cs.AI cs.DB
LMSFC: A Novel Multidimensional Index based on Learned Monotonic Space Filling Curves
本文提出 LMSFC,一种基于学习单调空间填充曲线的新型多维索引,通过主动优化 SFC 适应数据分布,并提供离线与在线优化方案,在真实数据集上优于现有方法。
2023-09-09 cs.DB
Concept-oriented model: inference in hierarchical multidimensional space
尽管它的根本重要性,推理一直没有多维模型和分析应用程序的固有功能。这些模型主要针对数字(定量)分析,其中推理和语义的概念没有很好地定义。在本文中,我们认为,推理可以而且应该是多维数据模型和分析应用程序的组成部分。它演示了如何推理可以定义只使用多维的术语,如轴和坐标,而不是使用基于逻辑的方法。我们提出了一种新的方法,在多维空间的基础上,面向概念的数据模型的推理,并引入基本操作,然后用于定义约束传播和推理过程。我们描述了一种带有推理算子的查询语言,并证明了它在解决复杂分析任务中的有用性。
2014-09-11 cs.DB
Concept-Oriented Model and Query Language
我们描述了一种新的数据建模方法,称为面向概念的模型(COM),和一种新的面向概念的查询语言(COQL)。该模型基于三个原则:对偶原则假设任何元素都是由一个单位和一个实体组成的一对,包含原则假设任何元素都有一个超元素,序原则假设任何元素都有一些更大的元素在一个偏序集合中。面向概念的查询语言是基于一种新的数据建模结构,称为概念,概念之间的包含关系,概念偏序,其中更大的概念是由它们的字段类型表示。它演示了如何COM和COQL可以用来解决三个一般的数据建模任务:逻辑导航,多维分析和推理。逻辑导航基于投影和反投影两种操作。多维分析使用乘积运算从沿着所选维路径选择的层次概念产生立方体。推理被定义为一个两步的过程,其中输入约束首先使用解投影向下传播,然后使用投影向上传播受约束的结果。
2010-08-02 cs.DB
Modeling and Querying Data Cubes on the Semantic Web
Web正在改变数据仓库的设计、使用和查询方式。随着开放数据和开放政府等倡议的出现,组织希望共享其多维数据立方体,并使其可供在线查询。RDF数据立方体词汇表(QB)是W3C在RDF中发布统计数据的标准,它在完全支持多维模型方面存在一些限制。QB4OLAP词汇表扩展了QB以克服这些限制,允许使用标准SPARQL查询实现典型的OLAP操作,如汇总、切片、切割和钻取。在本文中,我们介绍了一个正式的数据模型的主要对象是数据立方体,并定义OLAP操作使用这个模型,独立于底层表示的立方体。然后,我们表明,使用我们的模型表示的立方体可以表示使用QB4OLAP词汇表,最后,我们提供了一个SPARQL实现的OLAP操作的数据立方体在QB4OLAP。
2015-12-18 cs.DB
Ontological Multidimensional Data Models and Contextual Data Qality
Carleton University(卡尔顿大学);McMaster University(麦克马斯特大学)
数据质量评估和数据清理是依赖于上下文的活动。基于这一观察,我们提出了本体多维数据模型(OMD模型),它可以用来建模和表示上下文作为基于逻辑的本体。被评估的数据被映射到上下文中,以进行额外的分析,处理和质量数据提取。由此产生的上下文允许维度的表示,多维数据质量评估成为可能。在多维上下文的核心,我们包括一个广义的多维数据模型和一个Datatron +/-本体,具有可证明的良好属性的查询回答。这些主要组件用于表示维度层次结构、维度约束、维度规则,并定义质量数据规范的谓词。查询应答依赖于维度层次结构并触发维度层次结构中的导航,成为提取质量数据的基本工具。OMD模型本身很有趣,不仅仅是数据质量的应用。它允许多维数据的基于逻辑的、计算上易于处理的表示,用额外的表达能力和功能扩展了以前的多维数据模型。
2017-08-13 cs.AI cs.DB
DGFIndex for Smart Grid: Enhancing Hive with a Cost-Effective Multidimensional Range Index
在智能电网应用中,随着部署的电力智能电表数量的增加,每天都会产生和收集大量有价值的电表数据。为了实现可靠的数据汇集并快速做出业务决策,对海量电表数据进行高吞吐量存储和高性能分析对电网公司至关重要。考虑到Hadoop和Hive系统的高效率、容错和性价比的优势,它们经常被部署为大数据处理的底层平台。然而,在实际的业务用例中,这些数据分析应用程序通常涉及多维范围查询(MDRQ)以及对仪表数据的批量读取和统计。虽然Hive在复杂的数据批量读取和分析方面具有高性能,但它缺乏有效的MDRQ索引技术。在本文中,我们提出了DGFIndex,一个索引结构的蜂巢,有效地支持MDRQ的海量仪表数据。DGFIndex使用网格文件技术将数据空间划分为立方体。与Hive中存储多个维度的所有组合的现有索引不同,DGFIndex只存储立方体的信息。这导致更小的索引大小和更快的查询处理。此外,通过预先计算每个立方体的用户定义聚合,DGFIndex只需要访问边界区域进行聚合查询。综合实验表明,与Hive中已有的索引相比,DGFIndex可以节省大量的磁盘空间;在聚合查询时,DGFIndex的查询速度是Hive和Hadoop中已有索引的2-50倍,在非聚合查询时,DGFIndex的查询速度是Hive和Hadoop中已有索引的2-5倍,在不同的查询选择度下,DGFIndex的查询速度是扫描整个表的2-75倍。
2014-07-09 cs.DB cs.DC
Multi-Dimensional Data Compression and Query Processing in Array Databases
近年来,多维数据在各个领域的生产及其在阵列数据库中的存储急剧增加;这种数据量的快速增长需要在阵列数据库中进行压缩。然而,阵列数据库中使用的现有压缩方案是通用的,而不是专门为数据库设计的。它们可能会降低复杂分析任务的查询性能,从而产生巨大的计算成本。因此,需要考虑阵列数据库工作流的压缩方案。本文提出了一种存储和查询多维数组数据的压缩方案SEACOW。该方案是专门设计的,是有效的基于维和基于值的探索。它考虑了探索查询的数据访问模式,并在压缩数组中嵌入了可用作索引的概要。此外,我们实现了一个阵列存储系统,即MSDB,进行实验。我们评估查询性能的真实科学数据集,并与现有的压缩方案。最后,我们的实验表明,SEACOW提供了较高的压缩率相比,现有的压缩方案,和概要提高分析查询处理性能。
2022-11-11 cs.DB
Efficient Analytical Queries on Semantic Web Data Cubes
由于诸如开放数据和开放政府数据等倡议,在语义网(SW)上发布的多维数据量不断增加。因此,需要能够有效获取有价值信息的模型、语言和工具。多维数据通常表示为数据立方体,并使用联机分析处理(OLAP)技术进行开发。RDF数据立方体词汇表,也表示QB,是当前W3C标准,以表示统计数据的SW。由于QB不包括OLAP分析所需的关键功能,在以前的工作中,我们提出了一个扩展,表示QB4OLAP,以克服这个问题,而不需要修改已经发布的数据。一旦数据立方体在软件上表示,我们就需要工具来分析它们。然而,在SW多维数据集上编写高效的分析查询需要深入了解RDF和SPARQL。这些技能在典型的分析用户中并不常见。此外,像MDX这样的OLAP语言远不能被最终用户容易地理解。缺乏友好的工具来利用软件上的多维数据是一个需要打破的障碍,以促进此类数据的发布。我们在本文中解决这个问题。我们的方法是基于允许分析用户编写查询使用多维数据集的OLAP操作,而不处理SW标准。为此,我们设计了CQL(Cube查询语言的缩写),这是一种对多维数据集进行操作的简单、高级查询语言。使用QB4OLAP提供的元数据,我们将CQL查询转换为SPARQL。然后,我们提出了查询改进策略,以产生有效的SPARQL查询,适应SPARQL查询优化技术。我们评估我们的方法使用星模式基准,表明我们的建议优于其他人。一个允许使用CQL查询SW数据立方体的W…
2017-03-21 cs.DB
Extending Contexts with Ontologies for Multidimensional Data Quality Assessment
数据质量和数据清理是依赖于上下文的活动。从这个观察,在以前的工作中提出了一个上下文模型的数据库实例的质量评估。在该框架中,上下文采取可能的虚拟数据库或数据集成系统的形式,在质量评估下的数据库实例被映射到该虚拟数据库或数据集成系统中,以进行附加的分析和处理,从而实现质量评估。在这项工作中,我们扩展的情况下,尺寸,这样做,我们有可能对数据质量评估的多维评估。多维上下文被表示为用Datatron +-编写的本体。我们使用这种语言来表示维度约束和维度规则,并进行基于维度导航的查询回答,这成为数据评估中的一个重要辅助活动。我们通过例子展示了想法和机制。
2014-01-20 cs.DB
Multidimensional Enrichment of Spatial RDF Data for SOLAP -- Full Version
大量的空间数据和多维数据被发布在语义网上,这为高级分析带来了新的机会,如空间在线分析处理(SONOPS)。RDF Data Cube(QB)和QB 4 OLAP词汇表已广泛用于标注和发布统计和多维RDF数据。虽然这样的统计数据集可能有空间信息,如坐标,缺乏空间语义和空间多维概念,在QB 4 OLAP和QB阻止用户使用空间数据上使用SPARQL的SONORTH查询。另一方面,QB 4SONIC词汇表完全支持在语义Web上注释空间和多维数据,并使用户能够使用SPARQL中的SONIC操作符查询端点。为了弥合QB/QB 4 OLAP和QB 4SONOW之间的差距,我们提出了一个RDF 2SONOW丰富模型,自动标注空间多维概念与QB 4SONOW,并在这样做,使SONOW现有的QB和QB 4 OLAP数据上的语义Web。此外,我们提出并评估了广泛的丰富算法,并将其应用于涉及具有复杂几何类型的政府开放数据的非平凡现实用例。
2020-02-16 cs.DB
Analyse multigraduelle OLAP
决策系统是基于多维数据库,提高联机分析处理分析。本文介绍了一种新的OLAP操作名为“BLEND”进行多阶段分析。该操作在查询过程中转换多维结构,以便根据各种粒度级别分析度量,这些粒度级别被重新组织为单个参数。我们研究了严格层次结构的上下文中的操作的有效组合。第一个实验在R-OLAP框架中实现了该操作,显示了该操作的轻微成本。
2010-05-03 cs.DB
The Conceptual Integration Modeling Framework: Abstracting from the Multidimensional Model
数据仓库绝大多数是通过自底向上的过程构建的,该过程从源的标识开始,继续从这些源提取和转换数据,然后根据期望的多维关系模式将数据加载到一组数据集市中。最终用户商业智能工具被添加到具体化的多维模式之上,以推动组织中的决策制定。不幸的是,这种自下而上的方法在所需的熟练用户和仓库的庞大规模方面都是昂贵的。本文提出了一个自顶向下的框架,其中数据仓库是由一个概念模型驱动。该框架提供了设计时和运行时间环境。在设计时,业务用户首先使用概念建模语言作为多维对象模型来指定所需的业务信息;然后将概念模型映射到预先存在的逻辑多维表示。在运行时间,系统将把用户概念模型与映射一起变换成逻辑多维表示上的视图。我们专注于用户如何从现有的数据仓库中抽象概念,以及如何将这个概念模型映射到逻辑多维表示。我们还给出了一个指示,什么查询语言是使用的概念模型。最后,我们认为,我们的框架是一个步骤,沿着允许自动生成的数据仓库。
2010-09-01 cs.DB
Estimating Range Queries using Aggregate Data with Integrity Constraints: a Probabilistic Approach
只有在这种数据上的聚合信息的基础上恢复(计数和求和)多维数据范围查询的问题得到解决。这个问题可以形式化如下。假设使用从多维数据集产生汇总的变换T。现在,给定数据集D、摘要S=T(D)和D上的范围查询r,问题包括通过将r建模为在所有数据集D'的样本空间上定义的随机变量来研究r,使得T(D)= S。通过定义随机变量的概率分布并计算其均值和方差,对这种随机变量进行研究,代表了一种有理有据的理论概率方法,该方法仅基于可用信息(即汇总S)来估计查询,而无需对原始数据进行假设。
2005-01-14 cs.DB
Em-K Indexing for Approximate Query Matching in Large-scale ER
在许多需要集成和处理大量数据汇集的数据采掘和分析项目中,准确和有效的实体解析(ER)是一个重大挑战。在现实世界的应用中,开发对大型数据库上的实体查询产生快速响应的ER解决方案变得越来越重要。这些应用中的一些需要在短时间内与大规模参考数据库进行实体查询匹配。在这项工作中,我们将其定义为ER中的查询匹配问题。索引或分块技术减少了ER过程中的搜索空间和执行时间。然而,扩展到非常大规模数据集的近似索引技术仍然有待研究。在本文中,我们研究的查询匹配问题,在ER提出一个索引方法,适合近似和高效的查询匹配。我们首先使用空间映射嵌入记录在多维欧氏空间,保持特定领域的相似性。在各种映射技术中,我们选择多维缩放。然后使用Kd树和最近邻搜索,该方法返回一个记录块,其中包括查询的潜在匹配。我们的方法可以处理查询对一个大规模的数据集使用的数据$L$的一小部分(给定的数据集大小是$N$),与$O(L^2)$复杂性,其中$L \ll N$。在多个数据集上进行的实验表明了该方法的有效性。
2021-11-07 cs.DB cs.IR
Algèbre OLAP et langage graphique
本文研究了基于多维模型的联机分析处理系统。我们提供的概念模型,表示数据通过星座(多事实)组成的几个多层次的维度。在此模型中,数据通过多维表显示。我们定义了一个处理这些表的查询代数。这种面向用户的代数是由一个封闭的核心OLAP运算符尽快高级运算符专用于复杂的分析。最后,我们指定了一个图形化的OLAP语言的基础上,这个代数。这种语言便于决策者进行分析。
2010-05-03 cs.DB
Caching in Multidimensional Databases
多维数据库的一个应用是联机分析处理(OLAP)领域。这一领域的应用程序旨在快速分析共享的多维信息[9]。一方面,速度可以通过专门设计的数据结构和算法来实现。另一方面,分析过程是循环的。换句话说,OLAP应用程序的用户一个接一个地运行他或她的查询。最后一个查询的输出可能(至少部分地)存在于先前的结果之一中。因此,缓存在这些系统的操作中也起着重要的作用。然而,缓存本身可能不足以确保可接受的性能。大小确实很重要:可用的内存越多,我们通过加载和保存信息获得的信息就越多。通常,高速缓存大小是固定的。这也限制了多维数据库的性能,除非我们压缩数据以便将更大比例的数据移动到内存中。缓存与适当的压缩方法相结合,保证了进一步的性能改进。在本文中,我们研究如何缓存影响OLAP系统的速度。不同的物理表示(多维和表)进行评估。为了进行全面的比较,提出了模型。基于这些模型得出结论,并用实证数据验证了结论。
2011-05-02 cs.DB
Query Performance Optimization in XML Data Warehouses
XML数据仓库为利用复杂数据的决策支持应用程序提供了一个有趣的基础。然而,目前原生XML数据库管理系统(DBMS)的性能有限,有必要研究如何优化它们。在本章中,我们将介绍两种这样的技术。首先,我们提出了一个连接索引,是专门适应XML仓库的多维体系结构。它消除了连接操作,同时保留了原始仓库中包含的信息。其次,我们提出了一个策略,选择XML物化视图聚类的查询工作量。为了验证这些建议,我们测量的响应时间的一组决策支持XML数据仓库,使用和不使用我们的优化技术。我们的实验结果证明了它们的效率,即使当查询是复杂的,数据是大量的。
2017-01-27 cs.DB
A New Framework to Adopt Multidimensional Databases for Organizational Information System Strategies
随着信息变得越来越大,组织维护数据的挑战仍然存在。更重要的是,分析输入数据的持续过程是持续进行的,组织应采用现有程序,这些程序在试图访问特定信息进行分析时可能不够充分或效率低下。在技术进步的后期,组织可以为客户提供广泛的数据资源,从而实现个人目标并保持竞争力;然而,以满足每个客户需求的格式提供数据仍然是一个挑战。对于某些人来说,数据模型的复杂性可能难以利用。此外,企业应确保了解特定消费群体的购买力,以保持竞争力并简化数据分析操作。本文旨在研究多维模型在商业环境中的使用,以及它如何为客户和管理人员提供生成查询,从而为有效分析提供准确和相关的数据。它还提供了一个新的框架,可以帮助使用大型数据库系统的各种类型的组织从关系数据库创建自己的多维模型,并在多维视图中呈现数据。它还定义了要求。尽管有现成的工具,但使用这些概念的复杂性使客户望而却步,因为他们可能会担心出于分析目的探索这些选项。这可以通过进行查询来完成。
2021-05-17 cs.DB
Towards a query language for annotation graphs
语音数据库的多维性、异构性和时态性为语音数据的表示和查询提出了有趣的挑战。最近,注释图已被提出作为语音数据库的通用表示框架。注释图上的典型查询需要与半结构化查询语言中使用的路径表达式类似的路径表达式。然而,底层模型与半结构化数据的常规图模型有很大不同:图是无环的和无根的,时间和包含关系都很重要。我们开发了一个查询语言,并描述了底层关系表示的优化技术。
2000-07-13 cs.CL cs.DB
Querying Databases of Annotated Speech
注释语音语料库是由信号数据以及时间对齐的符号“转录”组成的数据库。这种数据库通常是多维的、异构的和动态的。这些属性为表示和查询提出了许多严峻的挑战。数据的时间性质增加了额外的复杂性。本文介绍和协调两个独立的努力,模型注释语音数据库,一个在麦考瑞大学,一个在宾夕法尼亚大学。描述了各种查询语言,以及对各种分析问题的说明性应用。这里报告的研究构成了几个正在进行的项目的一部分,开发独立于平台的开源工具,用于创建,浏览,搜索,查询和转换语言数据库,并在互联网上传播大型语言数据库。
2002-04-11 cs.CL cs.DB
A Novel Query-Based Approach for Addressing Summarizability Issues in XOLAP
在许多应用领域中使用的商业智能和决策支持系统偶然地依赖于数据仓库,数据仓库是建模为多维(MD)结构的面向决策的数据存储库。MD结构有助于通过详细的层次级别导航数据。在许多现实世界的情况下,MD模型中的层次结构是复杂的,这会导致数据聚合问题,统称为可概括性问题。这个问题会导致不正确的分析,并严重影响决策。为了加强可概括性,现有的方法改变MD模型或数据,并且必须由专家在个案基础上先验地应用。为了既不改变模型也不改变数据,最近已经提出了一些查询时间方法,但它们只能检测摘要性问题,而不能解决它们。因此,我们在本文中提出了一种新的方法,自动检测和处理汇总问题,在查询时,不需要任何特定的专业知识,从用户。此外,虽然大多数现有的方法是基于关系模型,我们的方法集中在XML MD模型,因为XML数据通常用于表示业务数据和它的格式更好地处理复杂的层次结构比关系模型。最后,我们的实验表明,我们的方法可能比一个参考方法更好地解决在MD上下文中的概括性问题。
2013-08-30 cs.DB
Compressing (Multidimensional) Learned Bloom Filters
TU Kaiserslautern(凯泽斯劳滕工业大学)
布隆过滤器是广泛使用的数据结构,其压缩表示元素集合。查询布隆过滤器可以显示元素是否不包括在基础集合中,或者是否以特定的出错率包括在基础集合中。这种成员资格测试可以建模为二进制分类问题,并通过深度学习模型解决,从而产生所谓的学习布隆过滤器。我们已经确定,只有在考虑大量数据时,学习的布隆过滤器的好处才是显而易见的,即使这样,也有可能进一步减少其内存消耗。出于这个原因,我们引入了一种无损输入压缩技术,该技术可以提高学习模型的内存消耗,同时保持相当的模型精度。我们评估我们的方法,并显示显着的内存消耗的改进,学习布隆过滤器。
2022-08-05 cs.DB cs.LG
A Formal Algebra for OLAP
联机分析处理(OLAP)包括允许查询多维数据库的工具和算法。它基于多维模型,其中数据可以被视为立方体,其中每个单元格包含一个或多个可以沿着维度聚合的度量。尽管在这个领域有大量的工作,但仍然需要一种标准的OLAP语言,因为对于许多通常的OLAP操作来说,没有定义良好的、公认的语义。在本文中,我们解决这个问题,并提出了一套操作的数据立方体。我们清楚地定义了这些操作的语义,并证明它们可以组成,产生一个强大的语言,足以表达复杂的OLAP查询。我们将这些操作表示为一个固定多维矩阵上的原子变换序列,该矩阵的单元格包含一个测量序列。每一个原子变换都产生一个新的测度。当一系列转换定义OLAP操作时,将生成一个标志,指示哪些单元格必须被视为下一个操作的输入。这样,一个优雅的代数被定义。我们的主要贡献,在该领域的其他类似的努力是,第一次,正式证明的操作的正确性,从而为他们提供了一个明确的语义。我们相信,目前的工作将作为一个基础,建立更坚实的实用工具,数据分析。
2016-09-16 cs.DB
Building Confidential and Efficient Query Services in the Cloud with RASP Data Perturbation
随着公共云计算基础设施的广泛部署,利用云承载数据查询服务因其可扩展性和成本节约等优势而成为一种极具吸引力的解决方案。然而,一些数据可能是敏感的,数据所有者不想移动到云,除非数据机密性和查询隐私得到保证。另一方面,安全查询服务仍应提供高效的查询处理,并显著减少内部工作量,以充分实现云计算的优势。我们提出了RASP数据扰动方法,为云中受保护的数据提供安全高效的范围查询和kNN查询服务。RASP数据扰动方法结合了保序加密、维数扩展、随机噪声注入和随机投影,对扰动数据和查询的攻击提供了强大的弹性。它还保留了多维范围,这允许应用现有的索引技术来加速范围查询处理。kNN-R算法被设计为与RASP范围查询算法一起处理kNN查询。我们在精确定义的威胁模型和现实的安全假设下仔细分析了对数据和查询的攻击。大量的实验表明,这种方法在效率和安全性方面具有优势。
2013-01-09 cs.CR cs.DB
PDET-LSH: Scalable In-Memory Indexing for High-Dimensional Approximate Nearest Neighbor Search with Quality Guarantees
Oceanbase, Ant Group(蚂蚁集团);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);LIPADE, Université Paris Cité(巴黎西岱大学)
本文提出PDET-LSH,通过动态编码树提升索引效率并支持高效范围查询,实验显示其在索引和查询速度上优于现有方法,尤其在大规模数据集上表现突出。
2026-03-26 cs.DB
GRBench: A Comprehensive Benchmark Evaluation for Graph-relational Data Management
School of Computer Science, Wuhan University(武汉大学计算机学院);Big Data Institute, Wuhan University(武汉大学大数据研究院)
GRBench是面向图关系数据管理的综合基准,基于真实数据集构建,可评估系统架构并分析设计权衡,为相关系统优化提供指导。
2026-09-01 cs.DB
VTRQ: Enabling Verifiable Trajectory Range Queries in Hybrid-Storage Blockchains
Aalborg University(奥尔堡大学);Northeastern University(东北大学);University of Navarra(纳瓦拉大学);AT&T Chief Data Office(美国电话电报公司首席数据办公室)
VTRQ是首个混合存储区块链中可验证轨迹范围查询框架,含两种ADS及时空边聚合机制,解决现有混合存储区块链轨迹数据可验证查询支持不足的问题,提升了查询与验证效率。
2026-08-24 cs.DB
Online Analytical Processsing on Graph Data
联机分析处理(OLAP)包括允许查询多维数据库的工具和算法。它基于多维模型,其中数据可以被视为一个立方体,每个单元格包含一个或多个可以沿着维度聚合的度量。在大数据场景中,传统的数据仓库和OLAP操作显然不足以满足当前的数据分析需求,例如社会网络分析。此外,OLAP操作和模型可以扩展图分析的可能性,超越传统的基于图的计算。然而,对图数据模型进行OLAP分析的工作还不多。本文提出了一种形式化的多维图分析模型,它考虑了基本的图数据,也考虑了维层次结构形式的背景信息。该模型中的图是节点和边标记的有向多超图,称为graphoid,可以使用与它们相关联的维度在几个不同的粒度级别上定义。类似于典型的多维数据集上的OLAP中使用的操作是在graphoid上定义的。本文给出了用于联机分析处理(OLAP)的图面模型的形式化定义,证明了典型的多维数据集上的OLAP操作可以用图面模型表示,并指出经典的数据立方体模型是图面数据模型的一个特例。最后,一个案例研究支持这样的说法,即对于许多种OLAP类的分析图,graphoid模型比典型的关系型OLAP替代方案更好地工作,对于经典的OLAP查询,它仍然具有竞争力。
2019-09-03 cs.DB
Private Approximate Query over Horizontal Data Federation
针对水平联邦多维数据的范围查询,本文结合AQP与DP,提出数据分布感知的在线采样方法,在保证精度与形式化隐私的同时实现最高8倍加速。
2024-06-17 cs.CR cs.DB
Cube Interestingness: Novelty, Relevance, Peculiarity and Surprise
本文提出在数据立方体环境中,将查询趣味性定义为多维得分向量,并给出语法与扩展度量及算法,通过用户研究验证各维度重要性。
2023-07-26 cs.DB
COAX: Correlation-Aware Indexing on Multidimensional Data with Soft Functional Dependencies
Imperial College London(帝国理工学院);Johns Hopkins University(约翰斯·霍普金斯大学)
最近的工作提出了学习索引结构,它学习底层数据集的分布以提高性能。学习索引的初步工作表明,通过学习数据的累积分布函数,B树等索引结构可以将其性能提高一个数量级,同时具有更小的内存占用。在本文中,我们提出了COAX,这是一种多维数据的学习索引,它不是学习键的分布,而是学习数据集属性之间的相关性。我们的方法是由观察驱动的,在许多数据集中,两个(或多个)属性的值是相关的。COAX利用这些相关性来降低数据集的维度。更准确地说,我们学习了如何从剩余的属性中推断出一个(或多个)属性$C_d$,因此不再需要索引属性$C_d$。这降低了维度,因此使索引更小,更有效。我们从理论上研究所提出的技术的有效性的基础上的FD属性的可预测性。我们进一步通过实验表明,通过预测数据中的相关属性,我们可以提高查询执行时间,减少索引的内存开销。在我们的实验中,我们将执行时间减少了25%,同时将索引的内存占用减少了四个数量级。
2021-02-02 cs.DB cs.DC cs.LG
Multi-Dimensional Event Data in Graph Databases
流程事件数据通常存储在顺序流程事件日志或关系数据库中。虽然事件日志的顺序、单维性质有助于基于诸如"直接/最终跟随"的时间关系来查询事件的(子)序列,但是它不支持查询多个相关实体的多维事件数据。关系数据库允许存储多维事件数据,但是现有的查询语言不支持根据时间关系查询事件的序列或路径。在本文中,我们提出了一个通用的数据模型,多维事件数据的基础上标记的属性图,允许存储结构和时间关系在一个单一的,集成的基于图的数据结构在一个系统的方式。我们为数据模型的所有概念提供了语义,并为同步和异步交互的多个实体上的事件数据建模提供了通用查询。查询允许有效地将大型现实生活中的事件数据集转换为我们的数据模型,我们提供了5个转换后的数据集供进一步研究。我们表明,典型的和先进的查询检索和聚合这样的多维事件数据可以制定和执行有效地在现有的查询语言Cypher,引起了一些新的研究问题。具体来说,我们的数据模型上的聚合查询可以使用现成的技术在多个相互关联的实体上进行流程挖掘。
2021-04-03 cs.DB cs.SI
Similarity-Based Queries for Time Series Data
我们研究了一组线性变换的傅立叶级数表示的序列,可用作时间序列数据的相似性查询的基础。我们表明,我们的一组变换是丰富的,足以制定操作,如移动平均和时间扭曲。我们提出了一个查询处理算法,使用底层的R-树索引的多维数据集,有效地回答相似性查询。实验表明,该算法的性能与使用索引处理普通(精确匹配)查询的性能相当,并且比顺序扫描快得多。我们将我们的转换Jagadish等人的相似性查询的一般框架。
1998-09-18 cs.DB
Eclipse: Practicability Beyond kNN and Skyline
$k$最近邻($k$ NN)查询是数据库中的基本问题。给定一组多维数据点和一个查询点,$k$ NN基于评分函数(例如给定属性权重向量的加权和)返回$k$最近邻。然而,属性权重向量在实践中可能难以指定。Skyline返回的点包括所有可能的最近邻居,而不需要精确的属性权重向量或评分函数,但返回的点的数量对于实际使用来说可能非常大。在本文中,我们提出了一种新的\emph{eclipse}定义,它提供了一个更灵活和可定制的定义比经典的$1$神经网络和天际线。在Eclipse中,用户可以指定属性权重的范围,并控制返回点的数量。我们证明了$1$ NN和skyline都是eclipse的实例。为了计算日蚀点,提出了一种时间复杂度为$O(n^22^{d-1})$的基线算法,并通过将日蚀问题转化为天际线问题,提出了一种改进的基于$O(n\log ^{d-1}n)$时间变换的日蚀点计算算法,其中$n$为点的个数,$d$为维数.此外,我们提出了一种新的基于索引的算法,利用对偶变换,具有更好的效率。在真实NBA数据集和合成数据集上的实验结果表明了我们的eclipse算法的有效性和效率。
2018-10-16 cs.DB
Data warehouse on Manpower Employment for Decision Support System
自从在商业世界中使用计算机以来,由于数据中的可用知识,数据汇集已成为最重要的问题之一;这些数据已存储在数据库中。数据库系统的发展导致了层次和关系数据库的演变,随后是标准查询语言(SQL)。随着数据大小的增加,对更多控制和信息检索的需求也会增加。这些增长导致了数据采掘系统和数据仓库的发展。本文重点讨论了使用数据仓库作为决策支持工具。本文以人力资源管理为例,研究了数据仓库技术在时间和灵活性方面的有效性。最后,对传统关系数据库和数据仓库的使用进行了比较。数据仓库的基本作用是为决策过程提供数据支持。数据仓库环境中的数据是多维数据存储。我们可以简单地说,数据仓库是一个过程,而不是一个产品,用于组装和管理来自各种来源的数据,以获得部分或全部机构的单个详细视图。数据仓库的概念已经改变了决策支持系统的性质,通过增加新的好处来改进和扩展数据的范围、准确性和可访问性。
2019-04-01 cs.DB
Fast Search-By-Classification for Large-Scale Databases Using Index-Aware Decision Trees and Random Forests
提出一种基于索引感知决策树和随机森林的按分类搜索框架,通过将模型推理转化为范围查询并利用多维索引,实现无需全库扫描即可秒级响应大规模数据库中的交互式目标搜索。
2023-07-31 cs.DB
Dimensionality Reduced Clustered Data and Order Partition and Stepwise Dimensionality Increasing Indices
本文回顾了针对高维卫星图像相似性搜索的索引构建研究,通过数据聚类、SVD降维及Ordered Partition和SDI索引技术,显著降低了k-NN查询处理成本并提升了效率。
2024-01-05 cs.DB cs.DL cs.DS