Extending Contexts with Ontologies for Multidimensional Data Quality Assessment
数据质量和数据清理是依赖于上下文的活动。从这个观察,在以前的工作中提出了一个上下文模型的数据库实例的质量评估。在该框架中,上下文采取可能的虚拟数据库或数据集成系统的形式,在质量评估下的数据库实例被映射到该虚拟数据库或数据集成系统中,以进行附加的分析和处理,从而实现质量评估。在这项工作中,我们扩展的情况下,尺寸,这样做,我们有可能对数据质量评估的多维评估。多维上下文被表示为用Datatron +-编写的本体。我们使用这种语言来表示维度约束和维度规则,并进行基于维度导航的查询回答,这成为数据评估中的一个重要辅助活动。我们通过例子展示了想法和机制。
2014-01-20 cs.DB
Heuristic Algorithm for Interpretation of Non-Atomic Categorical Attributes in Similarity-based Fuzzy Databases - Scalability Evaluation
在这项工作中,我们正在分析的启发式算法,我们在过去发现知识的模糊数据库中的多值符号属性的可扩展性。非原子描述符表征数据库记录的单个属性,通常用于模糊数据库中以反映所记录的观测的不确定性。在本文中,我们提出了实现细节和可扩展性测试的算法,我们开发的,以精确地解释这种非原子值和转让(即解模糊化)的模糊元组的形式接受许多定期(即原子值为基础)数据采掘算法。我们的方法的重要优点是:(1)它的线性可扩展性,(2)其独特的能力,将背景知识,隐含地存储在模糊数据库模型中的模糊相似性层次结构的形式,到解释/解模糊化过程。
2011-03-29 cs.DB
XML Multidimensional Modelling and Querying
随着XML变得无处不在,XML存储和处理变得更加高效,这些技术的用例范围每天都在扩大。一个很有前途的领域是XML和数据仓库的集成,其中原生XML数据库存储多维数据并处理用XQuery询问语言编写的OLAP查询。本文探讨了在实现这样一个数据仓库的问题。我们首先比较了XML中的多维数据建模方法,然后描述了这些模型上的典型OLAP查询如何在XQuery中表达。然后,我们将展示,无论模型如何,XQuery1.1的分组特性如何提高这些查询的性能和可读性。最后,我们使用eXist数据库,我们扩展了一个分组子句的实现,在每个建模选择的查询评估的性能进行评估。
2009-12-06 cs.DB
SAVIME: A Multidimensional System for the Analysis and Visualization of Simulation Data
科学应用产生了大量的数据,这给管理和分析带来了严峻的挑战。特别是,在当前的数据库管理系统的限制,防止他们在模拟应用程序中,在原位分析库,在运输中的I/O接口和科学格式的文件是首选的DBMS。为了使仿真应用程序受益于DBMS的支持,作者在他的博士论文的背景下,提出了一个名为SAVIME的系统的开发。SAVIME是一个数组数据库系统,用于管理数值模拟数据。在本文件中,作者介绍了迄今为止所做的所有工作和目前的发展状况。
2019-03-15 cs.DB
Multidimensional or Relational? / How to Organize an On-line Analytical Processing Database
在过去的几年中,OLAP应用的数量迅速增加。这些应用程序使用两种截然不同的数据库结构:多维(MD)和基于表的。可以看出,传统的关系数据库模型无法区分这两种结构。另一个模型是必要的,使差异可见。其中之一就是系统的速度。可以证明,多维数据库组织导致更短的响应时间。这是至关重要的,因为如果经理不得不等待下一个屏幕超过20秒,他或她可能会变得不耐烦。另一方面,我们必须为更大的数据库大小的速度付出代价。为什么MD数据库的规模增长如此之快?原因是数据的稀疏性:MD矩阵包含许多空单元。稀疏矩阵的有效处理在OLAP应用中是必不可少的。处理稀疏性的一种方法是使结构更接近基于表的结构。因此,数据库大小减小,而应用程序变慢。因此,需要其他方法。本文对这两种数据库结构进行了比较,并指出了它们的使用局限性。本文的新结果是:(1)构造性地证明了所有关系都可用MD阵列表示。(2)它还显示了MD数组表示何时比基于表的表示更快。(3)MD表示在某些条件下导致较小的DB大小。本文证明了一个这样的充分条件。(4)单计数头压缩方案的一个变化描述了一个算法,它从有序表创建压缩数组,而不具体化未压缩数组。(5)并通过实验对两种不同数据库组织的速度进行了测试。测试是在基准测试和真实数据上进行的。实验结果支持了理论结果。
2011-04-19 cs.DB
Rapid AkNN Query Processing for Fast Classification of Multidimensional Data in the Cloud
$k$ -最近邻($k$ NN)查询使用距离度量确定距特定位置的$k$最近点。全$k$最近邻($k$ NN)查询构成$k$ NN查询的变体,并且检索数据库内的每个点的$k$最近点。它们的主要用途在空间数据库中产生共鸣,它们构成了许多基于位置的应用程序的主干,不仅如此(即$k$ NN加入数据库,数据采掘中的分类)。因此,开发有效解决这些问题的方法至关重要。在这项工作中,我们提出了一种新的方法分类多维数据使用一个$k$ NN算法在MapReduce框架。我们的方法利用空间分解技术以并行和分布式的方式处理分类过程。据我们所知,我们是第一个在这个角度下研究多维对象的分类。通过广泛的实验评估,我们证明了我们的解决方案是有效的和可扩展的处理给定的查询。我们调查了许多不同的角度,可以影响总的计算成本,如不同的数据集分布,维数,增长的$k$值和粒度的空间分解,并证明我们的系统是有效的,鲁棒性和可扩展性。
2014-02-27 cs.DB
Hihooi: A Database Replication Middleware for Scaling Transactional Databases Consistently
随着互联网和互联网连接设备的出现,现代业务应用程序可能会经历快速增长以及事务工作负载的变化。数据库复制已被用于扩展性能并提高关系数据库的可用性,但过去的方法受到各种问题的困扰,包括有限的可扩展性、性能与一致性的权衡以及对数据库或应用程序修改的要求。本文介绍了Hihooi,一个基于复制的中间件系统,能够实现工作负载的可扩展性,强一致性保证,并以较低的成本为现有的事务数据库的弹性。一种新颖的复制算法使Hihooi能够高速异步地将数据库修改传播到所有副本,同时确保所有副本是一致的。同时,使用细粒度路由算法以一致的方式将传入事务负载均衡到可用副本。我们通过几个成熟的基准测试进行了全面的实验评估,展示了Hihooi如何能够为事务数据库实现几乎线性的工作负载可扩展性。
2020-03-22 cs.DB
HD-Index: Pushing the Scalability-Accuracy Boundary for Approximate kNN Search in High-Dimensional Spaces
由于维数灾难的存在,高维空间中大型数据库的最近邻搜索存在着固有的困难。因此,近似的味道是必要的,以实际解决最近邻搜索的问题。在本文中,我们提出了一种新的,但简单的索引方案,HD-Index,解决问题的近似k-最近邻查询在海量高维数据库。HD-Index由一组新的层次结构组成,称为RDB树,建立在数据库对象的Hilbert键上。RDB树的叶子存储数据库对象到引用对象的距离,从而允许使用距离过滤器进行有效的修剪。除了三角不等式,我们还使用托勒密不等式来产生更好的下界。在大规模(高达10亿规模)高维(高达1000+)数据集上的实验表明,HD-Index是有效的,高效的,可扩展的。
2018-04-23 cs.DB
An Algorithm for Mining Multidimensional Fuzzy Association Rules
多维关联规则挖掘是在关系数据库中寻找不同维度或属性的值之间的有趣关系。在该方法中,相关性是在维度集合之间,即,形成规则的项目来自不同的维度。因此,每个维度都应该在模糊集级别上进行划分。提出了一种利用模糊集生成多维关联规则的新算法。针对由模糊事务组成的数据库,利用Apriory属性对无用的候选项集进行剪枝。
2009-09-28 cs.DB cs.IR
Multi-Dimensional Data Compression and Query Processing in Array Databases
近年来,多维数据在各个领域的生产及其在阵列数据库中的存储急剧增加;这种数据量的快速增长需要在阵列数据库中进行压缩。然而,阵列数据库中使用的现有压缩方案是通用的,而不是专门为数据库设计的。它们可能会降低复杂分析任务的查询性能,从而产生巨大的计算成本。因此,需要考虑阵列数据库工作流的压缩方案。本文提出了一种存储和查询多维数组数据的压缩方案SEACOW。该方案是专门设计的,是有效的基于维和基于值的探索。它考虑了探索查询的数据访问模式,并在压缩数组中嵌入了可用作索引的概要。此外,我们实现了一个阵列存储系统,即MSDB,进行实验。我们评估查询性能的真实科学数据集,并与现有的压缩方案。最后,我们的实验表明,SEACOW提供了较高的压缩率相比,现有的压缩方案,和概要提高分析查询处理性能。
2022-11-11 cs.DB
How to Optimize the Environmental Impact of Transformed NoSQL Schemas through a Multidimensional Cost Model?
本文提出一种自动化全局方法,通过首次融合时间、环境和财务约束的多维成本模型,对转换后的NoSQL数据模型进行逻辑层比较,从而为给定用例选择最优数据模型,并开发了相应的转换与成本计算仿真系统。
2023-11-28 cs.DB
Scalability, Availability, Reproducibility and Extensibility in Islamic Database Systems
针对伊斯兰知识领域软件系统的数据库真实性、可复现性、可扩展性等问题,本文提出QuranResearch.Org系统及其相关愿景,以支撑伊斯兰数据库系统建设。
2025-07-30 cs.DB cs.SE
Analyse multigraduelle OLAP
决策系统是基于多维数据库,提高联机分析处理分析。本文介绍了一种新的OLAP操作名为“BLEND”进行多阶段分析。该操作在查询过程中转换多维结构,以便根据各种粒度级别分析度量,这些粒度级别被重新组织为单个参数。我们研究了严格层次结构的上下文中的操作的有效组合。第一个实验在R-OLAP框架中实现了该操作,显示了该操作的轻微成本。
2010-05-03 cs.DB
Role of Databases in GenAI Applications
本文探讨数据库在 GenAI 应用中的关键作用,提出按对话、情境和语义三类上下文选择不同数据库架构,以优化性能、准确性与可扩展性。
2025-04-11 cs.AI cs.DB
Scalability of Data Binding in ASP.NET Web Applications
ASP.NET Web应用程序通常使用服务器控件来提供动态网页,并使用数据绑定服务器控件来显示和维护数据库数据。大多数开发人员在开发Web应用程序时使用ASP.NET服务器控件的默认属性,这允许快速开发可行的应用程序。但是,创建高性能、多用户和可伸缩的Web应用程序需要使用自定义代码增强服务器控件。在这项实证研究中,我们评估了各种技术方法对数据驱动的ASP.NET Web应用程序中分页和排序功能的影响:Web服务器上的Web服务器控件中的自动数据分页和排序;数据库服务器上的分页和排序;索引和非索引数据库列;集群与非集群索引。当使用基于SQL存储过程和聚集索引的自定义分页时,我们观察到显著的性能改进。
2012-11-05 cs.DB cs.SE
A Scalable Transaction Management Framework for Consistent Document-Oriented NoSQL Databases
Bahri University(巴里大学);Georgia State University(佐治亚州立大学);Delaware State University(特拉华州立大学)
本文提出了一种四阶段事务管理框架,通过优化锁策略和冲突检测,提高了文档导向NoSQL数据库在一致性与性能之间的平衡。
2026-02-02 cs.DB
Eris: Measuring discord among multidimensional data sources
本文针对多数据源集成中无法确定真实值时的一致性评估问题,提出 discordance 度量、代数算子及基于线性/二次规划的关系数据库实现,并在 COVID-19 和合成数据上验证了其高效性。
2023-08-17 cs.DB
One stone, two birds: A lightweight multidimensional learned index with cardinality support
本文提出CardIndex结构,以KB级参数同时实现快速多维学习索引和轻量级基数估计,并结合混合估计算法在低选择性查询中实现微秒级精确估计。
2023-05-28 cs.DB cs.DS
Big Data, Big Decisions Choosing the Right Database
本文对比SQL与NoSQL数据库在结构化查询、模式灵活性、数据一致性及水平扩展方面的差异,以帮助组织为大数据场景选择合适方案。
2024-05-09 cs.DB
Scalable Probabilistic Databases with Factor Graphs and MCMC
University of Massachusetts(马萨诸塞大学)
概率数据库在不确定数据的管理和理解中起着至关重要的作用。然而,将概率纳入不完整数据库的语义中带来了许多挑战,迫使系统牺牲建模能力,可扩展性,或限制它们关闭的关系代数公式的类别。我们提出了一种替代方法,其中底层的关系数据库总是代表一个单一的世界,和一个外部因素图编码的分布在可能的世界,马尔可夫链蒙特卡罗(MCMC)推理,然后使用恢复这种不确定性所需的保真度水平。我们的方法可以有效地评估任意查询的概率数据库与任意依赖关系表示的图形模型的结构,在推理过程中发生变化。MCMC采样通过假设{ \em修改}到可能的世界而不是从头开始生成整个世界来提供效率。然后,在世界发生变化的部分上运行查询,避免了在每个采样世界上运行完整查询的繁重成本。这项工作的一个重要创新是MCMC采样和物化视图维护技术之间的连接:我们发现经验,使用视图维护技术是几个数量级的速度比天真地查询每个采样的世界。我们还展示了我们的系统的能力,回答关系查询与聚合,并通过使用并行化展示了额外的可扩展性。
2010-05-11 cs.AI cs.DB
Graph or Relational Databases: A Speed Comparison for Process Mining Algorithm
流程感知信息系统(PAIS)是管理、支持业务流程并从业务流程的执行中生成大型事件日志的IT系统。事件日志表示为一个元组,其形式为CaseID、TimeStamp、Activity和Actor。流程挖掘是一个新兴的研究领域,它处理基于事件日志的业务流程的研究和分析。流程挖掘旨在分析事件日志,发现业务流程模型,增强它们或检查与先验模型的一致性。生成的大量事件日志存储在数据库中。关系数据库对于某些类型的应用程序表现良好。然而,对于某些类别的应用程序,关系数据库不能扩展。许多NoSQL数据库已经出现,遇到了可扩展性的挑战。从事件日志中发现社会网络是流程挖掘中最具挑战性和重要的任务之一。相似任务和分包算法是组织挖掘中应用最广泛的算法之一。我们的目标是调查的数据库(关系或图)执行更好的组织挖掘下的过程挖掘。流程挖掘和图数据库的交叉可以通过使用图数据库对这些组织挖掘指标进行建模来实现。我们只使用查询语言结构在关系数据库和NoSQL(面向图)数据库上实现相似任务和分包算法。我们进行了实证分析,在一个大的现实世界的数据集,比较面向行的数据库和NoSQL面向图的数据库的性能。我们基准性能因素,如查询执行时间,CPU使用率和磁盘/内存空间使用的NoSQL面向图的数据库对面向行的数据库。
2016-12-31 cs.DB
Taurus Database: How to be Fast, Available, and Frugal in the Cloud
本文提出多租户云数据库 Taurus,通过计算与存储分离、新颖复制恢复算法、单跳关键路径和仅追加存储,在更少副本下提升可用性、性能与快照效率。
2024-12-03 cs.DB cs.DC
An Experimental Framework for Implementing Decentralized Autonomous Database Systems in Rust
本文提出基于 Rust 的 DADBS 实验实现框架,利用所有权与并发机制构建去中心化自治数据库,并通过 24 小时实验和安全分析验证其性能与一致性。
2024-12-06 cs.DB cs.DC
HRDBMS: Combining the Best of Modern and Traditional Relational Databases
HRDBMS是一种新型的分布式关系数据库,它使用一种混合模型,结合了传统分布式关系数据库和大数据分析平台(如Hive)的优点。这使得HRDBMS能够利用多年来关于查询优化的研究成果,同时还可以利用大数据平台的可扩展性。该系统使用了一个为关系处理量身定制的执行框架,从而解决了在MapReduce和Spark等平台上运行SQL的一些性能挑战。这些问题包括中间结果的过度具体化、缺乏基于全局成本的优化、不必要的排序、缺乏索引支持、没有统计数据、不支持DML和ACID,以及这些平台强制执行的严格通信模式导致的过度通信。
2019-01-24 cs.DB cs.DC
Compiling Relational Database Schemata into Probabilistic Graphical Models
University of Massachusetts(马萨诸塞大学);Microsoft Research(微软研究院)
在这项工作中,我们提出了一种方法,使用关系数据库模式自动构建贝叶斯图形模型的数据库,而不是需要一个领域的专家来指定的数据的概率依赖关系。此生成的模型包含列的自定义分布、对数据进行聚类的潜在变量以及反映和表示外键链接的因子。实验证明了该模型的准确性和推理的可扩展性的合成和真实世界的数据。
2012-12-05 cs.AI cs.DB cs.LG
RODD: Robust Outlier Detection in Data Cubes
TU Dortmund University(多特蒙德工业大学);Research Center Trustworthy Data Science and Security(可信数据科学与安全研究中心)
数据立方体是多维数据库,通常由几个独立的数据库构建,作为数据分析的灵活基础。令人惊讶的是,数据立方体上的离群值检测尚未得到广泛的处理。在这项工作中,我们提供了第一个框架,以评估强大的离群检测方法在数据立方体(RODD)。我们介绍了一种新的随机森林为基础的离群点检测方法(RODD-RF),并将其与更传统的方法的基础上强大的位置估计。我们提出了一个一般类型的测试数据,并在模拟研究中检查所有的方法。此外,我们将ROOD-RF应用于现实世界的数据。结果表明,RODD-RF可以导致改进的离群值检测。
2023-03-14 cs.DB cs.LG
Scaling-Up Reasoning and Advanced Analytics on BigData
BigDatasheet是Datasheet的扩展,在Apache Spark和多核系统上实现了性能和可扩展性,其图形分析性能优于GraphX编写的图形分析。回顾过去,我们看到这是如何实现40年前演绎数据库研究人员所追求的雄心勃勃的目标的:这是将逻辑在表达查询和推理方面的严谨性和力量与关系数据库管理大数据的性能和可扩展性相结合的目标。这一目标导致了基于Prolog等Horn子句但采用半朴素固定点和魔术集等实现技术的Datasheet,这些技术扩展了关系系统的自底向上计算模型,从而获得了关系系统早在80年代就已经实现的性能和可扩展性,使用无共享架构上的数据并行化。但由于㈠语文一级和㈡系统一级的重大问题,这一目标难以实现。本文描述了(i)如何通过简单的规则来解决,在这些规则下,不动点语义扩展到递归中使用计数,求和和极值的程序,以及(ii)如何通过并行编译技术来驯服,从而实现多核系统和Apache Spark的可扩展性。本文正在考虑接受逻辑编程理论与实践(TPLP)。
2018-07-09 cs.DB cs.LO cs.PL
Data Management and Mining in Astrophysical Databases
我们分析了天体物理数据的管理和挖掘所涉及的问题。天体物理学领域的传统数据管理方法无法跟上现代探测器收集的数据量的增长。从大型数据集中自动提取信息抽取的工具,即数据采掘技术,如聚类和分类算法,将在天体物理学研究中发挥重要作用。这就需要一种基于数据仓库的数据管理方法,强调数据访问的效率和简单性;使用多维访问方法获得效率,通过正确处理元数据实现简单性。在大型数据集上的聚类和分类技术提出了额外的要求:在数据大小、聚类或分类结果的可解释性和客观性方面的计算和内存可扩展性。在这项研究中,我们提出了一些可能的解决方案。
2003-07-16 astro-ph cs.DB physics.data-an
IDSS, a Novel P2P Relational Data Storage Service
本文提出IDSS,一种基于P2P网络和嵌入式关系数据库的新型大规模数据存储服务,通过公共模式支持分布式查询处理,实现对海量数据的高效稳健管理。
2025-07-19 cs.DB cs.DC
Prediction of Horizontal Data Partitioning Through Query Execution Cost Estimation
IT University of Copenhagen(哥本哈根信息技术大学)
现代数据管理系统中数据量的过度增加需要改进的系统性能,通常通过数据分布、系统可扩展性和性能优化技术来提供。优化的水平数据划分对分布式数据管理系统有着重要的影响。在逻辑数据库设计的早期阶段,在不加载系统中的实际数据的情况下,找到一个最佳的分区模式,并使其适应业务环境的变化,是一个成功的实施,系统的可扩展性和性能的提高是非常重要的。在本文中,我们提出了一种新的方法来找到一个最佳的水平分区模式,表现出最小的总执行成本的一个给定的数据库工作负载。我们的方法是基于一个正式的模型,使抽象的谓词在工作量查询,并随后用于定义所有的关系片段。这种方法具有通过模拟水平分区获得的预测功能,无需将任何数据加载到分区中,而是改变数据库目录中的统计信息。我们定义了一个优化问题,并采用遗传算法(GA)找到一个近似最优的水平分区模式。优化问题的解决方案使用PostgreSQL的查询优化器进行评估。我们的方法的初步实验评估证实了其效率和正确性,数字意味着该方法是有效的,在减少工作负载执行成本。
2019-11-26 cs.DB cs.DC cs.LG