COMPARE: Accelerating Groupwise Comparison in Relational Databases for Data Analytics
数据分析通常涉及在多个维度上比较数据子集,以发现不寻常的趋势和模式。虽然数据子集之间的比较可以使用SQL表示,但它们往往编写起来很复杂,并且在大型和高维数据集上性能较差。本文提出了一种新的关系数据库逻辑运算符COMPARE,它简洁地描述了数据子集之间的枚举和比较,大大简化了一类比较查询的表达。我们扩展了数据库引擎的优化技术,利用语义比较显着提高性能的查询。我们已经实现了这些扩展内Microsoft SQL Server,一个商业DBMS引擎。我们对合成数据集和真实数据集的广泛评估表明,COMPARE比现有方法(包括由当今数据库系统生成的物理计划,用户定义函数(UDF)以及比较数据库外子集的中间件解决方案)具有显着的加速效果。
2021-07-27 cs.DB
How Can We Shrink the Family of Test Databases? Query Containment with Nulls and Comparisons
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文针对带空值和顺序比较的合取查询,提出缩小测试数据库族的方法,分别通过特殊变量集和规范值分解实现,并证明在局部参数下固定参数可处理,从而提升查询包含判定的实用性。
2026-09-16 cs.DB
NoSQL Database: New Era of Databases for Big data Analytics - Classification, Characteristics and Comparison
数字世界正在快速发展,并且在数量(TB到PB),种类(结构化和非结构化以及混合),速度(高速增长)方面变得更加复杂。大数据是一种全球现象。这通常被认为是已经增长得如此之大以至于不能使用常规数据管理工具来有效地管理或利用的数据汇集:例如,典型的关系数据库管理系统(RDBMS)或常规的搜索引擎。为了解决这个问题,传统的RDBMS由专门设计的一组丰富的替代DBMS补充;例如NoSQL,NewSQL和基于搜索的系统。本文的动机是提供大数据分析中NoSQL数据库的分类,特征和评估。本报告旨在帮助用户,特别是组织,独立了解各种NoSQL数据库方法的优点和缺点,以支持处理大量数据的应用程序。
2013-06-30 cs.DB
The Forgotten Document-Oriented Database Management Systems: An Overview and Benchmark of Native XML DODBMSes in Comparison with JSON DODBMSes
在当前的大数据背景下,已经提出并实现了许多新的NoSQL解决方案,用于存储,管理和从半结构化数据中提取信息和模式。这些解决方案通过引入半结构化和灵活的模式设计来缓解关系数据库中存在的刚性数据结构的问题。由于当前由不同来源和设备生成的数据,特别是来自物联网传感器和执行器的数据,根据应用程序的不同,使用XML或JSON格式,因此需要以XML格式存储和查询半结构化数据的数据库技术。因此,原生XML数据库最初被设计为使用标准化的查询语言来操作XML数据,即,XQuery和MySQL被重新命名为NoSQL面向文档的数据库系统。目前,这些解决方案中的大多数已经被更现代的基于JSON的数据库管理系统所取代。但是,我们相信基于XML的解决方案仍然可以在异构集合上执行复杂查询时提供性能。不幸的是,现在的研究缺乏对以XML存储和查询文档的数据库技术与更现代的JSON格式的可伸缩性和性能的明确比较。此外,据我们所知,这些数据库技术没有符合大数据的基准。在本文中,我们提出了一个比较选定的面向文档的数据库系统,要么使用XML格式编码的文件,即,BaseX、eXist-db和Sedna,或者JSON格式,即,MongoDB、CouchDB和Couchbase。为了强调性能差异,我们还提出了一个基准测试,使用一个大型DBLP语料库上的异构复杂模式。
2021-02-03 cs.DB
Graph or Relational Databases: A Speed Comparison for Process Mining Algorithm
流程感知信息系统(PAIS)是管理、支持业务流程并从业务流程的执行中生成大型事件日志的IT系统。事件日志表示为一个元组,其形式为CaseID、TimeStamp、Activity和Actor。流程挖掘是一个新兴的研究领域,它处理基于事件日志的业务流程的研究和分析。流程挖掘旨在分析事件日志,发现业务流程模型,增强它们或检查与先验模型的一致性。生成的大量事件日志存储在数据库中。关系数据库对于某些类型的应用程序表现良好。然而,对于某些类别的应用程序,关系数据库不能扩展。许多NoSQL数据库已经出现,遇到了可扩展性的挑战。从事件日志中发现社会网络是流程挖掘中最具挑战性和重要的任务之一。相似任务和分包算法是组织挖掘中应用最广泛的算法之一。我们的目标是调查的数据库(关系或图)执行更好的组织挖掘下的过程挖掘。流程挖掘和图数据库的交叉可以通过使用图数据库对这些组织挖掘指标进行建模来实现。我们只使用查询语言结构在关系数据库和NoSQL(面向图)数据库上实现相似任务和分包算法。我们进行了实证分析,在一个大的现实世界的数据集,比较面向行的数据库和NoSQL面向图的数据库的性能。我们基准性能因素,如查询执行时间,CPU使用率和磁盘/内存空间使用的NoSQL面向图的数据库对面向行的数据库。
2016-12-31 cs.DB
Hades: Homomorphic Augmented Decryption for Efficient Symbol-comparison -- A Database's Perspective
本文提出HADES框架,基于RLWE实现无需密文扩展的FHE密文高效安全比较,支持整数和浮点运算,并在真实数据集上优于现有基线。
2024-12-28 cs.CR cs.DB
A comparison study of object-oriented database clustering techniques
人们普遍认为,一个好的对象聚类是关键的OODBs的性能。群集意味着将相关对象紧密地存储在辅存上,以便当从磁盘访问一个对象时,所有相关对象也都被带入内存。然后访问这些相关的对象是一个主存访问,比磁盘访问快得多。本文的目的是比较三种聚类算法:Cactis,CK和ORION的性能。仿真实验表明,Cactis算法在响应时间和分簇开销方面优于ORION算法,CK算法在性能上完全优于其他两种算法。
2016-11-28 cs.DB
A New Communication Theory on Complex Information and a Groundbreaking New Declarative Method to Update Object Databases
在这篇文章中,我介绍了一种新的通信理论,复杂的信息表示为一个有向图的节点。此外,我还介绍了该理论的一个应用,即一种新的激进方法embed,可用于以声明方式更新对象数据库。嵌入式方法是对象数据库更新的一次革命。一次嵌入式方法调用可以代替传统对象数据库客户端程序中几十行复杂的更新代码,这是一个巨大的进步。作为一种声明式方法,embed方法只需要一个自然参数,即运行时内存中修改后的对象结构的根对象,这使得它非常容易使用。embed方法背后的通信理论指出,修改后的复杂信息表示为节点的有向图,总是可以以准确和有意义的方式传输回其原始系统。该理论还可以有其他的应用,因为今天的信息通常具有网络或有向图的结构,并且它经常演变或维护。嵌入方法应用通信理论,通过将对象数据库和运行时内存中的修改的对象结构建模为节点的有向图,而没有任何人为的限制。例如,允许不同种类的循环子结构及其修改。对象数据库中的持久性是通过持久根对象的可达性以一种众所周知且被接受的方式定义的。如果在更新操作期间出现垃圾对象,embed方法还将从对象数据库中删除垃圾对象的结构,使数据库保持一致状态。嵌入方法应用引用计数技术。它理解对象数据库的局部拓扑,避免检查数据库中不相关的对象。由于这些原因,嵌入方法是有效的,它可以扩展到不同大小的数据库。
2016-04-05 cs.DB
Database management system performance comparisons: A systematic literature review
本文系统性综述了数据库管理系统性能比较的研究,发现现有测试常脱离真实用例且细节不足,难以复现和得出结论,并为工业界与学术界提供了相关建议。
2023-11-27 cs.DB cs.PF
Accelerating Pathology Image Data Cross-Comparison on CPU-GPU Hybrid Systems
作为空间数据库在病理成像分析中的一个重要应用,交叉比较大量分割的显微解剖对象的空间边界需要极其数据和计算密集型的操作,需要以可承受的成本的高吞吐量。然而,空间数据库系统的性能并不令人满意,因为它们的空间操作的实现不能充分利用现代并行硬件的能力。在本文中,我们提供了一种定制的软件解决方案,该解决方案利用GPU和多核CPU以经济高效的方式加速空间交叉比较。我们的解决方案包括一个高效的GPU算法和一个流水线的系统框架,任务迁移支持。大量的实验与真实世界的数据集证明了我们的解决方案的有效性,它提高了空间交叉比较的性能超过18倍,与并行空间数据库的方法。
2012-08-01 cs.DB
A Comprehensive Survey on Database Management System Fuzzing: Techniques, Taxonomy and Experimental Comparison
本文系统综述DBMS模糊测试技术,提出通用流程与分类法,并基于开源工具包OpenDBFuzz进行实验对比,评估现有方法优劣,展望未来方向。
2023-11-12 cs.DB
Performance Comparison Analysis of ArangoDB, MySQL, and Neo4j: An Experimental Study of Querying Connected Data
针对现有数据库性能研究缺少能耗与服务器温度维度的问题,本文对比图数据库与关系型数据库多维度性能,发现Neo4j关联数据查询速度优于ArangoDB和MySQL,并报告了三者能耗、CPU及内存性能。
2024-01-30 cs.DB
A Comparative Analysis of XML Documents, XML Enabled Databases and Native XML Databases
随着XML数据的日益普及以及对能够以有效的方式存储、检索和操纵基于XML的数据的数据库管理系统的极大需求,数据库研究团体和软件行业已经尝试响应这种需求。支持XML的数据库和原生XML数据库是解决这一挑战的两种方法。这两种方法是一个遗留的数据库系统,扩展到存储,检索和操作基于XML的数据。本文的主要目的是探讨和比较这两种方法,并得出一些标准,有一个合适的指导方针,以选择最好的方法,在每一种情况下。一般来说,原生XML数据库系统比支持XML的数据库系统具有更强的管理基于XML数据的能力
2017-07-26 cs.DB
Benchmarking Specialized Databases for High-frequency Data
本文介绍了一个基准套件,旨在评估和比较的时间序列数据库的高频数据,重点是金融应用。该套件包括四个专用数据库:ClickHouse,InfluxDB,kdb+和TimescaleDB。该套件的结果表明,kdb+在测试的数据库中具有最高的性能,同时也突出了每个数据库的优点和缺点。基准测试套件旨在客观衡量这些数据库的性能,并比较它们处理不同类型数据的能力。这为不同时间序列数据库对不同用例的适用性提供了有价值的见解,并提供了可用于通知系统设计决策的基准。
2023-01-29 cs.DB
A Comparison of Decision Forest Inference Platforms from A Database Perspective
Arizona State University(亚利桑那州立大学);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Rensselaer Polytechnic Institute(伦斯勒理工学院)
决策森林,包括RandomForest、XGBoost和LightGBM,是在许多工业场景中使用的最流行的机器学习技术之一,如信用卡欺诈检测、排名和商业智能。由于推理过程通常对性能至关重要,因此开发了许多框架并专门用于决策森林推理,例如ONNX,亚马逊的TreeLite,谷歌的TensorFlow决策森林,微软的HummingBird,Nvidia FIL和lleaves。然而,这些框架都与数据管理框架解耦。目前还不清楚数据库内推理是否会提高整体性能。此外,这些框架使用不同的算法、优化技术和并行模型。目前还不清楚这些实现将如何影响整体性能,以及如何为数据库内推理框架做出设计决策。在这项工作中,我们通过全面比较上述推理框架和netsDB(我们实现的数据库内推理框架)的端到端性能来研究上述问题。通过这项研究,我们发现netsDB最适合处理大规模数据集上的小规模模型和小规模数据集上的全规模模型,并实现了数百倍的加速。此外,我们提出的以关系为中心的表示方法显著提高了netsDB处理大规模模型的性能,而我们提出的模型重用优化方法进一步提高了netsDB处理小规模数据集的性能。
2023-02-09 cs.DB cs.LG cs.PF
Comparison of Distance Metrics for Hierarchical Data in Medical Databases
距离度量在生物信息学、数据采掘等领域有着广泛的应用。然而,有一些指标,如pq-gram和编辑距离,专门用于具有层次结构的数据。用于非分层数据的其他度量是几何度量和汉明度量。我们已经将这些指标的健康改善网络(THIN)数据库,其中有一些层次数据。对于第一组度量,必须将THIN数据转换为树状结构。对于第二组度量,将数据转换为频率表或矩阵,然后对于所有度量,找到所有距离并进行归一化。基于这个特定的数据集,我们的研究问题是:这些指标中哪些对THIN数据有用?本文比较了各种度量方法,特别是pq-gram度量方法在发现患者数据相似性方面的应用。它还调查了具有相同近距离的相似患者以及用于聚类整个患者群体的度量适合性。我们的研究结果表明,这两组指标表现不同,因为它们代表不同的数据结构。然而,所有的指标可以代表一些类似的数据的患者,以及足够好的区别在聚类的患者群体使用$k$均值聚类算法。
2014-09-03 cs.CE cs.DB
A Unified Metamodel for NoSQL and Relational Databases
本文提出U-Schema统一元模型,可表示四种主流NoSQL范式及关系数据库的逻辑模式,通过正式映射、模式提取策略和性能优化,支持结构可变性并提升多模型数据管理的可集成性。
2021-05-17 cs.DB
Query Data With Fuzzy Information In Object-Oriented Databases An Approach Interval Values
提出了一种基于模糊语义的模糊模糊在该方法中,我们考虑对象类的属性值(以及方法)是区间值,并将区间值分别转换为[0,1]中的子区间。证明了在[0,1]中对冲代数中元素的future也是子区间。因此,我们提出了一个算法,允许两个子区间[0,1]的比较,帮助查询数据的要求
2016-10-16 cs.DB
A Comparison of Neuroelectrophysiology Databases
本文比较四个颅内神经电生理数据库,介绍其采用BIDS和NWB标准及分析工具,以促进数据共享与神经信息学发展。
2023-08-30 cs.DB q-bio.QM
StarStar Models: Process Analysis on top of Databases
流程挖掘项目中的大量时间都花在查找和理解数据源以及提取所需的事件数据上。因此,实际上只有一小部分时间用于应用技术来发现、控制和预测业务流程。此外,缺乏在数据库之上显示关系而不需要表达复杂查询以获得所需信息的技术。本文提出了一种在数据库之上工作的新型建模技术。该技术能够显示表示从数据库事件推断的活动的多重图,其与用频率和性能信息注释的边连接。该表示可以是应用对经典事件日志起作用的高级流程挖掘技术的入口点,因为该模型提供了从指定的模型片段检索经典事件日志的简单方法。与类似的技术和经验的评价比较。
2018-11-20 cs.DB
The Optimization of Running Queries in Relational Databases Using ANT-Colony Algorithm
优化查询的问题是一个成本敏感的过程,并且相对于查询中关联表的数量,其排列数量呈指数增长。一方面,与关系数据库中的其他操作相比,连接操作是最困难和最复杂的操作,为了减少其运行时间,需要对其进行优化。因此,到目前为止已经提出了各种算法来解决这个问题。另一方面,任何数据库管理系统(DBMS)的成功都意味着利用查询模型。在本文中,启发式蚂蚁算法已被提出来解决这个问题,提高连接操作的运行时间。实验和观察结果表明,该算法的效率相比,其类似的算法。
2013-11-16 cs.DB cs.NE