MonetDBLite: An Embedded Analytical Database
虽然传统的RDBMS提供了很多优点,但它们需要大量的工作来设置和使用。由于这些挑战,许多数据科学家和分析师已经转向使用替代数据管理解决方案。然而,这些替代方案缺乏RDBMS的标准功能,例如核外查询执行。在本文中,我们介绍了嵌入式分析数据库MonetDBLite。MonetDBLite的设计既高效又易于与标准分析工具结合使用。它可以使用标准的包管理器安装,并且不需要配置或服务器管理。它专为OLAP场景而设计,并在数据库和分析工具之间提供近乎即时的数据传输,同时保持标准关系系统的事务保证和ACID属性。这些特性使MonetDBLite非常适合作为分析、机器学习和分类任务中使用的数据的存储引擎。
2018-05-22 cs.DB
Providing Authentic Long-term Archival Access to Complex Relational Data
我们讨论长期保存和访问关系数据库。重点是国家档案馆和科学数据档案馆,这些档案馆必须从广泛的特定于供应商的关系数据库管理系统(RDBMS)中摄取和整合数据。此外,我们提出了我们的解决方案SIARD分析和提取数据和数据逻辑,从几乎所有的RDBMS。在合理的真实性水平上,它使数据库完全脱离其特定于供应商的环境。用户可以根据可定制的模式添加归档描述性元数据。SIARD数据库档案将数据、数据逻辑、技术元数据和档案描述信息集成在一个档案信息包中,独立于任何特定的软件和硬件,基于纯文本文件和标准化语言SQL和XML。出于使用目的,SIARD存档可以重新加载到任何当前或未来支持标准SQL的RDBMS中。此外,SIARD还包括一个客户端,可“按需”将档案重新载入目标关系数据库管理系统,并可进行多用户远程访问,以便在一个图形用户界面中查询和浏览数据及其技术和描述性元数据。
2004-08-24 cs.DB cs.DL
The Data Lakehouse: Data Warehousing and More
本文提出数据湖仓一体架构,融合RDBMS-OLAP与云数据湖优势,解决传统数据仓库的局限,并分解数据仓库组件以展示其满足性及额外能力。
2023-10-12 cs.DB
Web3DB: Web 3.0 RDBMS for Individual Data Ownership
本文提出 Web3DB,一种结合区块链与去中心化存储的 Web 3.0 关系型数据库管理系统,通过模块化架构与密码学抽签实现安全查询,解决传统集中式数据库缺陷。
2025-04-03 cs.DB cs.DC
Does query performance optimization lead to energy efficiency? A comparative analysis of energy efficiency of database operations under different workload scenarios
随着在线服务的不断增加以及能源成本的不断增加,能源消耗成为评估数据中心运营的重要成本因素。造成这种情况的一个重要因素是数据库服务器的性能,据认为,数据库服务器是在线服务的骨干。从软件的角度来看,虽然市场上出现了一系列新颖的数据管理技术,例如基于键值的数据库或内存数据库,但经典的关系数据库管理系统(RDBMS)仍然被广泛使用。此外,从硬件的角度来看,大多数数据库服务器仍然使用标准的磁性硬盘驱动器(HDD),而不是固态硬盘(SSD),因为每GB的存储成本较低,忽略了由于高成本可能带来的性能提升。在这项研究中,我们专注于基于软件的数据库服务器的能耗评估,通过运行三个不同的和完整的数据库工作负载,即TCP-H,星型架构基准-SSB以及我们为这项研究推导出的修改后的基准称为W22。我们配置文件之间的最重要的服务器组件的能量分布,并通过使用不同的资源分配,我们评估的能源消耗的一个典型的开源关系数据库管理系统(PostgreSQL)在标准服务器上的性能(测量查询时间)。结果证实了众所周知的事实,即使是完整的工作负载,RDBMS的优化结果,以降低能耗。
2013-03-20 cs.DB
NoSQL Database: New Era of Databases for Big data Analytics - Classification, Characteristics and Comparison
数字世界正在快速发展,并且在数量(TB到PB),种类(结构化和非结构化以及混合),速度(高速增长)方面变得更加复杂。大数据是一种全球现象。这通常被认为是已经增长得如此之大以至于不能使用常规数据管理工具来有效地管理或利用的数据汇集:例如,典型的关系数据库管理系统(RDBMS)或常规的搜索引擎。为了解决这个问题,传统的RDBMS由专门设计的一组丰富的替代DBMS补充;例如NoSQL,NewSQL和基于搜索的系统。本文的动机是提供大数据分析中NoSQL数据库的分类,特征和评估。本报告旨在帮助用户,特别是组织,独立了解各种NoSQL数据库方法的优点和缺点,以支持处理大量数据的应用程序。
2013-06-30 cs.DB
Graywulf: A platform for federated scientific databases and services
许多科学领域都依赖于关系数据库管理系统来分析、发布和共享数据。由于RDBMS最初是为业务用例设计的,并且其开发方向主要由业务用例驱动,因此它们通常缺乏对科学应用非常重要的功能。水平可伸缩性可能是最重要的缺失特性,这使得传统的关系数据库系统适应不断增长的数据大小变得具有挑战性。由于对数组数据类型和元数据管理的支持有限,关系数据库管理系统在科学领域的成功应用通常需要开发自定义扩展。虽然其中一些扩展是特定于科学领域的,但其中大多数可以很容易地在其他学科中推广和重用。在Graywulf项目中,我们打算瞄准几个目标。我们正在构建一个通用平台,提供可重复使用的组件,用于有效存储,转换,统计分析和呈现存储在Microsoft SQL Server中的科学数据。Graywulf还解决了当前RDBMS技术所带来的分布式计算问题。当前版本支持简单查询的负载均衡和在一组镜像数据库上并行执行分区查询。通过基于Web的查询接口和软件客户端的数据表面提供对数据的统一用户访问。SQL是以稍微修改过的SQL语法制定的,它提供了分布式数据的透明视图。该软件库由几个组件组成,这些组件可以重用以开发复杂的科学数据仓库:系统注册表、管理整个数据库服务器集群的管理工具、复杂的工作流执行框架和SQL解析器库。
2013-08-06 cs.DB
NEURON: Query Optimization Meets Natural Language Processing For Augmenting Database Education
关系数据库管理系统(RDBMS)是世界上许多大学的计算机科学课程的一部分。该课程的核心组成部分是关系数据库管理系统中查询优化器的设计和实现。查询优化器的目标是自动识别执行用户提交的声明性SQL查询的最有效执行策略。查询优化过程产生表示查询的执行策略的查询执行计划(QEP)。由于底层查询优化器的复杂性,理解QEP要求学生了解与RDBMS相关的特定于实现的问题。实际上,这是一个不切实际的假设,因为大多数学生都是第一次学习数据库技术。因此,他们通常很难通过仔细阅读QEP来理解DBMS所承担的查询执行策略,从而阻碍了他们的学习过程。在这个演示中,我们提出了一个新的系统,称为神经元,促进自然语言与QEP互动,以提高其理解。NEURON接受SQL查询(可能包括连接、聚合、嵌套等)作为输入,执行它,并生成底层RDBMS部署的执行策略的简化的基于自然语言的描述(文本和语音形式)。此外,它通过基于自然语言的问答框架促进了对与QEP相关的各种特征的理解。我们主张,这样的工具,世界上第一个,可以大大提高学生的学习查询优化的主题。
2018-08-21 cs.DB
Designing Succinct Secondary Indexing Mechanism by Exploiting Column Correlations (Extended Version)
数据库管理员在数据表上构造二级索引以加速关系数据库管理系统(RDBMS)中的查询处理。根据数据统计信息,这些索引构建在最常查询的列之上。不幸的是,在同一个数据库中维护多个辅助索引可能非常消耗空间,由于可能耗尽内存空间,导致性能显著下降。在本文中,我们证明了有很多机会利用列相关性来加速数据访问。我们提出了HERMIT,一个简洁的现代RDBMS二级索引机制。HERMIT明智地利用隐藏在列中的丰富的软函数依赖关系,为索引键访问修剪掉冗余结构。HERMIT不是构建一个完整的索引来存储键列中的每个条目,而是将任何传入的键访问查询导航到基于相关列构建的现有索引。这是通过分层回归搜索树(TRS树)实现的,TRS树是一种简洁的ML增强型数据结构,可执行快速曲线拟合,以自适应地动态捕获列相关性和离群值。我们在两个不同的RDBMS中进行了广泛的实验研究,证实了HERMIT可以显着减少空间消耗,在查询响应时间和索引维护时间方面的性能开销有限,特别是在支持复杂范围查询时。
2019-04-01 cs.DB
Relational databases for data management in PHENIX
PHENIX是布鲁克海文国家实验室(BNL)相对论重离子对撞机(RHIC)的两个大型实验之一,每年存档约100 TB的实验数据。此外,在多个非现场计算中心产生大量模拟数据。对于任何在数据管理中扮演中心角色的文件目录,它都必须面对与分布式访问和更新需求相关的问题。为了被12个国家的数百名PHENIX合作者有效地使用,目录必须满足以下要求:1)包含最新的数据,2)提供快速可靠的数据访问,3)对存储部分数据的网站具有写入权限。我们提出了一个分析几个可用的关系数据库管理系统(RDBMS),以支持一个目录满足上述要求,并讨论了PHENIX的经验与建设和使用的分布式文件目录。
2003-06-04 cs.DB
From SQL to Knowledge Graphs: An LLM-Driven Multi-Agent Approach with Data Schema Improvement
HCMC University of Technology(胡志明市理工大学);University of Alberta(阿尔伯塔大学);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
该研究提出一种LLM驱动的多智能体系统,可将RDBMS自动转换为图数据库,经实验验证其问答准确率及延迟表现均优于传统SQL方案。
2026-08-28 cs.AI cs.DB
NeurIDA: Dynamic Modeling for Effective In-Database Analytics
National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);Duke University(杜克大学)
NeurIDA通过动态数据库建模实现端到端的数据库分析,提升分析效果和效率。
2026-09-21 cs.DB
Serving Deep Learning Model in Relational Databases
Arizona State University(亚利桑那州立大学);Amazon(亚马逊公司);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);Hong Kong University of Science and Technology(香港科技大学);Lawrence Berkeley National Lab(劳伦斯伯克利国家实验室)
本文探讨了在关系型数据库中服务深度学习模型的三种架构范式,分析了阻碍其无缝集成的差距,并提出建立新型RDBMS以支持数据密集型DL推理应用的路径。
2024-09-26 cs.AI cs.DB
Experience with the Open Source based implementation for ATLAS Conditions Data Management System
在高能物理实验中,数据通常被看作是除事件数据本身之外的重建所需的所有数据。这包括各种缓慢发展的数据,如探测器对准、校准和鲁棒性,以及来自探测器控制系统的数据。此外,每个条件数据对象都与有效性时间间隔和版本相关联。除此之外,通常对标记条件数据对象的集合很有用。这些问题已经被调查和数据模型已被提出,并用于不同的实现基于商业DBMS,无论是在欧洲核子研究中心和BaBar实验。ATLAS复杂触发器的特殊情况需要在线访问校准和对齐数据,这带来了新的挑战,必须使用灵活且可定制的解决方案来满足这些挑战。受到ATLAS挑战的激励,我们开发了一种基于开源RDBMS的替代实现。几个问题进行了调查土地将在本文中描述:-最好的方式来映射的条件数据模型到关系数据库的概念,考虑到什么是预见到的最频繁的查询。- 最适合解决可伸缩性问题的集群模型。- 进行了广泛的测试,并将进行描述。这些测试非常有希望的结果吸引了HEP社区的关注,并推动了进一步的发展。
2003-06-14 cs.DB
Implementing the Typed Graph Data Model Using Relational Database Technology
针对类型化图模型(TGM)通常仅用于设计早期、未落地到底层物理数据库的问题,本研究在支持基于角色结构的关系数据库管理系统中实现TGM,打造兼具图与关系数据库技术优势的新型数据库实现。
2024-07-06 cs.DB
The Evolution of the Computerized Database
数据库,相关数据的集合,和文字一样古老。数据库可以是任何东西,从家庭主妇的金属配方文件到复杂的数据仓库。然而今天,当我们想到数据库时,我们总是想到计算机化的数据及其DBMS(数据库管理系统)。我们是如何从一个简单的金属文件盒或橱柜中组织我们的数据到将我们的数据存储在一个复杂的计算机化数据库中的?计算机化数据库是如何发展的?本文定义了数据库的含义。它追溯了数据库的演变,从一开始的非计算机化的相关数据集,到现在的标准计算机化的关系数据库管理系统(关系数据库管理系统)。回顾了早期的计算机存储方法,包括索引顺序存取方法和虚拟存储存取方法。早期的数据库模型,包括网络和层次数据库模型进行了探讨。最后讨论了关系数据库、对象关系数据库和面向对象数据库模型。附录中的图表,包括层次发生树,网络模式,ER(实体关系)和UML(统一建模语言)图,包括支持文本。本文最后探讨了DBMS发展的当前和未来趋势。它讨论了影响这些趋势的因素。它深入探讨了DBMS和日益流行的面向对象开发方法之间的关系。最后,对DBMS的未来进行了展望。
2003-05-21 cs.DB
Towards a New Extracting and Querying Approach of Fuzzy Summaries
数据库应用的多样化突出了关系数据库管理系统(RDBMS)的局限性,特别是在建模计划上。事实上,在现实世界中,我们越来越多地面临这样的情况,即应用程序需要处理不精确的数据,并为其用户提供灵活的查询。已经提出了几种理论解决方案。然而,这项工作在实践中的影响仍然可以忽略不计,除了几个研究原型的基础上正式模型GEFRED。在这一章中,作者提出了一种新的方法来开发模糊关系数据库(FRDB)的模型GEFRED。该方法包括1)一种基于模糊数据分类和形式概念分析的摘要模糊数据提取新技术--模糊SAINTETIQ; 2)一种基于模糊SAINTETIQ系统生成的模糊摘要集在FDB上下文中评估柔性查询的方法; 3)一种修复和替换未回答查询的方法。
2019-04-28 cs.DB
Enhancement of database access performance by improving data consistency in a non-relational database system (NoSQL)
Bahri University(巴里大学);Georgia State University(佐治亚州立大学);Jacksonville University(杰克逊维尔大学)
本研究提出一个专为MongoDB设计的四阶段服务器端模型,通过事务管理和锁定算法增强NoSQL数据库的一致性,YCSB基准测试显示性能显著提升。
2023-08-26 cs.DB
BranchBench: Aligning Database Branching with Agentic Demands
Columbia University(哥伦比亚大学)
BranchBench评估可分支关系型数据库在代理探索中的性能,发现优化分支速度的系统读取速度显著下降,而优化数据操作的系统分支创建延迟更高,凸显需设计专门支持代理探索的数据库。
2026-04-19 cs.DB cs.PF
Extensible Database Simulator for Fast Prototyping In-Database Algorithms
随着数据规模的快速增长,数据库内分析和学习已经成为数据科学界研究最多的课题之一,因为它对缩小数据管理和分析之间的差距具有重要意义。通过扩展数据库在分析和学习方面的能力,数据科学家可以节省大量在数据库和外部分析工具之间交换数据的时间。为了实现这一目标,研究人员正在尝试将更多的数据科学算法集成到数据库中。然而,在主流数据库中实现这些算法是非常耗时的,特别是当需要深入研究数据库内核时。因此,需要一个易于扩展的数据库模拟器,以帮助快速原型化和验证数据库中的算法,然后再将它们实现在真正的数据库中。在这个演示中,我们展示了这样一个可扩展的关系数据库模拟器DBSim,以帮助数据科学家原型化他们的数据库内分析和学习算法,并以最小的成本验证他们的想法的有效性。DBSim通过集成主流关系数据库系统中的所有主要组件,包括SQL解析器、关系运算符、查询优化器等,模拟出一个真实的关系数据库。此外,DBSim还提供了各种接口,使用户可以在不修改内核的情况下,灵活地将自定义扩展模块插入到任何一个主要组件中。通过这些接口,DBSim支持对SQL语法、关系运算符、查询优化器规则和成本模型以及物理计划执行的简单扩展。此外,DBSim还提供了查询计划可视化工具和优化规则交互分析器等实用工具,方便用户进行开发和调试。我们使用纯Python开发DBSim,以支持大多数数据科学算法的无缝实现,因为其中许多算法都是用Pytho…
2022-10-10 cs.DB
Powering In-Database Dynamic Model Slicing for Structured Data Analytics
National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);Duke University(杜克大学);Renmin University of China(中国人民大学)
LEADS提出SQL感知动态模型切片技术,利用专家混合与门控网络在数据库内定制模型,集成于PostgreSQL,提升结构化数据预测效率并降低推理延迟。
2024-11-03 cs.AI cs.DB