Using Grid Files for a Relational Database Management System
本文描述了我们使用网格文件作为关系数据库管理系统的主存储器组织的经验。我们主要关注以下两个方面。(i)有效实现网格文件的策略。(ii)用于对向使用网格文件组织的数据库提出的查询进行效率评估的方法。
2010-06-07 cs.DB
Vector database management systems: Fundamental concepts, use-cases, and current challenges
该研究为叙述性文献综述,针对向量化数据高维、稀疏的特性带来的管理难题,系统介绍向量数据库管理系统的基本概念、应用场景与当前挑战,为相关研究者和从业者提供参考概览。
2024-02-16 cs.DB
NewSQL: Towards Next-Generation Scalable RDBMS for Online Transaction Processing (OLTP) for Big Data Management
解决大数据问题的关键进展之一是替代数据库技术的出现。今天,经典的RDBMS得到了一组丰富的替代数据管理系统(DMS)的补充,这些DMS系统专门设计用于处理大数据汇集的数量,种类,速度和可变性;这些DMS系统包括NoSQL,NewSQL和基于搜索的系统。NewSQL是一类现代关系数据库管理系统(RDBMS),其为在线事务处理(OLTP)读写工作负载提供与NoSQL系统相同的可扩展性能,同时仍然保持传统数据库系统的ACID保证。本文讨论了NewSQL数据管理系统,并与NoSQL和传统数据库系统进行了比较。介绍了面向大数据管理的在线事务处理(OLTP)的NewSQL数据库的体系结构、特点、分类。它还在单独的分类表中提供了流行的NoSQL和NewSQL数据库的列表。本文对基于SQL的RDBMS、NoSQL和NewSQL数据库进行了比较,并提出了NoSQL和NewSQL的一些研究问题。
2014-11-26 cs.DB
HISTEX (HISTory EXerciser) : A tool for testing the implementation of Isolation Levels of Relational Database Management Systems
我们提出了一个多进程的应用程序,称为HISTEX(历史EXerciser),它执行输入历史在商业DBMS平台上的通用事务符号。HISTEX可用于发现关系数据库管理系统在执行隔离级别时可能出现的错误,或发现系统过度限制的情况。它还可以用于与在真实数据库系统(而不是模拟环境)上执行的数据库工作负载相关的性能测量。HISTEX已通过使用嵌入式SQL在C中实现。然而,它的许多想法可以在新的实现中重生,这些实现可以依赖于其他数据库连接范例,如JDBC,JPA等。我们希望通过介绍其开发背后的一些想法,我们可以重新激发研究社区对这些工具的新兴趣和参与。
2019-03-02 cs.DB
Enabling On-Demand Database Computing with MIT SuperCloud Database Management System
MIT SuperCloud数据库管理系统允许快速创建和灵活执行各种最新的科学数据库,包括Apache Accumulo和SciDB。它旨在允许这些数据库在高性能计算集群(HPCC)平台上运行,就像任何其他HPCC作业一样无缝。它可以确保数据库无缝迁移到HPCC调度程序分配的资源,并在不运行时集中存储数据库文件。它还允许对数据库进行快照,以允许研究人员进行实验并推动技术的极限,而无需担心数据库变得不稳定时的数据或生产力损失。
2015-06-29 cs.DB cs.DC
Security Implications of Distributed Database Management System Models
升级分布式数据库时必须解决安全功能问题。在面向对象数据模型和关系数据模型之间的选择,需要考虑几个因素。这些因素中最重要的是单一和多级访问控制(MAC),保护和完整性维护。在确定哪个分布式数据库副本对于特定功能更安全时,不应仅根据可用的安全功能进行选择。人们还应该质疑提供这些特征的有效性和效率。本文讨论了两种数据库模型的安全性优缺点以及在分布式环境下所引发的根本性问题。
2014-01-30 cs.DB
Large-scale Biological Meta-database Management
最新的元数据库对于生物数据的分析至关重要。然而,当前生物数据的指数级增长导致元数据库大小的指数级增长。因此,大规模元数据库管理是为生物数据分析提供服务的生产平台的一个重要挑战。特别地,通常需要使用元数据库的特定版本运行分析,或者使用更新的元数据库来执行分析。我们提出了我们的GeStore方法的生物元数据库管理。它提供了特定元数据库版本的高效存储和运行时生成,以及生物数据分析工具的高效增量更新。该方法对工具是透明的,我们提供了一个框架,可以轻松地将GeStore与生物数据分析框架集成在一起。我们提出的GeStore系统,系统的性能特点的评价,并评估生物数据分析工作流程的好处。
2016-02-22 cs.DB cs.DC
GRAPHITE: An Extensible Graph Traversal Framework for Relational Database Management Systems
图遍历是各种图算法和面向图的查询的基本要素。为了实现最佳的查询性能,它们需要在数据库管理系统的核心实现,该系统旨在存储,操作和查询图形数据。越来越多的现代业务应用程序需要本机图查询和处理能力,用于对存储在关系数据库管理系统中的数据进行企业关键操作。在本文中,我们提出了一个可扩展的图形遍历框架(GRAPHITE)作为中央图形处理组件的一个共同的存储引擎内的关系数据库管理系统。我们研究了图的拓扑结构对图遍历的执行时间的影响,并推导出两个专门用于不同的图拓扑结构和遍历查询的遍历算法实现。我们对GRAPHITE进行了大量的实验,用于各种真实世界的图形数据集和输入配置。我们的实验表明,所提出的遍历算法不同的输入配置的两个数量级,因此证明需要一个通用的框架,以有效地处理图形遍历广泛的不同的图形拓扑结构和类型的查询。最后,我们强调,我们的遍历实现的查询性能是有竞争力的两个原生图数据库管理系统。
2014-12-19 cs.DB
Database-Agnostic Workload Management
我们提出了一个系统,以支持多租户和多数据库平台的通用SQL工作负载分析和管理。SQL分析应用程序在支持数据库管理、建模用户行为、审计安全和路由查询方面变得越来越复杂,但这些方法依赖于专门的特征工程,因此必须针对每个SQL方言、数据库系统和应用程序仔细实现和重新实现。与此同时,随着系统集中在云中,工作负载的规模和复杂性正在增加。我们模型的工作负载分析和管理任务的变化,查询标签,并提出了一个系统设计,可以支持跨多个应用程序和数据库后端的一般查询标签例程。该设计依赖于使用SQL查询的学习向量嵌入作为特定于应用程序的语法功能的替代品,减少了自定义代码,并允许使用现成的机器学习算法进行标记。我们在本文中提供证据的关键假设是,这些学习的特征可以在代表性的机器学习任务上优于传统的特征工程。我们提出了一个与数据库无关的工作负载管理和分析服务的设计,描述了潜在的应用程序,并表明将工作负载表示与标签任务分离提供了新的功能,并且可以优于现有的代表性任务解决方案,包括用于索引推荐的工作负载采样和用于安全审计的用户标签。
2018-08-25 cs.DB
KathDB: Explainable Multimodal Database Management System with Human-AI Collaboration
University of Washington(华盛顿大学)
KathDB是一种结合关系语义和基础模型推理能力的多模数据库管理系统,通过人机协作实现查询解析、执行和结果解释的可解释性。
2025-12-11 cs.AI cs.DB
Research Challenges in Relational Database Management Systems for LLM Queries
University of Waterloo(多伦多大学)
本文通过五个代表性查询探索两个开源系统和一个企业平台,揭示SQL调用LLM在功能、性能和可扩展性上的局限,识别结构化输出、资源利用和查询规划三大问题,并验证初步改进方案,证明LLM与DBMS紧密集成是可扩展高效处理LLM查询的关键。
2025-08-28 cs.AI cs.DB
DBTuneSuite: An Extendible Experimental Suite to Test the Time Performance of Multi-layer Tuning Options on Database Management Systems
New York University(纽约大学)
DBTuneSuite 通过实验评估不同数据库系统在多种查询负载和调优选项下的性能表现,为数据库系统优化提供实用参考。
2026-01-27 cs.DB
Enhancing Productivity in Database Management Through AI: A Three-Phase Approach for Database
本文提出一种三阶段人工智能驱动框架,通过自然语言转SQL翻译、查询执行分析及洞察生成简化PostgreSQL系统管理,提升效率、降低延迟并支持非技术用户,在多业务场景验证有效。
2025-04-12 cs.DB
Guidelines to the Problem of Location Management and Database Architecture for the Next Generation Mobile Networks
在不久的将来,预期的大量移动用户可能会引入非常大的集中式数据库,并增加HLR-VLR数据库上的位置注册和呼叫传递的端到端延迟,并且将变得不可行。在观察了几个问题后,我们提出了一些指导方针。采用了多树分布式数据库、高吞吐量索引结构、面向内存的数据库组织方式。采用重叠网络中移动用户的位置管理准则、邻居发现协议(NDP)和全局漫游规则。分析模型和例子来评估建议的指南的效率。
2013-04-10 cs.DB cs.NI
Dissociation and Propagation for Approximate Lifted Inference with Standard Relational Database Management Systems
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
大数据集上的概率推理是一个具有挑战性的数据管理问题,因为精确推理通常是P-困难的,并且目前最常用基于采样的方法近似解决。本文提出了一种替代方法的近似评估的合取查询与标准的关系数据库:在我们的方法中,每个查询完全在数据库引擎评估一个固定数量的查询计划,每个提供一个上限的真实概率,然后采取他们的最小值。我们提供了一个算法,考虑到重要的模式信息,枚举所有可能的计划中只有最小的必要计划。重要的是,该算法是所有已知的PTIME自连接自由合取查询的严格推广:当且仅当我们的算法返回一个单一的计划时,查询在PTIME中。此外,我们的方法是一个家庭的有效的排名方法从图超图的推广。我们还采用了三种关系型查询优化技术来快速评估所有必要的计划。我们给我们的方法进行了详细的实验评估,并在这个过程中,提供了一种新的思路的概率方法的非概率方法的查询答案排名的价值。我们还注意到,本文中开发的技术立即适用于解除推理统计关系模型,因为解除推理对应于PTIME计划的概率数据库。
2016-06-14 cs.AI cs.DB
Causality-Based Scores Alignment in Explainable Data Management
University of Edinburgh(爱丁堡大学);Carleton University(卡尔顿大学);IMFD
本文研究了数据库查询中因果评分的对齐问题,发现外生元组的存在对评分一致性有关键影响。
2026-04-03 cs.AI cs.DB
An introduction to Graph Data Management
图数据库是一种数据库,其中模式和/或实例的数据结构被建模为(标记的)(有向)图或其概括,并且其中查询由面向图的操作和类型构造器表示。在这篇文章中,我们介绍了图形数据库的基本概念,给出了它的主要发展的历史概述,并研究了实现它们的主要当前系统。
2017-12-29 cs.DB
PolyMemDB: A Polyglot Database System for AI Memory Management
University of Helsinki(赫尔辛基大学)
针对现有智能体记忆系统的存储碎片化与事实冲突问题,推出PolyMemDB多语言数据库系统,通过多语言存储架构与概率推理引擎管理智能体记忆,以减少LLM幻觉并提升个性化体验。
2026-10-26 cs.AI cs.DB
Utilizing deep learning for automated tuning of database management systems
Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本研究针对数据库系统配置难题,基于 OtterTune 框架,利用监督与无监督机器学习技术,通过引入 GMM 聚类和集成模型优化延迟预测,提升了新 DBMS 部署的自动调优效果。
2023-06-25 cs.AI cs.DB
The Causal-Effect Score in Data Management
Carleton University(卡尔顿大学)
本文在经典与概率数据库中引入并推广因果效应分数,用于度量元组对查询回答的因果强度,拓展了因果效应在数据管理归因中的应用。
2025-09-20 cs.AI cs.DB
bdbms -- A Database Management System for Biological Data
生物学家越来越多地使用数据库来存储和管理他们的数据。生物数据库通常由原始数据、元数据、序列、注释和从各种来源获得的相关数据的混合物组成。目前的数据库技术缺乏生物数据库所需的几个功能。本文介绍了一个支持生物学数据的可扩展原型数据库管理系统bdbms。bdbms扩展了当前DBMS的功能,包括:(1)注释和起源管理,包括作为bdbms中的第一类对象的注释和起源的存储、索引、操纵和查询,(2)本地依赖性跟踪,以跟踪数据项之间的依赖性和派生,(3)更新授权,以通过基于内容的授权来支持数据整理,与基于身份的授权相反,以及(4)支持对各种类型的压缩生物数据类型的模式匹配的新的访问方法及其支持算子。本文介绍了bdbms的设计以及支持这些功能的技术,包括对SQL的扩展。我们还概述了一些开放的问题,在建设bdbms。
2006-12-22 cs.DB
Evolution of Buffer Management in Database Systems: From Classical Algorithms to Machine Learning and Disaggregated Memory
The Pennsylvania State University(宾夕法尼亚州立大学)
本文综述了数据库系统缓冲管理从经典算法到机器学习和解耦内存的演变,探讨了历史架构、生产系统实现及新兴趋势,并提出融合机器学习与内核可扩展性的研究方向。
2025-12-28 cs.DB
Towards a Holistic Integration of Spreadsheets with Databases: A Scalable Storage Engine for Presentational Data Management
电子表格软件是交互式临时数据管理的首选工具,已被数十亿用户采用。然而,与数据库系统不同,电子表格是不可伸缩的。另一方面,数据库系统虽然具有高度可伸缩性,但不支持作为第一级原语的交互性。我们正在开发DataSpread,将电子表格作为前端接口与数据库作为后端接口进行整体集成,为电子表格提供可扩展性,并与数据库进行交互,我们将这种集成称为表示数据管理(PDM)。在本文中,我们朝着这个愿景迈出了第一步:开发一个存储引擎的PDM,研究如何灵活地表示数据库中的电子表格数据,以及如何支持和维护访问的位置。我们首先进行了广泛的调查,电子表格的使用,以激励我们的功能需求的存储引擎的PDM。我们开发了一套自然的机制,灵活地表示电子表格数据,并证明,确定最佳的表示是NP难的,但是,我们开发了一种有效的方法来确定最佳的表示从一个重要的和直观的子类表示。我们扩展我们的机制,位置访问机制,不遭受级联更新问题,导致恒定的时间访问和修改性能。我们在典型的电子表格和电子表格操作的工作负载上对这些表示进行了评估,存储减少了20%,公式评估时间减少了50%。
2017-10-06 cs.DB
Attribution-Scores in Data Management and Explainable Machine Learning
SKEMA Business School(SKEMA商学院)
本文介绍了实际因果性中的责任分数在数据库查询答案解释和机器学习分类模型输出解释中的应用,说明了与数据库修复的联系,扩展了分类模型的责任分数,并讨论了Shap-score的高效计算。
2023-07-31 cs.AI cs.DB cs.LG
Relational databases for data management in PHENIX
PHENIX是布鲁克海文国家实验室(BNL)相对论重离子对撞机(RHIC)的两个大型实验之一,每年存档约100 TB的实验数据。此外,在多个非现场计算中心产生大量模拟数据。对于任何在数据管理中扮演中心角色的文件目录,它都必须面对与分布式访问和更新需求相关的问题。为了被12个国家的数百名PHENIX合作者有效地使用,目录必须满足以下要求:1)包含最新的数据,2)提供快速可靠的数据访问,3)对存储部分数据的网站具有写入权限。我们提出了一个分析几个可用的关系数据库管理系统(RDBMS),以支持一个目录满足上述要求,并讨论了PHENIX的经验与建设和使用的分布式文件目录。
2003-06-04 cs.DB
WiSeDB: A Learning-based Workload Management Advisor for Cloud Databases
云数据库的数据库管理必须以满足应用程序性能目标的方式处理资源配置,查询放置和查询调度任务,同时最大限度地降低使用云资源的成本。现有的解决方案孤立地处理这三个挑战,并且只考虑特定类型的性能目标。在本文中,我们介绍了WiSeDB,一个基于学习的框架,用于生成定制的应用程序定义的性能指标和工作负载特性的整体工作负载管理解决方案。我们的方法依赖于监督学习训练成本效益的决策树模型,用于指导查询放置,调度和资源配置决策。应用程序可以将这些模型用于传入工作负载的批处理和在线调度。我们的系统的一个独特功能是,它可以调整其离线模型,以更严格/更宽松的性能目标,最小的重新训练。这使我们能够提出替代的工作负载管理策略,解决云服务的典型性能与成本权衡。实验结果表明,我们的方法具有非常低的训练开销,同时为各种性能目标和工作负载特性提供低成本的策略。
2016-04-30 cs.DB
Sieve: A Middleware Approach to Scalable Access Control for Database Management Systems
当前在数据库管理系统(DBMS)中实施FGAC的方法在策略数量为数千的情况下不能扩展。本文在新兴智能空间的背景下确定了这样一个用例,其中立法可能要求系统(如欧洲的GDPR和加利福尼亚州的CCPA)授权用户指定谁可以访问他们的数据以及用于什么目的。我们提出了Sieve,在现有的数据库系统中实现FGAC的分层方法,它利用了各种它的功能,如UDF,索引使用提示,查询解释,扩展到大量的政策。给定一个查询,Sieve利用它的上下文来过滤需要检查的策略。Sieve还生成保护表达式,通过对策略进行分组来节省评估成本,并通过利用数据库索引来削减读取成本。我们的实验结果,在两个DBMS和两个不同的数据集上,显示Sieve可扩展到大型数据集和大型策略语料库,从而支持包括新兴智能环境在内的应用程序的实时访问。
2020-06-17 cs.DB
The Shapley Value in Database Management
本文综述了Shapley值在数据库管理中的应用,重点总结了度量元组对查询答案和完整性约束不一致程度贡献时的计算复杂性上下界及实际实现方案。
2024-01-11 cs.DB
Adaptive Tuning Algorithm for Performance tuning of Database Management System
数据库管理系统(DBMS)的性能调优既复杂又具有挑战性,因为它涉及到识别和更改几个关键的性能调优参数。调优的质量和性能增强的程度在很大程度上取决于数据库管理员(DBA)的技能和经验。由于神经网络具有适应动态变化输入的能力,并且它们的学习能力使它们成为用于调谐目的的理想候选者。本文提出了一种基于神经网络估计整定参数的新型整定算法。关键性能指标被主动监控并作为输入馈送到神经网络,并且训练的网络估计缓冲区高速缓存、共享池和重做日志缓冲区大小的合适大小。调谐器使用速率变化计算算法使用估计值来改变这些调谐参数。初步结果表明,该方法是有效的,提高查询响应时间的各种工作负载类型。.
2010-05-06 cs.DB
Development of a Web-based Research Consortium Database Management System: Advancing Data-driven and Knowledge-based Project Management
针对菲律宾CLAARRDEC研发活动监测评估难题,开发含数据管理、实时监测双模块的Web数据库系统,提升联盟数据利用效率与协作决策能力,且可推广至其他研究联盟。
2024-11-01 cs.CY cs.DB
AIM: A practical approach to automated index management for SQL databases
Meta Platforms, Inc.(Meta平台公司)
提出AIM自动索引管理系统,通过配置化方法识别SQL数据库中的有效二级索引,优化资源利用,并在生产环境中验证了快速收敛、减少查询优化器依赖和无回归保证等特性。
2026-05-29 cs.DB
Blockchain-based vs. SQL Database Systems for Digital Twin Evidence Management: A Comparative Forensic Analysis
本文比较了区块链与SQL数据库在数字孪生证据管理中的性能,发现区块链在数据完整性上更优,但传统数据库在性能一致性方面表现更好。
2025-11-29 cs.CR cs.DB
Modeling and In-Database Management of Relational, Data-Aware Processes (Extended Version)
在过去的二十年里,人们越来越认识到,信息系统的工程通常需要在集成主数据和业务流程方面付出巨大的努力。这导致了来自学术界和工业界的大量建议。然而,这样的方法通常带有特定的抽象来表示数据组件并与之交互。这有两个缺点。一方面,它们不能用于轻松地用动态来丰富现有的关系数据库。另一方面,它们一般不允许综合建模、验证和颁布。我们攻击这两个挑战,提出了一个声明性的方法,完全基于SQL,支持直接在关系数据库上的关系数据感知过程的敏捷建模。我们展示了这种方法如何自动转换为具体的过程化SQL方言,可以在任何关系数据库引擎内直接执行。该转换利用了过程状态的数据库内表示,该过程状态又用于在记录或不记录执行实例的情况下立即处理过程制定以及过程验证。该方法已在一个工作原型中实现。
2019-07-08 cs.DB
Taurus: Lightweight Parallel Logging for In-Memory Database Management Systems (Extended Version)
现有的单流日志记录方案不适合内存数据库管理系统(DBMS),因为单个日志通常是性能瓶颈。为了克服这个问题,我们提出了金牛座,一个有效的并行日志记录计划,使用多个日志流,并与数据和命令日志记录兼容。Taurus使用日志序列号(LSNs)向量跟踪和编码事务依赖关系。这些向量确保在日志记录中完全捕获依赖关系,并在恢复中正确实施。我们的实验评估与内存中的DBMS表明,金牛座的并行日志记录实现高达9.9倍和2.9倍的加速比单流数据记录和命令记录,分别。它还使DBMS恢复速度分别比数据和命令日志记录的基线快22.9倍和75.6倍。我们还将Taurus与两种最先进的并行日志记录方案进行了比较,结果表明,DBMS在NVMe驱动器上的性能提高了2.8倍,在HDD上提高了9.2倍。
2020-10-14 cs.DB
The Forgotten Document-Oriented Database Management Systems: An Overview and Benchmark of Native XML DODBMSes in Comparison with JSON DODBMSes
在当前的大数据背景下,已经提出并实现了许多新的NoSQL解决方案,用于存储,管理和从半结构化数据中提取信息和模式。这些解决方案通过引入半结构化和灵活的模式设计来缓解关系数据库中存在的刚性数据结构的问题。由于当前由不同来源和设备生成的数据,特别是来自物联网传感器和执行器的数据,根据应用程序的不同,使用XML或JSON格式,因此需要以XML格式存储和查询半结构化数据的数据库技术。因此,原生XML数据库最初被设计为使用标准化的查询语言来操作XML数据,即,XQuery和MySQL被重新命名为NoSQL面向文档的数据库系统。目前,这些解决方案中的大多数已经被更现代的基于JSON的数据库管理系统所取代。但是,我们相信基于XML的解决方案仍然可以在异构集合上执行复杂查询时提供性能。不幸的是,现在的研究缺乏对以XML存储和查询文档的数据库技术与更现代的JSON格式的可伸缩性和性能的明确比较。此外,据我们所知,这些数据库技术没有符合大数据的基准。在本文中,我们提出了一个比较选定的面向文档的数据库系统,要么使用XML格式编码的文件,即,BaseX、eXist-db和Sedna,或者JSON格式,即,MongoDB、CouchDB和Couchbase。为了强调性能差异,我们还提出了一个基准测试,使用一个大型DBLP语料库上的异构复杂模式。
2021-02-03 cs.DB
Cover Story Management
在多级数据库中,封面故事通常使用多实例化的二义性技术进行管理。在本文中,我们定义了一种新的技术来管理封面故事,并提出了一个正式的表示包含封面故事的多级数据库。我们的模型旨在成为一个通用的模型,也就是说,它可以被解释为任何类型的数据库(例如,关系型,面向对象等)。然后,我们考虑的问题,更新一个多级数据库包含封面故事管理与我们的技术。
2014-05-22 cs.CR cs.DB cs.LO
Future Robotics Database Management System along with Cloud TPS
Thiagarajar School of management(蒂亚加拉贾管理学院);Sastra University(萨斯特拉大学)
本文讨论机器人技术中的存储管理问题。在我们的建议中,我们打破了创造人形的主要问题之一。.数据库问题是机器人模式设计中的一个复杂问题,在我们的建议中,我们提出了一个新的概念,称为NOSQL数据库,用于有效的数据检索,使人形机器人将获得大量的思维能力,在搜索每个项目使用链指令。对于机器人中的查询事务,我们需要一个有效的一致性事务,因此通过使用最新的技术CloudTPS,它保证了完整的ACID属性,以便机器人可以使用多项事务进行查询,通过这个我们在数据检索中获得数据一致性。此外,我们还引入了map reduce概念,它可以将作业拆分到各个工作者,以便以并行的方式处理数据。
2011-12-09 cs.DB cs.RO
Data Management for High-Throughput Genomics
今天的测序技术允许在几周内对单个基因组进行测序,其成本仅为原始人类基因组计划的一小部分。基因组学实验室每周都要处理数十TB的数据,这些数据必须自动处理并提供给科学家进行进一步分析。本文探讨了使用关系数据库系统作为高通量基因组学数据处理平台的潜力和局限性。特别是,我们感兴趣的高吞吐量序列数据的存储管理,并在利用SQL和用户定义的功能,数据库系统内的数据分析。我们概述了高通量基因组学的数据库设计,以及如何以一些非常规方式使用SQL Server数据库来构建此场景的原型,并且我们将讨论有关这种更加以数据库为中心的方法的可扩展性和性能的一些初步发现。
2009-09-09 cs.DB q-bio.GN
WikiDBGraph: A Data Management Benchmark Suite for Collaborative Learning over Database Silos
National University of Singapore(新加坡国立大学)
WikiDBGraph通过构建大规模现实数据库数据集,评估协作学习在处理现实数据孤岛中的有效性与局限性,揭示了现有方法在实际部署中的不足。
2026-03-09 cs.DB cs.LG
Imperfect Knowledge Management (IKM) in GEFRED (GENeralized model for Fuzzy RElational Databases)
本文针对涂布纸板生产中的不完美知识管理,提出利用GEFRED模型在Oracle 8i中构建模糊元知识库的协议,以处理经典与模糊属性下的质量评估。
2025-02-25 cs.DB
Database management system performance comparisons: A systematic literature review
本文系统性综述了数据库管理系统性能比较的研究,发现现有测试常脱离真实用例且细节不足,难以复现和得出结论,并为工业界与学术界提供了相关建议。
2023-11-27 cs.DB cs.PF
Columnar Storage and List-based Processing for Graph Database Management Systems
我们重新审视面向列的存储和查询处理技术的背景下,当代图形数据库管理系统(GDBMS)。与面向列的RDBMS类似,GDBMS支持读取繁重的分析工作负载,但与传统的分析工作负载相比,这些工作负载具有根本不同的数据访问模式。首先,我们推导出一套必要的优化存储和查询处理器的GDBMS的访问模式的基础上。然后,我们提出了设计的列存储,压缩和查询处理技术的基础上,这些desiderata。除了显示从列式RDBMS的现有技术的直接集成,我们还提出了新的GDBMS的优化。这些包括一个新的基于列表的查询处理器,它避免了传统的基于块的处理器在多对多连接下的昂贵的数据副本,一个新的数据结构,我们称之为单索引的边缘属性页和一个伴随的边缘ID计划,以及一个新的应用Jacobson的位向量索引压缩NULL值和空列表。我们将我们的技术集成到GraphflowDB内存GDBMS中。通过大量的实验,我们证明了我们的技术的可扩展性和查询性能的好处。
2021-10-27 cs.DB
Bhakti: A Lightweight Vector Database Management System for Endowing Large Language Models with Semantic Search Capabilities and Memory
本文开发了轻量级向量数据库Bhakti,支持多种相似度计算与DSL预过滤,并提出基于该库的记忆增强LLM对话方案,通过为问答分配不同权重实现细粒度语义控制,在中小型数据集的语义搜索与问答场景中表现优异。
2025-04-07 cs.DB
RadegastXDB - Prototype of Native XML Database Management System: Technical Report
在过去的二十年里,XML数据处理已经取得了很多进展。针对小枝模式查询的高效处理,已有许多方法。然而,将TPQ包含到XQuery编译器中并不是一项简单的任务,当前的XML DBMS处理XQuery时没有任何TPQ检测。在本文中,我们展示了我们的原型的原生XML数据库管理系统RadegastXDB,使用TPQ检测,以加速结构的Xerosion。这样的检测允许我们利用最先进的TPQ处理算法。实验结果表明,对于结构化查询,这些算法和最先进的XML索引技术使我们的原型比目前所有的XML数据库管理系统,特别是对大型数据汇集的速度。我们还表明,使用相同的技术也是有效的处理查询的值谓词。
2019-03-14 cs.DB
INSTRUCT: Space-Efficient Structure for Indexing and Complete Query Management of String Databases
搜索引擎、词典和同义词词典存储以及其他文本挖掘应用的巨大扩展,与容易获得的扫描设备和光学字符识别工具的普及相结合,使得对于各种现代应用的大量文本数据库的有效存储、检索和管理成为必要。对于这样的应用程序,我们提出了一种新的数据结构,INFECT,有效地存储和管理的序列数据库。我们的结构使用位向量重用的存储空间,共同的三元组,因此,有一个非常低的内存需求。除了精确的字符串搜索操作之外,INCLUCT还通过迭代地检查三元组的存在来有效地处理前缀和后缀搜索查询。我们还提出了一个扩展的结构,以有效地处理子串搜索,虽然增加了空间的要求。这个扩展是很重要的,在上下文的trie为基础的解决方案,无法有效地处理这样的查询。我们进行了几个实验,描绘INDROCT优于现有的结构,近两个因素的空间需求方面,而查询时间更好。除了支持所有类型的查询(包括精确搜索、前缀/后缀搜索和子串搜索)之外,还能够处理字符串的插入和删除,这使得INCLECT成为一个完整的数据结构。
2012-07-03 cs.DB cs.DS
Query-driven Data Completeness Management (PhD Thesis)
关于数据完整性的知识本质上是数据支持的决策。在这篇论文中,我们提出了一个基于元数据的数据库完整性评估框架。我们讨论了如何表达有关数据完整性的信息,以及如何使用这些信息来得出有关查询答案的完整性的结论。特别是,我们介绍了形式主义的完整性说明部分关系数据库。然后,我们提出的技术,这样的语句和语句之间的推理查询答案的完整性,并展示了如何将技术扩展到包含空值的数据库。我们表明,关系数据库的框架可以转移到RDF数据,类似的框架也可以应用于空间数据。我们还讨论了如何完整性信息可以验证过程中,并介绍了一个数据感知的过程模型,允许这种验证。
2015-04-01 cs.DB
QCE'24 Tutorial: Quantum Annealing -- Emerging Exploration for Database Optimization
本教程系统介绍量子退火技术,并演示其在数据库优化中的应用,包括连接顺序优化、事务调度和虚拟机分配,旨在为数据库领域提供量子计算优化的理论与实践指导。
2024-11-07 cs.DB quant-ph
NeurStore: Efficient In-database Deep Learning Model Management System
National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
本文提出NeurStore,一种数据库内深度学习模型管理系统,通过基于张量的细粒度存储、增量量化算法和压缩感知加载机制,实现高效存储与利用,显著提升压缩比和加载吞吐量。
2025-09-14 cs.DB cs.LG
Comprehensive online Atomic Database Management System (DBMS) with Highly Qualified Computing Capabilities
原子数据在各种应用(如聚变能和天体物理学、激光产生、等离子体研究和等离子体处理)中的需求不断扩大。本文将介绍我们正在进行的研究工作,即利用SQLite(http://www.sqlite.org/about.html)建立一个全面、完整、最新、用户友好和在线的原子数据库管理系统(AIMS)(8)。编程语言工具和技术将不在此讨论。该系统允许基于专业在线原子计算器生成各种原子数据。正在进行的工作是向前迈出的一步,使详细的原子模型可供广泛的实验室和天体物理等离子体诊断社区使用。AIMS是一个专业的全球性工具,用于支持若干教育目的,可被视为原子能机构原子数据库的补充数据库。此外,这将是一个特殊的战略,将输出数据的几个原子代码的外部光谱模型。
2011-05-27 astro-ph.CO astro-ph.IM cs.DB
Prompt as a Data Type: In-Database LLM Prompt Management and Rewriting
Department of Computing and Mathematics University of Sao Paulo(计算机与数学系 乌拉圭圣保罗大学);Department of Information Systems University of Münster(信息系统系 梅茵斯特大学)
研究如何在数据库中管理和重写大语言模型提示。核心方法是引入PromptDB系统,将提示视为元组级数据库值,利用数据库元数据重写提示。主要贡献是创造新优化空间,经实验验证数据库引导重写可提高输出有效性并权衡成本质量。
2026-07-27 cs.DB cs.LG
Property Graph Techniques in Relational Databases
University of the West of Scotland(西苏格兰大学);Reutlingen University(雷特林根大学)
本文研究将SQL外键建模为引用键,实现关系型数据库与属性图数据库的统一,支持PGDMS的图操作及多类型图模型构建。
2026-08-12 cs.DB
Performance of Graph Database Management Systems as route planning solutions for different data and usage characteristics
本研究针对自动驾驶集中式路径规划场景,分析影响图数据库性能的用例特征,评估Neo4j与ArangoDB的表现,为数据库选型及应用性能优化提供依据。
2023-06-12 cs.DB cs.SY eess.SY
Towards Eco-friendly Database Management Systems
数据库管理系统(DBMS)在很大程度上忽略了管理查询处理期间消耗的能量的任务。经济和环境因素都要求DBMS密切关注能源消耗。在本文中,我们处理这个问题,考虑能源消耗作为一个一流的性能目标,在DBMS中的查询处理。我们提出了两个具体的技术,可以使用的DBMS直接管理的能源消耗。这两种技术都以能耗换取性能。第一种技术称为PVC,利用现代处理器在较低处理器电压和频率下执行的能力。第二种技术称为QED,使用查询聚合来利用工作负载中查询的常见组件。在一个商业数据库管理系统和MySQL上进行的实验表明,PVC可以使处理器能耗降低49%,而响应时间仅增加3%.在MySQL上,PVC可以减少20%的能耗,而响应时间损失仅为6%。对于简单的选择查询没有谓词重叠,我们表明,量子电动力学可以用来优雅地交易响应时间的能量,减少了54%的平均响应时间增加43%的能源消耗。在本文中,我们还强调了一些研究问题,在新兴领域的节能数据处理。
2009-09-09 cs.DB
Tempo: Robust and Self-Tuning Resource Management in Multi-tenant Parallel Databases
多租户数据库系统有一个称为资源管理器(Resource Manager)或RM的组件,负责向租户分配资源。目前的RM不直接支持性能目标,例如:“租户A的平均作业响应时间必须小于两分钟”,或“租户B的作业中不能超过5%的作业错过1小时的截止时间”。因此,DBA必须修改RM的低级配置设置以满足这些目标。我们提出了一个名为Tempo的框架,为现有的RM带来了简单性,自调优和鲁棒性。Tempo为DBA提供了一个简单的接口,以声明方式指定性能目标,并优化RM配置设置以满足这些目标。Tempo具有坚实的理论基础,可以保证密钥的鲁棒性。我们报告了使用Facebook和Cloudera等公司的数据处理工作负载的生产跟踪在Tempo上进行的实验。这些实验证明了在满足由人类专家指定的RM配置设置的期望性能目标方面的显著改进。
2015-12-02 cs.DB