Towards Big Data Modeling and Management Systems: From DBMS to BDMS
本文探讨企业实施大数据战略时在建模与管理方面面临的挑战，强调理解数据建模及处理复杂数据的重要性，推动从 DBMS 向 BDMS 演进。
2023-09-15 cs.DB
Taurus: Lightweight Parallel Logging for In-Memory Database Management Systems (Extended Version)
现有的单流日志记录方案不适合内存数据库管理系统（DBMS），因为单个日志通常是性能瓶颈。为了克服这个问题，我们提出了金牛座，一个有效的并行日志记录计划，使用多个日志流，并与数据和命令日志记录兼容。Taurus使用日志序列号（LSNs）向量跟踪和编码事务依赖关系。这些向量确保在日志记录中完全捕获依赖关系，并在恢复中正确实施。我们的实验评估与内存中的DBMS表明，金牛座的并行日志记录实现高达9.9倍和2.9倍的加速比单流数据记录和命令记录，分别。它还使DBMS恢复速度分别比数据和命令日志记录的基线快22.9倍和75.6倍。我们还将Taurus与两种最先进的并行日志记录方案进行了比较，结果表明，DBMS在NVMe驱动器上的性能提高了2.8倍，在HDD上提高了9.2倍。
2020-10-14 cs.DB
Specifying Data Bases Management Systems by Using RM-ODP Engineering Language
分布式系统可能非常庞大和复杂。影响其设计的各种考虑因素可能会导致大量规范，这需要一个必须成功管理的结构化框架。RMODP的目的是定义这样一个框架。开放式分布式处理参考模型（RM-ODP）提供了一个框架，在该框架内可以集成对分布、互操作和可移植性的支持。它定义了：一个对象模型，体系结构的概念和体系结构的ODP系统的开发方面的五个观点。其中包括信息观点。由于使用的数据库管理系统（DBMS）在复杂的网络中大大增加，我们有兴趣，在我们的工作中，通过使用三个模式（静态，动态，不变）在给DBMS规范。本文件的结构安排如下。在文献回顾之后，我们将描述在这项工作中被称为数据库管理系统（DBMS）对象模型的概念的子集。在第三部分中，我们将通过描述DBMS对象来对工程语言和DMBS结构感兴趣。最后，我们将提出DBMS工程规范，并建立模型与实例之间的连接。这介绍了我们在这里描述的语义方法的基本形式。
2011-02-25 cs.DB
Towards Eco-friendly Database Management Systems
数据库管理系统（DBMS）在很大程度上忽略了管理查询处理期间消耗的能量的任务。经济和环境因素都要求DBMS密切关注能源消耗。在本文中，我们处理这个问题，考虑能源消耗作为一个一流的性能目标，在DBMS中的查询处理。我们提出了两个具体的技术，可以使用的DBMS直接管理的能源消耗。这两种技术都以能耗换取性能。第一种技术称为PVC，利用现代处理器在较低处理器电压和频率下执行的能力。第二种技术称为QED，使用查询聚合来利用工作负载中查询的常见组件。在一个商业数据库管理系统和MySQL上进行的实验表明，PVC可以使处理器能耗降低49%，而响应时间仅增加3%.在MySQL上，PVC可以减少20%的能耗，而响应时间损失仅为6%。对于简单的选择查询没有谓词重叠，我们表明，量子电动力学可以用来优雅地交易响应时间的能量，减少了54%的平均响应时间增加43%的能源消耗。在本文中，我们还强调了一些研究问题，在新兴领域的节能数据处理。
2009-09-09 cs.DB
Modular Fault-Tolerant DBMS
针对极端环境下资源受限的存储问题，提出一种模块化容错DBMS，实现RAM容错编码并最小化位错误影响，软件可测试并与现有方案比较。
2025-05-21 cs.DB
Marlin: Efficient Coordination for Autoscaling Cloud DBMS (Extended Version)
针对云数据库控制平面依赖外部融合协调服务存在的扩展性、成本与运维问题，本研究提出云原生协调机制Marlin，通过解耦协调功能、整合进现有数据库并优化提交协议，实现了更高的成本效率和更快的重配置速度。
2025-08-03 cs.DB
MorphingDB: A Task-Centric AI-Native DBMS for Model Management and Inference
Zhejiang University（浙江大学）；Institute of Computing Innovation, Zhejiang University（浙江大学计算创新学院）
MorphingDB是一种以任务为中心的AI原生数据库管理系统，通过自动化模型存储、选择和推理，提升模型管理和推理效率。
2025-11-26 cs.DB
DBMS-LLM Integration Strategies in Industrial and Business Applications: Current Status and Future Challenges
本文综述 DBMS 与 LLM 集成的最新进展，按核心设计原则、优势与权衡归纳五类架构模式，并指出实现可扩展高效集成所面临的关键开放挑战。
2025-07-25 cs.DB
RadegastXDB - Prototype of Native XML Database Management System: Technical Report
在过去的二十年里，XML数据处理已经取得了很多进展。针对小枝模式查询的高效处理，已有许多方法。然而，将TPQ包含到XQuery编译器中并不是一项简单的任务，当前的XML DBMS处理XQuery时没有任何TPQ检测。在本文中，我们展示了我们的原型的原生XML数据库管理系统RadegastXDB，使用TPQ检测，以加速结构的Xerosion。这样的检测允许我们利用最先进的TPQ处理算法。实验结果表明，对于结构化查询，这些算法和最先进的XML索引技术使我们的原型比目前所有的XML数据库管理系统，特别是对大型数据汇集的速度。我们还表明，使用相同的技术也是有效的处理查询的值谓词。
2019-03-14 cs.DB
A New Technique to Backup and Restore DBMS using XML and .NET Technologies
本文提出了一种新的数据库管理系统（DBMS）备份和恢复技术。该技术利用ASP.NET和XML技术，通过一个统一的接口，实现了数据库的部分或全部备份和恢复。它提供了一个Web解决方案，允许管理员从本地或远程的任何地方完成他们的工作。为了说明我们的解决方案的重要性，我们已经采取了两个案例研究，Oracle 11g和SQL Server 2008。
2011-11-23 cs.DB
The Evolution of the Computerized Database
数据库，相关数据的集合，和文字一样古老。数据库可以是任何东西，从家庭主妇的金属配方文件到复杂的数据仓库。然而今天，当我们想到数据库时，我们总是想到计算机化的数据及其DBMS（数据库管理系统）。我们是如何从一个简单的金属文件盒或橱柜中组织我们的数据到将我们的数据存储在一个复杂的计算机化数据库中的？计算机化数据库是如何发展的？本文定义了数据库的含义。它追溯了数据库的演变，从一开始的非计算机化的相关数据集，到现在的标准计算机化的关系数据库管理系统（关系数据库管理系统）。回顾了早期的计算机存储方法，包括索引顺序存取方法和虚拟存储存取方法。早期的数据库模型，包括网络和层次数据库模型进行了探讨。最后讨论了关系数据库、对象关系数据库和面向对象数据库模型。附录中的图表，包括层次发生树，网络模式，ER（实体关系）和UML（统一建模语言）图，包括支持文本。本文最后探讨了DBMS发展的当前和未来趋势。它讨论了影响这些趋势的因素。它深入探讨了DBMS和日益流行的面向对象开发方法之间的关系。最后，对DBMS的未来进行了展望。
2003-05-21 cs.DB
Page-Differential Logging: An Efficient and DBMS-independent Approach for Storing Data into Flash Memory
闪存由于其相对于磁盘的突出优点而被广泛用作轻量级计算设备中的辅存。闪存具有许多不同于磁盘的存取特性，如何充分利用这些特性正成为一个重要的研究课题。存在两种将数据存储到闪存中的现有方法：基于页的和基于日志的。前者具有良好的读操作性能，但写操作性能较差。相比之下，后者在更新较轻时具有良好的写操作性能，但读操作性能较差。在本文中，我们提出了一种新的存储数据的方法，称为页面差异日志，基于闪存的存储系统，解决了这两种方法的缺点。我们的方法的主要特点是：（1）只写在闪存中的原始页面和存储器中的最新页面之间的差异（我们定义为页面差异）;（2）只在页面需要反映到闪存中时计算和写入页面差异一次。前者与现有的基于页面的方法形成鲜明对比，这些方法写入整个页面，包括数据的更改和未更改部分，或者与基于日志的方法形成鲜明对比，这些方法跟踪页面中所有更改的历史记录。我们的方法允许仅通过修改闪存驱动器，即，它与DBMS无关。实验结果表明，对于约1Gbytes的TPC-C数据，该方法的I/O性能比现有方法提高了1.2 ~ 6.1倍。
2010-01-21 cs.DB
Reinforcement Learning based DBMS Buffer Pool Auto-Tuning for Optimal Memory Utilization
Orange（奥兰治公司）；Inria（法国国家信息与自动化研究所）；Université de Lille（里尔大学）
该研究提出基于强化学习的MicroTune系统，用于DBMS缓冲池自动调优，可在保障SLA合规的同时减少内存浪费，性能优于基线方法。
2026-08-13 cs.AI cs.DB
Comprehensive online Atomic Database Management System (DBMS) with Highly Qualified Computing Capabilities
原子数据在各种应用（如聚变能和天体物理学、激光产生、等离子体研究和等离子体处理）中的需求不断扩大。本文将介绍我们正在进行的研究工作，即利用SQLite（http：//www.sqlite.org/about.html）建立一个全面、完整、最新、用户友好和在线的原子数据库管理系统（AIMS）（8）。编程语言工具和技术将不在此讨论。该系统允许基于专业在线原子计算器生成各种原子数据。正在进行的工作是向前迈出的一步，使详细的原子模型可供广泛的实验室和天体物理等离子体诊断社区使用。AIMS是一个专业的全球性工具，用于支持若干教育目的，可被视为原子能机构原子数据库的补充数据库。此外，这将是一个特殊的战略，将输出数据的几个原子代码的外部光谱模型。
2011-05-27 astro-ph.CO astro-ph.IM cs.DB
Managing Query Compilation Memory Consumption to Improve DBMS Throughput
虽然在数据库页面缓冲池和查询执行内存分配策略之间存在已知的性能权衡，但很少有人写过查询编译内存使用对数据库管理系统（DBMS）的整体吞吐量的影响。我们提出了一个新的方面的查询优化问题，并提供了一个解决方案，在Microsoft SQL Server 2005中实现。该解决方案为各种工作负载提供稳定的吞吐量，即使内存请求超出了硬件为这些请求提供服务的能力。
2006-12-21 cs.DB
SAVIME: A Multidimensional System for the Analysis and Visualization of Simulation Data
科学应用产生了大量的数据，这给管理和分析带来了严峻的挑战。特别是，在当前的数据库管理系统的限制，防止他们在模拟应用程序中，在原位分析库，在运输中的I/O接口和科学格式的文件是首选的DBMS。为了使仿真应用程序受益于DBMS的支持，作者在他的博士论文的背景下，提出了一个名为SAVIME的系统的开发。SAVIME是一个数组数据库系统，用于管理数值模拟数据。在本文件中，作者介绍了迄今为止所做的所有工作和目前的发展状况。
2019-03-15 cs.DB
Database management system performance comparisons: A systematic literature review
本文系统性综述了数据库管理系统性能比较的研究，发现现有测试常脱离真实用例且细节不足，难以复现和得出结论，并为工业界与学术界提供了相关建议。
2023-11-27 cs.DB cs.PF
hStorage-DB: Heterogeneity-aware Data Management to Exploit the Full Capability of Hybrid Storage Systems
随着存储系统变得越来越异构和复杂，它增加了DBA的负担，即使在进行了大量人工工作之后，也会导致性能不佳。此外，现有的通过访问模式检测的基于监视的存储管理难以处理高度动态和并发的工作负载。为了最好地利用异构存储设备实现高性能，我们设计并实现了一个异构感知的DBMS存储管理的软件框架称为异构DB，语义信息是关键的存储I/O被识别和传递到存储管理器。根据收集的语义信息，请求被分为不同的类型。每种类型都分配有底层存储系统支持的适当QoS策略，以便每个请求都将由合适的存储设备提供服务。使用hash-DB，我们可以很好地利用语义信息，这些信息不能通过数据访问监控来检测，但对于混合存储系统特别重要。为了显示hash-DB的有效性，我们已经实现了一个系统原型，该原型由一个I/O请求分类启用DBMS，和一个混合存储系统，组织成一个两级缓存层次结构。我们的性能评估表明，hundre-DB可以自动作出适当的决定，在不同的存储设备的数据分配，并作出实质性的性能改善，在一个成本效益的方式。
2012-06-30 cs.DB
File mapping Rule-based DBMS and Natural Language Processing
本文描述了一种类似于自然语言结构的信息存储、提取和处理系统。对于递归推理，系统使用具有相同表示的规则作为数据。操作系统的文件映射（SHM）机制为信息的存储提供了环境。本文阐述了动态数据结构和推理规则记录语言的构造原则，考虑了现有实现的特点，并给出了在自然语言上实现语义信息检索的应用描述。
2001-06-10 cs.AI cs.CL cs.DB
Mainlining Databases: Supporting Fast Transactional Workloads on Universal Columnar Data File Formats
现代数据处理工具的激增产生了开放源列式数据格式。这些格式的优点是，它们可以帮助组织避免重复地将数据转换为每个应用程序的新格式。但是，这些格式是只读的，组织必须使用一个重量级的转换过程来从联机事务处理（OLTP）系统加载数据。我们的目标是减少甚至消除这个过程，通过开发一个存储架构的内存数据库管理系统（DBMS），是知道其数据的最终用途，并发出列存储块在一个通用的开源格式。我们对常见的分析数据格式引入了松弛，以有效地更新记录，并依靠轻量级的转换过程将块转换为冷时的读取优化布局。我们还描述了如何以最小的序列化开销从第三方分析工具访问数据。为了评估我们的工作，我们实现了基于Apache Arrow格式的存储引擎，并将其集成到DB-X DBMS中。我们的实验表明，我们的方法实现了与专用OLTP DBMS相当的性能，同时使数据导出到外部数据科学和机器学习工具的速度比现有方法快几个数量级。
2020-04-29 cs.DB
Multi-Tier Buffer Management and Storage System Design for Non-Volatile Memory
数据库管理系统（DBMS）中的缓冲器管理器的设计受易失性存储器（DRAM）和非易失性存储器的性能特性（例如，SSD）。关键的设计假设是，数据必须迁移到DRAM，以便DBMS对其进行操作，并且存储速度比DRAM慢几个数量级。但几乎与DRAM一样快的新非易失性存储器（NVM）技术的到来使之前的这些假设失效。本文介绍了用于管理和设计包括DRAM、NVM和SSD的多层存储层次结构的技术。我们的主要技术贡献是一个多层缓冲区管理器和存储系统设计师，利用NVM的特性。我们提出了一组优化的存储层次结构中的不同设备之间的数据迁移的效用最大化。我们证明，这些优化必须根据设备和工作负载的特点。鉴于此，我们提出了一种技术，用于适应这些优化，以实现一个接近最佳的缓冲区管理策略的任意工作负载和存储层次结构，而不需要任何手动调整。最后，我们提出了一个建议系统设计一个多层存储层次结构的目标工作负载和系统成本预算。我们的研究结果表明，NVM感知的缓冲区管理器和存储系统设计器提高了吞吐量，降低了不同事务和分析处理工作负载的系统成本。
2019-01-30 cs.DB
Proposed DBMS for OTT platforms in line with new age requirements
数据库管理已成为按需内容分发服务的巨大工具，提供所需的信息并为用户提供定制服务。它还在平台管理数据方面发挥着重要作用，以便最大限度地减少数据冗余。本文强调通过有效管理数据来改善平台的用户体验。请记住所有新时代的要求，特别是在COVID-19之后，订阅量的突然激增导致持份者尝试新事物以领导OTT市场。显示的集合是树的根在这里，本文通过各种表即兴目前现有的分支，并提出了一些新的功能，收集的数据可以用来为消费者引入新的和急需的查询结果。
2021-06-02 cs.DB
JetStream: Generating Verified Query Accelerators for Existing Database Systems
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
JetStream是一种为现有DBMS生成查询特定加速器的方法，可在TPC-H测试中实现对DuckDB的315倍几何平均读取加速，经验证的加速器达93倍，更新流下仍保持120倍加速。
2026-11-05 cs.DB
A Comparative Study on the Performance of the Top DBMS Systems
数据库管理系统是当今将数据组织成可以搜索和更新的集合的最可靠的手段。然而，市场上有许多DBMS系统，每个系统在可靠性、可用性、安全性和性能方面都有其优点和缺点。本文介绍了一个比较研究的性能的顶级DBMS系统。它们主要是MS SQL Server 2008、Oracle 11g、IBM DB2、MySQL 5.5和MS Access 2010。测试的目的是在不同的五个被测DBMS上执行不同复杂程度的SQL查询。这将为构建头对头比较评估铺平道路，该评估显示测试完成后每个DBMS的平均执行时间、内存使用和CPU使用。
2012-05-13 cs.DB cs.PF
A DBMS-independent approach for capturing provenance polynomials through query rewriting
University of Aveiro（阿威罗大学）；Polytechnic of Leiria（莱里亚理工学院）
提出一种基于查询重写、DBMS无关的方法，通过递归传播溯源注释支持SPJUA操作和嵌套查询，首次完整实现了基于半环理论扩展半模结构的溯源多项式，实验证明性能优于现有系统。
2025-08-20 cs.DB
Sieve: A Middleware Approach to Scalable Access Control for Database Management Systems
当前在数据库管理系统（DBMS）中实施FGAC的方法在策略数量为数千的情况下不能扩展。本文在新兴智能空间的背景下确定了这样一个用例，其中立法可能要求系统（如欧洲的GDPR和加利福尼亚州的CCPA）授权用户指定谁可以访问他们的数据以及用于什么目的。我们提出了Sieve，在现有的数据库系统中实现FGAC的分层方法，它利用了各种它的功能，如UDF，索引使用提示，查询解释，扩展到大量的政策。给定一个查询，Sieve利用它的上下文来过滤需要检查的策略。Sieve还生成保护表达式，通过对策略进行分组来节省评估成本，并通过利用数据库索引来削减读取成本。我们的实验结果，在两个DBMS和两个不同的数据集上，显示Sieve可扩展到大型数据集和大型策略语料库，从而支持包括新兴智能环境在内的应用程序的实时访问。
2020-06-17 cs.DB
On Usage of Non-Volatile Memory as Primary Storage for Database Management Systems
本文研究将非易失性存储器（NVM）用作数据库主存储的影响，以PostgreSQL为例修改存储引擎并开发预取库，实验显示查询执行时间较磁盘和NVM存储最多减少54%和17%，平均减少23%和8%。
2025-02-13 cs.DB
Apiary: A DBMS-Integrated Transactional Function-as-a-Service Framework
本文提出集成 DBMS 的 FaaS 框架 Apiary，通过统一运行时实现函数执行与数据管理的物理同置与逻辑集成，提供容错事务保证，并在微服务负载上比现有平台快 2 至 68 倍。
2023-06-30 cs.DB cs.DC
Detecting Logic Bugs of Join Optimizations in DBMS
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
TQS是一种新型测试框架，用于检测数据库管理系统中多表连接查询的逻辑错误，通过数据引导的模式和查询生成技术有效发现115个错误。
2026-02-25 cs.DB
The Sloan Digital Sky Survey Science Archive: Migrating a Multi-Terabyte Astronomical Archive from Object to Relational DBMS
斯隆数字巡天科学档案馆是天文学和其他数据密集型科学的一系列多TB数字档案中的第一个。为了便于SDSS存档中的数据采掘，我们采用了一个商业数据库引擎，并在其上构建了专门的工具。最初，我们选择了一个面向对象的数据库管理系统，由于其数据组织能力，平台独立性，查询性能和概念上适合的数据。然而，在项目的前几年使用对象数据库之后，它很快就开始在查询支持和数据采掘性能方面出现不足。这是由于数据库供应商无法响应我们对功能和错误修复的需求，因为他们未能跟上硬件性能的快速改进，特别是更快的RAID磁盘系统。最后，我们被迫放弃对象数据库，将我们的数据迁移到关系数据库。我们在下面描述了我们在对象数据库方面所面临的技术问题，以及我们如何以及为什么迁移到关系技术。
2004-03-12 cs.DB
A Benchmark for Databases with Varying Value Lengths
本文扩展YCSB基准测试引入“extend”操作以模拟值长度增长，评估MongoDB、MariaDB等DBMS在可变大小值下的性能差异，提出隔离数据大小分布影响与更新历史访问成本的新基准方法。
2025-08-11 cs.DB
DemoTuner: Automatic Performance Tuning for Database Management Systems Based on Demonstration Reinforcement Learning
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；School of Software Engineering, Sun Yat-sen University（中山大学软件工程学院）
DemoTuner通过LLM辅助的演示强化学习方法，利用文档中的调优提示提升数据库管理系统参数调优效果，实现性能提升和效率优化。
2026-01-16 cs.DB cs.LG
Detecting Optimization Bugs in Database Engines via Non-Optimizing Reference Engine Construction
数据库管理系统（DBMS）被广泛使用。为了有效地访问数据，他们应用了复杂的优化。不正确的优化可能会导致逻辑错误，从而导致查询计算出不正确的结果集。我们提出了非优化引用引擎构造（NoREC），一种全自动的方法来检测DBMS中的优化错误。从概念上讲，这种方法旨在通过优化和非优化版本的DBMS来评估查询，然后检测它们返回的结果集中的差异，这将表明DBMS中存在错误。获得DBMS的非优化版本是具有挑战性的，因为DBMS通常对优化提供有限的控制。我们的核心见解是，一个给定的，潜在的随机生成的优化查询可以重写为一个DBMS不能优化。评估该未优化的查询有效地对应于执行原始查询的非优化引用引擎。我们在四个广泛使用的DBMS上进行了广泛的测试活动，即PostgreSQL，MariaDB，SQLite和CockroachDB。我们在这些系统的最新版本中发现了159个以前未知的错误，其中141个已经被开发人员修复。其中，51个是优化错误，其余的是错误和崩溃错误。我们的研究结果表明，NoREC是有效的，通用的，需要很少的实施工作，这使得该技术在实践中广泛适用。
2020-07-16 cs.DB cs.SE
Updatable Learned Indexes Meet Disk-Resident DBMS -- From Evaluations to Design Choices
本研究在磁盘环境下实现并对比四种前沿可更新学习型索引与B+-树的性能，总结其优劣与五类共性缺陷，提出四项指导磁盘可更新学习型索引设计的原则。
2023-05-02 cs.DB
A Case for A Collaborative Query Management System
在过去的40年中，数据库管理系统（DBMS）已经发展到提供各种复杂的数据管理功能。与此同时，用于管理对数据的查询的工具仍然相对原始。其中一个原因是查询通常是通过应用程序发出的。因此，它们被调试一次并重复使用。然而，这种互动模式正在发生变化。随着科学家（和其他人）在数据中心存储和共享越来越多的大量数据，他们需要通过发出探索性查询来分析数据的能力。在本文中，我们认为，在这些新的设置，数据管理系统必须提供强大的查询管理功能，从查询浏览自动查询建议。我们首先讨论了一个协同查询管理系统的要求。我们概述了一个早期的系统架构，并讨论了许多与建立这样一个引擎相关的研究挑战。
2009-09-09 cs.DB
A Unified Transferable Model for ML-Enhanced DBMS
Alibaba Group（阿里巴巴集团）；Massachusetts Institute of Technology（麻省理工学院）；University of Technology Sydney（悉尼科技大学）；University of Science and Technology of China（中国科学技术大学）
最近，数据库管理系统（DBMS）社区见证了用于DBMS任务的机器学习（ML）解决方案的强大功能。尽管这些现有的解决方案具有良好的性能，但很难被认为是令人满意的。首先，DBMS中这些基于ML的方法不够有效，因为它们针对每个特定任务进行了优化，并且无法探索或理解任务之间的内在联系。其次，训练过程有严重的局限性，这阻碍了它们的实用性，因为它们需要从头开始重新训练整个模型以获得新的数据库。此外，对于每次再训练，它们需要过量的训练数据，这对于获取是非常昂贵的并且对于新DB是不可用的。我们建议探索ML方法在任务和DB之间的可转移性，以解决这些基本缺陷。在本文中，我们提出了一个统一的模型MTMLF，它使用多任务训练过程来捕获跨任务的可转移知识和预训练微调过程来提取跨数据库的可转移Meta知识。我们相信这种范式更适合云数据库服务，并有可能彻底改变ML在DBMS中的使用方式。此外，为了证明MTMLF的预测能力和可行性，我们提供了一个具体的和非常有前途的案例研究查询优化任务。最后但并非最不重要的是，我们讨论了沿着这条工作线的几个具体的研究机会。
2021-11-25 cs.AI cs.DB
Cloudy with high chance of DBMS: A 10-year prediction for Enterprise-Grade ML
Microsoft（微软）
机器学习（ML）已经在搜索排名等高价值Web应用中证明了自己，并且正在成为更广泛的企业场景中的强大工具，包括客户支持的话音识别和会话理解，视频会议的自动调整，大规模系统操作中的智能反馈回路，制造和自动驾驶车辆管理，复杂的财务预测，仅举几例。与此同时，随着数据的价值越来越被认可和货币化，人们对保护有价值数据和个人隐私风险的担忧也越来越多。因此，严格的数据管理已成为企业环境中的关键要求。这些趋势（ML越来越受欢迎，以及更严格的数据治理）将如何交叉？在企业环境中应用ML有哪些未满足的要求？DB社区需要解决的技术挑战是什么？在本文中，我们提出了ML和数据库系统如何结合在一起的愿景，以及我们为实现这一愿景而采取的早期步骤。
2019-12-27 cs.DB cs.DC cs.LG
A Set-Theoretic Approach to Detecting Logic Bugs in DBMS Inner Join Optimizations
East China Normal University（华东师范大学）；Digital Technologies, Ant Group（蚂蚁集团数字技术）；Tsinghua University（清华大学）
提出基于集合论的蜕变测试方法，通过交集运算和三种语义保持变换规则生成等价查询，比较结果发现DBMS优化器逻辑错误，在主流系统中发现29个新问题。
2026-06-26 cs.DB cs.SE
Application of Inventory Management Principles for Efficient Data Placement in Storage Networks
材料管理中的原则和策略与数据管理具有可比性和相似性。本文主要研究产品库存管理原则向数据库存管理原则的转换。已努力列举各种影响参数，以便考虑是否可以绘制任何数据清单模型。
2013-08-07 cs.DB
Version 0.1 of the BigDAWG Polystore System
多存储系统是由集成的异构数据库引擎和多种程序设计语言组成的数据库管理系统（DBMS）。通过将数据与最适合其需求的存储引擎相匹配，复杂的分析可以更快地运行，灵活的存储选择有助于改善数据组织。BigDAWG（Big Data Working Group）是我们对polystore系统的参考实现。在本文中，我们描述了当前的BigDAWG软件版本，支持PostgreSQL，Accumulo和SciDB。我们描述了将BigDAWG应用于MIMIC II医疗数据集的整体架构、API和初步结果。
2017-07-03 cs.DB
Storage Management with Multi-Version Partitioned B-Trees
数据库管理系统和K/V-Store在可更新的数据集上运行--大大超过了可用主存的大小。基于树的K/V存储管理结构在存储引擎中变得特别流行。B+树允许恒定的搜索性能，但是写入繁重的工作负载会导致对辅存设备的低效写入模式和较差的性能特征。LSM树通过水平分区数据来克服这个问题-小到足以完全驻留在主存中，但需要频繁维护以维持搜索性能。首先，我们提出了多版本分区BTree（MV-PBT）作为唯一的存储和索引管理结构的关键排序存储引擎，如K/V-Stores。其次，我们比较MV-PBT和LSM-树。MV-PBT中的逻辑水平分区允许在结构的小的透明和存储器驻留部分中利用现代B $^+$-树技术的最新进展。结构特性维持稳定的读取性能，产生高效的写入模式并降低写入放大。我们在WiredTiger KV存储引擎中集成了MV-PBT。在YCSB工作负载中，MV-PBT与LSM树相比提供了高达2倍的稳定吞吐量，与B+树相比增加了几个数量级。
2022-09-20 cs.DB
Relation-Aware Bayesian Optimization of DBMS Configurations Guided by Affinity Scores
针对DBMS配置调优忽略参数依赖和维度限制的问题，提出RelTune框架，利用关系图和GNN编码参数依赖，并结合亲和力分数引导的贝叶斯优化，实现了更快的收敛和最优性能。
2025-10-31 cs.DB cs.LG
Educational Database Prototype: the Simplest of All
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
EduDB是一个简化数据库原型，旨在帮助学生全面理解数据库系统的设计与优化。
2026-01-27 cs.DB
An Empirical Evaluation of Columnar Storage Formats
该研究针对硬件与工作负载变迁的背景，深入评估Parquet和ORC两种主流开源列式存储格式，识别出适配现代环境的设计优化点与现存低效问题，为新一代存储格式的设计提供参考。
2023-11-07 cs.DB
Columnar Storage and List-based Processing for Graph Database Management Systems
我们重新审视面向列的存储和查询处理技术的背景下，当代图形数据库管理系统（GDBMS）。与面向列的RDBMS类似，GDBMS支持读取繁重的分析工作负载，但与传统的分析工作负载相比，这些工作负载具有根本不同的数据访问模式。首先，我们推导出一套必要的优化存储和查询处理器的GDBMS的访问模式的基础上。然后，我们提出了设计的列存储，压缩和查询处理技术的基础上，这些desiderata。除了显示从列式RDBMS的现有技术的直接集成，我们还提出了新的GDBMS的优化。这些包括一个新的基于列表的查询处理器，它避免了传统的基于块的处理器在多对多连接下的昂贵的数据副本，一个新的数据结构，我们称之为单索引的边缘属性页和一个伴随的边缘ID计划，以及一个新的应用Jacobson的位向量索引压缩NULL值和空列表。我们将我们的技术集成到GraphflowDB内存GDBMS中。通过大量的实验，我们证明了我们的技术的可扩展性和查询性能的好处。
2021-10-27 cs.DB
Time Series Management Systems: A Survey
随着部署更多的监测和自动化，时间序列数据的收集也在增加。这些部署的规模从位于家庭中的物联网（IoT）设备到高速产生大量数据的巨大分布式网络物理系统（CPS）。为了存储和分析这些大量的数据，已经开发了专门的时间序列管理系统（TSMS），以克服通用数据库管理系统（DBMS）用于时间序列管理的局限性。在本文中，我们提出了一个彻底的分析和分类的TSMSs开发通过学术或工业研究，并通过出版物记录。我们的分类是根据我们分析过程中观察到的架构组织成类别的。此外，我们还提供了每个系统的概述，重点关注驱动系统开发的动机用例，系统实现的时间序列存储和查询功能，系统组成的组件，以及每个系统在流处理和近似查询处理（AQP）方面的功能。最后，我们总结了该领域其他研究人员提出的研究方向，并提出了我们对下一代TSMS的愿景。
2017-10-03 cs.DB
DAS: a data management system for instrument tests and operations
数据存取系统是一个元数据和数据管理软件系统，为储存在仪器开发阶段和操作期间从望远镜和辅助数据源获得的数据提供了一个可重复使用的解决方案。它是可定制仪器工作站系统（CIWS-FW）的一部分，该系统是一个用于存储，处理和快速查看从科学仪器获取的数据的框架。DAS提供了一个主要针对软件应用程序的数据访问层：快速查看显示，预处理管道和科学工作流程。它在逻辑上由三个主要部分组成：一个直观而紧凑的XML格式数据定义语言（DAS XML），用于用户定义的数据类型;一个应用程序编程接口（DAS API），自动添加支持XML数据类型的类和方法，并提供面向对象的查询语言;数据管理组件，其在关系数据库管理系统（DBMS）中映射XML数据类型的元数据，并将数据存储在共享（网络）文件系统中。使用DAS XML，开发人员为特定项目定义数据模型，为每个数据类型指定元数据属性、数据格式和布局（如果适用）以及对相关或聚合数据类型的命名引用。DAS API与DAS用户定义的数据类型一起，作为DAS系统中存储、查询和检索元数据和数据的唯一接口，提供了一个抽象接口和一个C、C++和Python中的数据模型特定接口。后端数据库中的元数据映射是自动的，支持多种关系型DBMS，包括MySQL、Oracle和PostgreSQL。
2014-05-29 astro-ph.IM cs.DB
Breaking Down Memory Walls: Adaptive Memory Management in LSM-based Storage Systems (Extended Version)
日志结构合并树（Log-Structured Merge-Trees，LSM-trees）在现代NoSQL系统中得到了广泛的应用。由于其不适当的更新设计，LSM树在多个LSM树的存储器组件之间以及在写存储器和缓冲区高速缓存之间引入了存储器墙。这些区域之间的最佳内存分配是不平凡的，因为它是高度依赖于工作负载。现有的LSM树实现由于其简单性和鲁棒性而采用静态内存分配方案，从而牺牲了性能。在本文中，我们试图打破这些内存墙在基于LSM的存储系统。我们首先提出了一个存储管理架构，使自适应存储管理。然后，我们提出了一个分区的内存组件结构与新的刷新策略，以更好地利用写内存，以尽量减少写成本。为了打破写内存和缓冲区缓存之间的内存墙，我们进一步引入了一个内存调谐器，它可以调谐这两个区域之间的内存分配。我们使用YCSB和TPC-C基准测试在Apache AsterixDB的上下文中进行了广泛的实验，我们在这里展示了结果。
2020-07-14 cs.DB
GPTuner: A Manual-Reading Database Tuning System via GPT-Guided Bayesian Optimization
针对DBMS旋钮调优的高成本或次优问题，GPTuner结合LLM提炼的DBMS领域知识与从粗到细的贝叶斯优化，实现16倍调优提速及30%性能提升。
2024-11-29 cs.DB
Towards a Holistic Integration of Spreadsheets with Databases: A Scalable Storage Engine for Presentational Data Management
电子表格软件是交互式临时数据管理的首选工具，已被数十亿用户采用。然而，与数据库系统不同，电子表格是不可伸缩的。另一方面，数据库系统虽然具有高度可伸缩性，但不支持作为第一级原语的交互性。我们正在开发DataSpread，将电子表格作为前端接口与数据库作为后端接口进行整体集成，为电子表格提供可扩展性，并与数据库进行交互，我们将这种集成称为表示数据管理（PDM）。在本文中，我们朝着这个愿景迈出了第一步：开发一个存储引擎的PDM，研究如何灵活地表示数据库中的电子表格数据，以及如何支持和维护访问的位置。我们首先进行了广泛的调查，电子表格的使用，以激励我们的功能需求的存储引擎的PDM。我们开发了一套自然的机制，灵活地表示电子表格数据，并证明，确定最佳的表示是NP难的，但是，我们开发了一种有效的方法来确定最佳的表示从一个重要的和直观的子类表示。我们扩展我们的机制，位置访问机制，不遭受级联更新问题，导致恒定的时间访问和修改性能。我们在典型的电子表格和电子表格操作的工作负载上对这些表示进行了评估，存储减少了20%，公式评估时间减少了50%。
2017-10-06 cs.DB
Principles of Distributed Data Management in 2020?
随着高速网络、快速商用硬件和Web的出现，分布式数据源已经变得无处不在。第三版的Özsu-Valduriez教科书《分布式数据库系统原理》[10]反映了分布式数据管理和分布式数据库系统的发展。在这个新版本中，分布式数据管理的基本原则仍然可以基于早期版本的三个维度：数据源的分布性，异构性和自治性。回顾过去，对基本原则和通用技术的关注不仅有助于理解和教授材料，而且还有助于实现无限数量的变化。这些通用技术的主要应用显然是分布式和并行DBMS版本。如今，为了支持重要的数据密集型应用（例如，社交网络、网络数据分析、科学应用等）的需求，新的分布式数据管理技术和系统（例如MapReduce、Hadoop、SciDB、Peanut、Pig Latin等）正在出现，并受到研究界的广泛关注。虽然它们在特定应用程序的一致性/灵活性/性能权衡方面做得很好，但它们似乎是临时的，可能会损害数据互操作性。我讨论的关键问题是：新兴解决方案背后的基本原则是什么？有没有什么通用的架构模型来解释这些原则？我们是否需要新的基础来看待数据分布？
2011-11-11 cs.DB
KathDB: Explainable Multimodal Database Management System with Human-AI Collaboration
University of Washington（华盛顿大学）
KathDB是一种结合关系语义和基础模型推理能力的多模数据库管理系统，通过人机协作实现查询解析、执行和结果解释的可解释性。
2025-12-11 cs.AI cs.DB
PIMDAL: Mitigating the Memory Bottleneck in Data Analytics using a Real Processing-in-Memory System
本文提出PIMDAL库，在真实UPMEM存内计算系统上实现四大数据库算子，克服硬件限制，在五个TPC-H查询上平均性能达高端CPU的3.9倍，有效缓解数据分析中的内存瓶颈。
2025-04-02 cs.AR cs.DB cs.DC
Data security as a top priority in the digital world: preserve data value by being proactive and thinking security first
今天，大量的数据正在系统之间不断地产生、收集和交换。随着设备、系统和数据数量的增长，安全漏洞的风险也在增加。这在COVID-19时代尤为重要，COVID-19不仅影响了人类的健康和生活，也影响了社会的生活方式，即，数字环境已经取代了物理环境。这导致各种性质的网络安全威胁增加。虽然安全漏洞和不同的安全保护机制已经在文献中广泛报道，原始工件的概念，如数据管理系统似乎已经被更多的研究人员和从业人员忽视。但数据管理系统是否总是默认受保护？以前关于数据泄露的研究和定期更新表明，这些漏洞的数量和性质都很高。它还指很少或没有DBMS保护，特别是在NoSQL的情况下，因此容易受到攻击。本文的目的是研究传统的漏洞注册表是否提供了一个足够全面的DBMS安全视图，或者他们应该集中和动态检查DBMS所有者通过参考物联网搜索引擎走向可持续和弹性的数字化环境。本文引起了对这个问题的关注，并使读者在寻找和引入更先进的安全和保护机制之前考虑数据安全性，如果没有上述机制，可能不会带来任何价值。
2023-03-18 cs.CR cs.DB cs.ET
