Efficient RDF Graph Storage based on Reinforcement Learning
知识图谱是人工智能的重要基石。各领域大规模知识图谱的构建和发布，对知识图谱数据管理提出了新的挑战。关系数据库由于其成熟性和稳定性，也适合RDF数据存储。然而，RDF图的复杂结构给RDF图在关系数据库中的存储结构设计带来了挑战。针对这一难题，采用强化学习（RL）优化基于关系数据库的RDF图存储分区方法。将图存储转化为马尔可夫决策过程，提出了用于图存储设计的强化学习算法。为了有效的基于RL的存储设计，我们提出了RDF表的数据特征提取方法和模型训练过程中的查询重写优先级策略。大量的实验结果表明，我们的方法优于现有的RDF存储设计方法。
2020-10-22 cs.DB
A fixed storage distributed graph database hybrid with at-scale OLAP expression and I/O support of a relational DB: Kinetica-Graph
本文将讨论一种分布式图形数据库体系结构，该体系结构与分布式关系数据库共存，用于I/O和大规模OLAP表达式支持，具有数百个PostGIS兼容的几何函数。这种实现的独特性主要源于其双链路拓扑结构，因为其固定的存储特性独立于节点到边缘连接的变化。该实现的另一个值得注意的贡献是其分布式图服务器之间的非阻塞客户端-服务器通信架构。还实现了基于节点重复的非检查分区方案，确保使用地理空间、随机和显式分片选择的分布式过滤进行最小通信。最后，一个有效的重新平衡算法，其次是一个分布式的最短路径求解器将展示与地理空间和社交网络的例子。
2022-01-03 cs.DB
Columnar Storage and List-based Processing for Graph Database Management Systems
我们重新审视面向列的存储和查询处理技术的背景下，当代图形数据库管理系统（GDBMS）。与面向列的RDBMS类似，GDBMS支持读取繁重的分析工作负载，但与传统的分析工作负载相比，这些工作负载具有根本不同的数据访问模式。首先，我们推导出一套必要的优化存储和查询处理器的GDBMS的访问模式的基础上。然后，我们提出了设计的列存储，压缩和查询处理技术的基础上，这些desiderata。除了显示从列式RDBMS的现有技术的直接集成，我们还提出了新的GDBMS的优化。这些包括一个新的基于列表的查询处理器，它避免了传统的基于块的处理器在多对多连接下的昂贵的数据副本，一个新的数据结构，我们称之为单索引的边缘属性页和一个伴随的边缘ID计划，以及一个新的应用Jacobson的位向量索引压缩NULL值和空列表。我们将我们的技术集成到GraphflowDB内存GDBMS中。通过大量的实验，我们证明了我们的技术的可扩展性和查询性能的好处。
2021-10-27 cs.DB
Serving Deep Learning Models with Deduplication from Relational Databases
从关系数据库服务深度学习模型有显著的好处。首先，从数据库中提取的特征不需要转移到任何解耦的深度学习系统进行推理，因此可以显著降低系统管理开销。其次，在关系数据库中，沿着存储层次的数据管理与查询处理完全集成，因此即使工作集大小超过可用内存，它也可以继续模型服务。应用模型重复数据删除可以大大减少存储空间、内存占用、缓存未命中和推理延迟。然而，现有的数据去重技术不适用于服务于关系数据库中的应用的深度学习模型。它们没有考虑对模型推理精度的影响以及张量块和数据库页面之间的不一致性。这项工作提出了协同存储优化技术的重复检测，页面打包，缓存，以提高数据库系统的模型服务。我们在netsDB，一个面向对象的关系数据库中实现了所提出的方法。评估结果表明，我们提出的技术显着提高了存储效率和模型推理延迟，并从关系数据库服务模型优于现有的深度学习框架时，工作集大小超过可用内存。
2022-10-21 cs.DB
Integrated Data Acquisition, Storage, Retrieval and Processing Using the COMPASS DataBase (CDB)
我们介绍了一个复杂的数据处理系统的COMPASS托卡马克，由IPP ASCR布拉格，捷克共和国[1]。该系统被称为CDB（Compass DataBase），集成了不同的数据源，因为使用了来自不同供应商的各种数据采集硬件和软件。CDB尽可能基于广泛可用的开源技术，独立于供应商和平台，并且可以轻松扩展和分发。使用标准NAS（网络附加存储）直接存储和检索数据，因此独立于特定技术;数据的描述（元数据）记录在关系数据库中。数据库结构是通用的，并且允许在多个版本中包含多维数据信号（没有数据被覆盖）。这种设计本质上是分布式的，因为工作被卸载到客户端。NAS和数据库都可以实施和优化，以实现快速的本地访问以及安全的远程访问。CDB是用Python语言实现的;提供了Java、C/C++、IDL和Matlab的绑定。独立的数据采集系统以及由FireSignal [2]管理的节点都使用CDB集成。自动化数据后处理服务器是CDB的一部分。基于依赖性规则，服务器在可能的情况下并行执行规定的后处理任务。
2014-03-31 cs.DB
Hippo: A Fast, yet Scalable, Database Indexing Approach
即使现有的数据库索引（例如，B+-Tree）加速查询执行，但它们有两个主要缺点：（1）数据库索引通常会产生5%到15%的额外存储开销，这导致在大数据场景中的不可估量的美元成本，特别是当部署在现代存储设备上时，如固态磁盘（SSD）或非易失性存储器（NVM）。(2)维护数据库索引会带来很高的延迟，因为DBMS必须查找并更新那些受基础表更改影响的索引页。Hippo是一种快速、可扩展的数据库索引方法。Hippo只存储磁盘页面的指针以及基于轻量级直方图的摘要。所提出的结构显着收缩索引存储和维护开销，而不影响查询执行性能。基于PostgreSQL 9.5中的真实Hippo实现，使用TPC-H基准测试的实验表明，Hippo实现了比传统数据库索引少两个数量级的存储空间和少三个数量级的维护开销，即，B+-树。此外，实验还表明，Hippo实现了可比的查询执行性能的B+树的各种选择性因素。
2016-04-12 cs.DB
Models for Storage in Database Backends
本文为数据库后端提出形式化规范，在映射和日志两种语义模型中实例化，并用Coq验证，为完整后端存储奠定基础。
2024-03-18 cs.DB
Automatic Storage Structure Selection for hybrid Workload
Harbin Institute of Technology（哈尔滨工业大学）
在数据库系统的使用中，存储引擎和数据模型的设计直接影响数据库执行查询时的性能。因此，数据库的使用者需要根据遇到的工作量来选择存储引擎和设计数据模型。然而，在混合工作负载中，数据库的查询集是动态变化的，其最优存储结构的设计也在变化。基于此，提出了一种基于学习代价的存储结构自动选择系统，用于在混合负载下动态选择数据库的最优存储结构。在该系统中，我们引入了一种机器学习方法来建立存储引擎的成本模型，以及一种面向列的数据布局生成算法。实验结果表明，该系统能够根据当前的工作负载选择存储引擎和数据模型的最优组合，大大提高了默认存储结构的性能。系统设计为兼容不同的存储引擎，便于实际应用。
2020-08-15 cs.DB cs.LG
AeonG: An Efficient Built-in Temporal Support in Graph Databases
本文提出内置时序支持的图数据库AeonG，通过混合存储引擎和anchor+delta策略降低历史存储开销，并利用基于anchor的版本检索加速时序查询，在存储消耗和查询延迟上显著优于现有方法。
2024-04-01 cs.DB
D4M: Bringing Associative Arrays to Database Engines
收集和分析大量数据的能力在科学界是一个日益严重的问题。数据和用户之间的差距越来越大，需要创新的工具来解决大数据量，速度和多样性所面临的挑战。存在许多工具，允许用户存储，查询和索引这些大量的数据。每个存储或数据库引擎都有处理复杂数据的承诺。希望使用这些系统的科学家和工程师通常很快就会发现，没有一种技术可以为信息的复杂性提供灵丹妙药。然而，当使用多种技术时，在设计存储和数据库引擎之间的信息移动以支持端到端应用程序方面存在很大的麻烦，同时与学习每种底层技术的细微差别相关的学习曲线也很陡峭。在本文中，我们提出了动态分布式维度数据模型（D4 M）作为统一数据库和存储引擎操作的潜在工具。以前关于D4 M的文章展示了D4 M与流行的NoSQL Accumulo数据库交互的能力。然而最近，D4 M现在在各种后端存储或数据库引擎上运行，同时通过使用关联数组向最终用户提供联邦外观。为了展示D4 M如何支持新数据库，我们描述了构建D4 M-SciDB连接器的过程，并介绍了该连接的性能。
2015-08-28 cs.DB
Deductive Optimization of Relational Data Storage
优化物理数据存储和数据检索是两个关键的数据库管理问题。在本文中，我们提出了一种语言，可以表达广泛的物理数据库布局，远远超出了广泛使用的数据库管理系统中的基于行和列的方法。我们使用演绎合成，把一个高层次的关系表示的数据库查询到一个高度优化的低层次的实现操作的数据集的一个专门的布局。我们建立了一个编译器，这种语言，并进行实验，使用一个流行的数据库基准，这表明，这些专门的查询的性能是有竞争力的国家的最先进的内存编译的数据库系统。
2020-02-05 cs.DB cs.PL
Breaking Database Lock-in: Agentic Regeneration of High Performance Storage Readers for Database Bypass
Cornell University（康奈尔大学）
研究分析工作负载面临的数据访问瓶颈问题，提出Jailbreak方法，利用大语言模型辅助代码合成绕过数据库引擎直接读取存储文件，在PostgreSQL和MySQL上评估，性能显著提升，证明该方法可打破数据库系统数据锁定。
2026-07-09 cs.AI cs.DB
Efficient Forkless Blockchain Databases
Sonic Labs
本文提出了一种高效的无分叉区块链数据库，显著提升了存储能力和吞吐量。
2025-12-08 cs.DB
Six Dimensions of Benchmarking Time-Series Databases
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出时序数据库基准测试框架SciTSv2，从六个维度评估四款不同存储引擎的TSDB，揭示单轴基准掩盖的架构行为，为架构师提供性能诊断与存储引擎选择依据。
2026-08-04 cs.DB
Evaluation of Distributed Databases in Hybrid Clouds and Edge Computing: Energy, Bandwidth, and Storage Consumption
对现代分布式数据库的基准研究是在云边缘范例中选择正确的数据管理技术的重要信息来源。为了做出正确的决定，需要对各种硬件基础设施进行广泛的实验研究。虽然大多数最先进的研究仅调查了分布式数据库的响应时间和可伸缩性，但关注于其他各种度量（例如，能量、带宽和存储消耗）对于完全理解分布式数据库的资源消耗是必要的。此外，现有的研究已经探索了这些数据库在私有云或公共云中的响应时间和可扩展性。因此，对部署在混合云中的这些数据库的评估缺乏调查，混合云是公共云和私有云的无缝集成。为了解决这些研究空白，在本文中，我们调查的能源，带宽和存储消耗最常用的和常见的分布式数据库。为此，我们评估了混合云上的四个开源数据库（Cassandra，Mongo，Redis和MySQL），这些数据库跨越本地OpenStack和Microsoft Azure，以及各种边缘计算节点，包括Raspberry Pi，Raspberry Pi集群以及低功率和高功率服务器。我们广泛的实验结果揭示了一些有用的见解，在边缘云环境中的现代分布式数据库的部署选择。
2023-01-09 cs.DB cs.DC
On Usage of Non-Volatile Memory as Primary Storage for Database Management Systems
本文研究将非易失性存储器（NVM）用作数据库主存储的影响，以PostgreSQL为例修改存储引擎并开发预取库，实验显示查询执行时间较磁盘和NVM存储最多减少54%和17%，平均减少23%和8%。
2025-02-13 cs.DB
The Capacity of Private Information Retrieval from Uncoded Storage Constrained Databases
私有信息检索（PIR）允许用户从一组数据库中检索所需的消息，而不泄露所需消息的身份。Sun和Jafar在2016年考虑了复制数据库场景，其中$N$数据库可以完全存储相同的$K$消息。提出了一种PIR方案，以实现$\left(1+ \frac{1}{N}+ \frac{1}{N^{2}}+ \cdots + \frac{1}{N^{K-1}}\right)$给出的最优下载代价。在这项工作中，我们考虑的问题，PIR从存储受限的数据库。每个数据库具有$μKL$位的存储容量，其中$L$是每个消息的位大小，$μ\in [1/N, 1]$是标准化存储。在一个极端情况下，$μ=1$是复制数据库的情况。另一方面，当使用$μ= 1/N$时，为了私下检索消息，用户必须从数据库下载所有消息，从而实现$1/K$的下载成本。我们的目标是表征的最佳下载成本与存储权衡范围内的任何存储容量$μ\in [1/N, 1]$。对于任何$(N,K)$，我们表明，存储，$μ$和下载成本，$D(μ)$之间的最佳权衡，给出了由下凸包的$N$对$\left(μ= \frac{t}{N},D(μ) = \left(1+ \frac{1}{t}+ \frac{1}{t^{2}}+ \cdots + \frac{1}{t^{K-1}}\right)\right)$为$t=1,2,\ldots, N$。为了证明这一结果，我们首先提出了任…
2018-10-23 cs.CR cs.DB cs.IR
Marlin: Efficient Coordination for Autoscaling Cloud DBMS (Extended Version)
针对云数据库控制平面依赖外部融合协调服务存在的扩展性、成本与运维问题，本研究提出云原生协调机制Marlin，通过解耦协调功能、整合进现有数据库并优化提交协议，实现了更高的成本效率和更快的重配置速度。
2025-08-03 cs.DB
M2: An Analytic System with Specialized Storage Engines for Multi-Model Workloads
M2提出集成存储引擎的多模型分析系统，通过多阶段哈希连接实现跨模型查询，性能提升最高达188倍。
2025-08-05 cs.DB
Persistent Buffer Management with Optimistic Consistency
找到在现代数据库系统上利用非易失性存储器（NVM）的最佳方法仍然是一个悬而未决的问题。答案远非微不足道，因为大多数系统中存在的存储器和存储之间的明确边界似乎与NVM的固有存储器-存储器二元性不兼容。而不是把NVM单独作为内存或单独作为存储，在这项工作中，我们提出了如何NVM可以同时用作现代数据库系统的上下文中。我们在NVM上设计了一个持久的缓冲池，使页面能够直接由CPU读取/写入（如内存），同时在故障后恢复损坏的页面（如存储）。我们的方法的主要好处是在现有的数据库体系结构，降低成本（通过用NVM取代DRAM），更快的峰值性能恢复的简单集成。
2019-05-16 cs.DB
Enhancing Computation Pushdown for Cloud OLAP Databases
针对云OLAP数据库网络瓶颈及静态计算下推局限，提出Adaptive pushdown机制和通用下推原则，并设计selection bitmap与distributed data shuffle算子，在TPC-H上实现最高1.9倍和3.0倍加速。
2023-12-29 cs.DB
ParquetDB: A Lightweight Python Parquet-Based Database
ParquetDB是一种基于Parquet的轻量级Python数据库，通过列式存储和谓词下推提升大数据处理效率，优于SQLite和MongoDB，并在Alexandria 3D材料数据库中高效管理约480万条复杂记录。
2025-04-21 cs.DB physics.data-an
A Chunked-Object Pattern for Multi-Region Large Payload Storage in Managed NoSQL Databases
本文提出一种分块对象模式，用于多区域大载荷存储，通过在数据库中持久化分块数据以减少复制延迟和一致性时间。
2025-12-07 cs.DB cs.DC
Analyzing Performance Characteristics of PostgreSQL and MariaDB on NVMeVirt
本文通过研究数据库引擎内部机制，重点分析MVCC实现差异，揭示了MariaDB和PostgreSQL在NVMeVirt不同存储带宽下表现出不同性能特征的原因。
2024-11-15 cs.AR cs.DB
IORM: Hierarchical I/O Governance for Thousands of Consolidated Databases on Oracle Exadata
Oracle America Inc（甲骨文美国公司）
针对Oracle Exadata中数千个租户数据库共享存储时的多级资源层次问题，提出基于I/O标记、分层资源配置文件和统一存储治理的I/O资源管理器（IORM），以消除噪声邻居干扰并显著提升延迟一致性。
2026-05-27 cs.DB cs.DC cs.OS
Near Data Processing in Taurus Database
本文介绍华为Taurus数据库中近数据处理（NDP）的设计与实现，通过将选择、投影和聚合下推到存储层，减少数据传输和CPU开销，TPCH基准测试显示多数查询性能显著提升。
2025-06-24 cs.DB
HDDB: Efficient In-Storage SQL Database Search Using Hyperdimensional Computing on Ferroelectric NAND Flash
HDDB利用铁电NAND闪存和超维计算实现高效存储内SQL数据库搜索，通过大规模并行性和最小数据移动，降低延迟和能耗。
2025-11-23 cs.AR cs.DB
BtrLog: Low-Latency Logging for Cloud Database Systems
Technische Universität München（慕尼黑工业大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；TigerBeetle
提出BtrLog，一种可复用的云日志服务，通过SSD日志节点仲裁复制和异步归档到对象存储，实现低延迟持久化日志记录，降低存储成本。
2026-06-29 cs.DB cs.DC
PolarStore: High-Performance Data Compression for Large-Scale Cloud-Native Databases
Alibaba Cloud Computing（阿里云）
PolarStore通过结合硬件和软件双层压缩技术，为云原生数据库提供高性能数据压缩方案，实现存储成本降低60%的同时保持性能稳定。
2025-11-25 cs.DB cs.DC
Mainlining Databases: Supporting Fast Transactional Workloads on Universal Columnar Data File Formats
现代数据处理工具的激增产生了开放源列式数据格式。这些格式的优点是，它们可以帮助组织避免重复地将数据转换为每个应用程序的新格式。但是，这些格式是只读的，组织必须使用一个重量级的转换过程来从联机事务处理（OLTP）系统加载数据。我们的目标是减少甚至消除这个过程，通过开发一个存储架构的内存数据库管理系统（DBMS），是知道其数据的最终用途，并发出列存储块在一个通用的开源格式。我们对常见的分析数据格式引入了松弛，以有效地更新记录，并依靠轻量级的转换过程将块转换为冷时的读取优化布局。我们还描述了如何以最小的序列化开销从第三方分析工具访问数据。为了评估我们的工作，我们实现了基于Apache Arrow格式的存储引擎，并将其集成到DB-X DBMS中。我们的实验表明，我们的方法实现了与专用OLTP DBMS相当的性能，同时使数据导出到外部数据科学和机器学习工具的速度比现有方法快几个数量级。
2020-04-29 cs.DB
ForkBase: Immutable, Tamper-evident Storage Substrate for Branchable Applications
数据协作活动通常需要系统的或基于协议的协调才能扩展。Git是协作编码的有效推动者，已经在世界各地无数项目中取得了成功。因此，将Git哲学应用于编码之外的一般数据协作是一种激励。我们称之为Git for data。然而，最初的Git设计以文件粒度处理数据，这对于许多数据库应用程序来说太粗了。我们认为，Git数据应该与数据库系统共同设计。为此，我们开发了ForkBase，使Git for data变得实用。ForkBase是一个分布式的、不可变的存储系统，用于数据版本管理和数据协同操作。在本演示中，我们展示了ForkBase如何极大地促进协作数据管理，以及其新颖的重复数据删除技术如何提高归档海量数据版本的存储效率。
2020-04-16 cs.DB
Scalable data storage for PV monitoring systems
高效的光伏研究包括从具有不同特征的多个实验中进行长时间的数据监测，需要一个可扩展的支持系统来处理所有收集到的信息。本文介绍了一个关系数据库的发展，托管所有必要的信息，数据建模，比较分析和O\&M系统。采用Ramer-Douglas-Peucker算法和Timescaledb压缩来减小时间序列数据的大小，提高查询的性能。提出了一种决策算法，用于选择Ramer-Douglas-Peucker算法的最佳输入，以确保最大的磁盘空间节省，同时不丢失任何必要的信息。此外，提供了实现相同数据库的替代方式。
2022-09-19 cs.DB
Concurrency Control as a Service
Northeastern University（东北大学）；Huawei Tec. Co., Ltd（华为技术有限公司）；Tsinghua University（清华大学）
本文提出并发控制作为服务（CCaaS），通过解耦并发控制与数据库，构建执行-并发控制-存储三层架构，提升弹性、资源利用率和开发敏捷性，采用分片多写OCC算法和异步日志推送机制降低网络开销和延迟。
2026-03-14 cs.DB
IDSS, a Novel P2P Relational Data Storage Service
本文提出IDSS，一种基于P2P网络和嵌入式关系数据库的新型大规模数据存储服务，通过公共模式支持分布式查询处理，实现对海量数据的高效稳健管理。
2025-07-19 cs.DB cs.DC
System G Distributed Graph Database
由于需要从互联数据中提取知识和价值，大数据的图形分析是工业界和学术界非常活跃的研究领域。为了有效地支持图形分析，出现了大量的内存图形库、图形处理系统和图形数据库。这些类别中的每一个项目都集中在特定的方面，如静态与动态图形，离线与在线处理，小与大图形等，虽然在过去的几十年中，图形处理有很大的进步，仍然需要一个快速的图形处理，使用一个集群的机器与分布式存储。在本文中，我们讨论了一种新的分布式图形数据库称为系统G设计的高效的图形数据存储和处理的现代计算架构。特别是，我们描述了一个单节点的图形数据库和运行时和通信层，使我们能够组成一个分布式的图形数据库，从多个单节点的实例。从各种行业的需求，我们发现，快速插入和大量并发查询的图形数据库的关键部分，我们优化我们的数据库，这样的功能。我们的实验表明，系统G的效率存储数据和处理图形查询的最先进的平台上。
2018-02-08 cs.DB
ArcNeural: A Multi-Modal Database for the Gen-AI Era
本研究提出面向生成式AI与大语言模型的多模态数据库ArcNeural，采用存算分离架构融合图、向量索引等技术，实验证明其性能与可扩展性优于前沿系统，为企业级AI应用提供通用数据管理方案。
2025-06-11 cs.DB
SteelDB: Diagnosing Kernel-Space Bottlenecks in Cloud OLTP Databases
NTT, Inc.（日本电报电话公司）
本文通过分析云数据库中内核空间I/O行为，发现传统架构中归因于网络或存储的瓶颈实为内核空间所致。SteelDB通过零补丁架构优化I/O，实现性能提升与成本降低。
2026-03-30 cs.DB cs.DC cs.OS
Towards Adaptive Storage Views in Virtual Memory
传统上，DBMS将其存储层与索引层分离。虽然存储层物理上实现了数据库并提供了对数据库的低级访问方法，但顶部的索引层可以更快地定位搜索到的条目。虽然这清楚地分离的关注，它也增加了一个层次的间接已经复杂的执行path.In这项工作中，我们提出了一种替代设计：而不是保守地分离两个层，我们自然融合它们集成自适应粗粒度索引方案直接到存储层。我们这样做是通过利用操作系统提供的虚拟内存管理子系统的工具：在最底层，我们将数据库内容具体化为物理主存的形式。最重要的是，我们允许创建任意多个虚拟内存存储视图，这些视图映射到具有某些感兴趣属性的数据库子集。这种创建完全自适应地作为查询处理的副产品发生。为了加快查询应答，我们将每个查询自动路由到最合适的虚拟视图。通过这种方式，我们自然地在其核心中索引存储层，并逐渐提高所提供的扫描性能。
2022-12-06 cs.DB cs.OS
NeurStore: Efficient In-database Deep Learning Model Management System
National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
本文提出NeurStore，一种数据库内深度学习模型管理系统，通过基于张量的细粒度存储、增量量化算法和压缩感知加载机制，实现高效存储与利用，显著提升压缩比和加载吞吐量。
2025-09-14 cs.DB cs.LG
SonicDB S6: A Storage-Efficient Verkle Trie for High-Throughput Blockchains
Sonic Labs
本文提出SonicDB S6，一种用于Sonic区块链的生产级Rust Verkle树数据库，通过非分支特性实现存储优化，减少存储占用并提高吞吐量。
2026-05-18 cs.DB
Evaluating NoSQL Databases for OLAP Workloads: A Benchmarking Study of MongoDB, Redis, Kudu and ArangoDB
本研究通过标准化数据处理管道，基准测试了MongoDB、Redis、Kudu和ArangoDB四种NoSQL数据库在OLAP工作负载下的性能，为选择最优数据管道提供了实验依据。
2024-05-28 cs.DB
HTAP Databases: A Survey
本文全面综述了HTAP数据库，按四种存储架构对最先进的系统进行分类，回顾了混合工作负载处理等关键技术，并探讨了现有基准测试及未来的研究挑战与机遇。
2024-04-24 cs.DB
A survey of LSM-Tree based Indexes, Data Systems and KV-stores
本文综述了基于LSM-Tree的索引、数据系统与KV存储的研究现状，涵盖其结构改进及持久内存等新兴存储技术带来的影响。
2024-02-27 cs.DB
Architectural Evolution and Selection Framework for Database Systems in AI-Ready Data Platforms
提出一个统一的多范式评估与选择框架，基于九个架构维度，通过工作负载特征化、约束过滤和兼容性评分，系统比较十三种数据库范式，揭示存储计算分离、工作负载驱动专业化、向AI就绪平台收敛三大演化模式，并通过金融欺诈检测案例验证。
2026-06-06 cs.DB
INSTRUCT: Space-Efficient Structure for Indexing and Complete Query Management of String Databases
搜索引擎、词典和同义词词典存储以及其他文本挖掘应用的巨大扩展，与容易获得的扫描设备和光学字符识别工具的普及相结合，使得对于各种现代应用的大量文本数据库的有效存储、检索和管理成为必要。对于这样的应用程序，我们提出了一种新的数据结构，INFECT，有效地存储和管理的序列数据库。我们的结构使用位向量重用的存储空间，共同的三元组，因此，有一个非常低的内存需求。除了精确的字符串搜索操作之外，INCLUCT还通过迭代地检查三元组的存在来有效地处理前缀和后缀搜索查询。我们还提出了一个扩展的结构，以有效地处理子串搜索，虽然增加了空间的要求。这个扩展是很重要的，在上下文的trie为基础的解决方案，无法有效地处理这样的查询。我们进行了几个实验，描绘INDROCT优于现有的结构，近两个因素的空间需求方面，而查询时间更好。除了支持所有类型的查询（包括精确搜索、前缀/后缀搜索和子串搜索）之外，还能够处理字符串的插入和删除，这使得INCLECT成为一个完整的数据结构。
2012-07-03 cs.DB cs.DS
Integrity Coded Databases: An Evaluation of Performance, Efficiency, and Practicality
近年来，云数据库存储已成为企业和个人存储信息的廉价且方便的选择。虽然云计算的积极方面使其对数据存储极具吸引力，但它是一个相对较新的服务领域，容易受到网络攻击和安全漏洞的影响。将数据存储在外部位置还要求所有者将其信息的控制权移交给这些在线数据库服务的系统管理员。这就有可能对数据进行恶意的内部攻击，这些攻击可能涉及操纵、遗漏或添加数据。数据的保留，因为它是打算存储被称为数据库的完整性。我们的研究测试了一种潜在的解决方案，通过将原始数据库转换为完整性编码数据库（ICDB）来维护这些云存储数据库的完整性。ICDB利用完整性代码：通过只有数据所有者有权访问的私钥与数据一起创建的加密代码。当查询数据库时，完整性代码将与查询的信息一起返回。然后，所有者能够验证信息是正确的、完整的和新鲜的。因此，ICDB也会导致性能和内存损失。在我们的研究中，我们探索，测试和基准ICDB，以确定维护ICDB与标准数据库的成本和收益。
2018-02-01 cs.CR cs.DB
SciTS: A Benchmark for Time-Series Databases in Scientific Experiments and Industrial Internet of Things
时间序列数据在工业物联网（IIoT）和大规模科学实验中的使用越来越多。管理时间序列数据需要一个存储引擎，它可以跟上不断增长的数据量，同时提供可接受的查询延迟。虽然传统的ACID数据库更倾向于一致性而不是性能，但已经开发了许多具有新颖存储引擎的时间序列数据库，以提供更好的摄取性能和更低的查询延迟。为了了解时间序列数据库的独特设计如何影响其性能，我们设计了SciTS，这是一个高度可扩展和可参数化的时间序列数据基准。该基准测试研究了时间序列数据库的数据摄取能力，特别是当它们的规模越来越大时。并从科学实验用例出发，研究了5个实用查询的语义。我们使用SciTS来评估4个不同存储引擎的4个数据库的性能：ClickHouse，InfluxDB，TimescaleDB和PostgreSQL。
2022-06-08 astro-ph.IM cs.DB cs.PF
A Benchmark for Databases with Varying Value Lengths
本文扩展YCSB基准测试引入“extend”操作以模拟值长度增长，评估MongoDB、MariaDB等DBMS在可变大小值下的性能差异，提出隔离数据大小分布影响与更新历史访问成本的新基准方法。
2025-08-11 cs.DB
Multi-Dimensional Data Compression and Query Processing in Array Databases
近年来，多维数据在各个领域的生产及其在阵列数据库中的存储急剧增加;这种数据量的快速增长需要在阵列数据库中进行压缩。然而，阵列数据库中使用的现有压缩方案是通用的，而不是专门为数据库设计的。它们可能会降低复杂分析任务的查询性能，从而产生巨大的计算成本。因此，需要考虑阵列数据库工作流的压缩方案。本文提出了一种存储和查询多维数组数据的压缩方案SEACOW。该方案是专门设计的，是有效的基于维和基于值的探索。它考虑了探索查询的数据访问模式，并在压缩数组中嵌入了可用作索引的概要。此外，我们实现了一个阵列存储系统，即MSDB，进行实验。我们评估查询性能的真实科学数据集，并与现有的压缩方案。最后，我们的实验表明，SEACOW提供了较高的压缩率相比，现有的压缩方案，和概要提高分析查询处理性能。
2022-11-11 cs.DB
Fully Robust Federated Submodel Learning in a Distributed Storage System
针对分布式存储FSL中的窃听与数据库故障问题，提出基于RSRC编码并结合PSU的分布式联邦子模型学习方案，兼顾安全、修复及多类掉线与主动攻击鲁棒性。
2023-06-08 cs.CR cs.DB cs.IT
The WebContent XML Store
在本文中，我们将描述WebContent项目中使用的XML存储系统。我们首先提倡使用XML数据库来存储WebContent文档，并提出了两种不同的存储和查询这些文档的方法：使用集中式XML数据库和使用P2P XML数据库。
2010-01-27 cs.DB
Improved Storage for Efficient Private Information Retrieval
本文研究了从$N$ \emph{storage-constrained}数据库中进行私有信息检索的问题。在该问题中，用户希望从$M$消息（大小为$L$）中检索单个消息，而不向各个数据库泄露关于消息的身份的任何信息。每个数据库存储$μML$符号，即，整个文库的$μ$部分，其中$\frac{1}{N} \leq μ\leq 1$ .我们的目标是表征存储成本（由$μ$捕获）和归一化下载成本（$D/L$）的最佳折衷曲线。我们表明，下载成本可以降低采用混合存储方案，结合\emph{MDS coding}的想法与\emph{uncoded partial replication}的想法。当没有编码时，我们的方案减少到Attia-Kumar-Tandon存储方案，这是最初由Maddah-Ali-Niesen在缓存问题的上下文中引入的，当没有未编码的部分复制时，我们的方案减少到Banawan-Ulukus存储方案;一般来说，我们的方案优于两者。
2019-08-29 cs.CR cs.DB cs.IT
Farview: Disaggregated Memory with Operator Off-loading for Database Engines
云部署将存储与计算分离，为存储层和计算层提供更大的灵活性。在本文中，我们探索分解，采取进一步的措施，并将其应用于内存（DRAM）。非聚合内存使用网络附加DRAM作为将内存与CPU解耦的一种方式。在数据库的上下文中，这样的设计在使较大的存储器容量可用作较小处理节点的集合的中央池方面提供了显著的优点。为了探索这些可能性，我们实现了Farview，这是一种用于数据库的分解内存解决方案，作为具有操作员卸载功能的远程缓冲区缓存运行。Farview被实现为一个基于FPGA的智能NIC，使DRAM可作为一个分散的，网络连接的存储器模块，能够执行数据处理线速率的数据流到/从分散的存储器。Farview支持使用选择、投影、聚合、正则表达式匹配和加密等操作符进行查询卸载。在本文中，我们专注于分析查询，并证明了可行性的想法，通过广泛的实验评估Farview在不同的工作负载。Farview在所有工作负载上都能与本地缓冲区缓存解决方案竞争，并且在许多情况下都优于它，这证明了智能分散内存可以成为部署在云环境中的数据库的可行替代方案。
2021-06-13 cs.DB
MORTAL: A Tool of Automatically Designing Relational Storage Schemas for Multi-model Data through Reinforcement Learning
考虑到关系数据库在处理安全性、用户认证、查询优化等方面具有强大的能力，若干商业和学术框架重用关系数据库来存储和查询半结构化数据（例如，XML、JSON）或图形数据（例如，RDF，属性图）。然而，这些工作集中于使用RDBMS管理上述数据模型之一。也就是说，它没有利用底层工具来自动生成用于存储多模型数据的关系模式。在这个演示中，我们提出了一种新的基于强化学习的工具，称为MORTAL。具体来说，给定包含不同数据模型的多模型数据和一组查询，它可以自动设计一个关系模式来存储这些数据，同时具有很好的查询性能。为了清楚地说明它，我们围绕着以下模块：基于加载的多模型数据生成初始状态，通过设置参数来影响学习过程，通过提供语义约束来控制生成的关系模式，通过指定查询来提高关系模式的查询性能，以及当用户调整生成的关系模式时显示查询性能和存储消耗的高度交互式界面。
2021-09-01 cs.DB
