Storing and Querying Evolving Graphs in NoSQL Storage Models
本文提出一种基于MongoDB的增强顶点中心存储模型，通过数据库内查询机制优化空间效率，显著提升演化图全局查询性能，并支持快照与区间表示，为动态图数据管理提供可扩展框架。
2025-04-24 cs.DB
Optimizing Data Lakes' Queries
针对云数据湖中查询需从存储层传输数据导致性能下降的问题，提出基于“查询覆盖集”的理论框架，通过识别并仅查询最小文件子集，显著提升查询性能。
2025-10-17 cs.DB
AeonG: An Efficient Built-in Temporal Support in Graph Databases
本文提出内置时序支持的图数据库AeonG，通过混合存储引擎和anchor+delta策略降低历史存储开销，并利用基于anchor的版本检索加速时序查询，在存储消耗和查询延迟上显著优于现有方法。
2024-04-01 cs.DB
MORTAL: A Tool of Automatically Designing Relational Storage Schemas for Multi-model Data through Reinforcement Learning
考虑到关系数据库在处理安全性、用户认证、查询优化等方面具有强大的能力，若干商业和学术框架重用关系数据库来存储和查询半结构化数据（例如，XML、JSON）或图形数据（例如，RDF，属性图）。然而，这些工作集中于使用RDBMS管理上述数据模型之一。也就是说，它没有利用底层工具来自动生成用于存储多模型数据的关系模式。在这个演示中，我们提出了一种新的基于强化学习的工具，称为MORTAL。具体来说，给定包含不同数据模型的多模型数据和一组查询，它可以自动设计一个关系模式来存储这些数据，同时具有很好的查询性能。为了清楚地说明它，我们围绕着以下模块：基于加载的多模型数据生成初始状态，通过设置参数来影响学习过程，通过提供语义约束来控制生成的关系模式，通过指定查询来提高关系模式的查询性能，以及当用户调整生成的关系模式时显示查询性能和存储消耗的高度交互式界面。
2021-09-01 cs.DB
Multi-Dimensional Data Compression and Query Processing in Array Databases
近年来，多维数据在各个领域的生产及其在阵列数据库中的存储急剧增加;这种数据量的快速增长需要在阵列数据库中进行压缩。然而，阵列数据库中使用的现有压缩方案是通用的，而不是专门为数据库设计的。它们可能会降低复杂分析任务的查询性能，从而产生巨大的计算成本。因此，需要考虑阵列数据库工作流的压缩方案。本文提出了一种存储和查询多维数组数据的压缩方案SEACOW。该方案是专门设计的，是有效的基于维和基于值的探索。它考虑了探索查询的数据访问模式，并在压缩数组中嵌入了可用作索引的概要。此外，我们实现了一个阵列存储系统，即MSDB，进行实验。我们评估查询性能的真实科学数据集，并与现有的压缩方案。最后，我们的实验表明，SEACOW提供了较高的压缩率相比，现有的压缩方案，和概要提高分析查询处理性能。
2022-11-11 cs.DB
TASM: A Tile-Based Storage Manager for Video Analytics
现代视频数据管理系统将视频存储为单个编码文件，这显著限制了可能的存储级别优化。我们设计、实施和评估TASM，这是一种新的基于瓦片的视频数据存储管理器。TASM使用现代视频编解码器中称为“瓦片”的功能，该功能允许对编码视频进行空间随机访问。TASM通过在给定视频内容和查询工作负载的情况下优化其平铺布局来物理地调谐存储的视频。此外，TASM动态地调整布局，以响应查询工作负载的变化，或者如果查询工作负载和视频内容被增量地发现。最后，TASM还为新摄取的视频生成有效的初始图块布局。我们证明，TASM可以加快子帧选择查询平均超过50%，高达94%。TASM还可以将目标检测查询的全扫描阶段的吞吐量提高2倍。
2021-02-26 cs.DB
Towards a better insight of RDF triples Ontology-guided Storage system abilities
语义Web的愿景正在成为现实，数十亿的RDF三元组分布在多个可查询的端点（例如链接数据）上。虽然已经有一个机构的RDF三倍持久存储的工作，它似乎是考虑到推理依赖查询，提供一个有效的，在性能，可扩展性和数据冗余方面的问题，分区的数据仍然是开放的。关于最近的数据划分研究，认为应该考虑几个方向（例如本体，数据，应用程序查询）来指导数据划分似乎是合理的。本文提出了几个贡献：描述了RDF数据高效持久存储的数据划分路线图应该包含的内容，给出了一些初步的结果和分析，并对本体引导（属性层次）划分的特殊情况进行了分析，最后介绍了一组语义查询重写规则，以支持需要OWL推理的RDF数据查询
2013-06-27 cs.DB
gSMat: A Scalable Sparse Matrix-based Join for SPARQL Query Processing
资源描述框架（RDF）已被广泛用于表示Web上的信息，而SPARQL是操作RDF数据的标准查询语言。给定一个SPARQL查询，往往存在多个连接，这是查询处理效率的瓶颈。此外，真实的RDF数据集往往表现出较强的数据稀疏性，这表明即使资源总数很大，一个资源往往只与少数资源相关。在本文中，我们提出了一个稀疏矩阵为基础的（SM为基础的）SPARQL查询处理方法在RDF数据集，同时考虑到连接优化和数据稀疏性。首先，我们提出了一个基于SM的RDF数据存储，以提高存储效率，其中只存储有效的边缘，然后在存储上引入一个基于谓词的哈希索引。其次，我们开发了一个可扩展的SM为SPARQL查询处理的连接算法。最后，我们通过累加所有中间结果来分析总体开销，并设计了一个查询计划生成算法。此外，我们扩展了我们的SM为基础的连接算法在GPU上的并行SPARQL查询处理。我们已经评估了我们的方法相比，国家的最先进的RDF引擎在基准RDF数据集和实验结果表明，我们的建议可以显着提高SPARQL查询处理具有高可扩展性。
2018-07-20 cs.DB
Compression and In-Situ Query Processing for Fine-Grained Array Lineage
本文提出DSLog存储系统及ProvRC压缩算法，用于高效存储和查询细粒度数组血统，实现最高2000倍存储压缩和20倍查询加速。
2024-05-27 cs.DB
VTRQ: Enabling Verifiable Trajectory Range Queries in Hybrid-Storage Blockchains
Aalborg University（奥尔堡大学）；Northeastern University（东北大学）；University of Navarra（纳瓦拉大学）；AT&T Chief Data Office（美国电话电报公司首席数据办公室）
VTRQ是首个混合存储区块链中可验证轨迹范围查询框架，含两种ADS及时空边聚合机制，解决现有混合存储区块链轨迹数据可验证查询支持不足的问题，提升了查询与验证效率。
2026-08-24 cs.DB
A Storage Advisor for Hybrid-Store Databases
借助SAP HANA数据库，SAP提供了一个高性能的内存混合存储数据库。混合存储数据库--即支持面向行和面向列的数据管理的数据库--正变得越来越突出。虽然列式管理提供了分析大量数据的高性能功能，但面向行的存储可以更有效地处理事务点查询以及插入和更新。为了同时有效地利用这两种存储，出现了一个新的问题，即是面向行还是面向列存储给定的数据。我们使用存储顾问工具来解决这个问题，该工具支持数据库管理员做出这一决定。我们提出的存储顾问建议基于数据和查询特征的最佳存储;其核心是一个成本模型，用于估计和比较不同存储的查询执行时间。除了按表决策之外，我们的工具还考虑对数据进行水平和垂直分区并管理不同存储上的分区。我们评估了存储顾问在SAP HANA数据库中的使用情况;我们展示了建议的质量以及将数据存储在最佳存储中对于提高查询性能的好处。
2012-08-21 cs.DB
BPI: A Novel Efficient and Reliable Search Structure for Hybrid Storage Blockchain
针对混合存储区块链中链下SP可能遗漏有效查询结果的问题，提出轻量级BPI框架及Articulated Search模式，以低开销支持高效关键词查询、维护与完整性验证，性能优于现有方案。
2025-08-30 cs.DB
Compact Representations for Efficient Storage of Semantic Sensor Data
如今，由各种传感器和设备生成的传感器数据的数量迅速增加。数据语义促进了多个传感器和设备之间的信息交换、适应性和互操作性。传感器数据及其含义可以使用本体来描述，例如，语义传感器网络（SSN）本体。尽管如此，语义丰富，语义传感器数据的大小基本上大于原始传感器数据。此外，一些测量值可以被传感器多次观察到，并且可以产生关于传感器数据的大量重复事实。我们提出了一个紧凑的或因式分解表示的语义传感器数据，重复的测量值只描述一次。此外，这些紧凑的表示能够增强语义传感器数据的存储和处理。为了扩展到大型数据集，利用基于因子分解的表格表示来使用大数据技术存储和管理因子分解的语义传感器数据。我们实证研究的有效性语义传感器的建议紧凑的表示和它们对查询处理的影响。此外，我们评估的影响，存储不同的RDF实现的建议表示。结果表明，所提出的紧凑表示授权的传感器数据的存储和查询处理在不同的RDF实现，并高达两个数量级可以减少查询执行时间。
2020-11-19 cs.DB
MulChain: Enabling Advanced Cross-Modal Queries in Hybrid-Storage Blockchains
针对混合存储区块链中多模态数据高级查询的挑战，提出中间件架构MulChain，其核心BHashTree动态切换树与哈希节点，实现高效插入查询，并统一跨平台接口。
2025-02-25 cs.DB cs.SE
Oblivious Query Processing
受云安全问题的影响，人们对可以存储和支持对加密数据的查询的数据库系统越来越感兴趣。这种系统的常见架构是使用可信组件，例如用于查询处理的密码协处理器，其用于安全地解密数据并以明文执行计算。可信组件具有有限的内存，因此大部分（输入和中间）数据在不可信的存储中保持加密，并根据“需求”移动到可信组件。“”在这种设置下，即使使用强加密，来自不可信存储的数据访问模式也有可能泄露敏感信息;实际上，所有使用可信组件对加密数据进行查询处理的现有系统都存在此漏洞。在本文中，我们进行了第一次正式的研究安全查询处理，对手有充分的知识的查询（文本），并观察查询执行学习没有关于底层数据库以外的数据库上的查询的结果大小。我们引入了一个更简单的概念，不经意的查询处理，并正式表明，一个查询承认安全的查询处理，当它承认不经意的查询处理。我们提出了一个丰富的数据库查询，涉及选择，连接，分组和聚合的不经意的查询处理算法。对于我们的算法不处理的查询，我们提供了一些初步的证据，设计不经意（因此安全）的算法将很难通过减少两个简单的，研究充分的问题，通常认为是困难的。我们对不经意查询处理的研究也揭示了与数据库连接理论的有趣联系。
2013-12-14 cs.DB
RDFViewS: A Storage Tuning Wizard for RDF Applications
INRIA Saclay（法国国家信息与自动化研究所萨克莱分院）；LRI（法国国家科学研究中心信息学实验室）；Université Paris-Sud 11（巴黎第十一大学）；Université Paris 6（巴黎第六大学）
近年来，大量应用中使用的RDF数据的显著增长使其有效和可扩展的操作成为一个重要问题。在本文中，我们提出了RDFViewS，一个系统能够选择最合适的意见，具体化，以尽量减少查询响应时间为特定的SPARQL查询工作量，同时考虑到视图维护成本和存储空间的限制。我们的系统采用实用的算法和算法来导航通过潜在的视图配置的搜索空间，并利用可能可用的语义信息-通过RDF模式表示-以确保查询评估的完整性。
2010-08-12 cs.AI cs.DB
Native Execution of GraphQL Queries over RDF Graphs Using Multi-way Joins
提出一种受最坏情况最优算法启发的多路左连接算法，实现GraphQL查询在RDF知识图谱上的原生执行，实验表明在查询运行时间和可扩展性上优于现有最先进方案。
2024-09-19 cs.DB
Towards Adaptive Storage Views in Virtual Memory
传统上，DBMS将其存储层与索引层分离。虽然存储层物理上实现了数据库并提供了对数据库的低级访问方法，但顶部的索引层可以更快地定位搜索到的条目。虽然这清楚地分离的关注，它也增加了一个层次的间接已经复杂的执行path.In这项工作中，我们提出了一种替代设计：而不是保守地分离两个层，我们自然融合它们集成自适应粗粒度索引方案直接到存储层。我们这样做是通过利用操作系统提供的虚拟内存管理子系统的工具：在最底层，我们将数据库内容具体化为物理主存的形式。最重要的是，我们允许创建任意多个虚拟内存存储视图，这些视图映射到具有某些感兴趣属性的数据库子集。这种创建完全自适应地作为查询处理的副产品发生。为了加快查询应答，我们将每个查询自动路由到最合适的虚拟视图。通过这种方式，我们自然地在其核心中索引存储层，并逐渐提高所提供的扫描性能。
2022-12-06 cs.DB cs.OS
Hippo: A Fast, yet Scalable, Database Indexing Approach
即使现有的数据库索引（例如，B+-Tree）加速查询执行，但它们有两个主要缺点：（1）数据库索引通常会产生5%到15%的额外存储开销，这导致在大数据场景中的不可估量的美元成本，特别是当部署在现代存储设备上时，如固态磁盘（SSD）或非易失性存储器（NVM）。(2)维护数据库索引会带来很高的延迟，因为DBMS必须查找并更新那些受基础表更改影响的索引页。Hippo是一种快速、可扩展的数据库索引方法。Hippo只存储磁盘页面的指针以及基于轻量级直方图的摘要。所提出的结构显着收缩索引存储和维护开销，而不影响查询执行性能。基于PostgreSQL 9.5中的真实Hippo实现，使用TPC-H基准测试的实验表明，Hippo实现了比传统数据库索引少两个数量级的存储空间和少三个数量级的维护开销，即，B+-树。此外，实验还表明，Hippo实现了可比的查询执行性能的B+树的各种选择性因素。
2016-04-12 cs.DB
Oasis: Hiding the Cost of Querying Parquet Files in the Datapath
ETH Zürich（苏黎世联邦理工学院）；Apple（苹果公司）
该研究提出名为Oasis的智能网卡，将Parquet解码卸载到网络数据路径，实现与DuckDB端到端集成，可降低解码开销，最优时DuckDB查询吞吐量近翻倍。
2026-08-04 cs.AR cs.DB
Evaluating Learned Spatial Indexes
University of Helsinki（赫尔辛基大学）
通过实验研究学习型索引在空间范围查询中的性能，分析块大小、数据倾斜、选择性等因素的影响，并基于工作负载提出索引选择决策树。
2026-06-18 cs.DB
Towards Cost-Effective Storage Provisioning for DBMSs
当考虑如何在具有复杂I/O子系统的机器上提供资源时，数据中心运营商面临着一系列令人困惑的选择。现代I/O子系统通常具有快速，高性能但昂贵的SSD与便宜但相对较慢（用于随机访问）的传统硬盘驱动器的丰富组合。数据中心运营商需要确定如何为特定工作负载提供I/O资源，以便遵守现有的服务水平协议（SLA），同时最小化运行工作负载的总运营成本（TOC），其中TOC包括摊销的硬件成本和运行时间能量成本。本文的重点是介绍这个新的问题，TOC为基础的存储分配，铸造的框架，是兼容传统的DBMS查询优化和查询处理体系结构。我们还提出了一个基于经验的解决方案，这个问题，称为DOT。我们已经在PostgreSQL中实现了DOT，并且使用TPC-H和TPC-C的实验表明DOT在各种设置中显著降低了TOC。
2011-12-31 cs.DB
ArrayBridge: Interweaving declarative array processing with high-performance computing
科学家们越来越多地转向小型计算机来生产和分析大规模阵列。尽管几十年的数据库研究都在颂扬声明式查询处理的优点，但科学家们仍然编写、调试和并行化命令式HPC内核，即使是最普通的查询。这种阻抗不匹配的部分原因是繁琐的数据加载过程;作为回应，数据库界提出了以科学文件格式访问数据的就地机制。然而，科学家们想要的不仅仅是从文件中读取数组的被动访问方法。本文介绍了ArrayBridge，一个双向数组视图机制的科学文件格式，其目的是使声明性数组操作与命令式文件为中心的分析互操作。我们的ArrayBridge原型实现使用HDF5作为底层阵列存储库，并无缝集成到SciDB开源阵列数据库系统中。除了快速查询外部数组对象外，ArrayBridge还可以像读取数组一样轻松地生成HDF5文件格式的数组。ArrayBridge还支持通过未修改的HDF5 API从命令式内核进行时间旅行查询，并自动消除数组版本之间的重复数据，以提高空间效率。我们在NERSC（一个大规模科学计算设施）中进行的广泛的性能评估表明，ArrayBridge表现出与原生SciDB存储引擎在统计上不可区分的性能和I/O可扩展性。
2017-02-27 cs.DB
DeepSPACE: Approximate Geospatial Query Processing with Deep Learning
可用地理空间数据的数量以前所未有的速度增长。这导致对处理能力和存储的需求不断增加，以便及时提供数据分析。同时，许多地理空间处理本质上是可视化和探索性的，因此具有有限的精度要求。我们提出了DeepSPACE，一个基于深度学习的近似地理空间查询处理引擎，它将适度的硬件要求与回答灵活聚合查询的能力相结合，同时将所需的状态保持在几百KiB。
2019-06-14 cs.DB
GutenTag: A Multi-Term Caching Optimized Tag Query Processor for Key-Value Based NoSQL Storage Systems
NoSQL系统越来越多地被部署为Google、Amazon或Facebook等大型分布式在线平台的后端基础设施。它们的适用性源于在线平台的大多数服务通过其主键码访问存储的数据对象的事实。然而，NoSQL系统不能有效地支持引用多于一个数据对象的服务，例如，对数据对象的基于术语的搜索。为了解决这个问题，我们提出了我们的架构上的NoSQL系统顶部的倒排索引的基础上。对于包含多个术语的查询，分布式索引在大型分布式系统中产生有限的性能。我们提出了两个扩展来应对这一挑战。首先，我们存储索引条目，不仅为单个术语，但也为一组选定的术语组合，这取决于他们的流行程度来自查询历史。其次，我们还在网关节点上缓存流行的密钥，这是现实世界系统中的一个常见概念，在后端访问数据对象时充当服务的接口。我们的研究结果表明，我们可以显着减少处理查询的带宽消耗，与一个可接受的，边际增加的网关节点的负载。
2011-05-23 cs.DB cs.IR
Efficient RDF Graph Storage based on Reinforcement Learning
知识图谱是人工智能的重要基石。各领域大规模知识图谱的构建和发布，对知识图谱数据管理提出了新的挑战。关系数据库由于其成熟性和稳定性，也适合RDF数据存储。然而，RDF图的复杂结构给RDF图在关系数据库中的存储结构设计带来了挑战。针对这一难题，采用强化学习（RL）优化基于关系数据库的RDF图存储分区方法。将图存储转化为马尔可夫决策过程，提出了用于图存储设计的强化学习算法。为了有效的基于RL的存储设计，我们提出了RDF表的数据特征提取方法和模型训练过程中的查询重写优先级策略。大量的实验结果表明，我们的方法优于现有的RDF存储设计方法。
2020-10-22 cs.DB
INSTRUCT: Space-Efficient Structure for Indexing and Complete Query Management of String Databases
搜索引擎、词典和同义词词典存储以及其他文本挖掘应用的巨大扩展，与容易获得的扫描设备和光学字符识别工具的普及相结合，使得对于各种现代应用的大量文本数据库的有效存储、检索和管理成为必要。对于这样的应用程序，我们提出了一种新的数据结构，INFECT，有效地存储和管理的序列数据库。我们的结构使用位向量重用的存储空间，共同的三元组，因此，有一个非常低的内存需求。除了精确的字符串搜索操作之外，INCLUCT还通过迭代地检查三元组的存在来有效地处理前缀和后缀搜索查询。我们还提出了一个扩展的结构，以有效地处理子串搜索，虽然增加了空间的要求。这个扩展是很重要的，在上下文的trie为基础的解决方案，无法有效地处理这样的查询。我们进行了几个实验，描绘INDROCT优于现有的结构，近两个因素的空间需求方面，而查询时间更好。除了支持所有类型的查询（包括精确搜索、前缀/后缀搜索和子串搜索）之外，还能够处理字符串的插入和删除，这使得INCLECT成为一个完整的数据结构。
2012-07-03 cs.DB cs.DS
Optimized Disk Layouts for Adaptive Storage of Interaction Graphs
我们生活在一个联系日益紧密的世界中，记录人、软件系统和物理世界之间交互的数据变得越来越普遍。这些数据通常采用时间演化图的形式，其中实体是顶点，它们之间的交互是边。我们称这样的图为交互图。包括电信、交通和社交媒体在内的各种应用领域都依赖于在交互图上执行的分析。要有效地支持交互图上的历史分析，就需要针对磁盘上的数据布局问题提供有效的解决方案。本文提出了一种自适应磁盘布局称为铁路布局优化磁盘块存储的相互作用图。关键思想是将块划分为一个或多个子块，其中每个子块包含属性的子集，但整个图结构在每个子块内复制。这改进了查询I/O，但代价是增加了存储开销。我们介绍了最佳的ILP配方分区磁盘块成子块重叠和非重叠属性。此外，我们提出了贪婪的启发式方法，可以更好地扩展相比，ILP的替代品，但实现接近最佳的查询I/O。为了证明铁路布局的好处，我们提供了一个广泛的实验研究比较我们的方法，一些基线的替代品。
2014-10-20 cs.DB
On Usage of Non-Volatile Memory as Primary Storage for Database Management Systems
本文研究将非易失性存储器（NVM）用作数据库主存储的影响，以PostgreSQL为例修改存储引擎并开发预取库，实验显示查询执行时间较磁盘和NVM存储最多减少54%和17%，平均减少23%和8%。
2025-02-13 cs.DB
D4M: Bringing Associative Arrays to Database Engines
收集和分析大量数据的能力在科学界是一个日益严重的问题。数据和用户之间的差距越来越大，需要创新的工具来解决大数据量，速度和多样性所面临的挑战。存在许多工具，允许用户存储，查询和索引这些大量的数据。每个存储或数据库引擎都有处理复杂数据的承诺。希望使用这些系统的科学家和工程师通常很快就会发现，没有一种技术可以为信息的复杂性提供灵丹妙药。然而，当使用多种技术时，在设计存储和数据库引擎之间的信息移动以支持端到端应用程序方面存在很大的麻烦，同时与学习每种底层技术的细微差别相关的学习曲线也很陡峭。在本文中，我们提出了动态分布式维度数据模型（D4 M）作为统一数据库和存储引擎操作的潜在工具。以前关于D4 M的文章展示了D4 M与流行的NoSQL Accumulo数据库交互的能力。然而最近，D4 M现在在各种后端存储或数据库引擎上运行，同时通过使用关联数组向最终用户提供联邦外观。为了展示D4 M如何支持新数据库，我们描述了构建D4 M-SciDB连接器的过程，并介绍了该连接的性能。
2015-08-28 cs.DB
Code Generation Techniques for Raw Data Processing
目前研究的动机是设计一种算法，可以加快查询的处理。重要的特性是为特定的查询动态生成代码。我们提出的代码生成技术，适用于原始文件的查询处理。其思想是使用给定的查询定制查询程序，并生成特定于机器和查询的源代码。生成的代码由GCC、Clang或任何其他C/C++编译器编译，编译后的文件动态链接到主程序以进行进一步处理。代码生成降低了一般化查询处理的成本。它还避免了在实现高性能的常规解释的开销。数据库管理系统（DBMS）在大数据的许多方面都表现出色，例如存储，索引和分析。DBMS通常格式化整个数据并将其加载到其存储层中。它们增加了数据查询时间，这是将数据转换为特定模式并将其持久化在磁盘中所花费的成本时间。理想情况下，DBMS应该适应输入数据，并提取与给定查询相关联的一个/一些列，而不是整个数据。因此，原始文件上的查询引擎可以减少常规常规操作的成本，并避免一些不必要的过程，如完全扫描，标记化和配对整个数据。在目前的研究中，我们介绍了我们的代码生成方法，在原位处理的原始文件，这是基于模板的方法和炒作的方法。该方法最大限度地减少了数据查询的时间，并实现了高性能的查询处理。我们的工作有一些好处：减少分支和指令，展开循环，消除不必要的数据类型检查和优化二进制代码与本地机器上的编译器。
2017-12-09 cs.DB
Distributed Caching for Complex Querying of Raw Arrays
随着应用程序继续以指数级增长的速度生成多维数据，快速分析以提取有意义的结果变得非常重要。数据库社区已经开发了数组数据库，通过一系列技术缓解了这个问题。原位机制提供了对原始格式的原始数据的直接存取访问-无需加载和分区。并行处理可扩展到最大的数据集。内存中缓存减少了跨查询工作负载访问相同数据时的延迟。然而，我们不知道任何关于多维原始数组的分布式缓存的工作。在本文中，我们介绍了一个分布式的框架成本为基础的缓存多维数组在本机格式。给定一组包含数组部分的文件和一个在线查询工作负载，该框架分两个阶段计算有效的缓存计划。首先，该计划通过不断改进不断发展的R树索引，从每个输入文件中识别要本地缓存的单元。在第二阶段中，确定将单元格最优分配给将依赖单元格并置以使总体数据传输最小化的节点。我们设计的缓存驱逐和放置启发式算法，考虑历史查询工作量。一个彻底的实验评估两个真实的数据集在三种文件格式证实了优越性-多达两个数量级-所提出的框架在缓存开销和工作负载执行时间方面超过现有的技术。
2018-03-16 cs.DB cs.DC
OASIS: Object-based Analytics Storage for Intelligent SQL Query Offloading in Scientific Tabular Workloads
针对现有支持计算的对象存储系统在输出格式灵活性、算子支持范围、深层存储层级优化上的不足，本文提出OASIS系统，实现灵活输出、复杂算子支持与动态路径选择，在HPC科学查询场景下较现有方案最高提升32.7%的性能。
2025-09-02 cs.DB cs.DC
Columnar Formats for Schemaless LSM-based Document Stores
在过去的十年中，文档存储数据库系统在存储和查询大量半结构化数据方面获得了更多的关注。但是，文档存储的数据模型的灵活性限制了它们以列为主的布局存储数据的能力，使得它们在分析工作负载方面的性能不如列存储关系数据库。在本文中，我们提出了几种技术的基础上捎带日志结构化合并（LSM）树事件和定制的文档存储存储在一个列布局的文档数据。我们首先扩展了Dremel格式，一种流行的半结构化数据的磁盘列格式，以符合文档存储的灵活数据模型。然后，我们将介绍两种用于在基于LSM的存储中组织和存储数据的列式布局。我们还强调了在文档存储中使用查询编译技术的潜力，其中值的类型只在运行时才知道。我们已经实现并评估了我们的技术，以衡量其对Apache AsterixDB中的存储，数据摄取和查询性能的影响。我们的实验显示了显着的性能增益，提高查询执行时间的数量级，同时最小限度地影响摄取性能。
2021-11-22 cs.DB
MQRLD: A Multimodal Data Retrieval Platform with Query-aware Feature Representation and Learned Index Based on Data Lake
本文提出基于数据湖的多模态检索平台MQRLD，通过查询感知特征表示、统一混合查询接口和高维学习型索引，显著提升复杂环境下多模态数据检索效率。
2025-02-08 cs.DB
JetStream: Generating Verified Query Accelerators for Existing Database Systems
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
JetStream是一种为现有DBMS生成查询特定加速器的方法，可在TPC-H测试中实现对DuckDB的315倍几何平均读取加速，经验证的加速器达93倍，更新流下仍保持120倍加速。
2026-11-05 cs.DB
Breaking Database Lock-in: Agentic Regeneration of High Performance Storage Readers for Database Bypass
Cornell University（康奈尔大学）
研究分析工作负载面临的数据访问瓶颈问题，提出Jailbreak方法，利用大语言模型辅助代码合成绕过数据库引擎直接读取存储文件，在PostgreSQL和MySQL上评估，性能显著提升，证明该方法可打破数据库系统数据锁定。
2026-07-09 cs.AI cs.DB
Adaptive Low-level Storage of Very Large Knowledge Graphs
Web上知识图谱（KG）的可用性和使用的增加要求可扩展和通用的解决方案来存储这种类型的数据结构。我们提出三叉戟，一种新的存储架构非常大的KG集中式系统。Trident使用多个互连的数据结构来提供对节点和边的快速访问，物理存储根据图的拓扑而变化，以减少内存占用。与为单个任务设计的单个架构相比，我们的方法提供了一个具有少量低级和通用原语的接口，这些原语可用于实现SPARQL查询应答，推理或图形分析等任务。我们的实验表明，Trident可以使用廉价的硬件处理具有10^11条边的图形，在多个工作负载上提供具有竞争力的性能。
2020-01-24 cs.DB
Towards Interoperability of Open and Permissionless Blockchains: A Cross-Chain Query Language
University of Fribourg（弗里堡大学）
本文提出一种类似SQL的跨链查询语言，基于兼容主流开放无许可区块链的数据模型，实现跨链数据访问互操作性，并通过原型验证其可行性。
2022-09-23 cs.DB cs.DC
DualTable: A Hybrid Storage Model for Update Optimization in Hive
Hive是Hadoop生态系统中最成熟和流行的数据仓库工具，提供类似SQL的接口。它在许多互联网公司中得到成功应用，并显示出其对传统行业大数据处理的价值。然而，智能电网应用中的企业大数据处理系统通常需要复杂的业务逻辑，并涉及许多数据操作操作，如更新和删除。Hive无法在保持高查询性能的同时提供足够的支持。Hive使用Hadoop分布式文件系统（HDFS）存储，不能有效地实现数据操作，而Hive在HBase上虽然可以支持更快的数据操作，但查询性能很差。有一个基于Hive的项目issue Hive-5317来支持更新操作，但在Hive的最新版本中还没有完成。由于该ACID兼容扩展在HDFS上采用相同的数据存储格式，因此无法解决更新性能问题。在本文中，我们提出了一个混合存储模型称为DualTable，它结合了高效的HDFS的流式读取和HBase的随机写入能力。DualTable上的Hive提供了更好的数据操作支持，同时保留了查询性能。在TPC-H数据集和实际智能电网数据集上的实验表明，在执行更新和删除操作时，DualTable上的Hive比Hive快10倍。
2014-12-01 cs.DB cs.DC
QUEST: An Efficient Query Evaluation Scheme Towards Scan-Intensive Cross-Model Analysis
QUEST提出统一列式存储布局与Skip-Tree索引，结合位图操作剪枝无关扫描，显著加速扫描密集型跨模型分析查询，性能较现有系统提升3.7至178.2倍。
2023-09-21 cs.DB
Why Did My Query Slow Down?
许多企业环境的数据库都运行在网络连接的服务器存储基础设施（称为存储区域网络或SAN）上。数据库和SAN都是复杂的系统，需要各自独立的管理团队。本文提出了一个创新的管理框架，以简化需要深入了解数据库和SAN的管理任务。作为一个具体的实例，我们考虑诊断多次执行的数据库查询的性能下降的任务（例如，在周期性报告生成设置中）。此任务非常具有挑战性，因为可能的原因包括特定于数据库的问题、特定于SAN的问题以及由于两个系统之间的交互而出现的问题。此外，这些系统提供的监测数据可能存在噪声。我们描述了DIADS的设计，这是一个集成的诊断工具，数据库和SAN管理员。DIADS生成并使用一个名为注释计划图（Annotated Plan Graphs，APG）的强大抽象，它将数据库和SAN中查询的执行路径联系在一起。DIADS使用将特定领域知识与机器学习技术相结合的创新工作流，成功地应用于诊断PostgreSQL数据库和生产SAN中事件的复杂组合所导致的查询速度降低。
2011-10-22 cs.DB
ARCADE: A Real-Time Data System for Hybrid and Continuous Query Processing across Diverse Data Modalities
Nanyang Technological University, Singapore（南洋理工大学）
ARCADE是一个实时数据系统，通过统一索引、代价优化器和增量物化视图，支持多模态数据的混合与连续查询，性能显著优于现有系统。
2025-09-24 cs.AI cs.DB
JanusAQP: Efficient Partition Tree Maintenance for Dynamic Approximate Query Processing
动态数据库上的近似查询处理，即，在插入/删除下，其应用范围从高频交易到物联网分析。我们提出了JanusAQP，一个新的动态AQP系统，它支持SUM，AUG，AVG，MIN和MAX查询下的插入和删除的数据集。JanusAQP将静态分区树概要（数据集的分层聚合）扩展到动态设置中。本文贡献了新的方法：（1）有效的初始化的数据摘要在传入数据的存在下，（2）维护的数据摘要下插入/删除，和（3）重新优化的分区，以减少近似误差。JanusAQP仅使用10%的存储成本就将最先进的基线误差降低了60%以上。JanusAQP可以在单个节点设置中每秒处理超过100 K的更新，并将查询延迟保持在毫秒级。
2022-07-26 cs.DB
Implementing and Evaluating E2LSH on Storage
本文提出 E2LSHoS，将 E2LSH 适配至外部存储，利用现代闪存设备评估表明其查询速度超越内存小索引方法，并突破内存索引大小限制实现次线性扩展。
2024-03-25 cs.DB cs.PF
Heterogeneous Replica for Query on Cassandra
Cassandra是一种流行的结构化存储系统，具有高性能、可扩展性和高可用性，通常用于存储具有某些可排序属性的数据。在部署和配置Cassandra时，设计一个合适的列族模式以加速目标查询是很重要的。然而，一个模式只适用于一部分查询，并留下高延迟的其他查询。在本文中，我们提出了一种新的副本机制，称为异构副本，大大减少查询延迟，同时确保高的写吞吐量和数据恢复。通过这种副本机制，不同的副本具有相同的数据集，但在磁盘上具有不同的序列化。通过在Cassandra上实现异构副本机制，我们证明了在TPC-H数据集上Cassandra的读性能可以提高两个数量级。
2018-10-02 cs.DB
COPR -- Efficient, large-scale log storage and retrieval
针对大规模流式日志数据的存储与检索问题，提出 Compressed Probabilistic Retrieval 算法（COPR）作为现有索引结构的替代方案，在大幅降低存储空间和假阳性率的同时显著提升了查询吞吐量。
2024-03-27 cs.DB cs.DS cs.IR
Neural Graph Reasoning: Complex Logical Query Answering Meets Graph Databases
Stanford University（斯坦福大学）；Intel AI Lab（英特尔人工智能实验室）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
复杂逻辑查询应答（CLQA）是最近出现的图机器学习任务，其超越了简单的单跳链接预测，并且解决了在潜在空间中的大量潜在不完整图上的多跳逻辑推理的复杂得多的任务。该任务在社区中获得了巨大的吸引力;许多作品沿着理论和实践轴线扩展了该领域，以使用高效的系统来处理不同类型的复杂查询和图形模式。在本文中，我们提供了一个全面的调查CLQA从多个角度研究该领域的详细分类，包括图形类型（模态，推理域，背景语义），建模方面（编码器，处理器，解码器），支持的查询（运营商，模式，投影变量），数据集，评估指标和应用程序。细化CLQA任务，我们引入神经图数据库（NGDB）的概念。NGDB扩展了图数据库（图数据库）的概念，由神经图存储和神经图引擎组成。在神经图存储中，我们设计了一个图存储，一个特征存储，并使用编码器在潜在嵌入存储中进一步嵌入信息。给定一个查询，神经查询引擎学习如何执行查询规划和执行，以便通过与神经图存储交互来有效地检索正确的结果。与传统的图数据库相比，NGDB允许使用嵌入存储灵活和统一地建模不同模态的特征。此外，当图不完整时，它们可以提供正常图DB无法恢复的答案的鲁棒检索。最后指出了NGDB未来的研究方向、有待解决的问题和应用前景。
2023-03-26 cs.AI cs.DB cs.LG
A Big Data Based Framework for Executing Complex Query Over COVID-19 Datasets (COVID-QF)
COVID-19的快速全球传播推动了大数据分析的创新工具。这些指导了卫生行业所有领域的组织跟踪和最大限度地减少病毒的影响。研究人员需要通过人工智能、机器学习和自然语言处理来检测冠状病毒，并对这种疾病有一个完整的了解。COVID-19发生在世界上不同的国家，只有大数据应用和NOSQL数据库的工作才适合。有很多平台用于处理NOSQL数据库模型，如：Spark，H2O和Hadoop HDFS/MapReduce，它们适合控制和管理大量数据。大型应用程序开发人员面临许多挑战，特别是那些通过不同API和查询使用混合数据模型处理COVID-19数据库的程序员。在这种情况下，本文提出了一个存储框架，用于处理COVID-19数据集的SQL和NOSQL数据库（COVID-QF），以便通过减少处理时间来处理和处理病毒在全球范围内传播引起的问题。对于NoSQL数据库，COVID-QF使用Hadoop HDFS/Map Reduce和Apache Spark。COVID-QF由三层组成：数据汇集层、存储层和查询处理层。数据收集在数据汇集层。存储层将数据划分为数据存储和处理块的集合，并将火花机的连接器与不同的数据库引擎连接，以减少存储和检索的时间。而处理层执行请求查询并发送结果。该框架使用了三个随时间增加的COVID-19数据集（COVID-19-Merging，COVID-19-inside-Hubei和…
2020-05-25 cs.DB cs.DC
Secure Hypersphere Range Query on Encrypted Data
在基于位置的应用中，范围查询、最近邻查询、环形范围查询等空间查询是应用最广泛的查询。在云计算框架中为这些查询构建安全高效的解决方案至关重要，并且一直是活跃的研究领域。本文主要研究安全圆范围查询（SCRQ）问题，客户端提交一个加密查询（由圆心和半径组成），云（存储加密数据点）必须返回位于圆内的点。现有的解决方案，这个问题遭受各种各样的缺点，如高处理时间，这是成正比的查询半径的平方，查询生成阶段，这是直接成正比的查询覆盖的点的数量等，本文提出了解决上述问题，这是比现有的解决方案更有效。提出了三种具有不同特征的协议。结果表明，这三个协议都是安全的。所提出的协议可以扩展到多个维度，因此也能够处理安全超球体范围搜索（SHRQ）。在内部，所提出的协议使用基于配对的密码学和查找表的概念。为了有效地利用有限大小的查找表，提出了一种新的存储方案。所提出的存储方案使协议能够处理更大的半径值的查询。使用SHRQ协议，我们还提出了一个机制来回答安全范围的错误。广泛的性能评估已经完成，以评估所提出的协议的效率
2021-03-17 cs.CR cs.DB
NSHEDB: Noise-Sensitive Homomorphic Encrypted Database Query Engine
UC Riverside（加州大学河滨分校）；Meta
NSHEDB通过字级分层同态加密和噪声感知查询计划器，实现了高效安全的同态加密数据库查询，显著提升性能并减少存储需求。
2026-02-27 cs.CR cs.DB
Delta Tensor: Efficient Vector and Tensor Storage in Delta Lake
Oracle Labs（甲骨文实验室）
针对AI/ML应用增长带来的向量张量高效存储需求，提出将数组数据库多维存储策略与稀疏编码应用于Delta Lake的湖仓张量存储方案，时空效率均优于传统序列化，为云原生AI/ML数据管理优化提供参考。
2024-05-13 cs.DB cs.DC cs.LG
Data Freshness in Leader-Based Replicated Storage
基于领导者的数据复制通过对领导者节点的顺序写入来提高高可用性分布式存储系统中的一致性。在领导者提交写入之后，跟随者节点通过多播机制写入，并且仅保证最终一致。与年龄的信息（AoI）作为新鲜度度量，我们的特点是领导者的数量如何影响的新鲜度的数据检索的瞬时读取查询。特别是，我们推导出的平均年龄的读取查询的领导者写时间的确定性模型和追随者写时间的概率模型。我们得到一个封闭形式的表达式为指数分布的追随者写作时间的平均年龄。我们的数值计算结果表明，根据两组节点的写操作的相对速度，存在一个最佳的领导者的数量，最大限度地减少检索到的数据的平均年龄，这个数字的增加作为领导者的相对速度的增加。
2020-05-15 cs.DB cs.DC cs.IT
Flock: A Low-Cost Streaming Query Engine on FaaS Platforms
Flock 是一种基于 FaaS 平台的云原生流式查询引擎，利用函数调用负载进行数据交换，无需外部存储和集中协调器，支持 SQL 和 DataFrame API，相比 Apache Flink 成本降低 10-20 倍且性能相当。
2024-04-21 cs.DB cs.DC
