GraphChi-DB: Simple Design for a Scalable Graph Database System -- on Just a PC
我们提出了一种新的数据结构，并行邻接表（PAL），有效地管理图与磁盘上的数十亿条边。PAL结构基于GraphChi的图存储模型（Kyrola et.例如，OSDI 2012），但我们对其进行了扩展，以支持在线数据库功能，如查询和快速插入。此外，我们扩展了模型的边和顶点属性。与以前的数据结构相比，PAL可以更复杂地存储图形，同时允许快速访问顶点的传入和传出边，而不复制数据。在PAL的基础上，我们设计了一个图形数据库管理系统GraphChi-DB，它也可以执行强大的分析图形计算。我们通过实验评估了我们的设计，并证明GraphChi-DB在比可用内存大得多的图形上实现了最先进的性能。GraphChi-DB使任何只有笔记本电脑或PC的人都可以处理非常大的图形。
2014-03-04 cs.DB
Scalable Multi-Database Privacy-Preserving Record Linkage using Counting Bloom Filters
隐私保护记录链接（PPRL）旨在集成来自不同组织的多个不同数据库的敏感信息。PPRL方法在医疗保健、国家安全和商业等实际应用领域中的需求越来越大。以前的办法主要侧重于只连接两个数据库以及使用一个专门的连接单位。将PPRL扩展到更多的数据库（多方PPRL）是一个开放的挑战，因为隐私威胁以及记录链接的计算和通信成本随着数据库的数量显着增加。因此，我们提出了一种新的编码方法的敏感数据的基础上计数布隆过滤器（CBF），以提高隐私的多方PPRL。我们还研究了优化，以减少通信和计算成本的CBF为基础的多方PPRL与不使用一个专用的链接单元。用真实数据集进行的实证评估表明了所提出的方法的可行性，并证明了其可扩展性，链接质量和隐私保护。
2017-01-05 cs.DB
Scalable Package Queries in Relational Database Systems
传统的数据库查询遵循一个简单的模型：它们定义结果中的每个元组必须满足的约束。该模型在计算上是高效的，因为数据库系统可以单独评估每个元组上的查询条件。然而，许多实际的现实问题需要一个结果元组的集合来共同满足约束，而不是单独满足约束。在本文中，我们提出了包查询，一个新的查询模型，扩展了传统的数据库查询处理复杂的约束和偏好的答案集。我们开发了一个成熟的包查询系统，实现了传统的数据库引擎之上。我们的工作做出了一些贡献。首先，我们设计了PaQL，一个基于SQL的查询语言，支持包查询的声明性规范。我们证明了PaQL是至少作为整数线性规划的表达，因此，评估包查询是一般NP-难。其次，我们提出了一个基本的评估策略，结合数据库和约束优化求解器的能力，以获得解决方案包查询。我们的方法的核心是一组转换规则，将包查询转换为整数线性规划。第三，我们引入了一个离线的数据分区策略，允许查询评估规模大的数据大小。第四，我们介绍SketchRefine，一个可扩展的软件包评估算法，具有很强的近似保证（$(1 \pmε)^6$因子近似）。最后，我们提出了广泛的实验在现实世界和基准数据。结果表明，SketchRefine在获得高质量的包结果方面是有效的，并且在大型数据集上实现了比直接使用ILP求解器快一个数量级的运行时性能。
2015-12-16 cs.DB
BayesWipe: A Scalable Probabilistic Framework for Cleaning BigData
最近在结构化数据的数据清理方面的努力完全集中在数据重复删除、记录匹配和数据标准化等问题上;解决这些问题的方法都没有集中在修复元组中不正确的属性值上。纠正元组中的值通常通过违反静态约束（如CFD）的元组的最小成本修复来执行（必须由领域专家提供，或从数据库的干净样本中学习）。在本文中，我们提供了一种方法来纠正个人属性值的结构化数据库中使用贝叶斯生成模型和统计误差模型直接从噪声数据库中学习。因此，我们避免了领域专家或干净的主数据的必要性。我们还展示了如何有效地执行一致的查询回答使用此模型在一个肮脏的数据库，在情况下写权限的数据库不可用。我们评估我们的方法在合成和真实数据。
2015-06-30 cs.DB
Evaluating Accumulo Performance for a Scalable Cyber Data Processing Pipeline
流式大数据应用程序在创建可扩展的数据流管道方面面临挑战，其中必须收集、存储、查询和分析多个数据流。这些数据源的特征在于它们的数量（就数据集大小而言）、速度（就数据率而言）和种类（就字段和类型而言）。对于许多应用，分布式NoSQL数据库是传统关系数据库管理系统的有效替代品。本文考虑了一个网络态势感知系统，使用Apache Accumulo数据库提供可扩展的数据仓库，实时数据摄取，并响应查询人类用户和分析算法。我们评估Accumulo的摄取的可扩展性作为客户端进程和服务器的数量的函数。我们还描述了一个灵活的数据模型与有效的技术查询规划和查询优化，以提供响应结果。查询性能根据客户端接收初始结果集的延迟进行评估。Accumulo的性能是使用真实的网络数据在多达8个节点的数据库上测量的。
2014-07-21 cs.DB
Sieve: A Middleware Approach to Scalable Access Control for Database Management Systems
当前在数据库管理系统（DBMS）中实施FGAC的方法在策略数量为数千的情况下不能扩展。本文在新兴智能空间的背景下确定了这样一个用例，其中立法可能要求系统（如欧洲的GDPR和加利福尼亚州的CCPA）授权用户指定谁可以访问他们的数据以及用于什么目的。我们提出了Sieve，在现有的数据库系统中实现FGAC的分层方法，它利用了各种它的功能，如UDF，索引使用提示，查询解释，扩展到大量的政策。给定一个查询，Sieve利用它的上下文来过滤需要检查的策略。Sieve还生成保护表达式，通过对策略进行分组来节省评估成本，并通过利用数据库索引来削减读取成本。我们的实验结果，在两个DBMS和两个不同的数据集上，显示Sieve可扩展到大型数据集和大型策略语料库，从而支持包括新兴智能环境在内的应用程序的实时访问。
2020-06-17 cs.DB
Aster: Enhancing LSM-structures for Scalable Graph Database
针对大规模演化图的密集更新与查询需求，研究提出含三项创新技术的Poly-LSM键值存储引擎，基于此构建支持Gremlin的Aster图数据库，实验证明其性能优于主流基线，在十亿级Twitter图上吞吐量最高提升17倍。
2025-01-11 cs.DB
Towards a Scalable Dynamic Spatial Database System
随着支持GPS的智能手机和其他类似移动设备的兴起，大量的位置数据可用。然而，还没有可扩展的解决方案，软实时空间查询的大型移动对象集尚未出现。在本文中，我们探索和测量的限制，实际算法和实现不同的应用场景。最后，我们提出了一种新的分布式架构，以解决可扩展性问题。
2012-11-19 cs.CG cs.DB cs.DC
Scalable Continual Top-k Keyword Search in Relational Databases
关系数据库中的关键字搜索由于不要求用户既不掌握某种结构化查询语言，也不需要知道复杂的底层数据库模式，近年来得到了广泛的研究。现有的大多数方法都是针对静态数据库中的快照关键字查询。但实际上，数据库经常更新，用户可能对特定主题有长期兴趣。为了应对这种情况，有必要在数据库系统中建立有效和高效的设施，以支持连续的关键字查询。在本文中，我们提出了一个有效的方法来回答连续的顶部- $k$关键字查询关系数据库。该方法建立在现有的关系数据流关键字搜索方案的基础上，但将排序机制融入到查询处理方法中，并对关系数据库中的前$k$关键字搜索进行了两点改进。与现有的方法相比，该方法在静态数据库中计算top- $k$结果和在数据库不断更新时维护top- $k$结果方面都有更高的效率.实验结果验证了该方法的有效性和效率。
2011-08-23 cs.DB cs.IR
GriDB: Scaling Blockchain Database via Sharding and Off-Chain Cross-Shard Mechanism
GriDB提出首个可扩展区块链数据库，通过链下跨分片机制和新型认证数据结构，在拜占庭环境下高效支持跨分片查询与在线负载均衡，降低共识开销并保留分片收益。
2024-07-04 cs.DB
A Scalable Algorithm for Maximizing Range Sum in Spatial Databases
研究了空间数据库中的MaxRS问题。给定一组加权点O和一个给定大小的矩形区域r，MaxRS问题的目标是找到r的位置，使得r覆盖的所有点的权重之和最大化。这个问题在许多基于位置的应用中是有用的，例如为具有有限交付范围的新特许经营店找到最佳位置，以及为具有有限可达范围的游客找到最有吸引力的地方。然而，这个问题主要是在理论上，特别是在计算几何的研究。现有的计算几何算法都是内存算法，不能保证可扩展性。在本文中，我们提出了一个可扩展的外部存储器算法（ExactMaxRS）的MaxRS问题，这是最佳的I/O复杂度。此外，我们提出了一个近似算法（ApproxMaxCRS）的MaxCRS问题，是一个圆形版本的MaxRS问题。我们证明了ExactMaxRS算法的正确性和最优性以及ApproxMaxCRS算法的逼近界。从大量的实验结果，我们表明，ExactMaxRS算法是两个数量级的速度比现有的算法适应的方法，在实践中的近似界是远远优于理论界的ApproxMaxCRS算法。
2012-08-01 cs.DB
HARMONY: A Scalable Distributed Vector Database for High-Throughput Approximate Nearest Neighbor Search
针对现有分布式向量数据库负载不均、通信开销高的问题，本文提出采用多粒度分区策略与早停剪枝机制的Harmony系统，实验证明其吞吐量与偏斜负载性能均显著优于主流方案。
2025-06-17 cs.DB
Building Scalable AI-Powered Applications with Cloud Databases: Architectures, Best Practices and Performance Considerations
Sr. Solutions Architect（高级解决方案架构师）
本文系统分析了云原生数据库与AI工作负载集成的架构模式与最佳实践，涵盖向量、图、NoSQL及关系型数据库，并通过性能评估和行业案例为企业构建高性能、可扩展且成本高效的AI应用提供实用指导。
2025-04-26 cs.AI cs.DB
Scalable Enforcement of Fine Grained Access Control Policies in Relational Database Management Systems
针对现有关系型数据库细粒度访问控制策略执行扩展性差的问题，提出中间件Sieve，结合查询重写与缓存优化策略执行，实验证明其可大幅提升策略评估性能，适配动态工作负载。
2025-11-18 cs.DB
Parameter Database : Data-centric Synchronization for Scalable Machine Learning
QATAR COMPUTING RESEARCH INSTITUTE（卡塔尔计算研究所）；HAMAD BIN KHALIFA UNIVERSITY（哈马德·本·哈利法大学）
我们提出了一个新的以数据为中心的同步框架，用于在分布式环境中执行机器学习（ML）任务。我们的框架利用了ML算法的迭代性质，并放松了以前用于分布式机器学习的应用程序不可知的批量同步并行（BSP）范式。以数据为中心的同步补充了以功能为中心的同步，其基础是使用陈旧更新来增加分布式ML计算的吞吐量。验证我们的框架的实验表明，我们可以在保证ML任务的顺序正确性的同时，实现对BSP的实质性改进。
2015-08-04 cs.DB cs.LG
Scalable Database Access Technologies for ATLAS Distributed Computing
ATLAS事件数据处理需要访问非事件数据（探测器条件、校准等）存储在关系数据库中。数据库驻留数据对于事件数据重构处理步骤是至关重要的，并且经常需要用于用户分析。ATLAS数据库操作的一个主要重点是条件DB数据的全球分布，这是每个ATLAS数据处理作业所必需的。由于Conditions DB访问对于使用真实数据的操作至关重要，因此我们开发了一种可以使用不同技术作为冗余备份的系统。冗余的数据库操作基础设施完全满足ATLAS再处理的要求，这已经在网格上的0.5 PB的单光束和宇宙学数据的两次再处理活动期间在10亿次数据库查询的规模上得到了证明。为了收集经验并为最佳技术选择提供投入，成功地评价了在用户分析中有效访问数据库的几个有希望的备选方案。我们目前的ATLAS经验，可扩展的数据库访问技术，并描述我们的方法，防止在网格计算环境中的数据库访问瓶颈。
2009-10-02 cs.DB cs.DC hep-ex
Scalable data storage for PV monitoring systems
高效的光伏研究包括从具有不同特征的多个实验中进行长时间的数据监测，需要一个可扩展的支持系统来处理所有收集到的信息。本文介绍了一个关系数据库的发展，托管所有必要的信息，数据建模，比较分析和O\&M系统。采用Ramer-Douglas-Peucker算法和Timescaledb压缩来减小时间序列数据的大小，提高查询的性能。提出了一种决策算法，用于选择Ramer-Douglas-Peucker算法的最佳输入，以确保最大的磁盘空间节省，同时不丢失任何必要的信息。此外，提供了实现相同数据库的替代方式。
2022-09-19 cs.DB
Nebula Graph: An open source distributed graph database
本文介绍了Nebula Graph的最新工作，Nebula Graph是一个开源的、分布式的、可扩展的、原生的图形数据库。我们提出了一个系统设计的权衡和星云图内部的全面概述，包括图形数据模型，分区策略，二级索引，优化器规则，存储端事务，图形查询语言，可观察性，图形处理框架和可视化工具包。此外，还建立了三组大规模图b
2022-06-15 cs.DB
Scalable Probabilistic Databases with Factor Graphs and MCMC
University of Massachusetts（马萨诸塞大学）
概率数据库在不确定数据的管理和理解中起着至关重要的作用。然而，将概率纳入不完整数据库的语义中带来了许多挑战，迫使系统牺牲建模能力，可扩展性，或限制它们关闭的关系代数公式的类别。我们提出了一种替代方法，其中底层的关系数据库总是代表一个单一的世界，和一个外部因素图编码的分布在可能的世界，马尔可夫链蒙特卡罗（MCMC）推理，然后使用恢复这种不确定性所需的保真度水平。我们的方法可以有效地评估任意查询的概率数据库与任意依赖关系表示的图形模型的结构，在推理过程中发生变化。MCMC采样通过假设{ \em修改}到可能的世界而不是从头开始生成整个世界来提供效率。然后，在世界发生变化的部分上运行查询，避免了在每个采样世界上运行完整查询的繁重成本。这项工作的一个重要创新是MCMC采样和物化视图维护技术之间的连接：我们发现经验，使用视图维护技术是几个数量级的速度比天真地查询每个采样的世界。我们还展示了我们的系统的能力，回答关系查询与聚合，并通过使用并行化展示了额外的可扩展性。
2010-05-11 cs.AI cs.DB
A Scalable Transaction Management Framework for Consistent Document-Oriented NoSQL Databases
Bahri University（巴里大学）；Georgia State University（佐治亚州立大学）；Delaware State University（特拉华州立大学）
本文提出了一种四阶段事务管理框架，通过优化锁策略和冲突检测，提高了文档导向NoSQL数据库在一致性与性能之间的平衡。
2026-02-02 cs.DB
Scalable Blocking for Very Large Databases
在数据库去重领域，目标是在数据库中找到近似匹配的记录。分块是这个过程中的一个典型阶段，它涉及廉价地找到可能匹配的候选记录对，以进行进一步处理。我们在这里提出了哈希动态阻塞，一种新的阻塞方法，旨在解决比大多数先前工作中研究的数据集更大的数据集。Hashed Dynamic Blocking（HDB）扩展了Dynamic Blocking，它利用了罕见的匹配值和值的罕见交集预测匹配关系的洞察力。我们还提出了一种新的使用局部敏感哈希（LSH）建立阻塞的大型数据库的关键值与方便的配置，以控制精度和召回之间的权衡。HDB通过最小化数据移动，使用紧凑的块表示，并使用Count-min Sketch近似计数数据结构对无效候选块进行绿色修剪来实现大规模。我们通过关注超过一百万行的真实数据集来对算法进行基准测试，表明该算法在此范围内显示线性时间复杂度缩放。此外，我们在5.3亿行工业数据集上执行HDB，在不到三个小时的时间内检测到680亿个候选对，在主要云服务上的成本为307美元。
2020-08-19 cs.DB cs.DC cs.DS
Scalable Probabilistic Similarity Ranking in Uncertain Databases (Technical Report)
提出了一种基于不确定向量数据的概率top-k相似度排序方法。每个不确定的对象表示的一组向量的实例，假设是互斥的。我们的目标是根据它们到参考对象的距离对不确定数据进行排序。我们提出了一个框架，增量计算每个对象实例和排名位置，对象落在该排名位置的概率。由此产生的排名概率分布可以作为几个国家的最先进的概率排名模型的输入。现有方法通过应用二次复杂度的动态规划方法来计算该概率分布。在本文中，我们从理论上和实验表明，我们的框架降低了线性时间复杂度，同时具有相同的内存要求，促进增量访问的不确定向量实例，以增加他们的距离到参考对象。此外，我们展示了如何输出我们的方法可以用于应用概率top-k排名的对象，根据不同的国家的最先进的定义。我们对合成数据和真实数据进行了实验评估，证明了我们方法的有效性。
2009-07-16 cs.DB cs.IR
Efficient and scalable geometric hashing method for searching protein 3D structures
随着结构化数据库的不断扩展，需要有效的方法从数据库中搜索查询结构的相似结构。以前有许多关于比较蛋白质3D结构和用查询结构扫描数据库的工作。然而，它们通常具有实际使用的限制，因为大的计算和存储要求。本文提出了两种新的结构化数据库相似子结构查询方法：局部空间模式匹配（LSPM）和反向LSPM（RLSPM）。在两类查询中，我们重点研究了RLSPM问题，因为它比LSPM更实用、更通用。作为一种朴素的算法，我们采用几何哈希技术RLSPM问题，然后提出我们的算法，改进的基线算法处理大规模的数据，并提供了一个有效的匹配算法。我们采用子采样和Z排序，以减少存储需求和执行时间，分别。通过实验验证了该方法的正确性和可靠性。我们的实验表明，使用可靠性度量，真阳性率至少为0.8。
2011-02-15 cs.DB q-bio.QM
Scalable Sampling for High Utility Patterns
EPITA Research Laboratory (LRE)（EPITA研究实验室）
针对大规模量化数据库中高效用模式挖掘的可扩展性难题，提出基于两条原创定理的新型采样算法及磁盘版本，兼具交互性与统计保证，性能优于现有最先进方法，可应用于考古知识图谱子剖面发现等场景。
2024-10-30 cs.DB cs.LG
Scalable Join Inference for Large Context Graphs
Tursio
本文提出一种结合统计剪枝与LLM推理的可扩展连接推断方法，用于提升大规模上下文图构建的精度与效率。
2026-03-04 cs.DB
Scalable Visibility Color Map Construction in Spatial Databases
3D建模的最新进展为我们提供了真实的3D数据集来回答查询，例如“新广告牌的最佳位置是什么？和“哪个房间的风景最好？““在存在障碍的情况下。这些应用需要从数据空间中的不同视点测量和区分对象（目标）的可见性，广告牌可以从两个视点看到，但是只能从更靠近目标的视点读取。在本文中，我们制定了上述问题量化的可见性（从）一个目标对象从（的）周围区域的可见性彩色地图（VCM）。VCM本质上被定义为空间的表面颜色图，其中空间的每个视点被分配一个颜色值，该颜色值表示目标从该视点的可见性度量。即使从单个视点测量目标的可见性也是一项昂贵的操作，因为我们需要考虑视点和目标之间的距离、角度和障碍物等因素。因此，一个简单的方法来构建的VCM，需要为目标的周围空间的每个视点的可见性计算，是昂贵的I/O和计算方面，特别是对于一个真实的数据集，包括成千上万的障碍。我们提出了一种有效的方法来计算的VCM的基础上的人类视觉的一个关键属性，消除了计算的可见性为大量的空间的观点的必要性。为了进一步减少计算开销，我们提出了两个近似，即最小外接矩形和切线方法，保证误差界。我们广泛的实验证明了我们的解决方案的有效性和效率，以构建真正的2D和3D数据集的VCM。
2013-10-28 cs.DB
CUTTANA: Scalable Graph Partitioning for Faster Distributed Graph Databases and Analytics
针对大规模图无法单存、现有流式划分质量低的问题，提出带缓冲、粗化细化技术的CUTTANA流式划分器，在保证延迟相当的同时提升划分质量，优化图分析与数据库性能。
2024-12-10 cs.DB cs.DC
Task-Aware Reduction for Scalable LLM-Database Systems
Department of Computer Science Trent University Peterborough, Canada（计算机科学系特伦特大学彼得伯勒，加拿大）；Faculty of Information University of Toronto Toronto, Canada（信息学院多伦多大学多伦多，加拿大）
本文提出将LLM的令牌预算视为注意力预算，主张任务感知的输入文本缩减作为语言-数据系统的首要设计原则，以解决数据密集型工作流中数据冗长和噪声问题，实现可扩展、准确且可持续的LLM-数据集成。
2025-10-13 cs.CL cs.DB cs.SE
HAKES: Scalable Vector Database for Embedding Search Service
National University of Singapore（国立新加坡大学）；Deakin University（德肯大学）；Zhejiang University（浙江大学）
本文提出分布式向量数据库 HAKES，通过两阶段 ANN 索引、轻量参数调优、提前终止及读写解耦，在并发负载下实现高召回、高吞吐和可扩展。
2025-05-18 cs.DB cs.LG
Big Data, Big Decisions Choosing the Right Database
本文对比SQL与NoSQL数据库在结构化查询、模式灵活性、数据一致性及水平扩展方面的差异，以帮助组织为大数据场景选择合适方案。
2024-05-09 cs.DB
Usable & Scalable Learning Over Relational Data With Automatic Language Bias
Oregon State University（俄勒冈州立大学）
关系数据库是学习新颖有趣的关系和概念的宝贵资源。为了约束搜索通过候选定义的大空间，用户必须通过指定语言偏好来调整算法。不幸的是，具体说明语言偏见是通过试验和错误来完成的，并由专家的直觉指导。我们提出了AutoBias，一个利用数据库的模式和内容中的信息来自动诱导流行的关系学习系统所使用的语言偏见的系统。我们表明，AutoBias提供了相同的准确性，使用手动编写的语言偏见只施加轻微的开销上的运行时间的学习算法。
2020-04-06 cs.DB cs.LG
ScalienDB: Designing and Implementing a Distributed Database using Paxos
ScalienDB是一个基于Paxos算法构建的可扩展的复制数据库。它是在2010年至2012年期间开发的，当时支持它的创业公司失败了。本文讨论了分布式数据库的设计决策，描述了C++代码库的有趣部分，并列举了在少数客户端将ScalienDB投入生产的经验教训。源代码在Github上以AGPL许可证提供，但不再开发或维护。
2013-02-15 cs.DB cs.DC
The End of a Myth: Distributed Transactions Can Scale
普遍的看法是分布式事务不能扩展。但是，如果使用下一代网络和重新设计的分布式数据库可以使分布式事务具有可伸缩性，那会怎样呢？开发人员将不再需要担心共同分区方案来实现良好的性能。应用程序开发将变得更加容易，因为数据放置将不再决定应用程序的可伸缩性。硬件配置将得到简化，因为系统管理员在添加更多机器时可以预期线性横向扩展，而不是一些复杂的次线性功能，这是高度特定于应用程序的。在本文中，我们提出了我们的新的可扩展的数据库系统NAM-DB的设计，并显示非常常见的快照隔离保证分布式事务确实可以使用下一代的RDMA启用的网络技术，没有任何固有的瓶颈扩展。我们对TPC-C基准测试的实验表明，我们的系统线性扩展至56台机器上每秒超过650万个新订单（总计1450万个）分布式交易。
2016-11-21 cs.DB
Starling: A Scalable Query Engine on Cloud Function Services
与本地系统非常相似，在云中运行数据库分析工作负载的自然选择是提供一个节点集群来运行数据库实例。然而，分析工作负载通常是突发性的或低容量的，使集群大部分时间处于空闲状态，这意味着客户即使在未使用的情况下也要为计算资源付费。云函数服务（如AWS Lambda或Azure Functions）能够运行小型细粒度任务，这使得它们似乎是此类设置中查询处理的自然选择。但是，在云功能上实施分析系统也面临着一系列挑战。其中包括管理数百个小型无状态资源受限的工作人员，处理掉队者，以及通过不透明的云服务进行数据洗牌。在本文中，我们提出了Starling，一个查询执行引擎建立在云功能服务，采用了一些技术来减轻这些挑战，提供交互式查询延迟在较低的总成本比低到中等利用率的系统。特别是，在云存储中的1 TB TPC-H数据集上，当查询间隔1分钟或更长时间到达时，Starling比工作负载的最佳配置系统更便宜。Starling还具有比竞争系统更低的延迟，从云对象存储读取，并可以扩展到更大的数据集。
2019-11-26 cs.DB
Compression Aware Physical Database Design
现代RDBMS支持使用空值抑制和字典编码等方法压缩数据的能力。数据压缩为决策支持查询提供了显著降低存储需求和提高I/O性能的希望。但是，由于压缩和解压缩的CPU成本，压缩也会降低更新和查询性能。在本文中，我们研究了数据压缩如何影响选择适当的物理数据库设计，如索引，对于一个给定的工作负载。我们观察到，将是否选择索引的决策与是否压缩索引的决策解耦的方法可能会导致较差的解决方案。因此，我们关注的是以可扩展的方式将压缩集成到物理数据库设计中的新问题。我们通过修改Microsoft SQL Server和数据库引擎优化顾问（DTA）物理设计工具实现了我们的技术。我们的技术是通用的，并有可能适用于数据库管理系统，支持其他压缩方法。我们在真实世界以及TPC-H基准负载上的实验结果证明了我们的技术的有效性。
2011-09-04 cs.DB
Prune First, Decide Fast: Scalable Semantic Query Processing with JEVDB
Purdue Data & AI System Lab (PDAIS)（普渡数据与人工智能系统实验室）；University of Utah（犹他大学）
JEVDB通过类型化决策模型和语义布隆过滤器减少语义查询延迟与成本，在SemBench和Shelob上实现低延迟、低成本和高F1，同时保持答案质量。
2026-10-02 cs.DB
Dynamic and Scalable Data Preparation for Object-Centric Process Mining
本文针对对象中心化过程挖掘中现有事件日志格式在流式数据场景下灵活性、可扩展性和可维护性不足的问题，提出了一种基于中心辐射型架构的中间数据存储枢纽数据库格式及新型关系模式，并通过轻量级开源数据栈实现端到端方案加以验证。
2024-10-01 cs.DB
SOLAR: Scalable Distributed Spatial Joins through Learning-based Optimization
本文提出SOLAR，一种通过基于学习的优化实现可扩展分布式空间连接的框架，通过离线学习平衡的空间分区并在在线阶段评估查询相似性以重用分区器或从头分区，在真实数据集上实现了高达3.6倍的整体运行加速和2.71倍的分区加速。
2025-04-02 cs.DB
ForeSight: A Predictive-Scheduling Deterministic Database
针对确定性数据库事务依赖捕获不足导致的调度与性能问题，本文提出 ForeSight，利用轻量级冲突预测、多版本优化和矩阵两遍前向扫描实现冲突感知调度，显著提升竞争与倾斜负载下的可扩展性。
2025-08-30 cs.DB
Aurora DSQL: Scalable, Multi-Region OLTP
Amazon Web Services（亚马逊云科技）
研究旨在设计多区域在线事务处理的无服务器SQL数据库极光DSQL。其核心方法是基于分解架构，分离相关服务，采用特定并发控制技术。主要贡献是可弹性扩展，能在故障时保证强一致性、ACID事务及持续可用性，还能降低跨区域延迟。
2026-07-17 cs.DB
Rapid AkNN Query Processing for Fast Classification of Multidimensional Data in the Cloud
$k$ -最近邻（$k$ NN）查询使用距离度量确定距特定位置的$k$最近点。全$k$最近邻（$k$ NN）查询构成$k$ NN查询的变体，并且检索数据库内的每个点的$k$最近点。它们的主要用途在空间数据库中产生共鸣，它们构成了许多基于位置的应用程序的主干，不仅如此（即$k$ NN加入数据库，数据采掘中的分类）。因此，开发有效解决这些问题的方法至关重要。在这项工作中，我们提出了一种新的方法分类多维数据使用一个$k$ NN算法在MapReduce框架。我们的方法利用空间分解技术以并行和分布式的方式处理分类过程。据我们所知，我们是第一个在这个角度下研究多维对象的分类。通过广泛的实验评估，我们证明了我们的解决方案是有效的和可扩展的处理给定的查询。我们调查了许多不同的角度，可以影响总的计算成本，如不同的数据集分布，维数，增长的$k$值和粒度的空间分解，并证明我们的系统是有效的，鲁棒性和可扩展性。
2014-02-27 cs.DB
Scientific Workflows and Provenance: Introduction and Research Opportunities
科学工作流对于计算密集型和数据密集型科学应用越来越受欢迎。科学工作流的愿景和承诺包括快速、简单的工作流设计、重用、可扩展的执行和其他优势，例如，为了通过出处促进“可再现的科学”（例如，数据沿袭）支持。然而，正如本文所述，重要的研究挑战仍然存在。虽然数据库社区在过去已经广泛地研究了（业务）工作流技术，但科学工作流中的大多数当前工作似乎是在数据库社区之外完成的，例如，由计算科学和电子科学的从业者和研究人员。我们简要介绍了科学工作流程和起源，并确定了为数据库研究提供新机会的领域和问题。
2013-11-23 cs.DB
ACGreGate: A Framework for Practical Access Control for Applications using Weakly Consistent Databases
与传统的关系数据库系统相比，可伸缩和高可用性系统通常需要提供较弱一致性保证的数据存储。这些应用程序的正确性高度依赖于应用程序模型对数据不一致的弹性。特别是在应用程序安全方面，很难确定哪些不一致是可以容忍的，哪些可能导致安全漏洞。在本文中，我们讨论的问题，如何开发一个访问控制层的应用程序使用弱一致的数据存储，而不失去的性能优势，通过使用较弱的一致性模型。我们提出ACGreGate，一个Java框架，用于实现正确的访问控制层的应用程序使用弱一致的数据存储。在对数据存储的某些要求下，ACGreGate确保访问控制层在动态适应的安全策略方面正确运行。我们使用ACGreGate实现了一个学生管理系统的访问控制层。这个案例研究表明，实际上有用的安全策略可以实现的框架产生很少的开销。与使用集中式服务器的设置进行比较，显示了使用ACGreGate的好处，可以使服务的可伸缩性扩展到地理范围。
2018-01-22 cs.DB
Actor-Relational Database Systems: A Manifesto
交互式数据密集型应用在金融、Web应用、移动计算和物联网等领域中变得越来越普遍。这些应用程序越来越多地部署在复杂的并行和分布式硬件基础设施中。随着软件和硬件环境的日益多样化，编程模型和系统面临着压力，使开发人员能够设计模块化，可扩展，高效和一致的数据密集型应用程序。为了应对这一挑战，最近的研究提倡演员编程模型和数据库管理的整合。这种集成有望帮助开发人员构建逻辑上分布式的微应用程序，以适应现代硬件的发展趋势，而不是现有的方法，以优化单片应用程序。为了实现这一目标，在本文中，我们分析，使情况下，并提出了一个广阔的视野演员-关系数据库系统。我们认为，为什么今天的时机已经成熟，以检查这个新兴的系统范式所提供的研究机会。基于此讨论，我们提出了设计原则以及候选功能集，以帮助具体化这样的系统的愿景。为了说明所提出的功能集的有用性，并激发对这类系统的需求，我们展示了一个详细的案例研究，该案例研究的灵感来自一个具有自助结账功能的智能超市应用程序，以及现代硬件上的性能优势的证据。
2018-09-10 cs.DB
AutoLink: Autonomous Schema Exploration and Expansion for Scalable Schema Linking in Text-to-SQL at Scale
AutoLink通过自主代理框架实现大规模文本到SQL的模式探索与扩展，提升模式链接的召回率和可扩展性。
2025-11-21 cs.CL cs.DB
GRADOOP: Scalable Graph Data Management and Analytics with Hadoop
商业和科学中的许多大数据应用需要管理和分析大量的图形数据。用于图分析的先前方法，诸如图数据库和并行图处理系统（例如，Pregel）要么缺乏足够的可扩展性，要么缺乏灵活性和表现力。因此，我们正在开发一种新的端到端方法，用于基于Hadoop生态系统的图数据管理和分析，称为Gradoop（Hadoop上的图分析）。Gradoop是围绕所谓的扩展属性图数据模型（EPGM）设计的，支持许多不同图形中语义丰富的无模式图形数据。提供了一组高级运算符，用于分析单个图和图的集合。基于这些操作符，我们提出了一个特定领域的语言来定义分析工作流。Gradoop图形存储目前正在使用HBase在Hadoop集群中分布式存储图形数据。Gradoop的初始版本已被用于分析商业智能和社会网络分析的图形数据。
2015-06-02 cs.DB
Manu: A Cloud Native Vector Database Management System
随着基于学习的嵌入模型的发展，嵌入向量被广泛用于非结构化数据的分析和搜索。由于矢量集合超过十亿规模，因此需要完全管理和水平可扩展的向量数据库。在过去的三年里，通过与1200多个行业用户的互动，我们勾勒出了下一代向量数据库应该具备的特征，包括长期可演化性、可调一致性、良好的弹性和高性能。我们提出Manu，一个云原生向量数据库，实现这些功能。如果按照传统的DBMS设计规则，很难将所有这些特性集成在一起。由于大多数矢量数据应用程序不需要复杂的数据模型和强大的数据一致性，我们的设计理念是放松数据模型和一致性约束，以换取上述功能。具体来说，Manu首先公开了写前日志（WAL）和binlog作为骨干服务。其次，写组件被设计为日志发布者，而所有只读的分析和搜索组件被设计为日志服务的独立订阅者。最后，我们利用多版本并发控制（MVCC）和增量一致性模型来简化系统组件之间的通信和协作。这些设计实现了系统组件之间的低耦合，这对弹性和进化至关重要。我们还通过硬件感知实现和对复杂搜索语义的支持，对Manu的性能和可用性进行了广泛优化。
2022-06-28 cs.DB
RDF Graph Alignment with Bisimulation
我们调查的问题，对齐两个RDF数据库，在理解本体的演变的一个重要问题。我们的方法解决了三个基本的挑战：1）使用“空白”（空）的名称，2）本体的变化，其中不同的名称被用来识别同一个实体，以及3）小的变化，数据值以及小的变化，在RDF数据库的图形结构。我们提出的方法的启发图互模拟的经典概念，并将其扩展到捕获的数据值和图形结构的编辑距离的自然指标。我们在三个不断发展的策划数据集上评估我们的方法。总体而言，我们的研究结果表明，所提出的方法表现良好，是可扩展的。
2016-06-28 cs.DB
Skill-Based Autonomous Agents for Material Creep Database Construction
Materials Genome Institute, Shanghai University（上海大学材料基因组研究院）
本文提出基于技能的自主代理框架，用于从科学文献中自动提取高保真的材料蠕变数据，实现物理自洽的数据库构建。
2026-02-03 cs.DB
LHC Databases on the Grid: Achievements and Open Issues
为了从记录的数据中提取物理结果，LHC实验正在使用网格计算基础设施。网格上的事件数据处理需要可扩展地访问非事件数据（探测器条件、校准等）。存储在关系数据库中。数据库驻留数据对于事件数据重建处理步骤是关键的，并且经常需要物理分析。本文回顾了LHC在网格计算数据库技术方面的经验。主题列表包括：数据库集成与网格计算模型的LHC实验;数据库技术的选择;数据库接口的例子;分布式数据库应用程序（数据的复杂性，更新频率，数据量和访问模式）;数据库访问的可扩展性在网格计算环境中的LHC实验。审查报告介绍了取得重大进展的领域和尚未解决的问题。
2010-07-12 cs.DB cs.DC hep-ex
OceanBase Bacchus: a High-Performance and Scalable Cloud-Native Shared Storage Architecture for Multi-Cloud
OceanBase, Ant Group（蚂蚁集团 OceanBase）
OceanBase Bacchus是一种基于LSM树的多云共享存储架构，通过共享服务和异步后台服务实现高性能读写，显著提升OLTP和OLAP性能并降低存储成本。
2026-02-27 cs.DB
3DPipe: A Pipelined GPU Framework for Scalable Generalized Spatial Join over Polyhedral Objects
Indiana University Bloomington（印第安纳大学布鲁明顿分校）；Stony Brook University（石溪大学）
本文提出3DPipe，一种利用GPU并行性处理多面体对象空间连接的流水线框架，通过多级剪枝策略和分块流式处理提升效率，实验显示其比现有最佳GPU方案TDBase快9倍。
2026-07-17 cs.DB
GPU-Powered Spatial Database Engine for Commodity Hardware: Extended Version
鉴于空间数据量的大规模增长，非常需要能够有效地评估大型数据集上的空间查询的系统。使用传统的数据库解决方案，这些查询是非常昂贵的。虽然通过强大的集群或具有大内存的服务器可以实现更快的响应时间，但由于成本和复杂性，这些选项对于构成长尾的许多数据科学家和分析师来说是遥不可及的。图形处理单元（GPU）现在甚至在商用台式机和笔记本电脑中也广泛使用，它提供了一种支持高性能计算的经济高效的替代方案，为有效评估空间查询开辟了新的机会。虽然文献中提出的基于GPU的方法在性能上有很大的改进，但它们与特定的GPU硬件相关联，并且只处理固定几何类型的特定查询。在本文中，我们提出了SPADE，GPU驱动的空间数据库引擎，支持丰富的空间查询。我们讨论了在大型数据集上实现高效查询评估以及跨不同GPU硬件的可移植性所面临的挑战，以及如何在SPADE中解决这些问题。我们进行了详细的实验评估，以评估广泛的查询和数据集的系统的有效性，并报告结果表明，SPADE是可扩展的，能够处理大于主内存的数据，其性能在笔记本电脑上是与其他系统，需要集群或大内存服务器。
2022-03-27 cs.DB
LiteMat: a scalable, cost-efficient inference encoding scheme for large RDF graphs
链接数据源的数量和链接开放数据图的大小每天都在增长。因此，语义RDF服务越来越多地面临各种“大数据”问题。推理存在时的查询处理就是其中之一。例如，为了完成SPARQL查询的答案集，RDF数据库系统通过耗时的查询重写算法或耗时的数据物化解决方案来评估语义RDFS关系（subPropertyOf，subClassOf）。为了减少内存占用并简化大型数据集的交换，这些系统通常应用字典方法，通过用整数值替换资源标识符（IRI）、空白节点和文字来压缩三倍数据大小。在这篇文章中，我们提出了一个结构化的资源识别方案，使用一个聪明的编码的概念和属性层次结构，有效地评估主要的常见RDFS蕴涵规则，同时最大限度地减少三重物化和查询重写。我们将展示如何通过可扩展的并行算法计算这种编码，并直接在Apache Spark框架上实现。我们的编码方案的效率是强调的合成和现实世界的数据集进行评估。
2015-10-12 cs.DB
