Definition, Detection, and Recovery of Single-Page Failures, a Fourth Class of Database Failures
三种传统的故障类型是系统故障、介质故障和事务故障。然而，有时候，现代存储会出现与所有这些不同的故障。为了捕获和描述这种情况，单页故障被引入作为第四个故障类别。这个类别包含了尽管在较低的系统级别中进行了所有纠正尝试，但仍无法正确读取数据页和具有合理内容的所有失败。有效的恢复似乎需要一种称为页恢复索引的新数据结构。它的事务性维护可以通过写入与当今日志和恢复的有效实现相同数量的日志记录来完成。单页故障的检测和恢复可以足够快，以至于受影响的数据访问仅被延迟，而不需要中止事务。
2012-03-29 cs.DB
Review on Fragment Allocation by using Clustering Technique in Distributed Database System
在过去的几年中，在提高分布式数据库系统的性能方面取得了相当大的进展。分布式数据库中的碎片分配模型的开发由于站点数量庞大及其通信考虑的复杂性而变得困难。在这种情况下，聚类和数据分配的仿真是理解和评估分布式数据库中数据分配性能的有效工具。集群站点和片段分配是分布式数据库性能中的关键挑战，并且被认为是在减少应用程序执行期间传输和访问的数据方面具有主要作用的有效方法。本文综述了在分布式数据库系统中利用聚类技术进行分片分配的研究。
2013-10-04 cs.DB
Modeling and In-Database Management of Relational, Data-Aware Processes (Extended Version)
在过去的二十年里，人们越来越认识到，信息系统的工程通常需要在集成主数据和业务流程方面付出巨大的努力。这导致了来自学术界和工业界的大量建议。然而，这样的方法通常带有特定的抽象来表示数据组件并与之交互。这有两个缺点。一方面，它们不能用于轻松地用动态来丰富现有的关系数据库。另一方面，它们一般不允许综合建模、验证和颁布。我们攻击这两个挑战，提出了一个声明性的方法，完全基于SQL，支持直接在关系数据库上的关系数据感知过程的敏捷建模。我们展示了这种方法如何自动转换为具体的过程化SQL方言，可以在任何关系数据库引擎内直接执行。该转换利用了过程状态的数据库内表示，该过程状态又用于在记录或不记录执行实例的情况下立即处理过程制定以及过程验证。该方法已在一个工作原型中实现。
2019-07-08 cs.DB
Security Implications of Distributed Database Management System Models
升级分布式数据库时必须解决安全功能问题。在面向对象数据模型和关系数据模型之间的选择，需要考虑几个因素。这些因素中最重要的是单一和多级访问控制（MAC），保护和完整性维护。在确定哪个分布式数据库副本对于特定功能更安全时，不应仅根据可用的安全功能进行选择。人们还应该质疑提供这些特征的有效性和效率。本文讨论了两种数据库模型的安全性优缺点以及在分布式环境下所引发的根本性问题。
2014-01-30 cs.DB
Nebula Graph: An open source distributed graph database
本文介绍了Nebula Graph的最新工作，Nebula Graph是一个开源的、分布式的、可扩展的、原生的图形数据库。我们提出了一个系统设计的权衡和星云图内部的全面概述，包括图形数据模型，分区策略，二级索引，优化器规则，存储端事务，图形查询语言，可观察性，图形处理框架和可视化工具包。此外，还建立了三组大规模图b
2022-06-15 cs.DB
Probabilistic Top-k Dominating Queries in Distributed Uncertain Databases (Technical Report)
在诸如业务规划和传感器数据监视的许多现实世界应用中，一个重要但具有挑战性的任务是对对象（例如，产品、文档或空间对象），并有效地返回具有最高分数的那些对象。在实际应用中，由于数据源的不可靠性，许多现实世界的对象往往包含噪声，因此是不精确和不确定的。在本文中，我们研究的问题，概率top-k支配（PTD）查询这样的大规模不确定数据在分布式环境中，检索k个不确定对象从分布式不确定数据库（在多个分布式服务器），具有最大的排名分数与高的置信度。为了有效地解决分布式PTD问题，我们提出了一个MapReduce框架，用于处理分布式不确定数据库上的分布式PTD查询。在这个MapReduce框架中，我们设计了有效的修剪策略来过滤分布式环境中的误报，提出了基于成本模型的服务器索引分发机制，并开发了高效的分布式PTD查询处理算法。大量的实验已经证明了我们提出的分布式PTD方法的效率和有效性的真实和合成数据集，通过各种实验设置。
2021-05-12 cs.DB
Intelligent Implementation Processor Design for Oracle Distributed Databases System
尽管对分布式数据库（DDB）的建模和实现的需求越来越大，但分布式数据库管理系统还远远不能帮助设计人员直接实现其BDD。事实上，实现DDB的基本原则是使数据库看起来像一个集中式数据库，提供一系列的数据，这是当前DDBMS无法直接提供的。我们专注于这项工作的Oracle数据库管理系统，尽管它的市场主导地位，只提供了一些逻辑机制来实现分布。为了解决这个问题，我们提出了一个新的体系结构的DDBMS Oracle。这个想法是基于通过智能层扩展它，该智能层提供：1）通过GUI创建不同类型的碎片，用于定义地理上分散的不同站点2）DB的分配和复制。系统必须为原始配置的每个站点自动生成SQL脚本。
2015-04-12 cs.DB
System G Distributed Graph Database
由于需要从互联数据中提取知识和价值，大数据的图形分析是工业界和学术界非常活跃的研究领域。为了有效地支持图形分析，出现了大量的内存图形库、图形处理系统和图形数据库。这些类别中的每一个项目都集中在特定的方面，如静态与动态图形，离线与在线处理，小与大图形等，虽然在过去的几十年中，图形处理有很大的进步，仍然需要一个快速的图形处理，使用一个集群的机器与分布式存储。在本文中，我们讨论了一种新的分布式图形数据库称为系统G设计的高效的图形数据存储和处理的现代计算架构。特别是，我们描述了一个单节点的图形数据库和运行时和通信层，使我们能够组成一个分布式的图形数据库，从多个单节点的实例。从各种行业的需求，我们发现，快速插入和大量并发查询的图形数据库的关键部分，我们优化我们的数据库，这样的功能。我们的实验表明，系统G的效率存储数据和处理图形查询的最先进的平台上。
2018-02-08 cs.DB
Mining The Data From Distributed Database Using An Improved Mining Algorithm
关联规则挖掘是一个活跃的数据采掘研究领域，大多数ARM算法适合于集中式环境。集中式数据采掘在分布式数据库中发现有用的模式并不总是可行的，因为合并来自不同站点的数据集会产生巨大的网络通信成本。本文提出了一种基于良好性能水平的数据采掘改进算法。在本地站点，运行基于改进的LMatrix算法的应用程序，该算法用于计算本地支持数。本地站点还找到一个中心站点来管理交换的每一条消息，以获得所有全球频繁项集。利用LMatrix减少了分区数据库的扫描时间，提高了算法的性能。因此，本研究旨在开发一种分布式算法，用于地理上分布的数据集，该算法比直接在分布式数据库中应用顺序算法降低通信成本，具有更高的运行效率和更强的可扩展性。
2010-04-10 cs.DB
A fixed storage distributed graph database hybrid with at-scale OLAP expression and I/O support of a relational DB: Kinetica-Graph
本文将讨论一种分布式图形数据库体系结构，该体系结构与分布式关系数据库共存，用于I/O和大规模OLAP表达式支持，具有数百个PostGIS兼容的几何函数。这种实现的独特性主要源于其双链路拓扑结构，因为其固定的存储特性独立于节点到边缘连接的变化。该实现的另一个值得注意的贡献是其分布式图服务器之间的非阻塞客户端-服务器通信架构。还实现了基于节点重复的非检查分区方案，确保使用地理空间、随机和显式分片选择的分布式过滤进行最小通信。最后，一个有效的重新平衡算法，其次是一个分布式的最短路径求解器将展示与地理空间和社交网络的例子。
2022-01-03 cs.DB
Performant Synchronization in Geo-Distributed Databases
Renmin University of China（中国人民大学）；Tsinghua University（清华大学）；Northeastern University（东北大学）
GeoCoCo通过优化网络条件和数据传输减少同步成本，提升分布式数据库性能
2025-12-18 cs.DB
The Case for Distributed Shared-Memory Databases with RDMA-Enabled Memory Disaggregation
存储器分解（MD）通过将计算（CPU）与存储器分离，允许可扩展和弹性的数据中心设计。使用MD，计算和内存不再耦合到同一个服务器盒中。相反，它们通过超快速网络（如RDMA）相互连接。MD可以带来许多优点，例如，更高的内存利用率、更好的独立扩展（计算和内存）以及更低的拥有成本。本文提出了MD可以推动下一波数据库系统创新的案例。我们注意到，MD重新唤起了数据库社区中关于“共享什么”的大辩论。我们设想，分布式共享内存数据库（DSM-DB，简称）-以前没有得到太多的关注-可以在未来的MD有前途。我们提出了一个挑战和机遇的列表，可以激发系统设计的下一步，使DSM-DB的情况。
2022-07-07 cs.DB
Efficient and Private Approximations of Distributed Databases Calculations
近年来，越来越多的数据是在不同的数据库中收集的，而且往往是不合作的数据库。隐私保护的问题，分布式计算在分离的数据库和，相对于它，私人数据发布的问题进行了深入的研究。然而，尽管取得了相当大的进步，但由于数据大小的增加，计算复杂性仍然是现实世界部署中的限制因素，特别是在隐私保护计算的情况下。在本文中，我们提出了一个通用的方法进行数据采样的分布式计算的性能和准确性之间的权衡。抽样是一个广泛研究的主题，最近受到了极大的关注。我们提供了一种针对独立的，非协作的，垂直分区的数据集的采样方法。通过实例验证了该方法的有效性，并分别在不带隐私保护机制和带隐私保护机制的情况下对交集进行了逼近。分析了误差的界作为样本容量的函数进行了讨论，并提出了启发式算法，以进一步提高性能。实验结果证明了该方法的有效性。
2016-05-19 cs.DB
Design and Implementation of Fragmented Clouds for Evaluation of Distributed Databases
在本文中，我们提出了一个碎片混合云（FHC），它提供了多个地理上分布的私有云计算中心的统一视图。FHC利用了一种分散的使用模型，在这种模型中，外包是跨私有云的双向的，私有云可以由静态和移动实体托管。私有云节点的移动性方面对FHC在延迟和网络吞吐量方面的性能具有重要影响，延迟和网络吞吐量与不同节点之间的时变距离成正比。移动性还导致FHC基础设施的计算节点和网络链路之间的间歇性中断。为了充分考虑移动性及其后果，我们实现了一个分层的FHC，它利用了Linux实用程序和Shell编程。我们还评估了节点的移动性对分布式数据库性能的影响，这是由于随时间变化的延迟和带宽、缩小和扩大集群节点以及网络可访问性。我们广泛的实验结果提供了对知名大数据数据库（如Cassandra，MongoDB，Redis和MySQL）在FHC上部署时的性能的深入了解。
2022-09-20 cs.DB
The Missing Dimensions in Geo-Distributed Database Evaluation
Delft University of Technology（代尔夫特理工大学）；Ververica GmbH（Ververica有限公司）；KTH Royal Institute of Technology（皇家理工学院）
针对现有地理分布式OLTP数据库评估忽略网络不稳定、数据位置和跨区域成本等问题，提出综合评估框架Gaia，揭示系统对网络敏感、网络成本主导部署费用及多区域容错机制开销被忽视等发现。
2026-05-28 cs.DB
A Blockchain Database Application Platform
区块链是一种分散的链接数据结构，其特点是其固有的数据修改阻力，但它在搜索查询方面存在缺陷，主要是由于其劣质的数据格式。分布式数据库也是一种分散的数据结构，其特征在于快速的查询处理和精心设计的数据格式化，但遭受数据可靠性。在本次演示中，我们展示了一个通过将区块链与数据库集成开发的区块链数据库应用平台，即我们展示了一个系统，该系统具有区块链的去中心化，分布式和可听化特征以及分布式数据库的快速查询处理和精心设计的数据结构。该系统具有防篡改、一致和具有成本效益的多活动数据库以及有效和可靠的数据级灾难恢复备份。该系统在实践中被证明是一个多活动数据库，以及数据级灾难恢复备份功能。
2019-01-10 cs.DB
LogBase: A Scalable Log-structured Database System in the Cloud
许多应用，例如金融交易（例如，股票交易）在性质上是重写的。近年来，Web应用程序中从读到写的转变也在加速。在大多数存储系统中，预写日志记录是提供恢复能力同时提高性能的常用方法。然而，日志和应用程序数据的分离会导致在写入繁重的环境中观察到的写入开销，并因此对系统中的写入吞吐量和恢复时间产生不利影响。在本文中，我们介绍了LogBase -一个可扩展的日志结构的数据库系统，采用日志存储消除写瓶颈，并支持快速的系统恢复。LogBase被设计为动态部署在商品集群上，以利用云环境的弹性伸缩特性。LogBase提供了内存中的多版本索引，以支持对日志中维护的数据的有效访问。LogBase还支持跨多个记录绑定读写操作的事务。我们实现了所提出的系统，并将其与HBase和基于磁盘的日志结构的面向记录的系统RAMCloud建模。实验结果表明，LogBase能够提供持续的写吞吐量，高效的数据访问出缓存，有效的系统恢复。
2012-06-30 cs.DB
A Multidatabase System as 4-Tiered Client-Server Distributed Heterogeneous Database System
本文将多数据库系统描述为四层客户-服务器的【形】DBMS体系结构。我们讨论了它们的功能组件，并概述了它们的性能特征。所提出的系统的第一组件是基于web的界面或图形用户界面，其驻留在客户端应用程序之上，系统的第二组件是在应用服务器中运行的客户端应用程序，其驻留在全局数据库管理系统之上，系统的第三组件是全局数据库管理系统和多数据库系统服务器的全局模式，其驻留在分布式异构本地组件数据库系统服务器之上，并且第四组件是远程异构本地组件数据库系统服务器。从客户端接口通过应用服务器提交到多数据库系统服务器的事务将被分解为一组子查询，并将在各个远程异构本地组件数据库服务器上执行，并且在信息检索的情况下，所有子查询将被组合并将结果返回给最终用户。
2009-12-03 cs.DB
GaussDB-Global: A Geographically Distributed Database System
本文提出 GaussDB-Global，通过同步时钟的可切换事务管理及异步副本强一致读取，降低跨地域 OLTP 延迟，实验显示读取吞吐量最高提升 14 倍、TPC-C 提升 50%。
2025-01-09 cs.DB
GeoTP: Latency-aware Geo-Distributed Transaction Processing in Database Middlewares (Extended Version)
针对地理分布式数据库中间件因高网络延迟和长锁竞争导致的事务性能下降问题，本文提出GeoTP，通过去中心化准备、延迟感知调度及启发式优化减少往返与锁等待，并在ShardingSphere和ScalarDB上验证，最高获得17.7倍性能提升。
2024-12-05 cs.DB
An Overview on Cloud Distributed Databases for Business Environments
基于云的分布式数据库是当前许多应用程序的流行选择，特别是那些在Internet上运行的应用程序。通过将分布式数据库系统整合到云环境中，它使企业能够将运营扩展到全球级别，同时实现系统可靠性、可用性和响应性的理想标准。云提供商为分布式数据库提供基础设施和管理工具，即数据库即服务（DBaaS），将企业的投资重新用于数据库服务。本文通过强调适用于处理关系型分布式数据库的Amazon Relational Data Service（RDS）来回顾这些服务的功能。
2023-01-26 cs.DB cs.NI
Distribution-Aware Distributed Database Testing (Extended Version)
East China Normal University（华东师范大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Hunan University（湖南大学）
针对分布式数据库管理系统，提出分布式感知测试方法DAT及工具DistRanger，利用分布信息引导查询变异，在四个生产系统上发现31个新缺陷，优于现有测试工具。
2026-09-17 cs.DB
Identifying the Major Sources of Variance in Transaction Latencies: Towards More Predictable Databases
几十年的研究都在寻求提高数据库管理系统（DBMS）中的事务处理性能和可伸缩性。然而，很少有人关注性能的可预测性：单个事务显示出远离平均值的执行延迟的频率如何？当事务处理位于复杂企业软件或交互式Web服务的关键路线上时，以及在新兴的数据库即服务市场中，客户签订合同以保证性能水平时，性能可预测性至关重要。在本文中，我们采取了几个步骤，实现更可预测的数据库系统。首先，我们提出了一个分析框架，称为VProfiler，给定的DBMS的源代码，是能够确定的主要来源的变化，在事务延迟。VProfiler自动对DBMS源代码进行检测，将事务延迟的总体方差分解为各个函数执行时间的方差和协方差，从而深入了解方差的根本原因。其次，我们使用VProfiler来分析MySQL和Postgres -两个最流行和最复杂的开源数据库系统。我们的案例研究表明，MySQL和Postgres差异的主要原因分别是锁调度和集中式日志记录。最后，基于VProfiler的研究结果，我们进一步关注通过以下方式来弥补MySQL的性能差异：（1）提出一种新的锁调度算法，称为Variance-Aware Transaction Scheduling（VATS），（2）增强缓冲池替换策略，以及（3）确定可以显着减少方差的调优参数。我们的实验结果表明，我们的计划减少整体交易延迟方差平均37%（高达64%），而不影响吞吐量或平均延迟。
2016-03-03 cs.DB
HARMONY: A Scalable Distributed Vector Database for High-Throughput Approximate Nearest Neighbor Search
针对现有分布式向量数据库负载不均、通信开销高的问题，本文提出采用多粒度分区策略与早停剪枝机制的Harmony系统，实验证明其吞吐量与偏斜负载性能均显著优于主流方案。
2025-06-17 cs.DB
New Proximity Estimate for Incremental Update of Non-uniformly Distributed Clusters
传统的聚类算法挖掘静态数据库，生成一组聚类形式的模式。许多现实生活中的数据库都在不断增长。对于这样的动态数据库，从原始数据库中提取的模式变得过时。因此，传统的聚类算法是不适合的增量数据库，由于缺乏能力，以修改聚类结果，根据最近的更新。在本文中，作者提出了一种新的增量聚类算法CFICA（基于聚类分析的增量聚类方法数值数据）来处理数值数据，并提出了一种新的接近度度量称为逆接近估计（IPE），它考虑了数据点的接近聚类代表以及它的接近最远的点在其附近。CFICA利用所提出的邻近度量来确定数据点到聚类中的成员资格。
2013-10-25 cs.DB
Debugging Transactions and Tracking their Provenance with Reenactment
分析事务并理解它们的执行对于开发OLAP应用程序、跟踪生产系统中的错误原因以及审计数据库的操作都是非常重要的。然而，由于以下几个原因，调试事务是困难的：1）在事务执行之后，其输入不再可用于调试，2）事务的内部状态通常不可访问，以及3）事务的执行可能受到并发运行的事务的影响。我们提出了一个调试器的事务，使非侵入性的，事后调试的事务与出处跟踪，并支持假设的情况下（更改事务代码或数据）。使用我们开发的声明性重放技术reenactation，事务在其原始执行所看到的DB状态上重放，包括其与历史中并发执行的事务的所有交互。重要的是，我们的方法使用的时态数据库和审计日志功能，在许多DBMS中，不需要任何修改底层数据库系统，也不需要事务工作负载。
2017-07-31 cs.DB
AstroServ: Distributed Database for Serving Large-Scale Full Life-Cycle Astronomical Data
在时域天文学中，短时间尺度大视场巡天（STLF）是最新的天空观测方法。与传统的只能发现天文现象的巡天相比，STLF巡天甚至可以揭示天文现象的演变过程。这种差异不仅导致了新的调查数据，也导致了新的分析风格。这就要求STLF巡天数据库支持数据流的连续分析、短期数据的实时分析和长期历史数据的复杂分析。此外，插入和查询延迟都有严格的要求，以确保科学现象可以被发现。然而，现有的数据库无法支持我们的场景。在本文中，我们提出了AstroServ，一个分布式系统的分析和管理的大规模和全生存周期天文数据。AstroServ的核心组件包括三个数据服务层和一个查询引擎。每个数据服务层服务于特定时间段的数据，查询引擎可以对不同的数据提供统一的分析接口。此外，我们还提供了包括交互式分析界面和数据采掘工具在内的许多应用程序，以帮助科学家有效地使用数据。实验结果表明，AstroServ能够满足严格的性能要求，具有良好的识别精度。
2018-11-27 cs.DB
Column2Vec: Structural Understanding via Distributed Representations of Database Schemas
Rochester Institute of Technology（罗切斯特理工学院）
我们提出了Column2Vec，一个基于列元数据的数据库列的分布式表示。我们的分布式表示有几个应用程序。使用列组的已知名称（即，表名），我们训练模型为未命名表中的列生成适当的名称。我们使用从GitHub上的开源应用程序收集的模式信息来证明我们的方法的可行性。
2019-03-20 cs.DB cs.LG
Leveraging Blockchain for Immutable Logging and Querying Across Multiple Sites
区块链已经成为一种分散和分布式的框架，可以实现篡改恢复能力，从而实现存储数据的实际不变性。这种不变性属性在需要可扩展性的情况下很重要，例如在维护敏感医疗保健和生物医学数据的访问日志时。然而，默认情况下，区块链的底层数据结构不提供有效查询存储数据的能力。在这项调查中，我们表明，通过使用额外的键值存储，可以有效地对存储在区块链上的访问日志数据运行复杂的审计查询。本文特别报告了我们为iDASH Privacy & Security Workshop 2018竞赛区块链赛道设计的方法。特别是，我们实现了我们的解决方案，并使用iDASH 2018组织者提供的数据，将其加载和查询响应性能与常用的关系数据库SQLite进行了比较。根据查询类型和数据大小的不同，基于区块链的查询-响应和基于SQLite的查询-响应之间的运行时间差异在0.2秒到6秒之间。更深入的研究表明，范围查询是我们解决方案的瓶颈，尽管如此，它还是线性扩展的。具体地说，这项调查表明，基于区块链的系统可以为复杂查询提供合理的查询响应时间，即使它们只使用简单的键值存储来管理它们的数据。因此，我们表明，区块链可能有助于在多个站点上维护具有可重复性和不变性要求的数据。
2020-03-05 cs.CR cs.DB cs.DC
Providing an Object Allocation Algorithm in Distributed Databases Using Efficient Factors
数据复制是提高分布式数据库系统数据访问性能的常用方法。本文提出了一种分布式数据库系统（ORAD）中的对象复制算法。利用已有算法中的活动函数，采用新的技术手段对它们进行改造，并应用ORAD算法进行决策，对分布式数据库系统中创建的复制数据进行优化。我们提出了ORAD算法与使用有效的因素，并观察其结果在几个有效的情况。我们的目标是提出一种在分布式数据库系统中以较小的代价响应读写请求的优化方法。最后，我们在基于PC的网络系统中实现了ORAD和ADRW算法，并证明了ORAD算法在平均请求服务成本方面优于ADRW算法。
2012-10-05 cs.DB cs.DC
ScalienDB: Designing and Implementing a Distributed Database using Paxos
ScalienDB是一个基于Paxos算法构建的可扩展的复制数据库。它是在2010年至2012年期间开发的，当时支持它的创业公司失败了。本文讨论了分布式数据库的设计决策，描述了C++代码库的有趣部分，并列举了在少数客户端将ScalienDB投入生产的经验教训。源代码在Github上以AGPL许可证提供，但不再开发或维护。
2013-02-15 cs.DB cs.DC
Analyzing Large-Scale, Distributed and Uncertain Data
当今时代数据的指数增长以及从数据中获取信息和知识的需求为数据库研究人员提出了新的挑战。已知的数据库系统和算法不再能够有效地处理这样大的数据集。MapReduce是一种新的编程范式，用于使用计算机集群处理大规模数据的分布式问题。在这项工作中，我们从三个不同的角度探索MapReduce范式。我们首先研究了数据采掘领域中的一个著名问题：在大型数据集上挖掘闭频繁项集。通过利用MapReduce的强大功能，我们提出了一种新的算法，挖掘封闭的频繁项集，优于现有的算法。接下来，我们将探讨“大数据”的基本含义之一：数据并不是完全确定的。概率数据库是一种关系数据库，其附加特征是每个元组都与其存在的概率相关联。MapReduce的一个自然的发展是一个分布式的关系数据库管理系统，其中关系演算已减少到一个组合的地图和减少功能。我们采取这种发展进一步提出了一个查询优化器在分布式，概率数据库。最后，我们分析了MapReduce最著名的实现Hadoop，旨在克服其主要缺点之一：它不直接支持在不同作业中重复处理的数据的显式规范。许多数据挖掘算法，如聚类和关联规则，需要迭代计算：相同的数据一次又一次地处理，直到计算收敛或满足停止条件。我们建议对Hadoop进行修改，以便它将支持在不同作业中有效访问相同的数据。
2017-12-05 cs.DB
In Search of a Key Value Store with High Performance and High Availability
近年来，写重的应用程序越来越普遍。如何有效地处理这种工作负载，是数据库系统领域深入研究的方向之一.写操作引起的开销主要由两个原因引起：1）硬件级，即，日志记录导致的IO开销。我们无法在短期内消除此成本2）双拷贝软件架构和串行重放。日志作为数据库体系结构的诞生就是为了克服软件的缺陷。但是，现有的日志数据库系统要么是建立在Infiniband或NVRam（Non-Volatile Random Access Memory）等特殊的基础设施之上，而这些基础设施还远没有得到广泛的应用，要么是借助Dynamo等其他系统来构建的，缺乏灵活性。为了支持我们的即时通讯业务，我们从零开始构建了一个只写一次的键值系统LogStore。LogStore的主要特性包括：1）每个分区一个线程的执行模式，消除了并发开销; 2）日志作为数据库，支持一次写入特性和备用数据库的刷新。通过嵌入复制协议而不依赖于其他基础设施来实现高可用性; 3）细粒度、低开销的数据缓冲池管理，有效地降低了IO开销。实验结果表明，LogStore在写操作、恢复和复制方面具有良好的性能
2019-04-17 cs.DB
LogDB: Multivariate Log-based Failure Diagnosis for Distributed Databases (Extended from MultiLog)
本文提出LogDB，一种专为分布式数据库设计的基于日志的故障诊断方法，通过在各节点提取压缩日志特征并在主节点聚合，有效诊断集群范围内的异常，在Apache IoTDB上验证了其稳健性能。
2025-05-03 cs.DB cs.SE
Evaluation of Distributed Databases in Hybrid Clouds and Edge Computing: Energy, Bandwidth, and Storage Consumption
对现代分布式数据库的基准研究是在云边缘范例中选择正确的数据管理技术的重要信息来源。为了做出正确的决定，需要对各种硬件基础设施进行广泛的实验研究。虽然大多数最先进的研究仅调查了分布式数据库的响应时间和可伸缩性，但关注于其他各种度量（例如，能量、带宽和存储消耗）对于完全理解分布式数据库的资源消耗是必要的。此外，现有的研究已经探索了这些数据库在私有云或公共云中的响应时间和可扩展性。因此，对部署在混合云中的这些数据库的评估缺乏调查，混合云是公共云和私有云的无缝集成。为了解决这些研究空白，在本文中，我们调查的能源，带宽和存储消耗最常用的和常见的分布式数据库。为此，我们评估了混合云上的四个开源数据库（Cassandra，Mongo，Redis和MySQL），这些数据库跨越本地OpenStack和Microsoft Azure，以及各种边缘计算节点，包括Raspberry Pi，Raspberry Pi集群以及低功率和高功率服务器。我们广泛的实验结果揭示了一些有用的见解，在边缘云环境中的现代分布式数据库的部署选择。
2023-01-09 cs.DB cs.DC
Bala-Join: An Adaptive Hash Join for Balancing Communication and Computation in Geo-Distributed SQL Databases
Yunxi Technology Company Ltd.（云犀科技有限公司）；Shandong Inspur Database Technology Company Ltd.（山东浪潮数据库技术有限公司）
Bala-Join通过平衡分区和部分复制算法及偏斜连接键检测器，优化地理分布式SQL数据库中哈希连接的通信与计算负载，提升吞吐量25%-61%。
2026-03-05 cs.DB
Fragment Allocation Configuration in Distributed Database Systems
在分布式数据库（DDB）管理系统中，分片分配是最重要的组成部分之一，直接影响DDB的性能。在这项研究工作中，我们将表明，声明性程序设计语言，例如逻辑程序设计语言，可以用来表示不同的数据片段分配技术。结果表明，使用声明式程序设计语言可以大大简化分片分配算法的表示，从而为进一步的开发和优化打开了大门。正在考虑的案例研究也表明，我们的方法可以扩展到分布式系统的不同领域。
2016-07-20 cs.DB cs.DC
Blockchains vs. Distributed Databases: Dichotomy and Fusion
区块链已经走过了漫长的道路：最初专门为加密货币提出的系统现在正在被改编和采用为通用交易系统。随着区块链演变成另一种数据管理系统，自然的问题是它与分布式数据库系统相比如何。现有的比较工作集中在高级别的属性，如安全性和吞吐量。他们没有展示底层的设计选择如何导致整体差异。我们的工作填补了这一重要空白，并为分析区块链-数据库融合的新兴趋势提供了一个原则性框架。我们将区块链和分布式数据库系统作为两种类型的交易系统进行了孪生研究。我们提出了一个分类法，说明了四个方面的二分法，即复制，并发，存储和分片。在每个维度中，我们讨论了设计选择如何受到两个目标的驱动：区块链的安全性和分布式数据库的性能。为了揭示不同设计选择对整体性能的影响，我们对两个区块链（即Quorum和Hyperledger Fabric）以及两个分布式数据库（即TiDB和etcd）进行了深入的性能分析。最后，我们提出了一个框架，用于区块链-数据库混合体的信封后性能预测。
2021-01-15 cs.DB cs.PF
A novel recovery mechanism enabling fine-granularity locking and fast, REDO-only recovery
我们提出了一系列新的技术和算法的事务提交，日志记录，恢复和传播控制。它们一起提供了一个恢复组件，该组件将数据库（日志页和数据页）的持久状态始终保持在已提交状态。从系统和介质故障中恢复只需要重做操作，这可以与新事务的处理同时发生。该机制支持细粒度锁定、部分回滚和读取器事务的快照隔离。我们的设计不假设特定的硬件配置，如非易失性RAM或闪存-它是为传统的磁盘环境而设计的。然而，它可以利用现代I/O设备来实现更高的事务吞吐量，并以高度的灵活性减少恢复时间。
2014-09-12 cs.DB
The Historic Development of the Zooarchaeological Database OssoBook and the xBook Framework for Scientific Databases
在这份技术报告中，我们描述了动物考古数据库OssoBook的历史发展和由此产生的框架xBook，一个通用的基础设施，分布式，关系数据管理，主要是为科学数据的需求而设计的。我们描述的架构和它的最重要的功能的概念。特别指出了服务器-客户端的体系结构、同步过程、Launcher应用程序以及应用程序的结构和特点。
2018-01-24 cs.DB
Building an OceanBase-based Distributed Nearly Real-time Analytical Processing Database System
OceanBase, Ant Group（蚂蚁集团）
OceanBase Mercury是一款专为千万字节级数据设计的创新OLAP系统，通过自适应列式存储、差分刷新机制和多态向量化引擎，在查询延迟上显著优于专用OLAP引擎，实现高效分析与操作的平衡。
2026-02-07 cs.DB
GeoGauss: Strongly Consistent and Light-Coordinated OLTP for Geo-Replicated SQL Database
Northeastern University（东北大学）；Huawei Technology Co., Ltd（华为技术有限公司）；Tsinghua University（清华大学）
本文提出GeoGauss，一种全复制多主架构的OLTP数据库，通过多主OCC机制实现高效数据合并与并发处理，提供强一致性与轻量协调协议，实验显示其在TPC-C基准测试中吞吐量和延迟均优于CockroachDB。
2023-04-19 cs.DB
Designing Applications with Distributed Databases in a Hybrid Cloud
设计在混合云中使用的应用程序有许多功能。其中包括动态虚拟化管理和未知路由切换客户。这使得不可能评估查询，从而不可能评估数据的最佳分布。在本文中，我们制定了设计和仿真的主要挑战提供加工安装。
2015-02-19 cs.DB cs.DC
H2O: An Autonomic, Resource-Aware Distributed Database System
本文介绍了一个自治的，资源感知的分布式数据库，使数据备份和共享，而无需复杂的手动管理的设计。数据库H2O旨在利用工作站机器上未使用的资源。对于未经培训的用户来说，创建和维护高可用性的复制数据库系统可能很困难，对于IT部门来说成本很高。H2O通过在企业中的机器之间重复复制数据和负载平衡来减少手动管理的需要。配置硬件来运行数据库系统可能会带来不必要的成本，因为大多数组织已经在工作站机器中拥有大量空闲资源。H2O旨在通过使用资源可用性信息将数据和计划查询放置在已用于其他任务的工作站机器上来利用此未使用的容量。本文讨论了这样一个系统的要求，并提出了H2O的设计和实现。
2010-06-16 cs.DB cs.DC
A MapReduce Approach to NoSQL RDF Databases
近年来，对存储和处理大量数据的需求不断增加，这促使了对分布式存储和查询系统的需求。机器可读的RDF三元组的增长促使工业界和学术界开发新的数据库系统，称为NoSQL，其特征与传统数据库不同。这些系统中的许多系统为了提高水平可伸缩性和数据可用性而牺牲了ACID属性。本文主要研究NoSQL三重存储的开发和评估。TripleStores是数据库管理系统，是语义Web和链接数据等新兴技术的核心。评估跨越了几个基准，包括三重存储评估中最常用的两个基准，柏林SPARQL基准和DBpedia基准，DBpedia基准是一种操作维基百科的RDF表示的查询工作负载。结果表明，该系统所使用的连接算法在决定查询运行时起着至关重要的作用。分布式图数据库在生成MapReduce查询计划之前必须仔细优化查询，因为如果简单地执行查询，大型数据集的网络流量可能会变得令人望而却步。
2016-01-08 cs.DB
Fault-Tolerant Partial Replication in Large-Scale Database Systems
我们研究了一种分散的方法，在一个复制的数据库中提交事务，部分复制。以前的协议要么完全重新执行事务，要么计算事务的总顺序。相比之下，我们的应用更新值，并且只订购冲突的事务。这使得事务执行得更快，并且分布式数据库在小的委员会中提交。随着数据库和事务数量的增加，这两种效果都有助于保持可伸缩性。我们的算法确保可串行化，是活的和安全的，尽管故障。
2009-03-31 cs.DB
Document Selection in a Distributed Search Engine Architecture
分布式搜索引擎体系结构（DSEA）托管许多独立的特定主题的搜索引擎，并选择数据库的子集在体系结构内进行搜索。这种方法的目的是通过仅查询可用总数据的子集来减少执行搜索所需的空间量。为了跨多个数据库操作数据，最有效的方法是识别一个较小的数据库子集，这些数据库最有可能返回特定感兴趣的数据，然后可以更详细地检查这些数据。选择索引最常用作选择最适用的数据库的方法，因为它捕获关于每个数据库及其索引文件的广泛信息。使用这种类型的数据库可以让研究人员更快地找到信息，不仅成本更低，而且还可以最大限度地减少偏见的可能性。本文研究了在分布式搜索引擎体系结构的框架和范围内选择的不同数据库的有效性。研究的目的是提高分布式信息检索的质量。
2016-03-31 cs.DB cs.IR
An Entropy Maximizing Geohash for Distributed Spatiotemporal Database Indexing
我们提出了一个修改的标准geohash算法的最大熵编码的基础上，其中的数据量是近似恒定的一个给定的哈希前缀长度。分布式时空数据库通常需要将空间和时间元素交织到单个键中，通过在空间和时间精度之间创建一致的比率，即使在数据密度不同的区域中，也可以从平衡的geohash中获得很大的好处。此属性对于索引纯空间数据集也很有用，其中大范围扫描的负载分布是查询性能的一个重要方面。我们将我们的算法应用于与人口成比例生成的数据，这些数据由美国人口普查局提供的人口普查块人口计数给出。
2015-06-16 cs.DB cs.DC
Declarative Recursive Computation on an RDBMS, or, Why You Should Use a Database For Distributed Machine Learning
Rice University（莱斯大学）
许多流行的系统，最著名的是谷歌的TensorFlow，已经从头开始实现，以支持机器学习任务。我们考虑如何对现代关系数据库管理系统（RDBMS）进行一组非常小的更改，使其适合分布式学习计算。更改包括增加对递归的更好支持，以及优化和执行非常大的计算计划。我们还表明，使用RDBMS作为机器学习平台的关键优势。特别地，基于数据库管理系统的学习允许对大数据集和特别是大模型的微不足道的缩放，其中不同的计算单元对可能太大而不能装入RAM的模型的不同部分进行操作。
2019-04-25 cs.DB cs.LG
Polyglot Persistence in Microservices: Managing Data Diversity in Distributed Systems
本文研究微服务中的多语言持久化，通过比较框架和行业案例评估多种数据库，指出其提升适应性与性能，但增加治理复杂度，并提出Saga等模式应对权衡。
2025-09-08 cs.DB
Consistent Checkpointing in Distributed Databases: Towards a Formal Approach
无论是为了审计还是为了恢复，数据检查点都是分布式数据库系统的一个重要问题。实际上，事务在数据对象管理器采取的数据检查点上建立依赖关系。因此，给定任意一组数据检查点（至少包括来自数据管理器的单个数据检查点，最多包括来自每个数据管理器的数据检查点），一个重要的问题是：“这些数据检查点可以是同一个一致的全局检查点的成员吗？”''.本文通过给出一个适合于数据库系统的充要条件来回答这个问题。此外，为了证明该条件的有效性，从该条件中推导出了两个{ \em非侵入式}数据检查点协议。还值得注意的是，本文通过展示"对应关系“，在数据对象/事务模型和过程/消息传递模型之间建立了一座桥梁。
1999-10-22 cs.DB cs.DC
The End of a Myth: Distributed Transactions Can Scale
普遍的看法是分布式事务不能扩展。但是，如果使用下一代网络和重新设计的分布式数据库可以使分布式事务具有可伸缩性，那会怎样呢？开发人员将不再需要担心共同分区方案来实现良好的性能。应用程序开发将变得更加容易，因为数据放置将不再决定应用程序的可伸缩性。硬件配置将得到简化，因为系统管理员在添加更多机器时可以预期线性横向扩展，而不是一些复杂的次线性功能，这是高度特定于应用程序的。在本文中，我们提出了我们的新的可扩展的数据库系统NAM-DB的设计，并显示非常常见的快照隔离保证分布式事务确实可以使用下一代的RDMA启用的网络技术，没有任何固有的瓶颈扩展。我们对TPC-C基准测试的实验表明，我们的系统线性扩展至56台机器上每秒超过650万个新订单（总计1450万个）分布式交易。
2016-11-21 cs.DB
Verity: Blockchains to Detect Insider Attacks in DBMS
数据库系统中数据的完整性和安全性通常通过访问控制策略和防火墙来维护。然而，内部攻击--对系统和管理权限有深入了解的人篡改数据--构成了一个独特的挑战。仅附加日志记录等措施被证明是不够的，因为具有管理权限的攻击者可以更改日志和登录记录以消除攻击痕迹，从而使内部攻击难以检测。在本文中，我们提出了Verity -第一种系统，以我们所知。Verity作为一个无数据框架，任何区块链网络都可以用来存储来自任何SQL数据库的关于元组的固定长度元数据，而无需完全迁移数据库。Verity使用形式主义来解析SQL查询和查询结果，以使用区块链来检测内部攻击来检查相应元组的完整性。我们使用Hyperledger Fabric、Composer REST API和SQLite数据库实现了我们的技术。使用不同复杂性和类型的TPC-H数据和SQL查询，我们的实验表明，完整性检查的任何开销在查询结果中的每个元组保持不变，并线性扩展。
2019-01-02 cs.DB cs.DC
Distributed Query Processing Plans generation using Teacher Learner Based Optimization
随着数据库的日益普及，数据源的数量和数据量在近几年都在快速增长。操作数据在分散数据源上的分布对处理用户查询提出了挑战。在这样的数据库系统中，查询所需的数据库关系可以存储在多个站点。这导致用户查询的可能等价物或替代物的数量呈指数级增长。虽然在一个大的搜索空间中穷尽所有可能的查询计划在计算上是不合理的，但是在分布式数据库系统中产生最优查询计划的策略是必需的。具有最具成本效益的查询处理选项的查询计划是必要的，并且必须为给定的查询生成。本文试图产生这样的最佳查询计划，使用无参数的优化技术基于教学的优化（TLBO）。TLBO算法在求解多目标无约束和有约束基准优化问题时，均取得了较好的效果。实验比较了基于TLBO的最优查询计划生成算法和基于多目标遗传算法的分布式查询计划生成算法，结果表明，对于更大的关系数，基于TLBO的算法能够生成质量相对更好的TopK查询计划。
2016-02-14 cs.DB
