Detecting Incorrect Behavior of Cloud Databases as an Outsider
云数据库提供强大的属性,包括可序列化性,有时称为黄金标准数据库正确性属性。但是云数据库是复杂的黑盒子,运行在与客户不同的管理域中;因此,客户可能想知道数据库是否符合他们的合同。一个核心困难是,这里的基本问题,即验证可串行性,是NP完全的。然而,我们假设在现实世界的工作负载上,验证可串行化是容易处理的,我们第一次将这个问题视为系统问题。我们构建了Cobra,它通过混合问题的新编码,硬件加速和仔细选择合适的SMT求解器来解决潜在的搜索问题。Cobra还引入了一种技术来解决在此上下文中的垃圾回收的挑战。与自然基线相比,cobra在它可以处理的问题规模方面至少提高了10倍,同时对客户端施加了适度的开销。
2020-07-02 cs.DB
Modeling and Performance Analysis of Single-Server Database Over Quasi-static Rayleigh Fading Channel
云数据库是云计算的关键技术。云数据库有效高效的服务质量离不开通信技术,就像提高通信质量会减少售票系统中的并发现象一样。为了直观地观察通信对云数据库的影响,提出了一种准静态瑞利衰落信道下的单服务器数据库通信-数据库模型(Communication-Database,C-D),该模型由客户端源、通信系统和数据库系统三部分组成。本文采用M/G/1//K排队模型对整个系统进行建模。C-D模型分为非线性和线性两种情况进行分析,分别对应于SISO和MIMO的一些情况。对平均停留时间、平均事务数等性能特性的仿真结果与理论结果基本一致,验证了C-D模型的有效性。这些实验结果的比较也证明了差的通信质量确实导致服务质量的降低。
2023-01-17 cs.DB
PolarDB-IMCI: A Cloud-Native HTAP Database System at Alibaba
本文提出PolarDB-IMCI,一种云原生HTAP数据库系统,通过五个设计目标实现透明性、高性能OLAP、低OLTP干扰、高数据新鲜度和弹性扩展,在TPC-H上加速分析查询达149倍。
2023-05-15 cs.DB
Automatic Configuration Tuning on Cloud Database: A Survey
本文综述云数据库自动配置调优方法,系统比较贝叶斯优化、神经网络、强化学习和搜索类技术,并梳理调优流水线、实验设置、基准与未来方向。
2024-04-09 cs.DB
Database (Lecture) Streams on the Cloud: An Experience Report on Teaching an Undergrad Database Lecture during a Pandemic
这是一份关于在2020年夏季学期在萨尔大学在线教授本科生讲座大数据工程的经验报告。我们描述了我们的教学理念,使用的工具,什么工作,什么不工作。由于我们收到了学生们非常积极的反馈,今后,我们将继续在其他讲座中使用相同的教学模式。
2020-10-09 cs.CY cs.DB
Database as a Service - Current Issues and Its Future
随着云应用的普及,数据库即服务(DBaaS)成为为云应用提供可靠、灵活的数据存储服务的一种很有前途的方法。它为云开发人员提供了许多有趣的功能,但是,它也有一些缺点:学习曲线和开发周期长,缺乏对NoSQL的深入支持,缺乏对安全和隐私的灵活配置,以及高成本模型。在本文中,我们调查了当前DBaaS提供商中的这些问题,并提出了一种新的三位一体模型,可以显着减少学习曲线,提高安全性和隐私性,并加快数据库设计和开发。我们进一步阐述了我们正在进行的和未来的工作,使用这种新的DBaaS模型开发大型现实世界的SaaS项目。
2018-04-02 cs.DB
WiSeDB: A Learning-based Workload Management Advisor for Cloud Databases
云数据库的数据库管理必须以满足应用程序性能目标的方式处理资源配置,查询放置和查询调度任务,同时最大限度地降低使用云资源的成本。现有的解决方案孤立地处理这三个挑战,并且只考虑特定类型的性能目标。在本文中,我们介绍了WiSeDB,一个基于学习的框架,用于生成定制的应用程序定义的性能指标和工作负载特性的整体工作负载管理解决方案。我们的方法依赖于监督学习训练成本效益的决策树模型,用于指导查询放置,调度和资源配置决策。应用程序可以将这些模型用于传入工作负载的批处理和在线调度。我们的系统的一个独特功能是,它可以调整其离线模型,以更严格/更宽松的性能目标,最小的重新训练。这使我们能够提出替代的工作负载管理策略,解决云服务的典型性能与成本权衡。实验结果表明,我们的方法具有非常低的训练开销,同时为各种性能目标和工作负载特性提供低成本的策略。
2016-04-30 cs.DB
Building Scalable AI-Powered Applications with Cloud Databases: Architectures, Best Practices and Performance Considerations
Sr. Solutions Architect(高级解决方案架构师)
本文系统分析了云原生数据库与AI工作负载集成的架构模式与最佳实践,涵盖向量、图、NoSQL及关系型数据库,并通过性能评估和行业案例为企业构建高性能、可扩展且成本高效的AI应用提供实用指导。
2025-04-26 cs.AI cs.DB
Enforcing Privacy in Cloud Databases
外包数据库,即,由于云计算的弹性、可用性、可扩展性和即用即付的特征,诉诸数据库即服务(DBaaS)是当今流行的选择。然而,大多数数据在某种程度上是敏感的,数据隐私仍然是DBaaS用户最关心的问题之一,明显的法律和竞争的原因。在本文中,我们调查的机制,旨在使数据库在云环境中的安全,并讨论当前的陷阱和相关的研究挑战。
2017-08-30 cs.CR cs.DB
Marlin: Efficient Coordination for Autoscaling Cloud DBMS (Extended Version)
针对云数据库控制平面依赖外部融合协调服务存在的扩展性、成本与运维问题,本研究提出云原生协调机制Marlin,通过解耦协调功能、整合进现有数据库并优化提交协议,实现了更高的成本效率和更快的重配置速度。
2025-08-03 cs.DB
Evaluation of Distributed Databases in Hybrid Clouds and Edge Computing: Energy, Bandwidth, and Storage Consumption
对现代分布式数据库的基准研究是在云边缘范例中选择正确的数据管理技术的重要信息来源。为了做出正确的决定,需要对各种硬件基础设施进行广泛的实验研究。虽然大多数最先进的研究仅调查了分布式数据库的响应时间和可伸缩性,但关注于其他各种度量(例如,能量、带宽和存储消耗)对于完全理解分布式数据库的资源消耗是必要的。此外,现有的研究已经探索了这些数据库在私有云或公共云中的响应时间和可扩展性。因此,对部署在混合云中的这些数据库的评估缺乏调查,混合云是公共云和私有云的无缝集成。为了解决这些研究空白,在本文中,我们调查的能源,带宽和存储消耗最常用的和常见的分布式数据库。为此,我们评估了混合云上的四个开源数据库(Cassandra,Mongo,Redis和MySQL),这些数据库跨越本地OpenStack和Microsoft Azure,以及各种边缘计算节点,包括Raspberry Pi,Raspberry Pi集群以及低功率和高功率服务器。我们广泛的实验结果揭示了一些有用的见解,在边缘云环境中的现代分布式数据库的部署选择。
2023-01-09 cs.DB cs.DC
Compacting Transactional Data in Hybrid OLTP & OLAP Databases
不断增长的主存容量促进了将整个数据库保存在主存中的数据库管理系统。这些内存系统带来的巨大性能改进使得在线事务处理(OLTP)和在线分析处理(OLAP)这两个领域的重新结合成为可能:一类新兴的混合OLTP和OLAP数据库系统允许直接对事务数据进行分析查询。通过为OLAP提供事务数据的任意当前快照,这些系统实现了实时商业智能。尽管单个商用服务器中的内存大小为几TB,但RAM仍然是一种宝贵的资源:由于空闲内存可以用于查询处理中的中间结果,因此内存量在很大程度上决定了查询性能。因此,我们建议压缩内存驻留数据库。压缩包括两个任务:首先,将可变的工作集与不可变的“冻结”数据分离。其次,压缩不可变数据并优化它,以实现高效、内存消耗友好的快照。我们的方法重新组织和压缩事务数据在线,但几乎没有影响关键任务的OLTP吞吐量。这是通过减轻OLTP线程的所有额外处理负担并异步执行这些任务来实现的。
2012-08-01 cs.DB
Cost-Intelligent Data Analytics in the Cloud
本文提出云数据库优化中的成本智能概念,给出云数据仓库架构,并围绕自动资源部署与面向成本的自动调优识别关键研究方向。
2023-08-18 cs.DB
Towards a Hybrid Quantum-Classical Computing Framework for Database Optimization Problems in Real Time Setup
University of Southern California(南加州大学)
本文提出了一种实时量子增强型数据库系统,通过结合量子计算与经典数据库技术,提升大规模数据库优化问题的解决效率和质量。
2026-02-15 cs.DB
Designing Applications with Distributed Databases in a Hybrid Cloud
设计在混合云中使用的应用程序有许多功能。其中包括动态虚拟化管理和未知路由切换客户。这使得不可能评估查询,从而不可能评估数据的最佳分布。在本文中,我们制定了设计和仿真的主要挑战提供加工安装。
2015-02-19 cs.DB cs.DC
Improved Join Order Optimization for Database Queries using Hybrid Quantum-Classical Approaches for QUBO Problems
Universität zu Lübeck(吕贝克大学);TU Bergakademie(弗莱贝格矿业技术学院)
提出混合方法ECP+SQSS减小QUBO规模,在量子退火、模拟退火、QAOA和VQE上评估,实现最优连接顺序并提升查询优化效率。
2026-06-16 cs.DB
HybridMiner: Mining Maximal Frequent Itemsets Using Hybrid Database Representation Approach
FAST-National University of Computer and Emerging Sciences(FAST-国立计算机与新兴科学大学)
在本文中,我们提出了一种新的混合(基于数组的布局和垂直位图布局)的数据库表示方法,挖掘完整的最大频繁项集(MFI)稀疏和大型数据集。我们的工作是新颖的可扩展性,项目搜索顺序和两个水平和垂直投影技术。我们还提出了一个最大的算法,使用这种混合数据库表示方法。在真实数据集和稀疏数据集上的不同实验结果表明,该方法优于现有的最大值算法。
2009-04-21 cs.AI cs.DB cs.DS
A fixed storage distributed graph database hybrid with at-scale OLAP expression and I/O support of a relational DB: Kinetica-Graph
本文将讨论一种分布式图形数据库体系结构,该体系结构与分布式关系数据库共存,用于I/O和大规模OLAP表达式支持,具有数百个PostGIS兼容的几何函数。这种实现的独特性主要源于其双链路拓扑结构,因为其固定的存储特性独立于节点到边缘连接的变化。该实现的另一个值得注意的贡献是其分布式图服务器之间的非阻塞客户端-服务器通信架构。还实现了基于节点重复的非检查分区方案,确保使用地理空间、随机和显式分片选择的分布式过滤进行最小通信。最后,一个有效的重新平衡算法,其次是一个分布式的最短路径求解器将展示与地理空间和社交网络的例子。
2022-01-03 cs.DB
SecSkyline: Fast Privacy-Preserving Skyline Queries over Encrypted Cloud Databases
众所周知的云计算的好处刺激了数据库服务外包的流行,人们可以求助于云来方便地存储和查询数据库。随着这种流行趋势的到来,数据隐私受到了威胁,因为云可以访问可能包含敏感信息(如医疗或金融数据)的数据库和查询。已经提出了大量用于查询加密数据库的工作,其中主要集中在安全关键字搜索上。在本文中,我们而是专注于支持安全的天际线查询处理加密外包数据库,在那里做了很少的工作。天际线查询是一种高级数据库查询,对于多准则决策系统和应用程序非常重要。我们提出了SecSkyline,一个新的系统框架,建立在轻量级密码学的快速隐私保护天际线查询。SecSkyline不仅为外包数据库、查询和结果的内容机密性提供了强有力的保护,而且还为可能导致间接数据泄漏的数据模式提供了强有力的保护,例如数据点之间的支配关系和搜索访问模式。大量的实验表明,SecSkyline是大大优于国家的最先进的查询延迟,高达813 $\times$的改善。
2022-11-03 cs.CR cs.DB
T-DB: Toward Fully Functional Transparent Encrypted Databases in DBaaS Framework
个人和组织倾向于将其数据迁移到云,特别是在数据库即服务(DBaaS)模式中。主要的障碍是保密性和关系数据库的使用之间的冲突。我们通过严格遵循未修改的DBaaS框架的透明数据库(T-DB)系统来解决这个障碍。数据库所有者将加密的数据库外包给云平台,只需要存储加密密钥和数据库的空表头,数据库用户可以像往常一样对加密的数据库进行几乎所有类型的查询,云可以像数据库未加密一样处理密文查询。在真实云环境中的实验表明,T-DB具有良好的查询回答精度和出色的性能。
2017-08-28 cs.CR cs.DB
Framework Model for Database Replication within the Availability Zones
本文提出了一种私有云可用性区域中的数据库复制模型,该模型是Microsoft在2012年提出的SQL Server AlwaysOn保护层模型的增强。增强功能集中在通过使用主服务器和辅助服务器为私有云可用性区域进行数据库复制。详细描述了该模型在同步和半同步复制层中客户端向服务器发送读写请求的过程,以及客户端向主服务器发送读写请求的过程。本文介绍了所有类型的自动故障转移情况。使用所提出的模型将提高性能,因为每个辅助服务器将打开读/写,并允许客户端连接到附近的辅助服务器,并减少每个服务器上的负载。关键词:可用区域,云计算,数据库复制,SQL Server AlwaysOn,同步。
2013-08-27 cs.DB
Manu: A Cloud Native Vector Database Management System
随着基于学习的嵌入模型的发展,嵌入向量被广泛用于非结构化数据的分析和搜索。由于矢量集合超过十亿规模,因此需要完全管理和水平可扩展的向量数据库。在过去的三年里,通过与1200多个行业用户的互动,我们勾勒出了下一代向量数据库应该具备的特征,包括长期可演化性、可调一致性、良好的弹性和高性能。我们提出Manu,一个云原生向量数据库,实现这些功能。如果按照传统的DBMS设计规则,很难将所有这些特性集成在一起。由于大多数矢量数据应用程序不需要复杂的数据模型和强大的数据一致性,我们的设计理念是放松数据模型和一致性约束,以换取上述功能。具体来说,Manu首先公开了写前日志(WAL)和binlog作为骨干服务。其次,写组件被设计为日志发布者,而所有只读的分析和搜索组件被设计为日志服务的独立订阅者。最后,我们利用多版本并发控制(MVCC)和增量一致性模型来简化系统组件之间的通信和协作。这些设计实现了系统组件之间的低耦合,这对弹性和进化至关重要。我们还通过硬件感知实现和对复杂搜索语义的支持,对Manu的性能和可用性进行了广泛优化。
2022-06-28 cs.DB
Serving Hybrid-Cloud SQL Interactive Queries at Twitter
在过去的几年里,Twitter对数据分析的需求一直在不断增长。为了满足这些需求并提供高度可扩展和可用的查询体验,非常依赖于大规模的内部SQL系统。最近,我们将SQL系统升级为混合云SQL联邦系统,符合Twitter的部分云策略。混合云SQL联合系统能够处理Twitter数据中心和公共云的查询,每天与大约10PB的数据进行交互。本文提出了混合云SQL联邦系统的设计,该系统由查询联邦、集群联邦和存储联邦组成。我们确定了现代SQL系统中的挑战,并展示了我们的系统如何通过一些重要的设计决策来解决这些挑战。我们还进行定性检查,并总结了有益的经验教训,从这样一个SQL系统的开发和运行。
2022-07-09 cs.DB
A Survey on Property-Preserving Database Encryption Techniques in the Cloud
该综述针对云外包关系型数据库加密后丢失查询所需属性的问题,梳理了从Caesar加密到mOPE等各类属性保留加密技术,介绍其应用方法并明确特性。
2023-12-19 cs.CR cs.DB
Shirakami: A Hybrid Concurrency Control Protocol for Tsurugi Relational Database System
Keio University(庆应义塾大学);NAUTILUS Technologies, Inc(NAUTILUS科技有限公司);Cybozu Labs, Inc(Cybozu实验室有限公司)
Shirakami结合长读写事务的多版本视图可串行化和短事务的Silo,实现稳定性能,实验显示其比PostgreSQL快7.9倍,比Shirakami-OCC吞吐量高680倍。
2026-07-03 cs.DB
VIDEX: A Disaggregated and Extensible Virtual Index for the Cloud and AI Era
本文提出VIDEX,一种三层解耦架构,通过分离数据库实例、虚拟索引优化器和算法服务,解决了云原生环境下传统虚拟索引在稳定性、隐私及AI集成方面的挑战,支持高精度假设分析并已成功部署于ByteDance。
2025-05-28 cs.DB
ABase: the Multi-Tenant NoSQL Serverless Database for Diverse and Dynamic Workloads in Large-scale Cloud Environments
本文提出字节跳动的多租户 NoSQL serverless 数据库 ABase,通过缓存感知隔离、预测性自动扩缩容和多资源重调度,解决多样化动态负载下的隔离、弹性与资源均衡问题。
2025-05-12 cs.DB
LogBase: A Scalable Log-structured Database System in the Cloud
许多应用,例如金融交易(例如,股票交易)在性质上是重写的。近年来,Web应用程序中从读到写的转变也在加速。在大多数存储系统中,预写日志记录是提供恢复能力同时提高性能的常用方法。然而,日志和应用程序数据的分离会导致在写入繁重的环境中观察到的写入开销,并因此对系统中的写入吞吐量和恢复时间产生不利影响。在本文中,我们介绍了LogBase -一个可扩展的日志结构的数据库系统,采用日志存储消除写瓶颈,并支持快速的系统恢复。LogBase被设计为动态部署在商品集群上,以利用云环境的弹性伸缩特性。LogBase提供了内存中的多版本索引,以支持对日志中维护的数据的有效访问。LogBase还支持跨多个记录绑定读写操作的事务。我们实现了所提出的系统,并将其与HBase和基于磁盘的日志结构的面向记录的系统RAMCloud建模。实验结果表明,LogBase能够提供持续的写吞吐量,高效的数据访问出缓存,有效的系统恢复。
2012-06-30 cs.DB
Indexing Designs and Adaptive Data Distribution Optimization for In-Memory Databases on Hybrid DDR--CXL Memory
East China Normal University(华东师范大学)
针对混合DDR--CXL内存数据库,提出五种索引设计并开发自适应数据分布优化,通过分层热度跟踪和收益感知驱逐提升性能,使单一索引设计吞吐量最高提升至1.59倍。
2026-10-08 cs.DB
Hybrid Querying Over Relational Databases and Large Language Models
UC Santa Barbara(加州大学圣巴巴拉分校)
本文提出首个跨领域混合查询基准SWAN,包含120个基于真实数据库的超出数据库范围问题,并基于模式扩展和用户定义函数提出两种解决方案,评估显示GPT-4 Turbo结合少样本提示可达40.0%执行准确率和48.2%数据事实性。
2024-11-15 cs.CL cs.DB
Real-time Workload Pattern Analysis for Large-scale Cloud Databases
Zhejiang University(浙江大学);Aalborg University(奥尔堡大学);Alibaba Group(阿里巴巴集团);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
本文提出实时系统 Alibaba Workload Miner(AWM),通过编码 SQL 查询日志、按业务组挖掘工作负载模式并训练分类模型来优化云数据库查询处理,实验表明其模式发现准确率提升 66%,在线推理延迟降低 22%。
2023-07-05 cs.AI cs.DB
CHASE: A Native Relational Database for Hybrid Queries on Structured and Unstructured Data
本文提出原生关系数据库 CHASE,通过查询语义分析、新物理算子和编译优化支持结构化与非结构化混合查询,较现有系统最高加速 7500 倍。
2025-01-09 cs.DB
Enhancing Computation Pushdown for Cloud OLAP Databases
针对云OLAP数据库网络瓶颈及静态计算下推局限,提出Adaptive pushdown机制和通用下推原则,并设计selection bitmap与distributed data shuffle算子,在TPC-H上实现最高1.9倍和3.0倍加速。
2023-12-29 cs.DB
Using Object-Relational Mapping to Create the Distributed Databases in a Hybrid Cloud Infrastructure
目前使用云服务的挑战之一是设计专门的数据管理系统的任务。这对于数据位于公共云和私有云的混合系统尤其重要。执行监测功能查询、调度和处理软件必须适当执行,是系统的一个组成部分。为了提供这些功能,建议使用对象关系映射(ORM)。本文致力于介绍为混合云基础设施中托管的信息系统设计数据库的方法。并给出了ORM库的开发实例。
2015-01-04 cs.DB cs.DC cs.NI
Greenplum: A Hybrid Database for Transactional and Analytical Workloads
企业数据仓库解决方案支持实时在线事务处理(OLTP)查询以及长时间运行的在线分析处理(OLAP)工作负载的需求正在增长。Greenplum数据库传统上被称为OLAP数据仓库系统,处理OLTP工作负载的能力有限。在本文中,我们将Greenplum扩展为一个混合系统,以同时为OLTP和OLAP工作负载提供服务。我们在这里所面临的挑战是在保持ACID属性的同时以最小的性能开销实现这一目标。在这项工作中,我们确定了工程和性能瓶颈,如表现不佳的限制性锁定和两阶段提交协议。接下来,我们解决事务查询和分析查询之间的资源争用问题。我们提出了一个全局死锁检测器,以增加查询处理的并发性。当保证更新数据的事务只驻留在一个段上时,我们引入了单阶段提交来加速查询处理。我们的资源组模型引入了将OLAP和OLTP工作负载分离到更合适的查询处理模式的功能。TPC-B和CH-benCHmark基准测试表明,我们的方法在不牺牲OLAP性能的情况下提高OLTP性能的有效性。
2021-05-14 cs.DB
SteelDB: Diagnosing Kernel-Space Bottlenecks in Cloud OLTP Databases
NTT, Inc.(日本电报电话公司)
本文通过分析云数据库中内核空间I/O行为,发现传统架构中归因于网络或存储的瓶颈实为内核空间所致。SteelDB通过零补丁架构优化I/O,实现性能提升与成本降低。
2026-03-30 cs.DB cs.DC cs.OS
Towards Transaction as a Service
本文提出将事务处理从云原生数据库中解耦为独立服务(TaaS),构建执行-事务-存储三层架构,以实现独立扩展、升级,并增强AP引擎的ACID能力、支持多主分布式与多模型事务,提升性能。
2023-11-14 cs.DB
Location- and Time-Dependent VPD for Privacy-Preserving Wireless Accesses to Cloud Services
近年来智能手机的出现改变了无线领域。智能手机已经成为云数据库的在线用户界面的平台。云数据库可以提供大量的用户私有和敏感数据(即,对象),而智能手机用户(即,对象)提供位置敏感信息。近年来,在无线访问云数据库中的安全和私有服务一直在积极讨论。然而,先前的技术对于移动对象的无线接入的动态性是不令人满意的。在本文中,我们提出了一种新的技术,动态生成虚拟专用数据库(VPD)的每次访问,考虑到主题的位置和时间信息。本文的贡献包括一个隐私保护的访问控制机制的动态无线接入。
2011-12-12 cs.CR cs.DB
The Bi-Channel Networking Paradigm for Database Systems in the Cloud
Technische Universität München(慕尼黑工业大学);TigerBeetle;Firebolt Analytics
针对现代高速云网络中内核TCP栈成为数据库性能瓶颈的问题,提出双通道网络范式,将通信分离为高性能数据路径和可靠控制路径,结合用户空间UDP与内核TCP,在分布式shuffle和复制键值存储中实现高吞吐与低开销。
2026-06-19 cs.DB cs.DC
Future Robotics Database Management System along with Cloud TPS
Thiagarajar School of management(蒂亚加拉贾管理学院);Sastra University(萨斯特拉大学)
本文讨论机器人技术中的存储管理问题。在我们的建议中,我们打破了创造人形的主要问题之一。.数据库问题是机器人模式设计中的一个复杂问题,在我们的建议中,我们提出了一个新的概念,称为NOSQL数据库,用于有效的数据检索,使人形机器人将获得大量的思维能力,在搜索每个项目使用链指令。对于机器人中的查询事务,我们需要一个有效的一致性事务,因此通过使用最新的技术CloudTPS,它保证了完整的ACID属性,以便机器人可以使用多项事务进行查询,通过这个我们在数据检索中获得数据一致性。此外,我们还引入了map reduce概念,它可以将作业拆分到各个工作者,以便以并行的方式处理数据。
2011-12-09 cs.DB cs.RO
The Missing Dimensions in Geo-Distributed Database Evaluation
Delft University of Technology(代尔夫特理工大学);Ververica GmbH(Ververica有限公司);KTH Royal Institute of Technology(皇家理工学院)
针对现有地理分布式OLTP数据库评估忽略网络不稳定、数据位置和跨区域成本等问题,提出综合评估框架Gaia,揭示系统对网络敏感、网络成本主导部署费用及多区域容错机制开销被忽视等发现。
2026-05-28 cs.DB
SEC-NoSQL: Towards Implementing High Performance Security-as-a-Service for NoSQL Databases
在过去的几年中,大数据的爆炸式增长促使云基础设施提供基于云的数据库服务,作为存储和处理大量数据的经济、高效和可扩展的解决方案。因此,NoSQL数据库变得越来越受欢迎,因为它们与其他关系数据库相比具有更好的性能和高可扩展性的固有特性。然而,在这种部署架构中,信息存储在公共云中,保护敏感数据仍然是一个主要问题。由于数据所有者在基于云的数据库解决方案中无法完全控制其敏感数据,因此许多组织不愿意采用数据库即服务(DBaaS)解决方案。最近的一些工作通过引入额外的层来提供加密数据的加密机制来解决这个问题,但是,这些方法更具体,需要对其进行适当的评估,以确保在基于云的生产环境中处理大量数据时,它们是否可以实现高性能和可扩展性。本文提出了一个实用的系统设计和实现,提供安全的NoSQL数据库(SEC-NoSQL)的服务,同时支持执行加密数据的查询,保证系统性能水平。提出了几种不同的实现模型,并使用YCSB基准考虑大量的客户端同时处理的性能进行评估。实验结果表明,我们的设计适合加密数据,同时保持了高性能和可扩展性。此外,为了将我们的解决方案部署为基于云的服务,还包括建立服务级别协议(SLA)的实用指南。
2021-07-04 cs.CR cs.DB
Using In-Memory Encrypted Databases on the Cloud
将数据存储在云中会带来许多隐私问题。处理它们的一种方法是通过本地集中同步存储支持云上的数据复制和分发。在本文中,我们建议使用一个内存中的关系数据库管理系统与行级数据加密授予和撤销访问权分布式数据。这种类型的解决方案在传统的RDBMS中很少采用,因为它需要几个复杂的步骤。在本文中,我们专注于测试系统的实现和基准测试,这表明我们简单而有效的解决方案克服了大多数问题。
2011-09-16 cs.CR cs.DB cs.DC
On-the fly AES Decryption/Encryption for Cloud SQL Databases
我们提出了客户端AES 256加密云SQL数据库。列密文是确定性的或概率性的。我们信任云DBMS的运行时值的安全性,例如,通过移动目标防御客户端可以将AES密钥与查询一起发送。这些服务于将所选密文动态解密为用于查询评估的明文。DBMS最迟在查询结束时清除键和明文。它可以将密文传递给解密使能的客户端或以其他方式传递明文,例如,浏览器/导航器。该方案在功能上向云DBMS提供明文SQL DBMS的能力。AES处理开销对于现代CPU来说似乎可以忽略,例如,一个流行的英特尔I5。确定性加密可以没有存储开销。概率的一个加倍的DB存储。该方案似乎是第一个普遍实用的外包加密SQL数据库。一个足以实践的实现看起来很容易。一个现有的云SQL数据库管理系统与UDF支持应该做的。
2015-12-20 cs.CR cs.DB
PIQL: Success-Tolerant Query Processing in the Cloud
新发布的Web应用程序经常会遭遇“成功灾难”,即数据库机器过载和由此产生的高响应时间破坏了以前良好的用户体验。不幸的是,传统的关系数据库系统提供的数据独立性虽然对敏捷开发很有用,但由于将潜在的昂贵查询隐藏在简单的声明式表达式下,只会加剧问题。因此,这些应用程序的开发人员越来越多地放弃关系数据库,转而使用针对分布式键/值存储编写的命令式代码,从而在此过程中失去了数据独立性的许多好处。相反,我们提出了PIQL,一种声明性语言,它还通过计算将为任何查询执行的键/值存储操作的数量的上限来提供规模独立性。结合服务水平目标(SLO)合规预测模型和PIQL的可扩展数据库架构,这些界限使开发人员可以轻松编写成功容忍应用程序,支持任意数量的用户,同时仍然提供可接受的性能。在本文中,我们提出了PIQL查询处理系统,并评估其规模独立数百台机器上使用两个基准,TPC-W和SCADr。
2011-11-30 cs.DB
SQL and NoSQL Databases Software architectures performance analysis and assessments -- A Systematic Literature review
内容:大数据的有效处理对于SQL和NoSQL数据库来说是一项具有挑战性的任务,其中称职的软件架构起着至关重要的作用。SQL数据库旨在构建数据并支持垂直可伸缩性。相比之下,水平可扩展性由NoSQL数据库支持,可以有效地处理大量非结构化数据。人们可以根据组织的需求选择正确的范式;然而,做出正确的选择往往具有挑战性。SQL和NoSQL数据库遵循不同的架构。此外,每个类别的NoSQL数据库都遵循混合模型。因此,跨多个云服务提供商(CSP)的云消费者的数据移动变得困难。此外,每个云平台IaaS、PaaS、SaaS和DBaaS也监控各种范例。目的:本系统性文献综述(SLR)旨在研究与SQL和NoSQL数据库软件架构相关的相关文章,并解决各种云平台之间的数据可移植性和互操作性。通过观察可伸缩性、性能、可用性、一致性和分片特性,提出了SQL和NoSQL数据库的许多性能比较研究。根据研究,NoSQL数据库设计的结构可以是大数据分析的正确选择,而SQL数据库适合OLTP数据库。研究人员提出了许多与云中数据移动相关的方法。开发了基于平台的API,这使得用户的数据移动变得困难。因此,在跨多个CSP的数据移动期间,注意到数据可移植性和互操作性问题。为了最大限度地减少开发人员的工作量和互操作性,需要统一API来使数据在各种云平台之间的移动相对更容易访问。
2022-09-14 cs.AI cs.DB cs.PL
BtrLog: Low-Latency Logging for Cloud Database Systems
Technische Universität München(慕尼黑工业大学);Technische Universität Darmstadt(达姆施塔特工业大学);TigerBeetle
提出BtrLog,一种可复用的云日志服务,通过SSD日志节点仲裁复制和异步归档到对象存储,实现低延迟持久化日志记录,降低存储成本。
2026-06-29 cs.DB cs.DC
Designing a Bit-Based Model to Accelerate Query Processing Over Encrypted Databases in Cloud
数据库用户已经开始转向使用云计算作为服务,因为它以合理的价格提供计算和存储需求。然而,对于大多数用户来说,隐私问题起着重要作用,因为一旦他们的数据被外包,他们就无法控制数据访问,特别是如果云提供商对他们的数据感到好奇。数据加密是解决隐私问题的有效方法,但对加密数据执行查询是一个需要注意的问题。在这项研究中,我们引入了一个基于位的模型,在云上的加密数据库上执行不同的关系代数运算符,而无需解密数据。为了加密数据,我们使用随机加密算法(高级加密标准-CBC)来提供最大的安全级别。这个想法是基于将属性分类为敏感和非敏感,其中只有敏感属性被加密。对于每个敏感属性,表所有者预先定义了可能的分区域,在加密之前,元组将在该分区域上被编码成位向量。我们将位向量存储在云中加密表中的附加列中。我们使用这些位来检索特定查询的候选加密记录的一部分。我们实现并评估了我们的模型,发现所提出的模型是可行的,成功地将检索到的加密记录的范围最小化到整个表中的加密记录集的30%以下。
2020-01-10 cs.CR cs.DB
Polynesia: Enabling Effective Hybrid Transactional/Analytical Databases with Specialized Hardware/Software Co-Design
数据量呈指数级增长,加上对实时分析的需求不断增加(即,使用最新的数据),已经导致了同时支持事务和数据分析的数据库系统的出现。这些混合事务和分析处理(HTAP)数据库系统可以支持实时数据分析,而无需在单独的单一用途数据库之间进行同步的高成本。不幸的是,对于执行高数据更新率的许多应用,与仅执行事务或仅隔离地执行分析相比,最先进的HTAP系统导致事务(高达74.6%)和/或分析(高达49.8%)吞吐量的显著下降,这是由于(1)CPU和存储器之间的数据移动,(2)数据更新传播,以及(3)一致性成本。我们提出波利尼西亚,在内存HTAP数据库的硬件-软件协同设计的系统。波利尼西亚(1)将HTAP系统划分为事务处理岛和分析处理岛,(2)实现自定义算法和硬件以降低更新传播和一致性的成本,以及(3)利用分析岛的内存处理来减轻数据移动。我们的评估表明,波利尼西亚优于三个最先进的HTAP系统,平均交易/分析吞吐量提高了1.70倍/3.74倍,并比之前的最低能耗系统降低了48%的能耗。
2021-03-01 cs.AR cs.DB
DPCD: A Quality Assessment Database for Dynamic Point Clouds
Shanghai Jiao Tong University(上海交通大学);University of Missouri-Kansas City(密苏里大学-堪萨斯城分校);Bytedance(字节跳动)
针对动态点云质量评估(DPCQA)研究匮乏的问题,本文构建了包含15个参考样本、525个失真样本的大规模DPCQA数据库DPCD,开展主观实验获取MOS并验证其可靠性,评估了现有客观指标性能,为DPCQA研究提供基准支撑。
2025-05-18 cs.CV cs.DB
Automatic Storage Structure Selection for hybrid Workload
Harbin Institute of Technology(哈尔滨工业大学)
在数据库系统的使用中,存储引擎和数据模型的设计直接影响数据库执行查询时的性能。因此,数据库的使用者需要根据遇到的工作量来选择存储引擎和设计数据模型。然而,在混合工作负载中,数据库的查询集是动态变化的,其最优存储结构的设计也在变化。基于此,提出了一种基于学习代价的存储结构自动选择系统,用于在混合负载下动态选择数据库的最优存储结构。在该系统中,我们引入了一种机器学习方法来建立存储引擎的成本模型,以及一种面向列的数据布局生成算法。实验结果表明,该系统能够根据当前的工作负载选择存储引擎和数据模型的最优组合,大大提高了默认存储结构的性能。系统设计为兼容不同的存储引擎,便于实际应用。
2020-08-15 cs.DB cs.LG
Knowledge Engineering for Hybrid Deductive Databases
University of Würzburg(维尔茨堡大学)
现代知识库系统经常需要以不同的格式组合数据库的集合:例如,关系数据库、XML数据库、规则库、本体等。在演绎数据库系统DDASE中,我们可以管理这些不同格式的知识并对它们进行推理。甚至不同计算机上的文件系统也可以是知识库的一部分。通常,需要处理知识库的不同版本。例如,在一个示例中,我们可能想要找出关系数据库的两个版本的共同部分或差异。我们将通过谓词依赖和规则谓词图来检查规则库抽象的使用。此外,派生原子的证明树可以帮助比较不同版本的规则库。此外,它可能有派生加入规则与其他形式主义的知识表示。本体已经在智能系统的许多应用中显示出它们的益处,并且已经有许多与语义web栈兼容的规则语言的提议,例如,SWRL,语义Web规则语言。最近,本体被用于混合系统中指定不同组件的出处。
2017-01-03 cs.AI cs.DB cs.PL
A Consumer-Centric Market for Database Computation in the Cloud
云中公共计算资源的可用性已经彻底改变了数据分析,但请求云资源通常涉及消费者的复杂决策。在当前的定价机制下,云服务提供商提供多种服务选项,并根据消费者使用的资源向其收费。在决定请求哪些云资源之前,消费者必须估计不同服务选项(可能是不同服务提供商)的计算任务的完成时间和成本。即使对于专家云用户来说,这种估计也是具有挑战性的。我们提出了一个新的基于市场的框架,在云中的计算任务定价。我们的框架在消费者和云提供商之间引入了一个代理。代理从用户那里获取数据和计算任务,估计评估任务的时间和成本,并向消费者返回指定价格和完成时间的合同。我们的框架可以直接应用于现有的云市场,而不会改变云提供商提供和定价服务的方式。此外,它还允许消费者比较合同,而不是直接选择资源,从而简化了云的使用。我们目前的设计,分析和算法的贡献,专注于定价计算合同,分析其属性,并在复杂的工作流程中优化它们。我们对现实世界的云服务市场框架进行了实验性评估,并以经验证明,我们的市场确保了三个关键属性:竞争力,公平性和弹性。最后,我们提出了一个细粒度的定价机制,复杂的工作流程,并表明它可以增加代理利润超过一个数量级,在某些情况下。
2017-06-16 cs.DB cs.DC
The Hybrid Multimodal Graph Index (HMGI): A Comprehensive Framework for Integrated Relational and Vector Search
BNRIST, Tsinghua University(北京理工大学,清华大学)
本文提出混合多模态图索引(HMGI)框架,通过结合近似最近邻搜索与图遍历查询,在原生图数据库上实现高效的多模态混合查询,以在关系密集场景中超越纯向量数据库并实现亚线性查询时间。
2025-10-11 cs.DB cs.LG