Designing Applications with Distributed Databases in a Hybrid Cloud
设计在混合云中使用的应用程序有许多功能。其中包括动态虚拟化管理和未知路由切换客户。这使得不可能评估查询,从而不可能评估数据的最佳分布。在本文中,我们制定了设计和仿真的主要挑战提供加工安装。
2015-02-19 cs.DB cs.DC
Shirakami: A Hybrid Concurrency Control Protocol for Tsurugi Relational Database System
Keio University(庆应义塾大学);NAUTILUS Technologies, Inc(NAUTILUS科技有限公司);Cybozu Labs, Inc(Cybozu实验室有限公司)
Shirakami结合长读写事务的多版本视图可串行化和短事务的Silo,实现稳定性能,实验显示其比PostgreSQL快7.9倍,比Shirakami-OCC吞吐量高680倍。
2026-07-03 cs.DB
Hybrid Querying Over Relational Databases and Large Language Models
UC Santa Barbara(加州大学圣巴巴拉分校)
本文提出首个跨领域混合查询基准SWAN,包含120个基于真实数据库的超出数据库范围问题,并基于模式扩展和用户定义函数提出两种解决方案,评估显示GPT-4 Turbo结合少样本提示可达40.0%执行准确率和48.2%数据事实性。
2024-11-15 cs.CL cs.DB
Indexing Designs and Adaptive Data Distribution Optimization for In-Memory Databases on Hybrid DDR--CXL Memory
East China Normal University(华东师范大学)
针对混合DDR--CXL内存数据库,提出五种索引设计并开发自适应数据分布优化,通过分层热度跟踪和收益感知驱逐提升性能,使单一索引设计吞吐量最高提升至1.59倍。
2026-10-08 cs.DB
Evaluation of Distributed Databases in Hybrid Clouds and Edge Computing: Energy, Bandwidth, and Storage Consumption
对现代分布式数据库的基准研究是在云边缘范例中选择正确的数据管理技术的重要信息来源。为了做出正确的决定,需要对各种硬件基础设施进行广泛的实验研究。虽然大多数最先进的研究仅调查了分布式数据库的响应时间和可伸缩性,但关注于其他各种度量(例如,能量、带宽和存储消耗)对于完全理解分布式数据库的资源消耗是必要的。此外,现有的研究已经探索了这些数据库在私有云或公共云中的响应时间和可扩展性。因此,对部署在混合云中的这些数据库的评估缺乏调查,混合云是公共云和私有云的无缝集成。为了解决这些研究空白,在本文中,我们调查的能源,带宽和存储消耗最常用的和常见的分布式数据库。为此,我们评估了混合云上的四个开源数据库(Cassandra,Mongo,Redis和MySQL),这些数据库跨越本地OpenStack和Microsoft Azure,以及各种边缘计算节点,包括Raspberry Pi,Raspberry Pi集群以及低功率和高功率服务器。我们广泛的实验结果揭示了一些有用的见解,在边缘云环境中的现代分布式数据库的部署选择。
2023-01-09 cs.DB cs.DC
CHASE: A Native Relational Database for Hybrid Queries on Structured and Unstructured Data
本文提出原生关系数据库 CHASE,通过查询语义分析、新物理算子和编译优化支持结构化与非结构化混合查询,较现有系统最高加速 7500 倍。
2025-01-09 cs.DB
Greenplum: A Hybrid Database for Transactional and Analytical Workloads
企业数据仓库解决方案支持实时在线事务处理(OLTP)查询以及长时间运行的在线分析处理(OLAP)工作负载的需求正在增长。Greenplum数据库传统上被称为OLAP数据仓库系统,处理OLTP工作负载的能力有限。在本文中,我们将Greenplum扩展为一个混合系统,以同时为OLTP和OLAP工作负载提供服务。我们在这里所面临的挑战是在保持ACID属性的同时以最小的性能开销实现这一目标。在这项工作中,我们确定了工程和性能瓶颈,如表现不佳的限制性锁定和两阶段提交协议。接下来,我们解决事务查询和分析查询之间的资源争用问题。我们提出了一个全局死锁检测器,以增加查询处理的并发性。当保证更新数据的事务只驻留在一个段上时,我们引入了单阶段提交来加速查询处理。我们的资源组模型引入了将OLAP和OLTP工作负载分离到更合适的查询处理模式的功能。TPC-B和CH-benCHmark基准测试表明,我们的方法在不牺牲OLAP性能的情况下提高OLTP性能的有效性。
2021-05-14 cs.DB
Using Object-Relational Mapping to Create the Distributed Databases in a Hybrid Cloud Infrastructure
目前使用云服务的挑战之一是设计专门的数据管理系统的任务。这对于数据位于公共云和私有云的混合系统尤其重要。执行监测功能查询、调度和处理软件必须适当执行,是系统的一个组成部分。为了提供这些功能,建议使用对象关系映射(ORM)。本文致力于介绍为混合云基础设施中托管的信息系统设计数据库的方法。并给出了ORM库的开发实例。
2015-01-04 cs.DB cs.DC cs.NI
Polynesia: Enabling Effective Hybrid Transactional/Analytical Databases with Specialized Hardware/Software Co-Design
数据量呈指数级增长,加上对实时分析的需求不断增加(即,使用最新的数据),已经导致了同时支持事务和数据分析的数据库系统的出现。这些混合事务和分析处理(HTAP)数据库系统可以支持实时数据分析,而无需在单独的单一用途数据库之间进行同步的高成本。不幸的是,对于执行高数据更新率的许多应用,与仅执行事务或仅隔离地执行分析相比,最先进的HTAP系统导致事务(高达74.6%)和/或分析(高达49.8%)吞吐量的显著下降,这是由于(1)CPU和存储器之间的数据移动,(2)数据更新传播,以及(3)一致性成本。我们提出波利尼西亚,在内存HTAP数据库的硬件-软件协同设计的系统。波利尼西亚(1)将HTAP系统划分为事务处理岛和分析处理岛,(2)实现自定义算法和硬件以降低更新传播和一致性的成本,以及(3)利用分析岛的内存处理来减轻数据移动。我们的评估表明,波利尼西亚优于三个最先进的HTAP系统,平均交易/分析吞吐量提高了1.70倍/3.74倍,并比之前的最低能耗系统降低了48%的能耗。
2021-03-01 cs.AR cs.DB
Automatic Storage Structure Selection for hybrid Workload
Harbin Institute of Technology(哈尔滨工业大学)
在数据库系统的使用中,存储引擎和数据模型的设计直接影响数据库执行查询时的性能。因此,数据库的使用者需要根据遇到的工作量来选择存储引擎和设计数据模型。然而,在混合工作负载中,数据库的查询集是动态变化的,其最优存储结构的设计也在变化。基于此,提出了一种基于学习代价的存储结构自动选择系统,用于在混合负载下动态选择数据库的最优存储结构。在该系统中,我们引入了一种机器学习方法来建立存储引擎的成本模型,以及一种面向列的数据布局生成算法。实验结果表明,该系统能够根据当前的工作负载选择存储引擎和数据模型的最优组合,大大提高了默认存储结构的性能。系统设计为兼容不同的存储引擎,便于实际应用。
2020-08-15 cs.DB cs.LG
Accelerating Pathology Image Data Cross-Comparison on CPU-GPU Hybrid Systems
作为空间数据库在病理成像分析中的一个重要应用,交叉比较大量分割的显微解剖对象的空间边界需要极其数据和计算密集型的操作,需要以可承受的成本的高吞吐量。然而,空间数据库系统的性能并不令人满意,因为它们的空间操作的实现不能充分利用现代并行硬件的能力。在本文中,我们提供了一种定制的软件解决方案,该解决方案利用GPU和多核CPU以经济高效的方式加速空间交叉比较。我们的解决方案包括一个高效的GPU算法和一个流水线的系统框架,任务迁移支持。大量的实验与真实世界的数据集证明了我们的解决方案的有效性,它提高了空间交叉比较的性能超过18倍,与并行空间数据库的方法。
2012-08-01 cs.DB
Knowledge Engineering for Hybrid Deductive Databases
University of Würzburg(维尔茨堡大学)
现代知识库系统经常需要以不同的格式组合数据库的集合:例如,关系数据库、XML数据库、规则库、本体等。在演绎数据库系统DDASE中,我们可以管理这些不同格式的知识并对它们进行推理。甚至不同计算机上的文件系统也可以是知识库的一部分。通常,需要处理知识库的不同版本。例如,在一个示例中,我们可能想要找出关系数据库的两个版本的共同部分或差异。我们将通过谓词依赖和规则谓词图来检查规则库抽象的使用。此外,派生原子的证明树可以帮助比较不同版本的规则库。此外,它可能有派生加入规则与其他形式主义的知识表示。本体已经在智能系统的许多应用中显示出它们的益处,并且已经有许多与语义web栈兼容的规则语言的提议,例如,SWRL,语义Web规则语言。最近,本体被用于混合系统中指定不同组件的出处。
2017-01-03 cs.AI cs.DB cs.PL
Automatic Generation of a Hybrid Query Execution Engine
对快速数据处理的需求不断增长,需要新的方法来高效执行查询。即时查询编译技术已被证明可以显著提高一组分析任务的性能。在这项工作中,我们研究了将这种方法添加到现有数据库解决方案中的可能性及其提供的好处。为此,我们创建了一组自动化工具来创建一个运行时代码生成引擎,并将这样的引擎集成到SQLite中,SQLite是世界上最流行的关系数据库之一,用于各种各样的环境。在涉及大量操作的查询的微基准测试中观察到高达1.7倍的加速。
2018-08-16 cs.DB
The Hybrid Multimodal Graph Index (HMGI): A Comprehensive Framework for Integrated Relational and Vector Search
BNRIST, Tsinghua University(北京理工大学,清华大学)
本文提出混合多模态图索引(HMGI)框架,通过结合近似最近邻搜索与图遍历查询,在原生图数据库上实现高效的多模态混合查询,以在关系密集场景中超越纯向量数据库并实现亚线性查询时间。
2025-10-11 cs.DB cs.LG
Enabling High-Performance and Energy-Efficient Hybrid Transactional/Analytical Databases with Hardware/Software Cooperation
数据量的增长,加上对实时分析(使用最新数据)的需求不断增加,导致了同时支持事务和数据分析的数据库系统的出现。这些混合事务和分析处理(HTAP)数据库系统可以支持实时数据分析,而无需在单独的单一用途数据库之间进行同步的高成本。不幸的是,对于执行高速率数据更新的许多应用,最先进的HTAP系统在事务处理中招致显著的损失。(高达74.6%)和/或分析(高达49.8%)的吞吐量相比,仅执行事务或仅分析查询隔离,由于(1)数据移动之间的CPU和内存,(2)从事务性工作负载到分析性工作负载的数据更新传播,以及(3)在整个系统中维护一致的数据视图的成本。我们提出波利尼西亚,一个硬件-软件协同设计的系统,在内存中的HTAP数据库,避免了传统的HTAP系统的大吞吐量损失。波利尼西亚(1)将HTAP系统划分为事务处理岛和分析处理岛,(2)实现新的定制硬件,解锁软件优化,以降低更新传播和一致性的成本,(3)利用分析岛的内存处理来减轻数据移动开销。我们的评估表明,波利尼西亚优于三个最先进的HTAP系统,平均交易/分析吞吐量提高了1.7倍/3.7倍,并比之前的最低能耗HTAP系统降低了48%的能耗。
2022-04-24 cs.AR cs.DB
L2T-Tune:LLM-Guided Hybrid Database Tuning with LHS and TD3
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Hangzhou Institute for Advanced Study, UCAS(杭州高等研究院)
本文提出 LLM 引导的混合数据库调优框架 L2T-Tune,通过热启动均匀采样、LLM 挖掘调优提示和 TD3 微调,在提升性能与加速收敛方面显著优于现有方法。
2025-11-07 cs.DB cs.LG
A Novel approach for Hybrid Database
在当前经济危机的世界中,成本控制是所有类型行业的主要关注点之一,特别是对于小型供应商。小型供应商应该通过减少对硬件和昂贵的数据库服务器(如Oracle,SQL Server,SYBASE等)的初始投资来最大限度地减少其信息技术预算,以用于数据处理和存储。在其他部门,电子设备制造公司希望通过引入低成本技术来增加需求并降低制造成本。新的小型设备,如ipod,iPhone,palm top等,现在被用作数据计算和存储工具。对于上面提到的两种情况,而不是去昂贵的数据库服务器,它另外需要额外的硬件以及额外的费用,在培训和处理,平面文件可以被认为是一个候选人,由于其易于处理的性质,快速访问,当然是免费的。但主要障碍是安全方面没有达到最佳水平。在本文中,我们提出了一种方法,结合了所有的优点的平面文件和一种新的隐写技术的帮助下,我们可以保持最大的安全围栏。新提出的方法无疑将是非常有益的小厂商以及上述电子设备制造商
2013-04-26 cs.CR cs.DB cs.MM
DBRepro: Automated Database Synthesis via a Hybrid Constraint-Solving Approach for Reproducing Slow Queries
Renmin University of China(中国人民大学);China Electronics Technology Kingbase (Beijing) Technologies Inc.(中国电子科技集团金仓(北京)科技有限公司)
研究针对慢查询离线诊断的数据库合成难题,提出DBRepro框架,通过混合约束求解方法生成代理数据库,在TPC-H、SSB及真实数据集上验证了其在基数误差、计划一致性等指标上的优势。
2026-08-31 cs.DB cs.SE
io_uring in Oracle Database: A Hybrid Storage I/O Architecture at Production Scale
Oracle America Inc.(甲骨文美国公司)
本文介绍 Oracle 数据库集成 io_uring 的混合存储 I/O 架构,通过每进程环形上下文和回退机制,在异步批处理 I/O 上降低 CPU 消耗并提升吞吐量,同时保留同步路径的 pread/pwrite。
2026-09-22 cs.DB cs.PF
Counting Solutions to Conjunctive Queries: Structural and Hybrid Tractability
University of Calabria(卡拉布里亚大学);Univ. Artois, CNRS, Centre de Recherche en Informatique de Lens (CRIL)(阿图瓦大学、法国国家科学研究中心、朗斯信息学研究中心)
针对合取查询答案计数的#P难问题,提出#-超树分解概念,证明有界#-超树宽度划定了有界元数查询的可处理性边界,并进一步提出结合查询结构与数据库固有性质的混合分解方法。
2024-09-11 cs.AI cs.DB
Enc2DB: A Hybrid and Adaptive Encrypted Query Processing Framework
针对云数据库中的密文查询问题,本文提出 Enc2DB 混合自适应框架,结合密码学与 TEE 动态选择执行路径,并设计兼容优化器的密文索引,TPC-C 实验显示其性能优于现有方案。
2024-04-10 cs.CR cs.DB
Inductive Logic Programming in Databases: from Datalog to DL+log
Università degli Studi di Bari(巴里大学)
在本文中,我们解决了一个问题,已经引起了数据库社区的注意,随着语义Web的出现,即本体论(和它们所传达的语义)如何帮助解决典型的数据库问题的问题,通过更好地了解KR方面相关的数据库。特别是,我们调查这个问题,从ILP的角度考虑两个数据库的问题,(i)的定义的意见和(ii)的定义的约束,为数据库的模式表示也通过本体。两者都可以重新表述为ILP问题,并可以受益于KR框架DL+log的表达和演绎能力。我们通过实例说明了应用场景。关键词:归纳逻辑程序设计,关系数据库,本体,描述逻辑,混合知识表示和推理系统。逻辑程序设计理论与实践(Theory and Practice of Logic Programming,TPLP)
2010-03-12 cs.AI cs.DB cs.LG