Vertical partitioning of relational OLTP databases using integer programming
优化关系行存储数据库性能的一种方法是通过将表垂直划分为表部分来减小行宽度,以便最小化每个事务读取的不相关列/属性的数量。本文认为垂直分区算法的关系行存储OLTP数据库与H存储的架构,这意味着我们要最大限度地提高单站点事务的数量。我们提出了一个模型的垂直分区的问题,给定的模式连同垂直分区和工作量,估计成本(字节读/写的存储层访问方法和字节之间的站点传输)评估给定分区的工作量。成本模型允许任意优先考虑站点的负载均衡与总成本最小化。我们发现,在这个模型中找到一个最低成本的垂直分区是NP-难的,并提出了两个算法返回的解决方案,其中单站点的读取查询被保留,同时允许列复制(这可能会允许大幅降低成本相比,不相交分区)。第一个算法是一个二次整数规划,找到最优的最小成本的解决方案,相对于模型,第二个算法是一个更可扩展的启发式基于模拟退火。实验表明,该算法可以降低成本的模型目标的37%时,应用到TPC-C的基准和启发式获得的解决方案的成本接近使用二次规划。
2010-02-16 cs.DB cs.PF
Transactional Partitioning: A New Abstraction for Main-Memory Databases
OLTP(在线事务处理)应用程序的种类和数量的增长对OLTP系统提出了挑战,以满足现有硬件环境中的性能和成本需求。这些应用程序具有高度交互性(延迟敏感),并且需要更新一致性。他们以商用硬件为部署目标,并要求随着客户端和数据的增加而提高吞吐量的可扩展性。目前,这些应用程序所使用的OLTP系统在性能和各种应用程序的开发简易性方面提供了折衷。为了弥合性能和易于开发之间的差距,我们提出了一个直观的,高层次的编程模型,允许OLTP应用程序被建模为一个集群的应用程序逻辑单元。通过扩展事务,保证完整的ACID语义,提供建议的模型,我们保持应用程序开发的方便性。该模型允许应用程序开发人员对程序性能进行推理,并在没有OLTP系统设计人员(数据库设计人员)和/或DBA参与的情况下影响程序性能。因此,数据库设计人员可以自由地专注于程序的高效运行,以确保最佳的集群资源利用率。
2017-01-16 cs.DB
OrpheusDB: Bolt-on Versioning for Relational Databases
数据科学团队经常协作分析数据集,在迭代探索和分析的每个阶段生成数据集版本。迫切需要一个可以支持数据集版本控制的系统,使这些团队能够有效地存储,跟踪和查询数据集版本。我们介绍了OrpheusDB,一个数据集版本控制系统,“螺栓”的版本控制功能,以传统的关系数据库系统,从而获得数据库的分析能力“免费”。我们开发和评估多个数据模型表示版本化的数据,以及一个轻量级的分区方案,LyreSplit,以进一步优化模型,减少查询延迟。使用LyreSplit,OrpheusDB在找到有效(和更好)的分区方面比竞争方法平均快1000倍,同时相对于没有分区的方案,版本检索的延迟也减少了20倍。LyreSplit可以在添加新版本时以在线方式应用,以及智能迁移方案,平均将迁移时间缩短10倍。
2017-03-07 cs.DB
Chiller: Contention-centric Transaction Execution and Data Partitioning for Modern Networks
在基于TCP/IP的高开销网络上的分布式事务通常被认为是非常昂贵的,因此不惜一切代价避免。为此,几乎所有现有分区方案的主要目标都是最小化跨分区事务的数量。然而,随着新一代快速的支持RDMA的网络,这种假设不再有效。事实上,最近的工作表明,即使大多数事务是跨分区的,分布式数据库也可以扩展。在本文中,我们首先提出的情况下,真正的可扩展的事务处理在现代的RDMA启用数据库的瓶颈是数据争用,并优化数据争用导致不同的分区布局比优化的分布式事务的数量。然后,我们提出了冷却器,一种新的方法来进行数据分区和事务执行,其目的是尽量减少本地和分布式事务的数据争用。最后,我们评估冷却器使用各种工作负载,并表明我们的分区和执行策略优于传统的分区技术,试图避免分布式事务,高达2倍。
2020-04-16 cs.DB
A large-scale and fault-tolerant approach of subgraph mining using density-based partitioning
最近,图挖掘方法已经变得非常流行,特别是在诸如生物信息学、化学信息学和社交网络的领域中。在这个范围内,最具挑战性的任务之一是频繁子图发现。这项任务的动机是现有图形数据库的规模急剧增加。从那时起,一个重要的问题,设计有效的和可扩展的方法,在大型集群中的频繁子图发现,已经发生。然而,在大型集群中,失败是一种常态,而不是例外。在这种情况下,MapReduce框架被设计为使节点故障由框架自动处理。在本文中,我们提出了一个大规模的和容错的子图挖掘方法,通过基于密度的分区技术,使用MapReduce。我们的分区旨在平衡机器集合上的计算负载。我们的实验表明,我们的方法显着降低了执行时间和规模的子图发现过程中大型图形数据库。
2012-12-04 cs.DB cs.DC cs.SI
Prediction of Horizontal Data Partitioning Through Query Execution Cost Estimation
IT University of Copenhagen(哥本哈根信息技术大学)
现代数据管理系统中数据量的过度增加需要改进的系统性能,通常通过数据分布、系统可扩展性和性能优化技术来提供。优化的水平数据划分对分布式数据管理系统有着重要的影响。在逻辑数据库设计的早期阶段,在不加载系统中的实际数据的情况下,找到一个最佳的分区模式,并使其适应业务环境的变化,是一个成功的实施,系统的可扩展性和性能的提高是非常重要的。在本文中,我们提出了一种新的方法来找到一个最佳的水平分区模式,表现出最小的总执行成本的一个给定的数据库工作负载。我们的方法是基于一个正式的模型,使抽象的谓词在工作量查询,并随后用于定义所有的关系片段。这种方法具有通过模拟水平分区获得的预测功能,无需将任何数据加载到分区中,而是改变数据库目录中的统计信息。我们定义了一个优化问题,并采用遗传算法(GA)找到一个近似最优的水平分区模式。优化问题的解决方案使用PostgreSQL的查询优化器进行评估。我们的方法的初步实验评估证实了其效率和正确性,数字意味着该方法是有效的,在减少工作负载执行成本。
2019-11-26 cs.DB cs.DC cs.LG
ER model Partitioning: Towards Trustworthy Automated Systems Development
在数据库开发中,概念模型以数据关系(ER)模型的形式创建,并转换为关系数据库模式(RDS)以创建数据库。然而,在ER模型上表示的一些重要信息可能不会在RDS上转换和表示。这种情况会导致在转换过程中丢失信息。为了保存信息,在我们以前的研究中,我们将转换过程标准化为一对一,并将其映射为从ER模型到RDS。为此,我们对ER模型和转换算法进行了改进,解决了其中存在的一些不足。由于映射是使用一些真实案例作为基础并出于验证目的而建立的,因此有必要进行形式证明以验证工作。因此,正在进行的旨在创建证明的研究将展示如何将给定的ER模型划分为一组唯一的片段,并使用它来表示ER模型本身。还将解释如何使用这些发现来完成未来的证明。此外,本文亦将讨论资料库开发自动化、概念模型教学、以及形式化方法的研究意义。
2020-07-02 cs.DB
Maintaining Queries under Updates Using Heavy-Light Partitioning of the Input Relations
University of Zurich(苏黎世大学);Relational AI(关系人工智能);OTH Regensburg(雷根斯堡应用技术大学)
研究增量视图维护问题,提出一种通用方法,结合delta查询、材料化视图树和重叠-轻量划分,以常数延迟枚举查询输出。
2026-05-08 cs.DB
HONEYBEE: Efficient Role-based Access Control for Vector Databases via Dynamic Partitioning[Technical Report]
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学);VMware Research by Broadcom(VMware由Broadcom进行的研究);Microsoft Research(微软研究院)
HONEYBEE通过动态分区实现向量数据库的高效基于角色的访问控制,平衡内存开销与查询延迟,提升安全性与效率。
2026-01-07 cs.CR cs.DB cs.IR
Scaling Out Acid Applications with Operation Partitioning
具有无法由单个服务器提供服务的高工作负载的OLTP应用程序需要横向扩展到多个服务器。通常,向外扩展需要将应用程序状态的不同分区分配给每个服务器。但是,数据分区与ACID事务的强一致性保证(许多OLTP应用程序的基本构建块)不一致。我们越是将数据扩展和分散到多个服务器上,访问不同服务器上数据的分布式事务就越频繁。对于大量的服务器,分布式事务的高成本使得向外扩展无效甚至有害。在本文中,我们提出了操作分区,一种新的范式来扩展OLTP应用程序,需要ACID保证。操作分区通过静态分析对应用程序的操作进行分区,从而间接地跨服务器对数据进行分区。这种操作划分产生了用于分布式协调的无锁传送带协议,该协议可以扩展在未修改的数据库管理系统上运行的未修改的应用程序。我们在一个名为Elia的系统中实现了该协议,并使用它扩展了两个应用程序,TPC-W和RUBiS。我们的实验表明,Elia可以将最大吞吐量提高4.2倍,并将延迟降低58.6倍,同时提供更强的隔离保证(可串行化而不是读取提交)。
2018-04-05 cs.DB cs.DC
Nebula Graph: An open source distributed graph database
本文介绍了Nebula Graph的最新工作,Nebula Graph是一个开源的、分布式的、可扩展的、原生的图形数据库。我们提出了一个系统设计的权衡和星云图内部的全面概述,包括图形数据模型,分区策略,二级索引,优化器规则,存储端事务,图形查询语言,可观察性,图形处理框架和可视化工具包。此外,还建立了三组大规模图b
2022-06-15 cs.DB
Survey of Vector Database Management Systems
本文综述了向量数据库管理系统,指出向量数据管理的五大障碍,系统梳理了查询处理、存储索引及查询优化的新技术,并对比了原生与扩展型VDBMSs,指出了未来研究方向。
2023-10-21 cs.DB
Scaling Package Queries to a Billion Tuples via Hierarchical Partitioning and Customized Optimization
本文提出渐进着色算法,通过分层分区和定制ILP/LP求解器,将包查询高效扩展到十亿级元组,并优雅处理严格约束,优于SketchRefine。
2023-11-14 cs.DB
On Demand Memory Specialization for Distributed Graph Databases
在本文中,我们提出了DN-树,这是一种数据结构,建立有损摘要的频繁数据访问模式的查询在分布式图数据管理系统。这些紧凑的表示允许我们在分布式系统中有效地通信数据结构。我们利用这种数据结构与一个新的\textit{Dynamic Data Partitioning}战略(DYDAP),分配的部分图根据历史数据访问模式,并保证一个小的网络通信和分布式图查询的计算负载平衡。该方法能够动态地适应新的工作负载,并在查询分布发生变化时进行演化。我们的实验表明,DYDAP产生的吞吐量高达一个数量级高于以前的方法的基础上缓存专门化,在各种情况下,和系统的平均响应时间除以2。
2013-10-16 cs.DB cs.DC
A Rough Sets Partitioning Model for Mining Sequential Patterns with Time Constraint
如今,数据采掘和知识发现方法被应用于各种企业和工程学科,以从数据库中发现有趣的模式。序列模式的研究是一个重要的数据采掘问题,因为它在现实世界的时间相关数据库中有着广泛的应用。序列模式是在与所研究的特定对象相关联的时间段内排序的事件间模式。分析和发现在预定时间段内的频繁序列模式是有趣的数据采掘结果,并且可以在许多企业应用中辅助决策支持。序列模式挖掘的问题提出了计算的挑战,因为一个长的频繁序列包含大量的频繁序列。此外,有用的结果取决于事件窗口的正确选择。本文从两个方面研究了序列模式挖掘问题,一个是问题的计算方面,另一个是时间约束的整合和可调整性。我们利用粗糙集理论中的不可分割关系对序列模式的搜索空间进行划分,提出了一种新的算法,该算法允许在执行挖掘任务之前对模式进行预测,并允许在执行挖掘任务之前调整时间约束。该算法比基于朴素时间约束的序列模式挖掘算法GSP至少快10倍。除此之外,该方法还确定了序列模式的时间间隔的附加知识。
2009-06-23 cs.DB
Loom: Query-aware Partitioning of Online Graphs
与一般的图处理系统一样,在机器集群上划分数据提高了图数据库管理系统的可伸缩性。然而,这些系统将在执行查询工作负载期间产生额外的网络成本,由于分区间遍历。与工作负载无关的分区算法通常最小化任何边缘跨越分区边界的可能性。然而,这些分区器相对于许多工作负载是次优的,特别是查询,其可能需要更频繁地遍历分区间边缘的特定子集。此外,它们在很大程度上不适合在动态的、不断增长的图形上进行增量操作。我们提出了一个新的图分区算法,织机,操作上的流图更新,并不断分配新的顶点和边缘的分区,考虑到查询工作量的图形模式表达式及其相对频率。首先,我们捕捉最常见的模式,边遍历时发生的查询。然后,我们比较子图,目前自己在图形更新流中递增,对这些常见的模式。最后,我们尝试将每个匹配分配到单个分区,减少频繁遍历的子图中的分区间边缘的数量,并提高平均查询性能。Loom在几个大型测试图上进行了广泛的评估,这些测试图具有现实的查询工作负载和各种图形更新顺序。我们证明,给定的工作量,我们的原型产生分区的质量显着优于现有的流图分割算法茴香和LDG。
2017-11-17 cs.DB
Parallel In-Memory Evaluation of Spatial Joins
空间连接操作是空间数据库系统中的一种常用操作,其评价是一个研究较多的问题。随着主存容量的增大和速度的提高,以及通用硬件对并行处理的支持,需要对经典的连接算法进行改进,这些算法是为I/O限制处理而设计的。鉴于此,我们研究了内存中的空间连接和并行计算,通过重新设计一个经典的基于分区的算法,考虑替代方法的空间分区。我们的研究表明,相比一个简单的算法实现,我们的调整可以显着提高性能。我们还展示了如何根据数据统计选择适当的分区参数,以便针对给定的连接输入调整算法。我们的并行实现可以优雅地扩展线程的数量,将连接的成本降低到最多一秒,即使对于具有数千万个矩形的连接输入。
2019-10-09 cs.DB cs.DC
Accelerating Regular Path Queries over Graph Database with Processing-in-Memory
针对图数据库RPQ的内存墙瓶颈,提出基于PIM的Moctopus系统,采用PIM友好动态分区算法并行处理路径匹配,支持高效批量查询与更新,性能优于传统图数据库。
2024-03-15 cs.DB
Workload-Driven Vertical Partitioning for Effective Query Processing over Raw Data
传统的数据库没有配备足够的功能来处理“大数据”的数量和种类。严格的模式定义和数据加载即使对于最基本的查询会话也是先决条件。原始数据处理已经被提出作为一种模式按需替代,提供即时访问数据。当加载是一个选项时,它完全由当前运行的查询驱动,导致查询工作负载的性能不佳。在本文中,我们研究的问题,工作负载驱动的原始数据处理部分加载。我们将加载建模为完全复制的二进制垂直分区。我们提供了一个线性混合整数规划优化配方,我们证明是NP-难的。我们设计了一个两阶段的启发式,在很短的时间内接近最优解。我们扩展的优化配方和启发式流水线的原始数据处理,场景中的数据访问和提取同时执行。我们提供了三个案例研究,在真正的数据格式,确认模型的准确性时,实现在一个国家的最先进的流水线操作的原始数据处理。
2015-05-09 cs.DB
Fast in-database cross-matching of high-cadence, high-density source lists with an up-to-date sky model
即将到来的高节奏宽视场光学望远镜将每分钟成像数十万个光源。除了检查瞬态和可变性事件的近实时数据流外,积累的数据档案是一个丰富的实验室,可用于进行补充科学发现。这项工作的目标是优化面向列的数据库技术,使建设一个完整的源和光变曲线数据库的大规模调查,这是由天文学界访问。我们采用了LOFAR的瞬态流水线作为基线,并对其进行了修改,以处理具有更高源密度的光学图像。管道将新的源列表添加到档案数据库中,同时将它们与已知的编目源进行交叉匹配,以构建完整的光变曲线档案。我们研究了几种索引和分区最大的表,允许更快的位置源查找交叉匹配算法的技术。我们监测了长期管道运行中的所有查询运行时间,其中我们处理了每个视场($500,000$度$^{-2}$)图像源密度峰值超过$170,000$的IPHAS数据子集。我们的分析表明,一个度的decompensation宽度的水平表分区控制查询运行时间。使用索引策略,其中分区根据源decompression密集排序,产生另一个改进。由于依赖于输入源列表和结果集大小,大多数查询在次线性时间内运行,少数(<20%)在线性时间内运行。我们观察到,对于这个逻辑数据库分区模式,处理IPHAS数据的管道实现的限制节奏是25秒。
2018-03-07 astro-ph.IM cs.DB
A fixed storage distributed graph database hybrid with at-scale OLAP expression and I/O support of a relational DB: Kinetica-Graph
本文将讨论一种分布式图形数据库体系结构,该体系结构与分布式关系数据库共存,用于I/O和大规模OLAP表达式支持,具有数百个PostGIS兼容的几何函数。这种实现的独特性主要源于其双链路拓扑结构,因为其固定的存储特性独立于节点到边缘连接的变化。该实现的另一个值得注意的贡献是其分布式图服务器之间的非阻塞客户端-服务器通信架构。还实现了基于节点重复的非检查分区方案,确保使用地理空间、随机和显式分片选择的分布式过滤进行最小通信。最后,一个有效的重新平衡算法,其次是一个分布式的最短路径求解器将展示与地理空间和社交网络的例子。
2022-01-03 cs.DB
Feature Level Clustering of Large Biometric Database
NIT Rourkela(鲁尔克拉国家技术学院);IIT Kanpur(坎普尔印度理工学院)
提出了一种在身份识别过程中对大型生物特征数据库进行有效划分的方法。该方法从离线签名中提取全局和局部特征向量,利用模糊聚类技术对数据库进行划分。由于生物特征没有自然的排序顺序,因此很难对其进行分类或数字索引。因此,需要一些监督标准来划分搜索空间。在识别过程中引入模糊聚类准则来寻找最近的聚类,以声明查询样本的身份。该系统进行了测试,使用箱错过率和传统的k均值方法相比,表现更好。
2010-02-02 cs.CV cs.DB cs.LG
Spatial Indexing of Large Multidimensional Databases
诸如大型天文测量之类的科学工作产生了TB级的数据库。这些通常是多维数据库,必须进行可视化和挖掘,以便找到有趣的对象或提取有意义的和定性的新关系。这些任务所需的许多统计算法在对内存中的小数据集进行操作时运行得相当快,但在对不适合内存的大型数据库进行操作时会出现明显的性能下降。我们利用新的软件技术来开发和评估快速多维索引方案,这些方案本质上遵循数据的底层,高度不均匀的分布:它们是分层的均匀网格索引,分层的二进制空间分区,以及数据的采样平面Voronoi细分。我们的工作数据库是斯隆数字巡天的5维星等空间,拥有超过2.7亿个数据点,我们表明这些技术可以大大加快数据采掘操作,例如通过实例查找类似对象,对对象进行分类或将大量模拟集与观测结果进行比较。我们还在开发与多维数据库交互的工具,并以自适应的方式以多种分辨率显示数据。
2012-09-28 cs.DB
Graph Neural Networks on Graph Databases
University of Oxford(牛津大学);Neo4j(Neo4j公司)
针对大型数据集上训练图神经网络的挑战,本文提出直接利用图数据库的查询引擎进行采样和最小化内存检索来训练GNN,实验证明该方法在单机和分布式训练中均具资源优势,为扩展GNN和图数据库应用开辟了新途径。
2024-11-18 cs.DB cs.LG
SOLAR: Scalable Distributed Spatial Joins through Learning-based Optimization
本文提出SOLAR,一种通过基于学习的优化实现可扩展分布式空间连接的框架,通过离线学习平衡的空间分区并在在线阶段评估查询相似性以重用分区器或从头分区,在真实数据集上实现了高达3.6倍的整体运行加速和2.71倍的分区加速。
2025-04-02 cs.DB
Optimization Strategies for Parallel Computation of Skylines
本文针对 Skyline 计算的二次复杂度问题,在回顾现有分区方法的基础上提出两种正交优化策略以降低计算开销,并在 PySpark 多核环境中进行实验比较。
2024-11-22 cs.DB
Trajectory Based Optimal Segment Computation in Road Network Databases
寻找一个新的设施,使设施吸引最大数量的客户的位置是一个具有挑战性的问题。现有的研究要么模型客户静态网站,因此不考虑客户的运动,或者他们专注于理论方面,并没有提供解决方案,经验证明是可扩展的。给定道路网络、一组现有设施和一组客户路线穿越,最优路段查询返回新设施的最优道路网络路段。我们提出了一个实用的框架来计算这个查询,其中每个路线遍历被分配一个分数,该分数根据分数分布模型分布在由路线覆盖的路段之间。查询返回具有最高分数的路段。为了实现低延迟,必须修剪非常大的搜索空间。我们提出了两种算法,采用不同的方法来计算查询。算法AUG使用图增强,和ITE使用迭代道路网络划分。实际数据集的实证研究表明,该算法能够提供高性能的现实环境。
2013-03-10 cs.DB
A Data- and Workload-Aware Algorithm for Range Queries Under Differential Privacy
我们描述了一个新的算法,回答一组给定的范围查询$ε$ -差分隐私,往往实现大大低于竞争的方法的错误。我们的算法满足差分隐私通过添加噪声,适应于输入数据和给定的查询集。我们首先私下学习将域划分为适合输入数据的桶。然后,我们私下估计每个桶的计数,这样做的方式非常适合给定的查询集。由于该算法的性能取决于输入数据库,我们评估了广泛的真实数据集,表明我们可以实现的好处,数据依赖于“容易”和“硬”数据库。
2014-10-01 cs.DB
Scalable Sampling for High Utility Patterns
EPITA Research Laboratory (LRE)(EPITA研究实验室)
针对大规模量化数据库中高效用模式挖掘的可扩展性难题,提出基于两条原创定理的新型采样算法及磁盘版本,兼具交互性与统计保证,性能优于现有最先进方法,可应用于考古知识图谱子剖面发现等场景。
2024-10-30 cs.DB cs.LG
On Finding Minimal Infrequent Elements in Multi-dimensional Data Defined over Partially Ordered Sets
我们考虑的数据库中,每个属性的值从偏序集(偏序集)。这使得人们可以对不同应用中出现的许多有趣的场景进行建模,包括定量数据库,分类法和每个属性都是代表某个事件随时间发生的持续时间的间隔的数据库。在这种情况下出现的自然问题如下:给定数据库$\mathcal{D}$和阈值$t$,从$\mathcal{D}$中找到少于$t$事务“支持”的属性的“泛化”的所有集合。我们称这种集合为稀有元素。由于单调性,我们可以通过仅考虑\emph{minimal}不频繁元素来减少输出大小。我们研究了一些有趣的偏序集类的所有极小罕见元素的复杂性。我们展示了这个问题如何可以应用到挖掘关联规则在不同类型的数据库,并找到“稀疏区域”或“洞”的定量数据或在数据库中记录的时间间隔,在此期间,一个重新发生的事件随着时间的推移出现。我们的主要重点将放在这些应用程序上,而不是对给定算法的正确性或分析。
2014-11-09 cs.DB
Resolving the Complexity of Some Data Privacy Problems
我们正式研究了两种在数据库社区中广泛使用的数据卫生方法:k-匿名和l-多样性。我们解决了几个公开的问题,这些方法的最佳应用的困难,证明积极和消极的结果:1。2-匿名在P.2。将无三角形图的边划分为4-星(3度顶点)的问题是NP-困难的。这产生了另一种证明,即即使数据库属性都是二进制的,3-匿名也是NP难的。3. 3-每个记录只有27个属性的匿名性是MAX SNP硬的。4.对于n行的数据库,k-匿名是O(4^n poly(n))时间,对于所有k > 1。5.对于具有n行和l <= log_{2c+2} log n个属性的数据库,在基数为c = O(1)的字母表上,k-匿名在P中。假设c,l = O(1),k-匿名在O(n)中。6. 3-具有二元属性的多样性是NP难的,具有一个敏感属性。7. 2-具有二值属性的多样性是NP难的,具有三个敏感属性。
2010-04-23 cs.CC cs.DB
Query Data With Fuzzy Information In Object-Oriented Databases An Approach Interval Values
提出了一种基于模糊语义的模糊模糊在该方法中,我们考虑对象类的属性值(以及方法)是区间值,并将区间值分别转换为[0,1]中的子区间。证明了在[0,1]中对冲代数中元素的future也是子区间。因此,我们提出了一个算法,允许两个子区间[0,1]的比较,帮助查询数据的要求
2016-10-16 cs.DB
Modeling and Optimization for Massive Data Allocation in Database
Tsinghua University(清华大学);Labs, Huawei Technologies Co., Ltd(华为技术有限公司2012实验室)
针对分布式数据库中数据分散导致通信开销大的问题,提出基于谱聚类归一化割的0-1优化模型,并用Bregman近端梯度法求解,实现数据平衡与低通信开销。
2026-05-29 cs.DB
Fast and Simple Relational Processing of Uncertain Data
本文介绍了U-关系,一个简洁的和纯粹的关系表示系统的不确定数据库。U-关系支持属性级的不确定性,使用垂直分区。如果我们考虑通过计算可能答案的操作扩展的正关系代数,则逻辑级别上的查询可以被转换为U-关系表示上的单个关系代数查询并被评估。翻译方案基本上保留了查询的大小,在操作的数量方面,特别是连接的数量。现成的关系数据库管理系统中采用的标准技术对于优化和处理U关系查询是有效的。在我们的实验中,我们表明,查询评估的U-关系规模的大量数据具有高度的不确定性。
2007-07-11 cs.DB cs.PF
The Hybrid Multimodal Graph Index (HMGI): A Comprehensive Framework for Integrated Relational and Vector Search
BNRIST, Tsinghua University(北京理工大学,清华大学)
本文提出混合多模态图索引(HMGI)框架,通过结合近似最近邻搜索与图遍历查询,在原生图数据库上实现高效的多模态混合查询,以在关系密集场景中超越纯向量数据库并实现亚线性查询时间。
2025-10-11 cs.DB cs.LG
Apriori_Goal algorithm for constructing association rules for a database with a given classification
Tver State Technical University(特维尔国立技术大学)
针对给定分类数据库的关联规则构建问题,提出Apriori_Goal算法,通过单前提生成、扩展前提构建及多质量标准优化,可生成高频、稀有及负规则,以医疗数据库为例验证了效率。
2025-02-10 cs.DB cs.LG
A+ Indexes: Tunable and Space-Efficient Adjacency Lists in Graph Database Management Systems
Cheriton School of Computer Science, University of Waterloo(滑铁卢大学切里顿计算机科学学院)
针对现有图数据库管理系统固定邻接表结构仅适配特定工作负载的问题,提出支持物化视图的可调优A+索引子系统,含顶点/边分区两类索引,采用偏移列表实现二级索引空间高效,经三类工作负载实验验证了可调优性与空间效率。
2021-03-03 cs.DB
The End of a Myth: Distributed Transactions Can Scale
普遍的看法是分布式事务不能扩展。但是,如果使用下一代网络和重新设计的分布式数据库可以使分布式事务具有可伸缩性,那会怎样呢?开发人员将不再需要担心共同分区方案来实现良好的性能。应用程序开发将变得更加容易,因为数据放置将不再决定应用程序的可伸缩性。硬件配置将得到简化,因为系统管理员在添加更多机器时可以预期线性横向扩展,而不是一些复杂的次线性功能,这是高度特定于应用程序的。在本文中,我们提出了我们的新的可扩展的数据库系统NAM-DB的设计,并显示非常常见的快照隔离保证分布式事务确实可以使用下一代的RDMA启用的网络技术,没有任何固有的瓶颈扩展。我们对TPC-C基准测试的实验表明,我们的系统线性扩展至56台机器上每秒超过650万个新订单(总计1450万个)分布式交易。
2016-11-21 cs.DB
Coo: Rethink Data Anomalies In Databases
事务处理技术有三个重要内容:数据异常、隔离级别和并发控制算法。并发控制算法用于消除不同隔离级别的部分或全部数据异常,以确保数据一致性。当前ANSI标准中的隔离级别是通过禁止某些类型的数据异常来定义的。然而,ANSI标准中数据异常的定义是有争议的。一方面,这些定义缺乏数学形式化,导致解释不明确。另一方面,这些定义是以个案的方式进行的,并导致即使是高级DBA也无法准确了解数据异常的情况,因为缺乏对其性质的充分理解。虽然现有文献中修订的定义提出了各种数学形式化来纠正前一个论点,但如何解决后一个论点仍然是一个悬而未决的问题。在本文中,我们提出了一个通用的框架,称为Coo的能力,系统地定义数据异常。在这个框架下,我们表明,现有的报告数据异常只是一小部分。虽然我们从理论上证明了Coo是完全的数学形式化数据异常,我们采用了一种新的方法来分类无限的数据异常。此外,我们还使用该框架定义了新的隔离级别,定量描述了主流并发控制算法的并发率和回滚率。这些工作表明,ACID的C和I可以根据所有数据异常进行定量分析。
2021-11-01 cs.DB
The Stanford RNA Mapping Database for sharing and visualizing RNA structure mapping experiments
我们已经建立了一个RNA映射数据库(RMDB),以使新一代的结构,热力学和动力学研究从定量单核苷酸分辨率RNA结构映射(免费提供http://rmdb.stanford.edu)。化学和酶标测是一种快速、稳健和广泛的RNA表征方法。由于其最近与高通量测序技术,加速软件管道和大规模诱变相结合,映射数据的量大大增加,并且迫切需要一个数据库来实现这些数据的共享,可视化和荟萃分析。通过其在线前端,RMDB允许用户探索热图,条形图和彩色二级结构图形中的单核苷酸分辨率化学可及性数据;利用这些数据生成二级结构假设;并以标准化和计算机友好的文件下载数据,包括RDAT和社区共识SNRNASM格式。在撰写本文时,该数据库包含38个条目,描述了2659个RNA序列,包括355,084个数据点,并且正在迅速增长。
2011-10-02 cs.DB q-bio.BM
MigCast in Monte Carlo: The Impact of Data Model Evolution in NoSQL Databases
在NoSQL支持的软件的开发过程中,数据模型与应用程序代码一起自然发展。特别是在敏捷开发中,新的应用程序发布会频繁部署,从而导致模式更改。最终,必须做出关于迁移持久化在云托管的生产数据库中的版本化遗留数据的决策。我们解决了这个模式的演变问题,并提出了近乎详尽的计算结果,通过该软件项目的利益相关者可以管理数据模型演变的运营成本,并相应地调整他们的软件发布策略,以符合服务水平协议的迁移成本和延迟的竞争指标。我们最终澄清了NoSQL数据库中的数据模型演变如何影响度量,同时考虑到迁移场景的所有相关特征。由于在迁移场景的搜索空间中计算所有可能的组合将远远超过计算手段,我们使用了重复采样的概率蒙特卡罗方法,作为一种行之有效的手段,使数据模型演变的复杂性得到控制。我们的实验表明,定性和定量的影响迁移策略的性能方面的强度和分布的数据实体访问,模式的变化,以及底层的数据模型的特点。
2021-04-23 cs.DB
Design-theoretic encoding of deterministic hypotheses as constraints and correlations into U-relational databases
鉴于范式的转变,使科学越来越多的数据驱动,在本文中,我们认为确定性的科学假设是不确定的数据。假设以数学方程的形式对称地联系所研究现象的各个方面。然而,为了计算预测,确定性假设被不对称地用作函数。我们参考西蒙的结构方程概念,以便提取嵌入在假设中的(所谓的)因果顺序。然后,我们将其编码成一组功能依赖(fd的),这是一个设计理论方法的基本输入的U-关系数据库(DB的)的综合。从正式指定的数学方程系统捕获到fd的因果顺序不仅确定了约束(结构),而且还确定了隐藏在假设预测数据中的相关性(不确定性链)。我们展示了如何有效地处理它,通过原始算法的编码和推理给定的假设作为约束和相关性到U-关系数据库的。该方法适用于定量和定性假设,并在计算科学的实际用例中进行了初步测试。
2014-11-19 cs.DB
Attribution-Scores in Data Management and Explainable Machine Learning
SKEMA Business School(SKEMA商学院)
本文介绍了实际因果性中的责任分数在数据库查询答案解释和机器学习分类模型输出解释中的应用,说明了与数据库修复的联系,扩展了分类模型的责任分数,并讨论了Shap-score的高效计算。
2023-07-31 cs.AI cs.DB cs.LG
Properties for Paths in Graph Databases
本文提出一种定义图数据库路径性质的形式化体系,可作查询过滤器、移除不当路径,论证了其可靠性完备性,证明其表达能力强于寄存器自动机,实验表明带路径性质过滤器的查询性能优于标准查询。
2025-07-30 cs.DB cs.LO
cSELENE: Privacy Preserving Query Retrieval System on Heterogeneous Cloud Data
虽然在其他地方的协作团队中工作,但有时联合(巨大)数据来自异构云供应商。它不仅涉及数据隐私问题,而且还涉及如何以快速安全的方式直接从云中查询这些联邦数据。以前的解决方案提供了公共云和可信私有云之间的混合云。另一个以前的解决方案在MapReduce框架上使用加密。但挑战在于我们正在处理异构云。在本文中,我们提出了一种新的技术与隐私关注的查询。由于我们考虑了执行时间,我们的基本思想是通过划分联邦数据库来使用数据采掘模型,以减少搜索和查询时间。使用数据库的模型意味着我们只使用数据库的摘要或非常特征的模式。建模是保护隐私的第一阶段,因为通过建模,数据被符号化。我们在数据库上实现加密以保护隐私第二阶段。我们的系统名为“cSELENE”(代表“cloud SELENE”),旨在处理异构云上的联合数据:AWS,Microsoft Azure和Google Cloud Platform with MapReduce技术。本文讨论了分布式云环境下的隐私保护系统和威胁模型、联邦数据格式、并行编程(GPU编程和共享/内存系统)、数据采掘模型的并行安全算法、云基础设施/架构以及cSELENE系统的UIX设计。其他问题,如增量方法和云架构系统的安全设计(虚拟机跨平台设计)仍然是开放的讨论。实验结果表明了该高性能计算方案的有效性和实用性。
2018-05-02 cs.DB cs.IR
xDBTagger: Explainable Natural Language Interface to Databases Using Keyword Mappings and Schema Graph
University of Waterloo(滑铁卢大学);The Central Bank of the Republic of Türkiye(土耳其共和国中央银行);Bilkent University(比尔肯特大学)
在关系数据库接口中将自然语言查询(NLQ)转换为结构化查询语言(SQL)是一项具有挑战性的任务,已经被来自数据库和自然语言处理社区的研究人员广泛研究。已经提出了许多工作来攻击自然语言数据库接口(NLIDB)问题,无论是传统的基于流水线的解决方案还是基于端到端深度学习的解决方案。然而,无论首选的方法是什么,这种解决方案都表现出黑盒性质,这使得这些系统所针对的潜在用户难以理解为生成翻译后的SQL而做出的决策。为此,我们提出了xDBTagger,一个可解释的混合翻译管道,解释了一路上向用户的文本和视觉的决定。我们还评估xDBTagger在三个现实世界的关系数据库定量。评估结果表明,除了完全可解释,xDBTagger是有效的准确性和翻译查询更有效地相比,其他国家的最先进的基于流水线的系统高达10000倍。
2022-10-07 cs.AI cs.CL cs.DB