A MapReduce Approach to NoSQL RDF Databases
近年来,对存储和处理大量数据的需求不断增加,这促使了对分布式存储和查询系统的需求。机器可读的RDF三元组的增长促使工业界和学术界开发新的数据库系统,称为NoSQL,其特征与传统数据库不同。这些系统中的许多系统为了提高水平可伸缩性和数据可用性而牺牲了ACID属性。本文主要研究NoSQL三重存储的开发和评估。TripleStores是数据库管理系统,是语义Web和链接数据等新兴技术的核心。评估跨越了几个基准,包括三重存储评估中最常用的两个基准,柏林SPARQL基准和DBpedia基准,DBpedia基准是一种操作维基百科的RDF表示的查询工作负载。结果表明,该系统所使用的连接算法在决定查询运行时起着至关重要的作用。分布式图数据库在生成MapReduce查询计划之前必须仔细优化查询,因为如果简单地执行查询,大型数据集的网络流量可能会变得令人望而却步。
2016-01-08 cs.DB
Compacting Transactional Data in Hybrid OLTP & OLAP Databases
不断增长的主存容量促进了将整个数据库保存在主存中的数据库管理系统。这些内存系统带来的巨大性能改进使得在线事务处理(OLTP)和在线分析处理(OLAP)这两个领域的重新结合成为可能:一类新兴的混合OLTP和OLAP数据库系统允许直接对事务数据进行分析查询。通过为OLAP提供事务数据的任意当前快照,这些系统实现了实时商业智能。尽管单个商用服务器中的内存大小为几TB,但RAM仍然是一种宝贵的资源:由于空闲内存可以用于查询处理中的中间结果,因此内存量在很大程度上决定了查询性能。因此,我们建议压缩内存驻留数据库。压缩包括两个任务:首先,将可变的工作集与不可变的“冻结”数据分离。其次,压缩不可变数据并优化它,以实现高效、内存消耗友好的快照。我们的方法重新组织和压缩事务数据在线,但几乎没有影响关键任务的OLTP吞吐量。这是通过减轻OLTP线程的所有额外处理负担并异步执行这些任务来实现的。
2012-08-01 cs.DB
Evolution of Buffer Management in Database Systems: From Classical Algorithms to Machine Learning and Disaggregated Memory
The Pennsylvania State University(宾夕法尼亚州立大学)
本文综述了数据库系统缓冲管理从经典算法到机器学习和解耦内存的演变,探讨了历史架构、生产系统实现及新兴趋势,并提出融合机器学习与内核可扩展性的研究方向。
2025-12-28 cs.DB
Actor-Relational Database Systems: A Manifesto
交互式数据密集型应用在金融、Web应用、移动计算和物联网等领域中变得越来越普遍。这些应用程序越来越多地部署在复杂的并行和分布式硬件基础设施中。随着软件和硬件环境的日益多样化,编程模型和系统面临着压力,使开发人员能够设计模块化,可扩展,高效和一致的数据密集型应用程序。为了应对这一挑战,最近的研究提倡演员编程模型和数据库管理的整合。这种集成有望帮助开发人员构建逻辑上分布式的微应用程序,以适应现代硬件的发展趋势,而不是现有的方法,以优化单片应用程序。为了实现这一目标,在本文中,我们分析,使情况下,并提出了一个广阔的视野演员-关系数据库系统。我们认为,为什么今天的时机已经成熟,以检查这个新兴的系统范式所提供的研究机会。基于此讨论,我们提出了设计原则以及候选功能集,以帮助具体化这样的系统的愿景。为了说明所提出的功能集的有用性,并激发对这类系统的需求,我们展示了一个详细的案例研究,该案例研究的灵感来自一个具有自助结账功能的智能超市应用程序,以及现代硬件上的性能优势的证据。
2018-09-10 cs.DB
Towards Eco-friendly Database Management Systems
数据库管理系统(DBMS)在很大程度上忽略了管理查询处理期间消耗的能量的任务。经济和环境因素都要求DBMS密切关注能源消耗。在本文中,我们处理这个问题,考虑能源消耗作为一个一流的性能目标,在DBMS中的查询处理。我们提出了两个具体的技术,可以使用的DBMS直接管理的能源消耗。这两种技术都以能耗换取性能。第一种技术称为PVC,利用现代处理器在较低处理器电压和频率下执行的能力。第二种技术称为QED,使用查询聚合来利用工作负载中查询的常见组件。在一个商业数据库管理系统和MySQL上进行的实验表明,PVC可以使处理器能耗降低49%,而响应时间仅增加3%.在MySQL上,PVC可以减少20%的能耗,而响应时间损失仅为6%。对于简单的选择查询没有谓词重叠,我们表明,量子电动力学可以用来优雅地交易响应时间的能量,减少了54%的平均响应时间增加43%的能源消耗。在本文中,我们还强调了一些研究问题,在新兴领域的节能数据处理。
2009-09-09 cs.DB
Identifying the Major Sources of Variance in Transaction Latencies: Towards More Predictable Databases
几十年的研究都在寻求提高数据库管理系统(DBMS)中的事务处理性能和可伸缩性。然而,很少有人关注性能的可预测性:单个事务显示出远离平均值的执行延迟的频率如何?当事务处理位于复杂企业软件或交互式Web服务的关键路线上时,以及在新兴的数据库即服务市场中,客户签订合同以保证性能水平时,性能可预测性至关重要。在本文中,我们采取了几个步骤,实现更可预测的数据库系统。首先,我们提出了一个分析框架,称为VProfiler,给定的DBMS的源代码,是能够确定的主要来源的变化,在事务延迟。VProfiler自动对DBMS源代码进行检测,将事务延迟的总体方差分解为各个函数执行时间的方差和协方差,从而深入了解方差的根本原因。其次,我们使用VProfiler来分析MySQL和Postgres -两个最流行和最复杂的开源数据库系统。我们的案例研究表明,MySQL和Postgres差异的主要原因分别是锁调度和集中式日志记录。最后,基于VProfiler的研究结果,我们进一步关注通过以下方式来弥补MySQL的性能差异:(1)提出一种新的锁调度算法,称为Variance-Aware Transaction Scheduling(VATS),(2)增强缓冲池替换策略,以及(3)确定可以显着减少方差的调优参数。我们的实验结果表明,我们的计划减少整体交易延迟方差平均37%(高达64%),而不影响吞吐量或平均延迟。
2016-03-03 cs.DB
A Sample-Based Approach to Data Quality Assessment in Spatial Databases with Application to Mobile Trajectory Nearest-Neighbor Search
空间数据在网络和移动制图以及地理信息系统等新技术中发挥着新兴作用。政治、社会和现代人类生活的许多其他方面的重要决策正在使用位置数据做出。许多国家的决策者正在利用空间数据库来收集信息、分析信息和规划未来。事实上,并不是所有的空间数据库都适合这种类型的应用。位置数据与任何其他类型的数据一样,存在不准确、不精确和其他缺陷,可能对基于未经提炼的信息采取的任何行动的可信度产生负面影响。因此,我们需要一种方法来评估空间数据的质量,并将有用的数据与导致弱决策的误导性数据分开。另一方面,空间数据库通常规模巨大,因此使用此类数据会对效率产生负面影响。为了提高使用空间大数据的效率,我们需要一种方法来缩小数据量。抽样是其中一种方法,但它对数据质量的负面影响是不可避免的。在本文中,我们试图显示和评估这种变化的空间数据的质量是抽样的结果。我们使用这种方法来评估在中国的移动用户轨迹相关的采样空间数据的质量,这是在一个著名的空间数据库。结果表明,基于样本的数据质量控制将显着提高查询性能,而不会失去太多的准确性。基于此结果,一些未来的改进指出,这将有助于处理基于位置的查询比以前更快,并在有限的时间内做出更准确的基于位置的决策。
2016-05-14 cs.DB
The Maximum Trajectory Coverage Query in Spatial Databases
随着支持GPS的移动设备的广泛使用,从Bikely、GPS-wayPoints和Uber等各种来源可以获得前所未有的大量轨迹数据。创新交通服务的兴起和最近自动驾驶汽车的突破将导致轨迹数据和相关应用的持续增长。在新兴平台中支持这些服务将需要在轨迹数据库中进行更有效的查询处理。在本文中,我们提出了两个新的覆盖查询轨迹数据库:(i)k最大化反向范围搜索轨迹(kMaxRounds);和(ii)最大k覆盖范围搜索轨迹(MaxkCovests)。我们提出了一种新的索引结构,轨迹四叉树(TQ-tree),利用四叉树层次化组织轨迹到不同的四叉树节点,然后应用z排序进一步组织轨迹的空间位置内的每个节点。这种结构在修剪轨迹搜索空间方面是非常有效的,这是独立感兴趣的。通过利用TQ树数据结构,我们开发了一个分治的方法来计算轨迹的“服务值”,和最好的第一个策略,探索轨迹使用适当的上限上的服务值,以有效地处理一个kMaxRisk查询。此外,为了解决MaxkCovenant,这是一个non-submodular NP-hard问题,我们提出了一个贪婪的近似,也利用了TQ-树。我们评估我们的算法,通过广泛的实验研究几个真实的数据集,并证明我们的TQ树为基础的算法优于常见的基线两到三个数量级。
2018-04-02 cs.DB
Building an OceanBase-based Distributed Nearly Real-time Analytical Processing Database System
OceanBase, Ant Group(蚂蚁集团)
OceanBase Mercury是一款专为千万字节级数据设计的创新OLAP系统,通过自适应列式存储、差分刷新机制和多态向量化引擎,在查询延迟上显著优于专用OLAP引擎,实现高效分析与操作的平衡。
2026-02-07 cs.DB
Blockchain-based vs. SQL Database Systems for Digital Twin Evidence Management: A Comparative Forensic Analysis
University College Dublin(都柏林大学学院)
本文比较了区块链与SQL数据库在数字孪生证据管理中的性能,发现区块链在数据完整性上更优,但传统数据库在性能一致性方面表现更好。
2025-11-29 cs.CR cs.DB
Principles of Distributed Data Management in 2020?
随着高速网络、快速商用硬件和Web的出现,分布式数据源已经变得无处不在。第三版的Özsu-Valduriez教科书《分布式数据库系统原理》[10]反映了分布式数据管理和分布式数据库系统的发展。在这个新版本中,分布式数据管理的基本原则仍然可以基于早期版本的三个维度:数据源的分布性,异构性和自治性。回顾过去,对基本原则和通用技术的关注不仅有助于理解和教授材料,而且还有助于实现无限数量的变化。这些通用技术的主要应用显然是分布式和并行DBMS版本。如今,为了支持重要的数据密集型应用(例如,社交网络、网络数据分析、科学应用等)的需求,新的分布式数据管理技术和系统(例如MapReduce、Hadoop、SciDB、Peanut、Pig Latin等)正在出现,并受到研究界的广泛关注。虽然它们在特定应用程序的一致性/灵活性/性能权衡方面做得很好,但它们似乎是临时的,可能会损害数据互操作性。我讨论的关键问题是:新兴解决方案背后的基本原则是什么?有没有什么通用的架构模型来解释这些原则?我们是否需要新的基础来看待数据分布?
2011-11-11 cs.DB
The Cambridge Report on Database Research
2023年10月剑桥会议延续数据库社区五年一度传统,回顾过去五年学术、开源与商业成就,探讨核心数据系统等未来机遇,总结资深成员对领域挑战与前景的看法。
2025-04-15 cs.DB
Disaggregated Database Management Systems
本文作为专题讨论总结,介绍了云环境下分解式DBMS将计算存储分离、按功能拆分计算与内存、动态适配负载的架构,及其优势、挑战与发展机遇。
2024-11-02 cs.DB
Multi-Sorted Inverse Frequent Itemsets Mining
为新兴的“大数据”应用开发新的平台和技术需要为数据驱动的实验提供现实生活中的数据集,然而在大多数情况下,这对于学术研究来说是遥不可及的,因为它们通常是专有的。一个可能的解决方案是使用反映真实模式的合成数据集,以确保高质量的实验结果。在这个方向上的第一步是使用反向挖掘技术,如反向频繁项集挖掘(IFM),它包括生成一个事务数据库,满足给定的支持约束的项目集在一个输入集中,通常是频繁的。本文介绍了IFM的一种扩展,称为多排序IFM,其中要生成的数据集的方案是新兴大数据应用中所需的大表的典型方案,例如,社交网络分析
2013-10-15 cs.DB
On Order-independent Semantics of the Similarity Group-By Relational Database Operator
相似性分组(SGB,简称)已被提出作为一个关系数据库操作符,以满足新兴的数据库应用的需要。在文献中已经提出了许多扩展SQL的SGB运算符,例如,一维空间中的相似性算子。这些操作符具有各种语义。根据这些运算符的实现方式,某些实现可能会导致不同的数据分组。因此,如果SQL代码从一个数据库系统移植到另一个数据库系统,不能保证代码将产生相同的结果。在本文中,我们研究了多维空间中的关系相似度分组运算符的各种语义。我们定义了一类与顺序无关的SGB运算符,这些运算符产生相同的结果,而不管输入数据呈现给它们的顺序。使用从图论中借用的区间图的概念,我们证明了,对于某些SGB运营商,存在顺序独立的实现。对于这些操作符中的每一个,我们都提供了一个与顺序无关的示例算法。此外,我们证明了,对于其他SGB运营商,不存在一个顺序独立的实现,因此这些SGB运营商是不好定义的,不应该被采用的扩展SQL实现相似性分组。在本文中,我们介绍了一个SGB运营商,即SGB-All,分组多维数据使用相似性。SGB-All形成组,使得一个数据项(比如O)属于一个组(比如G),当且仅当O与G中的所有其他数据项在用户定义的阈值内。换句话说,SGB-All中的每个组在多维空间中形成附近数据项的集团。我们证明了SGB-All是阶无关的,即,对于每个选项存在至少一个算法,该算法独立于输入数据的呈现顺序。
2014-12-14 cs.DB
ZX-DB: A Graph Database for Quantum Circuit Simplification and Rewriting via the ZX-Calculus
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学)
针对量子电路编译优化需求,本文提出基于ZX-演算的图数据库系统ZX-DB,将重写规则编码为openCypher查询在Memgraph上执行,相较PyZX最高实现一个数量级的独立重写加速,开辟了数据库支撑量子计算流水线的新方向。
2025-11-17 cs.DB quant-ph
Integrated data-driven biotechnology research environments
University of Southampton(南安普顿大学)
本文探讨集成数据驱动的交互式生物技术研究环境,分析数据库设计、数据查询与可视化技术及标准化与可扩展性挑战,并以细胞系选择为例提出概念框架,以连接数据生成与生物学决策。
2025-08-21 cs.DB q-bio.QM
Efficient Constrained Pattern Mining Using Dynamic Item Ordering for Explainable Classification
可解释的分类模型的学习在过去几年中引起了广泛的关注。发现能够突出两个类之间差异的简洁和对比模式非常重要。这种模式对人类专家很有用,可以用来构建强大的分类器。在本文中,我们考虑挖掘最小的新兴模式,从高维数据集的各种约束下的监督设置。我们专注于一个扩展,其中模式可以包含负项,指定一个项目的情况下。在这种情况下,数据库变得高度密集,这使得挖掘更具挑战性,因为流行的模式挖掘技术,如fp-tree和发生交付不能有效地工作。为了解决这个问题,我们提出了一个有效的算法,挖掘最小的新兴模式相结合的两种技术:动态变量排序在模式搜索,以提高修剪效果,并使用基于指针的动态数据结构,称为跳舞链接,有效地维护发生列表。基准数据集上的实验表明,我们的算法实现了显着的速度比新兴的模式挖掘方法的基础上LCM,一个非常快速的深度优先频繁项集挖掘使用静态变量排序。
2020-04-17 cs.DB
Can Language Models Enable In-Context Database?
University of Nebraska-Lincoln(内布拉斯加大学林肯分校);East Carolina University(东卡罗来纳大学)
本文提出数据库增量编码方法,将传统RDBMS数据编码为上下文文本,使LLMs支持动态更新的上下文数据库,并通过基准InConDB评估其CRUD操作能力,揭示性能与局限。
2024-11-04 cs.AI cs.DB
The Tensor Data Platform: Towards an AI-centric Database System
Microsoft(微软)
数据库引擎在历史上吸收了数据处理中的许多创新,增加了处理图形数据、XML、面向对象和文本等的功能。在本文中,我们提出了这样一个观点,即现在是时候为人工智能做同样的事情了--但要有一个转折!虽然现有的方法试图通过将数据库与外部ML工具集成来实现这一目标,但在本文中,我们声称实现真正以AI为中心的数据库需要将DBMS引擎从其核心从关系抽象转移到张量抽象。这使我们能够:(1)支持多模态数据处理,例如图像、视频、音频、文本以及关系数据;(2)利用HW和运行时中的创新源泉进行张量计算;以及(3)利用自动微分来实现可以学习执行任务的新型“可训练”查询。为了支持上述场景,我们引入了TDP:一个建立在我们之前将关系查询映射到张量的工作基础上的系统。由于与张量运行时更紧密地集成,TDP能够更广泛地覆盖需要访问多模态数据和自动微分的新兴场景。
2022-11-04 cs.DB cs.LG
When More Cores Hurts: The Vector Database Scaling Paradox in HPC
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室)
本文评估了三种向量数据库在HPC系统上的扩展性能,发现工作负载特性限制延迟降低,增加核心可降低查询吞吐量达30.67%,扩展16倍仅提升5.46倍,揭示了云导向设计与HPC系统的不匹配。
2026-06-08 cs.DB cs.DC
Spatial database implementation of fuzzy region connection calculus for analysing the relationship of diseases
Isfahan University of Technology(伊斯法罕理工大学)
分析海量的空间数据在医疗、城市规划、农业等新兴分析和决策领域起着重要作用,为了从地理数据中提取有意义的知识,需要分析空间数据对象之间的关系。一类重要的关系是拓扑关系,如区域之间的连通性或重叠。而现实世界中的地理区域,如湖泊或森林,没有确切的边界,是模糊的,大多数现有的分析方法忽略了拓扑关系的这一固有特性。提出了一种基于模糊区域连接演算(RCC)的空间数据库拓扑关系处理方法。该方法在PostGIS空间数据库中实现,并在分析疾病之间的关系作为一个重要的应用领域进行了评估。我们还使用我们的模糊RCC实现模糊化的天际线运营商在空间数据库。评估的结果表明,我们的方法提供了一个更现实的空间关系视图,并提供了更大的灵活性,数据分析师提取有意义的和准确的结果相比,现有的方法。
2016-05-10 cs.AI cs.CG cs.DB
Semantic Networks for Engineering Design: A Survey
本文综述了语义网络在工程设计中的应用,总结了现有依赖常识数据库的方法,并提出了构建工程专用语义网络(如B-Link、TechNet)的未来方向。
2020-12-13 cs.DB cs.DL
Demystifying Graph Databases: Analysis and Taxonomy of Data Organization, System Designs, and Graph Queries
本文首次对图数据库系统进行综述与分类,分析其数据组织、系统设计与查询执行,并比较51个系统,展望未来挑战。
2023-08-30 cs.DB cs.DC
HDDB: Efficient In-Storage SQL Database Search Using Hyperdimensional Computing on Ferroelectric NAND Flash
UCSD(加州大学圣地亚哥分校);EPFL(洛桑联邦理工学院);IBM(国际商业机器公司)
HDDB利用铁电NAND闪存和超维计算实现高效存储内SQL数据库搜索,通过大规模并行性和最小数据移动,降低延迟和能耗。
2025-11-23 cs.AR cs.DB
Non-Relational Databases on FPGAs: Survey, Design Decisions, Challenges
非关系数据库系统(NRDS),例如图、文档、键值和宽列,由于其数据模型多样性和可扩展性,在各种趋势(商业)应用领域(如智能物流、社会网络分析和医疗应用)中获得了很多关注。广泛的数据种类和数据集的庞大规模对系统设计和运行时(包括功耗)。虽然CPU性能扩展变得越来越困难,我们认为,NRDS可以受益于添加现场可编程门阵列(FPGA)作为加速器。然而,FPGA加速的NRDS尚未得到系统的研究。为了便于理解这一新兴领域,我们探讨了适合NRDS的FPGA加速与数据模型品种的重点。我们将术语NRDS类定义为一组支持相同数据模型的非关系数据库系统。本调查描述并分类了相关NRDS类的固有差异和重要权衡,以及在使用FPGA构建此类系统时常见设计决策背景下的共性。例如,我们在文献中发现,对于键值存储,FPGA应该作为智能网络接口卡(SmartNIC)放置在系统中,以受益于FPGA对网络的直接存取。但是,更复杂的数据模型和其他类的处理(例如,图形和文档)通常需要更精细的近数据或套接字加速器放置,其中FPGA分别具有对主存储器的唯一或共享访问。在不同的类别中,FPGA可用作通信层或用于加速操作员和数据访问。最后,我们以开放的研究和工程挑战来概述FPGA加速的NRDS的未来。
2020-07-15 cs.AR cs.DB
A Comprehensive Survey on Vector Database: Storage and Retrieval Technique, Challenge
Sichuan University(四川大学);Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);National Science Library (Chengdu), Chinese Academy of Sciences(中国科学院成都科学图书馆);University of Chinese Academy of Sciences(中国科学院大学);Portland State University(波特兰州立大学);Great Bay University(大湾大学);Terminus Group(Terminus集团);University of Kansas(堪萨斯大学);University of Macau(澳门大学);Arizona State University(亚利桑那州立大学)
本文综述了向量数据库的核心设计与算法,分析了存储与检索技术的演变,比较了主流架构并探讨了与大语言模型整合的新兴方向,为研究者提供系统参考。
2026-03-24 cs.AI cs.DB
Heterogeneous Data-Centric Architectures for Modern Data-Intensive Applications: Case Studies in Machine Learning and Databases
ETH Zürich(苏黎世联邦理工学院);Google(谷歌);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
当今的计算系统需要在计算资源之间来回移动数据(例如,CPU、GPU、加速器)和片外主存储器,以便可以对数据进行计算。不幸的是,这种数据移动是系统性能和能耗的主要瓶颈。在现代和新兴的应用程序中,一个有前途的执行范例是内存中处理(PIM),其中通过将计算能力放置在内存附近来降低数据移动到主内存/从主内存移动的成本。简单地采用PIM来加速数据密集型工作负载可能会导致次优性能,因为PIM基板施加了许多设计约束。因此,许多最近的作品共同设计专门的PIM加速器和算法,以提高性能并降低(i)来自各种应用领域的应用程序的能耗;以及(ii)各种计算环境,包括云系统,移动系统和边缘设备。我们展示了共同设计算法和硬件的好处,这种方式有效地利用了PIM范式用于两个现代数据密集型应用:(1)边缘设备的机器学习推理模型和(2)云系统的混合事务/分析处理数据库。我们在系统设计中遵循两步走的方法。在第一步中,我们广泛分析每个应用程序的计算和内存访问模式,以深入了解其硬件/软件要求以及以处理器为中心的系统中的性能和能源瓶颈的主要来源。在第二步中,我们利用第一步的见解来共同设计算法和硬件加速器,为每个应用程序实现高性能和高能效的以数据为中心的架构。
2022-05-29 cs.AI cs.AR cs.DB