Understanding and Benchmarking the Impact of GDPR on Database Systems
《通用数据保护条例》(GDPR)为欧洲人民提供了有关其个人数据的新权利和保护。我们从系统的角度分析GDPR,将其法律条款转化为合规系统必须支持的一系列功能和特征。我们的分析揭示了元数据爆炸的现象,其中大量的元数据需要与个人数据一起存储,以满足GDPR的要求。我们的分析还有助于我们确定GDPR必须支持的新工作负载。我们设计并实现了一个名为GDPRbench的开源基准测试,它包括理解和评估个人数据处理数据库系统所需的工作负载和指标。为了评估现代数据库系统是否已准备好GDPR,我们遵循最佳实践和开发人员建议,修改Redis,PostgreSQL和商业数据库系统,使其符合GDPR。我们的实验表明,由此产生的GDPR兼容系统在GPDR工作负载上的性能很差,并且随着个人数据量的增加,性能扩展性很差。我们讨论了这些发现的现实意义,并确定了在生产环境中使GDPR合规性高效的研究挑战。我们在http://www.gdprbench.org上发布所有软件工件和数据集
2020-03-17 cs.DB
In-Depth Benchmarking of Graph Database Systems with the Linked Data Benchmark Council (LDBC) Social Network Benchmark (SNB)
在这项研究中,我们提出了一个完整的实施LDBC SNB基准-交互式短,交互式复杂,和商业智能-在两个本地图形数据库系统-Neo4j和TigerGraph的第一个结果。除了在四个比例因子(SF-1、SF-10、SF-100和SF-1000)和三个计算架构(内部和云中)上彻底评估基准测试中所有46个查询的性能外,我们还测量了批量加载时间和存储大小。我们的研究结果表明,TigerGraph在大多数查询上的表现一直优于Neo4j--在某些交互式复杂和商业智能查询上,表现出两个或更多个数量级(100倍因子)。差距随着数据的大小而增加,因为只有TigerGraph能够扩展到SF-1000-Neo4j在合理的时间内只完成了25个商业智能查询中的12个。尽管如此,Neo4j在批量加载高达SF-100的图形数据时通常更快。我们研究的一个关键是供应商积极参与其平台的调整。为了鼓励可重复性,我们将所有代码、脚本和配置参数公开在线提供。
2019-07-17 cs.DB
Hollywood: Towards a Large Movie Dataset for Database Benchmarking
University of Technology Nuremberg(纽伦堡工业大学)
研究针对IMDb真实世界数据集无比例因子问题,提出结合大语言模型语义字典和确定性时间图关系数据生成的好莱坞数据集生成方法,实验表明其引发的基数估计误差与原数据集相当或更大,还能测试估计器泛化能力。
2026-07-23 cs.DB
A Fair Benchmarking of Deep Relational Database Learning Models
Department of Computer Science(计算机科学系);Tennessee State University(田纳西州立大学);SAP AI Research and Innovation(SAP人工智能研究与创新);SAP Labs(SAP实验室)
研究针对关系数据库深度学习方法实验协议不一致问题,通过在五个关系数据库上进行系统基准测试,重构模型确保实验一致性,发现关系变压器方法性能最佳,多表学习有优势但高跳数收益递减。
2026-07-07 cs.AI cs.DB
M2: An Analytic System with Specialized Storage Engines for Multi-Model Workloads
M2提出集成存储引擎的多模型分析系统,通过多阶段哈希连接实现跨模型查询,性能提升最高达188倍。
2025-08-05 cs.DB
Towards an Application-Centric Benchmark Suite for Spatiotemporal Database Systems
TU Berlin(柏林工业大学)
针对现有时空数据库基准测试仅覆盖孤立方面、缺乏全面应用导向套件的问题,本文提出需构建以应用为中心的模块化时空数据库基准测试套件,明确其需求、挑战与架构。
2025-10-22 cs.DB
OptMark: A Toolkit for Benchmarking Query Optimizers
查询优化器一直被认为是数据库引擎中最复杂的组件之一,而对优化器质量的评估仍然是一项具有挑战性的任务。事实上,现有的数据库引擎性能基准(如TPC基准)产生查询运行时系统的性能评估,而不是其查询优化器。为了应对这一挑战,本文介绍了OptMark,一个工具包,用于评估质量的查询优化器。OptMark旨在提供许多理想的属性。首先,它将优化器的质量与其底层执行引擎的质量相结合。其次,它独立地评估优化器的有效性(即,所选计划的质量)及其效率(即,优化时间)。OptMark还包括一个通用的基准测试工具包,它对希望使用它的DBMS具有最小的侵入性。任何DBMS都可以提供一个简单API的系统特定实现,该API允许OptMark运行并为特定系统生成基准测试分数。本文讨论了我们提出的用于评估优化器质量、基准测试的设计以及工具包的API和功能的指标。我们已经在开源MySQL引擎和两个商业数据库系统上实现了OptMark。使用这些实现,我们能够根据TPC-DS基准查询来评估这三个系统上的优化器的质量。
2016-08-08 cs.DB
Privacy-Enhanced Database Synthesis for Benchmark Publishing (Technical Report)
本文提出基于和积网络的差分隐私数据库合成框架PrivBench,用于基准发布场景,在保护隐私的同时保持数据分布与查询运行时间的高保真度。
2025-04-10 cs.CR cs.DB
Polynesia: Enabling Effective Hybrid Transactional/Analytical Databases with Specialized Hardware/Software Co-Design
数据量呈指数级增长,加上对实时分析的需求不断增加(即,使用最新的数据),已经导致了同时支持事务和数据分析的数据库系统的出现。这些混合事务和分析处理(HTAP)数据库系统可以支持实时数据分析,而无需在单独的单一用途数据库之间进行同步的高成本。不幸的是,对于执行高数据更新率的许多应用,与仅执行事务或仅隔离地执行分析相比,最先进的HTAP系统导致事务(高达74.6%)和/或分析(高达49.8%)吞吐量的显著下降,这是由于(1)CPU和存储器之间的数据移动,(2)数据更新传播,以及(3)一致性成本。我们提出波利尼西亚,在内存HTAP数据库的硬件-软件协同设计的系统。波利尼西亚(1)将HTAP系统划分为事务处理岛和分析处理岛,(2)实现自定义算法和硬件以降低更新传播和一致性的成本,以及(3)利用分析岛的内存处理来减轻数据移动。我们的评估表明,波利尼西亚优于三个最先进的HTAP系统,平均交易/分析吞吐量提高了1.70倍/3.74倍,并比之前的最低能耗系统降低了48%的能耗。
2021-03-01 cs.AR cs.DB
FCBench: Cross-Domain Benchmarking of Lossless Compression for Floating-Point Data
本文构建 FCBench,基于 33 个真实数据集跨领域评测 13 种 CPU/GPU 浮点无损压缩方法,并用 roofline 模型分析运行时瓶颈,以指导数据库与 HPC 融合场景的方法选择与设计。
2024-01-21 cs.DB
Benchmarking Top-K Keyword and Top-K Document Processing with T${}^2$K${}^2$ and T${}^2$K${}^2$D${}^2$
Top-k关键字和top-k文档抽取是非常流行的文本分析技术。Top-k关键字和文档通常是动态计算的,但它们利用了构建成本高昂的加权词汇表。为了比较相互竞争的加权方案和数据库实现,通常使用基准测试。据我们所知,目前没有基准可以解决这些问题。因此,在本文中,我们提出了T ${}^2$ K ${}^2$,top-k关键字和文档基准,及其面向决策支持的进化T ${}^2$ K ${}^2$ D ${}^2$。这两个基准测试都有一个真实的tweet数据集和具有各种复杂性和选择性的查询。它们有助于评估加权方案和数据库实现的计算性能。为了说明我们的基准测试的相关性和通用性,我们一方面成功地对TF-IDF和Okapi BM 25加权方案进行了性能测试,另一方面对不同的关系型(Oracle,PostgreSQL)和面向文档的(MongoDB)数据库实现进行了性能测试。
2018-04-20 cs.DB cs.IR
Deductive Optimization of Relational Data Storage
优化物理数据存储和数据检索是两个关键的数据库管理问题。在本文中,我们提出了一种语言,可以表达广泛的物理数据库布局,远远超出了广泛使用的数据库管理系统中的基于行和列的方法。我们使用演绎合成,把一个高层次的关系表示的数据库查询到一个高度优化的低层次的实现操作的数据集的一个专门的布局。我们建立了一个编译器,这种语言,并进行实验,使用一个流行的数据库基准,这表明,这些专门的查询的性能是有竞争力的国家的最先进的内存编译的数据库系统。
2020-02-05 cs.DB cs.PL
Benchmarking Hashing Algorithms for Load Balancing in a Distributed Database Environment
现代高负载应用程序使用多个数据库实例存储数据。这样的架构需要数据一致性,并且确保数据在节点之间的均匀分布非常重要。负载均衡用于实现这些目标。哈希是几乎所有负载均衡系统的支柱。自从经典的一致性哈希算法被引入以来,许多算法都是为了这个目的而设计的。负载均衡器的目的之一是确保存储集群的可伸缩性。在节点添加或删除过程中,尽可能少地传输数据记录对于整个系统的性能至关重要。负载平衡器哈希算法对此过程的影响最大。在本文中,我们实验评估几个哈希算法用于负载均衡,进行模拟和真实的系统实验。为了评估算法的性能,我们已经开发了一个基准套件的基础上Unidata MDM~--一个可扩展的工具包,各种主数据管理(MDM)的应用程序。为了评估,我们采用了三个标准--均匀性的生产分布,移动记录的数量,和计算速度。根据我们的实验结果,我们创建了一个表,其中每个算法都根据上述标准进行了评估。
2022-11-01 cs.DB cs.DC cs.DS
DriftBench: Defining and Generating Data and Query Workload Drift for Benchmarking
The University of Melbourne(墨尔本大学)
针对现有基准测试缺乏数据与工作负载漂移建模支持的问题,提出统一漂移分类法及轻量级可扩展框架DriftBench,为基准测试中漂移的建模与生成提供标准化词汇与机制,并通过案例验证其有效性。
2025-10-12 cs.DB
PBench: Workload Synthesizer with Real Statistics for Cloud Analytics Benchmarking
针对云分析基准无法反映真实工作负载统计的问题,提出PBench,通过多目标优化选择组件、时间戳分配及LLM增强,生成高保真合成工作负载,误差降低达6倍。
2025-06-19 cs.DB
D4M 3.0: Extended Database and Language Capabilities
D4 M工具的开发是为了满足当今的许多数据需求。数百名研究人员使用该工具对非结构化数据进行复杂的分析。在过去的几年里,D4 M工具箱已经发展到支持与各种新数据库引擎(包括SciDB)的连接。D4 M-Graphulo提供了在Apache Accumulo数据库中进行图形分析的能力。最后,使用Julia程序设计语言的实现现在也可用。在本文中,我们将介绍D4 M工具箱的一些最新功能以及即将发布的D4 M 3.0版本。我们通过基准测试和扩展结果表明,我们可以使用D4 M-SciDB连接器实现快速SciDB摄取,使用Graphulo可以在内存有限的范围内启用图形算法,并且D4 M的Julia实现了与现有MATLAB(R)实现相当的性能或超过现有MATLAB(R)实现。
2017-08-09 cs.DB
Vector database management systems: Fundamental concepts, use-cases, and current challenges
该研究为叙述性文献综述,针对向量化数据高维、稀疏的特性带来的管理难题,系统介绍向量数据库管理系统的基本概念、应用场景与当前挑战,为相关研究者和从业者提供参考概览。
2024-02-16 cs.DB
Benchmarking data warehouses
数据仓库体系结构的选择和优化技术对决策支持查询性能至关重要。为了方便这些选择,必须评估所设计的数据仓库的性能,通常使用基准。这些工具既可以帮助系统用户比较不同系统的性能,也可以帮助系统工程师测试各种设计选择的效果。虽然事务处理性能委员会的标准基准解决了第一个问题,但它们的可调性不足以解决第二个问题,并且无法对不同的数据仓库模式进行建模。相比之下,我们的数据仓库工程基准(DWEB)允许生成各种特定的合成数据仓库和工作负载。DWEB是作为一个Java自由软件实现的,它可以与大多数现有的关系数据库管理系统接口。DWEB的完整规格,以及我们进行的实验,以说明如何使用我们的基准测试,在本文中提供。
2017-01-02 cs.DB
Benchmarking SciDB Data Import on HPC Systems
SciDB是一个可扩展的计算数据库管理系统,使用数组模型进行数据存储。SciDB的阵列数据模型使其非常适合存储和管理大量成像数据。SciDB旨在支持数据库中的高级分析,从而减少提取数据进行分析的需求。它被设计为大规模并行,可以在高性能计算(HPC)环境中的商用硬件上运行。在本文中,我们提出了性能的SciDB使用模拟图像数据。动态分布式维度数据模型(D4M)软件用于在运行MIT SuperCloud软件栈的集群上实现基准测试。在该系统的单个节点上实现了每秒2.2M数据库插入的峰值性能。我们还表明,SciDB和D4M工具箱提供了更有效的方法来访问海量数据集的随机子卷相比,从单个文件读取体积数据的传统方法。这项工作描述了我们开发的D4M和SciDB工具,并提出了初步的性能结果。这种性能是通过使用并行插入、数据库内的数组合并以及超级计算技术(如分布式数组和单程序多数据编程)来实现的。
2016-09-24 cs.DB cs.DC cs.PF
UDO: Universal Database Optimization using Reinforcement Learning
UDO是一个多功能的工具,用于针对特定工作负载离线调优数据库系统。UDO可以考虑各种调优选择,从选择事务代码变量到索引选择,一直到数据库系统参数调优。UDO使用强化学习来收敛到接近最优的配置,通过实际的查询执行来创建和评估不同的配置(而不是依赖于简化的成本模型)。为了适应不同的参数类型,UDO将重参数(更改成本高,例如物理设计参数)与轻参数区分开来。特别是为了优化重参数,UDO使用强化学习算法,该算法允许延迟奖励反馈变得可用的点。这使我们能够自由地优化时间点以及创建和评估不同配置的顺序(通过对工作负载样本进行基准测试)。UDO使用基于成本的计划器来最小化重新配置的开销。例如,它旨在通过连续评估使用它们的配置来摊销昂贵的数据结构的创建。我们在Postgres和MySQL以及TPC-H和TPC-C上评估UDO,同时优化各种轻型和重型参数。
2021-08-26 cs.DB
Enhancement of database access performance by improving data consistency in a non-relational database system (NoSQL)
Bahri University(巴里大学);Georgia State University(佐治亚州立大学);Jacksonville University(杰克逊维尔大学)
本研究提出一个专为MongoDB设计的四阶段服务器端模型,通过事务管理和锁定算法增强NoSQL数据库的一致性,YCSB基准测试显示性能显著提升。
2023-08-26 cs.DB
NDBench: Benchmarking Microservices at Scale
软件供应商经常报告最佳点的性能数字,或者在具有特定工作负载参数且没有实际故障的专用硬件上运行的性能数字。持久层的准确基准是至关重要的,因为失败可能会导致不可恢复的错误,如数据丢失,不一致或损坏。为了准确评估Netflix的数据存储和其他微服务,我们开发了Netflix Data Benchmark(NDBench),这是一种云基准测试工具。它可以以松耦合的方式部署,并能够在运行时动态更改基准参数,因此我们可以快速部署不同的测试和故障模式。NDBench提供了可插入的模式和负载,支持可插入的客户端API,并被设计为连续运行。这种设计使我们能够测试可能影响性能的长时间运行的维护作业,在不利条件下测试许多不同的系统,并发现内存泄漏或堆压力等长期问题。
2018-07-27 cs.DB cs.DC
SynQL: A Controllable and Scalable Rule-Based Framework for SQL Workload Synthesis for Performance Benchmarking
School of Technology, Dhirubhai Ambani University(德吉巴伊·安巴尼大学技术学院)
SynQL通过遍历数据库外键图生成结构多样且可执行的SQL工作负载,解决现有合成工具在训练数据缺口上的不足,通过配置向量控制连接拓扑和分析强度,实验表明其合成数据能有效训练成本模型。
2026-04-09 cs.DB
GRAPHITE: An Extensible Graph Traversal Framework for Relational Database Management Systems
图遍历是各种图算法和面向图的查询的基本要素。为了实现最佳的查询性能,它们需要在数据库管理系统的核心实现,该系统旨在存储,操作和查询图形数据。越来越多的现代业务应用程序需要本机图查询和处理能力,用于对存储在关系数据库管理系统中的数据进行企业关键操作。在本文中,我们提出了一个可扩展的图形遍历框架(GRAPHITE)作为中央图形处理组件的一个共同的存储引擎内的关系数据库管理系统。我们研究了图的拓扑结构对图遍历的执行时间的影响,并推导出两个专门用于不同的图拓扑结构和遍历查询的遍历算法实现。我们对GRAPHITE进行了大量的实验,用于各种真实世界的图形数据集和输入配置。我们的实验表明,所提出的遍历算法不同的输入配置的两个数量级,因此证明需要一个通用的框架,以有效地处理图形遍历广泛的不同的图形拓扑结构和类型的查询。最后,我们强调,我们的遍历实现的查询性能是有竞争力的两个原生图数据库管理系统。
2014-12-19 cs.DB
STARQA: A Question Answering Dataset for Complex Analytical Reasoning over Structured Databases
Bloomberg(贝莱德);Yardi School of Artificial Intelligence, Indian Institute of Technology, Delhi(雅迪人工智能学院,印度理工学院,德里)
STARQA是首个面向专业数据库的复杂分析推理问答数据集,提出Text2SQLCode方法结合SQL与Python,实验表明优于纯SQL,但仍具挑战性。
2025-09-23 cs.CL cs.DB
The Sloan Digital Sky Survey Science Archive: Migrating a Multi-Terabyte Astronomical Archive from Object to Relational DBMS
斯隆数字巡天科学档案馆是天文学和其他数据密集型科学的一系列多TB数字档案中的第一个。为了便于SDSS存档中的数据采掘,我们采用了一个商业数据库引擎,并在其上构建了专门的工具。最初,我们选择了一个面向对象的数据库管理系统,由于其数据组织能力,平台独立性,查询性能和概念上适合的数据。然而,在项目的前几年使用对象数据库之后,它很快就开始在查询支持和数据采掘性能方面出现不足。这是由于数据库供应商无法响应我们对功能和错误修复的需求,因为他们未能跟上硬件性能的快速改进,特别是更快的RAID磁盘系统。最后,我们被迫放弃对象数据库,将我们的数据迁移到关系数据库。我们在下面描述了我们在对象数据库方面所面临的技术问题,以及我们如何以及为什么迁移到关系技术。
2004-03-12 cs.DB
Beyond Text-to-SQL: Autonomous Research-Driven Database Exploration with DAR
DAR是一种多代理系统,通过自主探索数据完成端到端数据库研究,显著提升分析效率并生成基于证据的洞察。
2026-02-09 cs.DB
SQUiD: Synthesizing Relational Databases from Unstructured Text
University of Michigan(密歇根大学)
SQUiD通过神经符号框架从无结构文本自动合成关系数据库,优于现有方法。
2026-03-01 cs.CL cs.DB
Using In-Memory Encrypted Databases on the Cloud
将数据存储在云中会带来许多隐私问题。处理它们的一种方法是通过本地集中同步存储支持云上的数据复制和分发。在本文中,我们建议使用一个内存中的关系数据库管理系统与行级数据加密授予和撤销访问权分布式数据。这种类型的解决方案在传统的RDBMS中很少采用,因为它需要几个复杂的步骤。在本文中,我们专注于测试系统的实现和基准测试,这表明我们简单而有效的解决方案克服了大多数问题。
2011-09-16 cs.CR cs.DB cs.DC
A Formalism and Library for Database Visualization
本文提出首个支持数据库输入的可视化形式化体系,将可视化规范定义为数据库约束到视觉表示的映射,并开发了 JavaScript 程序库 dvl,通过案例研究证明其优于现有可视化系统与语法语言。
2025-04-11 cs.DB cs.HC
Benchmarking Graph Data Management and Processing Systems: A Survey
为图形数据系统开发可扩展的、有代表性的和广泛采用的基准测试一直是一个问题,几十年来一直在寻找答案。我们进行了深入的研究,现有的文献基准图数据管理和处理,涵盖了20个不同的基准开发在过去的15年。我们将基准分为三个领域,重点关注图处理系统的基准,图数据库基准和具有图处理工作负载的大数据基准。这种系统化的方法允许我们识别该领域中存在的多个问题,包括i)存在很少的基准测试,其可以产生高工作负载场景,ii)在基准测试图流处理以及基于图的机器学习上没有做显著的工作,iii)基准测试倾向于使用传统的度量,尽管新的有意义的度量已经存在多年,iv)越来越多的大数据基准测试出现在图形处理工作负载中。根据这些观察结果,我们通过描述未来图数据系统基准测试研究的关键挑战来结束调查。
2021-09-22 cs.DB cs.DC cs.PF
Using Object-Relational Mapping to Create the Distributed Databases in a Hybrid Cloud Infrastructure
目前使用云服务的挑战之一是设计专门的数据管理系统的任务。这对于数据位于公共云和私有云的混合系统尤其重要。执行监测功能查询、调度和处理软件必须适当执行,是系统的一个组成部分。为了提供这些功能,建议使用对象关系映射(ORM)。本文致力于介绍为混合云基础设施中托管的信息系统设计数据库的方法。并给出了ORM库的开发实例。
2015-01-04 cs.DB cs.DC cs.NI
Database Queries that Explain their Work
数据库查询或科学工作流程的起源通常是出于提供解释,增加对用于计算查询的基础数据源和过程的理解,以及再现性,重新计算不同输入结果的能力,可能专门用于输出的一部分。许多起源系统声称提供这样的能力,但是,大多数缺乏正式的定义或保证这些属性,而其他人提供正式的保证,只有相对有限的类的变化。最近的工作起源跟踪和切片功能程序设计语言的基础上,我们引入了一个详细的跟踪模型的起源多集值嵌套关系演算,定义跟踪切片算法,提取子跟踪需要解释或重新计算特定部分的输出,并定义查询切片和差分技术,支持解释。我们陈述并证明了这些技术的正确性,并提出了一个概念验证的Haskell实现。
2014-08-12 cs.DB cs.PL
Benchmarking performance of object detection under image distortions in an uncontrolled environment
Paris-Saclay University(巴黎萨克雷大学);Univ Evry(埃夫里大学);IBISC Lab(IBISC实验室)
目标检测算法的鲁棒性在实际应用中起着重要作用,特别是在图像采集过程中由于失真而导致的不受控制的环境中。已经证明,目标检测方法的性能受到捕获失真的影响。在这项研究中,我们提出了一个性能评估框架的国家的最先进的目标检测方法,使用一个专用的数据集,包含在不同程度的严重程度的各种失真的图像。此外,我们提出了一种适用于MS-COCO数据集的原始图像失真生成策略,该策略结合了一些局部和全局失真,以达到更好的性能。我们已经证明,使用所提出的数据集进行训练,可以将目标检测的鲁棒性提高31.5%。最后,我们提供了一个自定义的数据集,其中包括从MS-COCO失真的自然图像,以执行对常见失真的鲁棒性的更可靠的评估。数据库和不同失真的生成源代码是公开的
2022-10-28 cs.CV cs.DB
IndicDBBench - Benchmarking Multilingual Text-to-SQL Capabilities in Indian Languages
National Data and Analytics Platform(国家数据与分析平台);India Data Portal(印度数据门户);NDAP(国家数据与分析平台);ICRISAT(国际作物研究所);IHDS(印度家庭与育儿调查)
IndicDB是一个多语言文本到SQL基准测试,用于评估跨语言语义解析能力,包含20个数据库和237张表,通过迭代三代理框架生成15617个任务,揭示了印度语言在SQL解析中的性能差距。
2026-11-03 cs.AI cs.CL cs.DB