Benchmarking Time Series Databases with IoTDB-Benchmark for IoT Scenarios
本文提出专为TSDB和物联网场景设计的IoTDB-Benchmark基准框架,总结10种基本查询类型,并对InfluxDB、OpenTSDB、KairosDB和TimescaleDB四个系统进行性能与资源消耗评测,旨在建立TSDB评估标准。
2024-09-02 cs.DB
Evaluating NoSQL Databases for OLAP Workloads: A Benchmarking Study of MongoDB, Redis, Kudu and ArangoDB
本研究通过标准化数据处理管道,基准测试了MongoDB、Redis、Kudu和ArangoDB四种NoSQL数据库在OLAP工作负载下的性能,为选择最优数据管道提供了实验依据。
2024-05-28 cs.DB
In-Depth Benchmarking of Graph Database Systems with the Linked Data Benchmark Council (LDBC) Social Network Benchmark (SNB)
在这项研究中,我们提出了一个完整的实施LDBC SNB基准-交互式短,交互式复杂,和商业智能-在两个本地图形数据库系统-Neo4j和TigerGraph的第一个结果。除了在四个比例因子(SF-1、SF-10、SF-100和SF-1000)和三个计算架构(内部和云中)上彻底评估基准测试中所有46个查询的性能外,我们还测量了批量加载时间和存储大小。我们的研究结果表明,TigerGraph在大多数查询上的表现一直优于Neo4j--在某些交互式复杂和商业智能查询上,表现出两个或更多个数量级(100倍因子)。差距随着数据的大小而增加,因为只有TigerGraph能够扩展到SF-1000-Neo4j在合理的时间内只完成了25个商业智能查询中的12个。尽管如此,Neo4j在批量加载高达SF-100的图形数据时通常更快。我们研究的一个关键是供应商积极参与其平台的调整。为了鼓励可重复性,我们将所有代码、脚本和配置参数公开在线提供。
2019-07-17 cs.DB
Hollywood: Towards a Large Movie Dataset for Database Benchmarking
University of Technology Nuremberg(纽伦堡工业大学)
研究针对IMDb真实世界数据集无比例因子问题,提出结合大语言模型语义字典和确定性时间图关系数据生成的好莱坞数据集生成方法,实验表明其引发的基数估计误差与原数据集相当或更大,还能测试估计器泛化能力。
2026-07-23 cs.DB
A Fair Benchmarking of Deep Relational Database Learning Models
Department of Computer Science(计算机科学系);Tennessee State University(田纳西州立大学);SAP AI Research and Innovation(SAP人工智能研究与创新);SAP Labs(SAP实验室)
研究针对关系数据库深度学习方法实验协议不一致问题,通过在五个关系数据库上进行系统基准测试,重构模型确保实验一致性,发现关系变压器方法性能最佳,多表学习有优势但高跳数收益递减。
2026-07-07 cs.AI cs.DB
Towards an Application-Centric Benchmark Suite for Spatiotemporal Database Systems
TU Berlin(柏林工业大学)
针对现有时空数据库基准测试仅覆盖孤立方面、缺乏全面应用导向套件的问题,本文提出需构建以应用为中心的模块化时空数据库基准测试套件,明确其需求、挑战与架构。
2025-10-22 cs.DB
OptMark: A Toolkit for Benchmarking Query Optimizers
查询优化器一直被认为是数据库引擎中最复杂的组件之一,而对优化器质量的评估仍然是一项具有挑战性的任务。事实上,现有的数据库引擎性能基准(如TPC基准)产生查询运行时系统的性能评估,而不是其查询优化器。为了应对这一挑战,本文介绍了OptMark,一个工具包,用于评估质量的查询优化器。OptMark旨在提供许多理想的属性。首先,它将优化器的质量与其底层执行引擎的质量相结合。其次,它独立地评估优化器的有效性(即,所选计划的质量)及其效率(即,优化时间)。OptMark还包括一个通用的基准测试工具包,它对希望使用它的DBMS具有最小的侵入性。任何DBMS都可以提供一个简单API的系统特定实现,该API允许OptMark运行并为特定系统生成基准测试分数。本文讨论了我们提出的用于评估优化器质量、基准测试的设计以及工具包的API和功能的指标。我们已经在开源MySQL引擎和两个商业数据库系统上实现了OptMark。使用这些实现,我们能够根据TPC-DS基准查询来评估这三个系统上的优化器的质量。
2016-08-08 cs.DB
FCBench: Cross-Domain Benchmarking of Lossless Compression for Floating-Point Data
本文构建 FCBench,基于 33 个真实数据集跨领域评测 13 种 CPU/GPU 浮点无损压缩方法,并用 roofline 模型分析运行时瓶颈,以指导数据库与 HPC 融合场景的方法选择与设计。
2024-01-21 cs.DB
Privacy-Enhanced Database Synthesis for Benchmark Publishing (Technical Report)
本文提出基于和积网络的差分隐私数据库合成框架PrivBench,用于基准发布场景,在保护隐私的同时保持数据分布与查询运行时间的高保真度。
2025-04-10 cs.CR cs.DB
Benchmarking Top-K Keyword and Top-K Document Processing with T${}^2$K${}^2$ and T${}^2$K${}^2$D${}^2$
Top-k关键字和top-k文档抽取是非常流行的文本分析技术。Top-k关键字和文档通常是动态计算的,但它们利用了构建成本高昂的加权词汇表。为了比较相互竞争的加权方案和数据库实现,通常使用基准测试。据我们所知,目前没有基准可以解决这些问题。因此,在本文中,我们提出了T ${}^2$ K ${}^2$,top-k关键字和文档基准,及其面向决策支持的进化T ${}^2$ K ${}^2$ D ${}^2$。这两个基准测试都有一个真实的tweet数据集和具有各种复杂性和选择性的查询。它们有助于评估加权方案和数据库实现的计算性能。为了说明我们的基准测试的相关性和通用性,我们一方面成功地对TF-IDF和Okapi BM 25加权方案进行了性能测试,另一方面对不同的关系型(Oracle,PostgreSQL)和面向文档的(MongoDB)数据库实现进行了性能测试。
2018-04-20 cs.DB cs.IR
Scalable Enforcement of Fine Grained Access Control Policies in Relational Database Management Systems
针对现有关系型数据库细粒度访问控制策略执行扩展性差的问题,提出中间件Sieve,结合查询重写与缓存优化策略执行,实验证明其可大幅提升策略评估性能,适配动态工作负载。
2025-11-18 cs.DB
Benchmarking Hashing Algorithms for Load Balancing in a Distributed Database Environment
现代高负载应用程序使用多个数据库实例存储数据。这样的架构需要数据一致性,并且确保数据在节点之间的均匀分布非常重要。负载均衡用于实现这些目标。哈希是几乎所有负载均衡系统的支柱。自从经典的一致性哈希算法被引入以来,许多算法都是为了这个目的而设计的。负载均衡器的目的之一是确保存储集群的可伸缩性。在节点添加或删除过程中,尽可能少地传输数据记录对于整个系统的性能至关重要。负载平衡器哈希算法对此过程的影响最大。在本文中,我们实验评估几个哈希算法用于负载均衡,进行模拟和真实的系统实验。为了评估算法的性能,我们已经开发了一个基准套件的基础上Unidata MDM~--一个可扩展的工具包,各种主数据管理(MDM)的应用程序。为了评估,我们采用了三个标准--均匀性的生产分布,移动记录的数量,和计算速度。根据我们的实验结果,我们创建了一个表,其中每个算法都根据上述标准进行了评估。
2022-11-01 cs.DB cs.DC cs.DS
DriftBench: Defining and Generating Data and Query Workload Drift for Benchmarking
The University of Melbourne(墨尔本大学)
针对现有基准测试缺乏数据与工作负载漂移建模支持的问题,提出统一漂移分类法及轻量级可扩展框架DriftBench,为基准测试中漂移的建模与生成提供标准化词汇与机制,并通过案例验证其有效性。
2025-10-12 cs.DB
PBench: Workload Synthesizer with Real Statistics for Cloud Analytics Benchmarking
针对云分析基准无法反映真实工作负载统计的问题,提出PBench,通过多目标优化选择组件、时间戳分配及LLM增强,生成高保真合成工作负载,误差降低达6倍。
2025-06-19 cs.DB
D4M 3.0: Extended Database and Language Capabilities
D4 M工具的开发是为了满足当今的许多数据需求。数百名研究人员使用该工具对非结构化数据进行复杂的分析。在过去的几年里,D4 M工具箱已经发展到支持与各种新数据库引擎(包括SciDB)的连接。D4 M-Graphulo提供了在Apache Accumulo数据库中进行图形分析的能力。最后,使用Julia程序设计语言的实现现在也可用。在本文中,我们将介绍D4 M工具箱的一些最新功能以及即将发布的D4 M 3.0版本。我们通过基准测试和扩展结果表明,我们可以使用D4 M-SciDB连接器实现快速SciDB摄取,使用Graphulo可以在内存有限的范围内启用图形算法,并且D4 M的Julia实现了与现有MATLAB(R)实现相当的性能或超过现有MATLAB(R)实现。
2017-08-09 cs.DB
Benchmarking data warehouses
数据仓库体系结构的选择和优化技术对决策支持查询性能至关重要。为了方便这些选择,必须评估所设计的数据仓库的性能,通常使用基准。这些工具既可以帮助系统用户比较不同系统的性能,也可以帮助系统工程师测试各种设计选择的效果。虽然事务处理性能委员会的标准基准解决了第一个问题,但它们的可调性不足以解决第二个问题,并且无法对不同的数据仓库模式进行建模。相比之下,我们的数据仓库工程基准(DWEB)允许生成各种特定的合成数据仓库和工作负载。DWEB是作为一个Java自由软件实现的,它可以与大多数现有的关系数据库管理系统接口。DWEB的完整规格,以及我们进行的实验,以说明如何使用我们的基准测试,在本文中提供。
2017-01-02 cs.DB
ER-index: a referential index for encrypted genomic databases
为了对人类及其疾病进行大规模、全面和深入的分析,正在创建和工程化存储基因组信息的巨大数据库。然而,最近的法规,如GDPR,要求通过隐私设计方法和软件来存储和详细说明敏感数据。我们设计并实现了ER索引,一个新的全文索引在分钟的空间,这是优化的基因组序列的压缩和加密集合,并对他们进行快速模式搜索查询。我们的新索引补充了E2FM索引,E2FM索引被引入来压缩和加密核苷酸序列集合,而不依赖于参考序列。当用于高度相似序列的集合时,ER索引允许获得比E2FM索引小一个数量级的压缩比,但保持其非常好的搜索性能。此外,由于ER索引多用户和多密钥加密模型,单个索引可以存储与个体群体相关的序列,使得用户可以仅对他们被授予访问权限的序列执行搜索操作。ER-index C++源代码以及用于评估工具性能的脚本和数据可在www.example.com上获得。
2020-12-27 cs.DB cs.DS
Benchmarking SciDB Data Import on HPC Systems
SciDB是一个可扩展的计算数据库管理系统,使用数组模型进行数据存储。SciDB的阵列数据模型使其非常适合存储和管理大量成像数据。SciDB旨在支持数据库中的高级分析,从而减少提取数据进行分析的需求。它被设计为大规模并行,可以在高性能计算(HPC)环境中的商用硬件上运行。在本文中,我们提出了性能的SciDB使用模拟图像数据。动态分布式维度数据模型(D4M)软件用于在运行MIT SuperCloud软件栈的集群上实现基准测试。在该系统的单个节点上实现了每秒2.2M数据库插入的峰值性能。我们还表明,SciDB和D4M工具箱提供了更有效的方法来访问海量数据集的随机子卷相比,从单个文件读取体积数据的传统方法。这项工作描述了我们开发的D4M和SciDB工具,并提出了初步的性能结果。这种性能是通过使用并行插入、数据库内的数组合并以及超级计算技术(如分布式数组和单程序多数据编程)来实现的。
2016-09-24 cs.DB cs.DC cs.PF
Meaningful Data Erasure in the Presence of Dependencies
针对数据法规中擦除定义模糊、数据库数据依赖易致被删数据可推断的问题,提出精确擦除定义与低成本实现机制,探索成本吞吐量平衡等策略,验证了算法的实用性与可扩展性。
2025-08-01 cs.DB
SynQL: A Controllable and Scalable Rule-Based Framework for SQL Workload Synthesis for Performance Benchmarking
School of Technology, Dhirubhai Ambani University(德吉巴伊·安巴尼大学技术学院)
SynQL通过遍历数据库外键图生成结构多样且可执行的SQL工作负载,解决现有合成工具在训练数据缺口上的不足,通过配置向量控制连接拓扑和分析强度,实验表明其合成数据能有效训练成本模型。
2026-04-09 cs.DB
Data Warehouse Benchmarking with DWEB
性能评估是数据库管理系统(DBMS)设计者和用户关心的一个重要问题。性能通常通过软件基准来评估,这些基准有助于,例如,测试架构选择、比较不同的技术或调整系统。在数据仓库和联机分析处理(OLAP)的特定环境中,尽管事务处理性能委员会(TPC)旨在发布标准的决策支持基准,但实际上很少有基准。我们在本章中介绍了数据仓库工程基准(DWEB),它允许生成各种特定的合成数据仓库和工作负载。DWEB是完全参数化的,以满足各种数据仓库的设计需要。但是,两个级别的参数化使其相对易于调整。我们还通过介绍其新的提取,转换和加载(ETL)功能以及新的执行协议来扩展我们以前在DWEB上的工作。DWEB的Java实现可以在线免费获得,它可以与大多数现有的关系DMBS接口。据我们所知,DWEB是数据仓库唯一容易获得的最新基准。
2017-01-27 cs.DB
Using In-Memory Encrypted Databases on the Cloud
将数据存储在云中会带来许多隐私问题。处理它们的一种方法是通过本地集中同步存储支持云上的数据复制和分发。在本文中,我们建议使用一个内存中的关系数据库管理系统与行级数据加密授予和撤销访问权分布式数据。这种类型的解决方案在传统的RDBMS中很少采用,因为它需要几个复杂的步骤。在本文中,我们专注于测试系统的实现和基准测试,这表明我们简单而有效的解决方案克服了大多数问题。
2011-09-16 cs.CR cs.DB cs.DC
Conception d'un banc d'essais décisionnel
本文提出了一种新的评价数据仓库性能的基准。基准测试对系统用户比较不同系统的性能或系统工程师测试各种设计选择的效果都很有用。虽然TPC(事务处理性能委员会)标准基准解决了第一点,但它们的可调性不足以解决第二点。我们的数据仓库工程基准(DWEB)允许生成各种特定的合成数据仓库和工作负载。WEB是完全参数化的。但是,两个级别的参数化使其易于调整。由于DWEB主要满足工程基准测试需求,因此它是TPC标准基准测试的补充,而不是竞争对手。最后,DWEB被实现为一个Java自由软件,可以与大多数现有的关系数据库管理系统。
2007-04-26 cs.DB
Benchmarking Graph Data Management and Processing Systems: A Survey
为图形数据系统开发可扩展的、有代表性的和广泛采用的基准测试一直是一个问题,几十年来一直在寻找答案。我们进行了深入的研究,现有的文献基准图数据管理和处理,涵盖了20个不同的基准开发在过去的15年。我们将基准分为三个领域,重点关注图处理系统的基准,图数据库基准和具有图处理工作负载的大数据基准。这种系统化的方法允许我们识别该领域中存在的多个问题,包括i)存在很少的基准测试,其可以产生高工作负载场景,ii)在基准测试图流处理以及基于图的机器学习上没有做显著的工作,iii)基准测试倾向于使用传统的度量,尽管新的有意义的度量已经存在多年,iv)越来越多的大数据基准测试出现在图形处理工作负载中。根据这些观察结果,我们通过描述未来图数据系统基准测试研究的关键挑战来结束调查。
2021-09-22 cs.DB cs.DC cs.PF
A Benchmark for Databases with Varying Value Lengths
本文扩展YCSB基准测试引入“extend”操作以模拟值长度增长,评估MongoDB、MariaDB等DBMS在可变大小值下的性能差异,提出隔离数据大小分布影响与更新历史访问成本的新基准方法。
2025-08-11 cs.DB
IndicDBBench - Benchmarking Multilingual Text-to-SQL Capabilities in Indian Languages
National Data and Analytics Platform(国家数据与分析平台);India Data Portal(印度数据门户);NDAP(国家数据与分析平台);ICRISAT(国际作物研究所);IHDS(印度家庭与育儿调查)
IndicDB是一个多语言文本到SQL基准测试,用于评估跨语言语义解析能力,包含20个数据库和237张表,通过迭代三代理框架生成15617个任务,揭示了印度语言在SQL解析中的性能差距。
2026-11-03 cs.AI cs.CL cs.DB
Ghost Vectors: Soft-Deleted Embeddings Remain Reconstructible in HNSW Vector Databases
Trinity College, USA(美国三一学院)
研究揭示HNSW向量数据库的软删除机制存在安全漏洞,被标记删除的向量仍可通过存储层恢复,并提出基于加密密钥轮换的防护方案。
2026-06-23 cs.AI cs.CR cs.DB
EMR-AGENT: Automating Cohort and Feature Extraction from EMR Databases
AITRICS;Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对电子病历数据提取依赖人工硬编码流水线的痛点,提出基于智能体的EMR-AGENT框架,通过大语言模型驱动的交互自动完成队列与特征提取等任务,在多数据库基准上验证了优异性能与泛化能力。
2025-10-02 cs.AI cs.DB
Benchmarking Apache Arrow Flight -- A wire-speed protocol for data transfer, querying and microservices
在不同的大数据框架和/或数据仓库/存储系统之间移动结构化数据通常会导致显著的开销。大多数情况下,访问数据所花费的总时间的80%以上都是在序列化/反序列化步骤中花费的。列式数据格式在分析数据库和事务数据库中越来越流行。Apache Arrow是一种统一的列式内存数据格式,它承诺提供高效的数据存储、访问、操作和传输。此外,通过引入构建在gRPC之上的Arrow Flight通信功能,Arrow可以通过TCP网络实现高性能数据传输。Arrow Flight允许以平台和语言独立的方式通过网络进行并行Arrow RecordBatch传输,并基于开源标准提供高性能,并行性和安全性。在本文中,我们汇集了一些最近实现的Arrow Flight用例及其基准测试结果。这些用例包括批量Arrow数据传输,查询子系统和Flight作为微服务集成到不同的框架中,以显示该协议的吞吐量和可扩展性结果。我们表明,飞行是能够实现高达6000 MB/s和4800 MB/s的吞吐量分别为DoGet()和DoPut()操作。在Mellanox ConnectX-3或Connect-IB互连节点上,Flight可以利用高达95%的总可用带宽。Flight是可扩展的,可以有效地使用多达一半的可用系统核心进行双向通信。对于像Dremio这样的查询系统,Flight比ODBC和turbodbc协议快一个数量级。与turbodb…
2022-04-08 cs.DB cs.DC cs.NI
Untangling Blockchain: A Data Processing View of Blockchain Systems
区块链技术在过去几年中获得了巨大的发展势头。区块链是分布式账本,使不完全信任彼此的各方能够维护一组全局状态。双方同意国家的存在、价值观和历史。随着技术领域的迅速扩大,牢牢掌握核心技术所能提供的东西,特别是其数据处理能力,既重要又具有挑战性。在本文中,我们首先调查了最先进的技术,重点是私有区块链(其中各方都经过身份验证)。我们从四个方面分析了生产和研究系统:分布式账本、密码学、共识协议和智能合约。然后,我们介绍了BLOCKBENCH,这是一个基准测试框架,用于了解私有区块链对数据处理工作负载的性能。我们基于BLOCKBENCH对三大区块链系统进行了全面评估,即以太坊,Parity和Hyperledger Fabric。结果显示了设计空间中的几个权衡,以及区块链和数据库系统之间的巨大性能差距。从数据库系统的设计原则出发,我们讨论了几个研究方向,以使区块链性能更接近数据库领域。
2017-08-17 cs.CR cs.DB
LayoutBench: Performance Benchmarking of Cloud Storage Layouts for Multimedia Data
Georgia Tech(佐治亚理工学院);Dolby Labs(杜比实验室)
LayoutBench针对多媒体数据云存储布局开展基准测试,评估三种布局策略,揭示其在不同检索场景下的性能差异,为云存储布局选择提供数据支撑。
2026-08-03 cs.DB cs.DC cs.LG