IBM Functional Genomics Platform, A Cloud-Based Platform for Studying Microbial Life at Scale
生物序列数据的快速增长正在彻底改变我们对基因型多样性的理解，并挑战传统的信息学方法。随着基因组数据的可用性越来越高，传统的生物信息学工具需要大量的计算时间，并且每次研究人员试图从数据中获得洞察力时都需要创建更大的索引。为了应对这些挑战，我们预先计算了跨越分子生物学中心法则的生物实体之间的重要关系，并在关系数据库中捕获了这些信息。该数据库可以跨数亿个实体进行查询，并在传统方法所需时间的一小部分内返回结果。在本文中，我们描述了\textit{IBM Functional Genomics Platform}（以前称为OMXWare），一个综合性的数据库相关的基因型表型的细菌生活。不断更新，IBM功能基因组学平台今天包含来自200，000个精心策划的自一致组装基因组的数据。该数据库存储了超过6800万个基因、5200万个蛋白质和2.39亿个结构域的功能数据，以及来自Gene Ontology、KEGG、MetaCyc和Reactome的相关生物活性注释。IBM Functional Genomics Platform可映射每个生物实体之间的所有多对多连接，包括原始基因组、基因、蛋白质和蛋白质结构域。从传染病到环境健康的各种微生物研究都可以从丰富的数据和联系中受益。我们描述了数据选择，创建和更新IBM功能基因组学平台的管道，以及开发人员工具（Python SDK和REST API），这些工…
2020-03-30 cs.DB q-bio.QM
ER-index: a referential index for encrypted genomic databases
为了对人类及其疾病进行大规模、全面和深入的分析，正在创建和工程化存储基因组信息的巨大数据库。然而，最近的法规，如GDPR，要求通过隐私设计方法和软件来存储和详细说明敏感数据。我们设计并实现了ER索引，一个新的全文索引在分钟的空间，这是优化的基因组序列的压缩和加密集合，并对他们进行快速模式搜索查询。我们的新索引补充了E2FM索引，E2FM索引被引入来压缩和加密核苷酸序列集合，而不依赖于参考序列。当用于高度相似序列的集合时，ER索引允许获得比E2FM索引小一个数量级的压缩比，但保持其非常好的搜索性能。此外，由于ER索引多用户和多密钥加密模型，单个索引可以存储与个体群体相关的序列，使得用户可以仅对他们被授予访问权限的序列执行搜索操作。ER-index C++源代码以及用于评估工具性能的脚本和数据可在www.example.com上获得。
2020-12-27 cs.DB cs.DS
Six Dimensions of Benchmarking Time-Series Databases
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出时序数据库基准测试框架SciTSv2，从六个维度评估四款不同存储引擎的TSDB，揭示单轴基准掩盖的架构行为，为架构师提供性能诊断与存储引擎选择依据。
2026-08-04 cs.DB
Benchmarking Time Series Databases with IoTDB-Benchmark for IoT Scenarios
本文提出专为TSDB和物联网场景设计的IoTDB-Benchmark基准框架，总结10种基本查询类型，并对InfluxDB、OpenTSDB、KairosDB和TimescaleDB四个系统进行性能与资源消耗评测，旨在建立TSDB评估标准。
2024-09-02 cs.DB
Evaluating NoSQL Databases for OLAP Workloads: A Benchmarking Study of MongoDB, Redis, Kudu and ArangoDB
本研究通过标准化数据处理管道，基准测试了MongoDB、Redis、Kudu和ArangoDB四种NoSQL数据库在OLAP工作负载下的性能，为选择最优数据管道提供了实验依据。
2024-05-28 cs.DB
Understanding and Benchmarking the Impact of GDPR on Database Systems
《通用数据保护条例》（GDPR）为欧洲人民提供了有关其个人数据的新权利和保护。我们从系统的角度分析GDPR，将其法律条款转化为合规系统必须支持的一系列功能和特征。我们的分析揭示了元数据爆炸的现象，其中大量的元数据需要与个人数据一起存储，以满足GDPR的要求。我们的分析还有助于我们确定GDPR必须支持的新工作负载。我们设计并实现了一个名为GDPRbench的开源基准测试，它包括理解和评估个人数据处理数据库系统所需的工作负载和指标。为了评估现代数据库系统是否已准备好GDPR，我们遵循最佳实践和开发人员建议，修改Redis，PostgreSQL和商业数据库系统，使其符合GDPR。我们的实验表明，由此产生的GDPR兼容系统在GPDR工作负载上的性能很差，并且随着个人数据量的增加，性能扩展性很差。我们讨论了这些发现的现实意义，并确定了在生产环境中使GDPR合规性高效的研究挑战。我们在http://www.gdprbench.org上发布所有软件工件和数据集
2020-03-17 cs.DB
In-Depth Benchmarking of Graph Database Systems with the Linked Data Benchmark Council (LDBC) Social Network Benchmark (SNB)
在这项研究中，我们提出了一个完整的实施LDBC SNB基准-交互式短，交互式复杂，和商业智能-在两个本地图形数据库系统-Neo4j和TigerGraph的第一个结果。除了在四个比例因子（SF-1、SF-10、SF-100和SF-1000）和三个计算架构（内部和云中）上彻底评估基准测试中所有46个查询的性能外，我们还测量了批量加载时间和存储大小。我们的研究结果表明，TigerGraph在大多数查询上的表现一直优于Neo4j--在某些交互式复杂和商业智能查询上，表现出两个或更多个数量级（100倍因子）。差距随着数据的大小而增加，因为只有TigerGraph能够扩展到SF-1000-Neo4j在合理的时间内只完成了25个商业智能查询中的12个。尽管如此，Neo4j在批量加载高达SF-100的图形数据时通常更快。我们研究的一个关键是供应商积极参与其平台的调整。为了鼓励可重复性，我们将所有代码、脚本和配置参数公开在线提供。
2019-07-17 cs.DB
Hollywood: Towards a Large Movie Dataset for Database Benchmarking
University of Technology Nuremberg（纽伦堡工业大学）
研究针对IMDb真实世界数据集无比例因子问题，提出结合大语言模型语义字典和确定性时间图关系数据生成的好莱坞数据集生成方法，实验表明其引发的基数估计误差与原数据集相当或更大，还能测试估计器泛化能力。
2026-07-23 cs.DB
Towards an Application-Centric Benchmark Suite for Spatiotemporal Database Systems
针对现有时空数据库基准测试仅覆盖孤立方面、缺乏全面应用导向套件的问题，本文提出需构建以应用为中心的模块化时空数据库基准测试套件，明确其需求、挑战与架构。
2025-10-22 cs.DB
OptMark: A Toolkit for Benchmarking Query Optimizers
查询优化器一直被认为是数据库引擎中最复杂的组件之一，而对优化器质量的评估仍然是一项具有挑战性的任务。事实上，现有的数据库引擎性能基准（如TPC基准）产生查询运行时系统的性能评估，而不是其查询优化器。为了应对这一挑战，本文介绍了OptMark，一个工具包，用于评估质量的查询优化器。OptMark旨在提供许多理想的属性。首先，它将优化器的质量与其底层执行引擎的质量相结合。其次，它独立地评估优化器的有效性（即，所选计划的质量）及其效率（即，优化时间）。OptMark还包括一个通用的基准测试工具包，它对希望使用它的DBMS具有最小的侵入性。任何DBMS都可以提供一个简单API的系统特定实现，该API允许OptMark运行并为特定系统生成基准测试分数。本文讨论了我们提出的用于评估优化器质量、基准测试的设计以及工具包的API和功能的指标。我们已经在开源MySQL引擎和两个商业数据库系统上实现了OptMark。使用这些实现，我们能够根据TPC-DS基准查询来评估这三个系统上的优化器的质量。
2016-08-08 cs.DB
A Fair Benchmarking of Deep Relational Database Learning Models
Department of Computer Science（计算机科学系）；Tennessee State University（田纳西州立大学）；SAP AI Research and Innovation（SAP人工智能研究与创新）；SAP Labs（SAP实验室）
研究针对关系数据库深度学习方法实验协议不一致问题，通过在五个关系数据库上进行系统基准测试，重构模型确保实验一致性，发现关系变压器方法性能最佳，多表学习有优势但高跳数收益递减。
2026-07-07 cs.AI cs.DB
FCBench: Cross-Domain Benchmarking of Lossless Compression for Floating-Point Data
本文构建 FCBench，基于 33 个真实数据集跨领域评测 13 种 CPU/GPU 浮点无损压缩方法，并用 roofline 模型分析运行时瓶颈，以指导数据库与 HPC 融合场景的方法选择与设计。
2024-01-21 cs.DB
PMKLC: Parallel Multi-Knowledge Learning-based Lossless Compression for Large-Scale Genomics Database
Nanyang Technological University（南洋理工大学）；Guangxi University（广西大学）
本文提出PMKLC，一种基于并行多知识学习的基因组数据无损压缩器，通过自动化多知识学习框架、GPU加速编码、数据块划分与逐步模型传递机制及双压缩模式，在大规模基因组数据上显著提升压缩率、吞吐量和鲁棒性。
2025-07-17 cs.AI cs.CL cs.DB
Privacy-Enhanced Database Synthesis for Benchmark Publishing (Technical Report)
本文提出基于和积网络的差分隐私数据库合成框架PrivBench，用于基准发布场景，在保护隐私的同时保持数据分布与查询运行时间的高保真度。
2025-04-10 cs.CR cs.DB
Benchmarking Top-K Keyword and Top-K Document Processing with T${}^2$K${}^2$ and T${}^2$K${}^2$D${}^2$
Top-k关键字和top-k文档抽取是非常流行的文本分析技术。Top-k关键字和文档通常是动态计算的，但它们利用了构建成本高昂的加权词汇表。为了比较相互竞争的加权方案和数据库实现，通常使用基准测试。据我们所知，目前没有基准可以解决这些问题。因此，在本文中，我们提出了T ${}^2$ K ${}^2$，top-k关键字和文档基准，及其面向决策支持的进化T ${}^2$ K ${}^2$ D ${}^2$。这两个基准测试都有一个真实的tweet数据集和具有各种复杂性和选择性的查询。它们有助于评估加权方案和数据库实现的计算性能。为了说明我们的基准测试的相关性和通用性，我们一方面成功地对TF-IDF和Okapi BM 25加权方案进行了性能测试，另一方面对不同的关系型（Oracle，PostgreSQL）和面向文档的（MongoDB）数据库实现进行了性能测试。
2018-04-20 cs.DB cs.IR
Benchmarking Hashing Algorithms for Load Balancing in a Distributed Database Environment
现代高负载应用程序使用多个数据库实例存储数据。这样的架构需要数据一致性，并且确保数据在节点之间的均匀分布非常重要。负载均衡用于实现这些目标。哈希是几乎所有负载均衡系统的支柱。自从经典的一致性哈希算法被引入以来，许多算法都是为了这个目的而设计的。负载均衡器的目的之一是确保存储集群的可伸缩性。在节点添加或删除过程中，尽可能少地传输数据记录对于整个系统的性能至关重要。负载平衡器哈希算法对此过程的影响最大。在本文中，我们实验评估几个哈希算法用于负载均衡，进行模拟和真实的系统实验。为了评估算法的性能，我们已经开发了一个基准套件的基础上Unidata MDM~--一个可扩展的工具包，各种主数据管理（MDM）的应用程序。为了评估，我们采用了三个标准--均匀性的生产分布，移动记录的数量，和计算速度。根据我们的实验结果，我们创建了一个表，其中每个算法都根据上述标准进行了评估。
2022-11-01 cs.DB cs.DC cs.DS
DriftBench: Defining and Generating Data and Query Workload Drift for Benchmarking
针对现有基准测试缺乏数据与工作负载漂移建模支持的问题，提出统一漂移分类法及轻量级可扩展框架DriftBench，为基准测试中漂移的建模与生成提供标准化词汇与机制，并通过案例验证其有效性。
2025-10-12 cs.DB
GAP Enhancing Semantic Interoperability of Genomic Datasets and Provenance Through Nanopublications
虽然在科学知识库中发布数据集已得到广泛认可，但知识库往往具有越来越多的语义相关问题。例如，它们为机器可操作的过程提出了各种数据重用障碍，特别是在生物储存库中，阻碍了科学实验的可重复性。这些缺点的一个例子是基因库数据库。我们提出了GAP，一个创新的数据模型，以提高语义数据的意义，以解决这些问题。该模型侧重于融合相关方法，如数据来源，语义互操作性，公平原则和纳米出版。我们的实验包括一个原型，用于抓取基因组数据并将其追踪到纳米出版物作为概念证明。为此，（元）数据存储在三级纳米微块数据模型中。第一个层次与目标生物体有关，具体说明生物分类学方面的数据。第二个层次侧重于目标的生物菌株，这是我们贡献的核心部分。菌株表达与基因组材料的遗传变异的解密（元）数据相关的信息。第三级存储相关的科学论文（元）数据。我们希望它将提供更高的数据存储灵活性和更广泛的互操作性与其他数据源，通过合并和采用相关的方法来存储基因组数据在拟议的模型。
2021-11-18 cs.DB cs.DL cs.IR
PBench: Workload Synthesizer with Real Statistics for Cloud Analytics Benchmarking
针对云分析基准无法反映真实工作负载统计的问题，提出PBench，通过多目标优化选择组件、时间戳分配及LLM增强，生成高保真合成工作负载，误差降低达6倍。
2025-06-19 cs.DB
An AI-powered Knowledge Hub for Potato Functional Genomics
针对马铃薯功能基因组学数据整理不系统等问题，研究开发了基于LLM和RAG架构的Potato Knowledge Hub平台，提供包含2571个基因的数据库及智能问答助手，促进相关研究与育种。
2025-05-30 cs.DB q-bio.GN
D4M 3.0: Extended Database and Language Capabilities
D4 M工具的开发是为了满足当今的许多数据需求。数百名研究人员使用该工具对非结构化数据进行复杂的分析。在过去的几年里，D4 M工具箱已经发展到支持与各种新数据库引擎（包括SciDB）的连接。D4 M-Graphulo提供了在Apache Accumulo数据库中进行图形分析的能力。最后，使用Julia程序设计语言的实现现在也可用。在本文中，我们将介绍D4 M工具箱的一些最新功能以及即将发布的D4 M 3.0版本。我们通过基准测试和扩展结果表明，我们可以使用D4 M-SciDB连接器实现快速SciDB摄取，使用Graphulo可以在内存有限的范围内启用图形算法，并且D4 M的Julia实现了与现有MATLAB（R）实现相当的性能或超过现有MATLAB（R）实现。
2017-08-09 cs.DB
Benchmarking data warehouses
数据仓库体系结构的选择和优化技术对决策支持查询性能至关重要。为了方便这些选择，必须评估所设计的数据仓库的性能，通常使用基准。这些工具既可以帮助系统用户比较不同系统的性能，也可以帮助系统工程师测试各种设计选择的效果。虽然事务处理性能委员会的标准基准解决了第一个问题，但它们的可调性不足以解决第二个问题，并且无法对不同的数据仓库模式进行建模。相比之下，我们的数据仓库工程基准（DWEB）允许生成各种特定的合成数据仓库和工作负载。DWEB是作为一个Java自由软件实现的，它可以与大多数现有的关系数据库管理系统接口。DWEB的完整规格，以及我们进行的实验，以说明如何使用我们的基准测试，在本文中提供。
2017-01-02 cs.DB
Ontology Usage at ZFIN
斑马鱼模式生物数据库（ZFIN）提供了斑马鱼基因组、遗传、发育和表型数据的网络资源。目前使用四种不同的本体对数据进行注释，以最具体的术语，便于更好地比较物种间数据。此外，本体被用来帮助用户更快地查找和聚类数据，而不需要知道术语的确切技术名称。
2010-12-09 cs.DB
Benchmarking SciDB Data Import on HPC Systems
SciDB是一个可扩展的计算数据库管理系统，使用数组模型进行数据存储。SciDB的阵列数据模型使其非常适合存储和管理大量成像数据。SciDB旨在支持数据库中的高级分析，从而减少提取数据进行分析的需求。它被设计为大规模并行，可以在高性能计算（HPC）环境中的商用硬件上运行。在本文中，我们提出了性能的SciDB使用模拟图像数据。动态分布式维度数据模型（D4M）软件用于在运行MIT SuperCloud软件栈的集群上实现基准测试。在该系统的单个节点上实现了每秒2.2M数据库插入的峰值性能。我们还表明，SciDB和D4M工具箱提供了更有效的方法来访问海量数据集的随机子卷相比，从单个文件读取体积数据的传统方法。这项工作描述了我们开发的D4M和SciDB工具，并提出了初步的性能结果。这种性能是通过使用并行插入、数据库内的数组合并以及超级计算技术（如分布式数组和单程序多数据编程）来实现的。
2016-09-24 cs.DB cs.DC cs.PF
PDBMine: A Reformulation of the Protein Data Bank to Facilitate Structural Data Mining
大规模的计划，如人类基因组计划，结构基因组学和个人研究团队提供了大量的基因组和蛋白质组数据。将数据转化为知识已成为现有的挑战之一，这是因为数据库中的数据是为存档而不是挖掘而设计的。在这项研究中，我们针对蛋白质数据库（PDB），并展示了其内容的转换，名为PDBMine，将存储空间减少了一个数量级，并允许与蛋白质结构确定相关的强大挖掘。我们已经证明了PDBMine在探索二聚体和三聚体氨基酸序列中的实用性，并提供了预测蛋白质结构的机制。
2019-11-19 cs.DB q-bio.BM
Using In-Memory Encrypted Databases on the Cloud
将数据存储在云中会带来许多隐私问题。处理它们的一种方法是通过本地集中同步存储支持云上的数据复制和分发。在本文中，我们建议使用一个内存中的关系数据库管理系统与行级数据加密授予和撤销访问权分布式数据。这种类型的解决方案在传统的RDBMS中很少采用，因为它需要几个复杂的步骤。在本文中，我们专注于测试系统的实现和基准测试，这表明我们简单而有效的解决方案克服了大多数问题。
2011-09-16 cs.CR cs.DB cs.DC
Benchmarking Graph Data Management and Processing Systems: A Survey
为图形数据系统开发可扩展的、有代表性的和广泛采用的基准测试一直是一个问题，几十年来一直在寻找答案。我们进行了深入的研究，现有的文献基准图数据管理和处理，涵盖了20个不同的基准开发在过去的15年。我们将基准分为三个领域，重点关注图处理系统的基准，图数据库基准和具有图处理工作负载的大数据基准。这种系统化的方法允许我们识别该领域中存在的多个问题，包括i）存在很少的基准测试，其可以产生高工作负载场景，ii）在基准测试图流处理以及基于图的机器学习上没有做显著的工作，iii）基准测试倾向于使用传统的度量，尽管新的有意义的度量已经存在多年，iv）越来越多的大数据基准测试出现在图形处理工作负载中。根据这些观察结果，我们通过描述未来图数据系统基准测试研究的关键挑战来结束调查。
2021-09-22 cs.DB cs.DC cs.PF
