TASM: A Tile-Based Storage Manager for Video Analytics
现代视频数据管理系统将视频存储为单个编码文件，这显著限制了可能的存储级别优化。我们设计、实施和评估TASM，这是一种新的基于瓦片的视频数据存储管理器。TASM使用现代视频编解码器中称为“瓦片”的功能，该功能允许对编码视频进行空间随机访问。TASM通过在给定视频内容和查询工作负载的情况下优化其平铺布局来物理地调谐存储的视频。此外，TASM动态地调整布局，以响应查询工作负载的变化，或者如果查询工作负载和视频内容被增量地发现。最后，TASM还为新摄取的视频生成有效的初始图块布局。我们证明，TASM可以加快子帧选择查询平均超过50%，高达94%。TASM还可以将目标检测查询的全扫描阶段的吞吐量提高2倍。
2021-02-26 cs.DB
PystachIO: Efficient Distributed GPU Query Processing with PyTorch over Fast Networks & Fast Storage
TU Darmstadt（达姆施塔特工业大学）；TU Munich（慕尼黑工业大学）；DFKI Darmstadt（德国人工智能研究中心达姆施塔特分部）
本文研究了如何利用PyTorch等张量计算运行时（TCRs）支持大规模存储驻留型OLAP工作负载的可扩展分布式查询处理，提出PystachIO原型，通过优化网络和存储I/O提升GPU、网络和存储利用率，实现3倍的端到端加速。
2026-05-20 cs.DB
An Empirical Evaluation of Columnar Storage Formats
该研究针对硬件与工作负载变迁的背景，深入评估Parquet和ORC两种主流开源列式存储格式，识别出适配现代环境的设计优化点与现存低效问题，为新一代存储格式的设计提供参考。
2023-11-07 cs.DB
TierBase: A Workload-Driven Cost-Optimized Key-Value Store
本文提出面向键值存储的空间-性能成本模型，并据此设计蚂蚁集团的分布式键值存储TierBase，通过缓存与存储层数据同步、预训练压缩、弹性线程和持久内存等技术优化成本，实验及生产案例显示其最高可降低62%成本。
2025-05-10 cs.DB cs.DC
Real-Time LSM-Trees for HTAP Workloads
实时的【形】分析系统采用混合数据布局，其中数据在其整个生命周期中以不同格式存储。最近的数据以面向行的格式存储，以满足OLTP工作负载并支持高插入率，而较旧的数据则转换为面向列的格式，以满足OLAP访问模式。我们观察到，日志结构化合并（LSM）树是一个自然的适合生命周期感知存储引擎，由于其高写吞吐量和面向级别的结构，其中记录传播从一个级别到下一个随着时间的推移。为了使用LSM-Tree构建生命周期感知的存储引擎，我们进行了一个关键的修改，以允许不同级别的不同数据布局，从纯粹的面向行到纯粹的面向列，从而形成实时的【形】LSM-Tree。我们给出了一个成本模型和一个算法来设计一个实时的【形】LSM树，适合于给定的工作负载，其次是激光的实验评估-我们的想法建立在RocksDB的键值存储的原型实现。
2022-07-15 cs.DB
Storage Management with Multi-Version Partitioned B-Trees
数据库管理系统和K/V-Store在可更新的数据集上运行--大大超过了可用主存的大小。基于树的K/V存储管理结构在存储引擎中变得特别流行。B+树允许恒定的搜索性能，但是写入繁重的工作负载会导致对辅存设备的低效写入模式和较差的性能特征。LSM树通过水平分区数据来克服这个问题-小到足以完全驻留在主存中，但需要频繁维护以维持搜索性能。首先，我们提出了多版本分区BTree（MV-PBT）作为唯一的存储和索引管理结构的关键排序存储引擎，如K/V-Stores。其次，我们比较MV-PBT和LSM-树。MV-PBT中的逻辑水平分区允许在结构的小的透明和存储器驻留部分中利用现代B $^+$-树技术的最新进展。结构特性维持稳定的读取性能，产生高效的写入模式并降低写入放大。我们在WiredTiger KV存储引擎中集成了MV-PBT。在YCSB工作负载中，MV-PBT与LSM树相比提供了高达2倍的稳定吞吐量，与B+树相比增加了几个数量级。
2022-09-20 cs.DB
Six Dimensions of Benchmarking Time-Series Databases
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出时序数据库基准测试框架SciTSv2，从六个维度评估四款不同存储引擎的TSDB，揭示单轴基准掩盖的架构行为，为架构师提供性能诊断与存储引擎选择依据。
2026-08-04 cs.DB
OASIS: Object-based Analytics Storage for Intelligent SQL Query Offloading in Scientific Tabular Workloads
针对现有支持计算的对象存储系统在输出格式灵活性、算子支持范围、深层存储层级优化上的不足，本文提出OASIS系统，实现灵活输出、复杂算子支持与动态路径选择，在HPC科学查询场景下较现有方案最高提升32.7%的性能。
2025-09-02 cs.DB cs.DC
TS-Cabinet: Hierarchical Storage for Cloud-Edge-End Time-series Database
层次化数据存储是云-边-端时间序列数据库的关键。高效的分层存储将直接减少每端本地数据库的存储空间，提高数据的访问命中率。然而，目前还没有针对云-边-端时序数据库提出有效的分层数据管理策略。针对这一问题，提出了一种基于负载预测的云-边-端时序数据库分层存储调度器TS-Cabinet。据我们所知，这是第一个工作的云边缘端时间序列数据库的分层存储。通过建立温度模型，计算时间序列数据的当前温度，并使用工作量预测模型预测数据的未来温度。最后，我们根据数据迁移策略进行分层存储。在公开数据集上进行了验证，实验结果表明，该方法在云端和边缘端的数据访问命中率均达到94%左右，比现有方法提高了12%. TS-Cabinet可以帮助云-边-端时序数据库避免三方存储全部数据量所带来的存储开销，大大降低协同查询处理时各方之间的数据传输开销。
2023-02-25 cs.DB
Evaluating NoSQL Databases for OLAP Workloads: A Benchmarking Study of MongoDB, Redis, Kudu and ArangoDB
本研究通过标准化数据处理管道，基准测试了MongoDB、Redis、Kudu和ArangoDB四种NoSQL数据库在OLAP工作负载下的性能，为选择最优数据管道提供了实验依据。
2024-05-28 cs.DB
Columnar Storage and List-based Processing for Graph Database Management Systems
我们重新审视面向列的存储和查询处理技术的背景下，当代图形数据库管理系统（GDBMS）。与面向列的RDBMS类似，GDBMS支持读取繁重的分析工作负载，但与传统的分析工作负载相比，这些工作负载具有根本不同的数据访问模式。首先，我们推导出一套必要的优化存储和查询处理器的GDBMS的访问模式的基础上。然后，我们提出了设计的列存储，压缩和查询处理技术的基础上，这些desiderata。除了显示从列式RDBMS的现有技术的直接集成，我们还提出了新的GDBMS的优化。这些包括一个新的基于列表的查询处理器，它避免了传统的基于块的处理器在多对多连接下的昂贵的数据副本，一个新的数据结构，我们称之为单索引的边缘属性页和一个伴随的边缘ID计划，以及一个新的应用Jacobson的位向量索引压缩NULL值和空列表。我们将我们的技术集成到GraphflowDB内存GDBMS中。通过大量的实验，我们证明了我们的技术的可扩展性和查询性能的好处。
2021-10-27 cs.DB
Enabling Efficient Updates in KV Storage via Hashing: Design and Performance Evaluation
持久性键值（KV）存储主要建立在日志结构化合并（LSM）树上，以获得高写入性能，但LSM树受到固有的高I/O放大的影响。KV分离通过仅将键存储在LSM树中并将值存储在单独的存储中来减轻I/O放大。然而，当前KV分离设计在更新密集型工作负载下仍然是低效的，这是由于其在值存储中的高垃圾回收（GC）开销。我们提出了HashKV，其目标是在更新密集型工作负载下在KV分离之上实现高更新性能。HashKV使用基于散列的数据分组，它确定性地将值映射到存储空间，以便使更新和GC都高效。我们进一步放宽限制，这种确定性映射通过简单但有用的设计扩展。我们广泛评估了HashKV的各个设计方面。我们表明，与当前的KV分离设计相比，HashKV实现了4.6倍的更新吞吐量和53.4%的写入流量。此外，我们证明了我们可以将HashKV的设计与最先进的KV商店相结合，并提高各自的性能。
2019-06-17 cs.DB
Mainlining Databases: Supporting Fast Transactional Workloads on Universal Columnar Data File Formats
现代数据处理工具的激增产生了开放源列式数据格式。这些格式的优点是，它们可以帮助组织避免重复地将数据转换为每个应用程序的新格式。但是，这些格式是只读的，组织必须使用一个重量级的转换过程来从联机事务处理（OLTP）系统加载数据。我们的目标是减少甚至消除这个过程，通过开发一个存储架构的内存数据库管理系统（DBMS），是知道其数据的最终用途，并发出列存储块在一个通用的开源格式。我们对常见的分析数据格式引入了松弛，以有效地更新记录，并依靠轻量级的转换过程将块转换为冷时的读取优化布局。我们还描述了如何以最小的序列化开销从第三方分析工具访问数据。为了评估我们的工作，我们实现了基于Apache Arrow格式的存储引擎，并将其集成到DB-X DBMS中。我们的实验表明，我们的方法实现了与专用OLTP DBMS相当的性能，同时使数据导出到外部数据科学和机器学习工具的速度比现有方法快几个数量级。
2020-04-29 cs.DB
VDMS: Efficient Big-Visual-Data Access for Machine Learning Workloads
Intel Labs（英特尔实验室）
我们引入了可视化数据管理系统（VDMS），它可以更快地访问大可视化数据并增加对可视化分析的支持。这是通过通过存储为图形的元数据搜索相关的视觉数据来实现的，并通过新的机器友好的存储格式实现对视觉数据的更快访问。VDMS与现有的大规模照片服务、视频流和文本大数据管理系统不同，因为其主要关注于支持使用视觉数据（图像、视频和特征向量）的机器学习和数据分析管道，将这些视为第一类实体。我们描述了如何通过其用户友好的界面使用VDMS，以及它如何通过机器学习管道处理医学图像来实现丰富而高效的视觉分析。我们展示了在可比设置的复杂查询中2倍的改进性能。
2018-12-11 cs.DB cs.LG
Bullion: A Column Store for Machine Learning
University of Maryland（马里兰大学）；ByteDance（字节跳动）
本文提出面向机器学习工作负载的列式存储系统 Bullion，通过优化稀疏特征编码、宽表投影管理、特征量化、质量感知顺序读取及级联编码框架，显著降低 I/O 成本并节省存储空间，为广告、推荐系统和生成式 AI 等场景提供高效数据基础设施支撑。
2024-11-19 cs.DB cs.LG
Nova-LSM: A Distributed, Component-based LSM-tree Key-value Store
云基础设施促使将单体数据存储分解为基于应用程序的工作负载组装在一起的组件。本研究探讨了分解的LSM树键值存储到使用RDMA通信的组件。这些组件将存储与处理分离，使处理组件能够共享存储带宽和空间。处理组件将文件块（SSTable）分散到任意数量的存储组件中，并使用d的幂来平衡它们之间的负载。它们在运行时动态构造范围，以并行压缩并提高性能。每个组件都有控制其可伸缩性的配置旋钮。由此产生的基于组件的系统，Nova-LSM，是弹性的。它比它的单体同行，无论是LevelDB和RocksDB，几个数量级的工作负载，表现出一个倾斜的数据访问模式。
2021-05-01 cs.DB
IORM: Hierarchical I/O Governance for Thousands of Consolidated Databases on Oracle Exadata
Oracle America Inc（甲骨文美国公司）
针对Oracle Exadata中数千个租户数据库共享存储时的多级资源层次问题，提出基于I/O标记、分层资源配置文件和统一存储治理的I/O资源管理器（IORM），以消除噪声邻居干扰并显著提升延迟一致性。
2026-05-27 cs.DB cs.DC cs.OS
RapidStore: An Efficient Dynamic Graph Storage System for Concurrent Queries
针对动态图存储中并发读写效率低和逐边版本控制开销大的问题，提出RapidStore系统，通过解耦读写查询管理与版本数据，实现高效的并发图查询与性能平衡。
2025-07-01 cs.DB
Towards Cost-Effective Storage Provisioning for DBMSs
当考虑如何在具有复杂I/O子系统的机器上提供资源时，数据中心运营商面临着一系列令人困惑的选择。现代I/O子系统通常具有快速，高性能但昂贵的SSD与便宜但相对较慢（用于随机访问）的传统硬盘驱动器的丰富组合。数据中心运营商需要确定如何为特定工作负载提供I/O资源，以便遵守现有的服务水平协议（SLA），同时最小化运行工作负载的总运营成本（TOC），其中TOC包括摊销的硬件成本和运行时间能量成本。本文的重点是介绍这个新的问题，TOC为基础的存储分配，铸造的框架，是兼容传统的DBMS查询优化和查询处理体系结构。我们还提出了一个基于经验的解决方案，这个问题，称为DOT。我们已经在PostgreSQL中实现了DOT，并且使用TPC-H和TPC-C的实验表明DOT在各种设置中显著降低了TOC。
2011-12-31 cs.DB
Improving Automatic Parallel Training via Balanced Memory Workload Optimization
Key Lab of High Confidence Software Technologies (MOE), Peking University（北京大学高可信软件技术重点实验室（教育部））；Computer Science Department of Carnegie Mellon University（卡内基梅隆大学计算机科学系）；ZTE company（中兴公司）；Institute of Computational Social Science, Peking University (Qingdao)（北京大学（青岛）计算社会科学研究院）
本文提出 Galvatron-BMW 系统框架，通过决策树剪枝、动态规划和双目标工作负载均衡优化，自动搜索最优混合并行策略，在多种 GPU 内存约束下提升 Transformer 分布式训练吞吐量。
2024-02-24 cs.DB cs.DC cs.LG
GTX: A Transactional Graph Data System For HTAP Workloads
GTX是一个面向HTAP工作负载的无锁存事务性图数据系统，通过原子操作、增量多版本存储和增量链索引实现高吞吐读写事务与自适应并发控制，可适应图更新的时间局部性和热点并保持每秒百万级事务吞吐量。
2024-05-02 cs.DB
Semi-Automatic Index Tuning: Keeping DBAs in the Loop
为了获得良好的系统性能，DBA必须选择一组适合于工作负载的索引。系统可以通过提供索引配置建议来帮助完成这一具有挑战性的任务。我们提出了一个新的索引推荐技术，称为半自动调整，保持DBA“在循环中”，通过生成建议，使用反馈DBA的喜好。该技术还可以在线工作，避免了商业工具的限制，因为商业工具需要提前知道工作量。我们的方法的基础是功函数算法，它可以解决各种各样的在线优化问题，具有很强的竞争力的保证。我们提出了一个实验分析，验证了在各种条件下的半自动调谐的好处。
2011-10-30 cs.DB
Tidehunter: Large-Value Storage With Minimal Data Relocation
Mysten Labs；UCL（伦敦大学学院）
Tidehunter通过将WAL视为永久存储，消除值合并，实现高吞吐量的大值存储，提升查询性能。
2026-02-03 cs.DB
A Multimodal Machine Learning Framework for Enterprise Database Workload-Aware Root Cause Analysis
Red Hat（红帽）；IBM（国际商业机器公司）
提出多模态机器学习框架，结合工作负载特征、系统遥测和操作信号，利用LightGBM等模型实现数据库根因分析，提升可解释性和自动化水平。
2026-06-15 cs.DB
On the Diversity of Memory and Storage Technologies
在过去的十年中，内存和存储技术取得了巨大的发展，从闪存开始，到即将到来的闪存级存储器。再加上数据处理、数据分析和机器学习的爆炸式增长，这导致了内存和存储市场的细分。因此，正如我们今天所知，传统的存储层次结构可能会被大量的存储层次结构所取代，这些存储层次结构可能具有不同的深度，每个存储层次结构都是针对特定的工作负载而定制的。在这种情况下，我们在这个“Kurz Erklärt”中探索内存技术的状态，并反思其未来的使用，重点是数据管理系统。
2019-08-20 cs.DB
ByteStore: Hybrid Layouts for Main-Memory Column Stores
主存列存储的性能在很大程度上取决于基列布局上的扫描和查找操作。现有的列存储采用同构的列布局，由于不同的列具有不同的数据特征，导致在实际工作负载上的次优性能。在本文中，我们提出了ByteStore，一个列存储，使用不同的存储布局为不同的列。我们首先提出了一种新的数据敏感的列布局，PP-VBS（前缀保留可变字节片）。PP-VBS利用数据倾斜来加速扫描，而不会牺牲查找性能。然后，我们提出了一个实验驱动的列布局顾问，以选择工作负载的各个列布局。对真实数据的大量实验表明，ByteStore的性能比同构存储引擎高出5.2倍。
2022-09-01 cs.DB
PLRTune: Importance Pre-Sampling and LLM-Guided Reinforcement Learning for Automatic Database Tuning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Hangzhou Institute for Advanced Study, UCAS（中国科学院大学杭州高等研究院）
提出PLRTune系统，通过重要性预采样识别关键旋钮子集，结合执行引导的提示精炼和TD3强化学习，在MySQL和PostgreSQL上平均性能提升9.50%，调优速度提升9.03倍。
2026-06-15 cs.DB
BVLSM: Write-Efficient LSM-Tree Storage via WAL-Time Key-Value Separation
本文提出 BVLSM，在 WAL 阶段提前分离键值并以轻量元数据和多队列并行存储大值，从而降低 LSM 键值存储的写放大、内存浪费与 I/O 抖动。
2025-06-09 cs.DB
WikiKV: Schema-Evolving Path-Indexed Storage for Hierarchical Knowledge Navigation
Tencent Inc.（腾讯公司）
提出WikiKV，一种专为LLM策展层次知识库设计的路径索引键值存储模型，通过数据驱动架构、一致性协议和预算导航算子，实现低延迟查询和渐进式答案优化。
2026-06-15 cs.DB
Adaptive Low-level Storage of Very Large Knowledge Graphs
Web上知识图谱（KG）的可用性和使用的增加要求可扩展和通用的解决方案来存储这种类型的数据结构。我们提出三叉戟，一种新的存储架构非常大的KG集中式系统。Trident使用多个互连的数据结构来提供对节点和边的快速访问，物理存储根据图的拓扑而变化，以减少内存占用。与为单个任务设计的单个架构相比，我们的方法提供了一个具有少量低级和通用原语的接口，这些原语可用于实现SPARQL查询应答，推理或图形分析等任务。我们的实验表明，Trident可以使用廉价的硬件处理具有10^11条边的图形，在多个工作负载上提供具有竞争力的性能。
2020-01-24 cs.DB
MORTAL: A Tool of Automatically Designing Relational Storage Schemas for Multi-model Data through Reinforcement Learning
考虑到关系数据库在处理安全性、用户认证、查询优化等方面具有强大的能力，若干商业和学术框架重用关系数据库来存储和查询半结构化数据（例如，XML、JSON）或图形数据（例如，RDF，属性图）。然而，这些工作集中于使用RDBMS管理上述数据模型之一。也就是说，它没有利用底层工具来自动生成用于存储多模型数据的关系模式。在这个演示中，我们提出了一种新的基于强化学习的工具，称为MORTAL。具体来说，给定包含不同数据模型的多模型数据和一组查询，它可以自动设计一个关系模式来存储这些数据，同时具有很好的查询性能。为了清楚地说明它，我们围绕着以下模块：基于加载的多模型数据生成初始状态，通过设置参数来影响学习过程，通过提供语义约束来控制生成的关系模式，通过指定查询来提高关系模式的查询性能，以及当用户调整生成的关系模式时显示查询性能和存储消耗的高度交互式界面。
2021-09-01 cs.DB
A Benchmark for Databases with Varying Value Lengths
本文扩展YCSB基准测试引入“extend”操作以模拟值长度增长，评估MongoDB、MariaDB等DBMS在可变大小值下的性能差异，提出隔离数据大小分布影响与更新历史访问成本的新基准方法。
2025-08-11 cs.DB
WaZI: A Learned and Workload-aware Z-Index
WaZI是一种学习型且工作负载感知的Z-索引，通过成本函数优化存储布局和搜索结构，并采用页面跳过机制，平均提升范围查询时间40%，兼顾点查询性能。
2024-03-20 cs.DB cs.IR
Clustering RDF Databases Using Tunable-LSH
资源描述框架（RDF）是表示图结构数据的W3C标准，SPARQL是RDF的标准查询语言。信息抽取、链接数据管理和语义网的最新进展导致了可公开获得的RDF数据的数量和种类的快速增长。随着企业开始利用RDF数据，RDF数据管理系统面临的工作负载比它们设计处理的要多样化和动态得多。因此，越来越需要开发工作负载自适应和自调优的RDF数据管理系统。为了实现这一愿景，我们介绍了一种快速，有效的方法动态聚类RDF数据管理系统中的记录。具体来说，我们预先不假设工作负载，但是当执行SPARQL查询时，我们跟踪工作负载中的查询共同访问的记录，并对它们进行物理集群。为了动态地（因此，在恒定的时间）决定一个记录需要放置在存储系统中，我们开发了一个新的位置敏感的哈希（LSH）计划，可调LSH。使用Tunable-LSH，可以将跨类似查询集共同访问的记录散列到存储系统中的相同或附近的物理页面。Tunable-LSH与现有LSH方案的区别在于，它可以自动调整，即使在工作负载发生变化时也能高精度地实现上述集群目标。Tunable-LSH在我们的原型RDF数据管理系统，变色龙数据库，以及在一个独立的哈希表中的实验评估显示显着的端到端的改进现有的解决方案。
2015-04-19 cs.DB
Workload acceleration by optimizing materialized view selection using local search
The University of Osaka（大阪大学）
提出一种将增量视图维护成本直接纳入整数线性规划优化目标，并应用局部搜索高效探索解空间的物化视图选择方法，在Redbench基准测试中优于BIGSUBS。
2026-06-02 cs.DB
From FASTER to F2: Evolving Concurrent Key-Value Store Designs for Large Skewed Workloads
本文提出 F2（FASTER v2），一种面向大规模偏斜工作负载的并发键值存储设计，通过两层记录设计、无锁压缩算法、两级哈希索引和读缓存，实现 2-11.9 倍吞吐量提升。
2025-08-06 cs.DB
Automatic Clustering in Hyrise
物理数据布局是现代数据库的重要性能因素。聚类，即，邻近地存储相似的值可以以几种方式导致性能增益。我们提出了一个自动化的模型，以确定有益的集群列和面向列的，内存驻留数据库Hyrise的聚类算法。为了自动选择集群列，该模型分析数据库的工作负载，并根据某些集群列对工作负载延迟的影响程度提供估计。我们评估模型估计的精度，以及其聚类建议的整体质量。为了应用一个确定的聚类配置，我们开发了一个在线聚类算法。聚类算法支持任意数量的聚类维度。我们表明，该算法对并发运行的数据修改查询是强大的。当对lineitem表进行聚类时，TPC-H基准测试的延迟减少了5%，当对store_sales表进行聚类时，TPC-DS基准测试的延迟减少了4%。
2021-03-29 cs.DB
StorageXTuner: An LLM Agent-Driven Automatic Tuning Framework for Heterogeneous Storage Systems
Arizona State University（亚利桑那州立大学）；Iowa State University（爱荷华州立大学）
针对存储系统自动调优参数空间大、现有方法跨系统复用性弱等问题，提出由四个LLM智能体协同的StorageXTuner框架，结合洞见驱动树搜索与分层内存，在多存储引擎上实现了吞吐量提升、延迟降低与更快收敛。
2025-10-28 cs.AI cs.CL cs.DB
Towards Flexibility and Robustness of LSM Trees
针对LSM树在云环境中的工作负载不确定性，提出鲁棒调优范式ENDURE及统一设计K-LSM，在RocksDB上实现高达5倍吞吐量提升，证明鲁棒性源于调优过程而非设计本身。
2023-11-16 cs.DB
Bespoke OLAP: Synthesizing Workload-Specific One-size-fits-one Database Engines
Technical University of Darmstadt（达姆施塔特工业大学）；Microsoft Gray-Systems-Lab（微软格雷系统实验室）；DFKI（德国人工智能研究中心）
Bespoke OLAP通过自动化合成流程，生成针对特定工作负载的高性能数据库引擎，实现比通用系统高多个数量级的性能提升。
2026-07-24 cs.DB
Lachesis: Automatic Partitioning for UDF-Centric Analytics
持久分区在避免昂贵的混洗操作方面是有效的。然而，对于广泛使用用户定义函数（UDF）的大数据分析工作负载，自动化此过程仍然是一个重大挑战，与关系应用程序相比，子计算很难重新用于分区。此外，在以UDF为中心的分析中普遍存在的非结构化数据中，广泛用于分区选择的函数依赖性通常不可用。我们提出了Lachesis系统，它代表了UDF为中心的工作负载的可分析和可重用的子计算的工作流程。Lachesis进一步采用深度强化学习模型来推断哪些子计算应该用于划分底层数据。然后应用此分析来自动优化跨应用程序的数据存储，以提高性能和用户的工作效率。
2021-02-22 cs.DB cs.DC
MulChain: Enabling Advanced Cross-Modal Queries in Hybrid-Storage Blockchains
针对混合存储区块链中多模态数据高级查询的挑战，提出中间件架构MulChain，其核心BHashTree动态切换树与哈希节点，实现高效插入查询，并统一跨平台接口。
2025-02-25 cs.DB cs.SE
Fragmentation in Large Object Repositories
碎片会导致不可预测的应用程序性能下降。虽然这些问题已经详细研究了桌面文件系统的工作负载，这项研究探讨了新的系统，如可扩展的对象存储和多媒体存储库。这样的系统使用get/put接口来存储对象。原则上，数据库和文件系统可以有效地支持这样的应用程序，使系统设计人员能够专注于复杂性，部署成本和可扩展性。虽然理论工作证明某些存储策略对于某些工作负载表现最佳，但这些策略在实践中通常表现不佳。大多数存储基准测试侧重于短期行为或不测量碎片。我们比较了SQL Server和SQL Server，发现当对象大小超过256 KB-1 MB时，碎片将主导性能。SQL Server比SQL Server更好地处理碎片。尽管性能曲线会因其他系统和工作负载而异，但我们预计碎片和可用空间之间的相互作用也会相同。众所周知，碎片与可用空间的百分比有关。我们发现，自由空间与对象大小的比例也会影响性能。令人惊讶的是，在这两个系统中，存储单一大小的对象会导致碎片，而更改写入请求的大小会影响碎片。这些问题可以通过对文件系统和数据库接口的简单更改来解决。我们希望，对碎片化的更好理解将导致可预测的存储系统，在部署后需要更少的维护。
2006-12-21 cs.DB
"What makes my queries slow?": Subgroup Discovery for SQL Workload Analysis
Univ Lyon（里昂大学）；INSA Lyon（里昂国立应用科学学院）；CNRS（法国国家科学研究中心）；Infologic（英孚洛吉克公司）
在数据库管理员（DBA）的日常任务中，分析查询工作负载以识别模式问题并提高性能至关重要。尽管DBA可以轻松地查明导致性能问题的重复查询，但自动识别仅共享某些属性（模式）的查询子集并同时促进某些目标度量（如执行时间）仍然具有挑战性。模式定义在查询子句、环境变量、数据库警报和指标的组合上，并帮助回答诸如是什么使SQL查询变慢之类的问题。是什么让I/O通信变得更高？在一个巨大的搜索空间中自动发现这些模式，并将它们作为假设提供，以帮助定位问题和根本原因，这在可解释的人工智能中非常重要。为了解决这个问题，我们引入了一种基于子组发现的原始方法。我们将展示如何实例化和开发这个通用的数据挖掘框架，以确定SQL工作负载问题的潜在原因。我们相信，这种数据挖掘技术是不平凡的应用数据库管理员。因此，我们还提供了一个可视化工具，交互式知识发现。我们分析了来自我们公司的数百个数据库的一周工作量，提供数据集和源代码，并通过实验证明可以发现有见地的假设。
2021-08-09 cs.AI cs.DB cs.SE
hStorage-DB: Heterogeneity-aware Data Management to Exploit the Full Capability of Hybrid Storage Systems
随着存储系统变得越来越异构和复杂，它增加了DBA的负担，即使在进行了大量人工工作之后，也会导致性能不佳。此外，现有的通过访问模式检测的基于监视的存储管理难以处理高度动态和并发的工作负载。为了最好地利用异构存储设备实现高性能，我们设计并实现了一个异构感知的DBMS存储管理的软件框架称为异构DB，语义信息是关键的存储I/O被识别和传递到存储管理器。根据收集的语义信息，请求被分为不同的类型。每种类型都分配有底层存储系统支持的适当QoS策略，以便每个请求都将由合适的存储设备提供服务。使用hash-DB，我们可以很好地利用语义信息，这些信息不能通过数据访问监控来检测，但对于混合存储系统特别重要。为了显示hash-DB的有效性，我们已经实现了一个系统原型，该原型由一个I/O请求分类启用DBMS，和一个混合存储系统，组织成一个两级缓存层次结构。我们的性能评估表明，hundre-DB可以自动作出适当的决定，在不同的存储设备的数据分配，并作出实质性的性能改善，在一个成本效益的方式。
2012-06-30 cs.DB
Bringing Data Transformations Near-Memory for Low-Latency Analytics in HTAP Environments
TU Darmstadt（达姆施塔特工业大学）；Reutlingen University（罗伊特林根大学）
本文提出在智能存储系统中执行数据转换以提高HTAP环境中分析的低延迟性能。
2026-01-26 cs.DB
Cold Storage Data Archives: More Than Just a Bunch of Tapes
从地球观测计划、射电天文学巡天和高能物理等大型科学实验中获得的大量可用传感器和衍生数据已经超过了全球每年制造的存储硬件。为此，冷存储数据归档是科学、数据密集型应用领域中现代大数据分析的先锋，但经常被忽视。虽然高性能数据分析受到了研究界的广泛关注，但在设计和部署冷存储归档方面越来越多的问题却很少受到关注。在本文中，我们采取的第一步弥合这一差距的知识，提出了四个现实世界的冷存储档案从三个不同的应用领域的分析。在此过程中，我们强调了（i）将这些归档与传统的性能敏感型数据分析区分开来的工作负载特征，（ii）为这些归档构建冷存储系统所涉及的设计权衡，以及（iii）迁移到公共云的部署权衡。基于我们的分析，我们讨论了其他几个重要的研究挑战，需要解决的数据管理社区。
2019-04-09 cs.DB cs.DC
BestConfig: Tapping the Performance Potential of Systems via Automatic Configuration Tuning
越来越多的配置参数被提供给系统用户。但是，许多用户在不同的工作负载中使用一种配置设置，使系统的性能潜力尚未开发。良好的配置设置可以极大地提高部署系统在某些工作负载下的性能。但是，由于有数十或数百个参数，决定哪种配置设置可带来最佳性能就成了一项代价高昂的任务。虽然这样的任务需要在系统和应用程序的强大的专业知识，用户通常缺乏这样的专业知识。为了帮助用户挖掘系统的性能潜力，我们提出了BestConfig，一个系统自动找到一个最佳的配置设置在资源限制下的一个给定的应用程序的工作负载下部署的系统。BestConfig设计了一个可扩展的架构，以自动化一般系统的配置调优。为了在有限的资源范围内调整系统配置，我们提出了分而治之的采样方法和递归的边界和搜索算法。仅通过配置调整，BestConfig就可以将Tomcat的吞吐量提高75%，Cassandra提高63%，MySQL提高430%，并将Hive join job的运行时间减少约50%，Spark join job减少约80%。
2017-10-10 cs.DB cs.DC cs.PF
BigOP: Generating Comprehensive Big Data Workloads as a Benchmarking Framework
大数据被认为是公司、组织甚至国家的专有资产。把大数据变成真正的宝藏，需要大数据系统的支撑。各种商业和开源产品已经被释放用于大数据存储和处理。当大数据用户面临选择最适合他们需求的系统时，大数据系统开发人员面临的问题是如何根据一般大数据处理需求评估他们的系统。系统基准测试是满足上述需求的经典方法。然而，现有的大数据基准测试要么无法代表各种大数据处理需求，要么只针对一个特定的平台，例如Hadoop。在本文中，与我们的工业合作伙伴，我们提出了BigOP，一个端到端的系统基准测试框架，具有代表性的操作集，工作负载模式和规定的测试的抽象。BigOP是开源大数据基准测试项目BigDataBench的一部分。BigOP的抽象模型不仅指导了BigDataBench的开发，还支持自动生成具有全面工作负载的测试。我们通过实现一个自动测试生成工具和对三个广泛使用的大数据处理系统，即Hadoop，Spark和MySQL集群进行基准测试来说明BigOP的可行性。针对三种不同的应用场景规定了三个测试。测试涉及关系数据、文本数据和图形数据，以及所有操作和工作负载模式。我们按照测试规范报告结果。
2017-12-27 cs.DB cs.DC cs.PF
Cost-Effective Data Feeds to Blockchains via Workload-Adaptive Data Replication
向区块链提供外部数据，也就是数据馈送是实现区块链互操作性和支持新兴跨域应用程序（特别是稳定币）的一项重要任务。考虑到现实生活中的数据密集型提要（例如，高频价格更新）和使用区块链（即Gas）的高成本，降低数据馈送的Gas成本势在必行。受金融和其他应用程序中不断变化的工作负载的影响，这项工作的重点是设计一种动态的、工作负载感知的方法，以提高Gas的成本效益。这种设计空间在现有的区块链研究中没有得到充分研究，目前为止，区块链研究主要集中在静态数据放置上。这项工作提出了GRuB，这是一种具有成本效益的数据馈送，可以在区块链和链下云存储之间动态复制数据。GruB的数据复制通过监控当前工作负载并在线做出决策来适应工作负载。数据复制提出了一系列在线算法，以实现区块链Gas中的有界最坏情况成本。GruB在不受信任的云链下运行决策组件，以降低Gas成本，并采用安全协议来验证区块链和云之间传输的数据。整个GRuB系统可以随着工作负载的变化自动实现低Gas成本。我们构建了一个GruB原型，可以使用以太坊和Google LevelDB，并支持稳定币中的实际应用程序。在从以太坊合约调用历史收集的实际工作负载和YCSB的混合工作负载下，我们系统地评估了GRuB的成本，与静态数据放置的基线相比，Gas节省了10% ~ 74%。
2020-09-14 cs.CR cs.DB cs.DC
