Accelerating Relational Database Analytical Processing with Bulk-Bitwise Processing-in-Memory
本文提出利用批量位级内存计算(PIM)全栈适配关系型数据库OLAP应用,通过在内存中并行处理整个数据库并仅传输结果,相比Monet-DB实现4.65倍加速。
2023-07-02 cs.DB
Compacting Transactional Data in Hybrid OLTP & OLAP Databases
不断增长的主存容量促进了将整个数据库保存在主存中的数据库管理系统。这些内存系统带来的巨大性能改进使得在线事务处理(OLTP)和在线分析处理(OLAP)这两个领域的重新结合成为可能:一类新兴的混合OLTP和OLAP数据库系统允许直接对事务数据进行分析查询。通过为OLAP提供事务数据的任意当前快照,这些系统实现了实时商业智能。尽管单个商用服务器中的内存大小为几TB,但RAM仍然是一种宝贵的资源:由于空闲内存可以用于查询处理中的中间结果,因此内存量在很大程度上决定了查询性能。因此,我们建议压缩内存驻留数据库。压缩包括两个任务:首先,将可变的工作集与不可变的“冻结”数据分离。其次,压缩不可变数据并优化它,以实现高效、内存消耗友好的快照。我们的方法重新组织和压缩事务数据在线,但几乎没有影响关键任务的OLTP吞吐量。这是通过减轻OLTP线程的所有额外处理负担并异步执行这些任务来实现的。
2012-08-01 cs.DB
CoroBase: Coroutine-Oriented Main-Memory Database Engine
由于使用了指针丰富的数据结构,数据停顿是主存数据库引擎中的主要开销。轻量级协同程序通过重叠计算和异步数据预取简化了软件预取的实现,以隐藏数据停顿。然而,以前的解决方案主要集中在(1)单个组件和操作,以及(2)需要接口更改的事务内兼容性,破坏了向后兼容性。目前尚不清楚它们如何应用于完整的数据库引擎,以及它们在各种工作负载下带来了多少端到端的好处。本文介绍了\corobase,一个内存数据库引擎,解决了这些挑战与一个新的协同程序到事务的范例。协程到事务将事务建模为协程,从而实现事务间的互操作,避免了应用程序更改,但保留了预取的优点。我们发现,在48核服务器上,CoroBase在读取密集型工作负载方面的性能提高了近2倍,并且在本质上无法从软件预取中受益的工作负载方面保持了竞争力。
2020-10-29 cs.DB
Should Your Database Systems Use Hardware-Assisted Memory Safety Extensions in Production?
Technical University of Munich(慕尼黑工业大学)
本文通过数据库三难困境评估硬件辅助内存安全扩展MTE和CHERI,发现MTE开销约10%、可移植性高,CHERI安全更优但开销20-60%、移植量大,为数据库架构师提供实用指南。
2026-10-09 cs.DB
High-Performance Concurrency Control Mechanisms for Main-Memory Databases
针对内存存储优化的数据库系统可以支持比当前系统高得多的事务速率。然而,目前使用的标准并发控制方法不能按比例缩放到这样的系统可实现的高事务速率。在本文中,我们介绍了两个有效的并发控制方法专门设计的主存数据库。两者都使用多版本控制来隔离只读事务和更新,但在如何确保原子性方面有所不同:一个是乐观的,一个是悲观的。为了避免代价高昂的上下文切换,事务在正常处理期间从不阻塞,但它们可能必须在提交之前等待,以确保正确的序列化顺序。我们还实现了单版本锁定的主存优化版本。实验结果表明,虽然单版本锁工作时,事务短,竞争低,性能下降,在更苛刻的条件下。多版本方案具有更高的开销,但对热点和长时间运行的事务的存在不太敏感。
2011-12-31 cs.DB
Exact Selectivity Computation for Modern In-Memory Database Query Optimization
经过几十年的研究和工业发展,选择性估计仍然是查询优化中的一个关键任务。优化器在生成执行计划时依赖于准确的选择性。他们保持了大范围的统计概要,有效地估计选择性。尽管如此,小的错误-指数传播-可能导致严重的次优计划--特别是对于复杂的谓词。用于现代计算架构的数据库系统依赖于由大规模多线程并行性和向量化指令支持的大量内存中处理。但是,它们与传统的基于磁盘的数据库保持相同的查询优化概要方法。我们介绍了一种新的查询优化范例内存和GPU加速的数据库的基础上\textit{exact selectivity computation (ESC)}。ESC的核心思想是在查询优化过程中通过查询精确计算选择性。为了使该过程高效,我们提出了几个针对ESC应用的表和谓词的选择和物化的优化。我们在MapD开源数据库系统中实现了ESC。在TPC-H和SSB基准测试上的实验表明,ESC在GPU上运行时记录恒定且小于30毫秒的开销,并生成改进的查询执行计划,速度快32倍。
2019-01-06 cs.DB
Indexing Designs and Adaptive Data Distribution Optimization for In-Memory Databases on Hybrid DDR--CXL Memory
East China Normal University(华东师范大学)
针对混合DDR--CXL内存数据库,提出五种索引设计并开发自适应数据分布优化,通过分层热度跟踪和收益感知驱逐提升性能,使单一索引设计吞吐量最高提升至1.59倍。
2026-10-08 cs.DB
Why We Created Yet Another Memory Framework: Understanding MGA's Role in Next-Gen Database Systems
Oracle America Inc.(甲骨文美国公司)
本文针对现有数据库内存抽象的局限,提出Oracle AI Database的MGA共享内存方案,在TPC-H和ONNX推理测试中实现了显著的延迟降低与内存优化。
2026-08-25 cs.DB
Revisiting Reuse in Main Memory Database Systems
重用数据库中的中间体来加速分析查询处理已经在过去进行了研究。现有的解决方案通常需要将各个运算符的中间结果具体化为临时表,以便在后续查询中重用。然而,这些方法基本上不适合在现代主存数据库中使用。原因是现代主存DBMS通常受到内存总线带宽的限制,因此查询执行被大量优化以将元组保持在CPU缓存和寄存器中。为此,将额外的物化操作添加到查询计划中不仅会向内存总线添加额外的流量,而且更重要的是会阻止重要的缓存和寄存器局部性机会,从而导致高性能损失。在本文中,我们研究了一种新的重用模型的中间,缓存内部物理数据结构物化查询处理(由于管道断路器)和外部化,使他们成为可重用的即将到来的操作。我们重点讨论哈希表,这是主存数据库中最常用的内部数据结构,用于执行连接和聚合操作。当查询到达时,我们的重用感知优化器会对哈希表的重用机会进行推理,并采用成本模型,该模型将哈希表统计信息以及缓存层次结构中的CPU和数据移动成本考虑在内。基于我们的HashStash原型的实验结果证明了$2\times$在典型分析工作负载中的性能提升,并且没有额外的开销用于实现中间体。
2016-08-19 cs.DB
How to use Persistent Memory in your Database
持久性或非易失性存储器(PMEM或NVM)最近已经在具有不同目的和目标的若干配置下商业上可用。尽管关注的主题,我们不知道一个全面的实证分析现有的关系数据库引擎在不同的PMEM配置。这样的研究对于理解各种硬件配置的性能影响以及不同的数据库引擎如何从中受益非常重要。为此,我们分析了常见工作负载(TPC-C和TPC-H)下的三种不同引擎(PostgreSQL、MySQL和SQLServer),以及英特尔Optane NVM设备支持的所有可能的PMEM配置(PMEM作为AppDirect模式下的持久性内存,PMEM作为Memory模式下的易失性内存)。我们的结果描绘了一幅复杂的画面,由于涉及的因素很多,并不总是直观的。根据我们的研究结果,我们提供了关于不同引擎如何使用PMEM以及哪些配置和查询性能最佳的见解。我们的研究结果表明,使用PMEM作为持久存储通常会加快查询执行,但有一些警告,因为I/O路径没有完全优化。此外,在存储器模式下使用PMEM并不提供任何性能优势,尽管易失性存储器容量更大。通过对引擎和参数的广泛介绍,我们为在数据库中利用PMEM和调整关系引擎以利用这项新技术提供了一个重要的起点。
2021-12-01 cs.DB
Forecasting the cost of processing multi-join queries via hashing for main-memory databases (Extended version)
数据库管理系统(DBMS)仔细优化复杂的多连接查询,以避免昂贵的磁盘I/O。由于今天的服务器具有数十或数百GB的RAM,许多分析数据库的很大一部分成为内存驻留。即使在针对内存环境进行了仔细调优之后,线性磁盘I/O模型(如PostgreSQL中实现的模型)也可能对查询响应时间进行预测,其速度可能比内存驻留数据的最佳多连接查询计划慢2倍。本文介绍了一个内存I/O成本模型,以确定良好的评估策略,复杂的查询计划与多个基于哈希的等价连接内存驻留数据。使用三个不同的系统(包括Amazon EC2实例)仔细验证了建议的成本模型的准确性,以控制特定于硬件的差异。并行查询评估的先前工作提倡右深和浓密树的多连接查询,由于其更大的并行化和流水线的潜力。一个令人惊讶的发现是,基于磁盘的无共享系统的传统智慧并不直接适用于现代的一切共享存储层次结构。正如我们的模型所证实的那样,随着查询中连接数量的增加,最佳左深查询计划和右深查询计划之间的性能差距可以增长到大约10倍。
2015-07-21 cs.DB
Evolution of Buffer Management in Database Systems: From Classical Algorithms to Machine Learning and Disaggregated Memory
The Pennsylvania State University(宾夕法尼亚州立大学)
本文综述了数据库系统缓冲管理从经典算法到机器学习和解耦内存的演变,探讨了历史架构、生产系统实现及新兴趋势,并提出融合机器学习与内核可扩展性的研究方向。
2025-12-28 cs.DB
Massively Parallel Sort-Merge Joins in Main Memory Multi-Core Database Systems
在不久的将来,两个新兴的硬件趋势将主导数据库系统技术:每台服务器增加几TB的主存容量和大规模并行多核处理。当前数据库技术中的许多算法和控制技术都是为基于磁盘的系统设计的,其中I/O占主导地位。在这项工作中,我们重新审视了著名的排序合并连接,到目前为止,还没有在可扩展的大规模并行多核数据处理的研究重点,因为它被认为不如散列连接。我们设计了一套新的大规模并行排序合并(MPSM)加入算法的基础上部分分区排序。与经典的排序合并连接相反,我们的MPSM算法不依赖于难以并行化的最终合并步骤来创建一个完整的排序顺序。相反,它们在独立创建的运行上并行工作。这样,我们的MPSM算法是NUMA仿射的,因为所有的排序都是在本地内存分区上进行的。一个现代的32核机器与一TB的主内存上的广泛的实验评估证明了MPSM的大型主内存数据库与数十亿个对象的竞争力的性能。它在使用的核心数量上(几乎)线性扩展,并且明显优于竞争的哈希连接建议-特别是它比“尖端”Vectorwise并行查询引擎的性能高出四倍。
2012-06-30 cs.DB
How to evaluate NoSQL Database Paradigms for Knowledge Graph Processing
University of Messina(墨西拿大学)
本文提出针对知识图谱处理的NoSQL数据库范式评估框架,通过连接密度、规模和语义丰富度等指标,揭示不同数据库范式在性能上的交叉点,并提供基于证据的指导原则。
2026-02-07 cs.DB
Architectural Evolution and Selection Framework for Database Systems in AI-Ready Data Platforms
提出一个统一的多范式评估与选择框架,基于九个架构维度,通过工作负载特征化、约束过滤和兼容性评分,系统比较十三种数据库范式,揭示存储计算分离、工作负载驱动专业化、向AI就绪平台收敛三大演化模式,并通过金融欺诈检测案例验证。
2026-06-06 cs.DB
Taurus: Lightweight Parallel Logging for In-Memory Database Management Systems (Extended Version)
现有的单流日志记录方案不适合内存数据库管理系统(DBMS),因为单个日志通常是性能瓶颈。为了克服这个问题,我们提出了金牛座,一个有效的并行日志记录计划,使用多个日志流,并与数据和命令日志记录兼容。Taurus使用日志序列号(LSNs)向量跟踪和编码事务依赖关系。这些向量确保在日志记录中完全捕获依赖关系,并在恢复中正确实施。我们的实验评估与内存中的DBMS表明,金牛座的并行日志记录实现高达9.9倍和2.9倍的加速比单流数据记录和命令记录,分别。它还使DBMS恢复速度分别比数据和命令日志记录的基线快22.9倍和75.6倍。我们还将Taurus与两种最先进的并行日志记录方案进行了比较,结果表明,DBMS在NVMe驱动器上的性能提高了2.8倍,在HDD上提高了9.2倍。
2020-10-14 cs.DB
Fast Factorized Learning: Powered by In-Memory Database Systems
Technical University of Munich(慕尼黑技术大学);University of Bamberg(巴姆贝格大学)
本文提出利用内存数据库系统实现分解学习,通过预计算共因子显著提升线性回归训练效率,相比传统磁盘数据库系统提升100倍。
2025-12-10 cs.DB cs.LG
Two-sided RDMA Striking Back for Disaggregated Memory Databases
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对分离式内存数据库中单面RDMA的局限,提出结合轻量级缓存与高效批处理优化的Lotus,在YCSB基准中吞吐量提升8.2倍、p999延迟降低42.9倍。
2026-08-07 cs.DB
Empowering In-Memory Relational Database Engines with Native Graph Processing
过多的图和关系数据在各个领域中产生了许多有趣的图-关系查询,例如,在生物网络中找到满足关系谓词的相关蛋白质。RDBMS的成熟促使学术界和工业界致力于利用RDBMS进行图形处理,其中效率已被证明适用于重要的图形查询。然而,这些努力都没有在RDBMS内部原生地处理图,这是特别具有挑战性的,因为关系模型和图模型之间的阻抗不匹配。在本文中,我们建议将图视为关系引擎中的一等公民,以便在RDBMS中本地执行对图的操作。我们在VoltDB(一个开源的内存中关系数据库)中实现了我们的方法,并将此实现命名为GRFusion。GRFusion的SQL和查询引擎被授权以声明方式定义图形并执行由图形和关系运算符形成的跨数据模型查询计划,从而在查询时加速w.r.t.最先进的方法。
2017-10-12 cs.DB
A Comparative Study of Consistent Snapshot Algorithms for Main-Memory Database Systems
内存数据库(IMDB)在大数据应用程序中越来越受欢迎,其中客户端会频繁提交更新。具体地,IMDB必须具有高效的快照性能以支持某些特殊应用(例如,一致性检查点(HTAP)。形式上,内存中一致快照问题是指在1)客户端可以读取最新数据项和2)快照中的任何数据项不应被覆盖的约束下拍摄内存中一致的时间点快照。学术界已经提出了各种快照算法来权衡吞吐量和延迟,但Redis等工业IMDB坚持简单的分叉算法。为了理解这一现象,我们对主流快照算法进行了全面的性能评估。令人惊讶的是,我们观察到简单的fork算法在更新密集型工作负载场景中确实优于最先进的算法。在此基础上,找出了现有研究的不足,并提出了两种轻量级的改进方案。在合成数据和Redis上的广泛评估表明,我们的轻量级改进产生了比当前工业标准fork和学术界代表性快照算法更好的性能。最后,我们开源了上述所有快照算法的实现,以便从业者能够对每个算法的性能进行基准测试,并针对不同的应用场景选择合适的方法。
2018-10-11 cs.DB
Transactional Partitioning: A New Abstraction for Main-Memory Databases
OLTP(在线事务处理)应用程序的种类和数量的增长对OLTP系统提出了挑战,以满足现有硬件环境中的性能和成本需求。这些应用程序具有高度交互性(延迟敏感),并且需要更新一致性。他们以商用硬件为部署目标,并要求随着客户端和数据的增加而提高吞吐量的可扩展性。目前,这些应用程序所使用的OLTP系统在性能和各种应用程序的开发简易性方面提供了折衷。为了弥合性能和易于开发之间的差距,我们提出了一个直观的,高层次的编程模型,允许OLTP应用程序被建模为一个集群的应用程序逻辑单元。通过扩展事务,保证完整的ACID语义,提供建议的模型,我们保持应用程序开发的方便性。该模型允许应用程序开发人员对程序性能进行推理,并在没有OLTP系统设计人员(数据库设计人员)和/或DBA参与的情况下影响程序性能。因此,数据库设计人员可以自由地专注于程序的高效运行,以确保最佳的集群资源利用率。
2017-01-16 cs.DB
Mragyati : A System for Keyword-based Searching in Databases
通过许多搜索引擎站点,web已经普及了基于关键字的搜索范例,其中用户可以指定一串关键字并期望检索相关文档,可能根据其与查询的相关性进行排名。由于大量信息存储在数据库中(而不是以HTML文档的形式),因此为数据库提供类似的搜索范例非常重要,用户可以在不知道数据库模式和数据库查询语言(如SQL)的情况下查询数据库。在本文中,我们提出了这样一个数据库搜索系统,它接受一个自由形式的查询作为一个关键字的集合,将其转换为查询数据库上使用的数据库元数据,并提出了一个结构良好的查询结果和可浏览的形式。该系统将关键字映射到数据库模式上并使用相互关系(即,数据语义)来生成有意义的查询结果。我们还描述了我们的原型数据库搜索,称为Mragyati。这里提出的方法是可扩展的,因为它不会构建整个数据库的内存图来搜索用户查询所选对象之间的关系。
2001-10-25 cs.DB
EMBANKS: Towards Disk Based Algorithms For Keyword-Search In Structured Databases
近年来,在关系数据库的关键字查询领域中有很多兴趣。已经提出了各种系统,如DBXplorer [ACD 02]、Discover [HP 02]和ObjectRank [BHP 04]。另一个这样的系统是BANKS,它能够对关系数据库进行数据和模式浏览以及基于关键字的搜索。它将元组建模为图中的节点,由外键和其他关系引起的链接连接。BANKS使用的数据库图的大小与图中节点和边的数量之和成比例。SPIN等系统在个人信息网络上进行搜索并使用BANKS作为后台,维护了大量有关用户数据的信息。由于这些系统在用户工作站上运行,而用户工作站对存储器有其他要求,因此这种大量使用存储器是不合理的,如果可能的话,应该避免。为了缓解这个问题,我们引入EMBANKS(外部存储体的缩写),一个优化的基于磁盘的银行系统的框架。这个框架的复杂性提出了许多问题,其中一些我们试图在这篇论文中回答。我们证明了EMBANKS中提出的聚类表示可以在内存中处理非常大的数据库图形。我们还提出了详细的实验表明,EMBANKS可以显着减少数据库加载时间和查询执行时间相比,原来的银行算法。
2011-04-22 cs.DB
Serving Deep Learning Models with Deduplication from Relational Databases
从关系数据库服务深度学习模型有显著的好处。首先,从数据库中提取的特征不需要转移到任何解耦的深度学习系统进行推理,因此可以显著降低系统管理开销。其次,在关系数据库中,沿着存储层次的数据管理与查询处理完全集成,因此即使工作集大小超过可用内存,它也可以继续模型服务。应用模型重复数据删除可以大大减少存储空间、内存占用、缓存未命中和推理延迟。然而,现有的数据去重技术不适用于服务于关系数据库中的应用的深度学习模型。它们没有考虑对模型推理精度的影响以及张量块和数据库页面之间的不一致性。这项工作提出了协同存储优化技术的重复检测,页面打包,缓存,以提高数据库系统的模型服务。我们在netsDB,一个面向对象的关系数据库中实现了所提出的方法。评估结果表明,我们提出的技术显着提高了存储效率和模型推理延迟,并从关系数据库服务模型优于现有的深度学习框架时,工作集大小超过可用内存。
2022-10-21 cs.DB
An Adaptive Column Compression Family for Self-Driving Databases
现代内存数据库通常用于高性能工作负载,因此必须同时优化内存占用小和查询速度高。数据压缩有可能减少内存需求,但也常常降低查询速度。在本文中,我们提出了一种新的,自适应压缩器,提供了一个新的权衡点,这些方面,实现更好的压缩比LZ 4,同时达到查询速度接近最快的现有段编码器。我们评估我们的压缩机都与合成数据隔离和TPC-H和连接顺序基准,集成到一个现代的关系列存储,Hyrise。
2022-09-06 cs.DB
The Bi-Channel Networking Paradigm for Database Systems in the Cloud
Technische Universität München(慕尼黑工业大学);TigerBeetle;Firebolt Analytics
针对现代高速云网络中内核TCP栈成为数据库性能瓶颈的问题,提出双通道网络范式,将通信分离为高性能数据路径和可靠控制路径,结合用户空间UDP与内核TCP,在分布式shuffle和复制键值存储中实现高吞吐与低开销。
2026-06-19 cs.DB cs.DC
Bhakti: A Lightweight Vector Database Management System for Endowing Large Language Models with Semantic Search Capabilities and Memory
本文开发了轻量级向量数据库Bhakti,支持多种相似度计算与DSL预过滤,并提出基于该库的记忆增强LLM对话方案,通过为问答分配不同权重实现细粒度语义控制,在中小型数据集的语义搜索与问答场景中表现优异。
2025-04-07 cs.DB
Adaptive Logging for Distributed In-memory Databases
一种新类型的日志,命令日志,正在被用来取代传统的数据日志(例如,ARIES日志)中的数据。命令日志只跟踪正在执行的事务,而不是记录元组是如何更新的,从而有效地减少了日志的大小并提高了性能。另一方面,命令日志记录增加了恢复的成本,因为在最后一个检查点之后的日志中的所有事务都必须在失败的情况下完全重做。在本文中,我们首先扩展的命令日志记录技术的分布式环境中,所有的节点可以并行执行恢复。然后,我们提出了一个自适应的日志记录方法相结合的数据记录和命令记录。数据日志记录与命令日志记录的百分比成为事务处理和恢复性能之间的优化,以适应不同的OLTP应用程序。我们的实验研究比较了我们提出的自适应日志记录,ARIES风格的数据记录和命令日志记录的H-Store顶部的性能。结果表明,自适应日志记录可以实现10倍的恢复提升,并且事务吞吐量与命令日志记录相当。
2015-04-27 cs.DB
Is Agent Memory a Database? Rethinking Data Foundations for Long-Term AI Agent Memory
Concordia University(康科迪亚大学)
本文提出将长期AI智能体记忆视为一种新的数据管理工作负载,通过形式化治理演化记忆(GEM)框架,用四个状态级操作替代记录级操作,并论证记录级系统无法满足其正确性条件,最后通过原型MemState验证可行性并指出未来研究方向。
2026-05-25 cs.AI cs.DB
Optimizations and Heuristics to improve Compression in Columnar Database Systems
内存中的列式数据库在过去十年中已经成为主流,并且通过多核并行和内存中压缩大大提高了对大量数据的快速处理,从而消除了与基于磁盘的数据库相关的常见瓶颈。对于数据量增长到TB和PB的场景,将所有数据保存在内存中的成本过高。因此,使用不同的算法来有效地压缩数据,以利用多核并行化技术进行查询处理。研究了几种压缩方法来压缩列数组,后字典编码。在本文中,我们将提出两种新的优化压缩技术-块大小优化的集群编码和块大小优化的间接编码-比他们的前辈更好地执行。最后,我们还提出了算法来选择最好的编码之间的常见压缩方案。
2016-09-26 cs.DB
MIRA: Evidence-Verified Repair Memory for Text-to-SQL Correction
Beijing Institute of Technology(北京理工大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Shenzhen University(深圳大学)
本研究针对Text-to-SQL智能体生成的语义错误SQL问题,提出可插拔SQL修正器MIRA,将历史修正转为独立记忆项,经实验在BIRD和ScienceBenchmark数据集上显著提升了SQL执行准确率。
2026-08-10 cs.DB
A survey of LSM-Tree based Indexes, Data Systems and KV-stores
本文综述了基于LSM-Tree的索引、数据系统与KV存储的研究现状,涵盖其结构改进及持久内存等新兴存储技术带来的影响。
2024-02-27 cs.DB
Extracting and Analyzing Hidden Graphs from Relational Databases
通过使用图分析来分析数据集中的底层实体或对象之间的互连结构已被证明在许多应用领域中提供了巨大的价值。然而,图形并不是当今存储大多数数据的主要表示选择,并且为了访问这些分析,用户被迫从他们的数据存储中提取数据,构建必要的图形,然后将它们加载到一些图形引擎中,以便执行他们的图形分析任务。此外,这些图可能比存储在数据库中的初始输入大得多,使得在存储器中构造或分析这样的图是不可行的。在本文中,我们解决这两个挑战,通过建立一个系统,使用户能够声明指定图形提取任务的关系数据库模式,然后执行图算法提取的图形。为此,我们提出了一种声明性的特定于域的语言,并将其与一种新的浓缩的内存表示配对,该表示显着减少了这些图的内存占用,允许分析大于内存的图。我们提出了一个通用的算法来创建这个压缩表示的一个大类的图提取查询对任意模式。我们观察到,压缩表示遭受重复的问题,导致大多数图算法的不准确。然后,我们提出了一套内存中的表示,以不同的方式处理这种重复,并允许权衡所需的内存和执行不同的图算法的计算成本。我们引入新的重复数据删除算法,以消除这种重复的图形,这是独立的兴趣图压缩,并提供了一个全面的实验评估,在几个现实世界和合成数据集说明这些权衡。
2017-02-11 cs.DB
Persistent Buffer Management with Optimistic Consistency
找到在现代数据库系统上利用非易失性存储器(NVM)的最佳方法仍然是一个悬而未决的问题。答案远非微不足道,因为大多数系统中存在的存储器和存储之间的明确边界似乎与NVM的固有存储器-存储器二元性不兼容。而不是把NVM单独作为内存或单独作为存储,在这项工作中,我们提出了如何NVM可以同时用作现代数据库系统的上下文中。我们在NVM上设计了一个持久的缓冲池,使页面能够直接由CPU读取/写入(如内存),同时在故障后恢复损坏的页面(如存储)。我们的方法的主要好处是在现有的数据库体系结构,降低成本(通过用NVM取代DRAM),更快的峰值性能恢复的简单集成。
2019-05-16 cs.DB
A1: A Distributed In-Memory Graph Database
A1是一个内存中的分布式数据库,Bing搜索引擎使用它来支持对结构化数据的复杂查询。A1的关键推动因素是在商品硬件中提供廉价的DRAM和高速RDMA(远程直接内存访问)网络。A1使用FaRM作为其底层存储层,并在其上构建图形抽象和查询引擎。内存存储和RDMA访问的结合需要重新思考如何在大型分布式系统中分配,组织和查询数据。单个A1集群可以存储数百亿个顶点和边,并支持每秒3.5亿个顶点读取的吞吐量,端到端查询延迟为个位数毫秒。本文描述了A1数据模型、RDMA优化的数据结构和查询执行。
2020-04-12 cs.DB cs.DC
What If: Causal Analysis with Graph Databases
本文提出将因果分析与属性图范式对齐的愿景,通过重新思考图数据模型、查询语义和图视图以支持因果算子,使图数据库具备因果知识,推动数据驱动的个性化决策。
2024-12-18 cs.DB
Flash-based Extended Cache for Higher Throughput and Faster Recovery
考虑到磁盘和闪存驱动器之间的当前价格差距,对于处理大规模数据的应用,使用闪存驱动器来补充磁盘驱动器而不是替换它们在经济上将是更明智的。本文介绍了FaCE,这是一种新的低开销的缓存策略,使用闪存作为DRAM缓冲区的扩展。FaCE旨在提高事务吞吐量,并缩短系统故障的恢复时间。为了实现这一目标,我们提出了两个新的算法,闪存缓存管理,即多版本FIFO替换和组第二次机会。FaCE的一个显著结果是,使用小型闪存驱动器作为缓存设备可以提供比使用大型闪存驱动器存储整个数据库表更高的吞吐量。这是可能的,因为闪存写入优化以及通过FaCE缓存方法获得的磁盘访问减少。此外,FaCE利用闪存的非易失性,通过扩展持久数据库的范围以包括存储在闪存缓存中的数据页面来完全支持数据库恢复。我们已经在PostgreSQL开源数据库服务器上实现了FaCE,并在TPC-C基准测试中证明了其有效性。
2012-08-01 cs.DB
Relational Database Augmented Large Language Model
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Amazon(亚马逊公司)
提出一种LLM无关的记忆架构,通过数据库选择记忆、数据值记忆和关系数据库增强大型语言模型,使其能回答超出直接能力的数据库相关问题。
2024-07-21 cs.CL cs.DB
A Comprehensive Overview of GPU Accelerated Databases
本文针对GPU数据库缺乏跨系统对比研究的现状,提出一项涵盖多类GPU数据库系统的调研,通过SSB、TPC-H等基准分析其底层机制与性能指标,为该领域研究提供新方向。
2024-06-19 cs.DB
Spatial Indexing of Large Multidimensional Databases
诸如大型天文测量之类的科学工作产生了TB级的数据库。这些通常是多维数据库,必须进行可视化和挖掘,以便找到有趣的对象或提取有意义的和定性的新关系。这些任务所需的许多统计算法在对内存中的小数据集进行操作时运行得相当快,但在对不适合内存的大型数据库进行操作时会出现明显的性能下降。我们利用新的软件技术来开发和评估快速多维索引方案,这些方案本质上遵循数据的底层,高度不均匀的分布:它们是分层的均匀网格索引,分层的二进制空间分区,以及数据的采样平面Voronoi细分。我们的工作数据库是斯隆数字巡天的5维星等空间,拥有超过2.7亿个数据点,我们表明这些技术可以大大加快数据采掘操作,例如通过实例查找类似对象,对对象进行分类或将大量模拟集与观测结果进行比较。我们还在开发与多维数据库交互的工具,并以自适应的方式以多种分辨率显示数据。
2012-09-28 cs.DB
RTCUDB: Building Databases with RT Processors
针对现有基于CUDA核心的GPU数据库查询引擎性能受内存带宽限制的问题,提出首个利用GPU光线追踪核心的查询引擎RTCUDB,通过将查询转换为三维光线追踪任务优化访存,性能较现有最优GPU方案最高提升18.3倍。
2024-12-13 cs.DB
Stochastic Database Cracking: Towards Robust Adaptive Indexing in Main-Memory Column-Stores
现代商业应用和科学数据库要求固有的动态数据存储环境。这种环境的特点是两个具有挑战性的特点:(a)他们有很少的空闲系统时间投入物理设计;(b)有很少的,如果有的话,先验的工作负载知识,而查询和数据的工作负载保持动态变化。在这样的环境中,传统的索引构建和维护方法无法适用。数据库破解已经被提出作为一种解决方案,允许在运行中的物理数据重组,作为查询处理的附带影响。Cracking的目标是连续自动地使索引适应手头的工作负载,而无需人工干预。索引是按需增量、自适应地构建的。然而,正如我们所展示的,现有的自适应索引方法无法提供工作负载鲁棒性;它们在随机工作负载下的表现要比其他方法好得多。这种脆弱性源于这些方法将每个查询解释为数据应该如何存储的提示的不灵活性。当前的破解方案盲目地在每个查询的范围内重新组织数据,即使这导致连续的昂贵操作,索引收益最小。在本文中,我们介绍了随机破解,一个更有弹性的自适应索引方法。随机破解也使用每个查询作为如何重组数据的提示,但不是盲目的;它通过在决策中故意应用某些任意选择来获得弹性并避免性能瓶颈。因此,我们提出了自适应索引到一个成熟的配方,赋予以前的方法缺乏的工作负载鲁棒性。我们广泛的实验研究验证了随机破解保持了原始数据库破解所需的属性,同时在不同的现实工作负载下表现良好。
2012-03-01 cs.DB
ChatDB: Augmenting LLMs with Databases as Their Symbolic Memory
Tsinghua University(清华大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Zhejiang University(浙江大学)
本文提出 ChatDB 框架,将 SQL 数据库作为 LLM 的符号记忆,由 LLM 生成 SQL 指令操作数据库,以支持复杂多跳推理,并在合成数据集上验证其有效性。
2023-06-07 cs.AI cs.CL cs.DB
PolyMemDB: A Polyglot Database System for AI Memory Management
University of Helsinki(赫尔辛基大学)
针对现有智能体记忆系统的存储碎片化与事实冲突问题,推出PolyMemDB多语言数据库系统,通过多语言存储架构与概率推理引擎管理智能体记忆,以减少LLM幻觉并提升个性化体验。
2026-10-26 cs.AI cs.DB
Fast Failure Recovery for Main-Memory DBMSs on Multicores
内存数据库管理系统(DBMS)在现代多核机器上处理大量联机事务时具有优异的性能。但是现有的持久性机制,即元组级和事务级日志和恢复机制,要么降低了事务处理的性能,要么减慢了故障恢复的过程。在本文中,我们表明,通过利用应用语义,它是可能实现快速故障恢复,而不引入任何昂贵的日志开销的并发事务的执行。我们提出了PACMAN,一个并行数据库恢复机制,是专门为轻量级,粗粒度的事务级日志。PACMAN利用静态和动态分析的组合来并行化日志恢复:在编译时,PACMAN通过仔细分析程序内和程序间的依赖关系来分解存储过程;在恢复时间,PACMAN利用运行时参数值的可用性来获得具有高度并行性的执行时间表。因此,恢复性能显著提高。我们在一个运行在40核机器上的完全成熟的主存DBMS中评估了PACMAN。与几种最先进的数据库恢复机制相比,PACMAN可以在不影响事务处理效率的情况下显著缩短恢复时间。
2017-03-22 cs.DB
From Data Querying to Data Investigations: Rethinking Natural Language Interfaces for Databases
TU Darmstadt(达姆施塔特工业大学);MIT Darmstadt(达姆施塔特理工学院);DFKI(德国人工智能研究中心)
本文针对传统数据库自然语言接口仅支持单条SQL查询的局限,提出数据调查新范式,构建原型系统D²,结合新基准验证其在需证据决策的数据调查任务中优于传统单查询问答。
2026-09-04 cs.DB
Managing Query Compilation Memory Consumption to Improve DBMS Throughput
虽然在数据库页面缓冲池和查询执行内存分配策略之间存在已知的性能权衡,但很少有人写过查询编译内存使用对数据库管理系统(DBMS)的整体吞吐量的影响。我们提出了一个新的方面的查询优化问题,并提供了一个解决方案,在Microsoft SQL Server 2005中实现。该解决方案为各种工作负载提供稳定的吞吐量,即使内存请求超出了硬件为这些请求提供服务的能力。
2006-12-21 cs.DB
A comparison study of object-oriented database clustering techniques
人们普遍认为,一个好的对象聚类是关键的OODBs的性能。群集意味着将相关对象紧密地存储在辅存上,以便当从磁盘访问一个对象时,所有相关对象也都被带入内存。然后访问这些相关的对象是一个主存访问,比磁盘访问快得多。本文的目的是比较三种聚类算法:Cactis,CK和ORION的性能。仿真实验表明,Cactis算法在响应时间和分簇开销方面优于ORION算法,CK算法在性能上完全优于其他两种算法。
2016-11-28 cs.DB
Using In-Memory Encrypted Databases on the Cloud
将数据存储在云中会带来许多隐私问题。处理它们的一种方法是通过本地集中同步存储支持云上的数据复制和分发。在本文中,我们建议使用一个内存中的关系数据库管理系统与行级数据加密授予和撤销访问权分布式数据。这种类型的解决方案在传统的RDBMS中很少采用,因为它需要几个复杂的步骤。在本文中,我们专注于测试系统的实现和基准测试,这表明我们简单而有效的解决方案克服了大多数问题。
2011-09-16 cs.CR cs.DB cs.DC
Exploring Next Token Prediction For Optimizing Databases
本文提出 Probe and Learn(PoLe)框架,将下一令牌预测范式与决策Transformer及硬件生成令牌结合,用于数据库优化,并在 NUMA 服务器索引调度任务中验证其可提升性能与泛化能力。
2025-05-09 cs.DB
GPU-Powered Spatial Database Engine for Commodity Hardware: Extended Version
鉴于空间数据量的大规模增长,非常需要能够有效地评估大型数据集上的空间查询的系统。使用传统的数据库解决方案,这些查询是非常昂贵的。虽然通过强大的集群或具有大内存的服务器可以实现更快的响应时间,但由于成本和复杂性,这些选项对于构成长尾的许多数据科学家和分析师来说是遥不可及的。图形处理单元(GPU)现在甚至在商用台式机和笔记本电脑中也广泛使用,它提供了一种支持高性能计算的经济高效的替代方案,为有效评估空间查询开辟了新的机会。虽然文献中提出的基于GPU的方法在性能上有很大的改进,但它们与特定的GPU硬件相关联,并且只处理固定几何类型的特定查询。在本文中,我们提出了SPADE,GPU驱动的空间数据库引擎,支持丰富的空间查询。我们讨论了在大型数据集上实现高效查询评估以及跨不同GPU硬件的可移植性所面临的挑战,以及如何在SPADE中解决这些问题。我们进行了详细的实验评估,以评估广泛的查询和数据集的系统的有效性,并报告结果表明,SPADE是可扩展的,能够处理大于主内存的数据,其性能在笔记本电脑上是与其他系统,需要集群或大内存服务器。
2022-03-27 cs.DB
Zeta-Lite: A Concurrent, Branchable In-Browser SQL Database for Agentic Memory
Zeta-Lite是一款2.87 MB的浏览器内并发可分支SQL数据库,具备异步MVCC核心,性能达268k-315k点读/秒,适配智能体记忆场景,支持PostgreSQL兼容特性与OPFS持久化。
2026-09-03 cs.AI cs.DB
HTAP Databases: A Survey
本文全面综述了HTAP数据库,按四种存储架构对最先进的系统进行分类,回顾了混合工作负载处理等关键技术,并探讨了现有基准测试及未来的研究挑战与机遇。
2024-04-24 cs.DB
On Usage of Non-Volatile Memory as Primary Storage for Database Management Systems
本文研究将非易失性存储器(NVM)用作数据库主存储的影响,以PostgreSQL为例修改存储引擎并开发预取库,实验显示查询执行时间较磁盘和NVM存储最多减少54%和17%,平均减少23%和8%。
2025-02-13 cs.DB