Transactional Partitioning: A New Abstraction for Main-Memory Databases
OLTP（在线事务处理）应用程序的种类和数量的增长对OLTP系统提出了挑战，以满足现有硬件环境中的性能和成本需求。这些应用程序具有高度交互性（延迟敏感），并且需要更新一致性。他们以商用硬件为部署目标，并要求随着客户端和数据的增加而提高吞吐量的可扩展性。目前，这些应用程序所使用的OLTP系统在性能和各种应用程序的开发简易性方面提供了折衷。为了弥合性能和易于开发之间的差距，我们提出了一个直观的，高层次的编程模型，允许OLTP应用程序被建模为一个集群的应用程序逻辑单元。通过扩展事务，保证完整的ACID语义，提供建议的模型，我们保持应用程序开发的方便性。该模型允许应用程序开发人员对程序性能进行推理，并在没有OLTP系统设计人员（数据库设计人员）和/或DBA参与的情况下影响程序性能。因此，数据库设计人员可以自由地专注于程序的高效运行，以确保最佳的集群资源利用率。
2017-01-16 cs.DB
BranchBench: Aligning Database Branching with Agentic Demands
Columbia University（哥伦比亚大学）
BranchBench评估可分支关系型数据库在代理探索中的性能，发现优化分支速度的系统读取速度显著下降，而优化数据操作的系统分支创建延迟更高，凸显需设计专门支持代理探索的数据库。
2026-04-19 cs.DB cs.PF
Serving Database Information Using a Flexible Server in a Three Tier Architecture
费米实验室的D0实验依赖于一个中央Oracle数据库来存储所有探测器校准信息。分布在世界各地的数百个物理应用程序需要访问这些数据。为了满足这些应用程序的需求，从稀缺的资源，我们已经创建了一个分布式系统，隔离的用户应用程序的数据库设施。这个系统被称为数据库应用程序网络（DAN），在三层体系结构中作为中间层运行。DAN服务器采用分层缓存方案和数据库连接管理工具，限制对数据库资源的访问。模块化设计允许通过运行时配置来确定缓存策略和数据库访问组件。为了解决可伸缩性问题，代理数据库组件允许将DAN服务器布置在层次结构中。还包括一个基于事件的监控系统，目前正用于收集性能分析和问题诊断的统计数据。DAN服务器目前被实现为使用CORBA进行网络通信和接口规范的Python多线程程序。DAN的需求细节，设计和实施进行了讨论，以及操作经验和未来的计划。
2003-07-01 cs.DB cs.DC
NoSQL Databases: Yearning for Disambiguation
新的大数据密集型时代的苛刻要求提出了对能够处理大量非结构化数据并应对传统数据库面临的挑战的灵活存储系统的需求。NoSQL数据库在其异构性方面是一组功能强大且多样化的数据库，专为特定的工业和业务需求量身定制。然而，由于缺乏理论背景，即使是专家对许多NoSQL概念也缺乏共识，导致模糊和混乱。在本文中，我们提出了一个调查NoSQL数据库及其分类的数据模型类型。我们还进行了一个基准测试，以比较不同的NoSQL数据库，并区分它们的特点。此外，我们还介绍了NoSQL数据库及其相关概念的主要模糊和混乱领域，并试图消除它们的歧义。
2020-03-16 cs.DB
Partitioning Graph Databases - A Quantitative Evaluation
电子数据在规模和连通性方面都在以越来越快的速度增长：数据之间的关系越来越多，人们对数据之间的关系越来越感兴趣。一个例子是Twitter社交网络图。由于这种增长，对可以处理这些数据的技术的需求正在增加。目前，关系数据库是主要的技术，但它们不太适合处理连接的数据，因为它们针对索引密集型操作进行了优化。相反，图数据库针对图计算进行了优化。它们通过直接引用来链接记录，避免了索引查找，并且能够在恒定的时间内检索相邻的元素，而不管图的大小。然而，随着数据量的增加，这些数据库的增长超出了一台计算机的资源，数据分区变得必要。我们评估的可行性，使用图分区算法分区图数据库。开发了一个原型分区数据库。三个分区算法探讨和一个实施。使用了三个图形数据集：两个真实的和一个合成生成的。它们以各种方式进行分区，并测量对数据库性能的影响。我们为每个数据集定义了一个合成访问模式，并在分区数据集上执行。评估在模拟环境中进行，确保可重复性，并允许测量网络流量和负载平衡等指标。结果表明，与随机划分相比，划分算法减少了40- 90%的流量。在使用期间间歇地执行该算法保持了分区质量，同时只需要初始分区计算的1%。强相关性的理论质量指标和非均匀访问模式下产生的网络流量。
2013-01-22 cs.DB cs.DC
The World of Graph Databases from An Industry Perspective
快速增长的社交网络和其他图形数据已经在市场中对图形技术产生了很高的需求。因此，出现了大量的图形数据库、系统和解决方案。另一方面，图长期以来一直是数据库研究社区中的一个研究领域。尽管有许多关于各种图形研究主题的调查，但缺乏从行业角度对图形技术的调查。本文的目的是为研究界提供一个关于图数据库前景的行业视角，以便图研究人员能够更好地了解行业趋势和行业面临的挑战，并致力于解决这些问题的解决方案。
2022-11-23 cs.DB
DataKernelBench: Can LLMs Optimize Database Queries on GPUs?
IBM Research（IBM研究院）；TU Wien（维也纳技术大学）
本文提出DataKernelBench基准，评估LLM在GPU上优化数据库查询内核的能力，实验显示最强模型配置在TPC-H数据集上实现2.11倍加速，工作负载上下文对性能影响大于硬件上下文。
2026-10-16 cs.AI cs.CL cs.DB
From NoSQL Accumulo to NewSQL Graphulo: Design and Utility of Graph Algorithms inside a BigTable Database
Google BigTable针对分布式键值存储的横向扩展设计启发了一代NoSQL数据库。最近出现了NewSQL范例，以响应需要数据存储本地分布式计算的分析工作负载。许多这样的分析采用图算法的形式，这一趋势促使GraphBLAS倡议标准化一组矩阵数学内核以构建图算法。在这篇文章中，我们展示了如何通过展示Graphulo的设计来在BigTable数据库中实现GraphBLAS内核，Graphulo是一个用于在Apache Accumulo数据库中执行图形算法的库。我们详细介绍了Graphulo实现的两个图形算法，并进行实验比较其性能的两个主内存矩阵数学系统。我们的研究结果揭示了决定何时在数据库内部执行图形算法比外部系统更快的条件-简而言之，内存需求和相对I/O是关键因素。
2016-08-11 cs.DB cs.DC cs.MS
Design of Intelligent layer for flexible querying in databases
UIT, RGPV（UIT，RGPV）；JEC
基于计算机的信息技术已被广泛用于帮助许多组织、私人公司、学术和教育机构管理其流程，因此信息系统成为它们的神经中枢。由企业、科学和政府创建的海量数据集的爆炸式增长需要智能和更强大的计算范式，以便用户可以从这些数据中受益。因此，大多数新一代数据库应用需要智能信息管理，以提高数据库和用户之间的有效交互。数据库系统只支持布尔查询模型。SQL数据库上的选择查询返回所有满足查询条件的元组。
2009-12-11 cs.AI cs.DB
Big Data, Big Decisions Choosing the Right Database
本文对比SQL与NoSQL数据库在结构化查询、模式灵活性、数据一致性及水平扩展方面的差异，以帮助组织为大数据场景选择合适方案。
2024-05-09 cs.DB
cjdb: a simple, fast, and lean database solution for the CityGML data model
本文提出cjdb，一种基于PostgreSQL和JSON的CityGML数据存储方案，仅需3张表，相比3DCityDB节省约10倍存储空间，并提升导入导出速度，检索性能相当。
2023-07-13 cs.DB
Vector database management systems: Fundamental concepts, use-cases, and current challenges
该研究为叙述性文献综述，针对向量化数据高维、稀疏的特性带来的管理难题，系统介绍向量数据库管理系统的基本概念、应用场景与当前挑战，为相关研究者和从业者提供参考概览。
2024-02-16 cs.DB
Data Management in Microservices: State of the Practice, Challenges, and Research Directions
微服务已经成为数据驱动应用程序的流行架构风格，因为它们能够在功能上将应用程序分解为小型和自治的服务，以实现数据库系统的可扩展性，强隔离性和针对每个服务的工作负载和数据格式的专业化。尽管这种架构风格在工业上的采用正在加速，但缺乏对实践状态和从业者在微服务中面临的数据管理挑战的调查。为了弥合这一差距，我们对报告采用微服务的代表性文章进行了系统的文献综述，我们分析了一组流行的开源微服务应用程序，并进行了一项在线调查，以交叉验证前面步骤的结果与120多位经验丰富的从业者和研究人员的看法和经验。通过这个过程，我们能够对微服务中数据管理的实践状态进行分类，并观察到几个无法单独通过软件工程实践解决的基本挑战，而是需要系统级支持来减轻从业者的负担。我们讨论了最先进的数据库系统在微服务方面的缺点，最后我们为面向微服务的数据库系统设计了一组功能。
2021-08-22 cs.DB cs.SE
Generating Query Context for Relational Databases
Tursio
针对关系数据库自然语言查询中查询上下文构建耗时且存在冷启动的问题，提出自动生成查询上下文的方法，通过查询流生成数据模型并用加权采样实例化，已在50多个真实数据库上部署。
2026-09-23 cs.DB
A Modern Approach to Integrate Database Queries for Searching E-Commerce Product
电子商业是指利用电子数据传输来增强业务流程和实施业务策略。电子商业的明确组成部分包括提供售后服务、推销服务或产品到服务、处理付款、参与交易过程、确定客户需求、处理付款和创造服务或产品。近一段时间以来，电子商业的使用在民间已经变得太普遍了。然而，电子商业网站日益增长的需求使得数据库必须支持直接查询Web页面。本研究旨在探讨和评估整合数据库查询及其在电子商务产品搜索中的应用。据分析，电子商业是近几十年来在商业世界中出现的最突出的趋势之一。因此，本研究的目的是探讨整合数据库查询与电子商业产品搜索的好处。这项研究的结果表明，数据库查询是非常有价值的电子商业网站，因为他们使产品搜索更简单，更准确。在这种情况下，集成数据库查询的方法被认为是最合适和令人满意的，因为它简化了搜索的电子商业产品。
2017-07-01 cs.DB
Extensible Database Simulator for Fast Prototyping In-Database Algorithms
随着数据规模的快速增长，数据库内分析和学习已经成为数据科学界研究最多的课题之一，因为它对缩小数据管理和分析之间的差距具有重要意义。通过扩展数据库在分析和学习方面的能力，数据科学家可以节省大量在数据库和外部分析工具之间交换数据的时间。为了实现这一目标，研究人员正在尝试将更多的数据科学算法集成到数据库中。然而，在主流数据库中实现这些算法是非常耗时的，特别是当需要深入研究数据库内核时。因此，需要一个易于扩展的数据库模拟器，以帮助快速原型化和验证数据库中的算法，然后再将它们实现在真正的数据库中。在这个演示中，我们展示了这样一个可扩展的关系数据库模拟器DBSim，以帮助数据科学家原型化他们的数据库内分析和学习算法，并以最小的成本验证他们的想法的有效性。DBSim通过集成主流关系数据库系统中的所有主要组件，包括SQL解析器、关系运算符、查询优化器等，模拟出一个真实的关系数据库。此外，DBSim还提供了各种接口，使用户可以在不修改内核的情况下，灵活地将自定义扩展模块插入到任何一个主要组件中。通过这些接口，DBSim支持对SQL语法、关系运算符、查询优化器规则和成本模型以及物理计划执行的简单扩展。此外，DBSim还提供了查询计划可视化工具和优化规则交互分析器等实用工具，方便用户进行开发和调试。我们使用纯Python开发DBSim，以支持大多数数据科学算法的无缝实现，因为其中许多算法都是用Pytho…
2022-10-10 cs.DB
ArcNeural: A Multi-Modal Database for the Gen-AI Era
本研究提出面向生成式AI与大语言模型的多模态数据库ArcNeural，采用存算分离架构融合图、向量索引等技术，实验证明其性能与可扩展性优于前沿系统，为企业级AI应用提供通用数据管理方案。
2025-06-11 cs.DB
NL4ST: A Natural Language Query Tool for Spatio-Temporal Databases
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；The Hong Kong University of Science and Technology（香港科技大学）
NL4ST是一种用于时空数据库的自然语言查询工具，通过三层架构实现自然语言到查询计划的转换，支持非专业人士高效查询时空数据。
2026-01-22 cs.DB
High-Performance Concurrency Control Mechanisms for Main-Memory Databases
针对内存存储优化的数据库系统可以支持比当前系统高得多的事务速率。然而，目前使用的标准并发控制方法不能按比例缩放到这样的系统可实现的高事务速率。在本文中，我们介绍了两个有效的并发控制方法专门设计的主存数据库。两者都使用多版本控制来隔离只读事务和更新，但在如何确保原子性方面有所不同：一个是乐观的，一个是悲观的。为了避免代价高昂的上下文切换，事务在正常处理期间从不阻塞，但它们可能必须在提交之前等待，以确保正确的序列化顺序。我们还实现了单版本锁定的主存优化版本。实验结果表明，虽然单版本锁工作时，事务短，竞争低，性能下降，在更苛刻的条件下。多版本方案具有更高的开销，但对热点和长时间运行的事务的存在不太敏感。
2011-12-31 cs.DB
GRAPHITE: An Extensible Graph Traversal Framework for Relational Database Management Systems
图遍历是各种图算法和面向图的查询的基本要素。为了实现最佳的查询性能，它们需要在数据库管理系统的核心实现，该系统旨在存储，操作和查询图形数据。越来越多的现代业务应用程序需要本机图查询和处理能力，用于对存储在关系数据库管理系统中的数据进行企业关键操作。在本文中，我们提出了一个可扩展的图形遍历框架（GRAPHITE）作为中央图形处理组件的一个共同的存储引擎内的关系数据库管理系统。我们研究了图的拓扑结构对图遍历的执行时间的影响，并推导出两个专门用于不同的图拓扑结构和遍历查询的遍历算法实现。我们对GRAPHITE进行了大量的实验，用于各种真实世界的图形数据集和输入配置。我们的实验表明，所提出的遍历算法不同的输入配置的两个数量级，因此证明需要一个通用的框架，以有效地处理图形遍历广泛的不同的图形拓扑结构和类型的查询。最后，我们强调，我们的遍历实现的查询性能是有竞争力的两个原生图数据库管理系统。
2014-12-19 cs.DB
The Sloan Digital Sky Survey Science Archive: Migrating a Multi-Terabyte Astronomical Archive from Object to Relational DBMS
斯隆数字巡天科学档案馆是天文学和其他数据密集型科学的一系列多TB数字档案中的第一个。为了便于SDSS存档中的数据采掘，我们采用了一个商业数据库引擎，并在其上构建了专门的工具。最初，我们选择了一个面向对象的数据库管理系统，由于其数据组织能力，平台独立性，查询性能和概念上适合的数据。然而，在项目的前几年使用对象数据库之后，它很快就开始在查询支持和数据采掘性能方面出现不足。这是由于数据库供应商无法响应我们对功能和错误修复的需求，因为他们未能跟上硬件性能的快速改进，特别是更快的RAID磁盘系统。最后，我们被迫放弃对象数据库，将我们的数据迁移到关系数据库。我们在下面描述了我们在对象数据库方面所面临的技术问题，以及我们如何以及为什么迁移到关系技术。
2004-03-12 cs.DB
ParquetDB: A Lightweight Python Parquet-Based Database
ParquetDB是一种基于Parquet的轻量级Python数据库，通过列式存储和谓词下推提升大数据处理效率，优于SQLite和MongoDB，并在Alexandria 3D材料数据库中高效管理约480万条复杂记录。
2025-04-21 cs.DB physics.data-an
EMBANKS: Towards Disk Based Algorithms For Keyword-Search In Structured Databases
近年来，在关系数据库的关键字查询领域中有很多兴趣。已经提出了各种系统，如DBXplorer [ACD 02]、Discover [HP 02]和ObjectRank [BHP 04]。另一个这样的系统是BANKS，它能够对关系数据库进行数据和模式浏览以及基于关键字的搜索。它将元组建模为图中的节点，由外键和其他关系引起的链接连接。BANKS使用的数据库图的大小与图中节点和边的数量之和成比例。SPIN等系统在个人信息网络上进行搜索并使用BANKS作为后台，维护了大量有关用户数据的信息。由于这些系统在用户工作站上运行，而用户工作站对存储器有其他要求，因此这种大量使用存储器是不合理的，如果可能的话，应该避免。为了缓解这个问题，我们引入EMBANKS（外部存储体的缩写），一个优化的基于磁盘的银行系统的框架。这个框架的复杂性提出了许多问题，其中一些我们试图在这篇论文中回答。我们证明了EMBANKS中提出的聚类表示可以在内存中处理非常大的数据库图形。我们还提出了详细的实验表明，EMBANKS可以显着减少数据库加载时间和查询执行时间相比，原来的银行算法。
2011-04-22 cs.DB
Compliance in Databases: A Study of Structural Policies and Query Optimization
IIIT Bangalore（印度理工学院班加罗尔分校）；Microsoft India（微软印度）
研究探讨结构化政策对查询优化的影响，提出政策语法框架以分析合规政策对数据库系统性能的作用。
2026-04-17 cs.DB
Complete Approximations of Incomplete Queries
Free University of Bozen-Bolzano（波尔扎诺自由大学）
本文研究部分完整数据库上合取查询的完全可回答性，提出通过最大完全特化（MCS）和最小完全泛化（MCG）对不完全查询进行最佳近似，并给出不动点刻画、计算方法和基于ASP与Prolog的实现技术。
2024-07-30 cs.AI cs.DB
vChain: Enabling Verifiable Boolean Range Queries over Blockchain Databases
由于加密货币和去中心化应用程序的蓬勃发展，区块链最近受到了关注。对于查询存储在区块链数据库中的数据的需求越来越多。为了确保查询的完整性，用户可以维护整个区块链数据库并在本地查询数据。然而，这种方法如果不是不可行的话，也是不经济的，因为区块链的数据量巨大，维护成本相当高。在本文中，我们迈出了研究区块链数据库上可验证查询处理问题的第一步。我们提出了一个新的框架，称为vChain，它降低了用户的存储和计算成本，并采用可验证的查询来保证结果的完整性。为了支持可验证的布尔范围查询，我们提出了一个基于累加器的认证数据结构，使动态聚合任意查询属性。进一步开发了两个新的索引来聚合块内和块间的数据记录，以实现高效的查询验证。我们还提出了一个倒排前缀树结构，以加速处理大量的订阅查询同时进行。安全性分析和实证研究验证了所提出的技术的鲁棒性和实用性。
2018-12-06 cs.CR cs.DB
GeoGauss: Strongly Consistent and Light-Coordinated OLTP for Geo-Replicated SQL Database
Northeastern University（东北大学）；Huawei Technology Co., Ltd（华为技术有限公司）；Tsinghua University（清华大学）
本文提出GeoGauss，一种全复制多主架构的OLTP数据库，通过多主OCC机制实现高效数据合并与并发处理，提供强一致性与轻量协调协议，实验显示其在TPC-C基准测试中吞吐量和延迟均优于CockroachDB。
2023-04-19 cs.DB
Building Scalable AI-Powered Applications with Cloud Databases: Architectures, Best Practices and Performance Considerations
Sr. Solutions Architect（高级解决方案架构师）
本文系统分析了云原生数据库与AI工作负载集成的架构模式与最佳实践，涵盖向量、图、NoSQL及关系型数据库，并通过性能评估和行业案例为企业构建高性能、可扩展且成本高效的AI应用提供实用指导。
2025-04-26 cs.AI cs.DB
Tata Kelola Database Perguruan Tinggi Yang Optimal Dengan Data Warehouse
新的高等教育机构的出现创造了高等教育市场的竞争，而数据仓库可以作为提高高等教育市场竞争力的有效技术工具。数据仓库在短时间内为机构的高层管理人员生成可靠的报告，以便更快更好地做出决策，不仅是增加学生的入学人数，而且还可以为机构找到特殊的非常规资金。效率比较基于OLTP数据库和数据仓库上处理的记录的长度和数量、处理的总字节、处理的表的数量、运行查询的时间和产生的记录。通过百分比增长公式计算效率百分比，平均效率百分比为461.801.04%，表明使用数据仓库比使用OLTP数据库更强大和高效。数据仓库是基于超立方体的数据仓库模型，超立方体是由有限的高需求的报告，通常被高层管理人员使用。在每个事实和维度表中，将插入表示加载建设性合并的字段，其中ETL（提取，转换和加载）过程基于旧文件和新文件运行。
2010-06-08 cs.DB
Communicating Data Quality in On-Demand Curation
按需策展（ODC）工具，如Paygo，KATARA和Mimir允许用户推迟昂贵的策展工作，直到必要时。与不响应对潜在错误数据的查询的经典数据库相反，ODC系统用猜测或近似来回答。这些猜测的质量和范围可能会有所不同，ODC系统能够将此信息传达给最终用户至关重要。本文的核心贡献是一个初步的用户研究评估的认知负担和表现力的四个表征的“属性级”的不确定性。该研究表明：（1）用户解释测试的四种不确定性所需的时间无显著差异;（2）不确定性的不同表现会改变人们解释和反应数据的方式。最终，我们表明，一套UI设计指南和最佳实践传达不确定性将是必要的ODC工具是有效的。这份文件是制定这种准则的第一步。
2016-06-07 cs.DB
Prolog as a Querying Language for MongoDB
今天的数据库系统已经证明能够支持需要大量数据处理的AI应用程序。为此，这些系统采用了强大的查询语言，远远超出了单纯的数据检索，并提供了先进的设施，以及数据处理。在SQL的情况下，该语言甚至在该语言的某些实现中被证明是图灵完备的。在NoSQL数据库领域，目前广泛采用的是MongoDB数据库。MongoDB数据库中的XML表示为聚合管道中的顺序阶段，其中每个阶段定义输入数据的转换，并将转换后的数据传递到下一阶段。但是对于更复杂的计算问题，聚合查询往往变得相当大，缺乏组织成可重用的片段，因此难以调试和维护。我们提出了一个新的数据库查询语言称为Mongolog的Prolog语言的语法的一个子集，我们定义其操作语义通过翻译成聚合管道。为此，我们利用和扩展的MQuery语言的形式框架，其特征在于聚合框架集理论上。
2021-10-04 cs.DB
A Spatial Data Model for Moving Object Databases
移动对象数据库将在地理空间信息系统中发挥重要作用，因为它们允许用户对数据库中实体的连续移动进行建模并执行时空分析。为了表示和查询移动对象，需要具有用户定义类型的综合框架的代数以及这些类型上的一组函数。此外，对于现实世界的应用，移动对象沿着交通网络等受约束的环境移动，因此也需要额外的代数来建模网络。这些代数可以插入到任何数据模型中，如果它们的设计是基于可用的标准，例如为现有DBMS提供公共模型的开放地理空间联盟。在本文中，我们专注于扩展的空间数据模型的约束移动对象。我们模型中的静态和移动几何图形基于开放地理空间联盟标准。我们还扩展了结构化的查询语言检索，查询和操纵时空数据相关的移动对象作为一个简单的和富有表现力的查询语言。最后，作为概念证明，我们实现了一个生成器来生成受交通网络约束的移动对象的数据。这种生成器主要针对交通规划应用。
2014-03-13 cs.DB
Polynesia: Enabling Effective Hybrid Transactional/Analytical Databases with Specialized Hardware/Software Co-Design
数据量呈指数级增长，加上对实时分析的需求不断增加（即，使用最新的数据），已经导致了同时支持事务和数据分析的数据库系统的出现。这些混合事务和分析处理（HTAP）数据库系统可以支持实时数据分析，而无需在单独的单一用途数据库之间进行同步的高成本。不幸的是，对于执行高数据更新率的许多应用，与仅执行事务或仅隔离地执行分析相比，最先进的HTAP系统导致事务（高达74.6%）和/或分析（高达49.8%）吞吐量的显著下降，这是由于（1）CPU和存储器之间的数据移动，（2）数据更新传播，以及（3）一致性成本。我们提出波利尼西亚，在内存HTAP数据库的硬件-软件协同设计的系统。波利尼西亚（1）将HTAP系统划分为事务处理岛和分析处理岛，（2）实现自定义算法和硬件以降低更新传播和一致性的成本，以及（3）利用分析岛的内存处理来减轻数据移动。我们的评估表明，波利尼西亚优于三个最先进的HTAP系统，平均交易/分析吞吐量提高了1.70倍/3.74倍，并比之前的最低能耗系统降低了48%的能耗。
2021-03-01 cs.AR cs.DB
Bhakti: A Lightweight Vector Database Management System for Endowing Large Language Models with Semantic Search Capabilities and Memory
本文开发了轻量级向量数据库Bhakti，支持多种相似度计算与DSL预过滤，并提出基于该库的记忆增强LLM对话方案，通过为问答分配不同权重实现细粒度语义控制，在中小型数据集的语义搜索与问答场景中表现优异。
2025-04-07 cs.DB
Relational Database Augmented Large Language Model
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Amazon（亚马逊公司）
提出一种LLM无关的记忆架构，通过数据库选择记忆、数据值记忆和关系数据库增强大型语言模型，使其能回答超出直接能力的数据库相关问题。
2024-07-21 cs.CL cs.DB
PyODDS: An End-to-End Outlier Detection System
Texas A&M University（德州农工大学）
PyODDS是一个端到端的Python系统，用于数据库支持的离群值检测。PyODDS提供离群点检测算法，满足不同领域用户的需求，w/wo数据科学或机器学习背景。PyODDS提供了在数据库中执行机器学习算法的能力，而无需将数据移出数据库服务器或通过网络。它还提供了广泛的离群值检测算法，包括统计分析和最近的基于深度学习的方法。PyODDS是在MIT开源许可下发布的，目前可在（https：//github.com/datamllab/pyodds）获得，官方文档在（https：//pyodds.github.io/）。
2019-10-11 cs.DB cs.LG stat.ML
In-Database Data Imputation
University of Edinburgh（爱丁堡大学）
针对缺失数据问题，本工作提出在数据库内使用MICE方法进行高效可扩展插补，利用计算共享和环抽象加速模型训练，在PostgreSQL和DuckDB中实现比现有技术快两个数量级且保持高质量。
2024-01-07 cs.DB cs.LG
Seamless Data Migration between Database Schemas with DAMI-Framework: An Empirical Study on Developer Experience
North Carolina State University（北卡罗来纳州立大学）；Universidade da Coruña（拉科鲁尼亚大学）；Centro de Investigación CITIC（CITIC研究中心）
本文提出DAMI框架，通过领域特定语言和解析器简化数据库模式间的数据迁移，实验证明其在可读性和易用性方面优于传统SQL，减少了迁移工作量。
2025-04-24 cs.DB cs.SE
Accelerating Pathology Image Data Cross-Comparison on CPU-GPU Hybrid Systems
作为空间数据库在病理成像分析中的一个重要应用，交叉比较大量分割的显微解剖对象的空间边界需要极其数据和计算密集型的操作，需要以可承受的成本的高吞吐量。然而，空间数据库系统的性能并不令人满意，因为它们的空间操作的实现不能充分利用现代并行硬件的能力。在本文中，我们提供了一种定制的软件解决方案，该解决方案利用GPU和多核CPU以经济高效的方式加速空间交叉比较。我们的解决方案包括一个高效的GPU算法和一个流水线的系统框架，任务迁移支持。大量的实验与真实世界的数据集证明了我们的解决方案的有效性，它提高了空间交叉比较的性能超过18倍，与并行空间数据库的方法。
2012-08-01 cs.DB
Greenplum: A Hybrid Database for Transactional and Analytical Workloads
企业数据仓库解决方案支持实时在线事务处理（OLTP）查询以及长时间运行的在线分析处理（OLAP）工作负载的需求正在增长。Greenplum数据库传统上被称为OLAP数据仓库系统，处理OLTP工作负载的能力有限。在本文中，我们将Greenplum扩展为一个混合系统，以同时为OLTP和OLAP工作负载提供服务。我们在这里所面临的挑战是在保持ACID属性的同时以最小的性能开销实现这一目标。在这项工作中，我们确定了工程和性能瓶颈，如表现不佳的限制性锁定和两阶段提交协议。接下来，我们解决事务查询和分析查询之间的资源争用问题。我们提出了一个全局死锁检测器，以增加查询处理的并发性。当保证更新数据的事务只驻留在一个段上时，我们引入了单阶段提交来加速查询处理。我们的资源组模型引入了将OLAP和OLTP工作负载分离到更合适的查询处理模式的功能。TPC-B和CH-benCHmark基准测试表明，我们的方法在不牺牲OLAP性能的情况下提高OLTP性能的有效性。
2021-05-14 cs.DB
FastER: On-Demand Entity Resolution in Property Graphs
针对按需实体解析场景，提出基于图差分依赖和渐进式调度的FastER框架，显著提升效率与实时性。
2025-10-08 cs.DB
SQL and NoSQL Databases Software architectures performance analysis and assessments -- A Systematic Literature review
内容：大数据的有效处理对于SQL和NoSQL数据库来说是一项具有挑战性的任务，其中称职的软件架构起着至关重要的作用。SQL数据库旨在构建数据并支持垂直可伸缩性。相比之下，水平可扩展性由NoSQL数据库支持，可以有效地处理大量非结构化数据。人们可以根据组织的需求选择正确的范式;然而，做出正确的选择往往具有挑战性。SQL和NoSQL数据库遵循不同的架构。此外，每个类别的NoSQL数据库都遵循混合模型。因此，跨多个云服务提供商（CSP）的云消费者的数据移动变得困难。此外，每个云平台IaaS、PaaS、SaaS和DBaaS也监控各种范例。目的：本系统性文献综述（SLR）旨在研究与SQL和NoSQL数据库软件架构相关的相关文章，并解决各种云平台之间的数据可移植性和互操作性。通过观察可伸缩性、性能、可用性、一致性和分片特性，提出了SQL和NoSQL数据库的许多性能比较研究。根据研究，NoSQL数据库设计的结构可以是大数据分析的正确选择，而SQL数据库适合OLTP数据库。研究人员提出了许多与云中数据移动相关的方法。开发了基于平台的API，这使得用户的数据移动变得困难。因此，在跨多个CSP的数据移动期间，注意到数据可移植性和互操作性问题。为了最大限度地减少开发人员的工作量和互操作性，需要统一API来使数据在各种云平台之间的移动相对更容易访问。
2022-09-14 cs.AI cs.DB cs.PL
Enabling High-Performance and Energy-Efficient Hybrid Transactional/Analytical Databases with Hardware/Software Cooperation
数据量的增长，加上对实时分析（使用最新数据）的需求不断增加，导致了同时支持事务和数据分析的数据库系统的出现。这些混合事务和分析处理（HTAP）数据库系统可以支持实时数据分析，而无需在单独的单一用途数据库之间进行同步的高成本。不幸的是，对于执行高速率数据更新的许多应用，最先进的HTAP系统在事务处理中招致显著的损失。（高达74.6%）和/或分析（高达49.8%）的吞吐量相比，仅执行事务或仅分析查询隔离，由于（1）数据移动之间的CPU和内存，（2）从事务性工作负载到分析性工作负载的数据更新传播，以及（3）在整个系统中维护一致的数据视图的成本。我们提出波利尼西亚，一个硬件-软件协同设计的系统，在内存中的HTAP数据库，避免了传统的HTAP系统的大吞吐量损失。波利尼西亚（1）将HTAP系统划分为事务处理岛和分析处理岛，（2）实现新的定制硬件，解锁软件优化，以降低更新传播和一致性的成本，（3）利用分析岛的内存处理来减轻数据移动开销。我们的评估表明，波利尼西亚优于三个最先进的HTAP系统，平均交易/分析吞吐量提高了1.7倍/3.7倍，并比之前的最低能耗HTAP系统降低了48%的能耗。
2022-04-24 cs.AR cs.DB
Random Access Concatenated Libraries and dd enable a short-latency high-content website on an inexpensive shared server
内容丰富的网站通常将其图像保存为单独的文件或更昂贵的二进制数据库对象。这两种方法都对存储资源提出了很高的要求，同时也带来了相当高的货币成本。廉价的共享服务帐户对磁盘和计算资源有严格的限制，这阻止了它们用于托管内容丰富的网站。为了最小化这些有限资源上的负载，可以将大量图像或其他记录连接到单个文件中，并使用Linux实用程序dd以与文件内的位置无关的短延迟进行交付。该解决方案及其性能的（a）一个网站，其中包含8000+家谱参考书，超过350万250-Kbyte页的图像，（b）一个基于网站的数据库的86万死亡记录，和（c）集群计算应用程序，利用800个神经成像数据库，每个150万条记录。这些不同的应用程序展示了该解决方案的功效、可扩展性和通用性。
2022-10-15 cs.DB
Stochastic Database Cracking: Towards Robust Adaptive Indexing in Main-Memory Column-Stores
现代商业应用和科学数据库要求固有的动态数据存储环境。这种环境的特点是两个具有挑战性的特点：（a）他们有很少的空闲系统时间投入物理设计;（b）有很少的，如果有的话，先验的工作负载知识，而查询和数据的工作负载保持动态变化。在这样的环境中，传统的索引构建和维护方法无法适用。数据库破解已经被提出作为一种解决方案，允许在运行中的物理数据重组，作为查询处理的附带影响。Cracking的目标是连续自动地使索引适应手头的工作负载，而无需人工干预。索引是按需增量、自适应地构建的。然而，正如我们所展示的，现有的自适应索引方法无法提供工作负载鲁棒性;它们在随机工作负载下的表现要比其他方法好得多。这种脆弱性源于这些方法将每个查询解释为数据应该如何存储的提示的不灵活性。当前的破解方案盲目地在每个查询的范围内重新组织数据，即使这导致连续的昂贵操作，索引收益最小。在本文中，我们介绍了随机破解，一个更有弹性的自适应索引方法。随机破解也使用每个查询作为如何重组数据的提示，但不是盲目的;它通过在决策中故意应用某些任意选择来获得弹性并避免性能瓶颈。因此，我们提出了自适应索引到一个成熟的配方，赋予以前的方法缺乏的工作负载鲁棒性。我们广泛的实验研究验证了随机破解保持了原始数据库破解所需的属性，同时在不同的现实工作负载下表现良好。
2012-03-01 cs.DB
Analyzing Large-Scale, Distributed and Uncertain Data
当今时代数据的指数增长以及从数据中获取信息和知识的需求为数据库研究人员提出了新的挑战。已知的数据库系统和算法不再能够有效地处理这样大的数据集。MapReduce是一种新的编程范式，用于使用计算机集群处理大规模数据的分布式问题。在这项工作中，我们从三个不同的角度探索MapReduce范式。我们首先研究了数据采掘领域中的一个著名问题：在大型数据集上挖掘闭频繁项集。通过利用MapReduce的强大功能，我们提出了一种新的算法，挖掘封闭的频繁项集，优于现有的算法。接下来，我们将探讨“大数据”的基本含义之一：数据并不是完全确定的。概率数据库是一种关系数据库，其附加特征是每个元组都与其存在的概率相关联。MapReduce的一个自然的发展是一个分布式的关系数据库管理系统，其中关系演算已减少到一个组合的地图和减少功能。我们采取这种发展进一步提出了一个查询优化器在分布式，概率数据库。最后，我们分析了MapReduce最著名的实现Hadoop，旨在克服其主要缺点之一：它不直接支持在不同作业中重复处理的数据的显式规范。许多数据挖掘算法，如聚类和关联规则，需要迭代计算：相同的数据一次又一次地处理，直到计算收敛或满足停止条件。我们建议对Hadoop进行修改，以便它将支持在不同作业中有效访问相同的数据。
2017-12-05 cs.DB
Building an OceanBase-based Distributed Nearly Real-time Analytical Processing Database System
OceanBase, Ant Group（蚂蚁集团）
OceanBase Mercury是一款专为千万字节级数据设计的创新OLAP系统，通过自适应列式存储、差分刷新机制和多态向量化引擎，在查询延迟上显著优于专用OLAP引擎，实现高效分析与操作的平衡。
2026-02-07 cs.DB
Iterative Forgetting: Online Data Stream Regression Using Database-Inspired Adaptive Granulation
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
针对数据流回归中的低延迟与概念漂移挑战，提出受数据库R*-树启发的自适应粒化与迭代遗忘模型，实现数量级延迟和训练时间改进，同时保持预测精度。
2024-03-14 cs.DB cs.LG
Text2Schema: Filling the Gap in Designing Database Table Structures based on Natural Language
Hunan University（湖南大学）；Peking University（北京大学）
本文提出Text2Schema问题及基于LLM的多智能体框架SchemaAgent，将自然语言需求自动转换为关系数据库模式，并开源381对基准数据，实验证明其优越性。
2025-10-17 cs.AI cs.DB
Oblivious Query Processing
受云安全问题的影响，人们对可以存储和支持对加密数据的查询的数据库系统越来越感兴趣。这种系统的常见架构是使用可信组件，例如用于查询处理的密码协处理器，其用于安全地解密数据并以明文执行计算。可信组件具有有限的内存，因此大部分（输入和中间）数据在不可信的存储中保持加密，并根据“需求”移动到可信组件。“”在这种设置下，即使使用强加密，来自不可信存储的数据访问模式也有可能泄露敏感信息;实际上，所有使用可信组件对加密数据进行查询处理的现有系统都存在此漏洞。在本文中，我们进行了第一次正式的研究安全查询处理，对手有充分的知识的查询（文本），并观察查询执行学习没有关于底层数据库以外的数据库上的查询的结果大小。我们引入了一个更简单的概念，不经意的查询处理，并正式表明，一个查询承认安全的查询处理，当它承认不经意的查询处理。我们提出了一个丰富的数据库查询，涉及选择，连接，分组和聚合的不经意的查询处理算法。对于我们的算法不处理的查询，我们提供了一些初步的证据，设计不经意（因此安全）的算法将很难通过减少两个简单的，研究充分的问题，通常认为是困难的。我们对不经意查询处理的研究也揭示了与数据库连接理论的有趣联系。
2013-12-14 cs.DB
NeurIDA: Dynamic Modeling for Effective In-Database Analytics
National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）；Duke University（杜克大学）
NeurIDA通过动态数据库建模实现端到端的数据库分析，提升分析效果和效率。
2026-09-21 cs.DB
An Automated LLM-based Pipeline for Asset-Level Database Creation to Assess Deforestation Impact
Imperial College London（伦敦帝国理工学院）
本文提出一种基于大语言模型的自动化数据提取流水线，结合IRZ-CoT提示与检索增强验证，从SEC EDGAR文件中构建资产级数据库，以提升毁林影响评估和监管合规能力。
2025-05-05 cs.AI cs.DB cs.IR
HDDB: Efficient In-Storage SQL Database Search Using Hyperdimensional Computing on Ferroelectric NAND Flash
HDDB利用铁电NAND闪存和超维计算实现高效存储内SQL数据库搜索，通过大规模并行性和最小数据移动，降低延迟和能耗。
2025-11-23 cs.AR cs.DB
