Implementation of the fast table grid user interface element for working with large database tables
带有垂直滚动条的表网格用户界面元素是处理数据库表记录的标准方式。每个网格都应该支持两种基本操作：使用垂直滚动条滚动记录和使用给定的主键码定位到记录。本文讨论的情况下，记录的数量是如此之大，它是不可行的加载到内存中，数据库功能，如“选择..“偏移量”的工作速度不够快，给RDBMS带来了不必要的负载。我们的主要思想是只使用涉及索引查找的查询（O（Log（N）-快速操作），并使用超几何分布的统计特性来“猜测”给定序号的记录的主键。所提出的方法使我们能够实现一个网格与O（Log（N））-快速滚动和定位性能。
2016-03-03 cs.DB
A Closer Look at Variance Implementations in Modern Database Systems
方差是抽样聚合查询的一个流行且经常是必要的组成部分。它通常用作次要测量，以确定结果的统计特性，例如其误差。然而，它的计算成本比\texttt{SUM}、\texttt{MEAN}和\texttt{COUNT}等简单的主要度量更高。存在许多计算方差的技术。虽然方差的定义被认为需要对数据进行多次传递，但其他数学表示可以在单次传递中计算值。然而，一些单通道表示可能会遭受严重的精度损失，特别是对于大量的数据点。在本文中，我们研究了各种现实世界的系统中的方差实现，并发现主要的数据库系统，如PostgreSQL 9.4和最有可能的系统X，一个主要的商业使用的闭源数据库，使用的表示是有效的，但遭受浮点精度损失造成的灾难性取消。我们注意到另一种流行的表示，如MySQL和Impala，遭受不分布式，因此不能利用现代并行计算资源的数据库中使用的缺陷。我们回顾了过去五十年来统计和数据库社区中方差计算的文献，并总结了在各种设置中实现方差函数的建议，例如近似查询处理和大规模分布式聚合。
2016-12-23 cs.DB
Design and Implementation of Fragmented Clouds for Evaluation of Distributed Databases
在本文中，我们提出了一个碎片混合云（FHC），它提供了多个地理上分布的私有云计算中心的统一视图。FHC利用了一种分散的使用模型，在这种模型中，外包是跨私有云的双向的，私有云可以由静态和移动实体托管。私有云节点的移动性方面对FHC在延迟和网络吞吐量方面的性能具有重要影响，延迟和网络吞吐量与不同节点之间的时变距离成正比。移动性还导致FHC基础设施的计算节点和网络链路之间的间歇性中断。为了充分考虑移动性及其后果，我们实现了一个分层的FHC，它利用了Linux实用程序和Shell编程。我们还评估了节点的移动性对分布式数据库性能的影响，这是由于随时间变化的延迟和带宽、缩小和扩大集群节点以及网络可访问性。我们广泛的实验结果提供了对知名大数据数据库（如Cassandra，MongoDB，Redis和MySQL）在FHC上部署时的性能的深入了解。
2022-09-20 cs.DB
D4M 3.0: Extended Database and Language Capabilities
D4 M工具的开发是为了满足当今的许多数据需求。数百名研究人员使用该工具对非结构化数据进行复杂的分析。在过去的几年里，D4 M工具箱已经发展到支持与各种新数据库引擎（包括SciDB）的连接。D4 M-Graphulo提供了在Apache Accumulo数据库中进行图形分析的能力。最后，使用Julia程序设计语言的实现现在也可用。在本文中，我们将介绍D4 M工具箱的一些最新功能以及即将发布的D4 M 3.0版本。我们通过基准测试和扩展结果表明，我们可以使用D4 M-SciDB连接器实现快速SciDB摄取，使用Graphulo可以在内存有限的范围内启用图形算法，并且D4 M的Julia实现了与现有MATLAB（R）实现相当的性能或超过现有MATLAB（R）实现。
2017-08-09 cs.DB
Proving correctness for SQL implementations of OCL constraints
本文提出一种基于模型的方法，通过将SQL子集和OCL映射到多类一阶逻辑，利用SMT求解器自动证明手动编写的OCL约束SQL实现的正确性，并给出示例和工具支持。
2025-09-10 cs.DB
Graphulo Implementation of Server-Side Sparse Matrix Multiply in the Accumulo Database
Apache Accumulo数据库擅长分布式存储和索引，非常适合存储图形数据。许多大数据分析计算图形数据，并将其结果保存回数据库。这些图形计算通常最好在数据库服务器内部执行。GraphBLAS标准通过少量的稀疏矩阵运算为广泛的图形应用提供了紧凑而高效的基础。在本文中，我们通过利用Accumulo的本地高性能迭代器来实现GraphBLAS稀疏矩阵乘法服务器端。我们比较了内外积实现的数学和性能，并展示了外积实现如何在Accumulo的峰值写入速率附近实现最佳性能。我们将我们的工作作为核心组件提供给Graphulo库，该库将为Accumulo中的图形分析提供矩阵数学原语。
2015-08-30 cs.DB cs.DC cs.MS
Adding HL7 version 3 data types to PostgreSQL
HL7标准被广泛用于以电子方式交换医疗信息。作为标准的一部分，HL7定义了标量通信数据类型，如物理量、时间点和概念描述符，但也定义了复杂类型，如间隔类型、集合类型和概率类型。典型的HL7应用程序将它们的通信存储在数据库中，从而导致从HL7概念和类型到数据库类型的转换。由于这些数据类型并不是为在关系数据库服务器中实现而设计的，因此这种转换很麻烦，并且充满了程序员错误。本文的目的有二。首先，我们分析HL7版本3数据类型定义，并定义必须满足的一些条件，使数据类型适合在关系数据库中实现。作为这种分析的结果，我们描述了一些可能的改进HL7规范。其次，我们描述了PostgreSQL数据库服务器中的实现，并表明该数据库服务器可以有效地执行科学计算与测量单位，支持大量的操作的时间点和间隔，并可以执行类似于医疗术语服务器的操作。合成数据上的实验表明，用户定义的类型比只使用数据库服务器中的标准数据类型的实现执行得更好。
2010-03-17 cs.DB
Experiences with Some Benchmarks for Deductive Databases and Implementations of Bottom-Up Evaluation
OpenRuleBench是一个大型的规则引擎基准套件，其中包括演绎数据库。我们之前提出了一种将Datatron转换为C++的方法，该方法将派生的元组立即“推”到使用它们的地方。在本文中，我们报告的性能结果，这种方法相比，XSB，YAP和DLV的各种实施方案的变体。我们只研究了OpenRuleBench问题的一小部分，但我们对每个这样的任务和影响性能的因素进行了相当详细的分析。结果不仅显示了我们的方法和实现方法的潜力，但可能是有价值的任何人实现系统，应该能够执行所讨论的类型的任务。
2017-01-03 cs.DB cs.LO cs.PF
Design & Implementation Approach for Error Free Clinical Data Repository for the Medical Practitioners
任何疾病的现代治疗都严重依赖于医学诊断。需要收集通过诊断测试获得的临床数据并将其输入计算机数据库，以便建立临床数据库。在大多数情况下，手动输入是绝对必要的。然而，手动输入也可能导致错误，导致错误的诊断。本文通过一个简单的数据库驱动应用程序的设计和实现，说明了如何无错误地输入数据，以减少错误诊断的机会。
2015-03-30 cs.DB
RTCUDB: Building Databases with RT Processors
针对现有基于CUDA核心的GPU数据库查询引擎性能受内存带宽限制的问题，提出首个利用GPU光线追踪核心的查询引擎RTCUDB，通过将查询转换为三维光线追踪任务优化访存，性能较现有最优GPU方案最高提升18.3倍。
2024-12-13 cs.DB
NeurDB: On the Design and Implementation of an AI-powered Autonomous Database
National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）；Renmin University of China（中国人民大学）；Beijing Institute of Technology（北京理工大学）
本文提出AI驱动的自治数据库NeurDB，通过在数据库内无缝集成AI工作流，支持库内分析与快速自适应的学习型系统组件，以应对数据和工作负载动态变化。
2025-01-05 cs.AI cs.DB cs.LG
A fixed storage distributed graph database hybrid with at-scale OLAP expression and I/O support of a relational DB: Kinetica-Graph
本文将讨论一种分布式图形数据库体系结构，该体系结构与分布式关系数据库共存，用于I/O和大规模OLAP表达式支持，具有数百个PostGIS兼容的几何函数。这种实现的独特性主要源于其双链路拓扑结构，因为其固定的存储特性独立于节点到边缘连接的变化。该实现的另一个值得注意的贡献是其分布式图服务器之间的非阻塞客户端-服务器通信架构。还实现了基于节点重复的非检查分区方案，确保使用地理空间、随机和显式分片选择的分布式过滤进行最小通信。最后，一个有效的重新平衡算法，其次是一个分布式的最短路径求解器将展示与地理空间和社交网络的例子。
2022-01-03 cs.DB
Frequent itemsets mining for database auto-administration
随着一般数据库和特别是数据仓库的广泛发展，减少数据库管理员必须手动执行的任务是重要的。自动管理系统的目标是自动管理和适应自己，而不会损失（甚至获得）性能。使用数据采掘技术从数据本身中提取有用的管理知识的想法已经存在了一些年。然而，很少有研究取得了成果。然而，这个想法仍然是一个非常有前途的方法，特别是在数据仓库领域，查询是非常异构的，不能很容易地解释。本研究的目的是寻找一种从存储的数据中提取有用知识的方法，以自动应用性能优化技术，特别是索引技术。我们设计了一个工具，从给定的工作负载中提取频繁项集来计算索引配置，以帮助优化数据访问时间。我们执行的实验表明，我们的工具生成的索引配置允许在测试数据库和测试数据仓库上获得15%到25%的性能提升。
2008-09-16 cs.DB
Implementation of Association Rule Mining for Network Intrusion Detection
现代的入侵检测系统都是基于数据采掘和以数据库为中心的体系结构，其中出现了许多数据采掘技术，其中关联规则挖掘是数据采掘研究的重要内容之一。这种方法确定大型数据项集之间的有趣关系。这种技术最初被应用于所谓的购物篮分析，其目的是发现超市顾客的购物行为。与通常需要数百个属性的购物篮分析数据集相比，网络审计数据库面临数十个属性。针对事务数据库的这种特点，对传统的关联规则挖掘算法Apriori进行了改进。本文提出了一种改进的Apriori算法，该算法通过事务切割和散列，只需扫描网络审计数据库一次，在实际应用中非常有用。
2016-08-04 cs.CR cs.DB
Spatial database implementation of fuzzy region connection calculus for analysing the relationship of diseases
Isfahan University of Technology（伊斯法罕理工大学）
分析海量的空间数据在医疗、城市规划、农业等新兴分析和决策领域起着重要作用，为了从地理数据中提取有意义的知识，需要分析空间数据对象之间的关系。一类重要的关系是拓扑关系，如区域之间的连通性或重叠。而现实世界中的地理区域，如湖泊或森林，没有确切的边界，是模糊的，大多数现有的分析方法忽略了拓扑关系的这一固有特性。提出了一种基于模糊区域连接演算（RCC）的空间数据库拓扑关系处理方法。该方法在PostGIS空间数据库中实现，并在分析疾病之间的关系作为一个重要的应用领域进行了评估。我们还使用我们的模糊RCC实现模糊化的天际线运营商在空间数据库。评估的结果表明，我们的方法提供了一个更现实的空间关系视图，并提供了更大的灵活性，数据分析师提取有意义的和准确的结果相比，现有的方法。
2016-05-10 cs.AI cs.CG cs.DB
Configuration Database for BaBar On-line
组态数据库是BaBar在线系统的重要组成部分。它为数据采集系统和控制系统中需要运行时参数的不同部分提供服务。配置数据库的原始设计和实现在实验开始以来成功的BaBar操作中发挥了重要作用。最近对配置数据库设计的补充为数据管理提供了更好的手段，并增加了新的工具来简化主要配置任务。我们描述了配置数据库的设计，它的实施与Objectivity/DB面向对象的数据库，和我们的经验，在多年的操作过程中收集。
2003-05-29 cs.DB cs.IR
LLM-based Dynamic Differential Testing for Database Connectors with Reinforcement Learning-Guided Prompt Selection
针对数据库连接器漏洞难检测、传统方法及普通LLM测试生成覆盖不足的问题，提出强化学习引导的参数化提示词LLM测试生成方法，结合差分测试迭代优化提升覆盖率，在两款JDBC连接器上发现16个问题。
2025-06-13 cs.DB
The HSF Conditions Database Reference Implementation
本文介绍HSF条件数据库的服务与客户端参考实现，采用Django+PostgreSQL+POSIX文件系统的分离设计，支持高访问速率与分布式计算，已在sPHENIX实验超2.5万核环境中验证部署与扩展能力。
2024-01-29 cs.DB hep-ex
AIM: A practical approach to automated index management for SQL databases
Meta Platforms, Inc.（Meta平台公司）
提出AIM自动索引管理系统，通过配置化方法识别SQL数据库中的有效二级索引，优化资源利用，并在生产环境中验证了快速收敛、减少查询优化器依赖和无回归保证等特性。
2026-05-29 cs.DB
Easy and Fast Design and Implementation of PostgreSQL based image handling application
在现代计算中，RDBMS非常适合存储不同类型的数据。对于开发人员来说，主要目标之一是为现有问题提供一个非常低成本和易于使用的解决方案。虽然商业数据库更容易使用，而且它们的新功能和文档化功能都有复杂的许可成本，但免费的开源数据库在许多情况下并不那么简单。本文展示了如何设计和修改一个完全免费的高级开源RDBMS（如PostgreSQL）来存储和检索高质量的图像，以便将它们与前端应用程序一起使用。
2015-03-18 cs.DB
Experience-Enhanced Learning: One Size Still does not Fit All in Automatic Database
近年来，数据库委员会试图开发自动数据库管理系统。虽然有研究表明，将人工智能应用于数据管理是一个重要的、有前途的方向，但在将这些技术应用于实际应用中仍然存在许多问题（训练时间长、环境多样、性能不稳定）。在本文中，我们发现，传统的基于规则的方法有可能解决上述问题。我们提出了三种改进学习方法的方法，即有效预训练的标签收集，模型转移的知识库和稳定性能的理论保证。我们在两种广泛使用的学习方法上实现了我们的方法，深度学习和强化学习。首先，新的经验增强深度学习（EEDL）可以实现高效的训练和稳定的性能。我们评估EEDL与基数估计，一个必不可少的数据库管理。在四个真实数据集上的实验结果表明，我们的EEDL可以优于一般的DL模型[2]。其次，我们设计了一种新的经验增强强化学习（EERL），它可以有效地收敛，并且比一般的RL模型有更好的性能[3]。我们测试EERL与在线索引调优任务。在TPC-H上的实验表明，EERL能加速智能体的收敛，产生更好的解，推广了强化学习。
2021-11-21 cs.DB
Living Databases: A Unified Model for Continuous Schema Evolution, Versioning, and Transformations
University of Maryland（马里兰大学）
本文提出一个统一模型，整合持续的模式演化、版本控制和转换，支持溯源跟踪、条件更新传播和可配置警报，通过关系型数据库系统原型展示实验结果。
2026-05-01 cs.DB
High-concurrency Custom-build Relational Database System's design and SQL parser design based on Turing-complete automata
数据库系统是软件项目中不可缺少的一部分。它在数据组织和存储中起着重要作用。它的性能和效率直接关系到软件的性能。现在我们有很多通用的关系数据库系统可以在我们的项目中使用，比如SQL Server、MySQL、Oracle等，不可否认的是，在大多数情况下，我们都可以轻松的使用这些数据库系统来完成我们的项目，但是考虑到通用性，通用的数据库系统往往不能发挥极致的速度，完全适应我们的项目。在极少数项目中，我们需要设计一个完全适应我们项目的数据库系统，并具有高效率和并发性。因此，考虑一个可行的数据库系统设计方案是非常重要的（这里我们只考虑关系数据库系统）。同时，对于数据库系统来说，SQL解释和执行模块是必要的。根据形式语言和自动机的理论，该模块的实现可以用自动机来完成。在实验中，我们做了以下几个方面的工作：1）设计了一个小型的关系数据库，并利用该数据库完成了一个高并发的学生选课系统。2)我们设计了一个通用的自动机模块，它可以完成从解析到执行的操作。采用了策略模型和事件驱动的设计方案，并对一般自动机进行了改进，如在自动机中加入了类似记忆的结构，使其更好地存储上下文。所有这些使得自动机模型可以应用于各种场合，而不仅仅是SQL语句的解析和执行。
2020-08-11 cs.DB cs.SE
Version Reconciliation for Collaborative Databases
我们提出了MindPalace，一个有效的协作数据管理的版本化数据库的原型。MindPalace支持离线协作，用户可以独立工作，而无需实时通信。MindPalace的核心是离线协作的关键步骤：协调由同步数据操作产生的不同分支。我们正式的自动合并的概念，在这种情况下，分支可以不需要人为干预的协调，并提出了一个有效的框架，以确定两个分支是否是自动合并，并确定特定的记录手动和解。
2021-10-05 cs.DB
Automated Database Indexing using Model-free Reinforcement Learning
Pontifical Catholic University of Rio Grande do Sul (PUCRS)（南里奥格兰德天主大学）
针对数据库索引配置依赖专业知识、易造成资源浪费与性能下降的问题，提出基于无模型强化学习的自动索引架构，性能优于现有强化学习与遗传算法方案，可适配大型数据库。
2020-07-25 cs.AI cs.DB
On Order-independent Semantics of the Similarity Group-By Relational Database Operator
相似性分组（SGB，简称）已被提出作为一个关系数据库操作符，以满足新兴的数据库应用的需要。在文献中已经提出了许多扩展SQL的SGB运算符，例如，一维空间中的相似性算子。这些操作符具有各种语义。根据这些运算符的实现方式，某些实现可能会导致不同的数据分组。因此，如果SQL代码从一个数据库系统移植到另一个数据库系统，不能保证代码将产生相同的结果。在本文中，我们研究了多维空间中的关系相似度分组运算符的各种语义。我们定义了一类与顺序无关的SGB运算符，这些运算符产生相同的结果，而不管输入数据呈现给它们的顺序。使用从图论中借用的区间图的概念，我们证明了，对于某些SGB运营商，存在顺序独立的实现。对于这些操作符中的每一个，我们都提供了一个与顺序无关的示例算法。此外，我们证明了，对于其他SGB运营商，不存在一个顺序独立的实现，因此这些SGB运营商是不好定义的，不应该被采用的扩展SQL实现相似性分组。在本文中，我们介绍了一个SGB运营商，即SGB-All，分组多维数据使用相似性。SGB-All形成组，使得一个数据项（比如O）属于一个组（比如G），当且仅当O与G中的所有其他数据项在用户定义的阈值内。换句话说，SGB-All中的每个组在多维空间中形成附近数据项的集团。我们证明了SGB-All是阶无关的，即，对于每个选项存在至少一个算法，该算法独立于输入数据的呈现顺序。
2014-12-14 cs.DB
Array Requirements for Scientific Applications and an Implementation for Microsoft SQL Server
本文概述了天体物理学和流体动力学模拟领域的某些场景，这些场景需要支持阵列数据类型的高性能数据仓库。所有这些用例的一个共同特征是，在服务器端（尽可能在数据库服务器进程内）对数据进行子集化和预处理，这对于避免客户端-服务器开销和最小化IO利用率是必要的。分析和总结各个领域的需求有助于软件工程师提出对关系数据库系统的阵列扩展的综合设计，该系统涵盖了广泛的科学应用。我们还提出了一个工作实现的数组数据类型的Microsoft SQL Server 2008支持大规模的科学应用程序。我们介绍了阵列类型的设计，从性能评估的结果，并讨论了从这种实现中吸取的教训。该库可以从我们的网站http://voservices.net/sqlarray/下载
2011-10-08 cs.DB
Technical Report: Parallel Distance Threshold Query Processing for Spatiotemporal Trajectory Databases on the GPU
处理移动对象的轨迹出现在许多应用领域，并已解决了从业者在时空数据库和地理信息系统社区。在这项工作中，我们专注于一个轨迹相似性搜索，距离阈值查询，它发现在给定的距离d内的搜索轨迹在一个时间间隔内的所有轨迹。我们展示了一个多线程实现的性能，其特点是使用一个R-树索引，并具有很高的并行效率（78%-90%）。我们介绍了一个GPGPU的实现，它避免了使用索引树，而是具有GPU友好的索引方法。我们比较多线程和GPU实现的性能，并表明，可以使用后者获得的加速比。我们提出了两类算法，SetSplit和GreedySetSplit，以创建高效的查询批次，减少内存压力和GPU上的计算成本。然而，我们发现使用固定大小的批次在实践中是足够有效的。我们开发了一个经验的性能模型，我们的GPGPU实现，可用于预测的响应时间的距离阈值查询。这个模型可以用来选择一个好的查询批量大小。
2014-09-13 cs.DB cs.DC
Nonparametric Bayesian Modeling for Automated Database Schema Matching
合并数据库的问题出现在许多政府和商业应用中。模式匹配是常见的第一步，它识别数据库之间的等效字段。我们引入了一个模式匹配框架，为每个字段建立非参数贝叶斯模型，并通过计算单个模型可能生成两个字段的概率来比较它们。我们的实验表明，我们的方法是更准确和更快的比现有的基于实例的匹配算法的一部分，因为使用非参数贝叶斯模型。
2015-07-06 cs.DB cs.IR
Tracking Network Events with Write Optimized Data Structures: The Design and Implementation of TWIAD: The Write-Optimized IP Address Database
访问网络流量记录是识别和解决网络安全漏洞的一个组成部分。即使随着网络攻击的日益复杂，基本网络事件（如两个IP地址之间的连接）在任何网络防御中都起着重要作用。考虑到当前攻击的持续时间，长期数据存档至关重要，但通常很少有数据被访问。以前的工作提供了工具，并确定了跟踪连接的需要。然而，传统的数据库会引起性能问题，因为它们是针对查询而不是摄取进行优化的。写优化数据结构（WODS）的研究是一个新的和不断增长的领域，其为传统的存储结构（例如，B树）。WODS以查询性能的轻微下降换取快速插入更多数据元素的能力的显著提高，通常是每秒插入10到100倍。这些高效的内存不足数据结构在实现对网络事件的长期稳健跟踪方面发挥着关键作用。在本文中，我们提出了TWIAD，写优化的IP地址数据库。TWIAD使用称为B ε树的写优化B树来跟踪网络流量流中的所有IP地址连接。我们最初的实施重点是利用低成本的硬件，证明基本的长期跟踪可以在没有先进设备的情况下完成。我们在一个普通的桌面系统上测试了TWIAD，并显示出每秒约20，000次插入的持续摄取率。
2015-11-30 cs.CR cs.DB
Sample Debiasing in the Themis Open World Database System (Extended Version)
开放世界数据库管理系统假设数据库中没有的元组仍然存在，并且正在成为一个越来越重要的研究领域。我们提出了Themis，第一个开放世界的数据库，自动重新平衡任意偏置的样本，近似回答查询，如果他们在整个人口发出。我们利用先验的人口聚集信息，开发和结合两种不同的方法自动去偏：样本重新加权和贝叶斯网络概率建模。我们建立了一个原型的Themis和证明，Themis实现更高的查询精度比默认的AQP方法，一种替代的样本重新加权技术，和各种贝叶斯网络模型，同时保持交互式查询响应时间。我们还表明，\name是强大的样本和人口之间的支持，一个关键的用例时，使用社交媒体样本的差异。
2020-02-29 cs.DB
Property Graph Exchange Format
最近，出现了采用属性图模型的各种数据库实现。然而，由于数据模型和格式的差异，这些实现上的图数据的可互操作管理是具有挑战性的。在这里，我们重新定义的属性图模型，结合现有模型的差异，并提出了可互操作的序列化格式的属性图。该模型独立于具体的实现，为属性图数据的互操作管理提供了基础。所提出的序列化方法不仅具有通用性，而且具有直观性，因此对于图形数据的创建和维护是非常有用的。为了演示我们的模型和序列化的实际使用，我们实现了从序列化到现有格式的转换器，然后可以将其加载到各种图形数据库中。这项工作为创建、交换和利用属性图数据提供了一个互操作平台的基础。
2019-07-09 cs.DB
H2O: An Autonomic, Resource-Aware Distributed Database System
本文介绍了一个自治的，资源感知的分布式数据库，使数据备份和共享，而无需复杂的手动管理的设计。数据库H2O旨在利用工作站机器上未使用的资源。对于未经培训的用户来说，创建和维护高可用性的复制数据库系统可能很困难，对于IT部门来说成本很高。H2O通过在企业中的机器之间重复复制数据和负载平衡来减少手动管理的需要。配置硬件来运行数据库系统可能会带来不必要的成本，因为大多数组织已经在工作站机器中拥有大量空闲资源。H2O旨在通过使用资源可用性信息将数据和计划查询放置在已用于其他任务的工作站机器上来利用此未使用的容量。本文讨论了这样一个系统的要求，并提出了H2O的设计和实现。
2010-06-16 cs.DB cs.DC
XASDB -- Design and Implementation of an Open-Access Spectral Database
本文介绍了由加拿大光源开发的开放获取光谱数据库XASDB，该平台采用Node.js/MongoDB架构收录超1000条参考光谱，并创新性地通过XASproc库和XASVue查看器实现基于浏览器的XAS数据处理与可视化，推动了FAIR数据原则与多学科研究发展。
2025-09-16 cs.DB physics.data-an
Hands Off my Database: Ransomware Detection in Databases through Dynamic Analysis of Query Sequences
勒索软件是一种新兴的威胁，2017年造成了50亿美元的损失，预计2019年将达到115亿美元。虽然最初针对PC（客户端）平台，但勒索软件最近向服务器端数据库飞跃-从2017年1月的MongoDB Apocalypse攻击开始，随后是针对MongoDB，MySQL，ElasticSearch，Cassandra，Hadoop和CouchDB等各种数据库类型的其他攻击浪潮。虽然先前的研究已经开发了针对客户端勒索软件的对策（例如，CryptoDrop和ShieldFS），服务器端勒索软件的问题到目前为止还没有受到任何关注。在我们的工作中，我们的目标是弥合这一差距，并提出DIMAQS（恶意查询序列的动态识别），这是一种新型的数据库反勒索软件解决方案。DIMAQS对传入查询执行运行时监控，并使用有色Petri网（CPN）进行模式匹配以进行攻击检测。我们的系统设计展示了几种新颖的技术，以实现对恶意查询序列的全局有效检测（即，而不将检测限于不同的用户连接）。我们的概念验证实现目标是MySQL服务器。评估结果表明，效率高，没有误报和漏报，性能开销非常适中，低于5%。我们将发布我们的数据集和实现，允许社区复制我们的测试并与我们的结果进行比较。
2019-07-15 cs.CR cs.DB
SpecDB: LLM-Generated Customized Databases via Feature-Oriented Decomposition
Alibaba Group（阿里巴巴集团）；Zhejiang Gongshang University（浙江工商大学）
提出SpecDB系统，利用大语言模型通过面向特征的分解和依赖图DBGraph，从自然语言工作负载描述自动生成定制化关系数据库，在TPC-C测试中达到与PostgreSQL和MySQL相当的性能，代码量仅为它们的3%。
2026-05-29 cs.AI cs.DB
Extending the logical update view with transaction support
由于数据库更新视图在Prolog ISO标准中被标准化，因此所谓的逻辑更新视图在所有主动维护的Prolog系统中都可用。虽然这个更新视图提供了一个定义良好的更新语义，并允许有效地处理动态代码，但它无助于维护动态数据库的一致性。随着多线程的引入和Prolog在连续运行的服务器应用程序中的部署，动态数据库的一致性变得非常重要。在本文中，我们提出了对支持事务的逻辑更新视图的基于生成的实现的扩展。基于生成的事务已经根据SWI-Prolog RDF存储中的描述实现。本文的目的是激励交易，概述了实现和生成讨论的理想的语义和接口实现之前。
2013-01-31 cs.DB cs.PL
Adore: Differentially Oblivious Relational Database Operators
针对差分遗忘能否优于完全遗忘处理数据库的开放问题，本文设计并实现选择投影、分组聚合和外键连接三类差分遗忘算子，证明其隐私性质并实现最高7.4倍加速。
2023-09-29 cs.CR cs.DB
An index for regular expression queries: Design and implementation
Like正则表达式谓词至少从1989年起就成为SQL标准的一部分。然而，尽管它的流行和广泛的使用，数据库供应商只提供有限的索引支持正则表达式查询，几乎总是需要一个完整的表扫描。在本文中，我们提出了一个严格的和强大的方法，为正则表达式查询提供索引支持。我们的方法包括制定索引问题作为一个组合优化问题。我们从一个数据库开始，它被抽象为字符串的集合。从这个数据集，我们生成一个查询工作负载。优化问题的输入是数据库和工作负载。输出是一组多重字符（子字符串），可以用作满足查询工作负载的记录的键。然后可以将multigram与数据结构（如B+树）集成，为查询提供索引支持。我们提供了一个确定性和随机近似算法（可证明的保证）来解决优化问题。在合成数据集上的大量实验表明，该方法是准确和有效的。我们还提出了一个案例研究的PROSITE模式-这是复杂的正则表达式签名类蛋白质。同样，我们能够证明我们的索引方法在准确性和效率方面的实用性。因此，也许是第一次，有一个强大的和实用的索引机制，为一类重要的数据库查询。
2011-08-15 cs.DB cs.IR
SkyQuery: An Implementation of a Parallel Probabilistic Join Engine for Cross-Identification of Multiple Astronomical Databases
多波长天文学研究需要根据球坐标和其他性质，对多个星表中的相同天体的探测进行交叉识别。由于大数据量和球面几何，对称的N路关联的天文探测是一个计算密集型的问题，即使复杂的索引方案被用来排除明显错误的候选人。遗留的天文目录已经包含了超过一亿个物体的探测，而正在进行的和未来的调查将产生数十亿个物体的目录，每个物体在不同的时间有多个探测。位置测量的变化的统计误差、移动和延伸的对象以及其他物理特性使得有必要使用能够包括各种先验的数学上正确的、适当的贝叶斯概率算法来执行交叉识别。有一次，这些大目录的成对交叉识别对于许多天文场景是不够的。因此，一个新的系统是必要的，可以交叉识别多个目录的需求，有效和可靠的。在本文中，我们提出了我们的解决方案的基础上集群的商品服务器和普通的关系数据库。交叉识别问题是在基于SQL的语言中制定的，但扩展了特殊的子句。这些特殊的查询在空间上按坐标范围划分，并编译成普通SQL查询的复杂工作流。然后，使用托管相同数据集的相同镜像的服务器集群在并行框架中执行工作流。
2012-06-21 astro-ph.IM cs.DB cs.DC
Incorporating Deep Learning Design in Database Queries
University of Washington（华盛顿大学）
提出一种将深度学习自然集成到数据库查询中的方法，通过为元组关联可学习的向量嵌入，使查询同时操作数据和嵌入，实现关系深度学习。
2026-05-22 cs.DB cs.LG
A probabilistic database approach to autoencoder-based data cleaning
University of Twente（特文特大学）；University of Cambridge（剑桥大学）
数据质量问题是数据科学中的一大威胁。在本文中，我们提出了一个数据清理自动编码器能够接近自动的数据质量改善。它学习数据中的结构和依赖关系，并将其作为证据来识别和纠正可疑值。我们应用概率数据库的方法来表示弱和强的证据属性值修复。提供了一个理论框架，实验表明，它可以去除大量的噪声（即，数据质量问题）。我们的方法不需要干净的数据。然而，我们确实表明，手动清理一小部分数据可以显着提高性能。
2021-08-03 cs.AI cs.DB cs.LG
Automatic Storage Structure Selection for hybrid Workload
Harbin Institute of Technology（哈尔滨工业大学）
在数据库系统的使用中，存储引擎和数据模型的设计直接影响数据库执行查询时的性能。因此，数据库的使用者需要根据遇到的工作量来选择存储引擎和设计数据模型。然而，在混合工作负载中，数据库的查询集是动态变化的，其最优存储结构的设计也在变化。基于此，提出了一种基于学习代价的存储结构自动选择系统，用于在混合负载下动态选择数据库的最优存储结构。在该系统中，我们引入了一种机器学习方法来建立存储引擎的成本模型，以及一种面向列的数据布局生成算法。实验结果表明，该系统能够根据当前的工作负载选择存储引擎和数据模型的最优组合，大大提高了默认存储结构的性能。系统设计为兼容不同的存储引擎，便于实际应用。
2020-08-15 cs.DB cs.LG
Byzantine Eventual Consistency and the Fundamental Limits of Peer-to-Peer Databases
Sybil攻击，其中大量的对手控制的节点加入网络，是一个问题，许多对等数据库系统，需要昂贵的对策，如工作量证明。然而，有一类数据库应用程序在设计上对Sybil攻击免疫，因为它们可以容忍任意数量的Byzantine故障节点。在本文中，我们使用一个一致性模型，我们称之为拜占庭最终一致性（BEC）这一类的应用程序的特点。我们介绍了一种算法，保证BEC的基础上拜占庭因果广播，证明其正确性，并在原型实现中表现出接近最佳的性能。
2020-12-01 cs.CR cs.DB cs.DC
Benchmarking Top-K Keyword and Top-K Document Processing with T${}^2$K${}^2$ and T${}^2$K${}^2$D${}^2$
Top-k关键字和top-k文档抽取是非常流行的文本分析技术。Top-k关键字和文档通常是动态计算的，但它们利用了构建成本高昂的加权词汇表。为了比较相互竞争的加权方案和数据库实现，通常使用基准测试。据我们所知，目前没有基准可以解决这些问题。因此，在本文中，我们提出了T ${}^2$ K ${}^2$，top-k关键字和文档基准，及其面向决策支持的进化T ${}^2$ K ${}^2$ D ${}^2$。这两个基准测试都有一个真实的tweet数据集和具有各种复杂性和选择性的查询。它们有助于评估加权方案和数据库实现的计算性能。为了说明我们的基准测试的相关性和通用性，我们一方面成功地对TF-IDF和Okapi BM 25加权方案进行了性能测试，另一方面对不同的关系型（Oracle，PostgreSQL）和面向文档的（MongoDB）数据库实现进行了性能测试。
2018-04-20 cs.DB cs.IR
ComplexWoundDB: A Database for Automatic Complex Wound Tissue Categorization
São Paulo State University（圣保罗州立大学）；University of Wolverhampton（伍尔弗汉普顿大学）
复杂的伤口通常面临皮肤厚度的部分或全部损失，通过继发性愈合。它们可以是急性或慢性的，包括感染、缺血和组织坏死，并与全身性疾病有关。全球各地的研究机构报告了无数病例，最终导致严重的公共卫生问题，因为它们涉及人力资源（例如，医生和卫生保健专业人员），并对生活质量产生负面影响。本文提出了一种新的数据库，用于自动分类复杂伤口的五个类别，非伤口区域、肉芽、纤维素样组织和干燥坏死、血肿。这些图像包括由压力、血管溃疡、糖尿病、烧伤和手术干预后并发症引起的复杂伤口的不同场景。该数据集名为ComplexWoundDB，它是独一无二的，因为它根据在野外获得的$27$图像进行像素级分类，即在患者家中收集图像，由四名健康专业人员标记。使用不同机器学习技术的进一步实验证明了解决计算机辅助复杂伤口组织分类问题的挑战。该手稿揭示了该领域未来的发展方向，并与文献中广泛使用的其他数据库进行了详细的比较。
2022-09-26 cs.CV cs.DB cs.LG
GLOCON Database: Design Decisions and User Manual (v1.0)
本文介绍GLOCON数据库，一个从多语言国家新闻源自动提取争议事件的数据库，采用金标准语料库和专家标注实现自动化，并提供了设计决策与用户手册。
2024-05-28 cs.CL cs.CY cs.DB
