Hands Off my Database: Ransomware Detection in Databases through Dynamic Analysis of Query Sequences
勒索软件是一种新兴的威胁，2017年造成了50亿美元的损失，预计2019年将达到115亿美元。虽然最初针对PC（客户端）平台，但勒索软件最近向服务器端数据库飞跃-从2017年1月的MongoDB Apocalypse攻击开始，随后是针对MongoDB，MySQL，ElasticSearch，Cassandra，Hadoop和CouchDB等各种数据库类型的其他攻击浪潮。虽然先前的研究已经开发了针对客户端勒索软件的对策（例如，CryptoDrop和ShieldFS），服务器端勒索软件的问题到目前为止还没有受到任何关注。在我们的工作中，我们的目标是弥合这一差距，并提出DIMAQS（恶意查询序列的动态识别），这是一种新型的数据库反勒索软件解决方案。DIMAQS对传入查询执行运行时监控，并使用有色Petri网（CPN）进行模式匹配以进行攻击检测。我们的系统设计展示了几种新颖的技术，以实现对恶意查询序列的全局有效检测（即，而不将检测限于不同的用户连接）。我们的概念验证实现目标是MySQL服务器。评估结果表明，效率高，没有误报和漏报，性能开销非常适中，低于5%。我们将发布我们的数据集和实现，允许社区复制我们的测试并与我们的结果进行比较。
2019-07-15 cs.CR cs.DB
Mining high on-shelf utility itemsets with negative values from dynamic updated database
效用挖掘通过考虑项目的效用来克服频繁项集挖掘的局限性。物品的效用是基于用户的兴趣或偏好。近年来，时态数据采掘已成为处理变化数据的核心技术。上架效用挖掘考虑了项目的上架时间段，得到时态数据库中项目集的精确效用值。在传统的上架效用挖掘中，数据库中所有项目的收益都被认为是正值。然而，在实际应用中，有些项目可能会有负利润。传统的算法大多是针对静态数据库的。在实际情况中，时态数据库不断地被追加或更新。高实用性项目集需要更新。每次重新运行时态挖掘算法是无效的，因为它忽略了以前发现的项集。它重复以前所做的工作。本文提出了一种从动态更新的时态数据库中寻找具有负值的高上架效用项集的有效算法。
2015-07-07 cs.DB
Query-Answer Causality in Databases: Abductive Diagnosis and View-Updates
School of Computer Science（计算机学院）；Carleton University（卡尔顿大学）
因果关系最近被引入到数据库中，用于建模，表征和可能计算查询结果（答案）的原因。查询因果关系与基于一致性的诊断和数据库修复之间的联系。完整性约束违反）已经在文献中建立。在这项工作中，我们建立查询因果关系和溯因诊断和视图更新问题之间的联系。揭示的关系使我们能够获得新的复杂性结果查询因果关系-我们的工作的主要重点-也为其他两个领域。
2015-09-20 cs.AI cs.DB
Answering FO+MOD queries under updates on bounded degree databases
我们调查的查询评估问题，固定查询完全动态的数据库，元组可以插入或删除。任务是设计一个动态算法，在每次数据库更新后立即报告固定查询的新结果。我们考虑查询一阶逻辑（FO）及其扩展与模计数量词（FO+MOD），并表明，他们可以有效地评估更新下，提供的动态数据库不超过一定程度的界限。特别是，我们构建了一个数据结构，允许回答一个布尔FO+MOD查询，并计算一个非布尔查询的结果在恒定的时间内每次数据库更新后的大小。此外，在每次更新之后，我们能够立即枚举新的查询结果，并且在输出元组之间具有恒定的延迟。构建数据结构所需的时间与数据库的大小成线性关系。我们的结果扩展了早期在有界度静态数据库上评估一阶查询的工作，并依赖于最近由Heimberg，Kuske和Schweikardt（LICS 2016）获得的FO+MOD的有效Hanf范式。
2017-02-28 cs.DB cs.LO
Castle: Causal Cascade Updates in Relational Databases with Large Language Models
Purdue University（普渡大学）；Rutgers University（罗格斯大学）
针对现有LLM在Text2SQL中忽略更新操作级联效应、传统级联约束不适配现代非规范化数据库的问题，提出Castle框架，依托LLM推理能力实现不暴露表内容的因果一致级联更新生成，经评估验证其有效性。
2025-08-27 cs.DB
On the Abductive or Deductive Nature of Database Schema Validation and Update Processing Problems
我们表明，数据库模式的验证和更新处理问题，如视图更新，物化视图维护，完整性约束检查，完整性约束维护或条件监测可以归类为问题的溯因或演绎性质，根据推理范式，固有的套房。这是通过对事件规则[Oli91]进行溯因和演绎推理来完成的，事件规则是一组定义连续数据库状态之间差异的规则。通过这种方式，我们可以提供能够处理所有这些问题的方法。我们还展示了一些现有的一般演绎和溯因程序可用于事件规则的原因。通过这种方式，我们表明，这些程序可以处理所有的数据库模式验证和更新处理问题，在本文中考虑。
2003-12-19 cs.DB cs.LO
Fast Updates on Read-Optimized Databases Using Multi-Core CPUs
读取优化的列式数据库使用差异更新来处理写入，方法是维护一个单独的写入优化的增量分区，该分区定期与读取优化和压缩的主分区合并。这种合并过程在更新密集型系统中引入了显著的开销和不可接受的停机时间，期望将事务和分析工作负载组合到一个系统中。在本文的第一部分中，我们报告了12个SAP Business Suite客户系统的数据分析。在后半部分，我们提出了一个优化的合并过程，减少了30倍的当前系统的合并开销。我们的线性时间合并算法利用现代多核CPU的底层高计算和带宽资源，具有架构感知优化和高效并行化。这使得压缩内存中的列存储能够处理企业应用程序所需的事务更新速率，同时保持读取优化数据库的属性以用于分析式查询。
2011-09-30 cs.DB
Causes for Query Answers from Databases: Datalog Abduction, View-Updates, and Integrity Constraints
Carleton University（卡尔顿大学）；University of Washington（华盛顿大学）
因果关系最近被引入到数据库中，用于建模、表征和可能计算查询答案的原因。QA因果关系和基于一致性的诊断与数据库修复之间的联系（wrt。完整性约束违反）已经建立。在这项工作中，我们建立了QA因果关系和溯因诊断和数据库中的视图更新问题之间的精确连接，使我们能够获得QA因果关系的新算法和复杂性结果。我们还获得了新的结果的复杂性的观点条件下的因果关系，并调查的QA-因果关系的概念存在的完整性约束，获得复杂性的结果与观点条件下的因果关系的连接。完整性约束下的溯因连接使我们能够获得QA因果关系的算法工具。
2017-07-31 cs.AI cs.DB
The View Update Problem Revisited
在本文中，我们重新审视的关系设置中的视图更新问题，并提出了一个框架的基础上的概念的确定性约束。在这样一个框架内，当一个视图映射是可逆的，建立，这正是当每个数据库符号有一个确切的重写在给定的约束条件下的视图符号的情况下，我们提供了一个通用的有效的标准来理解是否由视图更新引入的变化可以传播到底层的数据库关系在一个独特的和明确的方式。之后，我们将展示如何确定性约束下可以检查，重写有效地发现，在三个不同的相关场景中的视图约束的情况下。首先，我们解决了长期存在的开放问题，如何解决视图更新问题，在多关系数据库的意见，是连接的关系的投影，我们这样做，在一个更一般的设置，其中的意见被定义为任意的合取查询和数据库约束分层嵌入式依赖关系。接下来，我们研究基于单个数据库关系的水平分解的设置，其中视图通过对可能解释的属性（例如，算术比较）。最后，我们看看另一个多关系数据库设置，其中视图定义在一个表达的“类型”关系代数的基础上的n元描述逻辑DLR和数据库约束的代数表达式的包含。
2012-11-13 cs.DB
A New Communication Theory on Complex Information and a Groundbreaking New Declarative Method to Update Object Databases
在这篇文章中，我介绍了一种新的通信理论，复杂的信息表示为一个有向图的节点。此外，我还介绍了该理论的一个应用，即一种新的激进方法embed，可用于以声明方式更新对象数据库。嵌入式方法是对象数据库更新的一次革命。一次嵌入式方法调用可以代替传统对象数据库客户端程序中几十行复杂的更新代码，这是一个巨大的进步。作为一种声明式方法，embed方法只需要一个自然参数，即运行时内存中修改后的对象结构的根对象，这使得它非常容易使用。embed方法背后的通信理论指出，修改后的复杂信息表示为节点的有向图，总是可以以准确和有意义的方式传输回其原始系统。该理论还可以有其他的应用，因为今天的信息通常具有网络或有向图的结构，并且它经常演变或维护。嵌入方法应用通信理论，通过将对象数据库和运行时内存中的修改的对象结构建模为节点的有向图，而没有任何人为的限制。例如，允许不同种类的循环子结构及其修改。对象数据库中的持久性是通过持久根对象的可达性以一种众所周知且被接受的方式定义的。如果在更新操作期间出现垃圾对象，embed方法还将从对象数据库中删除垃圾对象的结构，使数据库保持一致状态。嵌入方法应用引用计数技术。它理解对象数据库的局部拓扑，避免检查数据库中不相关的对象。由于这些原因，嵌入方法是有效的，它可以扩展到不同大小的数据库。
2016-04-05 cs.DB
Dynamics of Belief: Abduction, Horn Knowledge Base And Database Updates
RWTH Aachen（亚琛工业大学）
信念和知识的动态是任何自治系统的主要组成部分之一，它应该能够吸收新的信息。为了将信念动力学理论的合理性结果应用到各种实际问题中，它应该在两个方面进行推广：第一，它应该允许信念的某一部分被声明为不变的;第二，信念状态不需要是演绎封闭的。本文提出了这样一种广义的信念动力学，称为基地动力学，随着知识库（霍恩或霍恩逻辑分层否定）的广义修正算法的概念。我们表明，知识库动态有一个有趣的连接，通过击中集和绑架的内核变化。在本文中，我们将展示如何从析取逻辑编程技术可以用于有效的（演绎）数据库更新。其核心思想是将给定的数据库连同更新请求一起转换成一个析取（数据库）逻辑程序，并应用析取技术（如最小模型推理）来解决原始的更新问题。该方法扩展并集成了标准技术，以实现高效的查询应答和完整性检查。一个击中集的生成是通过一个超tableaux演算和魔术集，专注于最小的目标。本文提供了一个比较研究的视图更新算法在理性的做法。为了理解溯因推理的基本概念，我们提供了一个知识库动力学的溯因框架。最后，我们展示了如何信念基础动力学可以提供一个公理化的表征插入一个视图原子的数据库。我们给出了信念改变的主要操作符的快速概述，特别是信念更新与数据库更新。
2015-01-27 cs.AI cs.DB cs.LO
Large-scale Biological Meta-database Management
最新的元数据库对于生物数据的分析至关重要。然而，当前生物数据的指数级增长导致元数据库大小的指数级增长。因此，大规模元数据库管理是为生物数据分析提供服务的生产平台的一个重要挑战。特别地，通常需要使用元数据库的特定版本运行分析，或者使用更新的元数据库来执行分析。我们提出了我们的GeStore方法的生物元数据库管理。它提供了特定元数据库版本的高效存储和运行时生成，以及生物数据分析工具的高效增量更新。该方法对工具是透明的，我们提供了一个框架，可以轻松地将GeStore与生物数据分析框架集成在一起。我们提出的GeStore系统，系统的性能特点的评价，并评估生物数据分析工作流程的好处。
2016-02-22 cs.DB cs.DC
New Proximity Estimate for Incremental Update of Non-uniformly Distributed Clusters
传统的聚类算法挖掘静态数据库，生成一组聚类形式的模式。许多现实生活中的数据库都在不断增长。对于这样的动态数据库，从原始数据库中提取的模式变得过时。因此，传统的聚类算法是不适合的增量数据库，由于缺乏能力，以修改聚类结果，根据最近的更新。在本文中，作者提出了一种新的增量聚类算法CFICA（基于聚类分析的增量聚类方法数值数据）来处理数值数据，并提出了一种新的接近度度量称为逆接近估计（IPE），它考虑了数据点的接近聚类代表以及它的接近最远的点在其附近。CFICA利用所提出的邻近度量来确定数据点到聚类中的成员资格。
2013-10-25 cs.DB
Managing Periodically Updated Data in Relational Databases: A Stochastic Modeling Approach
信息管理的最新趋势涉及在网络环境中将数据周期性地转录到辅助设备上，并且这些转录的适当调度对于有效的数据管理至关重要。为了协助调度过程中，我们有兴趣在建模的关系和它的副本，称为过时的数据之间的一致性随着时间的推移减少。建模是基于随机过程领域的技术，并提供了几个随机模型的内容演变的基础关系的数据库，参考完整性约束考虑。这些模型足够通用，可以适应数据库中的大多数常见场景，包括批量插入和使用内存和不使用内存的生命周期。作为我们的方法的适用性的初始“概念证明”，我们通过实验验证了我们的模型框架的插入部分与真实的数据源。我们还讨论了一组转录协议，利用所提出的随机模型。
2001-06-11 cs.DB
Modeling Corruption in Eventually-Consistent Graph Databases
我们提出了一个模型和分析，最终一致的图形数据库，松散合作的服务器接受并发更新分区，分布式图。该模型是高保真的，并保留了当代图形数据库管理系统的设计选择。为了探索问题空间，我们使用两种常见的图拓扑作为数据模型进行实际实验。分析表明，即使假设硬件和软件完全无故障，如果更新可能相互干扰，则会发生损坏，并在生产数据库生命周期内通过图形显著传播。使用我们的模型，数据库设计人员和操作人员可以计算他们的系统的腐败率，并确定他们是否足够可靠，以满足其预期用途。
2019-04-09 cs.DB cs.DC cs.PF
Automatic generation of simplified weakest preconditions for integrity constraint verification
假设约束$c$在数据库$B$上保持，并且更新$u$要在$B$上执行，我们解决以下问题：在执行$u$之后，$c$是否仍然保持？当$B$是一个关系数据库时，我们定义了一个合流终止重写系统，它从$c$和$u$出发，自动导出一个简化的最弱前提$wp(c,u)$，使得只要$B$满足$wp(c,u)$，则更新后的数据库$u(B)$将满足$c$，而且，在其计算仅取决于可由更新修改的$c$的实例的意义上，简化了$wp(c,u)$。然后，我们扩展了一个简化的$wp(c,u)$的演绎数据库的情况下的定义，我们证明它使用不动点归纳。
2006-03-14 cs.DB cs.DS
Accelerating Regular Path Queries over Graph Database with Processing-in-Memory
针对图数据库RPQ的内存墙瓶颈，提出基于PIM的Moctopus系统，采用PIM友好动态分区算法并行处理路径匹配，支持高效批量查询与更新，性能优于传统图数据库。
2024-03-15 cs.DB
Extending the logical update view with transaction support
由于数据库更新视图在Prolog ISO标准中被标准化，因此所谓的逻辑更新视图在所有主动维护的Prolog系统中都可用。虽然这个更新视图提供了一个定义良好的更新语义，并允许有效地处理动态代码，但它无助于维护动态数据库的一致性。随着多线程的引入和Prolog在连续运行的服务器应用程序中的部署，动态数据库的一致性变得非常重要。在本文中，我们提出了对支持事务的逻辑更新视图的基于生成的实现的扩展。基于生成的事务已经根据SWI-Prolog RDF存储中的描述实现。本文的目的是激励交易，概述了实现和生成讨论的理想的语义和接口实现之前。
2013-01-31 cs.DB cs.PL
QMDB: Quick Merkle Database
QMDB将键值和Merkle树存储统一，以仅追加设计实现单次SSD读取和O(1)更新，支持每秒百万级TPS，为区块链状态管理提供了可扩展且可验证的解决方案。
2025-02-01 cs.DB cs.NI
Answer-Set Programs for Repair Updates and Counterfactual Interventions
Skema Business School（SKEMA商学院）
我们简要地描述-主要是通过非常简单的例子-不同种类的答案集程序的注释，已提出指定：数据库修复和一致的查询回答;保密视图和查询评估与他们;反事实的干预数据库中的因果关系;和反事实为基础的解释，在机器学习。
2022-09-25 cs.AI cs.DB cs.LO
A1: A Distributed In-Memory Graph Database
A1是一个内存中的分布式数据库，Bing搜索引擎使用它来支持对结构化数据的复杂查询。A1的关键推动因素是在商品硬件中提供廉价的DRAM和高速RDMA（远程直接内存访问）网络。A1使用FaRM作为其底层存储层，并在其上构建图形抽象和查询引擎。内存存储和RDMA访问的结合需要重新思考如何在大型分布式系统中分配，组织和查询数据。单个A1集群可以存储数百亿个顶点和边，并支持每秒3.5亿个顶点读取的吞吐量，端到端查询延迟为个位数毫秒。本文描述了A1数据模型、RDMA优化的数据结构和查询执行。
2020-04-12 cs.DB cs.DC
Scalable Database Access Technologies for ATLAS Distributed Computing
ATLAS事件数据处理需要访问非事件数据（探测器条件、校准等）存储在关系数据库中。数据库驻留数据对于事件数据重构处理步骤是至关重要的，并且经常需要用于用户分析。ATLAS数据库操作的一个主要重点是条件DB数据的全球分布，这是每个ATLAS数据处理作业所必需的。由于Conditions DB访问对于使用真实数据的操作至关重要，因此我们开发了一种可以使用不同技术作为冗余备份的系统。冗余的数据库操作基础设施完全满足ATLAS再处理的要求，这已经在网格上的0.5 PB的单光束和宇宙学数据的两次再处理活动期间在10亿次数据库查询的规模上得到了证明。为了收集经验并为最佳技术选择提供投入，成功地评价了在用户分析中有效访问数据库的几个有希望的备选方案。我们目前的ATLAS经验，可扩展的数据库访问技术，并描述我们的方法，防止在网格计算环境中的数据库访问瓶颈。
2009-10-02 cs.DB cs.DC hep-ex
Achieving Data Privacy through Secrecy Views and Null-Based Virtual Updates
在关系数据库中可能存在敏感信息，我们可能希望对用户或用户组隐藏这些信息。在这项工作中，敏感数据的特点是一组保密意见的内容。对于没有权限访问敏感数据的用户，他查询的数据库实例将被更新，以使视图的内容为空或仅包含具有空值的元组。特别是，如果这个用户对这些视图中的任何一个提出查询，则不会返回任何有意义的信息。由于数据库不需要进行物理更改以产生此结果，因此更新只是虚拟的。也是最小的。这些最小的更新反映在保密视图内容中，并且还反映在查询答案在隐私保护的同时也是最大信息量的事实中。虚拟更新基于SQL标准中使用的空值。我们提供了保密视图和虚拟更新的语义。底层数据库虚拟更新的不同方式被指定为具有稳定模型语义的逻辑程序的模型。该程序成为计算查询的“秘密答案”的基础，即那些不泄露敏感信息的答案。
2012-04-05 cs.DB cs.LO
Dynamic Query Evaluation Over Structures with Low Degree
我们考虑评估的一阶查询类的数据库，有界度和低度。更确切地说，给定一个查询和一个数据库，我们希望有效地测试是否有解，计算有多少解，或者能够枚举所有解的集合。有界和低度是相当自然的概念，两者都产生有效的算法。例如，Berkholz、Keppeler和Schweikardt在2017年表明，在有界度的数据库中，不仅可以有效地测试、计数和枚举任何一阶查询，而且可以在数据库本身更新时更新所使用的数据结构。本文在两个方向上推广了已有的结果。首先，我们表明，在类的数据库与低程度，有一个数据结构，使我们能够测试，计数和枚举的解决方案的一阶查询。当数据库被更新时，该数据结构也可以被有效地重新计算。其次，对于类的数据库有界度，我们表明，在不增加预处理时间，我们可以计算一个数据结构，不依赖于查询，但只对它的量词排名。因此，我们可以执行单个预处理，稍后可以用于许多查询。
2020-10-06 cs.DB cs.DS cs.LO
Scaling Package Queries to a Billion Tuples via Hierarchical Partitioning and Customized Optimization
本文提出渐进着色算法，通过分层分区和定制ILP/LP求解器，将包查询高效扩展到十亿级元组，并优雅处理严格约束，优于SketchRefine。
2023-11-14 cs.DB
On the difference between checking integrity constraints before or after updates
完整性检查是一个至关重要的问题，因为数据库总是在改变它们的实例，因此需要持续快速地进行检查。几十年的研究已经产生了大量的方法来检查数据库的完整性约束的增量方式。然而，关于何时检查完整性的问题并没有说太多。在本文中，我们研究了在更新之前检查完整性（也称为测试前）或之后（a.k.a.后测试）以评估各自的便利性和性质。
2013-12-09 cs.DB
Billion-scale similarity search with GPUs
Facebook AI Research（Facebook人工智能研究院）
相似性搜索在处理复杂数据（例如图像或视频）的专用数据库系统中找到应用，这些数据通常由高维特征表示并需要特定的索引结构。本文解决了更好地利用GPU完成这项任务的问题。虽然GPU擅长数据并行任务，但先前的方法被暴露较少并行性的算法所验证，例如k-min选择，或者对存储层次结构的利用不佳。我们提出了一种k-选择的设计，其运行速度高达理论峰值性能的55%，实现了比现有GPU最先进技术快8.5倍的最近邻实现。我们将其应用于不同的相似性搜索场景，通过提出基于乘积量化的蛮力，近似和压缩域搜索的优化设计。在所有这些设置中，我们的表现都远远超过了最先进的水平。我们的实现可以在35分钟内在Yfcc 100 M数据集的9500万张图像上构建高精度k-NN图，并在不到12小时的时间内在4个Maxwell Titan X GPU上构建连接10亿个向量的图。为了比较和可重复性，我们开放了我们的方法。
2017-02-28 cs.CV cs.DB cs.DS
NAR db status Version 2 and miRNAverse: Over Two Years of Manual Meta-Registry Curation and Updates
本文报告了 NAR db status 与 miRNAverse 两个元注册表经过两年多手动策划后的更新，通过统一注释与底层数据库结构，实现了更深入的洞察与更便捷的跨库维护。
2025-01-30 cs.DB q-bio.OT
A Brief Study of Open Source Graph Databases
随着大型不规则稀疏关系数据集的激增，出现了新的存储和分析平台，以填补基于传统数据库技术和查询语言的常规方法在性能和能力方面留下的空白。这些平台中的许多应用图形结构和分析技术以使得用户能够摄取、更新、查询和计算这些关系的拓扑结构，这些关系被表示为顶点集合之间的边集合。为了存储和处理Facebook规模的数据集，它们必须能够支持具有数十亿条边的数据源，每秒数百万次更新的更新速率以及复杂的分析内核。这些平台必须提供直观的界面，使图形专家和新手程序员能够编写通用图形算法的实现。在本文中，我们探讨了各种图形分析和存储平台。我们比较他们的能力，接口和性能的实现和计算一组现实世界的图形算法的合成图高达2.56亿边。本着充分披露的精神，几位作者参与了毒刺的开发。
2013-09-06 cs.DB cs.DS cs.SE
Analysis and Study of Incremental DBSCAN Clustering Algorithm
本文描述了基于密度的聚类的增量行为。重点介绍了基于密度的噪声应用空间聚类算法（DBSCAN）及其增量方法，DBSCAN算法基于密度的聚类概念，在噪声空间数据库中发现任意形状的聚类，增量方法将DBSCAN算法应用于数据更新频繁的动态数据库中，并在此基础上提出了一种基于密度的噪声应用空间聚类算法。在对动态数据库进行插入或删除操作之后，必须更新DBSCAN发现的聚类。DBSCAN算法通过直接计算新数据进入到已有聚类中的数据来度量新聚类，而不是重新运行算法，最终发现新的更新聚类和离群点，从而描述了在原始数据库中增量变化的百分比下，实际DBSCAN算法和增量DBSCAN算法的行为是相同的，DBSCAN算法被广泛应用于大型多维数据库的维护，如数据仓库。
2014-06-18 cs.DB cs.IR
GraphChi-DB: Simple Design for a Scalable Graph Database System -- on Just a PC
我们提出了一种新的数据结构，并行邻接表（PAL），有效地管理图与磁盘上的数十亿条边。PAL结构基于GraphChi的图存储模型（Kyrola et.例如，OSDI 2012），但我们对其进行了扩展，以支持在线数据库功能，如查询和快速插入。此外，我们扩展了模型的边和顶点属性。与以前的数据结构相比，PAL可以更复杂地存储图形，同时允许快速访问顶点的传入和传出边，而不复制数据。在PAL的基础上，我们设计了一个图形数据库管理系统GraphChi-DB，它也可以执行强大的分析图形计算。我们通过实验评估了我们的设计，并证明GraphChi-DB在比可用内存大得多的图形上实现了最先进的性能。GraphChi-DB使任何只有笔记本电脑或PC的人都可以处理非常大的图形。
2014-03-04 cs.DB
Decoding billions of integers per second through vectorization
在许多重要的应用程序中--如搜索引擎和关系数据库系统--数据以整数数组的形式存储。这些数组的编码和最重要的解码消耗了相当多的CPU时间。因此，已经做出了大量努力来降低与压缩和解压缩相关联的成本。特别是，研究人员已经利用了现代处理器和SIMD指令的超标量性质。尽管如此，我们引入了一种新的矢量化方案，称为SIMD-BP 128，改进了以前提出的矢量化方法。它的速度几乎是以前桌面处理器上最快的方案（varint-G8 IU和PFOR）的两倍。同时，SIMD-BP 128每个整数最多可节省2位。为了更好的压缩，我们提出了另一种新的矢量化方案（SIMD-FastPFOR），其压缩比在最先进方案（Simple-8b）的10%以内，同时在解码过程中快两倍。
2021-01-30 cs.DB cs.IR
The Algorithms of Updating Sequential Patterns
由于时态数据库中挖掘的数据会随着时间的推移而不断变化，因此时态数据库中频繁序列的增量式挖掘一直是研究的重点。本文提出了一种算法IUS，利用原始数据库中的频繁序列和负边界序列进行增量式序列挖掘。为了处理某些数据需要从原始数据库中更新的情况，我们提出了一种称为DUS的算法来维护更新后的数据库中的序列模式。我们还定义了负边界序列阈值：Min_nbd_supp，以控制负边界中的序列数量。
2002-03-27 cs.AI cs.DB
HypeR: Hypothetical Reasoning With What-If and How-To Queries Using a Probabilistic Causal Approach
假设分析（为数据库更新提供支持）和方法分析（如何修改数据库以实现目标）为希望检查假设场景而不对数据库进行实际更改的用户提供了见解，从而帮助他们在自己的领域规划战略。通常，此类分析是通过测试现有数据库中的更新对由感兴趣的查询创建的特定视图的影响来完成的。然而，在现实场景中，由于隐含的语义依赖性，对数据库特定部分的更新可能会影响完全不同部分中的元组和属性。为了允许假设推理，同时适应这种依赖关系，我们开发HypeR，一个框架，支持什么，如果和如何查询占概率因果模型捕获的属性之间的概率依赖关系。我们扩展的SQL语法，包括必要的运营商表示这些假设的查询，定义它们的语义，设计有效的算法和优化计算结果使用的概念因果关系和概率数据库，并评估我们的方法的有效性实验。
2022-03-28 cs.DB
Polynesia: Enabling Effective Hybrid Transactional/Analytical Databases with Specialized Hardware/Software Co-Design
数据量呈指数级增长，加上对实时分析的需求不断增加（即，使用最新的数据），已经导致了同时支持事务和数据分析的数据库系统的出现。这些混合事务和分析处理（HTAP）数据库系统可以支持实时数据分析，而无需在单独的单一用途数据库之间进行同步的高成本。不幸的是，对于执行高数据更新率的许多应用，与仅执行事务或仅隔离地执行分析相比，最先进的HTAP系统导致事务（高达74.6%）和/或分析（高达49.8%）吞吐量的显著下降，这是由于（1）CPU和存储器之间的数据移动，（2）数据更新传播，以及（3）一致性成本。我们提出波利尼西亚，在内存HTAP数据库的硬件-软件协同设计的系统。波利尼西亚（1）将HTAP系统划分为事务处理岛和分析处理岛，（2）实现自定义算法和硬件以降低更新传播和一致性的成本，以及（3）利用分析岛的内存处理来减轻数据移动。我们的评估表明，波利尼西亚优于三个最先进的HTAP系统，平均交易/分析吞吐量提高了1.70倍/3.74倍，并比之前的最低能耗系统降低了48%的能耗。
2021-03-01 cs.AR cs.DB
Answering Conjunctive Queries under Updates
我们考虑的任务是枚举和计数的$k$ -ary合取查询对关系数据库，可以通过插入或删除元组更新的答案。我们展示了一个新的概念，q-层次合取查询，并表明这些可以有效地保持在以下意义上。在线性时间预处理阶段，我们可以建立一个数据结构，使查询结果的常数延迟枚举;当数据库更新时，我们可以更新数据结构，并在常数时间内重新启动枚举阶段。对于自连接自由合取查询的特殊情况，我们得到一个二分法：如果查询不是q-层次的，那么查询枚举与次线性$^\ast$延迟和次线性更新时间（和任意预处理时间）是不可能的。为了回答布尔合取查询和更一般的问题，计数的解决方案的k元查询，我们得到完整的二分法：如果查询的同态核心是q-层次，那么查询结果的大小可以计算在线性时间和保持恒定的更新时间。否则，查询结果的大小不能保持次线性更新时间。我们所有的下界都依赖于OMv猜想，这是一个关于在线矩阵向量乘法的难度的猜想，最近出现在细粒度复杂性领域，以解决动态问题的难度。计数问题的下限还依赖于正交向量猜想，这反过来又隐含着强指数时间假设。$^\ast)$次线性是指某些$\varepsilon>0$的$O(n^{1-\varepsilon})$，其中$n$是当前数据库活动域的大小。
2017-02-21 cs.DB cs.DS cs.LO
A Uniform Fixpoint Approach to the Implementation of Inference Methods for Deductive Databases
在演绎数据库的研究领域中，三种不同的数据库任务已经得到了深入的研究：查询评估，更新传播和视图更新。在过去的三十年中，已经提出了各种推理机制来实现基于规则的系统的这些主要功能。然而，这些推理机制已经很少在商业数据库系统中使用，直到现在。其中一个重要原因是缺乏一种非常适合在基于SQL的系统中实现的统一方法。在本文中，我们提出了这样一个统一的方法的形式的一个新版本的软后果运营商。此外，我们提出了改进的转换为基础的方法，查询优化和更新传播和视图更新都使用这个操作符作为底层的评估机制。
2011-08-27 cs.DB
Can Language Models Enable In-Context Database?
University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；East Carolina University（东卡罗来纳大学）
本文提出数据库增量编码方法，将传统RDBMS数据编码为上下文文本，使LLMs支持动态更新的上下文数据库，并通过基准InConDB评估其CRUD操作能力，揭示性能与局限。
2024-11-04 cs.AI cs.DB
Evolving NoSQL Databases Without Downtime
像Redis，Cassandra和MongoDB这样的NoSQL数据库越来越受欢迎，因为它们灵活，轻量级，易于使用。使用这些数据库的应用程序将随着时间的推移而发展，有时需要（或倾向于）更改数据的格式或组织。我们在本文中解决的问题是：我们如何支持高可用性应用程序及其NoSQL数据的在线发展，即使在存在向后不兼容的数据格式更改的情况下，也不会出现过多的延迟或中断？我们提出KVolve，流行的Redis NoSQL数据库的扩展，作为这个问题的解决方案。KVolve允许开发人员提交升级规范，定义如何将现有数据转换为最新版本。当应用程序与数据库交互时，这种转换是惰性应用的，因此避免了长时间的暂停。我们证明了KVolve的表现力足以支持大量的实际更新，包括对RedisFS（Redis支持的文件系统）的格式更改，同时在一般使用中基本上没有开销，并且在更新过程中暂停时间最少。
2016-04-25 cs.DB
F-IVM: Analytics over Relational Databases under Updates
本研究提出F-IVM统一框架，融合高阶增量视图维护、因子化计算与环抽象，可高效处理更新场景下关系数据库的多类分析任务，性能较传统方法提升数个数量级且内存占用更低。
2024-01-29 cs.DB
CrypQ: A Database Benchmark Based on Dynamic, Ever-Evolving Ethereum Data
针对现有数据库基准测试难以评估动态演化数据处理能力的问题，本文提出基于以太坊区块链动态数据的CrypQ基准测试，提供高容量演化数据集及相关工具，可用于评估查询优化器等数据库组件。
2024-11-26 cs.DB
Insert-Only versus Insert-Delete in Dynamic Query Evaluation
该研究对比动态查询评估中仅插入与插入-删除场景的复杂度，证明仅插入更新总时间匹配静态查询复杂度，插入删除场景通过扩展元组生命周期变量实现最优摊销更新时间。
2024-09-13 cs.DB
Consistent query answers on numerical databases under aggregate constraints
研究了从违反数值型数据完整性约束的关系数据库中提取一致性信息的问题。特别是，聚合约束定义为线性不等式聚合和查询输入数据被认为是。利用的概念，在属性值水平的一致的更新集的修复，并提供了几个复杂的问题，修复数据和计算一致的查询答案的表征。
2005-05-23 cs.DB
Maintaining Queries under Updates Using Heavy-Light Partitioning of the Input Relations
University of Zurich（苏黎世大学）；Relational AI（关系人工智能）；OTH Regensburg（雷根斯堡应用技术大学）
研究增量视图维护问题，提出一种通用方法，结合delta查询、材料化视图树和重叠-轻量划分，以常数延迟枚举查询输出。
2026-05-08 cs.DB
Enhancement of database access performance by improving data consistency in a non-relational database system (NoSQL)
Bahri University（巴里大学）；Georgia State University（佐治亚州立大学）；Jacksonville University（杰克逊维尔大学）
本研究提出一个专为MongoDB设计的四阶段服务器端模型，通过事务管理和锁定算法增强NoSQL数据库的一致性，YCSB基准测试显示性能显著提升。
2023-08-26 cs.DB
Enabling High-Performance and Energy-Efficient Hybrid Transactional/Analytical Databases with Hardware/Software Cooperation
数据量的增长，加上对实时分析（使用最新数据）的需求不断增加，导致了同时支持事务和数据分析的数据库系统的出现。这些混合事务和分析处理（HTAP）数据库系统可以支持实时数据分析，而无需在单独的单一用途数据库之间进行同步的高成本。不幸的是，对于执行高速率数据更新的许多应用，最先进的HTAP系统在事务处理中招致显著的损失。（高达74.6%）和/或分析（高达49.8%）的吞吐量相比，仅执行事务或仅分析查询隔离，由于（1）数据移动之间的CPU和内存，（2）从事务性工作负载到分析性工作负载的数据更新传播，以及（3）在整个系统中维护一致的数据视图的成本。我们提出波利尼西亚，一个硬件-软件协同设计的系统，在内存中的HTAP数据库，避免了传统的HTAP系统的大吞吐量损失。波利尼西亚（1）将HTAP系统划分为事务处理岛和分析处理岛，（2）实现新的定制硬件，解锁软件优化，以降低更新传播和一致性的成本，（3）利用分析岛的内存处理来减轻数据移动开销。我们的评估表明，波利尼西亚优于三个最先进的HTAP系统，平均交易/分析吞吐量提高了1.7倍/3.7倍，并比之前的最低能耗HTAP系统降低了48%的能耗。
2022-04-24 cs.AR cs.DB
Time series data mining for the Gaia variability analysis
盖亚是欧空局的一项基石任务，于2013年12月成功发射，并于2014年7月开始运行。在盖亚数据处理和分析联盟内，协调单元7（CU7）负责超过10亿个天体源和近40亿个相关时间序列（光度，分光光度和光谱）的变化分析，在任务的5年期间编码超过8000亿次观测的信息，导致PB级分析问题。在本文中，我们简要介绍了我们开发的解决方案，以解决时间序列变异性分析的挑战：从分布式面向数据的科学合作的结构，以架构的选择和使用的特定组件。我们的方法是基于一个分布式的，分区的数据库为核心的开源组件增量处理：摄取，分布式处理，分析，结果和出口在一个有限的时间窗口。
2014-11-21 astro-ph.IM cs.DB cs.DC
Towards a Holistic Integration of Spreadsheets with Databases: A Scalable Storage Engine for Presentational Data Management
电子表格软件是交互式临时数据管理的首选工具，已被数十亿用户采用。然而，与数据库系统不同，电子表格是不可伸缩的。另一方面，数据库系统虽然具有高度可伸缩性，但不支持作为第一级原语的交互性。我们正在开发DataSpread，将电子表格作为前端接口与数据库作为后端接口进行整体集成，为电子表格提供可扩展性，并与数据库进行交互，我们将这种集成称为表示数据管理（PDM）。在本文中，我们朝着这个愿景迈出了第一步：开发一个存储引擎的PDM，研究如何灵活地表示数据库中的电子表格数据，以及如何支持和维护访问的位置。我们首先进行了广泛的调查，电子表格的使用，以激励我们的功能需求的存储引擎的PDM。我们开发了一套自然的机制，灵活地表示电子表格数据，并证明，确定最佳的表示是NP难的，但是，我们开发了一种有效的方法来确定最佳的表示从一个重要的和直观的子类表示。我们扩展我们的机制，位置访问机制，不遭受级联更新问题，导致恒定的时间访问和修改性能。我们在典型的电子表格和电子表格操作的工作负载上对这些表示进行了评估，存储减少了20%，公式评估时间减少了50%。
2017-10-06 cs.DB
Just-Right Consistency: reconciling availability and safety
根据CAP定理，分布式数据存储系统可以保证分区下的一致性（CP）或分区下的可用性（AP），但不能同时保证两者。这导致了CP数据库和AP数据库之间的分裂，CP数据库中的更新是同步的，AP数据库中的更新是异步的。然而，没有内在的理由将所有更新都等同对待：简单地说，系统应该尽可能可用，并且同步到足以使应用程序正确。基于以下见解，我们提供了一种原则性的正确一致性方法来设计此类应用程序，协调正确性与可用性和性能：（i）无重复数据类型（CRDTs）数据模型以直观和原则性的方式支持异步更新。(ii)涉及联合或相互排序更新的不变量与AP兼容，并且可以由transmittance Causal Consistency（transmittance Causal consistency）保证，transmittance causal consistency是不损害可用性的最强一致性模型。关于其余的“CAP敏感”不变量：（iii）对于有界计数器的常见模式，我们提供了被证明正确且有效的封装数据类型;（iv）在一般情况下，静态分析可以识别何时不需要同步以确保正确性。我们的Antidote云数据库系统支持CRDTs、事务因果一致性和有界计数器数据类型。支持工具通过静态分析和CAP敏感不变量的证明来帮助设计应用程序。该系统支持工业级应用程序，并已在几个地理分布数据中心的数百台服务器上进行了实验测试。
2018-01-19 cs.DB cs.DC
Optimal query/update tradeoffs in versioned dictionaries
外部内存字典是文件系统和数据库中的基本数据结构。版本化（或完全持久化）字典有一个相关的版本树，可以在任何版本上执行查询，可以在叶子版本上执行更新，并且可以通过添加子版本来“克隆”任何版本。各种查询/更新权衡对于非版本化字典是已知的，其中许多具有匹配的上限和下限。没有完全版本化的外部存储器字典是已知的最佳空间/查询/更新权衡。具体地，没有已知的版本化构造使用O（N）空间在$o(1)$ I/O中提供更新。我们提出了第一个高速缓存无关和高速缓存感知的建设，实现了广泛的最佳点，在这个权衡。
2011-04-12 cs.DB cs.DS
Data Compression for Analytics over Large-scale In-memory Column Databases
数据压缩方案在列数据库中表现出其重要性，有助于高性能的联机分析处理（OLAP）查询处理。现有的工作主要集中在评估磁盘驻留数据库的压缩方案，因为数据主要存储在磁盘上。随着主存价格/容量比的不断降低，数据驻留在主存中已成为时代的发展趋势。但是，在文献中对内存数据库上的数据压缩的讨论是非常模糊的。在这项工作中，我们提出了一个更新的讨论是否有价值的内存数据库中使用数据压缩技术。如果是，内存数据库应该如何应用数据压缩方案来最大化性能？
2016-07-05 cs.DB
LHC Databases on the Grid: Achievements and Open Issues
为了从记录的数据中提取物理结果，LHC实验正在使用网格计算基础设施。网格上的事件数据处理需要可扩展地访问非事件数据（探测器条件、校准等）。存储在关系数据库中。数据库驻留数据对于事件数据重建处理步骤是关键的，并且经常需要物理分析。本文回顾了LHC在网格计算数据库技术方面的经验。主题列表包括：数据库集成与网格计算模型的LHC实验;数据库技术的选择;数据库接口的例子;分布式数据库应用程序（数据的复杂性，更新频率，数据量和访问模式）;数据库访问的可扩展性在网格计算环境中的LHC实验。审查报告介绍了取得重大进展的领域和尚未解决的问题。
2010-07-12 cs.DB cs.DC hep-ex
Curating Covid-19 data in Links
精心策划的科学数据库在科学工作中发挥着重要作用，需要为创建和维护这些数据库的重大努力提供支持。这个演示和案例研究说明了如何策展支持已开发的链接跨层程序设计语言，功能，强类型的语言与语言集成查询和支持时态数据库。选定的案例研究使用了苏格兰政府每周发布的新冠肺炎死亡人数，这些数字显示了对先前发布数据的更新。这些数据允许在我们的原型中捕获和查询更新出处。该演示将突出语言集成支持策展的潜力，以简化和简化支持科学数据库的Web应用程序的原型设计
2021-06-01 cs.DB cs.DL cs.PL
Re-looking at the View Update Problem
关系数据库总是有一种方法来创建由查询定义的伪表（称为视图）。视图在大多数方面与表相似，只是它们是只读的，不能更新。如何更新视图的问题在20世纪80年代引起了很多关注，但尚未解决。当时最好的方法是Bancilhon和Spyratos。我使用他们的一个被忽视的定理，并找到了一些常见的关系运算符的简单解决方案。
2022-10-27 cs.DB
