Negative Database for Data Security
数据安全是任何基于Web的应用程序中的一个主要问题。在任何系统中都有处理入侵者的方法，但是，这些方法并不完全可信;显然，数据并没有得到完全保护。现实世界的数据库中有需要安全存储的信息。生成否定数据库的方法可以解决这一问题。负面数据库可以定义为包含大量数据的数据库，这些数据由伪造数据和真实数据组成。入侵者可能能够访问这些数据库，但是，当他们试图提取信息时，他们将检索包括实际数据和负面数据的数据集。在本文中，我们提出了我们的方法来实现负数据库的概念，以帮助防止恶意用户的数据窃取，并为所有有效的用户提供有效的数据检索。
2011-04-30 cs.DB
Is Quantum Computing Ready for Real-Time Database Optimization?
University of Southern California（南加州大学）
Q2O是首个量子增强型查询优化器，通过量子退火技术实时优化数据库查询。
2026-01-17 cs.DB
A Formal Framework For Probabilistic Unclean Databases
大多数关注数据错误和不一致的理论框架都遵循基于逻辑的推理。然而，实际的数据清理工具需要结合统计推理，才能在现实世界的数据清理任务中发挥作用。这些经验的成功的动机，我们提出了一个正式的框架不干净的数据库，其中两种类型的统计知识被纳入：第一个代表的信念是如何产生的预期（干净）的数据，第二个代表的信念是如何在实际观察到的数据库实例中引入噪声。为了捕获这种噪声信道模型，我们引入了概率不干净数据库（PUD）的概念，这是一个三元组，由我们称之为意图的概率数据库，我们称之为实现的概率数据变换器和捕获噪声如何引入的概率数据变换器，以及我们称之为观察的脏观察数据库实例组成。我们在PUD框架中定义了三个计算问题：清理（推断给定PUD的最可能的干净实例），概率查询应答（计算不干净观察实例上的应答元组的概率）和学习（估计给定训练数据集合的PUD的最可能意图和实现模型）。我们说明了PUD框架的具体表示的意图和实现，表明他们概括了传统的维修概念，如基数和值的维修，绘制连接到一致的查询回答，并证明易处理的结果。我们进一步证明了参数可以在实际实例中学习，事实上，证明了在某些条件下，我们可以直接从一个脏数据库实例中学习PUD，而不需要任何干净的例子。
2019-01-25 cs.DB
Extensible Database Simulator for Fast Prototyping In-Database Algorithms
随着数据规模的快速增长，数据库内分析和学习已经成为数据科学界研究最多的课题之一，因为它对缩小数据管理和分析之间的差距具有重要意义。通过扩展数据库在分析和学习方面的能力，数据科学家可以节省大量在数据库和外部分析工具之间交换数据的时间。为了实现这一目标，研究人员正在尝试将更多的数据科学算法集成到数据库中。然而，在主流数据库中实现这些算法是非常耗时的，特别是当需要深入研究数据库内核时。因此，需要一个易于扩展的数据库模拟器，以帮助快速原型化和验证数据库中的算法，然后再将它们实现在真正的数据库中。在这个演示中，我们展示了这样一个可扩展的关系数据库模拟器DBSim，以帮助数据科学家原型化他们的数据库内分析和学习算法，并以最小的成本验证他们的想法的有效性。DBSim通过集成主流关系数据库系统中的所有主要组件，包括SQL解析器、关系运算符、查询优化器等，模拟出一个真实的关系数据库。此外，DBSim还提供了各种接口，使用户可以在不修改内核的情况下，灵活地将自定义扩展模块插入到任何一个主要组件中。通过这些接口，DBSim支持对SQL语法、关系运算符、查询优化器规则和成本模型以及物理计划执行的简单扩展。此外，DBSim还提供了查询计划可视化工具和优化规则交互分析器等实用工具，方便用户进行开发和调试。我们使用纯Python开发DBSim，以支持大多数数据科学算法的无缝实现，因为其中许多算法都是用Pytho…
2022-10-10 cs.DB
Real-Time Outlier Connections Detection in Databases Network Traffic
本研究提出一种基于通用安全规则与实时机器学习的数据库异常连接实时检测方法，无侵入、不依赖数据库类型，可提前管控访问、降误保速，并经真实场景示例验证。
2025-01-13 cs.DB cs.SY eess.SY
NHtapDB: Native HTAP Databases
原生数据库（1）提供了一个接近数据的机器学习框架，以促进生成实时业务洞察，预定义的更改阈值将触发新模型的在线训练和部署，（2）提供了一个混合格式的存储，以保证HTAP工作负载的性能，特别是在在线事务之间包含OLAP查询的混合工作负载。我们为本地数据库制定了严格的测试计划，并采用了增强的最先进的HTAP基准。
2023-02-20 cs.DB
Performant Synchronization in Geo-Distributed Databases
Renmin University of China（中国人民大学）；Tsinghua University（清华大学）；Northeastern University（东北大学）
GeoCoCo通过优化网络条件和数据传输减少同步成本，提升分布式数据库性能
2025-12-18 cs.DB
In-Memory Database Systems - A Paradigm Shift
在当今世界，像谷歌，雅虎，亚马逊，Facebook等组织正面临着数据的急剧增加。这导致了捕获，存储，管理和分析TB或PB数据的问题，这些数据以多种格式存储，来自不同的内部和外部来源。此外，天气预报、交易、人工智能等新的应用场景需要实时的处理大量数据。这些要求超过了传统的磁盘数据库管理系统的处理能力，以管理这些数据并给出快速的实时的结果。因此，数据管理需要新的解决方案来应对数据量和实时处理数据的挑战。内存数据库系统（IMDS）是一种最新的数据库管理系统，它正在与其他支持技术一起应对上述挑战。IMDS能够更快地处理大量数据。本文探讨了IMDS方法及其相关的设计问题和挑战。它还调查了市场上一些著名的商业和开源IMDS解决方案。
2014-02-06 cs.DB
RED2Hunt: an Actionable Framework for Cleaning Operational Databases with Surrogate Keys
本文提出RED2Hunt框架，利用人工唯一性和冗余剖面概念，在准线性时间内识别并清理使用代理键的关系数据库中的隐藏冗余，支持人在回路指导，已在实际和合成数据库上验证。
2025-03-26 cs.DB
NeurBench: A Benchmark Suite for Learned Database Components with Drift Modeling
National University of Singapore（新加坡国立大学）；Beijing Institute of Technology（北京理工大学）；Zhejiang University（浙江大学）
本文提出NeurBench基准套件，用于评估在可测量和可控的数据和工作负载漂移下学得数据库组件的性能，通过引入漂移因子量化不同类型的漂移，并模拟现实中的漂移场景。
2026-04-15 cs.DB
A Comprehensive Overview of GPU Accelerated Databases
本文针对GPU数据库缺乏跨系统对比研究的现状，提出一项涵盖多类GPU数据库系统的调研，通过SSB、TPC-H等基准分析其底层机制与性能指标，为该领域研究提供新方向。
2024-06-19 cs.DB
Application of Information Centric Networking to NoSQL Databases: the Spatio-Temporal use case
本文探讨了使用信息中心网络技术开发NoSQL分布式数据库的方法、优势和挑战，预计NoSQL将在即将到来的物联网和大数据时代发挥核心作用。ICN服务可以简化数据库软件的开发，提高性能，并提供数据级访问控制。我们使用我们的研究结果设计了一个NoSQL时空数据库，命名为OpenGeoBase，并评估其性能与智能交通系统应用程序相关的真实数据集。
2017-03-18 cs.DB
Benchmarking Specialized Databases for High-frequency Data
本文介绍了一个基准套件，旨在评估和比较的时间序列数据库的高频数据，重点是金融应用。该套件包括四个专用数据库：ClickHouse，InfluxDB，kdb+和TimescaleDB。该套件的结果表明，kdb+在测试的数据库中具有最高的性能，同时也突出了每个数据库的优点和缺点。基准测试套件旨在客观衡量这些数据库的性能，并比较它们处理不同类型数据的能力。这为不同时间序列数据库对不同用例的适用性提供了有价值的见解，并提供了可用于通知系统设计决策的基准。
2023-01-29 cs.DB
TS-Cabinet: Hierarchical Storage for Cloud-Edge-End Time-series Database
层次化数据存储是云-边-端时间序列数据库的关键。高效的分层存储将直接减少每端本地数据库的存储空间，提高数据的访问命中率。然而，目前还没有针对云-边-端时序数据库提出有效的分层数据管理策略。针对这一问题，提出了一种基于负载预测的云-边-端时序数据库分层存储调度器TS-Cabinet。据我们所知，这是第一个工作的云边缘端时间序列数据库的分层存储。通过建立温度模型，计算时间序列数据的当前温度，并使用工作量预测模型预测数据的未来温度。最后，我们根据数据迁移策略进行分层存储。在公开数据集上进行了验证，实验结果表明，该方法在云端和边缘端的数据访问命中率均达到94%左右，比现有方法提高了12%. TS-Cabinet可以帮助云-边-端时序数据库避免三方存储全部数据量所带来的存储开销，大大降低协同查询处理时各方之间的数据传输开销。
2023-02-25 cs.DB
Probabilistic Top-k Dominating Queries in Distributed Uncertain Databases (Technical Report)
在诸如业务规划和传感器数据监视的许多现实世界应用中，一个重要但具有挑战性的任务是对对象（例如，产品、文档或空间对象），并有效地返回具有最高分数的那些对象。在实际应用中，由于数据源的不可靠性，许多现实世界的对象往往包含噪声，因此是不精确和不确定的。在本文中，我们研究的问题，概率top-k支配（PTD）查询这样的大规模不确定数据在分布式环境中，检索k个不确定对象从分布式不确定数据库（在多个分布式服务器），具有最大的排名分数与高的置信度。为了有效地解决分布式PTD问题，我们提出了一个MapReduce框架，用于处理分布式不确定数据库上的分布式PTD查询。在这个MapReduce框架中，我们设计了有效的修剪策略来过滤分布式环境中的误报，提出了基于成本模型的服务器索引分发机制，并开发了高效的分布式PTD查询处理算法。大量的实验已经证明了我们提出的分布式PTD方法的效率和有效性的真实和合成数据集，通过各种实验设置。
2021-05-12 cs.DB
Building an OceanBase-based Distributed Nearly Real-time Analytical Processing Database System
OceanBase, Ant Group（蚂蚁集团）
OceanBase Mercury是一款专为千万字节级数据设计的创新OLAP系统，通过自适应列式存储、差分刷新机制和多态向量化引擎，在查询延迟上显著优于专用OLAP引擎，实现高效分析与操作的平衡。
2026-02-07 cs.DB
Incremental Consistent Updating of Incomplete Databases
针对不完整动态数据库的一致性维护需求，本文提出增量更新例程并取消内存限制，在图与关系数据库模型下实现算法，实验显示整体耗时相近但部分步骤有差异。
2023-02-13 cs.DB
DBTuneSuite: An Extendible Experimental Suite to Test the Time Performance of Multi-layer Tuning Options on Database Management Systems
New York University（纽约大学）
DBTuneSuite 通过实验评估不同数据库系统在多种查询负载和调优选项下的性能表现，为数据库系统优化提供实用参考。
2026-01-27 cs.DB
Automated Training of Learned Database Components with Generative AI
RPTU Kaiserslautern-Landau（莱茵兰-普法尔茨应用技术大学凯撒斯劳滕-兰道）
本文提出利用生成AI合成训练数据以提升数据库组件的学习效果，通过生成真实查询分布和执行计划，改善数据库技术的适应性。
2025-12-23 cs.DB
An Approach for Normalizing Fuzzy Relational Databases Based on Join Dependency
数据库中的不确定性用于表示不确定或不完整的数据。关系数据库强调数据的性质是确定的。这种基于确定性的数据被用作为传统关系数据库设计的规范化方法的基础。但现实世界的数据可能并不总是确定的，因此有必要设计一种处理模糊数据的归一化方法。研究了基于连接依赖的模糊数据第五范式（5NF）的设计方法。从关系数据库的基本概念出发，导出了模糊关系数据库连接依赖的基础。由于连接依赖通过对称性隐含着多值依赖，因此从模糊关系数据库上基于多值依赖的规范化的角度出发，给出了基于连接依赖的规范化的证明。
2014-03-11 cs.DB
Version Reconciliation for Collaborative Databases
我们提出了MindPalace，一个有效的协作数据管理的版本化数据库的原型。MindPalace支持离线协作，用户可以独立工作，而无需实时通信。MindPalace的核心是离线协作的关键步骤：协调由同步数据操作产生的不同分支。我们正式的自动合并的概念，在这种情况下，分支可以不需要人为干预的协调，并提出了一个有效的框架，以确定两个分支是否是自动合并，并确定特定的记录手动和解。
2021-10-05 cs.DB
An Empirical Analysis of Just-in-Time Compilation in Modern Databases
本文针对数据库JIT编译技术，对比基于LLVM的PostgreSQL与基于WASM的Mutable两种架构，通过全面实验探究不同JIT方案的性能表现与技术特点。
2023-11-09 cs.DB
Stochastic Package Queries in Probabilistic Databases
我们提供了在不确定性下的决策支持的数据库中的方法。许多重要的决策问题对应于选择一个包（关系数据库中的元组包），该包共同满足一组约束，同时最小化某些总体成本函数;在大多数现实世界的问题中，数据是不确定的。我们提供了指定方法-通过SQL扩展-和处理随机包查询（SPQ），以解决不确定数据的优化问题，就在数据所在的位置。随机规划中的先前工作使用蒙特卡罗方法，其中原始随机优化问题由包含许多场景的大型确定性优化问题来近似，即，不确定数据值的示例实现。然而，对于大型数据库表，需要大量的场景，导致性能低下，并且经常导致求解器软件失败。因此，我们提供了一种新的SummarySearch算法，而不是试图解决一个大的确定性问题，无缝地近似它通过一系列较小的问题定义在精心制作的情况下，加速收敛到一个可行的和接近最优的解决方案的摘要。在我们的原型系统上的实验结果表明，SummarySearch在寻找可行的高质量软件包方面可以比现有方法快几个数量级。
2021-03-11 cs.DB
GeoBenchr: An Application-Centric Benchmarking Suite for Spatiotemporal Database Platforms
TU Berlin（柏林工业大学）
本文提出GeoBenchr，一个面向应用的时空数据库平台基准测试套件，用于评估不同数据集、查询类型和工作负载模式的综合性能，涵盖骑行、航空和航海追踪等真实应用场景。
2026-04-30 cs.DB
Cracking In-Memory Database Index A Case Study for Adaptive Radix Tree Index
索引提供了一种快速访问数据库中数据的方法。它可以通过提前建立一个完整的索引来提高后续查询的响应速度。然而，这也导致了在创建索引期间不断更新的巨大开销。内存数据库通常比磁盘数据库具有更高的查询处理性能，更适合实时查询处理。因此，迫切需要减少内存数据库的索引创建和更新成本。数据库破解技术是目前公认的减少索引初始化时间的有效方法。然而，传统的破解算法都集中在简单的列数据结构，而不是那些复杂的索引结构的内存数据库。为了展示内存数据库索引破解的可行性，并促进未来更广泛的研究，本文对一种流行的内存数据库树型索引结构自适应基树（ART）进行了案例研究。在仔细研究ART索引构建开销的基础上，提出了一种利用辅助数据结构破解ART索引的算法。
2019-11-26 cs.DB
A novel ER model to relational model transformation algorithm for semantically clear high quality database design
使用实体关系（ER）模型的概念建模已被广泛用于数据库设计很长一段时间。然而，研究表明，创建一个令人满意的关系模型表示从ER模型是不确定的，由于在所使用的转换方法和关系模型本身的不一致性。为了解决这一问题，对原有的ER表示法进行了修改，并相应地开发了一种新的转换算法。本文提出了建议的转换算法。使用一个真实世界的例子，它显示了该算法可以在实践中应用。本文还讨论了如何验证结果数据库和回收它所代表的信息。
2013-06-28 cs.DB
WikiDBGraph: A Data Management Benchmark Suite for Collaborative Learning over Database Silos
National University of Singapore（新加坡国立大学）
WikiDBGraph通过构建大规模现实数据库数据集，评估协作学习在处理现实数据孤岛中的有效性与局限性，揭示了现有方法在实际部署中的不足。
2026-03-09 cs.DB cs.LG
Real-time Workload Pattern Analysis for Large-scale Cloud Databases
Zhejiang University（浙江大学）；Aalborg University（奥尔堡大学）；Alibaba Group（阿里巴巴集团）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
本文提出实时系统 Alibaba Workload Miner（AWM），通过编码 SQL 查询日志、按业务组挖掘工作负载模式并训练分类模型来优化云数据库查询处理，实验表明其模式发现准确率提升 66%，在线推理延迟降低 22%。
2023-07-05 cs.AI cs.DB
Defining and Mining Functional Dependencies in Probabilistic Databases
函数依赖--传统的、近似的和条件的依赖在关系数据库中是至关重要的，因为它们告诉我们属性之间的关系。它们在模式规范化、数据校正和源选择等方面都很有用。然而，其中大多数是在确定性数据的背景下开发的。虽然不确定数据库已经开始受到关注，但这些依赖关系还没有为它们定义，也没有快速算法来评估它们的置信度。本文定义了概率数据库函数依赖的各种形式的逻辑扩展，并探讨了它们之间的联系。我们提出了一个基于剪枝的精确算法来评估的信心的函数依赖，一个基于Monte-Carlo算法来评估的信心近似函数依赖和算法的条件概率数据库中的副本。实验上进行的合成和真实的数据评估这些算法的性能，在评估的依赖性和挖掘它们的数据的信心。我们相信，拥有这些可用于概率数据库的依赖关系和算法将推动行业中概率数据存储的采用。
2010-12-13 cs.DB
PerfCE: Performance Debugging on Databases with Chaos Engineering-Enhanced Causality Analysis
本文提出PERFCE框架，利用混沌工程结合因果图和结构方程模型，通过离线建模与在线诊断实现数据库性能异常的定性和定量根因分析，在MySQL和TiDB上表现出高准确率。
2023-09-14 cs.DB
Building Scalable AI-Powered Applications with Cloud Databases: Architectures, Best Practices and Performance Considerations
Sr. Solutions Architect（高级解决方案架构师）
本文系统分析了云原生数据库与AI工作负载集成的架构模式与最佳实践，涵盖向量、图、NoSQL及关系型数据库，并通过性能评估和行业案例为企业构建高性能、可扩展且成本高效的AI应用提供实用指导。
2025-04-26 cs.AI cs.DB
Database Context Compression for Text-to-SQL on Real-World Large Databases
National Engineering Research Center of Software Engineering, Peking University（软件工程国家工程研究中心，北京大学）；School of Computer Science, Peking University（北京大学计算机学院）；Peking University Information Technology Institute, Tianjin Binhai（天津滨海大学信息技术研究所，北京大学）
针对真实大型数据库中文本到SQL性能瓶颈，提出基于SGCF原则的数据库上下文压缩方法DBCC，通过离线结构语义压缩和在线证据净化，将输入上下文减少两个数量级，并提升模式链接召回率和执行准确率。
2026-06-26 cs.AI cs.DB
Adaptive Search Optimization: Dynamic Algorithm Selection and Caching for Enhanced Database Performance
本研究提出一种结合动态算法选择与缓存策略的自适应搜索优化方法，根据数据分布特征在二分搜索和插值搜索间智能切换，并缓存历史结果以提升数据库查询效率。
2023-11-14 cs.DB cs.DS
KaggleDBQA: Realistic Evaluation of Text-to-SQL Parsers
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
数据库问答的目标是在不同的应用领域中实现对现实生活中的关系数据库的自然语言查询。最近，Spider和WikiSQL等大规模数据集促进了文本到SQL解析的新建模技术，改善了对未知数据库的zero-shot泛化。在这项工作中，我们研究的挑战，仍然阻止这些技术的实际部署。首先，我们介绍了KaggleDBQA，一个新的跨域的真实Web数据库的评估数据集，特定于域的数据类型，原始格式，和无限制的问题。第二，我们重新审视文本到SQL解析器在现实生活中应用的评估任务的选择。最后，我们增加了我们的领域内的评估任务与数据库文档，一个自然发生的源隐含的领域知识。我们表明，KaggleDBQA提出了一个挑战，国家的最先进的zero-shot解析器，但更现实的评估设置和创造性地使用相关的数据库文档提高了13.2%以上的准确性，使其性能翻了一番。
2021-06-22 cs.AI cs.CL cs.DB
Designing a Multi-petabyte Database for LSST
3.2千兆像素的LSST相机每月将产生大约0.5 PB的存档图像。这些数据需要在一分钟内减少，以产生实时的瞬时警报，然后添加到累积目录中进行进一步分析。该目录预计每年将增长约300 TB。数据量，实时瞬态报警要求的LSST，其时空方面需要创新的技术，以建立一个有效的数据访问系统在合理的成本。按照目前的设想，该系统将依赖于目录和元数据的数据库。正在评估几个数据库系统，以了解它们在这些数据率、数据量和访问模式下的性能。本文介绍了LSST的要求，他们施加的挑战，数据访问的哲学，结果从评估可用的数据库技术对LSST的要求，并提出了数据库架构，以满足数据的挑战。
2006-04-28 cs.DB cs.DL
Exploiting Information-centric Networking to Federate Spatial Databases
本文探讨的方法，挑战和预期的优势，使用信息为中心的网络（ICN）技术联合空间数据库。ICN服务可以简化联合过程的设计，提高其性能，并提供所谓的以数据为中心的安全性。在这项工作中，我们提出了一个架构，能够联邦空间数据库，并评估其性能使用一个真正的数据集来自OpenStreetMap在一个异构的联邦由MongoDB和CouchBase空间数据库系统形成。
2019-11-23 cs.DB cs.NI
Database Engines: Evolution of Greenness
背景：信息技术消耗了全球10%的发电量，导致二氧化碳排放和高能源成本。数据中心，特别是数据库，消耗了高达23%的能源。因此，构建节能（绿色）数据库引擎可以减少能源消耗和二氧化碳排放。目标：了解在数据库发展过程中驱动数据库能耗和执行时间的因素。方法：我们对两个MySQL数据库引擎InnoDB和MyISAM在40个版本中的能耗进行了实证案例研究。我们研究了四个软件指标与能耗和执行时间的关系，以确定哪些指标反映了数据库的绿色和性能。结果：我们的分析表明，随着数据库的发展，数据库引擎的能源消耗和执行时间增加。此外，在88%的情况下，代码行数指标与能耗和执行时间中度到强烈相关。结论：我们的研究结果为从业者和研究人员提供了见解。数据库管理员可以使用它们来选择快速、绿色的MySQL数据库引擎版本。MySQL数据库引擎开发人员可以使用软件度量来评估产品的绿色度和性能。研究人员可以利用我们的研究结果进一步开发新的假设或建立模型来预测数据库的绿色和性能。
2017-01-09 cs.DB cs.SE
Rethinking Text-to-SQL: Dynamic Multi-turn SQL Interaction for Real-world Database Exploration
University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；Tsinghua University（清华大学）
针对现有Text-to-SQL系统无法适配真实场景多轮动态交互的问题，本文构建自动化生成的DySQL-Bench评测基准与多轮交互评估框架，实验证明该基准难度较高，现有顶尖模型表现仍有较大提升空间。
2025-11-13 cs.CL cs.DB
DONUT -- Creation, Development, and Opportunities of a Database
本文介绍收录拓扑数据分析实际应用论文的DONUT数据库，说明其起源及创建、策展与维护流程。
2023-04-24 cs.DB cs.DL math.AT
Role of Databases in GenAI Applications
本文探讨数据库在 GenAI 应用中的关键作用，提出按对话、情境和语义三类上下文选择不同数据库架构，以优化性能、准确性与可扩展性。
2025-04-11 cs.AI cs.DB
An Empirical Study on the Design and Evolution of NoSQL Database Schemas
我们研究软件工程师如何设计和发展他们的领域模型时，对NoSQL数据存储构建应用程序。具体来说，我们的目标是使用对象NoSQL映射器与无模式NoSQL数据存储接口的Java项目。给出了十个真实数据库应用程序的源代码，我们提取了隐式NoSQL数据库模式。我们捕获模式的大小，并调查模式是否被非规范化，这是NoSQL数据存储的数据建模中的推荐做法。此外，我们分析了整个项目的历史，以及NoSQL数据库模式的演变历史。在此过程中，我们对NoSQL模式设计和演化进行了迄今为止最大的实证研究。
2020-02-28 cs.DB cs.SE
Database Learning: Toward a Database that Becomes Smarter Every Time
University of Michigan（密歇根大学）
在今天的数据库中，以前的查询答案很少有利于回答未来的查询。据我们所知，我们第一次在近似查询处理（AQP）上下文中改变这种范式。我们做了以下观察：每个查询的答案揭示了对另一个查询答案的某种程度的知识，因为它们的答案来自产生整个数据集的相同的底层分布。利用和提炼这些知识应该使我们能够更分析地回答查询，而不是通过阅读大量的原始数据。此外，处理更多的查询应该不断增强我们对底层分布的了解，从而为未来的查询带来越来越快的响应时间。我们称这种新颖的想法--从过去的查询答案中学习-数据库学习。我们利用最大熵原理来产生答案，这些答案在预期中保证比现有的基于样本的近似更准确。在这个想法的推动下，我们在Spark SQL之上构建了一个查询引擎，称为Verdict。我们进行了广泛的实验，从一个大客户的一个主要的数据库供应商在现实世界中的查询跟踪。我们的研究结果表明，Verdict支持73.7%的查询，与现有的AQP系统相比，在相同的准确度水平下，速度提高了23.0倍。
2017-03-28 cs.AI cs.DB
Learning Over Dirty Data Without Cleaning
Oregon State University（俄勒冈州立大学）
真实世界的数据集是脏的，包含许多错误。这些问题的示例包括在表示数据值和实体时违反完整性约束、重复和不一致。在脏数据库上学习可能会导致不准确的模型。用户不得不花费大量的时间和精力来修复数据错误，并创建一个干净的数据库进行学习。此外，由于修复这些错误所需的信息通常不可用，因此脏数据库可能有许多可能的干净版本。我们提出了DLearn，一种新型的关系学习系统，它可以直接在脏数据库上有效地学习，而无需任何预处理。DLearn利用数据库约束来学习不一致和异构数据上的精确关系模型。它的学习模型以可用的形式表示所有可能的干净数据实例的模式。我们的实证研究表明，DLearn可以有效地在大型真实世界数据库中学习准确的模型。
2020-04-05 cs.DB cs.LG
Leveraging Application Data Constraints to Optimize Database-Backed Web Applications
利用数据之间的关系是一种经典的查询优化技术。随着持久性数据越来越多地通过编程方式创建和维护，之前从数据统计信息推断数据关系的工作错过了一个重要的机会。我们提出了ConstrOpt，第一个通过分析数据库支持的应用程序来识别数据关系的工具。一旦确定，ConstrOpt就利用这些约束来优化应用程序的物理设计和查询执行。ConstrOpt采用枚举-测试-验证技术来自动利用发现的数据约束来改进查询执行，而不是开发一组固定的预定义重写规则。每个结果重写可证明等价于原始查询。使用14个真实世界的Web应用程序，我们的实验表明，ConstrOpt可以发现大量的数据约束，从代码分析和提高现实世界的应用程序的性能显着。
2022-12-28 cs.DB cs.PL
Text-to-SQL based on Large Language Models and Database Keyword Search
Instituto Tecgraf, PUC-Rio（里约天主教大学 Tecgraf 研究所）；Petrobras（巴西石油公司）；Departamento de Informática, PUC-Rio（里约天主教大学 信息学系）；Departamento de Computação, UFC（塞阿拉联邦大学 计算机科学系）
本文提出一种结合动态少样本示例和数据库关键词搜索平台的策略，将自然语言问题编译为SQL查询，在真实世界数据库上超越现有方法。
2025-01-23 cs.AI cs.DB
Polynesia: Enabling Effective Hybrid Transactional/Analytical Databases with Specialized Hardware/Software Co-Design
数据量呈指数级增长，加上对实时分析的需求不断增加（即，使用最新的数据），已经导致了同时支持事务和数据分析的数据库系统的出现。这些混合事务和分析处理（HTAP）数据库系统可以支持实时数据分析，而无需在单独的单一用途数据库之间进行同步的高成本。不幸的是，对于执行高数据更新率的许多应用，与仅执行事务或仅隔离地执行分析相比，最先进的HTAP系统导致事务（高达74.6%）和/或分析（高达49.8%）吞吐量的显著下降，这是由于（1）CPU和存储器之间的数据移动，（2）数据更新传播，以及（3）一致性成本。我们提出波利尼西亚，在内存HTAP数据库的硬件-软件协同设计的系统。波利尼西亚（1）将HTAP系统划分为事务处理岛和分析处理岛，（2）实现自定义算法和硬件以降低更新传播和一致性的成本，以及（3）利用分析岛的内存处理来减轻数据移动。我们的评估表明，波利尼西亚优于三个最先进的HTAP系统，平均交易/分析吞吐量提高了1.70倍/3.74倍，并比之前的最低能耗系统降低了48%的能耗。
2021-03-01 cs.AR cs.DB
Parallel Betweenness Computation in Graph Database for Contingency Selection
提出了一种用于电力系统事故选择的并行介数计算算法，并在图数据库中实现。图数据库和图计算的原则进行了研究的节点和边介数计算。在118节点系统和实际电力系统上的实验表明，该算法对节点介数和边介数的计算都有一定的加速效果，但由于图形数据库对电网数据的数据检索优势，对边介数的加速效果更为显著。
2020-06-29 cs.DB cs.DC cs.DS
Enumerating Answers to First-Order Queries over Databases of Low Degree
本文研究低度数据库上的一阶查询评估，证明计数、成员测试和枚举答案均可实现伪线性时间或常数延迟。
2022-05-09 cs.DB cs.LO
SciTS: A Benchmark for Time-Series Databases in Scientific Experiments and Industrial Internet of Things
时间序列数据在工业物联网（IIoT）和大规模科学实验中的使用越来越多。管理时间序列数据需要一个存储引擎，它可以跟上不断增长的数据量，同时提供可接受的查询延迟。虽然传统的ACID数据库更倾向于一致性而不是性能，但已经开发了许多具有新颖存储引擎的时间序列数据库，以提供更好的摄取性能和更低的查询延迟。为了了解时间序列数据库的独特设计如何影响其性能，我们设计了SciTS，这是一个高度可扩展和可参数化的时间序列数据基准。该基准测试研究了时间序列数据库的数据摄取能力，特别是当它们的规模越来越大时。并从科学实验用例出发，研究了5个实用查询的语义。我们使用SciTS来评估4个不同存储引擎的4个数据库的性能：ClickHouse，InfluxDB，TimescaleDB和PostgreSQL。
2022-06-08 astro-ph.IM cs.DB cs.PF
Reverse Proxy Framework using Sanitization Technique for Intrusion Prevention in Database
随着互联网在我们日常生活中的重要性越来越大，Web应用程序中的数据安全变得非常重要。随着在线实时的事务服务的日益增多，与数据库安全相关的问题也日益增多。攻击者使用非法和未经授权的方法劫持机密信息，如用户名，密码和其他重要细节。因此，实时的事务需要针对基于web的攻击的安全性。SQL注入和跨站脚本攻击是最常见的应用层攻击。SQL注入攻击者通过Web应用程序输入字段、URL或隐藏参数传递SQL语句，并访问数据库或更新数据库。攻击者利用用户提供的数据，将用户输入作为SQL代码处理。利用此漏洞，攻击者可以直接在数据库上执行SQL命令。SQL注入攻击是最严重的威胁，它将用户输入集成到SQL查询中。反向代理是一种用于清理可能转化为数据库攻击的用户输入的技术。在该技术中，数据重定向程序在用户输入被发送到应用服务器之前将其重定向到代理服务器。在代理服务器处，使用净化应用程序来触发数据清理算法。在这个框架中，我们包括检测和净化被发送到数据库的污染信息，并创新一个新的原型。
2013-11-26 cs.CR cs.DB
Anomaly Detection in Log Data using Graph Databases and Machine Learning to Defend Advanced Persistent Threats
高级持续性威胁（APT）是计算机网络网络安全的主要威胁。在2015年，[Fi16]报告称，成功的违规行为平均有146天未被发现。通过我们的工作，我们展示了一种可行且快速的方法来分析真实世界的日志数据，以检测违规行为或违规尝试。通过采用众所周知的杀伤链机制以及时间序列数据库和抽象图方法的组合，可以创建灵活的攻击配置文件。使用这种方法，它可以证明，图分析成功地检测模拟的攻击，通过分析一个模拟的计算机网络的日志数据。考虑到日志数据的另一个来源，该框架能够在短时间内提供足够的性能来分析真实世界的数据。通过使用图形数据库的计算能力，可以识别攻击者，并且还可以检测其他受影响的系统组件。我们相信，通过这种方法可以显著缩短漏洞的检测时间，并对新的攻击向量做出快速反应。
2018-02-01 cs.CR cs.DB
Development of a Web-based Research Consortium Database Management System: Advancing Data-driven and Knowledge-based Project Management
针对菲律宾CLAARRDEC研发活动监测评估难题，开发含数据管理、实时监测双模块的Web数据库系统，提升联盟数据利用效率与协作决策能力，且可推广至其他研究联盟。
2024-11-01 cs.CY cs.DB
A case study of the difficulty of quantifier elimination in constraint databases: the alibi query in moving object databases
在约束数据库模型中，空间和时空数据通过实数上的多项式等式和不等式的布尔组合来存储。多项式约束扩充的关系演算是约束数据库的标准一阶查询语言。虽然这种查询语言的表达能力已被广泛研究，查询的有效评估的困难，通常涉及某种形式的量词消去，已收到相当少的关注。现有量词消除软件的效率低下和量词消去的固有困难已被证明是约束数据库系统实际实现的瓶颈。在本文中，我们专注于一个特定的查询，称为\emph{alibi query}，询问是否两个移动的对象，其位置是已知的，在某些时刻的时间，可能会满足，给定一定的速度限制。这个查询可以被看作是一个约束数据库查询，它的求值依赖于消除一个由三个存在量词组成的块。通用消除算法的实现在特定情况下，出于实际目的，在回答不在场证明查询时太慢，并且在参数情况下完全失败。本文的主要贡献是参数不在场证明查询的一个解析解，它可以用来回答这个查询在特定的情况下，在常数时间。我们还给出了一个解析解的不在场证明查询在一个固定的时刻。我们提出的解决方案是基于几何论证，它们说明了这样一个事实，即一些实际问题需要创造性的解决方案，至少在理论上，现有的系统可以提供一个解决方案。
2007-12-12 cs.CC cs.DB cs.LO
Differentially Private Data Releasing for Smooth Queries with Synthetic Database Output
我们考虑准确地回答平滑查询，同时保持差分隐私。如果查询由定义在$[-1,1]^d$上的函数指定，并且该函数的偏导数直到$K$阶都是有界的，则该查询被称为$K$ -光滑的。针对$K$ -光滑查询类，提出了一种$ε$ -差分私有机制.该算法的主要优点是它输出一个合成数据库。在实际应用中，合成数据库输出很有吸引力。我们的机制达到了$O (n^{-\frac{K}{2d+K}}/ε)$的精度，并在多项式时间内运行。我们还推广的机制，以保持$(ε, δ)$ -差分隐私略有提高的准确性。在基准数据集上的大量实验表明，该机制具有良好的准确性和效率。
2014-01-06 cs.DB stat.ML
