The Duck's Brain: Training and Inference of Neural Networks in Modern Database Engines
University of Bamberg（班贝格大学）；TUM（慕尼黑工业大学）
本文提出在SQL中通过关系表示训练神经网络，克服关系模型障碍，并比较数组类型与关系表示的性能，证明现代数据库适用于矩阵运算。
2023-12-28 cs.DB cs.LG
Graph Neural Networks on Graph Databases
University of Oxford（牛津大学）；Neo4j（Neo4j公司）
针对大型数据集上训练图神经网络的挑战，本文提出直接利用图数据库的查询引擎进行采样和最小化内存检索来训练GNN，实验证明该方法在单机和分布式训练中均具资源优势，为扩展GNN和图数据库应用开辟了新途径。
2024-11-18 cs.DB cs.LG
ReStore -- Neural Data Completion for Relational Databases
传统的OLAP方法假设所有表的数据都是完整的。然而，如果表不完整且缺少元组，经典方法就会失败，因为SQL聚合查询的结果可能与在完整数据集上计算的结果显着不同。今天，处理缺失数据的唯一方法是手动完成数据集，这不仅需要很高的工作量，而且还需要良好的统计技能来确定数据集何时真正完成。在本文中，我们提出了一种自动化的方法，关系数据完成称为ReStore使用一类新的（神经）模式结构的完成模型，能够合成类似于丢失的元组的数据。正如我们在评估中所显示的那样，与直接使用不完整的数据进行查询回答相比，这有效地帮助将聚合查询的相对错误减少了390%。
2021-05-26 cs.DB
Top Ten Challenges Towards Agentic Neural Graph Databases
Department of Computer Science and Engineering, HKUST（香港科技大学计算机科学与工程学系）；Department of Mathematical Sciences, Tsinghua University（清华大学数学科学系）；AI Group, WeBank（微众银行AI团队）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；Wuhan University（武汉大学）；Sichuan University（四川大学）
本文提出智能体神经图数据库（Agentic NGDBs），通过自主查询构建、神经查询执行和持续学习扩展神经图数据库，并识别十大关键挑战，旨在实现智能、自我改进的数据管理。
2025-01-24 cs.AI cs.DB cs.LG
Graph Neural Networks for Databases: A Survey
Hunan Univerisity（湖南大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Tsinghua University（清华大学）；University of Connecticut（康涅狄格大学）
本文综述 GNN 在数据库系统中的应用，按关系数据库与图数据库提出分类框架，梳理关键方法、任务与实践意义，并展望未来集成方向。
2025-02-19 cs.AI cs.DB
A Neural Database for Differentially Private Spatial Range Queries
移动应用程序和基于位置的服务产生大量的位置数据，这些数据可以有利于交通优化、上下文感知通知和公共健康（例如，传染病的传播）。为了保护个人隐私，必须首先净化位置数据，这通常使用强大的差分隐私（DP）概念来完成。然而，现有的解决方案没有适当地捕获空间数据固有的密度模式和相关性，并且因此产生差的精度。我们提出了一种基于机器学习的方法来回答位置数据与DP保证的统计查询。我们专注于对抗困扰现有方法的主要误差源（即均匀性误差），我们设计了一个神经数据库系统，该系统对空间数据集进行建模，即使添加了符合DP的噪声，也可以保留数据中存在的重要密度和相关性特征。我们采用了一组神经网络，它们从数据集的不同区域和不同的粒度进行学习，从而获得更高的准确性。我们还设计了一个框架，有效的系统参数调整的公共数据，这有助于从业者设置重要的系统参数，而不必花费稀缺的隐私预算。在具有异构特征的真实数据集上的大量实验结果表明，我们提出的方法显着优于现有技术。
2021-08-03 cs.DB
Incorporating Deep Learning Design in Database Queries
University of Washington（华盛顿大学）
提出一种将深度学习自然集成到数据库查询中的方法，通过为元组关联可学习的向量嵌入，使查询同时操作数据和嵌入，实现关系深度学习。
2026-05-22 cs.DB cs.LG
Application of Information Centric Networking to NoSQL Databases: the Spatio-Temporal use case
本文探讨了使用信息中心网络技术开发NoSQL分布式数据库的方法、优势和挑战，预计NoSQL将在即将到来的物联网和大数据时代发挥核心作用。ICN服务可以简化数据库软件的开发，提高性能，并提供数据级访问控制。我们使用我们的研究结果设计了一个NoSQL时空数据库，命名为OpenGeoBase，并评估其性能与智能交通系统应用程序相关的真实数据集。
2017-03-18 cs.DB
Mining Top-k Sequential Patterns in Database Graphs:A New Challenging Problem and a Sampling-based Approach
在许多现实世界的网络中，顶点通常与全面描述顶点行为的事务数据库相关联。一个典型的例子是社交网络，其中每个用户的行为都由一个交易数据库来描述，该数据库存储他每天发布的内容。事务数据库是一组事务，其中事务是一组项。网络中的每条路径都是一个顶点序列，这些顶点序列会导致多个交易序列。由网络中所有路径引起的事务序列形成了一个非常大的序列数据库。从序列数据库中寻找频繁的序列模式，可以发现网络中许多路径上频繁出现的有趣的连续性。然而，这是一个具有挑战性的任务，因为由数据库图诱导的序列数据库太大，无法显式地诱导和存储。在本文中，我们提出了新的概念，数据库图，自然模型广泛的现实世界的网络，通过关联每个顶点与一个交易数据库。我们的目标是从数据库图中找出序列数据库中的前k个频繁序列模式。我们证明了这个问题是#P-hard问题。为了解决这个问题，我们提出了一个有效的两步抽样算法，近似的top-k频繁序列模式，可证明的质量保证。在合成数据集和真实数据集上的大量实验结果证明了该方法的有效性和效率。
2018-05-08 cs.DB
Adaptive Tuning Algorithm for Performance tuning of Database Management System
数据库管理系统（DBMS）的性能调优既复杂又具有挑战性，因为它涉及到识别和更改几个关键的性能调优参数。调优的质量和性能增强的程度在很大程度上取决于数据库管理员（DBA）的技能和经验。由于神经网络具有适应动态变化输入的能力，并且它们的学习能力使它们成为用于调谐目的的理想候选者。本文提出了一种基于神经网络估计整定参数的新型整定算法。关键性能指标被主动监控并作为输入馈送到神经网络，并且训练的网络估计缓冲区高速缓存、共享池和重做日志缓冲区大小的合适大小。调谐器使用速率变化计算算法使用估计值来改变这些调谐参数。初步结果表明，该方法是有效的，提高查询响应时间的各种工作负载类型。.
2010-05-06 cs.DB
A multi-terabyte relational database for geo-tagged social network data
尽管它们的采样系数相对较低，但Twitter的免费、随机采样的状态流是地理嵌入式社交网络数据的非常有用的来源。为了统计分析Twitter通过这些流提供的信息，我们收集了一年的数据，并从中建立了一个数TB的关系数据库。该数据库旨在快速加载数据，并支持广泛的研究，重点关注社交网络的统计和地理特征，以及对推文的语言分析。本文介绍了数据汇集方法、数据库设计、数据加载过程以及对地理标记数据和多语种数据的特殊处理。我们还提供了一些用于计算网络统计数据的SQL方法。
2013-11-05 cs.DB
Incremental View Maintenance for Deductive Graph Databases Using Generalized Discrimination Networks
现在，当实体之间的关系在数据库查询的范围内时，采用图数据库以避免关系数据库的性能关键的连接操作。图查询用于查询和修改存储在图数据库中的图。图查询采用图模式匹配，其对于子图同构是NP完全的。可以采用图数据库视图，其在针对经常陈述的和复杂的图查询的预先计算的图模式匹配方面保持准备好的答案，以提高查询性能。然而，这样的图形数据库视图必须与存储在图形数据库中的图形保持一致。在本文中，我们描述了如何使用增量图模式匹配技术来维护图形数据库视图。我们提出了一个增量维护算法的图数据库视图，它适用于命令式和声明式指定的图查询。评估表明，我们的维护算法规模时，存储在图数据库中的节点和边的数量增加。此外，我们的评估表明，我们的方法可以优于现有的方法的增量维护图查询结果。
2016-12-06 cs.DB
Multimodal Neural Databases
Sapienza University（罗马大学）；Meta AI；ISTI - CNR（意大利国家研究委员会信息科学与技术研究所）
针对现有多媒体信息检索方法无法支持类数据库查询的问题，提出多模态神经数据库框架MMNDBs，可跨模态推理回答复杂查询，验证了现有模型局限并展现了技术潜力。
2023-05-02 cs.CL cs.CV cs.DB
Neural Graph Reasoning: Complex Logical Query Answering Meets Graph Databases
Stanford University（斯坦福大学）；Intel AI Lab（英特尔人工智能实验室）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
复杂逻辑查询应答（CLQA）是最近出现的图机器学习任务，其超越了简单的单跳链接预测，并且解决了在潜在空间中的大量潜在不完整图上的多跳逻辑推理的复杂得多的任务。该任务在社区中获得了巨大的吸引力;许多作品沿着理论和实践轴线扩展了该领域，以使用高效的系统来处理不同类型的复杂查询和图形模式。在本文中，我们提供了一个全面的调查CLQA从多个角度研究该领域的详细分类，包括图形类型（模态，推理域，背景语义），建模方面（编码器，处理器，解码器），支持的查询（运营商，模式，投影变量），数据集，评估指标和应用程序。细化CLQA任务，我们引入神经图数据库（NGDB）的概念。NGDB扩展了图数据库（图数据库）的概念，由神经图存储和神经图引擎组成。在神经图存储中，我们设计了一个图存储，一个特征存储，并使用编码器在潜在嵌入存储中进一步嵌入信息。给定一个查询，神经查询引擎学习如何执行查询规划和执行，以便通过与神经图存储交互来有效地检索正确的结果。与传统的图数据库相比，NGDB允许使用嵌入存储灵活和统一地建模不同模态的特征。此外，当图不完整时，它们可以提供正常图DB无法恢复的答案的鲁棒检索。最后指出了NGDB未来的研究方向、有待解决的问题和应用前景。
2023-03-26 cs.AI cs.DB cs.LG
Towards Foundation Models for Relational Databases with Language Models and Graph Neural Networks
University of Stuttgart, Stuttgart, Germany（斯图加特大学）；Internet Science Research Group, University of Southampton, Southampton, United Kingdom（互联网科学研究组，南安普顿大学）
本文提出结合语言模型和图神经网络的混合架构，通过关系实体图建模提升关系数据库的预测性能，实验表明其在多个任务中表现优异，接近监督基线并缩小与RDL的差距。
2026-05-15 cs.AI cs.DB
Exploiting Information-centric Networking to Federate Spatial Databases
本文探讨的方法，挑战和预期的优势，使用信息为中心的网络（ICN）技术联合空间数据库。ICN服务可以简化联合过程的设计，提高其性能，并提供所谓的以数据为中心的安全性。在这项工作中，我们提出了一个架构，能够联邦空间数据库，并评估其性能使用一个真正的数据集来自OpenStreetMap在一个异构的联邦由MongoDB和CouchBase空间数据库系统形成。
2019-11-23 cs.DB cs.NI
Progressive Neural Index Search for Database System
索引作为数据库管理系统的重要组成部分，在查询优化和处理中起着重要的作用。然而，在数据分布和查询分布都未知的情况下，应用现有索引或为新应用程序设计新索引是一项重要的任务。为了解决这个问题，我们提出了一种新的索引方法，NIS（神经索引搜索），它使用神经网络搜索最佳的索引参数和结构。特别是，NIS能够为任意列自动构建树状索引，可以使用自定义函数进行排序/分区。国家创新系统的贡献是双重的。首先，NIS通过将索引结构形式化为抽象的有序块和无序块，逐层构造树形索引。有序块使用B+树节点或跳表实现，而无序块采用具有不同配置的散列函数。第二，构建块的所有参数（例如，B+树节点的扇出、哈希函数的桶数等）由NIS自动调整。我们通过一个RNN驱动的强化学习模型实现了给定工作负载和数据集的两个目标。实验表明，NIS构建的自动调优索引比现有索引具有更好的性能。
2020-03-04 cs.DB
Towards Training and Inference of Graph Neural Networks in Graph Databases
Lund University, Faculty of Engineering（隆德大学工程学院）；Neo4j
本文研究图数据库在GNN训练与推理中的适用性，提出用Cypher实现实时采样与检索并优化训练速度约2.5倍，实现数据库内推理速度提升10倍以上且无额外内存开销，为相关应用奠定基础。
2026-10-13 cs.DB cs.LG
DBTagger: Multi-Task Learning for Keyword Mapping in NLIDBs Using Bi-Directional Recurrent Neural Networks
Bilkent University（比尔肯大学）
在关系数据库的接口中，将自然语言查询语言（NLQs）转换为结构化查询语言（SQL）是一项具有挑战性的任务，近年来在数据库界得到了广泛的研究。传统的基于规则的系统利用一系列解决方案作为流水线来处理该任务的每个步骤，即停止词过滤、标记化、词干提取/词形化、解析、标记和翻译。最近的工作主要集中在翻译步骤，忽略了早期的步骤，使用特设的解决方案。在流水线中，最关键和最具挑战性的问题之一是关键字映射;在查询中的标记和关系数据库元素（表、属性、值等）之间构建映射。我们将关键字映射问题定义为序列标记问题，并提出了一种新的基于深度学习的监督方法，该方法利用NLQs的POS标签。我们提出的方法，称为\textit{DBTagger}（数据库标记），是一个端到端和模式无关的解决方案，这使得它适用于各种关系数据库。我们在八个不同的数据集上评估了我们的方法，并报告了新的最先进的准确性结果，平均值为$92.4\%$。我们的研究结果还表明，DBTagger是快于它的同行高达$10000$倍，可扩展的更大的数据库。
2021-01-11 cs.CL cs.DB
Neuro-Relational Programs: Unifying Queries and Neural Computation over Structured Data
ILLC, University of Amsterdam（伊拉斯谟罗素学院，阿姆斯特丹大学）；Leipzig University（莱比锡大学）；ScaDS.AI Center（ScaDS.AI研究中心）；Technion（技术学院）；RelationalAI（关系AI）
提出神经关系程序（NRP），一种扩展Datalog规则的声明式查询语言，通过嵌入操作融合关系推理与可学习神经组件，实现关系数据上的通用神经计算。
2026-10-16 cs.CC cs.DB cs.LG
An End-to-end Neural Natural Language Interface for Databases
TU Darmstadt（达姆施塔特工业大学）；Bilkent University（比尔肯特大学）
从新数据集中提取见解的能力对于决策至关重要。可视化交互工具在数据探索中发挥着重要作用，因为它们为非技术用户提供了一种有效的方式来可视化地组合查询并理解结果。自然语言最近作为数据库的替代查询接口获得了关注，其具有使非专家用户能够高效且有效地制定复杂问题和信息需求的潜力。然而，理解自然语言问题并将其准确地翻译成SQL是一项具有挑战性的任务，因此数据库的自然语言接口（NLIDB）尚未成为实用工具和商业产品。在本文中，我们提出了一个新的数据探索工具DBDBSIDE与自然语言接口。DBSQL利用深度模型的最新进展，通过以下方式使查询理解更加健壮：首先，DBSQL使用深度模型将自然语言语句翻译为SQL，使翻译过程对释义和其他语言变体更加健壮。第二，为了支持用户在不知道数据库模式和查询功能的情况下措辞问题，DBCable提供了一个学习的自动完成模型，该模型在查询制定过程中向用户建议部分查询扩展，从而有助于编写复杂的查询。
2018-04-02 cs.CL cs.DB cs.HC
Finding Theme Communities from Database Networks
给定一个数据库网络，其中每个顶点都与一个事务数据库相关联，我们感兴趣的是寻找主题社区。这里，主题社区是一个内聚子图，使得公共模式在与子图中的顶点相关联的所有事务数据库中是频繁的。从数据库网络中寻找所有主题社区有许多新颖的应用。然而，这是具有挑战性的，因为即使计算数据库网络中所有主题社区的数量也是#P-hard。受观察到的主题社区收缩时，模式的长度增加的启发，我们调查的主题社区的几个属性和开发TCFI，一个可扩展的算法，使用这些属性，有效地修剪模式，不能形成任何主题社区。我们还设计了TC-Tree，一个可扩展的算法，有效地分解和索引的主题社区。从一个包含数亿个主题社区的TC树中检索主题社区的排名列表需要不到1秒的时间。大量的实验和案例研究表明，TCFI和TC-Tree在发现和查询有意义的主题社区从大型数据库网络的有效性和可扩展性。
2019-09-12 cs.DB cs.IR
Guidelines to the Problem of Location Management and Database Architecture for the Next Generation Mobile Networks
在不久的将来，预期的大量移动用户可能会引入非常大的集中式数据库，并增加HLR-VLR数据库上的位置注册和呼叫传递的端到端延迟，并且将变得不可行。在观察了几个问题后，我们提出了一些指导方针。采用了多树分布式数据库、高吞吐量索引结构、面向内存的数据库组织方式。采用重叠网络中移动用户的位置管理准则、邻居发现协议（NDP）和全局漫游规则。分析模型和例子来评估建议的指南的效率。
2013-04-10 cs.DB cs.NI
Transformers Meet Relational Databases
Department of Computer Science, Czech Technical University in Prague（计算机科学系，布拉格捷克技术大学）
针对 Transformer 难以处理关系数据库的问题，本文提出遵循关系模型的模块化神经消息传递方案，支持从数据库存储端到端学习，并在广泛数据集上验证其性能优于多个相关领域的代表性模型。
2024-12-06 cs.DB cs.LG
Forecasting Across Time Series Databases using Recurrent Neural Networks on Groups of Similar Series: A Clustering Approach
Monash University（莫纳什大学）；Uber Technologies Inc（优步科技公司）
随着大数据的出现，现在在许多应用程序中，包含大量相似时间序列的数据库是可用的。用传统的单变量预测程序预测这些领域的时间序列，留下了巨大的潜力，产生准确的预测尚未开发。循环神经网络（RNN），特别是长短期记忆（LSTM）网络，最近已经证明，当在所有可用的时间序列上进行训练时，它们能够在这种情况下胜过最先进的单变量时间序列预测方法。然而，如果时间序列数据库是异构的，准确性可能会退化，因此在这个空间中走向全自动预测方法的道路上，需要将时间序列之间的相似性的概念构建到方法中。为此，我们提出了一种预测模型，可以与不同类型的RNN模型一起使用，这些模型可以通过时间序列聚类技术识别。我们使用LSTM网络来评估我们提出的方法，LSTM网络是一种广泛流行的RNN变体。我们的方法在竞争评估程序下的基准数据集上取得了有竞争力的结果。特别是在平均sMAPE准确性方面，它始终优于基线LSTM模型，并且在CIF 2016预测竞赛数据集上优于所有其他方法。
2018-09-12 cs.DB cs.LG econ.EM
'Intelligence Studies Network': A human-curated database for indexing resources with open-source tools
本文介绍情报研究网络数据库，展示如何利用Zotero、OpenAlex和Streamlit等开源工具自动监测、人工策展并可视化情报研究领域资源，证明构建专业学术数据库的可行性。
2024-08-07 cs.DB cs.DL
NEMA: Automatic Integration of Large Network Management Databases
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Cisco（思科）
网络管理，无论是故障分析，故障预测，性能监控和改进，通常涉及大量的数据来自不同的来源。为了有效地集成和管理这些数据源，自动找到它们的模式或本体之间的语义匹配是至关重要的。现有的数据库匹配方法主要分为两类。一种是基于模式属性（如字段名、数据类型、约束和模式结构）的模式级匹配。网络管理数据库包含大量表（例如，网络产品、事件、安全警报和日志），这些信息来自不同的部门和组，具有不统一的字段名称和架构特征。通过这些模式属性来匹配它们是不可靠的。另一类是基于实例级的匹配，使用一般的字符串相似性技术，这是不适用于大型网络管理数据库的匹配。在本文中，我们开发了一个匹配技术，大型网络MANNETWORK数据库（NEMA）部署的实例级匹配有效的数据集成和连接。我们设计的数值和非数值字段的匹配指标和分数，并提出匹配这些字段的算法。通过在大型网络管理数据库中进行基于地面真值字段对的实验，对NEMA的有效性和效率进行了评估。我们对包含1，458个字段的大型数据库进行了测量，每个字段包含超过1000万条记录，结果显示NEMA的准确率高达95%。与基线方法相比，它实现了2%-10%的精度和5倍-14倍的加速。
2020-06-01 cs.AI cs.DB
Real-Time Outlier Connections Detection in Databases Network Traffic
本研究提出一种基于通用安全规则与实时机器学习的数据库异常连接实时检测方法，无侵入、不依赖数据库类型，可提前管控访问、降误保速，并经真实场景示例验证。
2025-01-13 cs.DB cs.SY eess.SY
Neural Graph Databases
ETH Zurich（苏黎世联邦理工学院）；Warsaw University of Technology（华沙理工大学）；TCL Research Europe（TCL欧洲研究院）
本研究提出LPG2vec编码器，将标签属性图（LPG）数据转换为兼容多种GNN的表示，实现图数据库与图神经网络的无缝结合，预测准确率最高提升34%，为神经图数据库奠定基础。
2022-11-24 cs.DB cs.LG
Learning Federated Neural Graph Databases for Answering Complex Queries from Distributed Knowledge Graphs
The Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technological University（南洋理工大学）；Zhongguancun Laboratory（中关村实验室）；WeBank；Beihang University（北航大学）
针对现有神经图数据库无法跨分布式图推理且隐私风险高的问题，提出联邦神经图数据库框架，利用联邦学习实现多源图数据的隐私保护推理与复杂查询。
2025-07-08 cs.AI cs.CR cs.DB
Techniques for Securing Data Exchange between a Database Server and a Client Program
所提出的工作的目标是说明一种方法，通过该方法可以保护独立的计算机软件和共享的数据库服务器之间的数据交换的未经授权的拦截的互联网网络中的流量，传输网络的数据由这两个系统管理，拦截攻击者可以获得非法访问数据库，威胁这种方式的数据完整性和损害数据库。
2009-05-28 cs.DB
Big Data Model Simulation on a Graph Database for Surveillance in Wireless Multimedia Sensor Networks
传感器以各种形式存在于世界各地，如手机，监控摄像头，智能电视，智能冰箱和血压监测仪。通常，大多数传感器是其他系统的一部分，这些系统具有组成网络的类似传感器。其中一个网络由数百万个连接到互联网的传感器组成，称为物联网（IoT）。随着无线通信技术的进步，多媒体传感器及其网络有望成为物联网的主要组成部分。无线多媒体传感器网络在火灾探测、城市监控、预警系统等不同领域已经有了很多研究。所有这些应用都需要定位传感器节点，并以实时数据流长时间收集数据，这些数据被认为是大数据。大数据可能是结构化的或非结构化的，需要存储以供进一步处理和分析。分析多媒体大数据是一项具有挑战性的任务，需要高层次的建模来有效地从数据中提取有价值的信息/知识。在这项研究中，我们提出了一个大的数据库模型的基础上，图数据库模型来处理无线多媒体传感器网络产生的数据。我们引入了一个模拟器来生成合成数据，并使用图模型作为一个大数据库存储和查询大数据。为了这个目的，我们评估了著名的基于图的NoSQL数据库，Neo4j和OrientDB，和一个关系数据库，MySQL。我们已经运行了一些查询实验，我们实现的模拟器，以显示在无线多媒体传感器网络的监控数据库系统（S）是有效的和可扩展的。
2017-08-13 cs.DB cs.NI
CUBE: A Cardinality Estimator Based on Neural CDF
本文提出基于神经CDF的基数估计方法，无需采样或积分即可实现快速且准确的基数估计，具有优秀的维度可扩展性，比现有方法快10倍。
2025-12-10 cs.DB
Rel-HNN: Split Parallel Hypergraph Neural Network for Learning on Relational Databases
University of Dhaka（达卡大学）；Brac University（布拉克大学）
本文提出超图神经网络框架 rel-HNN，将属性-值对建模为节点、元组建模为超边以捕捉细粒度关系结构，并通过分割并行多 GPU 训练算法解决大规模关系数据库的可扩展性问题，在分类和回归任务上显著优于现有方法。
2025-07-16 cs.DB cs.DC cs.LG
The Bi-Channel Networking Paradigm for Database Systems in the Cloud
Technische Universität München（慕尼黑工业大学）；TigerBeetle；Firebolt Analytics
针对现代高速云网络中内核TCP栈成为数据库性能瓶颈的问题，提出双通道网络范式，将通信分离为高性能数据路径和可靠控制路径，结合用户空间UDP与内核TCP，在分布式shuffle和复制键值存储中实现高吞吐与低开销。
2026-06-19 cs.DB cs.DC
Bayes Networks for Supporting Query Processing Over Incomplete Autonomous Databases
随着通过自主数据源向非专业用户提供的信息不断增加，调解人对于确保有效利用现有的丰富信息变得十分重要。这些信息中介者需要处理的一个关键挑战是基础数据库中缺少属性值的不同程度的不完整性。现有的方法，如QPIAD的目的是挖掘和使用近似函数相似性（AFD）来预测和检索相关的不完整元组。这些方法对缺失值做了独立的假设-当存在包含多个相关属性的缺失值的元组时，这严重阻碍了它们的性能。在本文中，我们提出了一个原则性的概率替代方案，认为一个不完整的元组定义一个分布在完整的元组，它代表。我们在贝叶斯网络中学习这个分布。我们的方法涉及从数据库的样本中挖掘/“学习”贝叶斯网络，并使用它来进行插补（预测缺失值）和查询重写（当数据源是自治的时，检索查询约束属性不完整的相关结果）。我们目前的实证研究表明，（i）在较高水平的不完整性，当多个属性值丢失，贝叶斯网络确实提供了一个显着更高的分类准确性和（ii）使用贝叶斯网络重新制定的查询检索的相关可能的答案提供更高的精度和召回比AFD，同时保持查询处理成本可控。
2012-08-28 cs.DB
Coherence of linear and surface data: Methodological proposal from the example of road data
真实世界及其地理对象在不同的空间数据库中建模和表示。这些数据库中的每一个只提供所表示的地理对象的部分描述（在空间和时间上）。有时，数据库的生产者和使用者需要连接几个数据库进行更新或比较。空间数据库管理的大部分工作集中在匹配这些空间数据库，更具体地说，是匹配网络数据库，如道路网络。关于网络数据，有一种情况仍然被忽略，即将线性数据库（具有多段线对象）与曲面数据库（具有多边形对象）进行匹配。在任何情况下，用户还需要连接这两种类型的空间数据库。本文使用法国案例（巴黎附近的卡尚）以及国际案例研究（法国波尔多、加拿大维多利亚和丹麦哥本哈根）进行案例研究，提出一种旨在在两个不同的参考系（线性和表面）中建立连贯网络地理对象的方法。这里通过道路数据的例子来解决这个问题。然后，对表面数据进行形式化处理，以使其适应描述相同地理对象的线性数据。最后，表面数据中的多边形对应于线性数据中的单个线段。这种一致性应简化从一个参考框架（线性或表面）到另一个参考框架的信息传输。换句话说，开发的方法旨在使线性和表面地理数据具有互操作性。
2022-09-14 cs.DB
A Real-Time Database QoS-aware Service Selection Protocol for MANET
实时的【形】数据库服务的选择通常取决于系统的稳定性，以便在其截止日期内处理时间受限的事务。然而，在移动自组织网络中应用实时的【形】数据库系统需要考虑移动节点有限的能力。在本文中，我们提出了跨层的服务选择，结合性能指标测量的实时的【形】数据库系统中使用的路由协议，以作出最佳的选择决定。它通过避免低功率和繁忙的服务提供商节点来确保及时性和能源效率。当向多个服务提供商发送相同的分组时，使用多播分组以减少传输成本和网络负载。在本文中，我们评估我们提出的协议的性能。利用网络仿真器NS 2进行仿真，结果表明，该协议降低了数据包的截止期丢失率，提高了服务的可用性，缩短了服务的响应时间。
2011-12-11 cs.DB
Life Under Your Feet: An End-to-End Soil Ecology Sensor Network, Database, Web Server, and Analysis Service
无线传感器网络可以通过提供以前不可能的时间和空间粒度的测量来彻底改变土壤生态学。本文介绍了一个土壤监测系统，我们开发和部署在巴尔的摩的城市森林实现这一愿景的第一步。这个网络中的微粒每分钟都在现场测量和保存土壤湿度和温度。原始测量值由传感器网关定期检索，并存储在中央数据库中，其中导出并存储校准版本。测量数据库通过Web Services接口发布。此外，分析工具让科学家分析当前和历史数据，并帮助管理传感器网络。本文介绍了系统设计，我们从部署中学到了什么，以及从传感器获得的初步结果。该系统以前所未有的时间精度测量土壤因素。然而，部署需要设备级编程，跨空间和时间的传感器校准，以及与外部源的交叉参考测量。数据库、Web服务器和数据分析设计需要大量的创新和专业知识。计算机科学家和生态学家的比例是3：1。在传感器网络能够发挥其作为科学家可以轻松部署的工具的潜力之前，这些技术问题必须得到解决，以便比率是每十个生态学家中有一个书呆子。
2007-01-26 cs.CE cs.DB
The Evolution of the Computerized Database
数据库，相关数据的集合，和文字一样古老。数据库可以是任何东西，从家庭主妇的金属配方文件到复杂的数据仓库。然而今天，当我们想到数据库时，我们总是想到计算机化的数据及其DBMS（数据库管理系统）。我们是如何从一个简单的金属文件盒或橱柜中组织我们的数据到将我们的数据存储在一个复杂的计算机化数据库中的？计算机化数据库是如何发展的？本文定义了数据库的含义。它追溯了数据库的演变，从一开始的非计算机化的相关数据集，到现在的标准计算机化的关系数据库管理系统（关系数据库管理系统）。回顾了早期的计算机存储方法，包括索引顺序存取方法和虚拟存储存取方法。早期的数据库模型，包括网络和层次数据库模型进行了探讨。最后讨论了关系数据库、对象关系数据库和面向对象数据库模型。附录中的图表，包括层次发生树，网络模式，ER（实体关系）和UML（统一建模语言）图，包括支持文本。本文最后探讨了DBMS发展的当前和未来趋势。它讨论了影响这些趋势的因素。它深入探讨了DBMS和日益流行的面向对象开发方法之间的关系。最后，对DBMS的未来进行了展望。
2003-05-21 cs.DB
ValueNet: A Natural Language-to-SQL System that Learns from Database Information
ZHAW Zurich University of Applied Sciences（苏黎世应用科技大学（ZHAW））
几十年来，为数据库构建自然语言（NL）接口一直是一个长期存在的挑战。这些所谓的NL-to-SQL系统的主要优点是，最终用户可以查询复杂的数据库，而不需要知道SQL或底层数据库模式。由于机器学习的重大进步，最近的研究重点一直放在神经网络上，以解决像Spider这样的复杂数据集上的这一挑战。最近的几个NL-to-SQL系统在这个数据集上取得了令人鼓舞的结果。然而，没有一个提供源代码或可执行二进制文件的已发布系统从用户问题中提取和合并值以生成SQL语句。因此，这些系统在现实世界中的实际应用尚未得到充分证明。在本文中，我们提出了ValueNet light和ValueNet --两个端到端的NL到SQL系统，它们使用具有挑战性的Spider数据集合并了值。我们的方法的主要思想是不仅使用来自底层数据库的元数据信息，而且使用基础数据上的信息作为神经网络架构的输入。特别是，我们提出了一种新的架构草图，从用户的问题中提取值，并提出可能的值候选人中没有明确提到的问题。然后，我们使用基于编码器-解码器架构的神经模型来合成SQL查询。最后，我们使用执行准确性指标评估我们的模型，这是一个比大多数挑战参与者使用的更难的指标。我们的实验评估表明，ValueNet light和ValueNet分别达到了67%和62%的准确率，从NL转换到SQL，同时合并值。
2021-02-22 cs.AI cs.DB
Sample Debiasing in the Themis Open World Database System (Extended Version)
开放世界数据库管理系统假设数据库中没有的元组仍然存在，并且正在成为一个越来越重要的研究领域。我们提出了Themis，第一个开放世界的数据库，自动重新平衡任意偏置的样本，近似回答查询，如果他们在整个人口发出。我们利用先验的人口聚集信息，开发和结合两种不同的方法自动去偏：样本重新加权和贝叶斯网络概率建模。我们建立了一个原型的Themis和证明，Themis实现更高的查询精度比默认的AQP方法，一种替代的样本重新加权技术，和各种贝叶斯网络模型，同时保持交互式查询响应时间。我们还表明，\name是强大的样本和人口之间的支持，一个关键的用例时，使用社交媒体样本的差异。
2020-02-29 cs.DB
Implementation of Association Rule Mining for Network Intrusion Detection
现代的入侵检测系统都是基于数据采掘和以数据库为中心的体系结构，其中出现了许多数据采掘技术，其中关联规则挖掘是数据采掘研究的重要内容之一。这种方法确定大型数据项集之间的有趣关系。这种技术最初被应用于所谓的购物篮分析，其目的是发现超市顾客的购物行为。与通常需要数百个属性的购物篮分析数据集相比，网络审计数据库面临数十个属性。针对事务数据库的这种特点，对传统的关联规则挖掘算法Apriori进行了改进。本文提出了一种改进的Apriori算法，该算法通过事务切割和散列，只需扫描网络审计数据库一次，在实际应用中非常有用。
2016-08-04 cs.CR cs.DB
A Database System for State Management in Stateful Network Service Function Chains [Vision]
本文提出数据库系统DB4NFV，通过将事务语义集成到有状态服务功能链的全生命周期中，以简化开发、优化多核性能并提升执行鲁棒性，从而推动NFV状态管理的有效部署。
2023-12-02 cs.DB cs.NI
Tracking Network Events with Write Optimized Data Structures: The Design and Implementation of TWIAD: The Write-Optimized IP Address Database
访问网络流量记录是识别和解决网络安全漏洞的一个组成部分。即使随着网络攻击的日益复杂，基本网络事件（如两个IP地址之间的连接）在任何网络防御中都起着重要作用。考虑到当前攻击的持续时间，长期数据存档至关重要，但通常很少有数据被访问。以前的工作提供了工具，并确定了跟踪连接的需要。然而，传统的数据库会引起性能问题，因为它们是针对查询而不是摄取进行优化的。写优化数据结构（WODS）的研究是一个新的和不断增长的领域，其为传统的存储结构（例如，B树）。WODS以查询性能的轻微下降换取快速插入更多数据元素的能力的显著提高，通常是每秒插入10到100倍。这些高效的内存不足数据结构在实现对网络事件的长期稳健跟踪方面发挥着关键作用。在本文中，我们提出了TWIAD，写优化的IP地址数据库。TWIAD使用称为B ε树的写优化B树来跟踪网络流量流中的所有IP地址连接。我们最初的实施重点是利用低成本的硬件，证明基本的长期跟踪可以在没有先进设备的情况下完成。我们在一个普通的桌面系统上测试了TWIAD，并显示出每秒约20，000次插入的持续摄取率。
2015-11-30 cs.CR cs.DB
Partitioning Graph Databases - A Quantitative Evaluation
电子数据在规模和连通性方面都在以越来越快的速度增长：数据之间的关系越来越多，人们对数据之间的关系越来越感兴趣。一个例子是Twitter社交网络图。由于这种增长，对可以处理这些数据的技术的需求正在增加。目前，关系数据库是主要的技术，但它们不太适合处理连接的数据，因为它们针对索引密集型操作进行了优化。相反，图数据库针对图计算进行了优化。它们通过直接引用来链接记录，避免了索引查找，并且能够在恒定的时间内检索相邻的元素，而不管图的大小。然而，随着数据量的增加，这些数据库的增长超出了一台计算机的资源，数据分区变得必要。我们评估的可行性，使用图分区算法分区图数据库。开发了一个原型分区数据库。三个分区算法探讨和一个实施。使用了三个图形数据集：两个真实的和一个合成生成的。它们以各种方式进行分区，并测量对数据库性能的影响。我们为每个数据集定义了一个合成访问模式，并在分区数据集上执行。评估在模拟环境中进行，确保可重复性，并允许测量网络流量和负载平衡等指标。结果表明，与随机划分相比，划分算法减少了40- 90%的流量。在使用期间间歇地执行该算法保持了分区质量，同时只需要初始分区计算的1%。强相关性的理论质量指标和非均匀访问模式下产生的网络流量。
2013-01-22 cs.DB cs.DC
Explicit probabilistic models for databases and networks
University of Bristol（布里斯托大学）
最近在数据采掘和相关领域的工作突出了对数据采掘结果进行统计评估的重要性。这一努力的关键是为数据选择一个非平凡的空模型，可以将发现的模式与之进行对比。迄今为止提出的最有影响力的空模型是根据空分布的不变量定义的。这种空模型可以被计算密集型随机化方法用于估计数据采掘结果的统计显著性。在这里，我们介绍了一种方法来构建非平凡的概率模型的基础上最大熵（MaxEnt）原则。我们展示了MaxEnt模型如何允许先验信息的自然合并。此外，它们满足先前引入的随机化方法的许多期望的性质。最后，它们还有一个好处，即它们可以被显式地表示。我们认为，我们的方法可以用于各种数据类型。然而，为了具体起见，我们选择特别针对数据库和网络来展示它。
2009-06-29 cs.AI cs.DB cs.IT
