A Novel Approach for Web Page Set Mining
关联规则挖掘中最耗时的步骤之一是计算数据库中项集的出现频率。哈希表索引方法通过仅扫描事务数据库一次来将事务数据库转换为哈希索引树。每当用户请求任何统一资源定位符(URL)时,请求条目都存储在服务器的日志文件中。本文提出了一种通用的、密集的哈希索引表结构,用于从服务器的日志文件中提取网页集。此哈希表提供有关原始数据库的信息。网页集挖掘(WPs-Mine)提供了原始数据库的完整表示。这种方法适用于稀疏和密集数据分布。哈希表索引支持的Web页面集挖掘表明,其性能始终与访问平面文件上的数据的算法相当,并且往往优于这些算法。增量更新是可行的,无需重新访问原始事务数据库。
2011-11-11 cs.DB
Interactive Browsing and Navigation in Relational Databases
虽然研究人员已经投入了相当大的精力来帮助数据库用户制定查询,许多用户仍然发现它具有挑战性的指定查询,涉及连接表。为了帮助用户构建连接查询,探索关系数据库,我们提出了ETable,一种新的表示数据模型,为用户提供一个表示级的交互式视图。此视图通过允许单元格包含一组实体引用,在单个丰富的表中呈现一对多和多对多关系。用户可以直接与这个丰富的表交互,以增量方式构建复杂的查询,并在概念实体关系级别上导航数据库。在一项用户研究中,参与者使用ETable比使用商业图形查询构建器更快地执行一系列数据库查询任务。对ETable的主观反馈也是积极的。所有参与者都发现ETable更容易学习,有助于探索数据库。
2016-08-21 cs.DB
Latent table discovery by semantic relationship extraction between unrelated sets of entity sets of structured data sources
查询是数据库系统的基本功能之一。参与表数量的增加会对查询效率产生不利影响。此外,基于语法的查询在很大程度上限制了数据库系统可以处理的查询的范围。语法查询依赖于数据库表结构,这是大型组织关注的一个原因,因为存储分布在不同地理位置的数据的异构系统之间不兼容。这些问题的解决方案在某种程度上是通过使数据和数据库有意义而转向语义技术来回答的。在这样做时,实体集合的集合之间的关系将不仅限于句法约束,而且还将允许语义连接,尽管这样的关系可以是隐性的、无形的和不可见的。这项工作的目标是提取这种隐藏的关系之间的不相关的实体集,并存储在一个有形的形式。一些示例情况下,提供了辩护,建议的工作,提高查询显着。
2011-04-07 cs.DB
Algorithm for Invalidation of Cached Results of Queries to a Single Table
针对高性能网站后端关系型数据库查询缓存失效不正确的问题,提出一种支持无限TTL和细粒度失效的算法,并在理论和实践中证明了其在并发环境下的正确性。
2023-10-23 cs.DB
GFS: Graph-based Feature Synthesis for Prediction over Relational Databases
Shanghai Jiao Tong University(上海交通大学);AWS Shanghai AI Laboratory(AWS上海人工智能实验室)
本文提出GFS框架,将关系数据库建模为异构图以保留关系结构,并结合单表模型归纳偏置自动捕捉表内复杂关系,从而免去手动特征工程,在四个真实多表数据库上取得优于现有方法的预测性能。
2023-12-04 cs.DB cs.LG
On Desirable Semantics of Functional Dependencies over Databases with Incomplete Information
Codd的关系模型只描述了一个可能的世界。为了更好地处理不完整的信息,扩展的数据库模型允许几种可能的世界。Vague表就是这样一种方便的扩展模型,其中属性接受可能值的集合(例如,经理是吉尔或鲍勃)。然而,在这种情况下,概念数据库设计仍然是一个悬而未决的问题。特别地,没有可能世界上的函数依赖性(FD)的规范定义(例如,每个员工只有一个经理)。我们确定了几个理想的属性,这样的FD的语义应该满足包括阿姆斯特朗的公理,无关属性的独立性,无缝的满意度和隐含的强满意度。我们表明,我们可以定义FD,使他们有我们所有的理想属性在模糊表。然而,我们也表明,没有FD的概念可以满足我们所有的理想属性在一个更一般的模型(析取表)。我们的工作形式化了一个权衡之间有一个通用的模型,并有良好的表现FD。
2017-04-06 cs.DB
Revisiting Reuse in Main Memory Database Systems
重用数据库中的中间体来加速分析查询处理已经在过去进行了研究。现有的解决方案通常需要将各个运算符的中间结果具体化为临时表,以便在后续查询中重用。然而,这些方法基本上不适合在现代主存数据库中使用。原因是现代主存DBMS通常受到内存总线带宽的限制,因此查询执行被大量优化以将元组保持在CPU缓存和寄存器中。为此,将额外的物化操作添加到查询计划中不仅会向内存总线添加额外的流量,而且更重要的是会阻止重要的缓存和寄存器局部性机会,从而导致高性能损失。在本文中,我们研究了一种新的重用模型的中间,缓存内部物理数据结构物化查询处理(由于管道断路器)和外部化,使他们成为可重用的即将到来的操作。我们重点讨论哈希表,这是主存数据库中最常用的内部数据结构,用于执行连接和聚合操作。当查询到达时,我们的重用感知优化器会对哈希表的重用机会进行推理,并采用成本模型,该模型将哈希表统计信息以及缓存层次结构中的CPU和数据移动成本考虑在内。基于我们的HashStash原型的实验结果证明了$2\times$在典型分析工作负载中的性能提升,并且没有额外的开销用于实现中间体。
2016-08-19 cs.DB
Concept driven framework for Latent Table Discovery
数据库系统必须满足信息时代日益增长的需求。像搜索引擎这样的新时代信息检索强国的发展给数据管理社区提出了一个挑战,即提出新的机制来向最终用户提供信息。自然语言查询接口的迅速发展迫使系统设计人员提供有意义的定制信息。传统的查询语言如SQL由于面向语法的设计而不能满足这些要求。在这些系统上提供语义覆盖是潜在表发现的目的,其重点是语义连接不相关的表,这些表在设计上没有语法相关,并记录发现的知识。本文提出了一个新的方向,提高数据库系统的语义能力,通过引入一个概念驱动的框架,潜在的表发现方法。
2012-08-20 cs.DB
What if an SQL Statement Returned a Database?
本文提出用 RESULTDB 关键字扩展 SQL 的 SELECT 子句,使其返回结果数据库而非单表,从而避免连接非规范化,并改善查询性能、结果传输效率及优化器设计。
2023-12-01 cs.DB
Beyond Tables: Doc2DB-Bench for Relationally Faithful Document-to-Database Construction
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
该研究针对现有文档到表格基准无法适配关系数据库构建需求的问题,推出Doc2DB-Bench基准,含多领域长文档实例,为基于LLM的可靠数据系统提供测试平台。
2026-08-11 cs.AI cs.CL cs.DB
Approximate Keys and Functional Dependencies in Incomplete Databases With Limited Domains-Algorithmic Perspective
本文针对不完备数据库中的强可能键和函数依赖,提出新近似度量g5(添加元组比率),证明其与g3(删除元组比率)的关系及独立性,并研究计算复杂性。
2024-02-07 cs.DB
The Usefulness of Multilevel Hash Tables with Multiple Hash Functions in Large Databases
在这项工作中,试图选择三个好的散列函数,均匀分布的散列值,置换其内部状态,并允许输入位生成不同的输出位。这些函数用于不同层次的哈希表中,这些哈希表是用Java程序设计语言编写的,并且相当数量的数据记录作为测试性能的原始数据。结果表明,采用三种不同哈希函数的两级哈希表在减少冲突键和快速查找特定元素方面优于采用两种哈希函数的一级哈希表和采用一种哈希函数的零级哈希表.该结果有助于将查询语言中连接操作的复杂度从O(n2)降低到O(1),将较大的查询结果放置在具有多个哈希函数的多级哈希表中,生成较短的查询结果。
2009-05-26 cs.DB cs.DS
On the Scalability of Multidimensional Databases
在数据库联机分析处理的实践中,人们普遍认为多维数据库组织的可伸缩性低于关系数据库组织。很容易看出,多维组织的规模可能会非常迅速地增加。例如,如果我们引入一个额外的维度,那么可能的细胞总数将至少增加一倍。然而,这种推理没有考虑到多维组织可以被压缩的事实。有压缩技术,可以从多维组织中删除所有或至少一部分空单元格,同时保持良好的检索性能。关系数据库通常使用B树索引来加速对给定表行的访问。在一些合理的假设下,可以证明表和B树索引的总大小大于压缩的多维表示。这意味着压缩数组可以同时实现更小的数据库和更快的访问速度。本文比较了几种压缩技术,并说明了何时应该和不应该应用压缩数组而不是关系表。
2011-04-25 cs.DB
The TESLA Requirements Database
为了准备计划中的直线对撞机TESLA,DESY正在设计所需的建筑物和设施。加速器和基础设施组件必须分配给建筑物,并且必须确定其安装,操作和维护所需的区域。跨学科工作组从不同的角度对项目进行详细说明,并需要制定一个共同的愿景,作为最佳解决方案的先决条件。一个商业需求数据库被用来作为一个协作工具,使独立的工作组并发的需求规格。需求数据库确保了新兴知识的长期存储和可用性,并为所有项目成员提供了一个中央交流平台。自2002年夏天以来,它成功地运行,并已成为设计团队的重要工具。
2003-06-13 cs.DB
Approximate Integrity Constraints in Incomplete Databases With Limited Domains
本文针对不完全数据库,引入强可能多值依赖和交叉连接,分析其有效性检查复杂性,并研究强可能键、函数依赖、多值依赖及交叉连接的近似度量及确定近似值的复杂性。
2024-02-07 cs.DB
Relational Database Distillation: From Structured Tables to Condensed Graph Data
The University of Queensland(昆士兰大学);Shandong University(山东大学)
本研究提出关系数据库蒸馏方法,将大规模结构化数据库压缩为紧凑图数据,保留预测能力,通过异质图结构和核岭回归引导目标实现高效学习。
2026-01-20 cs.DB cs.LG
Column2Vec: Structural Understanding via Distributed Representations of Database Schemas
Rochester Institute of Technology(罗切斯特理工学院)
我们提出了Column2Vec,一个基于列元数据的数据库列的分布式表示。我们的分布式表示有几个应用程序。使用列组的已知名称(即,表名),我们训练模型为未命名表中的列生成适当的名称。我们使用从GitHub上的开源应用程序收集的模式信息来证明我们的方法的可行性。
2019-03-20 cs.DB cs.LG
SmartInt: Using Mined Attribute Dependencies to Integrate Fragmented Web Databases
许多网络数据库可以被视为提供关于世界上实体的部分和重叠的信息。为了有效地回答查询,我们需要整合关于分散在多个源中的各个实体的信息。乍一看,这只是传统数据库规范化问题的逆-而不是从通用关系到规范化表,我们希望重建给定表(源)的通用关系。重建实体的标准方法包括连接表。不幸的是,由于源是以自治和分散的方式填充的,它们通常没有主键码-外键关系。虽然表可以共享属性,但这些共享属性上的朴素连接可能会导致重建许多虚假实体,从而严重影响精度。我们的系统,\smartint \的目的是解决在这种情况下的数据集成的问题。对于给定的查询,系统使用近似函数分解(AFD)将相关表拼接成一棵树来回答,生成的结果元组能够在查准率和查全率之间取得良好的平衡。
2011-01-31 cs.DB cs.IR
TCSR-SQL: Towards Table Content-aware Text-to-SQL with Self-retrieval
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Inspur Cloud Information Technology Co. Ltd(浪潮云信息技术有限公司);Peng Cheng Laboratory(鹏城实验室);Guangdong Power Grid Co. Ltd(广东电网有限责任公司);University of Macau(澳门大学)
TCSR-SQL通过LLM上下文学习提取问题中的数据内容关键词,推断相关数据库模式并生成种子SQL进行模糊搜索,结合编码知识表和多轮生成-执行-修订过程生成精确SQL,在包含2115个问题-SQL对的表格内容感知基准上执行准确率至少提升27.8%。
2025-11-06 cs.DB
DBLog: A Watermark Based Change-Data-Capture Framework
这是一种常见的模式,应用程序利用多个异构数据库,其中每个数据库都用于满足特定的需求,例如存储数据的规范形式或提供高级搜索功能。因此,对于应用程序,希望保持多个数据库同步。我们已经观察到一系列不同的模式,试图解决这个问题,如双写和分布式事务。然而,这些方法在可行性、鲁棒性和维护方面具有局限性。最近出现的一种替代方法是利用Change-Data-Capture(CDC),以便从数据库的事务日志中捕获更改的行,并最终以低延迟将它们传递到下游。为了解决数据同步问题,还需要复制数据库的完整状态,而事务日志通常不包含完整的更改历史。同时,有些用例需要事务日志事件的高可用性,以便数据库尽可能保持同步。为了解决上述挑战,我们开发了一种新的CDC数据库框架,即DBLog。DBLog利用了一种基于水印的方法,该方法允许我们将事务日志事件与我们直接从表中选择的行交错,以捕获完整状态。我们的解决方案允许日志事件继续进行,而不会在处理选择时停止。可以在任何时候对所有表、特定表或表的特定主键触发SQL。DBLog在块中执行选择并跟踪进度,允许它们暂停和恢复。水印方法不使用锁,对源代码的影响最小。DBLog目前被Netflix的数十个微服务用于生产。
2020-10-23 cs.DB
Differentially Private Synthetic Data Generation for Relational Databases
MIT(麻省理工学院);RedHat AI Innovation(红帽人工智能创新部);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
针对现有差分隐私合成数据生成仅适用于单表的问题,提出首个可与任意DP机制结合的算法,迭代优化表间关系以生成保持参照完整性的合成关系数据库,兼具空间与时间效率,并具备DP与理论效用保证。
2025-01-18 cs.CR cs.DB cs.LG
Towards Multi-Modal DBMSs for Seamless Querying of Texts and Tables
TU Darmstadt(达姆施塔特工业大学);DFKI(德国人工智能研究中心)
本研究提出多模态数据库MMDBs,依托大语言模型构建多模态算子扩展关系数据库,无需手动转换即可用SQL查询文本与表格,在准确率、性能及微调数据需求上均优于现有最优方法。
2023-04-28 cs.CL cs.DB
Storing Multi-model Data in RDBMSs based on Reinforcement Learning
如何统一管理各种数据是数据库领域的一个重要研究课题。为了解决这个问题,研究人员提出了多模型数据库,以支持在一个统一的平台上使用一个统一的查询语言的多个数据模型。然而,由于关系数据库在当前市场中占主导地位,因此用其他数据库替换它们是昂贵的。此外,由于关系数据库管理系统的理论和技术已经提高了几十年,这是很难用几年的时间来开发一个多模型数据库,可以与现有的关系数据库管理系统在处理安全性,查询优化,事务管理等。在本文中,我们重新考虑使用关系数据库存储和查询多模型数据。不幸的是,多模型数据结构的复杂性和平面关系表的简单性之间的不匹配使得这一点很困难。针对这一挑战,我们利用强化学习(RL)的方法来学习一个关系模式,通过与关系数据库管理系统的交互。本文提出了一种改进的Q学习算法\textit{Double Q-tables},以降低Q表的维数,提高学习效率。实验结果表明,我们的方法可以学习一个关系模式优于现有的多模型存储模式的查询时间和空间消耗。
2021-09-01 cs.DB
BERT Meets Relational DB: Contextual Representations of Relational Databases
Indian Institute of Technology, Delhi(德里印度理工学院)
在本文中,我们解决的问题,学习低维表示的实体在关系数据库组成的多个表。嵌入有助于捕获数据库中编码的语义,并可用于各种设置,如表的自动完成,关系连接查询的全神经查询处理,无缝处理缺失值等。目前的工作仅限于使用单个表,或者在外部语料库上使用预训练的嵌入,这使得它们不适合在现实世界的数据库中使用。在这项工作中,我们研究如何使用这些基于注意力的模型来学习嵌入的实体在关系数据库。我们的灵感来自于BERT风格的预训练方法,并有兴趣观察它们如何在结构化数据库上扩展为表示学习。我们评估我们的方法的自动完成的关系数据库,并实现了改进的标准基线。
2021-04-30 cs.CL cs.DB cs.LG
Multidimensional or Relational? / How to Organize an On-line Analytical Processing Database
在过去的几年中,OLAP应用的数量迅速增加。这些应用程序使用两种截然不同的数据库结构:多维(MD)和基于表的。可以看出,传统的关系数据库模型无法区分这两种结构。另一个模型是必要的,使差异可见。其中之一就是系统的速度。可以证明,多维数据库组织导致更短的响应时间。这是至关重要的,因为如果经理不得不等待下一个屏幕超过20秒,他或她可能会变得不耐烦。另一方面,我们必须为更大的数据库大小的速度付出代价。为什么MD数据库的规模增长如此之快?原因是数据的稀疏性:MD矩阵包含许多空单元。稀疏矩阵的有效处理在OLAP应用中是必不可少的。处理稀疏性的一种方法是使结构更接近基于表的结构。因此,数据库大小减小,而应用程序变慢。因此,需要其他方法。本文对这两种数据库结构进行了比较,并指出了它们的使用局限性。本文的新结果是:(1)构造性地证明了所有关系都可用MD阵列表示。(2)它还显示了MD数组表示何时比基于表的表示更快。(3)MD表示在某些条件下导致较小的DB大小。本文证明了一个这样的充分条件。(4)单计数头压缩方案的一个变化描述了一个算法,它从有序表创建压缩数组,而不具体化未压缩数组。(5)并通过实验对两种不同数据库组织的速度进行了测试。测试是在基准测试和真实数据上进行的。实验结果支持了理论结果。
2011-04-19 cs.DB
Computing Multi-Relational Sufficient Statistics for Large Databases
Simon Fraser University(西蒙弗雷泽大学)
数据库包含有关实体之间存在和不存在哪些关系的信息。为了使这些信息可用于统计分析,需要计算足够的统计数据,这些统计数据将来自不同数据库表的信息组合在一起。这样的统计可以涉及任何数量的{ \em正和负}关系。使用朴素枚举方法,计算足够的负关系统计数据仅适用于小型数据库。我们解决了这个问题,一个新的动态规划算法,执行虚拟连接,计算所需的计数,而不物化连接表。列联表代数是关系代数的一个新的扩展,它有助于有效地实现这种Möbius虚连接操作。Möbius Join可扩展到具有复杂模式的大型数据集(超过1 M元组)。七个基准数据集的实证评估表明,有关链接的存在和不存在的信息可以利用在特征选择,关联规则挖掘,贝叶斯网络学习。
2014-08-22 cs.DB cs.LG
WarpGate: A Semantic Join Discovery System for Cloud Data Warehouses
数据发现是企业数据分析中的一个主要挑战:用户通常很难找到与其分析目标相关的数据,甚至很难在数据源之间导航数据,每个数据源都可能包含数千个表。一个常见的用户需求是发现可与给定表连接的表。这种需求特别重要,因为连接是数据分析中无处不在的操作,而连接路径对用户来说大多是模糊的,特别是在数据库之间。此外,用户通常对找到“语义上”可连接的表感兴趣:即使列在数据存储中当前表示为不可连接,也可以将其转换为可连接的列。我们提出了WarpGate,一个系统原型的数据发现云数据仓库。WarpGate实现了一个基于嵌入的语义连接发现解决方案,它将列编码到高维向量空间中,以便可连接的列映射到彼此靠近的点。通过几个表语料库的实验,我们表明,WarpGate(i)捕获表之间的语义关系,特别是那些跨数据库,(ii)是样本效率,从而可扩展到非常大的表的数百万行。我们还展示了WarpGate在云数据分析企业产品中的应用。
2023-01-03 cs.DB
ReStore -- Neural Data Completion for Relational Databases
传统的OLAP方法假设所有表的数据都是完整的。然而,如果表不完整且缺少元组,经典方法就会失败,因为SQL聚合查询的结果可能与在完整数据集上计算的结果显着不同。今天,处理缺失数据的唯一方法是手动完成数据集,这不仅需要很高的工作量,而且还需要良好的统计技能来确定数据集何时真正完成。在本文中,我们提出了一种自动化的方法,关系数据完成称为ReStore使用一类新的(神经)模式结构的完成模型,能够合成类似于丢失的元组的数据。正如我们在评估中所显示的那样,与直接使用不完整的数据进行查询回答相比,这有效地帮助将聚合查询的相对错误减少了390%。
2021-05-26 cs.DB
Text2Schema: Filling the Gap in Designing Database Table Structures based on Natural Language
Hunan University(湖南大学);Peking University(北京大学)
本文提出Text2Schema问题及基于LLM的多智能体框架SchemaAgent,将自然语言需求自动转换为关系数据库模式,并开源381对基准数据,实验证明其优越性。
2025-10-17 cs.AI cs.DB
Griffin: Fast Transactional Database Index with Hash and B+-Tree
Griffin提出哈希表与B+-树结合的混合索引架构,通过O(1)点操作访问和无需额外遍历的精确锁定幻象避免方法,在点操作和范围操作主导负载下分别实现最高3.1倍和5.4倍的吞吐量提升。
2024-07-18 cs.DB
New Approach to Optimize the Time of Association Rules Extraction
知识发现算法在海量数据中已经变得无效,需要快速算法或优化方法。为了解决这个问题,这项工作的目标是适应一个新的方法,优化的时间从大型数据库中提取关联规则。事实上,给定一个表示为元组集(也称为属性集)的关系数据库(一个关系),我们将原始数据库转换为包含二进制数的二进制表(位图表)。然后,我们使用这个位图表来构造一个称为Peano树的数据结构,该Peano树存储为二进制文件,我们在该二进制文件上应用一种称为BF-ARM的新算法(众所周知的Apriori算法的扩展)。由于数据库被加载到一个二进制文件中,我们提出的算法将遍历这个文件,关联规则的提取过程将基于存储在磁盘上的文件。实现了BF-ARM算法,并与Apriori、Apriori+和RS-Rules+算法进行了比较。评估过程基于三个基准(Mushroom、Car Evaluation和Adult)。我们的初步实验结果表明,我们的算法产生的关联规则与其他算法相比,以最小的时间。
2013-12-17 cs.DB
cjdb: a simple, fast, and lean database solution for the CityGML data model
本文提出cjdb,一种基于PostgreSQL和JSON的CityGML数据存储方案,仅需3张表,相比3DCityDB节省约10倍存储空间,并提升导入导出速度,检索性能相当。
2023-07-13 cs.DB
IRG: Modular Synthetic Relational Database Generation with Complex Relational Schemas
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);National University of Singapore(新加坡国立大学)
IRG提出一种模块化框架,通过学习关系连接上下文生成合成关系数据库,有效处理复杂关系模式和数据相关性。
2025-12-14 cs.DB cs.LG
Extending Databases to Support Data Manipulation with Functional Dependencies: a Vision Paper
在本文中,我们建议将存储的数据(表)及其功能依赖关系(FD)融合在一起。我们的目标是使FD成为一等公民:可以查询并用于查询数据的对象。我们的想法是允许分析师使用数据库接口探索数据和函数依赖关系。例如,分析员可能对诸如以下的任务感兴趣:“找到阻止给定函数依赖性保持的所有行”、“对于给定表,找到涉及给定属性的所有函数依赖性”、“投影在功能上确定指定属性的所有属性”。为此,我们提出:(1)一个基于SQL的查询语言查询的功能依赖的集合(2)SQL SELECT子句的扩展,以支持基于FD的谓词,包括近似的(3)一个特殊的数据结构旨在包含挖掘FD和用户查询和底层数据之间的调解人。我们描述了建议的扩展,展示他们的用例,最后,讨论实现细节及其对查询处理的影响。
2020-05-16 cs.DB
Combining Heterogeneous Classifiers for Relational Databases
大多数企业数据分布在多个关系数据库中,并具有专家设计的模式。对这样的数据使用传统的单表机器学习技术不仅会导致转换为“平面”形式(mega-join)的计算损失,甚至会丢失关系中存在的人类指定的语义信息。在本文中,我们提出了一个实用的,两个阶段的层次元分类算法的关系数据库与语义分而治之的方法。我们提出了一个递归的,预测聚合技术在异构分类应用于个人数据库表。该算法在三个不同的数据集上进行了评估,即TPCH,PKDD和UCI基准,并显示出相当大的减少分类时间,而没有任何损失的预测精度。
2012-03-12 cs.DB cs.LG
Synthesize, Retrieve, and Propagate: A Unified Predictive Modeling Framework for Relational Databases
AWS Shanghai AI Lab(AWS上海人工智能实验室)
提出统一预测建模框架SRP,通过特征合成、信息检索和图消息传播捕获关系数据库中的一元与复合依赖性,扩大感受野,在五个真实数据集上验证了有效性。
2025-08-10 cs.DB cs.LG
Chain Table: Protecting Table-Level Data Integrity by Digital Ledger Technology
本文提出数据库内链式表设计及数据写入原则,无需完整区块链系统即可实现表级数据完整性,兼顾简洁性与安全性。
2025-07-18 cs.CR cs.DB
A Fair Benchmarking of Deep Relational Database Learning Models
Department of Computer Science(计算机科学系);Tennessee State University(田纳西州立大学);SAP AI Research and Innovation(SAP人工智能研究与创新);SAP Labs(SAP实验室)
研究针对关系数据库深度学习方法实验协议不一致问题,通过在五个关系数据库上进行系统基准测试,重构模型确保实验一致性,发现关系变压器方法性能最佳,多表学习有优势但高跳数收益递减。
2026-07-07 cs.AI cs.DB
PluRel: Synthetic Data unlocks Scaling Laws for Relational Foundation Models
Stanford University(斯坦福大学);SAP Labs LLC(SAP实验室)
PluRel通过合成多表关系数据库,实现了关系基础模型在扩展定律上的突破,展示了合成数据在提升模型泛化能力方面的潜力。
2026-07-15 cs.AI cs.DB cs.LG
Fine-Grained Table Retrieval Through the Lens of Complex Queries
University of Amsterdam(阿姆斯特丹大学);UC Berkeley(加州大学伯克利分校);Google(谷歌);CWI(荷兰信息与人工智能研究所)
本文提出DCTR机制,通过细粒度类型查询分解和全局连接感知,提升复杂场景下表格检索的效率与鲁棒性。
2026-03-07 cs.AI cs.CL cs.DB
Query Significance in Databases via Randomizations
HIIT(赫尔辛基信息技术研究所);Helsinki University of Technology(赫尔辛基理工大学);Yahoo! Research(雅虎研究院)
许多类型的结构化数据通常以相互关联的表的多关系格式存储。在此关系模型下,可以使用关系查询进行探索性数据分析。作为示例,在互联网电影数据库(IMDb)中,可以使用查询来检查动作电影的平均排名是否高于戏剧电影的平均排名。我们考虑的问题,评估这样的查询返回的结果是否是统计上显着的,或者只是一个随机的工件的结构中的数据。我们的方法是基于随机表中出现的查询和重复的随机表上的原始查询。事实证明,在多关系数据中没有唯一的随机化方法。我们提出了几种随机化技术,研究它们的属性,并展示了如何找出哪些查询或假设对我们的数据产生统计上显着的信息。我们给出了真实和生成的数据的结果,并展示了一些查询的意义如何在不同的随机化之间变化。
2009-06-30 cs.AI cs.DB
Taking the Shortcut: Actively Incorporating the Virtual Memory Index of the OS to Hardware-Accelerate Database Indexing
本文提出利用操作系统页表作为数据库索引的捷径,通过直接在页表中表达间接层来减少遍历高度并利用硬件加速,并在可扩展哈希上验证了有效性。
2023-10-13 cs.DB cs.OS
Automatic database description generation for Text-to-SQL
Alibaba Group(阿里巴巴集团)
针对Text-to-SQL任务中数据库描述缺失问题,提出一种基于LLM的粗到细与细到粗双过程自动生成描述方法,在Bird基准上提升SQL生成准确率0.93%,达到人类水平的37%。
2025-02-28 cs.AI cs.CL cs.DB
The CTU Prague Relational Learning Repository
该仓库提供148个多关系SQL数据库及元数据,以支持机器学习研究,由捷克理工大学托管。
2025-03-26 cs.DB cs.LG
A Formalism and Library for Database Visualization
本文提出首个支持数据库输入的可视化形式化体系,将可视化规范定义为数据库约束到视觉表示的映射,并开发了 JavaScript 程序库 dvl,通过案例研究证明其优于现有可视化系统与语法语言。
2025-04-11 cs.DB cs.HC
Relational Operations in FOLE
本文讨论一阶逻辑环境{FOLE}中的关系运算。在这里,我们演示了如何FOLE表达数据库理论的关系操作在一个清晰的和可实现的表示。分析了FOLE中数据库表/关系的表示,揭示了一种表示关系操作的原则性方法。这种表示是根据基本组件与复合关系操作之间的区别来表示的。9个基本组件分为三类:反射(2),布尔或基本操作(3)和伴随流(4)。给出了签名(2)和类型域(2)的伴随流,然后将其组合成完全伴随流。基本组件用于表示各种复合操作,我们用流程图说明每个操作。然后,复合操作的实现在包含四个部分的输入/输出表中表示:约束、构造、输入和输出。我们解释如何限制和colimits构造图表,然后将复合关系操作分为三类:限制,colimit和非正统。
2021-03-19 cs.DB
Relational Deep Learning: Graph Representation Learning on Relational Databases
Stanford University(斯坦福大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Yale University(耶鲁大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出 Relational Deep Learning,将关系数据库建模为主外键连接的时序异构图,并用消息传递 GNN 端到端学习,配合 RelBench 基准实现多表数据的直接建模。
2023-12-07 cs.DB cs.LG
Towards Foundation Models for Relational Databases [Vision Paper]
Technical University of Darmstadt(达姆施塔特工业大学);DFKI(德国人工智能研究中心)
本文提出关系表示学习愿景,旨在从关系型数据库完整结构中学习并扩展至大规模数据库,探讨了相关机遇与挑战,以期推动关系型数据库基础模型的发展。
2023-05-24 cs.CL cs.DB
Lock Prediction for Zero-Downtime Database Encryption
本研究提出一种基于深度学习模型(如Transformer和LSTM)预测数据库锁序列的方法,利用TPC-C基准数据训练,在表级和页级锁预测中分别达到49%和66%的准确率,为实现零停机、低开销的在线数据库加密提供了实用路径。
2025-06-30 cs.CR cs.DB
V-SQL: A View-based Two-stage Text-to-SQL Framework
Guangzhou Huaweisoft Co. Ltd(广州华软有限公司)
本文提出基于视图的模式策略,将紧密耦合的表解耦为低耦合视图,增强LLM对数据库模式的理解,并构建V-SQL两阶段框架,在Bird数据集上取得与最先进方法相当的竞争力。
2024-12-17 cs.CL cs.DB
Contextuality from missing and versioned data
传统的分类数据分析(例如广义线性模型)处理简单的平面数据集,类似于数据库中的单个表,没有丢失数据或冲突版本的概念。相比之下,现代数据分析必须处理具有许多不一定总是一致的局部表的分布式数据库。这些表格的计算代理在空间上是分离的,具有绑定光速约束和数据到达太快,这些分布式视图无法完全知情和全局一致。上下文性是一种数学性质,描述了量子力学中出现的一种不一致性(例如贝尔定理)。在本文中,我们将展示如何在常见的数据汇集场景中出现上下文,包括丢失数据和版本控制(如在采用快照隔离的低延迟分布式数据库中)。在配套文件中,我们开发了适应这种制度的统计模型。
2017-08-10 cs.DB cs.DC stat.CO
Designing a Bit-Based Model to Accelerate Query Processing Over Encrypted Databases in Cloud
数据库用户已经开始转向使用云计算作为服务,因为它以合理的价格提供计算和存储需求。然而,对于大多数用户来说,隐私问题起着重要作用,因为一旦他们的数据被外包,他们就无法控制数据访问,特别是如果云提供商对他们的数据感到好奇。数据加密是解决隐私问题的有效方法,但对加密数据执行查询是一个需要注意的问题。在这项研究中,我们引入了一个基于位的模型,在云上的加密数据库上执行不同的关系代数运算符,而无需解密数据。为了加密数据,我们使用随机加密算法(高级加密标准-CBC)来提供最大的安全级别。这个想法是基于将属性分类为敏感和非敏感,其中只有敏感属性被加密。对于每个敏感属性,表所有者预先定义了可能的分区域,在加密之前,元组将在该分区域上被编码成位向量。我们将位向量存储在云中加密表中的附加列中。我们使用这些位来检索特定查询的候选加密记录的一部分。我们实现并评估了我们的模型,发现所提出的模型是可行的,成功地将检索到的加密记录的范围最小化到整个表中的加密记录集的30%以下。
2020-01-10 cs.CR cs.DB
JoinGR: Learning to Traverse Join Graphs for Table Retrieval
Arizona State University(亚利桑那州立大学);Adobe Research India(Adobe 印度研究院)
提出JOINGR,一种利用数据库连接图进行表检索的方法,通过遍历连接边聚合分数,在BIRD、Spider和BEAVER基准上表现优异,并展现出跨域可迁移性。
2026-10-02 cs.AI cs.CL cs.DB
Knowledge Graph-based Question Answering with Electronic Health Records
KAIST(韩国科学技术院);Yonsei University(延世大学)
问答(QA)是一个广泛使用的框架,用于开发和评估一个智能机器。在这种情况下,电子健康记录(EHR)的QA,即EHR QA,可以作为开发医疗保健智能代理的重要里程碑。EHR数据通常存储在关系数据库中,关系数据库也可以转换为有向无环图,从而允许EHR QA的两种方法:基于表的QA和基于知识图谱的QA。我们假设基于图的方法更适合EHR QA,因为与表相比,图可以更自然地表示实体和值之间的关系,而表本质上需要JOIN操作。在本文中,我们提出了一个基于图的EHR QA的自然语言查询转换为SPARQL,而不是SQL。为了验证我们的假设,我们创建了四个EHR QA数据集(基于图的VS基于表的,简化的数据库模式VS原始数据库模式),基于基于表的数据集MIMICSQL。我们在所有数据集上测试了一个简单的Seq2Seq模型和一个最先进的EHR QA模型,其中基于图的数据集比基于表的数据集的准确率高出34%,而无需对模型架构进行任何修改。最后,所有数据集都是开源的,以鼓励在两个方向上进一步进行EHR QA研究。
2021-08-02 cs.AI cs.DB cs.LG