Temporal Graph Functional Dependencies [Extended Version]
数据依赖性已扩展到图形,以表征拓扑和值约束。现有的数据依赖关系被定义为捕捉静态图中的不一致。然而,在不断变化的图表中可能会出现不一致的情况,而且只会出现在某些时期。在异常检测和预测动态网络分析中,捕获时间图中的这种不一致的需要是显而易见的。本文介绍了一类称为时态图函数依赖(TGFD)的数据依赖。TGFDs将函数依赖推广到时序图,作为由时间间隔引起的一系列图快照,并强制执行这些快照必须满足的拓扑约束和属性值依赖。(1)我们建立了TGFDs的可满足性和蕴涵问题的复杂性结果。(2)我们提出了一个健全和完整的公理化系统的TGFDs。(3)我们还提出了高效的并行算法来检测时间图中的不一致违反TGFD。该算法利用时间间隔引起的数据和时间局部性,并使用增量模式匹配和负载均衡策略,使可行的错误检测在大的时间图。使用真实数据集,我们通过实验验证了我们的算法与现有基线相比实现了更低的运行时间,同时提高了使用现有图形数据约束进行错误检测的准确性,例如,GFD和GTARs的F1分数分别提高了55%和74%。
2022-07-26 cs.DB
Discovery and Contextual Data Cleaning with Ontology Functional Dependencies
函数式重复(FD)基于语法相等定义属性关系,并且当用于数据清理时,它们错误地将语法上不同但语义上相等的值标记为错误。我们探索基于依赖关系的数据清洗与本体的功能性本体(OFD),它表示语义属性关系,如同义词和是一个层次结构定义的本体。我们研究OFD的理论基础,包括声音和完整的公理和线性时间推理过程。然后,我们提出了一个算法,发现OFD(确切的和那些持有一些例外)的数据,使用的公理修剪的搜索空间。为了使OFD作为数据质量规则在实践中,我们研究的问题,找到最小的修复关系和本体的一组OFD。我们证明了我们的技术在真实数据集上的有效性,并表明OFD可以显着减少依赖于传统FD的数据清洗技术中的误报错误的数量。
2022-03-13 cs.DB
Handling Inconsistencies in Tables with Nulls and Functional Dependencies
在本文中,我们解决的问题,处理表中的不一致与缺失值(也称为空值)和功能依赖。虽然传统的观点是表实例必须尊重所有强加给它们的函数依赖,但是开发关于如何处理违反某些依赖的实例的理论仍然是相关的。关于缺失值,我们对它们的存在没有任何假设:缺失值只有在从表的函数依赖关系推断出来时才存在。我们提出了一个正式的框架,其中表的每个元组与以下真值:真,假,不一致或未知;我们表明,我们的框架可以用来研究重要的问题,如一致的查询回答,表合并,数据质量措施-仅举几例。然而,在本文中,我们主要集中在一致的查询回答,一个问题,在过去的几十年中得到了相当大的关注。该文件的主要贡献如下:(a)我们提出了一种新的处理空值表和函数依赖表中不一致性的方法,(b)我们给出了计算所有真、不一致和假元组的算法,(c)我们在数据合并的背景下研究了我们的方法和四值逻辑之间的关系,(4)给出了一致性查询应答问题的一种新的解决方案,并与表修复问题的解决方案进行了比较。
2021-11-27 cs.DB
On the Interaction of Functional and Inclusion Dependencies with Independence Atoms
臭名昭著的是,i)函数依赖和包含依赖的类的有限和无限制蕴涵问题,以及ii)单独嵌入多值依赖的类的有限和无限制蕴涵问题都是不可判定的。众所周知,i)对函数和一元包含依赖的限制与ii)对多值依赖的限制相结合,产生了在有限和无限制情况下仍然不同的蕴涵问题,但每个问题都是可公理化的,并且在低次多项式时间中是可判定的。嵌入式多值依赖的一个重要的嵌入式易处理片段是独立原子,它规定了两个属性集之间的独立性。我们建立了一系列的结果,蕴涵问题的子类的组合类的功能和包含依赖以及独立原子。我们的主要结果之一是,独立原子、一元泛函和一元包含依赖的组合类的有限和无限制蕴涵问题都是可公理化的,并且在低次多项式时间内是可判定的.
2021-01-07 cs.DB cs.LO
Fast Discovery of Nested Dependencies on JSON Data
函数依赖和包含依赖是数据分析中使用最广泛的数据依赖类别,因为它们能够识别数据中的关系,例如主键和外键。在处理JSON等嵌套数据格式时,这些关系同样重要。然而,函数依赖和包含依赖的定义利用了平面的、非嵌套的关系模型,这错过了涉及嵌套数据模型的对数据的许多有用的依赖类型。在这项工作中,我们确定了传统的功能和包含依赖关系没有捕获的依赖关系类型,但仍然捕获嵌套数据之间有意义的关系。我们还演示了如何挖掘这些传统的依赖关系的算法也可以适用于挖掘嵌套的依赖关系。第一种策略简单地将输入数据转换为未修改的现有算法。我们提出了第二种策略,该策略将算法调整为有效地处理JSON数据作为输入,在某些情况下,这会导致实际数据集的运行时间减少多个数量级。我们进一步展示了如何调整这些算法,以产生有用的结果,在存在一定比例的不完整或无效的数据。
2021-11-19 cs.DB
Measuring Approximate Functional Dependencies: a Comparative Study
本文针对真实数据中的近似函数依赖发现问题,基于 Shannon 熵与逻辑熵形式化比较多种 AFD 度量,并通过结构敏感性和排序有效性实验给出实践选型建议。
2023-12-11 cs.DB
Completeness and Decidability Properties for Functional Dependencies in XML
XML作为Internet上数据表示和交换的标准,在信息存储和检索方面具有重要意义。然而XML提供的语义内容很少,因此有几篇论文讨论了如何提高XML的语义表达能力。其中最重要的方法是在XML中定义完整性约束。在一篇配套文章中,我们定义了XML中的强函数依赖(XFD)。我们还提出了一套公理推理的含义XFD和证明了公理系统是健全的任意XFD。在本文中,我们证明了公理也是完整的一元XFD(XFD与一个单一的路径上的l.h.s.)。本文的第二个贡献是证明了一元XFD的蕴涵问题是可判定的,并给出了一个线性时间算法。
2003-01-20 cs.DB
Learning Functional Dependencies with Sparse Regression
我们研究的问题,发现功能依赖(FD)从一个嘈杂的数据集。我们专注于与数据集中的统计依赖性相对应的FD,并在概率图模型中绘制FD发现和结构学习之间的联系。我们表明,发现FD从嘈杂的数据集是等价于学习的二进制随机变量的图形模型的结构,其中每个随机变量对应于一个功能的数据集属性。基于这一观察,我们引入AutoFD一个概念上简单的框架,在这个框架中,学习函数依赖关系对应于解决稀疏回归问题。我们表明,我们的方法可以在各种真实世界和合成数据集上恢复真正的函数依赖关系,即使在存在噪声或丢失数据的情况下也是如此。我们发现,AutoFD可扩展到具有数百万元组和数百个属性的大型数据实例,同时与最先进的FD发现方法相比,它的平均F1提高了2倍。
2019-05-04 cs.DB cs.LG
Efficient Discovery of Ontology Functional Dependencies
由于现代数据集的复杂性和规模不断增加,数据质量差已成为一个普遍的问题。基于约束的数据清洗技术依赖于完整性约束作为基准来识别和纠正错误。不满足给定约束集的数据值被标记为脏,并且进行数据更新以重新对齐数据和约束。然而,由于定义特定术语和关系的领域专业知识,许多错误通常需要用户输入来解决。例如,在药品中,“Advil”\emph{is-a}是“ibuprofen”的商标名,可以在药品本体中获取。虽然函数依赖性(FD)传统上已经在现有的数据清理解决方案中用于对语法等价进行建模,但是它们不能对更广泛的关系(例如,是-a)由本体定义。在本文中,我们采取的第一步扩展数据质量约束的定义和发现\emph{Ontology Functional Dependencies}(OFD)的数据清洗。我们为OFD奠定了理论和实践基础,包括一套完善的公理和线性推理过程。然后,我们开发了有效的算法,发现OFD,和一组优化,有效地修剪搜索空间。我们使用真实数据的实验评估表明,我们的算法的可扩展性和准确性。
2017-05-24 cs.DB
On Desirable Semantics of Functional Dependencies over Databases with Incomplete Information
Codd的关系模型只描述了一个可能的世界。为了更好地处理不完整的信息,扩展的数据库模型允许几种可能的世界。Vague表就是这样一种方便的扩展模型,其中属性接受可能值的集合(例如,经理是吉尔或鲍勃)。然而,在这种情况下,概念数据库设计仍然是一个悬而未决的问题。特别地,没有可能世界上的函数依赖性(FD)的规范定义(例如,每个员工只有一个经理)。我们确定了几个理想的属性,这样的FD的语义应该满足包括阿姆斯特朗的公理,无关属性的独立性,无缝的满意度和隐含的强满意度。我们表明,我们可以定义FD,使他们有我们所有的理想属性在模糊表。然而,我们也表明,没有FD的概念可以满足我们所有的理想属性在一个更一般的模型(析取表)。我们的工作形式化了一个权衡之间有一个通用的模型,并有良好的表现FD。
2017-04-06 cs.DB
Database Repairing with Soft Functional Dependencies
软约束的一种常见解释是,每次违反每个约束都会惩罚数据库,惩罚是约束的成本(权重)。一个计算挑战是找到一个最佳子集:一个数据库元组的集合,当每个元组都有被排除的代价时,它会使总惩罚最小化。当约束是严格的(即,具有无限的成本),该子集是不一致数据库的“基数修复”;在软解释中,该子集对应于概率数据库的“最可能的世界”,概率不干净数据库的“最可能的意图”,等等。在函数依赖类中,找到基数修复的复杂性得到了彻底的理解。然而,很少有人知道这个问题的复杂性,在更一般的软语义。本文在这方面取得了重大进展。除了一般的洞察力的硬度和逼近的问题,我们提出了两种特殊情况下的算法:一个单一的功能依赖,和二分匹配。后者是寻找二分图的最优“几乎匹配”的问题,其中对每一个丢失的边和每一个违反一夫一妻制都要支付罚款。
2020-09-29 cs.DB
Functional Dependencies Unleashed for Scalable Data Exchange
我们解决的问题,有效地评估目标功能的依赖关系(FDS)在数据交换(DE)的过程。目标FD自然出现在许多DE场景中,包括生命科学中的场景,其中多个源关系需要在受约束的目标模式下进行结构化。然而,尽管它们被广泛使用,目标fds的评估仍然是最先进的DE引擎的瓶颈。依赖于全SQL方法的系统通常不支持目标fds,除非提供额外的信息。或者,包含这些依赖项的DE引擎通常会付出性能和可伸缩性显著下降的代价。在本文中,我们提出了一种新的基于追逐的算法,可以有效地处理目标上的任意fds。我们的方法基本上依赖于利用源到目标(s-t)元组生成依赖(tgds)和目标fds之间的相互作用。这使我们能够通过仔细排列交错的fds和(选择的)tgds来控制中间chase结果的大小。作为一个直接的结果,我们大大减少了fd的应用范围,这通常是目标fd引起的巨大开销的主要原因。此外,推理依赖交互进一步导致我们有趣的并行化的机会,产生额外的可扩展性增益。我们提供了一个概念验证的实现,我们的追逐为基础的算法和实验研究,旨在衡量其可扩展性方面的一些参数,其中的源实例的大小和每个测试场景的依赖关系的数量。最后,我们实证比较最新的DE引擎,并表明我们的算法优于他们。
2016-04-16 cs.DB
Consistent Query Answering without Repairs in Tables with Nulls and Functional Dependencies
本文研究了空值表和函数依赖表中的一致性查询应答问题。给定这样一个表T,我们考虑可以从T中出现的常数建立的所有元组的集合元组,并且我们使用元组和函数依赖的集合论语义来以两种正交的方式表征元组的元组:首先是真或假元组,然后是一致或不一致元组。对T发出命令,并在元组中进行评估。在这种情况下,我们考虑一个查询Q:select X from T where Condition over T,并将其一致的答案定义为元组x在元组中的集合,使得:x是一个与模式X真实一致的元组,并且在元组中存在一个x的真实超元组t满足条件。我们表明,根据超元组t在元组中的地位,Q有不同类型的一致答案。本文的主要贡献是:(a)提出了一种新的不使用表修复的一致性查询应答方法,(b)提出了计算元组的真-假元组集和一致-不一致元组集的多项式算法,(c)提出了计算合取查询和析取查询的不同类型的一致性应答的T型多项式算法,(d)提出了一种新的不使用表修复的一致性查询应答方法,(e)提出了一种新的计算元组的真-假元组集和一致-不一致元组集的多项式算法。以及(d)详细讨论我们的方法与使用表修复的方法之间的差异。
2023-02-15 cs.DB
Provenance-aware Discovery of Functional Dependencies on Integrated Views
函数依赖的自动发现是数据剖析中最困难的问题之一。现有的方法集中在使FD计算高效,同时一次检查单个关系。在本文中,我们第一次解决的问题,推断FD的多个关系,因为它们发生在综合意见,仅使用的功能依赖关系的基础上的视图本身。为了这个目的,我们利用逻辑推理和选择性挖掘,并表明,我们可以发现大部分的确切FD的基础关系,并避免完整的计算的FD的综合视图本身,而在同一时间保持血统的FD的基础关系。我们提出了算法,以加快推断FD发现过程和挖掘FD的飞行只从必要的数据分区。我们提出了Infine(推断FunctIoNal dEpendency),一个端到端的解决方案,发现推断FD的综合意见,利用出处信息的基础关系。我们在一系列真实世界和合成数据集上的实验证明了我们的方法优于现有的FD发现方法的优点,这些方法需要从头开始在视图上搜索发现过程,并且不能利用FD上的谱系信息。我们表明,InFine优于传统的方法,需要完整的集成视图计算的一至两个数量级的运行时间。它也是最有效的存储器的方法,同时保留FD起源信息,主要使用从基表的推理,可以忽略不计的执行时间。
2021-12-16 cs.DB
Size Bounds for Conjunctive Queries with General Functional Dependencies
本文扩展了Gottlob,Lee和Valiant(PODS 2009)[GLV]的工作,并考虑了给定任意函数依赖集的数据库D的合取查询Q的结果Q(D)的大小的最坏情况界限。[GLV]中的边界基于查询变量的“着色”。为了将先前的边界扩展到任意函数依赖的设置,我们利用信息论的工具来形式化原始直觉,即所使用的每种颜色表示该变量的一些可能的熵,并通过线性规划来约束最大可能的大小增加,该线性规划寻求最大化查询结果中比输入多多少熵。这个新的视图使我们能够精确地描述具有简单函数依赖关系(键)的合取查询的最坏情况实例的熵结构,为[GLV]的结果提供了新的见解。我们将这些结果扩展到一般函数依赖的情况下,提供最坏情况下的大小增加的上限和下限。我们确定了这些界限的差距和一个中心的开放问题在信息论之间的根本联系。最后,我们表明,虽然上界和下界是由指数大的线性规划,人们可以区分在多项式时间是否查询的结果与任意一组功能依赖可以是任何大于输入数据库。
2009-12-12 cs.DB cs.DS
The Shapley Value of Inconsistency Measures for Functional Dependencies
本文系统研究函数依赖不一致性度量中Shapley值的计算复杂性,对FD集合进行分类,并探讨不可处理情况下的近似复杂性。
2022-06-14 cs.DB
Computing Optimal Repairs for Functional Dependencies
我们调查的复杂性计算的不一致的数据库的最佳修复,在完整性约束的情况下,功能的重复性(FD)。我们专注于两种类型的修复:一个最佳的子集修复(最佳S-修复),这是由最小数量的元组删除,和最佳的更新修复(最佳U-修复),这是由最小数量的值(细胞)更新。为了计算一个最佳的S-修复,我们提出了一个多项式时间算法,成功的某些集合的FD和失败的其他。我们证明了以下关于算法。当它成功时,它还可以合并加权元组和重复元组。当它失败时,问题是NP难的,实际上是APX完全的(因此,不能比某个常数更好地近似)。因此,我们在计算最优S-修复的复杂性中建立了一个二分法。我们提出了一般的分析技术计算的最佳U-修复的复杂性,一些基于S-修复的二分法。我们还提请连接到过去的二分法的复杂性,找到一个“最可能的数据库”,满足一组FD与一个单一的属性在左手边;一般FD的情况下是开放的,我们展示了我们的二分法如何提供失踪的泛化,从而解决了开放的问题。
2017-12-20 cs.DB
Discovering Multi-Table Functional Dependencies Without Full Join Computation
在本文中,我们研究了发现连接FD的问题,即,在多个联接表上保持的函数依赖关系(FD)。我们利用逻辑推理,选择性挖掘和采样,并表明我们可以发现大多数确切的连接FD从单个表参与的连接,并避免连接结果的完整计算。我们提出了算法,以加快加入FD发现过程和地雷FD的飞行只从必要的数据分区。我们介绍JEDI(Join dEpendency DIsparification),我们的解决方案,发现连接FD,而无需事先计算完整的连接。我们在一系列真实世界和合成数据上的实验证明了我们的方法优于现有的FD发现方法,这些方法需要在发现FD之前预先计算连接结果。我们表明,性能取决于基数和覆盖率的连接属性值:对于连接操作覆盖率低,JEDI与选择性挖掘优于竞争的方法,使用直接的方法的全连接计算的一个数量级的运行时间,并可以发现四分之三的确切连接FD主要使用逻辑推理的一半,其总执行时间平均。对于更高的连接覆盖率,JEDI的抽样精度达到1,平均只有表输入大小的63%。
2020-12-11 cs.DB
Graph-Native Normalization
TU Wien(维也纳工业大学)
本文提出图原生规范化方法,考虑节点、边及其组合的依赖关系,定义图原生范式和图对象函数依赖,通过算法实现图数据的规范化,通过合成和原生图数据集验证方法有效性。
2026-06-05 cs.DB
The problem determination of Functional Dependencies between attributes Relation Scheme in the Relational Data Model. El problema de determinar Dependencias Funcionales entre atributos en los esquemas en el Modelo Relacional
本文给出了关系模型中关系模式属性间函数依赖概念的另一种定义,该定义是根据集合论得到的。对于这一点,证明了一个定理,建立等价性和基础定理的算法是建立在属性之间的功能依赖搜索。通过一个具体的例子说明了该算法
2007-03-15 cs.DB cs.DS
Lexicographic Direct Access with Functional Dependencies
Univ. Artois, CNRS, Centre de Recherche en Informatique de Lens (CRIL), Lens, France(阿图瓦大学,法国国家科学研究中心,朗斯信息学研究中心);Inria, LIRMM, University of Montpellier, CNRS, France(法国国家信息与自动化研究所,蒙彼利埃大学,法国国家科学研究中心)
研究满足函数依赖的数据库上连接查询答案字典序直接访问的复杂性,给出预处理时间上下界。先介绍简单方法及不足,再阐述受信息论启发的方法,虽界不紧,但刻画了线性预处理时间的字典序直接访问,下界依赖零团猜想且仅适用于无自连接查询。
2026-07-16 cs.DB
Enumeration Complexity of Conjunctive Queries with Functional Dependencies
我们研究了在功能性重复存在的情况下枚举连接性重复的复杂性。我们的重点是能够列出输出元组之间的恒定延迟,线性时间预处理后。已知的二分法将无自连接的非循环CQ分类为允许这种枚举的CQ和不允许这种枚举的CQ。然而,这种分类不再适用于数据库在属性之间表现出依赖性的常见情况。也就是说,如果考虑到依赖关系,一些被分类为困难的查询实际上是易处理的。我们建立了一个推广的二分法,以适应FD,因此,我们的分类确定的CQ和一组FD的组合承认恒定延迟枚举与线性时间预处理。此外,我们概括了循环CQ的硬度结果,以适应常见类型的FD。我们的发展进一步的结论包括一个二分法枚举线性延迟,和二分法的CQ的不平等。最后,我们表明,我们所有的结果适用于已知的“基数依赖”,推广FD类(例如,通过说明每个电影的类型的数量的上限,或者每个人的朋友)。
2021-09-26 cs.CC cs.DB
Topological Relational Theory: A Simplicial-Complex View of Functional Dependencies, Lossless Decomposition, and Acyclicity
Bahcesehir University(巴赫切希尔大学)
本文提出基于单纯复形的拓扑关系理论,通过同调不变量分析函数依赖循环性,并提供无损分解的拓扑判定方法。
2026-01-28 cs.DB
Approximate Functional Dependencies---Implication Problem Revisited
University of Helsinki(赫尔辛基大学)
本文重访近似函数依赖的蕴含问题,指出其原子相互作用更复杂,证明Väänänen公理化在一元依赖下完备,还确定了其模型检测的复杂性。
2026-08-18 cs.DB cs.LO
Top-k Approximate Functional Dependency Discovery
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院)
针对阈值发现输出不可控等问题,提出全局Top-k近似函数依赖发现方法,通过TALE算法(基础版和优化版)实现高效精确的Top-k结果返回。
2026-05-24 cs.DB
Learning Models over Relational Data using Sparse Tensors and Functional Dependencies
基于关系数据库的分析的集成解决方案具有非常重要的实际意义,因为它们避免了数据科学家必须每天处理的昂贵的重复循环:使用涉及连接、投影和聚合的特征提取查询从驻留在关系数据库中的数据中选择特征;导出由这些查询定义的训练数据集;将该数据集转换为外部学习工具的格式;并使用该工具训练所需的模型。这些集成的解决方案也是关系和统计数据模型交叉点的理论基础和挑战性问题的肥沃土壤。本文介绍了一个统一的框架,用于训练和评估一类基于关系数据库的统计学习模型。这门课包括岭线性回归、多项式回归、因子分解机和主成分分析。我们表明,通过协同关键工具,从数据库理论,如模式信息,查询结构,功能依赖,查询评估算法的最新进展,并从线性代数,如张量和矩阵运算,可以制定关系分析问题和设计高效的(查询和数据)结构感知算法来解决它们。这一理论发展为结构感知学习的AC/DC系统的设计和实现提供了信息。我们针对R、MADlib、libFM和TensorFlow对AC/DC的性能进行了基准测试。对于典型的零售预测和广告规划应用程序,AC/DC可以学习多项式回归模型和因子分解机,其精度至少与竞争对手相同,并且在没有耗尽内存、超过24小时超时或遇到内部设计限制的情况下,比竞争对手快三个数量级。
2020-02-06 cs.DB
Discovering Reliable Approximate Functional Dependencies
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学)
给定一个数据库和一个感兴趣的目标属性,我们如何判断目标是否对数据中的任何其他属性集存在函数依赖或近似函数依赖?我们如何才能在不偏离样本大小或维度的情况下,可靠地衡量这种依赖性的强度?并且,我们如何能够有效地发现最佳或$α$近似的顶部$k$依赖性?这些正是我们在本文中回答的问题。由于我们希望对依赖的形式不可知,因此我们采用了信息论方法,并构建了一个可靠的,可以有效计算的偏差校正分数。此外,我们给出了这个分数的一个有效的乐观估计,通过它,我们第一次可以挖掘近似的函数依赖的最优性的保证数据。经验评估表明,派生的分数实现了良好的偏差方差权衡,可以使用在一个有效的发现算法,并确实发现有意义的依赖关系。最重要的是,它在数据稀疏的情况下仍然可靠。
2017-06-18 cs.AI cs.DB cs.IT
Optimal Repairs for Unary Functional Dependencies: Resolving the Case of Updates
Technion – Israel Institute of Technology(以色列理工学院)
本研究完全解决了一元函数依赖场景下的最优更新修复问题,证明该场景下的最优更新修复要么属于已知易处理类,要么为NP难问题,推进了函数依赖最优修复问题的研究进展。
2026-08-18 cs.DB cs.DS
Discovery of Paradigm Dependencies
缺失和不正确的值往往会导致严重的后果。为了解决这些数据质量问题,常用的工具是依赖规则,如函数依赖规则(FD)、条件函数依赖规则(CFD)和版本规则(ER)等。依赖的表达能力越强,获得的数据质量就越好。据我们所知,所有以前的依赖项都将每个属性值视为不可分割的整体。然而,实际上,在许多应用程序中,值的一部分可能包含有意义的信息,这表明可以使用更强大的依赖关系规则来处理数据质量问题。在本文中,我们考虑发现这种类型的依赖关系,其中的左手边是一个正则表达式类范式的一部分,命名为范式依赖(PD)。PD告诉我们,如果一个字符串与范例匹配,则位于指定位置的元素可以决定某个其他属性的值。我们提出了一个框架,在该框架中,具有相似的编码规则和不同长度的字符串聚集在一起,并垂直对齐,从PD可以直接发现。对齐问题是该框架的关键组成部分,并在NP完全证明。提出了一种贪心算法,该算法可以同时完成聚类和对齐任务。针对贪心算法的高时间复杂度,提出了几种剪枝策略来减少运行时间。在实验研究中,使用三个真实数据集和几个合成数据集来验证我们的方法的有效性和效率。
2017-10-08 cs.DB
Discovery of Approximate Differential Dependencies
差异依赖(DD)捕获关系的数据列之间的关系。它们比函数依赖(FD)更通用,不同之处在于DD是根据两个元组的值之间的距离定义的,而不是直接根据值定义的。由于这种差异,用于从数据中发现FD的算法仅发现特殊的DD,而不是所有DD,因此不适用于DD发现。在本文中,我们提出了一种算法,发现DD从数据的方式固定的左手边的候选DD确定右手边。我们还展示了DDs的一些性质,并对采样如何影响从数据中发现的DDs进行了全面的分析。
2013-09-15 cs.DB
Approximate Integrity Constraints in Incomplete Databases With Limited Domains
本文针对不完全数据库,引入强可能多值依赖和交叉连接,分析其有效性检查复杂性,并研究强可能键、函数依赖、多值依赖及交叉连接的近似度量及确定近似值的复杂性。
2024-02-07 cs.DB
The Consistency of Probabilistic Databases with Independent Cells
具有属性级不确定性的概率数据库由关系组成,其中某些属性的单元格可能包含概率分布而不是确定性内容。这样的数据库出现,隐式或显式,在噪声操作的上下文中,如缺失数据填补,其中我们自动填充缺失值,列预测,其中我们预测未知属性,以及数据库清理(和修复),其中我们由于检测到的错误或违反完整性约束而替换原始值。我们研究的计算复杂性的问题,考虑在存在完整性约束的细胞值的选择。更确切地说,我们专注于函数依赖性,并研究三个问题:(1)决定是否可以满足任何选择的值的约束,(2)找到一个最可能的选择,(3)计算满足约束的概率。这些问题的数据复杂性由函数依赖集和不确定属性集的组合决定。我们给出了完整的分类到几类约束,包括一个单一的依赖关系,匹配的约束,和一元函数依赖关系的易处理和棘手的复杂性。
2022-12-23 cs.DB
RDBNorma: - A semi-automated tool for relational database schema normalization up to third normal form
本文提出了一种称为RDBNorma的工具,它使用一种新的方法来表示一个关系数据库模式和它的功能依赖在计算机内存中使用一个链表,并用于半自动化的过程关系数据库模式规范化到第三范式。本文解决了所有的问题,表示一个关系模式及其功能的依赖关系,使用一个链表以及算法转换为第二和第三范式,通过使用上述表示。我们已经比较了RDBNorma的性能与现有的工具,称为微使用标准的关系模式从各种资源收集。据观察,建议的工具至少比Micro快2.89倍,需要大约一半的空间比Micro来表示关系。比较是通过以相同的顺序输入关系上的所有属性和函数依赖关系,并在同一台机器上使用相同的语言实现这两种工具来完成的。
2011-03-03 cs.DB
Approximate Keys and Functional Dependencies in Incomplete Databases With Limited Domains-Algorithmic Perspective
本文针对不完备数据库中的强可能键和函数依赖,提出新近似度量g5(添加元组比率),证明其与g3(删除元组比率)的关系及独立性,并研究计算复杂性。
2024-02-07 cs.DB
Functional Dependencies with Predicates: What Makes the $g_3$-error Easy to Compute?
本研究分析了不同谓词性质对带谓词的函数依赖$g_3$-误差计算复杂度的影响,证明对称性加传递性可保证其多项式时间可计算,缺一则变为NP完全问题。
2023-06-15 cs.DB cs.DM
Towards declarative comparabilities: application to functional dependencies
针对数据质量低下导致数据库相等性测试困难的问题,提出了基于格的声明式框架以在抽象层面指定相等性语义,并将其扩展至函数依赖研究,定义了抽象FDs及可能/确定FDs并给出复杂性结果。
2024-04-26 cs.DB cs.IT cs.LO
Attribute Dependencies for Data with Grades
本文研究了涉及等级的数据中的属性依赖关系,例如对象为红色的等级或两个对象相似的等级。因此,我们扩展了经典的议程,允许分级,或模糊,属性,而不是布尔属性的情况下,属性的影响,并允许近似匹配的相似程度的基础上,而不是精确匹配的情况下,功能依赖。从某种意义上说,我们从现在可用的依赖性理论中固有的二价转向了一个更灵活的涉及等级的设置。这种转变具有深远的影响。我们认为,一个合理的理论的依赖关系,可以开发利用数学模糊逻辑。也就是说,依赖关系理论是基于一个坚实的逻辑演算,就像经典依赖关系是基于经典逻辑一样。例如,我们不是以特定的方式处理相似度,而是始终将它们视为真值,就像经典理论中处理真(匹配)和假(不匹配)一样。此外,几个概念直观地拥抱在等级的存在,如一个特定的依赖或程度的蕴涵的有效性程度,自然出现,并在所提出的方法中得到概念上干净的处理。在本文中,我们讨论了动机,提供了基本的语法和语义概念,并开发了基本的结果,其中包括蕴涵的依赖,相关的封闭结构,逻辑的依赖与两个版本的完整性定理,结果和算法,完全非冗余集的依赖,关系和一个可能的约简接口的经典依赖,以及与具有相似性的域上的函数依赖性的关系。
2014-02-10 cs.DB cs.LO
Computing Join Queries with Functional Dependencies
最近,Gottlob,Lee,Valiant,和Valiant(GLVV)提出了一个输出大小界的连接查询与功能依赖(FD),基于线性规划的polymatroids。GLVV界严格地概括了Atserias,Grohe和Marx(AGM)对于没有FD的查询的界,在这种情况下,存在在AGM界内运行的已知算法,因此是最坏情况下的最优算法。本文的一个主要结果是一个算法计算连接查询FD,运行在GLVV绑定到一个多日志因子。特别是,我们的算法是最坏情况下的最佳任何查询的GLVV界是紧的。作为一个意想不到的副产品,我们的算法设法解决一个更难的问题,其中(一些)输入关系可能有规定的最大程度的界限,其中函数依赖关系和基数界限是特殊情况。我们扩展了Gottlob等人的框架,用闭集的格替换所有变量子集(在给定的FD下)。这给了我们新的见解的结构的最坏情况的界限和最坏情况的情况下。虽然一般情况下GLVV界是否是紧的还没有定论,但我们证明了它在分配格和其他一些简单格上是紧的。分布格捕获没有FD和具有简单FD的查询的严格超集。我们还提出了两个更简单的算法,也是最坏情况下的最佳分配格内的一个单一的$\log$因素,但他们不匹配的GLVV约束上的一般格。我们的算法是基于一个新的原则设计的:我们把一个基于多项式的输出大小绑定到一个算法的证明。
2016-04-07 cs.DB cs.DS cs.IT
A finite axiomatization of conditional independence and inclusion dependencies
University of Helsinki(赫尔辛基大学)
我们提出了一个完整的有限公理化的无限制蕴涵问题的包含和条件独立原子的依赖逻辑的上下文中。对于数据库,我们的结果意味着一个有限的公理化的包含,功能和嵌入式多值依赖关系的情况下的无限制蕴涵问题。
2013-09-20 cs.AI cs.DB cs.LO
A Rule-Based Approach to Analyzing Database Schema Objects with Datalog
数据库模式元素(如表、视图、触发器和函数)通常定义有许多相互关系。为了支持数据库用户理解一个给定的模式,基于规则的方法来分析各自的依赖关系,提出使用Datasheet表达式。我们表明,许多有趣的属性的模式元素可以系统地确定这种方式。所提出的分析的表现力是示例性的问题,计算导出的关系诱导的功能依赖。函数依赖关系的传播在数据集成和查询优化中起着重要的作用,但一般来说是一个不可判定的问题。然而,我们基于规则的分析涵盖了所有的关系运算符以及线性递归表达式,以系统的方式显示了我们的建议可能的分析深度。函数依赖关系的分析被很好地集成在一个统一的方法中,用于分析一般模式元素之间的依赖关系。
2017-09-15 cs.DB cs.LO cs.PL
Strength Is Not Value: Rethinking Approximate Functional Dependency Measures for Error Detection
Harbin Institute of Technology(哈尔滨工业大学)
本研究通过大规模实验证明,近似函数依赖强度度量与错误检测价值(精确率/召回率)存在显著非对称性,强度排序不可靠,二者应分别评估。
2026-10-07 cs.DB
Quantum Information-Theoretical Size Bounds for Conjunctive Queries with Functional Dependencies
University of Helsinki(赫尔辛基大学)
研究合取查询在函数依赖下的大小界问题,提出用特定量子Rényi熵取代经典香农熵公式,通过量子态和Rényi熵优化表示界,给出二分法定理,明确查询满足头部吸收规则时的界情况,否则无界。
2026-07-28 cs.DB quant-ph
COAX: Correlation-Aware Indexing on Multidimensional Data with Soft Functional Dependencies
Imperial College London(帝国理工学院);Johns Hopkins University(约翰斯·霍普金斯大学)
最近的工作提出了学习索引结构,它学习底层数据集的分布以提高性能。学习索引的初步工作表明,通过学习数据的累积分布函数,B树等索引结构可以将其性能提高一个数量级,同时具有更小的内存占用。在本文中,我们提出了COAX,这是一种多维数据的学习索引,它不是学习键的分布,而是学习数据集属性之间的相关性。我们的方法是由观察驱动的,在许多数据集中,两个(或多个)属性的值是相关的。COAX利用这些相关性来降低数据集的维度。更准确地说,我们学习了如何从剩余的属性中推断出一个(或多个)属性$C_d$,因此不再需要索引属性$C_d$。这降低了维度,因此使索引更小,更有效。我们从理论上研究所提出的技术的有效性的基础上的FD属性的可预测性。我们进一步通过实验表明,通过预测数据中的相关属性,我们可以提高查询执行时间,减少索引的内存开销。在我们的实验中,我们将执行时间减少了25%,同时将索引的内存占用减少了四个数量级。
2021-02-02 cs.DB cs.DC cs.LG
FastGFDs: Efficient Validation of Graph Functional Dependencies with Desbordante
Saint-Petersburg University(圣彼得堡大学);Universe Data
本研究提出FastGFDs算法,基于Desbordante实现GFD验证,针对消费级PC优化,较并行方案性能提升2.6倍、内存消耗降低5倍,是低端单节点环境GFD验证高效算法的首个公开实现。
2026-08-04 cs.AI cs.DB cs.LG
Cleaning data with Swipe
针对函数依赖下的最优数据修复NP难问题,提出仅含单路径Chase树的Swipe算法,结合属性划分与优先级修复,在保证修复质量的同时大幅提升速度且扩展性良好。
2024-04-17 cs.DB
Redundancy-Driven Top-$k$ Functional Dependency Discovery
School of Computer Science and Technology, Harbin Institute of Technology(计算机科学与技术学院,哈尔滨工业大学)
本文提出SDP算法,通过冗余度发现Top-k函数依赖,优化搜索空间以提高效率。
2026-01-15 cs.AI cs.DB
Efficient Discovery of Conditional Dependencies with Desbordante
Saint-Petersburg State University(圣彼得堡国立大学)
研究计算要求高的条件函数依赖发现问题,基于CFDFinder算法改进,包括并行策略,得到ParCFDFinder并集成到Desbordante,显著提升速度和减少内存使用。
2026-07-07 cs.AI cs.DB cs.DC
Effective and Complete Discovery of Order Dependencies via Set-based Axiomatization
完整性约束为表达和执行应用程序语义提供了一个有价值的工具。然而,手动制定约束需要领域专业知识,容易出现人为错误,并且可能非常耗时,特别是在大型数据集上。因此,已经针对某些类别的IC提出了自动发现的建议,例如功能依赖性(FD),以及最近的顺序依赖性(OD)。OD适当地从属于FD,因为它们还可以表达涉及顺序的业务规则;例如,与其他雇员相比,一个雇员永远不会有更高的工资而缴纳更低的税款。我们解决了OD发现的现有工作的局限性,OD发现在属性的数量上具有因子复杂性,是不完整的(即,它没有发现不能从所发现的OD中推断出的有效OD)并且不简洁(即,它可能导致“冗余”发现和过大的发现集)。我们在复杂性上有了显著的改进,提供了完整性,并定义了一个紧凑的规范形式。这是基于一个新的多项式映射到一个规范的形式OD,和一个健全的和完整的公理集(推理规则)的规范OD。这使我们能够开发一个有效的集包含,格驱动的OD发现算法,使用的推理规则修剪的搜索空间。我们的算法具有指数最坏情况下的时间复杂度的属性和元组的数量的线性复杂度。我们证明它产生一个完整的,最小的OD集(即,关于规范表示的最小值)。最后,使用真实的和合成的数据集,我们的实验表明,订单的数量级的性能改进,目前最先进的算法,并证明我们的技术的有效性。
2016-08-23 cs.DB
Size Bounds for CQs Under Acyclic Constraints
Univ. Artois, CNRS, Centre de Recherche en Informatique de Lens (CRIL)(阿图瓦大学,法国国家科学研究中心,伦斯信息中心);LIRMM Univ Montpellier & CNRS(蒙彼利埃大学与法国国家科学研究中心联合实验室)
本文研究无环约束下合取查询的大小界,对比熵界与拟阵多面体界,发现允许投影时两类界存在多项式差距,并给出拟阵多面体界紧致的特殊情形。
2026-08-28 cs.DB cs.IT math.IT
An Extension of Semantic Proximity for Fuzzy Multivalued Dependencies in Fuzzy Relational Database
自Lotfi Zadeh发展了模糊逻辑理论以来,人们在不同的领域对它的应用进行了研究。呈现和处理不确定数据是一个复杂的问题。为了解决这样一个复杂的问题,必须修复关系的结构和依赖于这种关系的运算符。模糊数据库具有完整性限制,包括数据依赖性。本文首先研究了基于模糊多值依赖的语义接近度及其存在的问题。针对这些问题,对语义接近度公式进行了修正,在包含Crisp、NULL和Fuzzy值的模糊关系数据库中,定义了基于语义接近度α度扩展概念的模糊多值依赖,定义了这种依赖的推理规则,并证明了它们的完备性。最后,我们将证明基于此概念的模糊函数依赖是模糊关系数据库中模糊多值依赖的一种特殊情况。
2011-09-06 cs.DB cs.IR
Semantic Acyclicity Under Constraints
如果一个合取查询等价于一个非循环查询,则它在语义上是非循环的。语义无环性是在无约束条件下研究的,判断查询是否具有无环性是NP完全的。然而,在数据库受到诸如元组生成依赖性(tgds)之类的约束的情况下,例如,包含依赖性或相等生成依赖性(equality-generating dependencies,EGD),其捕获,例如,函数依赖性,CQ可能在约束下变成语义非循环的,而通常不是语义非循环的。这为新的查询优化技术开辟了道路。本文提出并发展了约束条件下的语义无环性理论。更确切地说,我们研究以下自然的问题:给定一个CQ和一组约束条件,是语义非循环的约束下的查询,或者,换句话说,是一个非循环的查询等价于所有这些数据库,满足一组约束条件?我们发现,与人们所期望的相反,CQ包容性的可判定性是语义非循环性的可判定性的必要条件,但不是充分条件。特别地,我们证明了语义无环性在完全tgds存在的情况下是不可判定的(即,数据库规则)。鉴于这一事实,我们专注于CQ包容是可判定的tgds的主要类别,而不捕获完整tgds的类别,即保护,非递归和粘性tgds。对于这些类,我们表明,语义无环性是可判定的,其复杂性与CQ包容的复杂性相吻合。在EGDS的情况下,我们表明,在一元和二元谓词的关键字的语义无环性是可判定的(NP-完全)。最后,我们考虑的问题,评估一个语义上的非循环查询数据库,满足一组约束条件,保护tgds…
2016-06-03 cs.DB cs.LO
SmartInt: Using Mined Attribute Dependencies to Integrate Fragmented Web Databases
许多网络数据库可以被视为提供关于世界上实体的部分和重叠的信息。为了有效地回答查询,我们需要整合关于分散在多个源中的各个实体的信息。乍一看,这只是传统数据库规范化问题的逆-而不是从通用关系到规范化表,我们希望重建给定表(源)的通用关系。重建实体的标准方法包括连接表。不幸的是,由于源是以自治和分散的方式填充的,它们通常没有主键码-外键关系。虽然表可以共享属性,但这些共享属性上的朴素连接可能会导致重建许多虚假实体,从而严重影响精度。我们的系统,\smartint \的目的是解决在这种情况下的数据集成的问题。对于给定的查询,系统使用近似函数分解(AFD)将相关表拼接成一棵树来回答,生成的结果元组能够在查准率和查全率之间取得良好的平衡。
2011-01-31 cs.DB cs.IR
Modelling an Automatic Proof Generator for Functional Dependency Rules Using Colored Petri Net
数据库管理员需要计算函数依赖闭包(FD)来规范数据库系统和执行完整性规则。有色Petri网(CPN)是一种有效的形式化建模和验证方法.在本文中,我们模拟阿姆斯特朗的公理自动证明生成一个新的FD规则从初始FD规则使用CPN。为此,阿姆斯特朗公理的CPN模型提出和初始FD考虑在模型中作为初始色集。然后通过模型检验在模型的状态空间中搜索所需的FD。如果它存在于状态空间中,则递归ML代码使用在模型的状态空间中的进一步搜索来提取该FD规则的证明。
2012-10-11 cs.DB cs.FL cs.SE
What do Shannon-type Inequalities, Submodular Width, and Disjunctive Datalog have to do with one another?
研究通过Shannon流不等式证明序列指导PANDA算法,为析取Datalog规则建立输出规模界限,精确匹配次模宽度,并统一信息论与数据库理论间的联系。
2023-12-23 cs.DB cs.DS cs.IT