Discovery of Paradigm Dependencies
缺失和不正确的值往往会导致严重的后果。为了解决这些数据质量问题,常用的工具是依赖规则,如函数依赖规则(FD)、条件函数依赖规则(CFD)和版本规则(ER)等。依赖的表达能力越强,获得的数据质量就越好。据我们所知,所有以前的依赖项都将每个属性值视为不可分割的整体。然而,实际上,在许多应用程序中,值的一部分可能包含有意义的信息,这表明可以使用更强大的依赖关系规则来处理数据质量问题。在本文中,我们考虑发现这种类型的依赖关系,其中的左手边是一个正则表达式类范式的一部分,命名为范式依赖(PD)。PD告诉我们,如果一个字符串与范例匹配,则位于指定位置的元素可以决定某个其他属性的值。我们提出了一个框架,在该框架中,具有相似的编码规则和不同长度的字符串聚集在一起,并垂直对齐,从PD可以直接发现。对齐问题是该框架的关键组成部分,并在NP完全证明。提出了一种贪心算法,该算法可以同时完成聚类和对齐任务。针对贪心算法的高时间复杂度,提出了几种剪枝策略来减少运行时间。在实验研究中,使用三个真实数据集和几个合成数据集来验证我们的方法的有效性和效率。
2017-10-08 cs.DB
Efficient Discovery of Ontology Functional Dependencies
由于现代数据集的复杂性和规模不断增加,数据质量差已成为一个普遍的问题。基于约束的数据清洗技术依赖于完整性约束作为基准来识别和纠正错误。不满足给定约束集的数据值被标记为脏,并且进行数据更新以重新对齐数据和约束。然而,由于定义特定术语和关系的领域专业知识,许多错误通常需要用户输入来解决。例如,在药品中,“Advil”\emph{is-a}是“ibuprofen”的商标名,可以在药品本体中获取。虽然函数依赖性(FD)传统上已经在现有的数据清理解决方案中用于对语法等价进行建模,但是它们不能对更广泛的关系(例如,是-a)由本体定义。在本文中,我们采取的第一步扩展数据质量约束的定义和发现\emph{Ontology Functional Dependencies}(OFD)的数据清洗。我们为OFD奠定了理论和实践基础,包括一套完善的公理和线性推理过程。然后,我们开发了有效的算法,发现OFD,和一组优化,有效地修剪搜索空间。我们使用真实数据的实验评估表明,我们的算法的可扩展性和准确性。
2017-05-24 cs.DB
Distributed Dependency Discovery
我们分析了从分布式大数据中发现依赖关系的问题。现有的(非分布式)算法集中在通过修剪可能的依赖关系的搜索空间来最小化计算。然而,分布式算法还必须优化通信成本,特别是在无共享设置中,导致更复杂的优化空间。为了理解这个空间,我们介绍了现有的依赖发现算法共享的六个原语,对应于由通信障碍分隔的数据处理步骤。通过案例研究,我们展示了原语如何使我们能够分析设计空间和开发通信优化的实现。最后,我们通过对真实数据集的实验评估来支持我们的分析。
2019-03-12 cs.DB
Top-k Approximate Functional Dependency Discovery
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院)
针对阈值发现输出不可控等问题,提出全局Top-k近似函数依赖发现方法,通过TALE算法(基础版和优化版)实现高效精确的Top-k结果返回。
2026-05-24 cs.DB
Measuring Approximate Functional Dependencies: a Comparative Study
本文针对真实数据中的近似函数依赖发现问题,基于 Shannon 熵与逻辑熵形式化比较多种 AFD 度量,并通过结构敏感性和排序有效性实验给出实践选型建议。
2023-12-11 cs.DB
Discovering Multi-Table Functional Dependencies Without Full Join Computation
在本文中,我们研究了发现连接FD的问题,即,在多个联接表上保持的函数依赖关系(FD)。我们利用逻辑推理,选择性挖掘和采样,并表明我们可以发现大多数确切的连接FD从单个表参与的连接,并避免连接结果的完整计算。我们提出了算法,以加快加入FD发现过程和地雷FD的飞行只从必要的数据分区。我们介绍JEDI(Join dEpendency DIsparification),我们的解决方案,发现连接FD,而无需事先计算完整的连接。我们在一系列真实世界和合成数据上的实验证明了我们的方法优于现有的FD发现方法,这些方法需要在发现FD之前预先计算连接结果。我们表明,性能取决于基数和覆盖率的连接属性值:对于连接操作覆盖率低,JEDI与选择性挖掘优于竞争的方法,使用直接的方法的全连接计算的一个数量级的运行时间,并可以发现四分之三的确切连接FD主要使用逻辑推理的一半,其总执行时间平均。对于更高的连接覆盖率,JEDI的抽样精度达到1,平均只有表输入大小的63%。
2020-12-11 cs.DB
ABC of Order Dependencies
我们增强约束为基础的数据质量与近似带条件顺序依赖(abcOD)。带OD模型的语义是单调相关的小的变化,而不存在一个内在的违反语义的属性。abcOD类概括了带OD,使它们更相关的现实世界的应用程序,通过放松他们持有近似(abOD)与一些例外和条件(bcOD)的数据子集。我们研究了abcOD层次结构上的自动依赖发现问题。首先,我们提出了一个更有效的算法来发现abOD比在最近以前的工作。该算法是基于一个新的优化计算最长的单调带(最长的元组,满足带OD的子序列)通过动态规划减少运行时间从O(n^2)到O(n \log n)的时间。然后,我们说明,虽然bcOD的发现是相对简单的,存在近似和条件之间的相互依赖关系,使abcOD发现的问题具有挑战性。天真的解决方案是昂贵的,因为它考虑了所有可能的元组分割,导致指数时间复杂度。为了减少搜索空间,我们设计了一个动态规划算法abcOD发现,确定在O(n^3 \log n)的复杂性的最佳解决方案。为了进一步优化性能,我们调整算法以廉价地识别保证属于同一频带的连续元组-这在实践中显着提高了性能,而不会失去最优性。虽然单向abcOD在实践中是最常见的,一般来说,我们扩展我们的算法与升序和降序发现双向abcOD。最后,我们在真实世界和合成数据集上对我们的技术进行了全面的实验评估。
2020-02-28 cs.DB
Mining Approximate Acyclic Schemes from Relations
非循环模式在数据库和机器学习中有许多应用,例如改进的设计、更有效的存储以及查询和机器学习算法的提高的性能。多值依赖(MVD)是非循环模式的构建块。从数据中发现MVD和非循环方案比其他形式的数据依赖关系(例如函数依赖关系)更具挑战性,因为这些依赖关系不适用于数据子集,并且因为它们对数据中的噪音非常敏感;例如,单个错误或缺失的元组可能会使模式无效。在本文中,我们提出了Maimon,一个系统发现近似的非循环计划和MVDs的数据。我们给出了一个原则性的近似定义,通过使用信息论的概念,然后描述了Maimon的两个组成部分:挖掘近似MVD,然后重建非循环计划从近似MVD。我们在20个真实世界的数据集上对Maimon进行了实验评估,并表明它可以扩展到100万行和30列。
2019-11-29 cs.DB
Efficient Discovery of Conditional Dependencies with Desbordante
Saint-Petersburg State University(圣彼得堡国立大学)
研究计算要求高的条件函数依赖发现问题,基于CFDFinder算法改进,包括并行策略,得到ParCFDFinder并集成到Desbordante,显著提升速度和减少内存使用。
2026-07-07 cs.AI cs.DB cs.DC
Defining and Mining Functional Dependencies in Probabilistic Databases
函数依赖--传统的、近似的和条件的依赖在关系数据库中是至关重要的,因为它们告诉我们属性之间的关系。它们在模式规范化、数据校正和源选择等方面都很有用。然而,其中大多数是在确定性数据的背景下开发的。虽然不确定数据库已经开始受到关注,但这些依赖关系还没有为它们定义,也没有快速算法来评估它们的置信度。本文定义了概率数据库函数依赖的各种形式的逻辑扩展,并探讨了它们之间的联系。我们提出了一个基于剪枝的精确算法来评估的信心的函数依赖,一个基于Monte-Carlo算法来评估的信心近似函数依赖和算法的条件概率数据库中的副本。实验上进行的合成和真实的数据评估这些算法的性能,在评估的依赖性和挖掘它们的数据的信心。我们相信,拥有这些可用于概率数据库的依赖关系和算法将推动行业中概率数据存储的采用。
2010-12-13 cs.DB
Learning Functional Dependencies with Sparse Regression
我们研究的问题,发现功能依赖(FD)从一个嘈杂的数据集。我们专注于与数据集中的统计依赖性相对应的FD,并在概率图模型中绘制FD发现和结构学习之间的联系。我们表明,发现FD从嘈杂的数据集是等价于学习的二进制随机变量的图形模型的结构,其中每个随机变量对应于一个功能的数据集属性。基于这一观察,我们引入AutoFD一个概念上简单的框架,在这个框架中,学习函数依赖关系对应于解决稀疏回归问题。我们表明,我们的方法可以在各种真实世界和合成数据集上恢复真正的函数依赖关系,即使在存在噪声或丢失数据的情况下也是如此。我们发现,AutoFD可扩展到具有数百万元组和数百个属性的大型数据实例,同时与最先进的FD发现方法相比,它的平均F1提高了2倍。
2019-05-04 cs.DB cs.LG
Discovering Matching Dependencies
匹配依赖的概念是最近提出的,用于指定对象识别的匹配规则。与函数依赖(带条件)类似,mds也可以应用于各种数据质量应用,如违规检测。在本文中,我们研究的问题,发现匹配依赖从一个给定的数据库实例。首先,我们正式定义的措施,支持度和信心,在给定的数据库实例中的MDS评估效用。然后,我们研究了具有一定效用需求的支持度和置信度的mds发现问题。精确的算法开发,连同修剪策略,以提高时间性能。由于精确算法在计算过程中必须遍历所有的数据,我们提出了一个近似的解决方案,只使用一些数据。由近似引入的相对误差的界也被开发。最后,我们的实验评估证明了所提出的方法的效率。
2009-06-13 cs.DB
Fast Discovery of Inclusion Dependencies with Desbordante
Saint-Petersburg State University(圣彼得堡国立大学);Universe Data
该研究针对包含依赖发现的计算成本问题,在开源数据探查器Desbordante中实现两种算法并优化,使Spider提速5倍、Faida提速8倍,解决了现有研究忽略实现层面的问题。
2026-08-04 cs.AI cs.DB cs.DC
Approximate Functional Dependencies---Implication Problem Revisited
University of Helsinki(赫尔辛基大学)
本文重访近似函数依赖的蕴含问题,指出其原子相互作用更复杂,证明Väänänen公理化在一元依赖下完备,还确定了其模型检测的复杂性。
2026-08-18 cs.DB cs.LO
FASTAGEDS: Fast Approximate Graph Entity Dependency Discovery
本文研究属性图中近似规则的发现问题,提出一种容忍现实图错误的误差度量与新GED满足表征,并设计深度优先搜索策略高效遍历候选规则,通过三个真实图实验验证了FASTAGEDS方案的可行性与可扩展性。
2023-04-08 cs.DB
Redundancy-Driven Top-$k$ Functional Dependency Discovery
School of Computer Science and Technology, Harbin Institute of Technology(计算机科学与技术学院,哈尔滨工业大学)
本文提出SDP算法,通过冗余度发现Top-k函数依赖,优化搜索空间以提高效率。
2026-01-15 cs.AI cs.DB
Discovering Reliable Approximate Functional Dependencies
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学)
给定一个数据库和一个感兴趣的目标属性,我们如何判断目标是否对数据中的任何其他属性集存在函数依赖或近似函数依赖?我们如何才能在不偏离样本大小或维度的情况下,可靠地衡量这种依赖性的强度?并且,我们如何能够有效地发现最佳或$α$近似的顶部$k$依赖性?这些正是我们在本文中回答的问题。由于我们希望对依赖的形式不可知,因此我们采用了信息论方法,并构建了一个可靠的,可以有效计算的偏差校正分数。此外,我们给出了这个分数的一个有效的乐观估计,通过它,我们第一次可以挖掘近似的函数依赖的最优性的保证数据。经验评估表明,派生的分数实现了良好的偏差方差权衡,可以使用在一个有效的发现算法,并确实发现有意义的依赖关系。最重要的是,它在数据稀疏的情况下仍然可靠。
2017-06-18 cs.AI cs.DB cs.IT
Mining CFD Rules on Big Data
现有的条件函数依赖(CFD)发现算法通常需要一个准备良好的训练数据集。这使得它们很难应用于大型数据集,这些数据集总是质量低下。为了处理大数据量的问题,我们开发了抽样算法来获得一个小的代表性的训练集。针对大数据的低质量问题,设计了容错规则发现算法和冲突消解算法。为保证CFD发现算法的有效性,提出了CFD发现算法的参数选择策略.实验结果表明,该方法可以在合理的时间内发现有效的十亿元组数据的CFD规则。
2018-08-05 cs.DB
Not Every Dependency Is Worth Discovering: Toward Value-Driven Data Dependency Discovery
Harbin Institute of Technology(哈尔滨工业大学)
研究呼吁从有效性驱动转向价值驱动的数据依赖发现,定义了依赖使用价值和净值,基于此框架概述相关原则并确定研究议程,涉及价值估计、损失成本学习、预算集选择等多方面。
2026-07-27 cs.DB
Enabling Data Dependency-based Query Optimization
Hasso Plattner Institute(哈索·普拉特纳研究所);SAP(思爱普)
本文提出系统自动识别并验证数据依赖,提升查询性能,实验显示在TPC-DS和JOB基准上速度提升达35%和29%,单个查询延迟下降超90%。
2025-07-19 cs.DB
Extending Databases to Support Data Manipulation with Functional Dependencies: a Vision Paper
在本文中,我们建议将存储的数据(表)及其功能依赖关系(FD)融合在一起。我们的目标是使FD成为一等公民:可以查询并用于查询数据的对象。我们的想法是允许分析师使用数据库接口探索数据和函数依赖关系。例如,分析员可能对诸如以下的任务感兴趣:“找到阻止给定函数依赖性保持的所有行”、“对于给定表,找到涉及给定属性的所有函数依赖性”、“投影在功能上确定指定属性的所有属性”。为此,我们提出:(1)一个基于SQL的查询语言查询的功能依赖的集合(2)SQL SELECT子句的扩展,以支持基于FD的谓词,包括近似的(3)一个特殊的数据结构旨在包含挖掘FD和用户查询和底层数据之间的调解人。我们描述了建议的扩展,展示他们的用例,最后,讨论实现细节及其对查询处理的影响。
2020-05-16 cs.DB
Approximate Integrity Constraints in Incomplete Databases With Limited Domains
本文针对不完全数据库,引入强可能多值依赖和交叉连接,分析其有效性检查复杂性,并研究强可能键、函数依赖、多值依赖及交叉连接的近似度量及确定近似值的复杂性。
2024-02-07 cs.DB
Strength Is Not Value: Rethinking Approximate Functional Dependency Measures for Error Detection
Harbin Institute of Technology(哈尔滨工业大学)
本研究通过大规模实验证明,近似函数依赖强度度量与错误检测价值(精确率/召回率)存在显著非对称性,强度排序不可靠,二者应分别评估。
2026-10-07 cs.DB
Integrity Constraints Revisited: From Exact to Approximate Implication
本文研究完整性约束的近似蕴含问题,定义近似蕴含为满足程度的线性不等式,证明数据依赖蕴含可松弛为线性不等式且因子有界,CI蕴含在极限中松弛,并利用I-测度理论统一推导,扩展了已知结果。
2022-01-10 cs.DB
Discovering Graph Generating Dependencies for Property Graph Profiling
本文提出GGDMiner框架,通过预处理、候选生成和GGD提取三个步骤自动发现近似图生成依赖(GGDs),并利用Answer Graph优化内存与执行时间,为用户提供输入图的模式信息及模式与属性间的相关性概览。
2025-02-03 cs.DB
EAIFD: A Fast and Scalable Algorithm for Incremental Functional Dependency Discovery
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院)
EAIFD通过多属性哈希表和两步验证策略,高效解决增量函数依赖发现问题,显著提升运行速度并减少内存消耗。
2026-01-22 cs.DB
The data-exchange chase under the microscope
在本文中,我们仔细看看最近的发展追逐程序,并提供额外的结果。我们的分析使我们能够创建一个分类的追逐变化和他们满足的属性。关于追逐的两个最核心的问题是终止,以及发现保证追逐终止的依赖集的受限类。搜索受限类的动机是最近的一个结果,该结果表明,确定具有给定依赖集的追逐是否会在给定实例上终止是不可判定的。这里有一个小的不协调,因为一直在寻求依赖集的类,保证在所有实例上的追逐的终止,即使后一个问题并不知道是不可判定的。我们在本文中解决的不和谐表明,确定是否与一组给定的依赖关系的追逐终止在所有的实例是核心完成。对于硬度的证明,我们使用的减少从字重写系统,从而也显示了密切的联系之间的追逐和字重写。同样的约简也给我们带来了前面提到的依赖实例的RE完备性结果作为副产品。对于保证终止所有实例的限制类之一,分层集依赖,我们提供了新的复杂性测试问题的结果是否一组给定的依赖属于it.These结果纠正了一些以前的索赔,已发生在文献中。
2014-07-08 cs.DB
Approximate Keys and Functional Dependencies in Incomplete Databases With Limited Domains-Algorithmic Perspective
本文针对不完备数据库中的强可能键和函数依赖,提出新近似度量g5(添加元组比率),证明其与g3(删除元组比率)的关系及独立性,并研究计算复杂性。
2024-02-07 cs.DB
Inductive Process Discovery from Partially Ordered Event Data
Fraunhofer Institute for Applied Information Technology FIT(弗劳恩霍夫应用信息技术研究所);RWTH Aachen University(亚琛工业大学)
该研究针对IM技术依赖全序轨迹的局限,提出将其从全序轨迹提升至偏序轨迹的方法,避免线性化爆炸,提升了过程发现的效率与准确性。
2026-08-21 cs.DB
Anatomy of the chase
由于Chase过程在数据集成、数据交换、查询优化、对等数据交换和数据通信等方面的有用性,最近围绕Chase过程进行了大量的研究活动。随着一些研究小组和作者对追逐进行了研究和进一步发展,出现了许多追逐的变体,并获得了相关的结果。由于该地区的异质性,往往难以核实每项成果的范围。在本文中,我们仔细研究了最近的发展,并提供了额外的结果。我们的分析使我们能够创建一个分类的追逐变化和他们满足的属性。关于追逐的两个最核心的问题是终止,以及发现保证追逐终止的依赖集的受限类。搜索受限类的动机是最近的一个结果,该结果表明,确定具有给定依赖集的追逐是否会在给定实例上终止是不可判定的。这里有一个小的不协调,因为一直在寻求依赖集的类,保证在所有实例上的追逐的终止,即使后一个问题并不知道是不可判定的。我们在本文中解决的不和谐表明,确定是否与一组给定的依赖关系的追逐终止在所有的实例是核心完成。我们的约简也给了我们前面提到的依赖实例的RE完备性结果作为副产品。对于其中一个限制类,分层集依赖,我们提供了新的复杂性测试问题的结果是否一组给定的依赖属于it.These结果纠正了一些以前的索赔,已经发生在文献中。
2013-03-26 cs.DB
Computing Optimal Repairs for Functional Dependencies
我们调查的复杂性计算的不一致的数据库的最佳修复,在完整性约束的情况下,功能的重复性(FD)。我们专注于两种类型的修复:一个最佳的子集修复(最佳S-修复),这是由最小数量的元组删除,和最佳的更新修复(最佳U-修复),这是由最小数量的值(细胞)更新。为了计算一个最佳的S-修复,我们提出了一个多项式时间算法,成功的某些集合的FD和失败的其他。我们证明了以下关于算法。当它成功时,它还可以合并加权元组和重复元组。当它失败时,问题是NP难的,实际上是APX完全的(因此,不能比某个常数更好地近似)。因此,我们在计算最优S-修复的复杂性中建立了一个二分法。我们提出了一般的分析技术计算的最佳U-修复的复杂性,一些基于S-修复的二分法。我们还提请连接到过去的二分法的复杂性,找到一个“最可能的数据库”,满足一组FD与一个单一的属性在左手边;一般FD的情况下是开放的,我们展示了我们的二分法如何提供失踪的泛化,从而解决了开放的问题。
2017-12-20 cs.DB
Lightning Fast Matching Dependency Discovery with Desbordante
Saint-Petersburg University(圣彼得堡大学)
研究针对匹配依赖发现算法HyMD的优化技术,采用新采样、泛化查找及依赖表示改进等方法,在Desbordante中实现优化版HyMD,实验证明其平均加速超40倍,改进版可双向集成Python供人使用。
2026-07-14 cs.AI cs.DB cs.LG
Attribute Dependencies for Data with Grades
本文研究了涉及等级的数据中的属性依赖关系,例如对象为红色的等级或两个对象相似的等级。因此,我们扩展了经典的议程,允许分级,或模糊,属性,而不是布尔属性的情况下,属性的影响,并允许近似匹配的相似程度的基础上,而不是精确匹配的情况下,功能依赖。从某种意义上说,我们从现在可用的依赖性理论中固有的二价转向了一个更灵活的涉及等级的设置。这种转变具有深远的影响。我们认为,一个合理的理论的依赖关系,可以开发利用数学模糊逻辑。也就是说,依赖关系理论是基于一个坚实的逻辑演算,就像经典依赖关系是基于经典逻辑一样。例如,我们不是以特定的方式处理相似度,而是始终将它们视为真值,就像经典理论中处理真(匹配)和假(不匹配)一样。此外,几个概念直观地拥抱在等级的存在,如一个特定的依赖或程度的蕴涵的有效性程度,自然出现,并在所提出的方法中得到概念上干净的处理。在本文中,我们讨论了动机,提供了基本的语法和语义概念,并开发了基本的结果,其中包括蕴涵的依赖,相关的封闭结构,逻辑的依赖与两个版本的完整性定理,结果和算法,完全非冗余集的依赖,关系和一个可能的约简接口的经典依赖,以及与具有相似性的域上的函数依赖性的关系。
2014-02-10 cs.DB cs.LO
Extending Desbordante with Probabilistic Functional Dependency Discovery Support
Saint-Petersburg University(圣彼得堡大学)
研究旨在通过在Desbordante工具中支持概率函数依赖(pFD)来改进数据剖析。通过分析和实证研究pFD,评估其与近似函数依赖(AFD)差异,实现pFD发现算法并研究性能,与AFD算法比较,探索能否相互获取结果,为数据剖析提供新支持。
2026-07-28 cs.AI cs.CE cs.DB