Discovery of Paradigm Dependencies
缺失和不正确的值往往会导致严重的后果。为了解决这些数据质量问题，常用的工具是依赖规则，如函数依赖规则（FD）、条件函数依赖规则（CFD）和版本规则（ER）等。依赖的表达能力越强，获得的数据质量就越好。据我们所知，所有以前的依赖项都将每个属性值视为不可分割的整体。然而，实际上，在许多应用程序中，值的一部分可能包含有意义的信息，这表明可以使用更强大的依赖关系规则来处理数据质量问题。在本文中，我们考虑发现这种类型的依赖关系，其中的左手边是一个正则表达式类范式的一部分，命名为范式依赖（PD）。PD告诉我们，如果一个字符串与范例匹配，则位于指定位置的元素可以决定某个其他属性的值。我们提出了一个框架，在该框架中，具有相似的编码规则和不同长度的字符串聚集在一起，并垂直对齐，从PD可以直接发现。对齐问题是该框架的关键组成部分，并在NP完全证明。提出了一种贪心算法，该算法可以同时完成聚类和对齐任务。针对贪心算法的高时间复杂度，提出了几种剪枝策略来减少运行时间。在实验研究中，使用三个真实数据集和几个合成数据集来验证我们的方法的有效性和效率。
2017-10-08 cs.DB
Efficient Discovery of Ontology Functional Dependencies
由于现代数据集的复杂性和规模不断增加，数据质量差已成为一个普遍的问题。基于约束的数据清洗技术依赖于完整性约束作为基准来识别和纠正错误。不满足给定约束集的数据值被标记为脏，并且进行数据更新以重新对齐数据和约束。然而，由于定义特定术语和关系的领域专业知识，许多错误通常需要用户输入来解决。例如，在药品中，“Advil”\emph{is-a}是“ibuprofen”的商标名，可以在药品本体中获取。虽然函数依赖性（FD）传统上已经在现有的数据清理解决方案中用于对语法等价进行建模，但是它们不能对更广泛的关系（例如，是-a）由本体定义。在本文中，我们采取的第一步扩展数据质量约束的定义和发现\emph{Ontology Functional Dependencies}（OFD）的数据清洗。我们为OFD奠定了理论和实践基础，包括一套完善的公理和线性推理过程。然后，我们开发了有效的算法，发现OFD，和一组优化，有效地修剪搜索空间。我们使用真实数据的实验评估表明，我们的算法的可扩展性和准确性。
2017-05-24 cs.DB
Distributed Dependency Discovery
我们分析了从分布式大数据中发现依赖关系的问题。现有的（非分布式）算法集中在通过修剪可能的依赖关系的搜索空间来最小化计算。然而，分布式算法还必须优化通信成本，特别是在无共享设置中，导致更复杂的优化空间。为了理解这个空间，我们介绍了现有的依赖发现算法共享的六个原语，对应于由通信障碍分隔的数据处理步骤。通过案例研究，我们展示了原语如何使我们能够分析设计空间和开发通信优化的实现。最后，我们通过对真实数据集的实验评估来支持我们的分析。
2019-03-12 cs.DB
Top-k Approximate Functional Dependency Discovery
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
针对阈值发现输出不可控等问题，提出全局Top-k近似函数依赖发现方法，通过TALE算法（基础版和优化版）实现高效精确的Top-k结果返回。
2026-05-24 cs.DB
Measuring Approximate Functional Dependencies: a Comparative Study
本文针对真实数据中的近似函数依赖发现问题，基于 Shannon 熵与逻辑熵形式化比较多种 AFD 度量，并通过结构敏感性和排序有效性实验给出实践选型建议。
2023-12-11 cs.DB
Discovering Multi-Table Functional Dependencies Without Full Join Computation
在本文中，我们研究了发现连接FD的问题，即，在多个联接表上保持的函数依赖关系（FD）。我们利用逻辑推理，选择性挖掘和采样，并表明我们可以发现大多数确切的连接FD从单个表参与的连接，并避免连接结果的完整计算。我们提出了算法，以加快加入FD发现过程和地雷FD的飞行只从必要的数据分区。我们介绍JEDI（Join dEpendency DIsparification），我们的解决方案，发现连接FD，而无需事先计算完整的连接。我们在一系列真实世界和合成数据上的实验证明了我们的方法优于现有的FD发现方法，这些方法需要在发现FD之前预先计算连接结果。我们表明，性能取决于基数和覆盖率的连接属性值：对于连接操作覆盖率低，JEDI与选择性挖掘优于竞争的方法，使用直接的方法的全连接计算的一个数量级的运行时间，并可以发现四分之三的确切连接FD主要使用逻辑推理的一半，其总执行时间平均。对于更高的连接覆盖率，JEDI的抽样精度达到1，平均只有表输入大小的63%。
2020-12-11 cs.DB
ABC of Order Dependencies
我们增强约束为基础的数据质量与近似带条件顺序依赖（abcOD）。带OD模型的语义是单调相关的小的变化，而不存在一个内在的违反语义的属性。abcOD类概括了带OD，使它们更相关的现实世界的应用程序，通过放松他们持有近似（abOD）与一些例外和条件（bcOD）的数据子集。我们研究了abcOD层次结构上的自动依赖发现问题。首先，我们提出了一个更有效的算法来发现abOD比在最近以前的工作。该算法是基于一个新的优化计算最长的单调带（最长的元组，满足带OD的子序列）通过动态规划减少运行时间从O（n^2）到O（n \log n）的时间。然后，我们说明，虽然bcOD的发现是相对简单的，存在近似和条件之间的相互依赖关系，使abcOD发现的问题具有挑战性。天真的解决方案是昂贵的，因为它考虑了所有可能的元组分割，导致指数时间复杂度。为了减少搜索空间，我们设计了一个动态规划算法abcOD发现，确定在O（n^3 \log n）的复杂性的最佳解决方案。为了进一步优化性能，我们调整算法以廉价地识别保证属于同一频带的连续元组-这在实践中显着提高了性能，而不会失去最优性。虽然单向abcOD在实践中是最常见的，一般来说，我们扩展我们的算法与升序和降序发现双向abcOD。最后，我们在真实世界和合成数据集上对我们的技术进行了全面的实验评估。
2020-02-28 cs.DB
Errata Note: Discovering Order Dependencies through Order Compatibility
已经提出了对函数依赖的经典概念的许多扩展来表达和实施应用程序语义。这些扩展之一是顺序依赖性（OD），它表示涉及顺序的规则。Consonni等人的题为“通过顺序兼容性发现顺序兼容性”的文章，发表在2019年3月的EDBT会议论文集上，研究了OD发现问题。他们声称证明他们的OD发现算法OCDDISCOVER是完整的，并且在实践中比最先进的算法效率更高。他们进一步声称，现有的FASOD算法（我们的）的实现-我们与作者分享了我们的代码库-他们的基准是有缺陷的，因为OCDDISCOVER和FASOD在相同的数据集上报告了不同的OD集。在这个反驳中，我们表明，他们声称的完整性实际上是不正确的。OCDDISCOVER的修剪规则建立在他们不正确的声明上，过于激进，并修剪了包含合法OD的部分搜索空间。这就是为什么他们的方法在实践中似乎“更快”。最后，我们表明，Consonni等人误解了我们的基于集合的标准形式的OD，导致一个不正确的说法，我们的FASOD实现有一个错误。
2019-05-06 cs.DB
Mining Approximate Acyclic Schemes from Relations
非循环模式在数据库和机器学习中有许多应用，例如改进的设计、更有效的存储以及查询和机器学习算法的提高的性能。多值依赖（MVD）是非循环模式的构建块。从数据中发现MVD和非循环方案比其他形式的数据依赖关系（例如函数依赖关系）更具挑战性，因为这些依赖关系不适用于数据子集，并且因为它们对数据中的噪音非常敏感;例如，单个错误或缺失的元组可能会使模式无效。在本文中，我们提出了Maimon，一个系统发现近似的非循环计划和MVDs的数据。我们给出了一个原则性的近似定义，通过使用信息论的概念，然后描述了Maimon的两个组成部分：挖掘近似MVD，然后重建非循环计划从近似MVD。我们在20个真实世界的数据集上对Maimon进行了实验评估，并表明它可以扩展到100万行和30列。
2019-11-29 cs.DB
Efficient Discovery of Conditional Dependencies with Desbordante
Saint-Petersburg State University（圣彼得堡国立大学）
研究计算要求高的条件函数依赖发现问题，基于CFDFinder算法改进，包括并行策略，得到ParCFDFinder并集成到Desbordante，显著提升速度和减少内存使用。
2026-07-07 cs.AI cs.DB cs.DC
Fast Discovery of Inclusion Dependencies with Desbordante
Saint-Petersburg State University（圣彼得堡国立大学）；Universe Data
该研究针对包含依赖发现的计算成本问题，在开源数据探查器Desbordante中实现两种算法并优化，使Spider提速5倍、Faida提速8倍，解决了现有研究忽略实现层面的问题。
2026-08-04 cs.AI cs.DB cs.DC
Approximate Functional Dependencies---Implication Problem Revisited
University of Helsinki（赫尔辛基大学）
本文重访近似函数依赖的蕴含问题，指出其原子相互作用更复杂，证明Väänänen公理化在一元依赖下完备，还确定了其模型检测的复杂性。
2026-08-18 cs.DB cs.LO
FASTAGEDS: Fast Approximate Graph Entity Dependency Discovery
本文研究属性图中近似规则的发现问题，提出一种容忍现实图错误的误差度量与新GED满足表征，并设计深度优先搜索策略高效遍历候选规则，通过三个真实图实验验证了FASTAGEDS方案的可行性与可扩展性。
2023-04-08 cs.DB
Redundancy-Driven Top-$k$ Functional Dependency Discovery
School of Computer Science and Technology, Harbin Institute of Technology（计算机科学与技术学院，哈尔滨工业大学）
本文提出SDP算法，通过冗余度发现Top-k函数依赖，优化搜索空间以提高效率。
2026-01-15 cs.AI cs.DB
Discovering Reliable Approximate Functional Dependencies
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）
给定一个数据库和一个感兴趣的目标属性，我们如何判断目标是否对数据中的任何其他属性集存在函数依赖或近似函数依赖？我们如何才能在不偏离样本大小或维度的情况下，可靠地衡量这种依赖性的强度？并且，我们如何能够有效地发现最佳或$α$近似的顶部$k$依赖性？这些正是我们在本文中回答的问题。由于我们希望对依赖的形式不可知，因此我们采用了信息论方法，并构建了一个可靠的，可以有效计算的偏差校正分数。此外，我们给出了这个分数的一个有效的乐观估计，通过它，我们第一次可以挖掘近似的函数依赖的最优性的保证数据。经验评估表明，派生的分数实现了良好的偏差方差权衡，可以使用在一个有效的发现算法，并确实发现有意义的依赖关系。最重要的是，它在数据稀疏的情况下仍然可靠。
2017-06-18 cs.AI cs.DB cs.IT
Enabling Data Dependency-based Query Optimization
Hasso Plattner Institute（哈索·普拉特纳研究所）；SAP（思爱普）
本文提出系统自动识别并验证数据依赖，提升查询性能，实验显示在TPC-DS和JOB基准上速度提升达35%和29%，单个查询延迟下降超90%。
2025-07-19 cs.DB
Strength Is Not Value: Rethinking Approximate Functional Dependency Measures for Error Detection
Harbin Institute of Technology（哈尔滨工业大学）
本研究通过大规模实验证明，近似函数依赖强度度量与错误检测价值（精确率/召回率）存在显著非对称性，强度排序不可靠，二者应分别评估。
2026-10-07 cs.DB
Integrity Constraints Revisited: From Exact to Approximate Implication
本文研究完整性约束的近似蕴含问题，定义近似蕴含为满足程度的线性不等式，证明数据依赖蕴含可松弛为线性不等式且因子有界，CI蕴含在极限中松弛，并利用I-测度理论统一推导，扩展了已知结果。
2022-01-10 cs.DB
EAIFD: A Fast and Scalable Algorithm for Incremental Functional Dependency Discovery
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
EAIFD通过多属性哈希表和两步验证策略，高效解决增量函数依赖发现问题，显著提升运行速度并减少内存消耗。
2026-01-22 cs.DB
Approximate Keys and Functional Dependencies in Incomplete Databases With Limited Domains-Algorithmic Perspective
本文针对不完备数据库中的强可能键和函数依赖，提出新近似度量g5（添加元组比率），证明其与g3（删除元组比率）的关系及独立性，并研究计算复杂性。
2024-02-07 cs.DB
Inductive Process Discovery from Partially Ordered Event Data
Fraunhofer Institute for Applied Information Technology FIT（弗劳恩霍夫应用信息技术研究所）；RWTH Aachen University（亚琛工业大学）
该研究针对IM技术依赖全序轨迹的局限，提出将其从全序轨迹提升至偏序轨迹的方法，避免线性化爆炸，提升了过程发现的效率与准确性。
2026-08-21 cs.DB
