Mining All Non-Derivable Frequent Itemsets
最近的频繁项集挖掘算法的研究导致显着的性能改善。然而,如果最小支持度阈值设置得太低,或者数据高度相关,则频繁项集本身的数量可能会非常大。为了克服这个问题,最近已经提出了一些建议,以构建一个简洁的表示的频繁项集,而不是挖掘所有的频繁项集。本文的主要目标是确定所有频繁项集的集合中的冗余,并利用这些冗余,以减少挖掘操作的结果。我们提出了推导规则,以获得紧边界上的候选项集的支持。我们展示了如何演绎规则允许构造一个最小的表示所有频繁项集。我们还提出了我们的建议和最近的建议之间的联系,简洁的表示,我们给出了在现实生活中的数据集,显示的演绎规则的有效性的实验结果。事实上,实验甚至表明,在许多情况下,首先挖掘的简洁表示,然后从这个表示创建频繁项集优于现有的频繁集挖掘算法。
2002-06-03 cs.AI cs.DB
Flexible constrained sampling with guarantees for pattern mining
KU Leuven(鲁汶大学);Leiden University(莱顿大学)
模式采样已经被提出作为臭名昭著的模式爆炸的潜在解决方案。不是枚举满足约束的所有模式,而是与给定的质量度量成比例地对单个模式进行采样。已经提出了几种采样算法,但是它们中的每一种都有其局限性,当涉及到1)在可以使用的质量测量和约束方面的灵活性,和/或2)关于采样精度的保证时。因此,我们提出Flexics,第一个灵活的模式采样器,支持广泛的质量措施和约束,同时提供强有力的保证采样精度。为了实现这一目标,我们利用模式挖掘的角度作为一个约束满足问题,并建立在SAT采样解决方案的最新进展,以及现有的模式挖掘算法。此外,所提出的算法适用于各种模式语言,这使我们能够引入和解决采样模式集的新任务。我们介绍和经验评估两种变体的Flexics:1)一个通用的变体,解决了众所周知的项集采样任务和新颖的模式集采样任务,以及在这些任务中的广泛的表达约束,和2)一个专门的变体,利用现有的频繁项集技术,以实现实质性的加速。实验表明,Flexics是准确和高效的,使其成为一个有用的工具,基于模式的数据探索。
2017-03-01 cs.AI cs.DB stat.ML
Computational Complexity of Three Central Problems in Itemset Mining
CNRS(法国国家科学研究中心);University of Montpellier(蒙彼利埃大学);Simula Research Laboratory(Simula研究实验室);LIRMM(蒙彼利埃计算机、机器人与微电子实验室)
项集挖掘是知识发现领域研究最多的任务之一。本文分析了三个中心项集挖掘问题的计算复杂性。我们证明了挖掘一个给定的项目在头部的置信规则是NP-困难的。我们证明了挖掘高效用项集是NP难的。最后,我们证明了挖掘最大或封闭的项目集是CONP-困难的,只要用户可以指定的限制,他们感兴趣的项目集。
2020-12-08 cs.AI cs.CC cs.DB
Comparing Dataset Characteristics that Favor the Apriori, Eclat or FP-Growth Frequent Itemset Mining Algorithms
Nova Southeastern University(诺瓦东南大学)
频繁项集挖掘是一种流行的数据采掘技术。Apriori、Eclat和FP-Growth是最常用的频繁项集挖掘算法。已经进行了相当多的研究来比较这三种算法之间的相对性能,通过评估每个算法的可扩展性,随着数据集大小的增加。虽然随着数据大小的增加可扩展性很重要,但以前的论文没有研究包含不同项集特征的类似大小的数据集的性能影响。本文探讨了这三个频繁项集算法的性能,两个数据集的特点可以有影响。为了进行这种实证分析,创建了一个数据集生成器来测量频繁项密度和最大事务大小对性能的影响。生成的数据集包含相同数量的行。这提供了对有助于每个算法的数据集特征的一些洞察。本文的研究结果表明,Eclat和FP-Growth都处理的最大事务规模和频繁项集密度的增加,大大优于Apriori算法。本文探讨了这三个频繁项集算法的性能,两个数据集的特点可以有影响。为了进行这种实证分析,创建了一个数据集生成器来测量频繁项密度和最大事务大小对性能的影响。生成的数据集包含相同数量的行。这提供了对有助于每个算法的数据集特征的一些洞察。本文的研究结果表明,Eclat和FP-Growth都处理的最大事务规模和频繁项集密度的增加,大大优于Apriori算法。
2017-01-30 cs.AI cs.DB
Ramp: Fast Frequent Itemset Mining with Efficient Bit-Vector Projection Technique
National University of Computer and Emerging Sciences(国家计算机与新兴科学大学)
基于位向量表示的频繁项集挖掘方法对于密集数据集是非常有效的,但对于稀疏数据集,由于缺乏有效的位向量投影技术,挖掘效率很低。在本文中,我们提出了一种新的有效的位向量投影技术,稀疏和密集的数据集。为了检验我们的位向量投影技术的效率,我们提出了一个新的频繁项集挖掘算法Ramp(Real Algorithm for Mining Patterns)。在基准数据集上将Ramp算法与目前最好的频繁项集挖掘算法(全频繁项集、最大频繁项集和闭频繁项集)进行了性能比较。在稀疏数据集和密集数据集上的不同实验结果表明,使用Ramp挖掘频繁项集的速度比目前最好的算法都要快,这表明了位向量投影思想的有效性。我们还提出了一个新的本地最大频繁项集传播和最大项集超集检查方法FastLMFI,建立在我们的PBR位向量投影技术。我们不同的计算实验表明,使用FastLMFI的项集最大值检查是快速和有效的比以前将已知的渐进聚焦方法。
2009-04-21 cs.AI cs.DB cs.DS
TargetUM: Targeted High-Utility Itemset Querying
Jinan University(暨南大学);Guangdong University of Technology(广东工业大学)
传统的高效用项集挖掘(HUIM)旨在确定事务数据库中所有满足最小效用阈值(\textit{minUtil})的高效用项集(HUI)。然而,在大多数应用程序中,并不是所有的UI都是有趣的,因为只需要特定的部分。因此,基于用户偏好的目标挖掘比传统的挖掘任务更重要。本文首次提出了一个基于目标的HUIM问题,并在定量交易数据库中提供了一个明确的目标效用挖掘任务。提出了一种基于树的高效用目标查询算法TargetUM。该算法使用一棵字典式查询树和三种有效的剪枝策略来提高挖掘效率。我们在几个真实数据库和合成数据库上进行了实验验证,结果表明,\textbf{TargetUM}的性能是令人满意的,完整的,正确的。最后,由于字典查询树,数据库不再需要重复扫描多个查询。
2021-10-30 cs.AI cs.DB
Characterizing Transactional Databases for Frequent Itemset Mining
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文研究了用于频繁项集挖掘的事务数据库的特征。这些特征通常用于基准测试和理解在这些数据库上工作的数据采掘算法。我们的研究的目的是给这些基准数据库的多样性和代表性的图片,无论是在一般情况下,但也在特定的实证研究的文献中发现的背景下。我们提出的指标列表包含了文献中发现的许多现有指标,以及新的指标。我们的研究表明,我们的指标列表能够捕捉到大部分数据集的内部复杂性,从而为事务数据集的表征提供了一个很好的基础。最后,我们提供了一组代表性的数据集,根据我们的表征,可以安全地用作基准。
2020-11-09 cs.AI cs.DB
Fast Algorithms for Mining Interesting Frequent Itemsets without Minimum Support
FAST-National University of Computer and Emerging Science(FAST-国家计算机与新兴科学大学)
真实世界的数据集是稀疏的,脏的,包含数百个项目。在这种情况下,发现有趣的规则(结果)使用传统的频繁项集挖掘方法,通过指定一个用户定义的输入支持度阈值是不合适的。由于没有任何领域知识,设置支持度阈值小或大可能会输出什么或大量冗余的不感兴趣的结果。最近提出了一种新的挖掘N-most/Top-K兴趣频繁项集的方法,该方法在不指定任何用户定义的支持度阈值的情况下发现前N个兴趣结果。然而,挖掘有趣的频繁项集没有最小支持度阈值是更昂贵的项集搜索空间探索和处理成本。因此,它们的挖掘效率在很大程度上取决于三个主要因素:(1)用于项集频率计数的数据库表示方法,(2)相关事务到搜索空间的较低级别节点的投影和(3)算法实现技术。因此,为了提高挖掘过程的效率,在本文中,我们提出了两个新的算法称为(N-MostMiner和Top-K-Miner)使用位向量表示的方法,这是非常有效的项集频率计数和事务投影。除此之外,我们还介绍了N-MostMiner和Top-K-Miner的几种有效实现技术。我们在基准数据集上的实验结果表明,与目前最好的算法BOMO和TFP相比,NMostMiner和Top-K-Miner在处理时间方面非常有效。
2009-04-21 cs.AI cs.DB cs.DS
HybridMiner: Mining Maximal Frequent Itemsets Using Hybrid Database Representation Approach
FAST-National University of Computer and Emerging Sciences(FAST-国立计算机与新兴科学大学)
在本文中,我们提出了一种新的混合(基于数组的布局和垂直位图布局)的数据库表示方法,挖掘完整的最大频繁项集(MFI)稀疏和大型数据集。我们的工作是新颖的可扩展性,项目搜索顺序和两个水平和垂直投影技术。我们还提出了一个最大的算法,使用这种混合数据库表示方法。在真实数据集和稀疏数据集上的不同实验结果表明,该方法优于现有的最大值算法。
2009-04-21 cs.AI cs.DB cs.DS
Mining Top-k Approximate Frequent Patterns
事务数据库中的频繁模式(项集)挖掘是数据采掘中研究最多的问题之一。限制频繁模式挖掘实际应用的一个障碍是产生的模式数量非常大。如此大的输出集合使得用户在实际中难以理解和使用。即使将输出限制在频繁项集集合的边界,也无助于缓解问题。在本文中,我们解决的问题,压倒性的大输出大小的介绍和研究以下问题:挖掘top-k近似频繁模式。这k个集的幂集的并集应满足以下条件:(1)包含尽可能多的具有较大支持度的项集;(2)包含尽可能少的具有较小支持度的项集。一个综合的目标函数的目的是结合这两个目标。在此基础上,我们推导出了目标函数的上界,并提出了一种求可行解的近似分枝定界方法。我们给出的经验证据表明,我们的制定和近似方法在实践中工作良好。
2005-03-17 cs.AI cs.DB
Mining Multi-Level Frequent Itemsets under Constraints
BESTMOD Laboratory(BESTMOD实验室);Institut Supérieur de Gestion(高等管理学院)
关联规则挖掘是数据采掘的一项任务,它从数据库中提取有用项(对象)之间重要蕴涵关系形式的知识。挖掘多级关联规则使用概念层次结构,也称为分类法,并定义为对象之间的关系类型'是一个',提取规则,项目属于不同的抽象层次。这些规则更有用,更精确,更易于用户解释。在文献中已经提出了几种算法来发现多级关联规则。在这篇文章中,我们感兴趣的问题,发现多层次的频繁项集的约束下,涉及用户在研究过程中。我们提出了一种技术,在使用概念层次结构的上下文中的约束的建模和解释。提出并讨论了三种在约束条件下发现多层频繁项集的方法:基本方法、“测试生成”方法和基于剪枝的方法。
2010-12-26 cs.AI cs.DB cs.DS
Towards Target High-Utility Itemsets
Jinan University(暨南大学);Guangdong University of Technology(广东工业大学);Shenzhen University(深圳大学)
对于应用智能,实用程序驱动的模式发现算法可以识别数据库中有见地和有用的模式。然而,在这些用于模式发现的技术中,模式的数量可能是巨大的,并且用户通常仅对那些模式中的少数模式感兴趣。因此,有针对性的高效用项集挖掘已成为一个关键的研究课题,其目的是找到一个子集的模式,满足有针对性的模式约束,而不是所有的模式。这是一项具有挑战性的任务,因为在非常大的搜索空间中有效地找到定制的模式需要有针对性的挖掘算法。已经提出了称为TargetUM的第一种算法,其采用类似于使用树结构的后处理的方法,但是在许多情况下运行时间和存储器消耗不令人满意。针对这一问题,提出了一种基于列表的模式匹配算法THUIM(Targeted High-Utility Itemset Mining),该算法能够在挖掘过程中快速匹配高效用项集,从而选择目标模式。在不同的数据集上进行了广泛的实验,将所提出的算法的性能与最先进的算法进行比较。实验结果表明,THUIM在运行时间和内存消耗方面表现良好,与TargetUM相比具有良好的可扩展性。
2022-06-09 cs.AI cs.DB
Temporal Fuzzy Utility Maximization with Remaining Measure
Guangdong University of Technology(广东工业大学);Jinan University(暨南大学);Pazhou Lab(琶洲实验室)
高效用项集挖掘方法从大量时态数据中发现隐藏模式。然而,高效用项集挖掘不可避免的一个问题是,其发现的结果隐藏了大量的模式,导致可解释性差。结果只反映了消费者的购物倾向,无法帮助决策者量化收集到的信息。从语言学的角度来说,计算机使用的是精确形式化的数学或程序设计语言,但人类使用的语言总是模棱两可的。在本文中,我们提出了一种新的单阶段时间模糊效用项集挖掘方法TFUM。它修改时间模糊列表,以保持较少的,但主要的信息,潜在的高时间模糊效用项目集在内存中,然后发现一个完整的一组真正有趣的模式在很短的时间。特别地,本文首次将剩余测度应用于时态模糊效用项集挖掘领域。剩余的最大时间模糊效用是一个更紧密和更强的上限比以前的研究所采用的。因此,它在TFUM中的搜索空间修剪中起着重要的作用。最后,我们还评估了TFUM在各种数据集上的效率和有效性。大量的实验结果表明,TFUM优于国家的最先进的算法在运行时成本,内存使用和可扩展性。此外,实验证明,剩余措施可以显着修剪不必要的候选人在挖掘过程中。
2022-08-26 cs.AI cs.DB
Mining Best Closed Itemsets for Projection-antimonotonic Constraints in Polynomial Time
National Research University Higher School of Economics(俄罗斯国家研究型高等经济大学);LORIA (CNRS – Inria – University of Lorraine)(洛林计算机科学及其应用研究中心(法国国家科学研究中心 - 法国国家信息与自动化研究所 - 洛林大学))
模式集的指数爆炸是模式挖掘的主要挑战之一。通过引入模式选择的约束来解决这一挑战。模式挖掘中提出的第一个约束之一是数据集中模式的支持度(频率)。频率是一个反单调函数,即,给定一个非频繁模式,它的所有超模式都不是频繁的。然而,模式选择的许多其他约束既不是单调的也不是反单调的,这使得很难生成满足这些约束的模式。为了处理非单调约束,我们引入了“投影反单调性”的概念和SOFIA算法,允许生成一类非单调约束的最佳模式。余弦兴趣,鲁棒性,闭项集的稳定性,以及相关的增量度量都是这些约束。SOFIA从数据集中事务的简单描述(在项集描述的情况下是一小组项目)开始,然后迭代地向这些描述中添加更多信息(更多项目带有它们描述的tidset指示)。
2017-03-28 cs.AI
Incremental Mining of Frequent Serial Episodes Considering Multiple Occurrences
Inria(法国国家信息与自动化研究所);Carnegie Mellon University(卡内基梅隆大学);University of Waikato(怀卡托大学);Telecom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
分析来自流的信息的需要出现在各种应用中。其基本研究方向之一是挖掘数据流上的序列模式。现有的研究多基于事务中模式的存在来挖掘项目序列,而没有考虑项目集序列及其多次出现的情况。然而,在一个窗口的项集流和它们的多次出现的模式,提供了额外的能力来识别模式的基本特征和它们之间的相互关系是无法识别的现有的基于存在的研究。在本文中,我们研究了这样一个新的序列模式挖掘问题,并提出了相应的顺序矿工与新的策略,有效地修剪搜索空间。在真实数据和合成数据上的实验表明了该方法的有效性。
2022-04-09 cs.AI cs.DB
Discovery data topology with the closure structure. Theoretical and practical aspects
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学及其应用实验室);National Research University Higher School of Economics(国立研究大学高等经济学院)
在本文中,我们正在重新访问模式挖掘,特别是项集挖掘,它允许一个分析二进制数据集在搜索有趣的和有意义的关联规则和相应的项集在一个无监督的方式。虽然一组模式的基础上的数据集的总结并没有提供一个一般的和令人满意的观点在一个数据集,我们介绍了一个简洁的表示-封闭结构-基于封闭的项集和它们的最小生成器,捕捉数据集的内在内容。闭包结构允许人们从整体上理解数据集的拓扑结构和数据的固有复杂性。我们提出了一个形式化的闭包结构的形式概念分析,这是非常适合研究这种数据拓扑。我们提出并证明了理论结果,以及,使用的Gestival算法的实际结果。GARCH在其功能上是相当独特的,因为它根据复杂性级别返回数据集的拓扑特征,突出了项集的多样性和分布。最后,一系列的实验表明,如何甘精胰岛素可以实际使用,可以预期从输出。
2021-03-30 cs.AI cs.DB
Closed pattern mining of interval data and distributional data
NukkAI;Université Sorbonne Paris Nord(巴黎北索邦大学);Muséum d’Histoire Naturelle(国家自然历史博物馆)
我们讨论了模式语言的封闭模式挖掘和学习的区间数据和分布数据。我们首先介绍模式语言依赖于对交叉为基础的约束或对包含为基础的约束,或两者兼而有之,适用于区间。我们讨论了编码的区间模式,从而允许使用封闭的项集挖掘和正式的概念分析程序的项集。我们在聚类和监督学习任务上实验这些语言。然后,我们将展示如何扩展的方法来解决分布式数据。
2022-12-09 cs.AI cs.LG
Itemset Utility Maximization with Correlation Measure
Guangdong University of Technology(广东工业大学);Jinan University(暨南大学);Pazhou Lab(琶洲实验室);Western Norway University of Applied Sciences(西挪威应用科学大学)
作为一种重要的数据采掘技术,高效用项集挖掘(HUIM)用于发现感兴趣但隐藏的信息(例如,利润和风险)。HUIM已广泛应用于市场分析、医疗检测、网络点击流分析等多个应用场景。然而,大多数以前的HUIM方法往往忽略了项目之间的关系,在一个项目集。因此,许多不相关的组合(例如,\{黄金,苹果\}和\{笔记本,书\})被发现在HUIM。为了解决这一问题,人们提出了许多挖掘相关高效用项集(CoHUIs)的算法。在本文中,我们提出了一种新的算法,称为项目集效用最大化与相关性度量(CoIUM),它既考虑了强相关性和项目的盈利价值。此外,新算法采用了数据库投影机制,以减少数据库扫描的成本。此外,两个上界和四个修剪策略被用来有效地修剪搜索空间。利用一种简洁的基于数组的效用箱结构,在线性时间和空间上计算和存储所采用的上界。最后,密集和稀疏数据集上的大量实验结果表明,CoIUM显着优于国家的最先进的算法在运行时间和内存消耗。
2022-08-26 cs.AI
Hybrid ASP-based Approach to Pattern Mining
KU Leuven(鲁汶大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
从给定的数据集中检测相关模式的小集合是数据采掘的核心挑战。模式的相关性基于用户提供的标准;通常,满足某些标准的所有模式都被认为是相关的。基于规则的语言,如答案集编程(ASP),似乎非常适合以约束的形式指定这样的标准。虽然取得了进展,一方面,解决个别采矿问题,另一方面,开发通用的采矿系统,现有的方法要么集中在可扩展性或通用性。在本文中,我们采取措施,以通用和有效的方式将局部(频率,大小,成本)和全局(各种压缩表示,如最大,闭合,天际线)约束相结合。我们提出了一种混合的方法,利用专门的高度优化的挖掘系统来检测频繁的模式,然后使用声明式ASP过滤结果的项集,序列和图形挖掘。为了进一步证明我们的混合框架的通用性,我们将其应用到一个问题,大约平铺数据库。在真实数据集上的实验表明了该方法的有效性,并在项集、序列和图挖掘以及近似分块等方面取得了一定的计算增益。逻辑程序设计理论与实践(TPLP)
2018-08-22 cs.AI
Using Answer Set Programming for pattern mining
AGROCAMPUS-OUEST/IRISA UMR6074(西部农学院/法国信息与随机系统研究所);Inria(法国国家信息与自动化研究所)
序列模式挖掘就是从一个唯一的项集序列中提取频繁序列模式。本文探讨了声明性语言,如回答集编程(ASP),有效地解决这个问题的能力。我们提出了几个ASP实现的频繁序列模式挖掘任务:一个非增量和增量的决议。结果表明,增量解析比非增量解析更有效,但两种ASP程序的效率都低于专用算法。尽管如此,这种方法可以被看作是第一步,一个通用的框架,顺序模式挖掘的约束。
2014-09-27 cs.AI cs.DB cs.LO
Tabular Foundation Models Can Learn Association Rules
Amsterdam UMC, location VUmc, Vrije Universiteit Amsterdam, the Netherlands(阿姆斯特丹大学医学中心,位于VUmc,荷兰代尔夫特自由大学);University of Amsterdam, The Netherlands(阿姆斯特丹大学,荷兰);Vrije Universiteit Amsterdam, The Netherlands(荷兰阿姆斯特丹自由大学)
本文提出基于表格基础模型的关联规则学习框架,通过TabProbe无需频繁项集挖掘即可学习高质量关联规则,适用于低数据场景。
2026-10-21 cs.AI cs.DB cs.LG
Uncertain Case Identifiers in Process Mining: A User Study of the Event-Case Correlation Problem on Click Data
RWTH Aachen(亚琛工业大学)
在当今可用的事件数据的许多来源中,一个突出的来源是用户交互数据。用户活动可能会在使用应用程序或网站期间被记录,从而产生一种通常称为点击数据的用户交互数据。使用过程挖掘分析点击数据的一个障碍是数据中缺少案例标识符。在本文中,我们展示了一个案例和用户研究点击数据的事件-案例相关性,在移动共享公司的用户交互事件的背景下。为了重建的过程中的情况下的概念,我们采用了一种新的方法来聚合用户交互数据在单独的用户会话解释为情况下,基于神经网络。为了验证我们的研究结果,我们定性地讨论了过程挖掘分析的影响,从而形成良好的事件日志,通过采访过程专家。
2022-04-08 cs.AI cs.DB
RPS: A Generic Reservoir Patterns Sampler
EPITA Research Laboratory (LRE)(EPITA研究实验室(LRE));University of Tours(图尔大学)
针对复杂数据流模式采样研究不足的问题,提出通用加权水库模式采样算法RPS,可处理多种模式并解决时间偏差,在真实数据集上实现了序列数据在线分类器准确率媲美离线基线的效果。
2024-10-31 cs.AI cs.LG math.CO
U-Sem: Semantic Enrichment, User Modeling and Mining of Usage Data on the Social Web
TU Delft(代尔夫特理工大学)
随着社会化Web应用的日益普及,每天都有越来越多的用户数据被发布到Web上。我们的研究重点是调查从这些平台中挖掘数据的方法,这些数据可用于建模用户和语义增强用户简档。这个过程可以增强各种自适应基于Web的系统的适应性和个性化。在本文中,我们提出了U-Sem的人建模服务,语义丰富和挖掘的人的配置文件在社交网络上的使用数据的框架。我们解释了我们的人建模服务的架构,并描述其应用程序在成人电子学习环境中作为一个例子。版本:Mar 21,10:10,Mar 25,09:37
2011-04-01 cs.AI cs.HC cs.IR