Peregrine: A Pattern-Aware Graph Mining System
图挖掘工作负载旨在通过探索其子图结构来提取图的结构属性。通用图挖掘系统提供了一个通用的运行时,以探索感兴趣的子图结构的帮助下,用户定义的功能,指导整个探索过程。然而,最先进的图挖掘系统仍然在很大程度上忽略了他们挖掘的子图的形状(或模式)。这使他们:(a)探索不必要的子图;(b)对所探索的子图执行昂贵的计算;以及(c)将中间部分子图保持在存储器中;所有这些都影响它们的整体性能。此外,它们的编程模型通常与其底层的探索策略相关联,这使得域用户难以表达复杂的挖掘任务。在本文中,我们开发了Peregrine,一个模式感知的图挖掘系统,直接探索感兴趣的子图,同时避免探索不必要的子图,并同时绕过整个挖掘过程中昂贵的计算。我们设计了一个基于模式的编程模型,将“图形模式”作为第一类结构,使Peregrine提取的模式,它用来指导其探索的语义。我们的评估表明,Peregrine优于最先进的分布式和单机图挖掘系统,并扩展到更大的图上的复杂挖掘任务,同时保持其“模式优先”的编程方法的简单性和表现力。
2020-04-06 cs.DB cs.DC
An Improvised Frequent Pattern Tree Based Association Rule Mining Technique with Mining Frequent Item Sets Algorithm and a Modified Header Table
在今天的世界中,有大量的数据广泛可用,因此需要将这些数据转化为有用的信息,即知识。这种对知识发现过程的需求导致了许多用于确定关联规则的算法的发展。这些算法面临的主要问题之一是候选集的生成。FP树算法是关联规则挖掘的首选算法之一,因为它给出关联规则而不产生候选集。但是在这个过程中,产生了大量的CP树,降低了效率。本文提出了一种改进的FP树算法,该算法通过修改头表、备用表和MFI算法来进行关联规则挖掘。该算法不使用候选集和CP树来生成频繁项集。
2015-04-27 cs.DB
Mining Frequent Graph Patterns with Differential Privacy
发现图数据库中的频繁图模式在各种应用中提供了有价值的信息。然而,如果图数据集包含个人的敏感数据,例如移动电话呼叫图和网络点击图,则发布发现的频繁模式可能会对个人隐私构成威胁。{ \em差分隐私}由于其可证明的隐私保证,最近已成为私有数据分析的{ \em de facto}标准。在本文中,我们提出了第一个差分隐私算法挖掘频繁图模式。我们首先表明,以前的技术差异私人发现频繁{ \em itemsets}不能适用于挖掘频繁的图形模式,由于固有的复杂性,处理图形中的结构信息。然后,我们提出了一个马尔可夫链蒙特卡罗(MCMC)采样为基础的算法来解决这一挑战。与以前的频繁项集挖掘工作不同,我们的技术不依赖于非私有挖掘算法的输出。相反,我们观察到频繁图模式挖掘和差分隐私的保证可以统一到MCMC采样框架。此外,我们建立了隐私和实用性的保证,我们的算法,并提出了一个有效的相邻模式计数技术。实验结果表明,该算法能够输出具有良好精度的频繁模式。
2013-03-01 cs.DB
Efficient Analysis of Pattern and Association Rule Mining Approaches
数据采掘的过程从给定的数据源产生各种模式。发现频繁项集、频繁序列模式、频繁序列规则和频繁关联规则是数据采掘中公认的最重要的任务。已经提出了许多有效的算法来完成上述过程。频繁模式挖掘一直是数据采掘研究的一个热点问题,有大量的文献可供参考,并取得了重要的进展,从事务数据库中频繁项集挖掘的高性能算法到复杂算法,如序列模式挖掘、结构化模式挖掘、相关性挖掘等。关联规则挖掘(ARM)是当前最流行的数据采掘技术之一,它从大型数据库中对对象进行分组,目的是从海量数据中提取有趣的关联和关系。本文对频繁模式挖掘的研究现状进行了简要的回顾和分析,并讨论了一些有前景的研究方向。此外,本文还包括所述方法的性能之间的比较研究。
2014-02-12 cs.DB
Frequent-Itemset Mining using Locality-Sensitive Hashing
Apriori算法是频繁项集挖掘的经典算法。Apriori中的一个重要瓶颈是所涉及的I/O操作的数量以及它生成的候选项的数量。我们调查LSH技术的作用,以克服这些问题,而不增加太多的计算开销。我们提出了随机变化的Apriori的基础上定义的汉明距离和Jaccard相似性的非对称LSH。
2016-03-05 cs.DB
A Frequent Closed Itemsets Lattice-based Approach for Mining Minimal Non-Redundant Association Rules
为了提高频繁项集或频繁闭项集的挖掘速度,已有许多算法被提出。然而,对关联规则生成时间的处理算法还没有得到深入的研究。实际上,在一个数据库包含许多FI/FCI(从数万到数百万)的情况下,生成关联规则的时间远远大于挖掘FI/FCI的时间。因此,本文提出了一种应用频繁闭项集格(FCIL)挖掘最小非冗余关联规则(MNAR),以减少大量的时间生成规则。首先,我们使用CHARM-L来建立FCIL。在此基础上,提出了一种基于FCIL的MNAR快速生成算法。实验结果表明,该算法在挖掘时间上比基于频繁项集格的算法有明显的提高。
2011-08-26 cs.DB
Frequent Patterns mining in time-sensitive Data Stream
在静态数据库中挖掘频繁项集已被广泛研究和应用,并且一直被认为是一项极具挑战性的任务。因此,将其扩展到数据流领域是很有趣的。在流媒体的情况下,频繁模式的挖掘有更多的信息要跟踪和更大的复杂性来管理。不常见的项目可能会在以后变得频繁,因此不能被忽略。输出结构需要动态地增加,以反映项集频率随时间的演变。在本文中,我们研究这个问题,特别是挖掘时间敏感的数据流的方法。我们试图通过增加时间精度来改进现有的算法,并通过添加一个新的概念称为“振动点”来丢弃过时的数据。我们还提出了一些实验,说明所需的时间和空间。
2012-06-05 cs.DB
Mining Frequent Itemsets Using Genetic Algorithm
通常,频繁项集是通过应用关联规则挖掘算法,如Apriori,Partition,Pincer-Search,Incremental,Border算法等,从大数据集中生成的。这需要花费太多的计算机时间来计算所有的频繁项集。通过使用遗传算法(GA),我们可以改善的情况下。使用遗传算法发现频繁项集的主要优点是它可以进行全局搜索,并且由于遗传算法是基于贪婪方法的,因此其时间复杂度比其他算法要低。本文的主要目的是利用遗传算法从给定的数据集中找到所有的频繁项集。
2010-11-01 cs.DB
Efficient Support Coupled Frequent Pattern Mining Over Progressive Databases
最近有很多关于序列模式挖掘的研究。渐进式数据库上的序列模式挖掘是一个比较新的方法,它是在感兴趣的时间段内逐步发现序列模式。感兴趣的时间段是一个随着时间的推移而不断前进的滑动窗口。随着滑动窗口焦点的变化,新项被添加到感兴趣的数据集中,过时的项被从中删除并成为最新的。一般来说,现有的建议没有充分探讨现实世界的情况下,如项目与支持数据流应用程序,如购物篮分析。因此,从支持的频繁项中挖掘重要知识成为一个重要的研究课题。我们提出的新方法有效地挖掘频繁序列模式加上支持使用渐进挖掘树。
2010-05-29 cs.DB
Mining Attribute-structure Correlated Patterns in Large Attributed Graphs
在这项工作中,我们研究了属性集之间的相关性和大型属性图中稠密子图的出现,我们称之为结构相关模式挖掘。结构相关模式是由特定属性集导出的稠密子图。现有的方法不能提取相关的知识,关于如何顶点属性与稠密子图。结构相关模式挖掘结合了频繁项集和准团挖掘问题。我们提出了统计显著性措施,比较结构相关的属性集对他们的期望值使用空模型。此外,我们评估结构相关模式的大小和密度方面的有趣性。提出了一种结合搜索和剪枝策略的最相关结构相关模式识别算法。我们应用我们的方法分析三个现实世界的属性图:合作,音乐,和引文网络,验证它提供了有价值的知识在一个可行的时间。
2012-01-31 cs.DB
RLMiner: Finding the Most Frequent k-sized Subgraph via Reinforcement Learning
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);Vecton AI;Zhejiang Gongshang University(浙江工商大学)
RLMiner通过强化学习和任务状态感知图神经网络,高效寻找最频繁的k-sized子图,提升计算效率和稳定性。
2026-02-13 cs.DB
PrivBasis: Frequent Itemset Mining with Differential Privacy
频繁项集的发现可以服务于有价值的经济和研究目的。然而,发布发现的频繁项集带来了隐私挑战。本文研究了如何在满足差分隐私的情况下对事务数据库进行频繁项集挖掘的问题。我们提出了一种称为PrivBasis的方法,它利用了一个称为基集的新概念。一个theta基集具有这样的性质,即任何频率高于theta的项集都是某个基的子集。我们引入算法私下构造一个基集,然后用它来找到最频繁的项集。实验表明,我们的方法大大优于目前的最先进的。
2012-08-01 cs.DB
DESQ: Frequent Sequence Mining with Subsequence Constraints
频繁序列挖掘方法通常使用约束来控制应该挖掘哪些频繁序列。文献中已经研究了各种这样的子序列约束,包括长度、间隔、跨度、正则表达式和层次约束。在本文中,我们表明,许多subsequence约束-包括和超越那些在文献中考虑-可以统一在一个单一的框架。一个统一的处理允许研究人员共同研究许多类型的子序列约束(而不是每一个单独的),并有助于提高可用性的模式挖掘系统的从业者。更详细地说,我们提出了一组简单直观的“模式表达式”来描述子序列约束,并探索在此类一般约束下有效挖掘频繁子序列的算法。我们的算法将模式表达式转换为压缩的有限状态转换器,作为计算模型,并以适合频繁序列挖掘的方式模拟这些转换器。我们对真实世界数据集的实验研究表明,我们的算法-虽然更一般-是现有的最先进的算法的竞争力。
2016-10-13 cs.DB
Efficient Candidacy Reduction For Frequent Pattern Mining
当然,如今知识发现或从大量数据中提取知识是竞争激烈的业务中的理想任务。数据采掘是知识发现过程中的一个重要步骤。同时频繁模式在聚类、分类、关联分析等数据采掘任务中起着核心作用。识别所有频繁模式是最耗时的过程,由于大量的候选模式。在过去的十年里,有越来越多的有效算法来挖掘频繁模式。然而,减少候选模式的数量和支持度计数的比较仍然是该领域的两个问题,这使得频繁模式挖掘成为数据采掘中的一个活跃的研究主题。一个合理的解决方案是确定一个小的候选模式集,从该集可以生成所有的频繁模式。本文提出了一种新的候选集的基础上,称为候选头集或H,形成一个小的候选模式集的方法。实验结果验证了该方法的准确性,减少了候选模式和比较的数量。
2010-01-13 cs.DB
GTRACE-RS: Efficient Graph Sequence Mining using Reverse Search
从标记图数据中挖掘频繁子图已经得到了广泛的研究。此外,近年来,从图序列中挖掘频繁模式也受到了广泛关注。一种方法,称为GTRACE,已被提出来挖掘频繁模式从图序列的假设下,图的变化是渐进的。虽然GTRACE挖掘频繁模式的效率很高,但它仍然需要大量的计算时间来挖掘包含大图和长序列的图序列中的模式。在本文中,我们提出了一个新版本的GTRACE,使有效的挖掘频繁模式的基础上的逆向搜萦的原则。逆向搜萦的基本概念是为困难枚举问题设计有效算法的一般方案。我们的性能研究表明,所提出的方法是有效的和可扩展的挖掘长和大的图序列模式,是几个数量级的速度比原来的GTRACE。
2011-10-18 cs.DB
Fast Mining of Spatial Frequent Wordset from Social Database
在本文中,我们提出了一个算法,提取空间频繁模式来解释一个特定的位置从可用的社会数据的相对特征。提出了一种空间社会数据模型,该模型包括空间社会数据、空间支持度、空间频繁模式、空间划分和空间聚类等概念,用于描述空间频繁模式的探索算法。在此基础上,提出了一种既保留了频繁词又保留了频繁单元的SFP-树结构,并在此基础上提出了一种挖掘频繁模式的SFP-生长算法.
2019-12-26 cs.DB
Multi-Sorted Inverse Frequent Itemsets Mining
为新兴的“大数据”应用开发新的平台和技术需要为数据驱动的实验提供现实生活中的数据集,然而在大多数情况下,这对于学术研究来说是遥不可及的,因为它们通常是专有的。一个可能的解决方案是使用反映真实模式的合成数据集,以确保高质量的实验结果。在这个方向上的第一步是使用反向挖掘技术,如反向频繁项集挖掘(IFM),它包括生成一个事务数据库,满足给定的支持约束的项目集在一个输入集中,通常是频繁的。本文介绍了IFM的一种扩展,称为多排序IFM,其中要生成的数据集的方案是新兴大数据应用中所需的大表的典型方案,例如,社交网络分析
2013-10-15 cs.DB
Mining Frequent Neighborhood Patterns in Large Labeled Graphs
频繁子图一直是模式挖掘文献中一类重要的目标模式,其中大多数工作涉及包含许多图事务的数据库,例如,化合物的化学结构这些方法在很大程度上依赖于支持度的向下闭合性(DCP),以确保有效的候选模式的修剪。当切换到诸如Google知识图谱和Facebook社交图谱之类的单图数据库的新兴场景时,传统的支持度量变得微不足道(0或1)。然而,据我们所知,所有重新定义单图支持的尝试都会导致措施要么失去DCP,要么在语义上不再直观。本文的目标挖掘模式在单一的图形设置。通过将挖掘目标从频繁子图转移到频繁邻域,解决了“DCP-直观性”难题。邻域是一种特定的拓扑模式,其中嵌入了一个顶点,并且如果它被大部分(高于给定阈值)的顶点共享,则该模式是频繁的。我们发现,新的模式不仅保持DCP,但也有同样重要的语义子图模式。在真实数据集上的实验表明,我们的算法在相对较大的图上是可行的,并且能够挖掘在以前的工作中没有发现的有趣的知识。
2013-05-14 cs.DB
A large-scale and fault-tolerant approach of subgraph mining using density-based partitioning
最近,图挖掘方法已经变得非常流行,特别是在诸如生物信息学、化学信息学和社交网络的领域中。在这个范围内,最具挑战性的任务之一是频繁子图发现。这项任务的动机是现有图形数据库的规模急剧增加。从那时起,一个重要的问题,设计有效的和可扩展的方法,在大型集群中的频繁子图发现,已经发生。然而,在大型集群中,失败是一种常态,而不是例外。在这种情况下,MapReduce框架被设计为使节点故障由框架自动处理。在本文中,我们提出了一个大规模的和容错的子图挖掘方法,通过基于密度的分区技术,使用MapReduce。我们的分区旨在平衡机器集合上的计算负载。我们的实验表明,我们的方法显着降低了执行时间和规模的子图发现过程中大型图形数据库。
2012-12-04 cs.DB cs.DC cs.SI
Discovery of Maximal Frequent Item Sets using Subset Creation
数据采掘是从大量数据中发现数据模式的实践。数据采掘使用数学算法对数据进行分组并评估未来事件。关联规则是知识发现领域的一个研究方向。许多数据采掘研究者通过引入效用、销售商品数量等影响因素以及挖掘关联数据模式来提高关联规则的质量。在本文中,我们提出了一个有效的算法,首先找到最大频繁项集。大多数关联规则算法都是先找到最小频繁项,再借助最小频繁项集求出最大频繁项集,这样的方法在寻找最大频繁项集上花费了较多的时间。为了克服这个问题,我们提出了一种新的方法来寻找最大频繁项集直接使用子集的概念。所提出的方法被发现是有效的,在寻找最大频繁项集。
2013-02-07 cs.DB
Maximal frequent itemset generation using segmentation approach
在数据源中发现频繁项集是关联规则挖掘的基本操作。通常,许多算法使用自底向上或自顶向下的方法来寻找这些频繁项集。当频繁项集的长度很大时,传统的频繁项集发现算法需要找到从1-长度到n-长度的所有频繁项集,这是一个比较困难的过程。这个问题可以通过挖掘最大频繁项集(MFS)来解决。最大频繁项集是指没有合适的频繁超集的频繁项集。因此,仅生成最大频繁项集减少了项集的数量,并且还减少了生成所有频繁项集所需的时间,因为每个长度为m的最大项集意味着存在2 m-2个频繁项集。此外,在许多数据采掘应用中,如最小密钥发现和理论提取,只挖掘最大频繁项集是足够的。本文提出了一种新的方法来寻找最大频繁项集从巨大的数据源使用的概念,数据源的分割和优先级的片段。实证评估表明,该方法优于其他各种已知的方法。
2011-09-12 cs.DB
Towards an Efficient Discovery of the Topological Representative Subgraphs
随着图数据库的出现,频繁子图的发现问题得到了广泛的研究。虽然在文献中提出的方法已经使这项任务可行,发现的频繁子图的数量仍然非常高,可以有效地用于任何进一步的探索。图数据的特征选择是一种基于精确或近似结构相似性来减少大量频繁子图的方法。然而,目前的结构相似性策略在许多现实世界的应用中是不够有效的,此外,图的组合性质使其计算成本非常高。为了选择一个更小的但结构上不冗余的子图集,我们提出了一种新的方法,挖掘的top-k拓扑代表频繁的子图。我们的方法允许检测隐藏的结构相似性,现有的方法是无法检测,如密度或直径的子图。此外,它可以很容易地扩展使用任何用户定义的结构或拓扑属性取决于所寻求的属性。在真实和合成图数据集上的实证研究表明,我们的方法是快速和可扩展的。
2013-08-15 cs.DB
Improvised Apriori Algorithm using frequent pattern tree for real time applications in data mining
Apriori算法是从大型数据库中提取频繁项集并获取关联规则的重要算法之一。它基本上需要两个重要的东西:最低限度的支持和最低限度的信任。首先,我们检查项目是否大于或等于最小支持度,我们分别找到频繁项目集。其次,利用最小置信度约束形成关联规则。在此基础上,指出了原Apriori算法在频繁项集上扫描整个数据库搜索时浪费时间和空间的局限性,并提出了一种改进的Apriori算法。
2014-11-23 cs.DB
Mining Frequent Itemsets (MFI) over Data Streams: Variable Window Size (VWS) by Context Variation Analysis (CVA) of the Streaming Transactions
针对数据流中频繁项挖掘所面临的窗口大小可变和存储空间不足的问题,提出了一种基于数据流的频繁项挖掘方法。为了检查流事务中上下文变化的变化点,我们开发了一种窗口结构,该窗口结构将在两个级别上,并支持即时固定窗口大小,控制异质性,并确保添加到窗口中的事务之间的同质性。为了最小化内存利用率、计算成本并提高进程可扩展性,该设计将允许在窗口级别固定覆盖或支持。在本文中,介绍了从窗口中增量挖掘频繁项集和上下文变化分析方法。我们在本文档中介绍的完整技术被命名为使用上下文变化分析固定的可变窗口大小的频繁项集挖掘(MFI-VWS-CVA)。在特定的项集中,频繁项集和非频繁项集之间有着明确的界限。在这个设计中,我们使用窗口大小的变化来表示信息流中的概念漂移。可以说,只要在有效地设置窗口大小方面存在问题,项集就会变得不频繁。我们已经执行和记录的实验证明,我们所设计的算法是比现有的效率更高。
2014-08-14 cs.DB
Similarity Data Item Set Approach: An Encoded Temporal Data Base Technique
数据采掘已被广泛认为是一个强大的工具,探索从大型数据库的附加值。在关联规则的数据采掘过程中,发现数据库中的频繁项集是一个关键问题。为了寻找频繁项集,人们提出了许多算法。本文提出了一个总结和比较研究的可用FP增长算法的变化产生的挖掘频繁项目集显示其能力和效率方面的时间和内存消耗的关联规则挖掘,考虑到具体的信息的应用。提出了基于模式增长挖掘范式的FP-树增长算法,该算法采用树结构来压缩数据库。性能研究表明,反FP-增长方法对于挖掘长、短频繁模式都是有效的、可扩展的,比Apriority算法快一个数量级,也比最近报道的一些新的频繁模式挖掘算法快。
2010-03-22 cs.DB
Mining Frequent Itemsets from Secondary Memory
频繁项集挖掘是关联规则挖掘的核心,目前在算法上已经得到了很好的理解。然而,大多数挖掘频繁项集的算法都假设主存储器足够大以容纳挖掘中使用的数据结构,很少有有效的算法处理数据库很大或最小支持度很低的情况。从一个非常大的数据库中挖掘频繁项集带来了新的挑战,因为商业,科学和政府中普遍记录了天文数字数量的原始数据。本文讨论了当数据结构太大而无法装入主存时,挖掘频繁项集的方法。给出了几种分而治之的磁盘挖掘算法。介绍了许多新技术。实验结果表明,该技术减少了所需的磁盘访问的数量级,并使真正可扩展的数据采掘。
2004-05-20 cs.DB cs.IR
Probabilistic Frequent Pattern Growth for Itemset Mining in Uncertain Databases (Technical Report)
不确定事务数据库中的频繁项集挖掘在语义和计算上不同于传统的应用于标准(确定)事务数据库的技术。不确定事务数据库由存在不确定项的集合组成。交易项目的不确定性使得传统的技术不适用。在本文中,我们解决的问题,发现概率频繁项集的基础上可能世界语义。在此上下文中,如果X在至少minSup事务中出现的概率高于给定阈值,则项集X被称为频繁项集。我们做了以下贡献:我们提出了第一个概率FP-Growth算法(ProFP-Growth)和相关的概率FP-Tree(ProFP-Tree),我们使用它来挖掘不确定事务数据库中的所有概率频繁项集,而无需候选生成。此外,我们提出了一个有效的技术来计算的支持概率分布的项目集在线性时间使用生成函数的概念。一个广泛的实验部分评估我们提出的技术,并表明我们的ProFP-Growth方法是显着快于目前最先进的算法。
2010-08-13 cs.DB
Integrity Verification for Outsourcing Uncertain Frequent Itemset Mining
近年来,由于不确定数据的广泛应用(例如,噪声数据),不确定数据库上的不确定频繁项集(UFI)挖掘引起了人们的广泛关注.作为关联规则挖掘过程中成本最高的任务,已经表明将该任务外包给服务提供商(例如,第三方云)给数据所有者带来了几个好处,例如成本减轻以及对存储和计算资源的较少承诺。然而,如果服务提供者具有随机错误或不诚实(例如,懒惰、恶意等)。因此,本文重点研究外包过程中UFI挖掘问题中的完整性和验证问题,即,数据所有者如何验证挖掘结果。具体来说,我们探索和扩展现有的工作确定性FI外包验证不确定的情况下。为此,我们将现有的外包FI采矿工作扩展到不确定的区域w.r.t.两种流行的UFI定义标准和近似UFI挖掘方法。具体地说,我们构造和改进的基本/增强的验证方案与这种不同的UFI定义。在此之后,我们进一步讨论了现有的近似UFP挖掘的情况下,我们可以看到,我们的技术可以提供良好的概率保证的正确性的验证。最后,对本文提出的方案进行了比较和分析。
2013-07-12 cs.DB
DiffNodesets: An Efficient Structure for Fast Mining Frequent Itemsets
频繁项集的挖掘是数据采掘中的一个基本问题,在数据采掘的许多应用中起着重要的作用。近年来,人们提出了一些基于节点集的项集表示方法,这些方法对于挖掘频繁项集非常有效。在本文中,我们提出了DiffNodeset,一种新的和更有效的项集表示,挖掘频繁项集。基于DiffNodeset结构,提出了一种高效的频繁项集挖掘算法dFIN。为了提高效率,dFIN采用集合枚举树和混合搜索策略来寻找频繁项集,在某些情况下不需要生成候选项集而直接枚举频繁项集。为了评估dFIN的性能,我们进行了大量的实验,将其与各种真实和合成数据集上的现有领先算法进行比较。实验结果表明,dFIN是显着的速度比这些领先的算法。
2015-07-06 cs.DB cs.DS
Mining Frequent Itemsets over Uncertain Databases
近年来,由于不确定数据的广泛应用,在不确定数据库上挖掘频繁项集引起了人们的广泛关注。在不确定数据库中,项集的支持度是一个随机变量,而不是该项集的固定出现次数。因此,与确定性数据库中频繁项集有唯一定义的相应问题不同,不确定环境下的频繁项集到目前为止有两种不同的定义。第一种定义称为基于期望支持度的频繁项集,它用一个项集的支持度的期望值来衡量这个项集是否频繁。第二个定义,称为概率频繁项集,使用项集的支持概率来度量其频率。因此,现有的不确定数据库中挖掘频繁项集的工作被分为两个不同的组,没有研究进行全面比较这两种不同的定义。此外,由于不存在统一的实验平台,目前针对同一定义的解决方案甚至会产生不一致的结果。在本文中,我们首先旨在澄清这两个不同的定义之间的关系。通过大量的实验,我们验证了这两个定义有紧密的联系,并可以统一在一起,当数据量足够大。其次,我们提供了基线实现现有的八个代表性的算法,并测试他们的性能与统一的措施公平。最后,通过对不同基准数据集的公平性检验,澄清了现有的一些不一致结论,并讨论了一些新的发现。
2012-08-01 cs.DB
ETP-Mine: An Efficient Method for Mining Transitional Patterns
事务数据库包含一组事务以及项目及其相关的时间戳。过渡模式是描述事务数据库中频繁模式的动态行为的模式。为了发现过渡模式及其重要的里程碑,首先我们必须使用任何频繁模式生成算法提取所有频繁模式及其支持。这些频繁模式用于生成过渡模式。现有的算法(TP-Mine)生成频繁模式,其中一些不能用于生成过渡模式。在本文中,我们提出了一个修改现有的算法,修剪的候选项用于产生频繁模式。该方法大大减少了用于发现过渡模式的频繁模式的数量。通过大量的仿真实验对所提出的方法进行了验证。
2010-09-06 cs.DB
Frequent Knot Discovery
我们探讨了将频繁模式挖掘的框架应用于自然界中出现的一类连续对象(即节点)的可能性。我们介绍了频繁节点挖掘问题,并提出了解决方案。关键的观察是,由节点组成的数据库可以转换为事务数据库。这个观察是基于纽结的素分解定理。
2004-10-16 cs.DB
Mining All Non-Derivable Frequent Itemsets
最近的频繁项集挖掘算法的研究导致显着的性能改善。然而,如果最小支持度阈值设置得太低,或者数据高度相关,则频繁项集本身的数量可能会非常大。为了克服这个问题,最近已经提出了一些建议,以构建一个简洁的表示的频繁项集,而不是挖掘所有的频繁项集。本文的主要目标是确定所有频繁项集的集合中的冗余,并利用这些冗余,以减少挖掘操作的结果。我们提出了推导规则,以获得紧边界上的候选项集的支持。我们展示了如何演绎规则允许构造一个最小的表示所有频繁项集。我们还提出了我们的建议和最近的建议之间的联系,简洁的表示,我们给出了在现实生活中的数据集,显示的演绎规则的有效性的实验结果。事实上,实验甚至表明,在许多情况下,首先挖掘的简洁表示,然后从这个表示创建频繁项集优于现有的频繁集挖掘算法。
2002-06-03 cs.AI cs.DB
Top Down Approach to find Maximal Frequent Item Sets using Subset Creation
关联规则是知识发现领域的一个研究热点。数据采掘的研究人员已经提高了业务发展的关联规则挖掘的质量,通过纳入影响因素,如价值(效用),销售项目的数量(重量)和更多的关联模式的挖掘。在本文中,我们提出了一个有效的方法来寻找最大频繁项集第一。文献中的算法大多先求出最小频繁项,然后借助最小频繁项集求出最大频繁项集。这些方法在寻找最大频繁项集上花费了较多的时间。为了克服这个问题,我们提出了一种直接使用子集的概念来寻找最大频繁项集的方法。所提出的方法被发现是有效的,在寻找最大频繁项集。
2012-10-31 cs.DB
ARULESPY: Exploring Association Rules and Frequent Itemsets in Python
本文介绍了新的Python包arulespy,它将R语言arules包中用于频繁项集和关联规则挖掘的全面基础设施及高效算法引入Python用户。
2023-05-24 cs.DB
Quantum Computing and Data Processing for Frequent Itemset Mining
National Taiwan University(台湾大学);National Chengchi University(国立政治大学);Academia Sinica(中央研究院);The Pennsylvania State University(宾夕法尼亚州立大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
提出量子频繁项集挖掘框架QFM,通过比特向量量子比特编码、挖掘感知候选叠加和比特并行阈值标记三种机制,在IBM Qiskit和Amazon Braket上实现,理论分析和实验表明优于基线方法。
2026-06-29 cs.DB
Itemsets of interest for negative association rules
迄今为止,大多数关联规则挖掘都考虑了数据库中基于频繁项集的正关联规则问题[2,5 -7],而没有考虑挖掘与频繁项集和非频繁项集相关的负关联规则问题。由于负关联规则挖掘需要的是非频繁项集,因此它比正关联规则挖掘要困难得多,目前只研究了稀有的负关联规则挖掘。提出了一种精确挖掘正负关联规则的数学模型,从频繁项集的否定是一个非频繁项集的角度,明确了基于某些非频繁项集挖掘负关联规则问题的重要性,并研究了感兴趣的非频繁项集产生负关联规则应满足的条件。
2018-06-19 cs.DB
MIRAGE: An Iterative MapReduce based FrequentSubgraph Mining Algorithm
频繁子图挖掘是图数据探索性数据分析的一项重要任务。多年来,已经提出了许多算法来解决这个问题。这些算法假设挖掘任务的数据结构足够小,以适合计算机的主存储器。然而,随着真实世界的图形数据在大小和数量上的增长,这样的假设不再成立。为了克服这个问题,近年来已经提出了一些以图形数据库为中心的方法来解决FSM;然而,使用MapReduce范式的分布式解决方案尚未得到广泛的探索。由于MapReduce已经成为海量数据计算的事实范例,因此需要一种有效的FSM算法来处理这种范例。在这项工作中,我们提出了一个频繁的子图挖掘算法称为MINUS,它使用一个迭代的MapReduce为基础的框架。MINUS是完整的,因为它返回给定用户定义支持的所有频繁子图,并且它是高效的,因为它应用了最新FSM算法采用的所有优化。我们的实验与现实生活中的大型合成数据集验证了MINUCLEAR挖掘频繁子图从大型图数据集的有效性。MINUS的源代码可从www.cs.iupui.edu/alhasan/software/获得
2013-07-22 cs.DB cs.DC
A novel approach for fast mining frequent itemsets use N-list structure based on MapReduce
频繁模式挖掘是数据采掘中最重要的课题之一。近年来,人们提出了许多挖掘频繁项集的算法。提出了一种新的基于N-表数据结构的频繁项集挖掘算法--Prepost算法。通过用一般树实现紧凑PPC树,增强了Prepost算法。Prepost算法只能为每个节点找到一个具有所需(前序和后序)的频繁项集。在本章中,我们改进了基于Hadoop平台的prepost算法(HPrepost),提出了使用Mapreduce编程模型。提出的方法的主要目标是有效地挖掘频繁项集,需要较少的运行时间和内存使用。我们对所提出的方案进行了实验,并与其他算法进行了比较。对于密集数据集,它有一个大的平均事务长度,HPrepost是更有效的频繁项集算法在执行时间和内存使用的所有min-sup。一般来说,我们的算法优于算法的运行时间和内存使用小阈值和大数据集。
2017-04-15 cs.DB cs.DC
Efficient Generalized Temporal Pattern Mining in Big Time Series Using Mutual Information
本文提出GTPMfTS方法,通过高效算法和互信息剪枝,实现大规模时间序列中频繁与稀有时序模式的广义挖掘。
2023-06-19 cs.DB
Boosting Frequent Itemset Mining via Early Stopping Intersections
从事务数据库中挖掘频繁项集已成为数据采掘的一个基本问题,并致力于为许多模式挖掘任务的构建块。在本文中,我们提出了一种通用的技术,以减少支持检查时间在现有的深度优先搜索生成和测试计划,如Eclat/dEclat和PrePost+。我们的技术允许不频繁的候选项集被早期检测。该技术是基于一个早期停止标准,是一般的,足以适用于许多频繁项集挖掘算法。我们已经将该技术应用于两个TID列表为基础的计划(Eclat/dEclat)和一个N-列表为基础的计划(PrePost+)。我们的技术已经在各种数据集上进行了测试,并证实了其在减少运行时间方面的有效性。
2019-01-23 cs.DB cs.IR
An Efficient and Wear-Leveling-Aware Frequent-Pattern Mining on Non-Volatile Memory
频繁模式挖掘是揭示数据背后有价值的隐藏趋势的常用方法。然而,现有的频繁模式挖掘算法是为DRAM而不是持久存储器(PM)设计的,这可能导致严重的性能和能量开销,这是由于DRAM和PM在PM上运行时完全不同的特性。在本文中,我们提出了一个有效的和磨损均衡意识的频繁模式挖掘计划,WFPM,来解决这个问题。基于不同应用场景的真实数据集,通过一系列实验对所提出的WFPM进行了评估,WFPM实现了32.0%的性能提升,并将头表的NVM寿命提高了7.4倍。
2020-01-15 cs.DB cs.DS
An Enhanced Apriori Algorithm for Discovering Frequent Patterns with Optimal Number of Scans
数据采掘在许多领域得到了广泛的应用。在挖掘中有不同的任务,为各种各样的问题提供解决方案,以发现知识。在这些任务中,关联挖掘对于发现频繁模式起着关键作用。在现有的关联挖掘算法中,Apriori算法是发现频繁模式的最流行和最主要的算法之一。该算法用于从小型数据库到大型数据库中发现频繁模式。针对有形的Apriori算法在发现关联规则时需要扫描整个事务数据库而浪费时间的不足,提出了一种改进的Apriori算法。这种增强是通过在计算项目或项目对的频率时仅限制事务的数量来减少扫描事务数据库所用的时间来实现的。该改进的Apriori算法优化了扫描整个事务数据库的时间。
2015-06-23 cs.DB
Frequent Itemset Mining with Multiple Minimum Supports: a Constraint-based Approach
Simula Research Laboratory(西穆拉研究实验室);LIRMM, University of Montpellier, CNRS(蒙彼利埃大学法国国家科学研究中心蒙彼利埃信息与机器人学实验室)
发现包含稀有项的频繁项集的问题受到了广泛的关注。采矿过程需要足够灵活,以便一次性提取常见和稀有的矿物。另一方面,最近已经表明,约束编程是一种灵活的方式来处理数据采掘任务。本文提出了一种挖掘具有多个最小支持度项集的约束规划方法。我们的方法为用户提供了表达任何类型的最小项目支持的约束的可能性。实验分析表明,我们的方法相比,最先进的实际有效性。
2021-09-16 cs.AI cs.DB
FLEXIS: FLEXible Frequent Subgraph Mining using Maximal Independent Sets
本文提出FLEXIS方法,通过组合频繁(k-1)顶点模式识别k顶点模式,并采用最大独立集度量验证模式频率,相比GraMi和T-FSM分别实现平均10.58倍和3倍加速。
2024-04-02 cs.DB cs.PF
Parallel algorithms for mining of frequent itemsets
Czech Technical University in Prague(布拉格捷克技术大学);Institute of Computer Science(计算机科学研究所)
近十年来,企业开始收集大量数据。如果没有正确的分析,这些数据通常是无用的。分析数据的领域称为数据采掘。不幸的是,数据量非常大:数据不适合主内存,处理时间可能会变得非常巨大。因此,我们需要并行的数据采掘算法。频繁项集的生成算法是数据采掘中一个重要的算法。挖掘频繁项集的问题可以用下面的例子来解释:顾客走进一家商店,把一些商品放进他们的篮子里;商店的老板收集篮子,想知道至少有p%的篮子里一起购买的商品的集合。目前,挖掘频繁项集的顺序算法在性能上都比较好。然而,频繁项集挖掘的并行算法仍然没有达到很好的加速比。在这篇论文中,我们发展了一个在分散式记忆体平行电脑上,可用于任意深度优先搜寻顺序算法的平行频繁项目集挖掘方法。我们的方法在10个处理器上实现了~ 6的加速比。该方法基于对数据库样本的处理器负载的近似估计-然而,它总是从整个数据库计算频繁项集的集合。在这篇论文中,我们展示了我们的方法的理论基础,并显示了估计过程的性能。
2021-08-11 cs.DB cs.LG
Association Rule Mining Based On Trade List
提出了一种基于频繁项集的挖掘算法。Apriori算法每次发现频繁项集时都要扫描数据库,因此非常耗时,而且每一步都要生成候选项集。在无向项集图中,它是对先验知识的改进,但生成树需要时间和空间。定义的算法在开始时只扫描数据库一次,然后从扫描的数据库中生成贸易清单。它包含了整个数据库的信息。它通过考虑最小支持度来寻找频繁项集,并通过考虑最小置信度来生成关联规则。当数据库和最小支持度发生变化时,新算法通过扫描交易列表来发现新的频繁项。因此,与传统算法相比,它的执行效率有了明显的提高。
2012-02-22 cs.DB
Mining Top-k Approximate Frequent Patterns
事务数据库中的频繁模式(项集)挖掘是数据采掘中研究最多的问题之一。限制频繁模式挖掘实际应用的一个障碍是产生的模式数量非常大。如此大的输出集合使得用户在实际中难以理解和使用。即使将输出限制在频繁项集集合的边界,也无助于缓解问题。在本文中,我们解决的问题,压倒性的大输出大小的介绍和研究以下问题:挖掘top-k近似频繁模式。这k个集的幂集的并集应满足以下条件:(1)包含尽可能多的具有较大支持度的项集;(2)包含尽可能少的具有较小支持度的项集。一个综合的目标函数的目的是结合这两个目标。在此基础上,我们推导出了目标函数的上界,并提出了一种求可行解的近似分枝定界方法。我们给出的经验证据表明,我们的制定和近似方法在实践中工作良好。
2005-03-17 cs.AI cs.DB
Frequent itemsets mining for database auto-administration
随着一般数据库和特别是数据仓库的广泛发展,减少数据库管理员必须手动执行的任务是重要的。自动管理系统的目标是自动管理和适应自己,而不会损失(甚至获得)性能。使用数据采掘技术从数据本身中提取有用的管理知识的想法已经存在了一些年。然而,很少有研究取得了成果。然而,这个想法仍然是一个非常有前途的方法,特别是在数据仓库领域,查询是非常异构的,不能很容易地解释。本研究的目的是寻找一种从存储的数据中提取有用知识的方法,以自动应用性能优化技术,特别是索引技术。我们设计了一个工具,从给定的工作负载中提取频繁项集来计算索引配置,以帮助优化数据访问时间。我们执行的实验表明,我们的工具生成的索引配置允许在测试数据库和测试数据仓库上获得15%到25%的性能提升。
2008-09-16 cs.DB
Mining frequent items in the time fading model
提出了一种基于草图的数据流频繁项挖掘算法FDCMSS。该算法巧妙地结合了向前衰减,计数最小和节省空间算法的关键思想。它工作在时间衰落模型下,根据收银机模型挖掘数据流。我们正式证明了它的正确性,并通过大量的实验结果表明,我们的算法优于$λ$ -HCount,最近开发的算法,在速度,所用的空间,精度达到和错误的合成和真实的数据集。
2016-08-02 cs.DB cs.DS
Pattern Morphing for Efficient Graph Mining
图挖掘应用程序分析大型图的结构属性,并且它们通过查找子图同构来实现,这使得它们具有计算密集型。现有的图挖掘技术,包括自定义图挖掘应用程序和通用图挖掘系统,开发高效的执行计划,以加快探索给定的查询模式,表示感兴趣的子图结构。在本文中,我们超越了传统的哲学优化的执行计划,为一组给定的模式,并利用不同的查询模式的子结构的相似性。我们提出了模式变形,一种技术,使结构感知代数模式,以准确地推断出一组给定的模式,使用一个完全不同的模式,计算成本较低的结果。模式变形将给定的一组查询模式“变形”(或转换)为备选模式,同时保留完全的等价性。它是一种通用技术,支持对模式的匹配进行各种操作,而不仅仅是计数(例如,支持计算、枚举等),使其广泛适用于各种图挖掘应用,如Motif Counting和Frequent Subgraph Mining。由于模式变形主要是在查询模式探索开始之前对其进行转换,因此它可以很容易地集成到现有的通用图挖掘系统中。我们评估模式变形的有效性,将其纳入百富勤,最近的国家的最先进的图挖掘系统,并表明,模式变形显着提高了不同的图挖掘应用程序的性能。
2020-12-08 cs.DB cs.DC
OPR-Miner: Order-preserving rule mining for time series
发现时间序列中的频繁趋势是数据采掘的一项重要任务。最近,保序匹配被提出来寻找一个模式在时间序列中的所有出现,其中模式是一个相对顺序(被认为是一种趋势),而出现是一个子时间序列,其相对顺序与模式相一致。受保序匹配思想的启发,现有的保序模式挖掘算法采用保序匹配计算支持度,效率较低。为了解决这个问题,本文提出了一种算法称为高效频繁挖掘机(EFO-Miner),以找到所有频繁的OPP。EFO-Miner由四个部分组成:用于产生候选模式的模式融合策略、用于计算子模式支持度的子模式匹配过程、用于动态缩减前缀和后缀数组大小的筛选策略以及用于进一步动态修剪候选模式的修剪策略。此外,本文探讨了保序规则(OPR)挖掘,并提出了一个算法称为OPR-Miner发现强规则,从所有频繁的OPP使用EFO-Miner。实验结果表明,OPR-Miner算法的性能优于其他同类算法。更重要的是,聚类和分类实验进一步验证了OPR-Miner取得了良好的性能。
2022-12-04 cs.DB
An Asymptotically Tighter Bound on Sampling for Frequent Itemsets Mining
本文提出了一种新的频繁项集挖掘抽样算法的误差界。我们表明,新的界限是渐近紧比国家的最先进的界限,即,给定所选择的样本,对于足够小的误差概率,新的误差界限大约是现有界限的一半。在此基础上,我们给出了一种新的近似算法,该算法比现有的近似算法简单得多,但在预先计算样本容量的情况下,仍能保证最差的近似误差。我们还给出了一个算法,可以近似的顶部- $k$频繁项集,具有较高的精度和效率。
2017-03-24 cs.DB cs.DS
ALPINE: Anytime Mining with Definite Guarantees
ALPINE是第一个挖掘频繁项集和闭频繁项集的算法。它保证在继续之前,已经找到了支持度超过当前检查点支持度的所有项集。因此,它对于具有非常高维数据的超长挖掘任务(例如遗传学)非常有吸引力,因为它可以提供中间有意义和完整的结果。这个ANYTIME功能是ALPINE最重要的贡献,它也很快,但不一定是最快的算法。ALPINE的另一个关键优点是它不需要先验决定的最小支持值。
2016-10-24 cs.DB