Mining Frequent Itemsets Using Genetic Algorithm
通常,频繁项集是通过应用关联规则挖掘算法,如Apriori,Partition,Pincer-Search,Incremental,Border算法等,从大数据集中生成的。这需要花费太多的计算机时间来计算所有的频繁项集。通过使用遗传算法(GA),我们可以改善的情况下。使用遗传算法发现频繁项集的主要优点是它可以进行全局搜索,并且由于遗传算法是基于贪婪方法的,因此其时间复杂度比其他算法要低。本文的主要目的是利用遗传算法从给定的数据集中找到所有的频繁项集。
2010-11-01 cs.DB
PrivBasis: Frequent Itemset Mining with Differential Privacy
频繁项集的发现可以服务于有价值的经济和研究目的。然而,发布发现的频繁项集带来了隐私挑战。本文研究了如何在满足差分隐私的情况下对事务数据库进行频繁项集挖掘的问题。我们提出了一种称为PrivBasis的方法,它利用了一个称为基集的新概念。一个theta基集具有这样的性质,即任何频率高于theta的项集都是某个基的子集。我们引入算法私下构造一个基集,然后用它来找到最频繁的项集。实验表明,我们的方法大大优于目前的最先进的。
2012-08-01 cs.DB
Top Down Approach to find Maximal Frequent Item Sets using Subset Creation
关联规则是知识发现领域的一个研究热点。数据采掘的研究人员已经提高了业务发展的关联规则挖掘的质量,通过纳入影响因素,如价值(效用),销售项目的数量(重量)和更多的关联模式的挖掘。在本文中,我们提出了一个有效的方法来寻找最大频繁项集第一。文献中的算法大多先求出最小频繁项,然后借助最小频繁项集求出最大频繁项集。这些方法在寻找最大频繁项集上花费了较多的时间。为了克服这个问题,我们提出了一种直接使用子集的概念来寻找最大频繁项集的方法。所提出的方法被发现是有效的,在寻找最大频繁项集。
2012-10-31 cs.DB
A Matrix Logic Approach to Efficient Frequent Itemset Discovery in Large Data Sets
本文提出基于布尔矩阵运算的频繁项集挖掘算法,通过矩阵逻辑运算替代候选项集生成,在Groceries数据集上验证了其在不同支持度阈值下的高效性、可扩展性和鲁棒性。
2024-12-27 cs.DB cs.DS
A Survey on Spatial Co-location Patterns Discovery from Spatial Datasets
空间数据采掘或空间数据库中的知识发现是指提取数据库中没有显式存储的隐含知识、空间关系和空间模式。共址模式发现是发现经常位于同一地理区域内的特征子集的过程。在本文中,我们讨论了不同的方法,如基于规则的方法,Join-less方法,部分连接方法和基于约束邻域的方法来寻找co-location模式。
2014-02-06 cs.DB
Maximal frequent itemset generation using segmentation approach
在数据源中发现频繁项集是关联规则挖掘的基本操作。通常,许多算法使用自底向上或自顶向下的方法来寻找这些频繁项集。当频繁项集的长度很大时,传统的频繁项集发现算法需要找到从1-长度到n-长度的所有频繁项集,这是一个比较困难的过程。这个问题可以通过挖掘最大频繁项集(MFS)来解决。最大频繁项集是指没有合适的频繁超集的频繁项集。因此,仅生成最大频繁项集减少了项集的数量,并且还减少了生成所有频繁项集所需的时间,因为每个长度为m的最大项集意味着存在2 m-2个频繁项集。此外,在许多数据采掘应用中,如最小密钥发现和理论提取,只挖掘最大频繁项集是足够的。本文提出了一种新的方法来寻找最大频繁项集从巨大的数据源使用的概念,数据源的分割和优先级的片段。实证评估表明,该方法优于其他各种已知的方法。
2011-09-12 cs.DB
An Improvised Frequent Pattern Tree Based Association Rule Mining Technique with Mining Frequent Item Sets Algorithm and a Modified Header Table
在今天的世界中,有大量的数据广泛可用,因此需要将这些数据转化为有用的信息,即知识。这种对知识发现过程的需求导致了许多用于确定关联规则的算法的发展。这些算法面临的主要问题之一是候选集的生成。FP树算法是关联规则挖掘的首选算法之一,因为它给出关联规则而不产生候选集。但是在这个过程中,产生了大量的CP树,降低了效率。本文提出了一种改进的FP树算法,该算法通过修改头表、备用表和MFI算法来进行关联规则挖掘。该算法不使用候选集和CP树来生成频繁项集。
2015-04-27 cs.DB
Mining Frequent Graph Patterns with Differential Privacy
发现图数据库中的频繁图模式在各种应用中提供了有价值的信息。然而,如果图数据集包含个人的敏感数据,例如移动电话呼叫图和网络点击图,则发布发现的频繁模式可能会对个人隐私构成威胁。{ \em差分隐私}由于其可证明的隐私保证,最近已成为私有数据分析的{ \em de facto}标准。在本文中,我们提出了第一个差分隐私算法挖掘频繁图模式。我们首先表明,以前的技术差异私人发现频繁{ \em itemsets}不能适用于挖掘频繁的图形模式,由于固有的复杂性,处理图形中的结构信息。然后,我们提出了一个马尔可夫链蒙特卡罗(MCMC)采样为基础的算法来解决这一挑战。与以前的频繁项集挖掘工作不同,我们的技术不依赖于非私有挖掘算法的输出。相反,我们观察到频繁图模式挖掘和差分隐私的保证可以统一到MCMC采样框架。此外,我们建立了隐私和实用性的保证,我们的算法,并提出了一个有效的相邻模式计数技术。实验结果表明,该算法能够输出具有良好精度的频繁模式。
2013-03-01 cs.DB
Efficient Discovery of Association Rules and Frequent Itemsets through Sampling with Tight Performance Guarantees
Brown University(布朗大学)
在数据采掘和数据库应用中,提取(top- $K$)频繁项集(FI's)和关联规则(AR's)的任务是基本的原语。针对这些问题的精确算法已经存在并被广泛使用,但是它们的运行时间受到扫描整个数据集的需要的阻碍,可能需要多次扫描。高品质的近似FI的和AR的是足够的最实际的用途,和一些最近的作品探讨了应用程序的采样快速发现的近似解决方案的问题。然而,这些工作不提供令人满意的性能保证的质量的近似,由于边界的概率下或过采样的任何一个未知数量的频繁项集的困难。在这项工作中,我们规避这个问题,应用统计概念的\emph{Vapnik-Chervonenkis (VC) dimension}开发一种新的技术,提供严格的样本量,保证近似用户指定的参数范围内的界限。我们的技术适用于绝对和相对近似(顶- $K$)FI的和AR的。所得到的样本大小线性依赖于与待挖掘的数据集相关联的范围空间的VC维度。这项工作的主要理论贡献是一个证明,VC维的范围空间的上限由一个易于计算的特征量的数据集,我们称之为\emph{d-index},是最大的整数$d$,使数据集包含至少$d$事务的长度至少$d$,使它们中没有一个是一个超集或等于另一个。我们表明,这个界限是严格的一个大类的数据集。
2013-02-22 cs.DB cs.DS cs.LG
Web Usage Mining: Pattern Discovery and Forecasting
Web使用挖掘:自动发现由于用户与一个或多个网站的交互而收集或生成的点击流和相关数据中的模式。本文介绍了Web使用挖掘我们的大学日志文件,分析用户与网站交互的行为模式和配置文件。被发现的模式表示为集群,经常访问的访问者群体有共同的利益。本文通过对访问量和点击量的预测来预测未来的访问量。
2013-10-09 cs.DB cs.IR
Discovering Compressing Serial Episodes from Event Sequences
大多数模式挖掘方法输出大量的频繁模式,分离一个小的,但相关的子集是一个具有挑战性的问题,目前在频繁模式挖掘的兴趣。在本文中,我们考虑发现一个小的相关频繁事件的数据序列。我们利用最小描述长度的原则,制定的问题,选择一个子集的情节。使用一个有趣的类的串行事件与事件间的约束和一种新的编码方案,使用这样的事件的数据,我们提出了算法,发现小集的事件,实现良好的数据压缩。使用的一个例子,从分布式传感器的组合耦合输送机系统中获得的数据流,我们表明,我们的方法是非常有效的挖掘高度相关的情节,我们的计划也实现了良好的数据压缩。
2014-10-11 cs.DB
A Rough Sets Partitioning Model for Mining Sequential Patterns with Time Constraint
如今,数据采掘和知识发现方法被应用于各种企业和工程学科,以从数据库中发现有趣的模式。序列模式的研究是一个重要的数据采掘问题,因为它在现实世界的时间相关数据库中有着广泛的应用。序列模式是在与所研究的特定对象相关联的时间段内排序的事件间模式。分析和发现在预定时间段内的频繁序列模式是有趣的数据采掘结果,并且可以在许多企业应用中辅助决策支持。序列模式挖掘的问题提出了计算的挑战,因为一个长的频繁序列包含大量的频繁序列。此外,有用的结果取决于事件窗口的正确选择。本文从两个方面研究了序列模式挖掘问题,一个是问题的计算方面,另一个是时间约束的整合和可调整性。我们利用粗糙集理论中的不可分割关系对序列模式的搜索空间进行划分,提出了一种新的算法,该算法允许在执行挖掘任务之前对模式进行预测,并允许在执行挖掘任务之前调整时间约束。该算法比基于朴素时间约束的序列模式挖掘算法GSP至少快10倍。除此之外,该方法还确定了序列模式的时间间隔的附加知识。
2009-06-23 cs.DB
Mining Frequent Patterns in Process Models
流程挖掘已经成为一种分析组织行为的方法,它通过从事件日志中提取知识,并提供发现、监控和增强真实流程的技术。在过程模型的发现中,检索一个复杂的过程模型,即,一个难以理解的过程模型,可能会阻碍信息的提取。即使在结构良好的过程模型中,也存在无法用当前技术获得的信息。在本文中,我们提出了WoMine,这是一种从模型中检索频繁行为模式的算法。我们的方法搜索过程模型提取结构的序列,选择,平行和循环,这是经常在日志中执行。这一建议已经过验证的一组过程模型,包括一些来自BPI挑战,并与最先进的技术。实验证明,WoMine可以发现所有类型的模式,提取无法用最先进的技术挖掘的信息。
2017-10-11 cs.AI cs.DB
Mining Local Process Models
Eindhoven University of Technology(埃因霍温理工大学);Philips Research(飞利浦研究院)
在本文中,我们描述了一种方法来发现频繁的行为模式的事件日志。我们将这些模式表示为\emph{local process models}。局部过程模型挖掘可以定位在过程发现和事件/序列模式挖掘之间。本文提出的技术是能够学习行为模式,涉及顺序组成,并发,选择和循环,像在进程挖掘。然而,我们不看从开始到结束的模型,这将我们的方法与过程发现区分开来,并创建了与情节/序列模式挖掘的链接。我们提出了一个增量的过程,用于建立本地的过程模型捕获频繁模式的基础上所谓的过程树。我们提出了五个质量维度和相应的度量本地流程模型,给定的事件日志。我们表现出单调性属性的一些质量维度,使本地过程模型发现通过修剪加速。我们通过一个真实的案例研究证明,挖掘本地模式可以让我们在常规的从开始到结束的流程发现技术只能学习非结构化的,花一样的模型的流程中获得见解。
2017-05-16 cs.DB cs.LG
An Efficient Rigorous Approach for Identifying Statistically Significant Frequent Itemsets
随着技术的进步允许收集、存储和分析大量数据,筛选和评估所发现模式的重要性的任务正在成为数据采掘应用中的主要挑战。在这项工作中,我们解决的背景下,频繁项集挖掘的意义。具体来说,我们开发了一种新的方法来确定一个有意义的支持阈值s* 的数据集,这样的支持至少s* 的项目集的数量代表了一个实质性的偏差,从预期的随机数据集具有相同数量的事务和相同的个人项目频率。然后,这些项集可以被标记为具有统计学显著性,具有较小的错误发现率。我们提出了广泛的实验结果,以证实我们的方法的有效性。
2010-02-04 cs.DB cs.DS
Scalable Maximal Frequent Episode Mining with Desbordante
Desbordante Team(Desbordante团队);Saint Petersburg State University(圣彼得堡国立大学)
研究最大频繁事件挖掘问题,通过开发高效C++实现及并行化技术改进MaxFEM算法,提出ParMaxFEM,集成到Desbordante中,实验表明相比SPMF有显著加速。
2026-07-07 cs.AI cs.DB cs.DC
A large-scale and fault-tolerant approach of subgraph mining using density-based partitioning
最近,图挖掘方法已经变得非常流行,特别是在诸如生物信息学、化学信息学和社交网络的领域中。在这个范围内,最具挑战性的任务之一是频繁子图发现。这项任务的动机是现有图形数据库的规模急剧增加。从那时起,一个重要的问题,设计有效的和可扩展的方法,在大型集群中的频繁子图发现,已经发生。然而,在大型集群中,失败是一种常态,而不是例外。在这种情况下,MapReduce框架被设计为使节点故障由框架自动处理。在本文中,我们提出了一个大规模的和容错的子图挖掘方法,通过基于密度的分区技术,使用MapReduce。我们的分区旨在平衡机器集合上的计算负载。我们的实验表明,我们的方法显着降低了执行时间和规模的子图发现过程中大型图形数据库。
2012-12-04 cs.DB cs.DC cs.SI