Foundation for Frequent Pattern Mining Algorithms Implementation
随着IT技术的发展,积累的数据量也在不断增加。这样,数据采掘的作用就显现出来了。关联规则挖掘是描述性技术的重要任务之一,它可以被定义为从大量数据中发现有意义的模式。频繁模式挖掘算法从数据库中确定频繁模式。频繁项集的挖掘是关联规则挖掘的基础部分。在过去的几十年中,已经提出了许多算法,主要有Apriori,直接哈希和修剪,FP-Growth,ECLAT等。本研究的目的是分析现有的频繁模式挖掘技术,并通过比较Apriori和DHP算法在候选生成,数据库和事务修剪方面的性能来评估它们。这为开发新的频繁模式挖掘算法奠定了基础。
2014-02-08 cs.DB
Using Apriori with WEKA for Frequent Pattern Mining
知识探索是从庞大的数据集中进行的,这些数据是由于数据采掘而产生的各种数据处理活动的结果。频繁模式挖掘是数据采掘中一项非常重要的工作。Apriori方法用于产生频繁项目集,通常采用候选项生成和剪枝技术来满足期望的目标。本文展示了不同的方法如何实现频繁挖掘的目标以及执行该工作所需的复杂性。本文演示了使用WEKA工具进行关联规则挖掘的Apriori算法。
2014-06-28 cs.DB
Approximate Inverse Frequent Itemset Mining: Privacy, Complexity, and Approximation
为了生成用于更好的基准测试的合成篮子数据集,重要的是将来自真实数据库的特征集成到合成篮子数据集中。可用于此目的的特征包括频繁项集和关联规则。从频繁项集生成合成篮子数据集的问题通常被称为逆频繁项集挖掘。本文证明了近似逆频繁项集挖掘问题是{ \bf NP}-完全的。然后,我们提出并分析了一个近似逆频繁项集挖掘的近似算法,并讨论了与合成篮子数据集相关的隐私问题。特别是,我们提出了一个近似算法来确定在合成篮子数据集的隐私泄漏。
2012-07-23 cs.DB
An Improvised Frequent Pattern Tree Based Association Rule Mining Technique with Mining Frequent Item Sets Algorithm and a Modified Header Table
在今天的世界中,有大量的数据广泛可用,因此需要将这些数据转化为有用的信息,即知识。这种对知识发现过程的需求导致了许多用于确定关联规则的算法的发展。这些算法面临的主要问题之一是候选集的生成。FP树算法是关联规则挖掘的首选算法之一,因为它给出关联规则而不产生候选集。但是在这个过程中,产生了大量的CP树,降低了效率。本文提出了一种改进的FP树算法,该算法通过修改头表、备用表和MFI算法来进行关联规则挖掘。该算法不使用候选集和CP树来生成频繁项集。
2015-04-27 cs.DB
Mining Frequent Graph Patterns with Differential Privacy
发现图数据库中的频繁图模式在各种应用中提供了有价值的信息。然而,如果图数据集包含个人的敏感数据,例如移动电话呼叫图和网络点击图,则发布发现的频繁模式可能会对个人隐私构成威胁。{ \em差分隐私}由于其可证明的隐私保证,最近已成为私有数据分析的{ \em de facto}标准。在本文中,我们提出了第一个差分隐私算法挖掘频繁图模式。我们首先表明,以前的技术差异私人发现频繁{ \em itemsets}不能适用于挖掘频繁的图形模式,由于固有的复杂性,处理图形中的结构信息。然后,我们提出了一个马尔可夫链蒙特卡罗(MCMC)采样为基础的算法来解决这一挑战。与以前的频繁项集挖掘工作不同,我们的技术不依赖于非私有挖掘算法的输出。相反,我们观察到频繁图模式挖掘和差分隐私的保证可以统一到MCMC采样框架。此外,我们建立了隐私和实用性的保证,我们的算法,并提出了一个有效的相邻模式计数技术。实验结果表明,该算法能够输出具有良好精度的频繁模式。
2013-03-01 cs.DB
Efficient Analysis of Pattern and Association Rule Mining Approaches
数据采掘的过程从给定的数据源产生各种模式。发现频繁项集、频繁序列模式、频繁序列规则和频繁关联规则是数据采掘中公认的最重要的任务。已经提出了许多有效的算法来完成上述过程。频繁模式挖掘一直是数据采掘研究的一个热点问题,有大量的文献可供参考,并取得了重要的进展,从事务数据库中频繁项集挖掘的高性能算法到复杂算法,如序列模式挖掘、结构化模式挖掘、相关性挖掘等。关联规则挖掘(ARM)是当前最流行的数据采掘技术之一,它从大型数据库中对对象进行分组,目的是从海量数据中提取有趣的关联和关系。本文对频繁模式挖掘的研究现状进行了简要的回顾和分析,并讨论了一些有前景的研究方向。此外,本文还包括所述方法的性能之间的比较研究。
2014-02-12 cs.DB
Frequent-Itemset Mining using Locality-Sensitive Hashing
Apriori算法是频繁项集挖掘的经典算法。Apriori中的一个重要瓶颈是所涉及的I/O操作的数量以及它生成的候选项的数量。我们调查LSH技术的作用,以克服这些问题,而不增加太多的计算开销。我们提出了随机变化的Apriori的基础上定义的汉明距离和Jaccard相似性的非对称LSH。
2016-03-05 cs.DB
Mining Frequent Itemsets from Secondary Memory
频繁项集挖掘是关联规则挖掘的核心,目前在算法上已经得到了很好的理解。然而,大多数挖掘频繁项集的算法都假设主存储器足够大以容纳挖掘中使用的数据结构,很少有有效的算法处理数据库很大或最小支持度很低的情况。从一个非常大的数据库中挖掘频繁项集带来了新的挑战,因为商业,科学和政府中普遍记录了天文数字数量的原始数据。本文讨论了当数据结构太大而无法装入主存时,挖掘频繁项集的方法。给出了几种分而治之的磁盘挖掘算法。介绍了许多新技术。实验结果表明,该技术减少了所需的磁盘访问的数量级,并使真正可扩展的数据采掘。
2004-05-20 cs.DB cs.IR
A Frequent Closed Itemsets Lattice-based Approach for Mining Minimal Non-Redundant Association Rules
为了提高频繁项集或频繁闭项集的挖掘速度,已有许多算法被提出。然而,对关联规则生成时间的处理算法还没有得到深入的研究。实际上,在一个数据库包含许多FI/FCI(从数万到数百万)的情况下,生成关联规则的时间远远大于挖掘FI/FCI的时间。因此,本文提出了一种应用频繁闭项集格(FCIL)挖掘最小非冗余关联规则(MNAR),以减少大量的时间生成规则。首先,我们使用CHARM-L来建立FCIL。在此基础上,提出了一种基于FCIL的MNAR快速生成算法。实验结果表明,该算法在挖掘时间上比基于频繁项集格的算法有明显的提高。
2011-08-26 cs.DB
DiffNodesets: An Efficient Structure for Fast Mining Frequent Itemsets
频繁项集的挖掘是数据采掘中的一个基本问题,在数据采掘的许多应用中起着重要的作用。近年来,人们提出了一些基于节点集的项集表示方法,这些方法对于挖掘频繁项集非常有效。在本文中,我们提出了DiffNodeset,一种新的和更有效的项集表示,挖掘频繁项集。基于DiffNodeset结构,提出了一种高效的频繁项集挖掘算法dFIN。为了提高效率,dFIN采用集合枚举树和混合搜索策略来寻找频繁项集,在某些情况下不需要生成候选项集而直接枚举频繁项集。为了评估dFIN的性能,我们进行了大量的实验,将其与各种真实和合成数据集上的现有领先算法进行比较。实验结果表明,dFIN是显着的速度比这些领先的算法。
2015-07-06 cs.DB cs.DS
Frequent Patterns mining in time-sensitive Data Stream
在静态数据库中挖掘频繁项集已被广泛研究和应用,并且一直被认为是一项极具挑战性的任务。因此,将其扩展到数据流领域是很有趣的。在流媒体的情况下,频繁模式的挖掘有更多的信息要跟踪和更大的复杂性来管理。不常见的项目可能会在以后变得频繁,因此不能被忽略。输出结构需要动态地增加,以反映项集频率随时间的演变。在本文中,我们研究这个问题,特别是挖掘时间敏感的数据流的方法。我们试图通过增加时间精度来改进现有的算法,并通过添加一个新的概念称为“振动点”来丢弃过时的数据。我们还提出了一些实验,说明所需的时间和空间。
2012-06-05 cs.DB
Mining All Non-Derivable Frequent Itemsets
最近的频繁项集挖掘算法的研究导致显着的性能改善。然而,如果最小支持度阈值设置得太低,或者数据高度相关,则频繁项集本身的数量可能会非常大。为了克服这个问题,最近已经提出了一些建议,以构建一个简洁的表示的频繁项集,而不是挖掘所有的频繁项集。本文的主要目标是确定所有频繁项集的集合中的冗余,并利用这些冗余,以减少挖掘操作的结果。我们提出了推导规则,以获得紧边界上的候选项集的支持。我们展示了如何演绎规则允许构造一个最小的表示所有频繁项集。我们还提出了我们的建议和最近的建议之间的联系,简洁的表示,我们给出了在现实生活中的数据集,显示的演绎规则的有效性的实验结果。事实上,实验甚至表明,在许多情况下,首先挖掘的简洁表示,然后从这个表示创建频繁项集优于现有的频繁集挖掘算法。
2002-06-03 cs.AI cs.DB
Mining Frequent Itemsets Using Genetic Algorithm
通常,频繁项集是通过应用关联规则挖掘算法,如Apriori,Partition,Pincer-Search,Incremental,Border算法等,从大数据集中生成的。这需要花费太多的计算机时间来计算所有的频繁项集。通过使用遗传算法(GA),我们可以改善的情况下。使用遗传算法发现频繁项集的主要优点是它可以进行全局搜索,并且由于遗传算法是基于贪婪方法的,因此其时间复杂度比其他算法要低。本文的主要目的是利用遗传算法从给定的数据集中找到所有的频繁项集。
2010-11-01 cs.DB
Efficient Support Coupled Frequent Pattern Mining Over Progressive Databases
最近有很多关于序列模式挖掘的研究。渐进式数据库上的序列模式挖掘是一个比较新的方法,它是在感兴趣的时间段内逐步发现序列模式。感兴趣的时间段是一个随着时间的推移而不断前进的滑动窗口。随着滑动窗口焦点的变化,新项被添加到感兴趣的数据集中,过时的项被从中删除并成为最新的。一般来说,现有的建议没有充分探讨现实世界的情况下,如项目与支持数据流应用程序,如购物篮分析。因此,从支持的频繁项中挖掘重要知识成为一个重要的研究课题。我们提出的新方法有效地挖掘频繁序列模式加上支持使用渐进挖掘树。
2010-05-29 cs.DB
Mining Attribute-structure Correlated Patterns in Large Attributed Graphs
在这项工作中,我们研究了属性集之间的相关性和大型属性图中稠密子图的出现,我们称之为结构相关模式挖掘。结构相关模式是由特定属性集导出的稠密子图。现有的方法不能提取相关的知识,关于如何顶点属性与稠密子图。结构相关模式挖掘结合了频繁项集和准团挖掘问题。我们提出了统计显著性措施,比较结构相关的属性集对他们的期望值使用空模型。此外,我们评估结构相关模式的大小和密度方面的有趣性。提出了一种结合搜索和剪枝策略的最相关结构相关模式识别算法。我们应用我们的方法分析三个现实世界的属性图:合作,音乐,和引文网络,验证它提供了有价值的知识在一个可行的时间。
2012-01-31 cs.DB
RLMiner: Finding the Most Frequent k-sized Subgraph via Reinforcement Learning
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);Vecton AI;Zhejiang Gongshang University(浙江工商大学)
RLMiner通过强化学习和任务状态感知图神经网络,高效寻找最频繁的k-sized子图,提升计算效率和稳定性。
2026-02-13 cs.DB
PrivBasis: Frequent Itemset Mining with Differential Privacy
频繁项集的发现可以服务于有价值的经济和研究目的。然而,发布发现的频繁项集带来了隐私挑战。本文研究了如何在满足差分隐私的情况下对事务数据库进行频繁项集挖掘的问题。我们提出了一种称为PrivBasis的方法,它利用了一个称为基集的新概念。一个theta基集具有这样的性质,即任何频率高于theta的项集都是某个基的子集。我们引入算法私下构造一个基集,然后用它来找到最频繁的项集。实验表明,我们的方法大大优于目前的最先进的。
2012-08-01 cs.DB
DESQ: Frequent Sequence Mining with Subsequence Constraints
频繁序列挖掘方法通常使用约束来控制应该挖掘哪些频繁序列。文献中已经研究了各种这样的子序列约束,包括长度、间隔、跨度、正则表达式和层次约束。在本文中,我们表明,许多subsequence约束-包括和超越那些在文献中考虑-可以统一在一个单一的框架。一个统一的处理允许研究人员共同研究许多类型的子序列约束(而不是每一个单独的),并有助于提高可用性的模式挖掘系统的从业者。更详细地说,我们提出了一组简单直观的“模式表达式”来描述子序列约束,并探索在此类一般约束下有效挖掘频繁子序列的算法。我们的算法将模式表达式转换为压缩的有限状态转换器,作为计算模型,并以适合频繁序列挖掘的方式模拟这些转换器。我们对真实世界数据集的实验研究表明,我们的算法-虽然更一般-是现有的最先进的算法的竞争力。
2016-10-13 cs.DB
MIRAGE: An Iterative MapReduce based FrequentSubgraph Mining Algorithm
频繁子图挖掘是图数据探索性数据分析的一项重要任务。多年来,已经提出了许多算法来解决这个问题。这些算法假设挖掘任务的数据结构足够小,以适合计算机的主存储器。然而,随着真实世界的图形数据在大小和数量上的增长,这样的假设不再成立。为了克服这个问题,近年来已经提出了一些以图形数据库为中心的方法来解决FSM;然而,使用MapReduce范式的分布式解决方案尚未得到广泛的探索。由于MapReduce已经成为海量数据计算的事实范例,因此需要一种有效的FSM算法来处理这种范例。在这项工作中,我们提出了一个频繁的子图挖掘算法称为MINUS,它使用一个迭代的MapReduce为基础的框架。MINUS是完整的,因为它返回给定用户定义支持的所有频繁子图,并且它是高效的,因为它应用了最新FSM算法采用的所有优化。我们的实验与现实生活中的大型合成数据集验证了MINUCLEAR挖掘频繁子图从大型图数据集的有效性。MINUS的源代码可从www.cs.iupui.edu/alhasan/software/获得
2013-07-22 cs.DB cs.DC
A novel approach for fast mining frequent itemsets use N-list structure based on MapReduce
频繁模式挖掘是数据采掘中最重要的课题之一。近年来,人们提出了许多挖掘频繁项集的算法。提出了一种新的基于N-表数据结构的频繁项集挖掘算法--Prepost算法。通过用一般树实现紧凑PPC树,增强了Prepost算法。Prepost算法只能为每个节点找到一个具有所需(前序和后序)的频繁项集。在本章中,我们改进了基于Hadoop平台的prepost算法(HPrepost),提出了使用Mapreduce编程模型。提出的方法的主要目标是有效地挖掘频繁项集,需要较少的运行时间和内存使用。我们对所提出的方案进行了实验,并与其他算法进行了比较。对于密集数据集,它有一个大的平均事务长度,HPrepost是更有效的频繁项集算法在执行时间和内存使用的所有min-sup。一般来说,我们的算法优于算法的运行时间和内存使用小阈值和大数据集。
2017-04-15 cs.DB cs.DC
Boosting Frequent Itemset Mining via Early Stopping Intersections
从事务数据库中挖掘频繁项集已成为数据采掘的一个基本问题,并致力于为许多模式挖掘任务的构建块。在本文中,我们提出了一种通用的技术,以减少支持检查时间在现有的深度优先搜索生成和测试计划,如Eclat/dEclat和PrePost+。我们的技术允许不频繁的候选项集被早期检测。该技术是基于一个早期停止标准,是一般的,足以适用于许多频繁项集挖掘算法。我们已经将该技术应用于两个TID列表为基础的计划(Eclat/dEclat)和一个N-列表为基础的计划(PrePost+)。我们的技术已经在各种数据集上进行了测试,并证实了其在减少运行时间方面的有效性。
2019-01-23 cs.DB cs.IR
An Efficient and Wear-Leveling-Aware Frequent-Pattern Mining on Non-Volatile Memory
频繁模式挖掘是揭示数据背后有价值的隐藏趋势的常用方法。然而,现有的频繁模式挖掘算法是为DRAM而不是持久存储器(PM)设计的,这可能导致严重的性能和能量开销,这是由于DRAM和PM在PM上运行时完全不同的特性。在本文中,我们提出了一个有效的和磨损均衡意识的频繁模式挖掘计划,WFPM,来解决这个问题。基于不同应用场景的真实数据集,通过一系列实验对所提出的WFPM进行了评估,WFPM实现了32.0%的性能提升,并将头表的NVM寿命提高了7.4倍。
2020-01-15 cs.DB cs.DS
Efficient Candidacy Reduction For Frequent Pattern Mining
当然,如今知识发现或从大量数据中提取知识是竞争激烈的业务中的理想任务。数据采掘是知识发现过程中的一个重要步骤。同时频繁模式在聚类、分类、关联分析等数据采掘任务中起着核心作用。识别所有频繁模式是最耗时的过程,由于大量的候选模式。在过去的十年里,有越来越多的有效算法来挖掘频繁模式。然而,减少候选模式的数量和支持度计数的比较仍然是该领域的两个问题,这使得频繁模式挖掘成为数据采掘中的一个活跃的研究主题。一个合理的解决方案是确定一个小的候选模式集,从该集可以生成所有的频繁模式。本文提出了一种新的候选集的基础上,称为候选头集或H,形成一个小的候选模式集的方法。实验结果验证了该方法的准确性,减少了候选模式和比较的数量。
2010-01-13 cs.DB
GTRACE-RS: Efficient Graph Sequence Mining using Reverse Search
从标记图数据中挖掘频繁子图已经得到了广泛的研究。此外,近年来,从图序列中挖掘频繁模式也受到了广泛关注。一种方法,称为GTRACE,已被提出来挖掘频繁模式从图序列的假设下,图的变化是渐进的。虽然GTRACE挖掘频繁模式的效率很高,但它仍然需要大量的计算时间来挖掘包含大图和长序列的图序列中的模式。在本文中,我们提出了一个新版本的GTRACE,使有效的挖掘频繁模式的基础上的逆向搜萦的原则。逆向搜萦的基本概念是为困难枚举问题设计有效算法的一般方案。我们的性能研究表明,所提出的方法是有效的和可扩展的挖掘长和大的图序列模式,是几个数量级的速度比原来的GTRACE。
2011-10-18 cs.DB
Fast Mining of Spatial Frequent Wordset from Social Database
在本文中,我们提出了一个算法,提取空间频繁模式来解释一个特定的位置从可用的社会数据的相对特征。提出了一种空间社会数据模型,该模型包括空间社会数据、空间支持度、空间频繁模式、空间划分和空间聚类等概念,用于描述空间频繁模式的探索算法。在此基础上,提出了一种既保留了频繁词又保留了频繁单元的SFP-树结构,并在此基础上提出了一种挖掘频繁模式的SFP-生长算法.
2019-12-26 cs.DB
Frequent Itemset Mining with Multiple Minimum Supports: a Constraint-based Approach
Simula Research Laboratory(西穆拉研究实验室);LIRMM, University of Montpellier, CNRS(蒙彼利埃大学法国国家科学研究中心蒙彼利埃信息与机器人学实验室)
发现包含稀有项的频繁项集的问题受到了广泛的关注。采矿过程需要足够灵活,以便一次性提取常见和稀有的矿物。另一方面,最近已经表明,约束编程是一种灵活的方式来处理数据采掘任务。本文提出了一种挖掘具有多个最小支持度项集的约束规划方法。我们的方法为用户提供了表达任何类型的最小项目支持的约束的可能性。实验分析表明,我们的方法相比,最先进的实际有效性。
2021-09-16 cs.AI cs.DB
Multi-Sorted Inverse Frequent Itemsets Mining
为新兴的“大数据”应用开发新的平台和技术需要为数据驱动的实验提供现实生活中的数据集,然而在大多数情况下,这对于学术研究来说是遥不可及的,因为它们通常是专有的。一个可能的解决方案是使用反映真实模式的合成数据集,以确保高质量的实验结果。在这个方向上的第一步是使用反向挖掘技术,如反向频繁项集挖掘(IFM),它包括生成一个事务数据库,满足给定的支持约束的项目集在一个输入集中,通常是频繁的。本文介绍了IFM的一种扩展,称为多排序IFM,其中要生成的数据集的方案是新兴大数据应用中所需的大表的典型方案,例如,社交网络分析
2013-10-15 cs.DB
Mining Frequent Neighborhood Patterns in Large Labeled Graphs
频繁子图一直是模式挖掘文献中一类重要的目标模式,其中大多数工作涉及包含许多图事务的数据库,例如,化合物的化学结构这些方法在很大程度上依赖于支持度的向下闭合性(DCP),以确保有效的候选模式的修剪。当切换到诸如Google知识图谱和Facebook社交图谱之类的单图数据库的新兴场景时,传统的支持度量变得微不足道(0或1)。然而,据我们所知,所有重新定义单图支持的尝试都会导致措施要么失去DCP,要么在语义上不再直观。本文的目标挖掘模式在单一的图形设置。通过将挖掘目标从频繁子图转移到频繁邻域,解决了“DCP-直观性”难题。邻域是一种特定的拓扑模式,其中嵌入了一个顶点,并且如果它被大部分(高于给定阈值)的顶点共享,则该模式是频繁的。我们发现,新的模式不仅保持DCP,但也有同样重要的语义子图模式。在真实数据集上的实验表明,我们的算法在相对较大的图上是可行的,并且能够挖掘在以前的工作中没有发现的有趣的知识。
2013-05-14 cs.DB
Parallel algorithms for mining of frequent itemsets
Czech Technical University in Prague(布拉格捷克技术大学);Institute of Computer Science(计算机科学研究所)
近十年来,企业开始收集大量数据。如果没有正确的分析,这些数据通常是无用的。分析数据的领域称为数据采掘。不幸的是,数据量非常大:数据不适合主内存,处理时间可能会变得非常巨大。因此,我们需要并行的数据采掘算法。频繁项集的生成算法是数据采掘中一个重要的算法。挖掘频繁项集的问题可以用下面的例子来解释:顾客走进一家商店,把一些商品放进他们的篮子里;商店的老板收集篮子,想知道至少有p%的篮子里一起购买的商品的集合。目前,挖掘频繁项集的顺序算法在性能上都比较好。然而,频繁项集挖掘的并行算法仍然没有达到很好的加速比。在这篇论文中,我们发展了一个在分散式记忆体平行电脑上,可用于任意深度优先搜寻顺序算法的平行频繁项目集挖掘方法。我们的方法在10个处理器上实现了~ 6的加速比。该方法基于对数据库样本的处理器负载的近似估计-然而,它总是从整个数据库计算频繁项集的集合。在这篇论文中,我们展示了我们的方法的理论基础,并显示了估计过程的性能。
2021-08-11 cs.DB cs.LG
Mining Top-k Approximate Frequent Patterns
事务数据库中的频繁模式(项集)挖掘是数据采掘中研究最多的问题之一。限制频繁模式挖掘实际应用的一个障碍是产生的模式数量非常大。如此大的输出集合使得用户在实际中难以理解和使用。即使将输出限制在频繁项集集合的边界,也无助于缓解问题。在本文中,我们解决的问题,压倒性的大输出大小的介绍和研究以下问题:挖掘top-k近似频繁模式。这k个集的幂集的并集应满足以下条件:(1)包含尽可能多的具有较大支持度的项集;(2)包含尽可能少的具有较小支持度的项集。一个综合的目标函数的目的是结合这两个目标。在此基础上,我们推导出了目标函数的上界,并提出了一种求可行解的近似分枝定界方法。我们给出的经验证据表明,我们的制定和近似方法在实践中工作良好。
2005-03-17 cs.AI cs.DB
Discovery of Maximal Frequent Item Sets using Subset Creation
数据采掘是从大量数据中发现数据模式的实践。数据采掘使用数学算法对数据进行分组并评估未来事件。关联规则是知识发现领域的一个研究方向。许多数据采掘研究者通过引入效用、销售商品数量等影响因素以及挖掘关联数据模式来提高关联规则的质量。在本文中,我们提出了一个有效的算法,首先找到最大频繁项集。大多数关联规则算法都是先找到最小频繁项,再借助最小频繁项集求出最大频繁项集,这样的方法在寻找最大频繁项集上花费了较多的时间。为了克服这个问题,我们提出了一种新的方法来寻找最大频繁项集直接使用子集的概念。所提出的方法被发现是有效的,在寻找最大频繁项集。
2013-02-07 cs.DB
Ramp: Fast Frequent Itemset Mining with Efficient Bit-Vector Projection Technique
National University of Computer and Emerging Sciences(国家计算机与新兴科学大学)
基于位向量表示的频繁项集挖掘方法对于密集数据集是非常有效的,但对于稀疏数据集,由于缺乏有效的位向量投影技术,挖掘效率很低。在本文中,我们提出了一种新的有效的位向量投影技术,稀疏和密集的数据集。为了检验我们的位向量投影技术的效率,我们提出了一个新的频繁项集挖掘算法Ramp(Real Algorithm for Mining Patterns)。在基准数据集上将Ramp算法与目前最好的频繁项集挖掘算法(全频繁项集、最大频繁项集和闭频繁项集)进行了性能比较。在稀疏数据集和密集数据集上的不同实验结果表明,使用Ramp挖掘频繁项集的速度比目前最好的算法都要快,这表明了位向量投影思想的有效性。我们还提出了一个新的本地最大频繁项集传播和最大项集超集检查方法FastLMFI,建立在我们的PBR位向量投影技术。我们不同的计算实验表明,使用FastLMFI的项集最大值检查是快速和有效的比以前将已知的渐进聚焦方法。
2009-04-21 cs.AI cs.DB cs.DS
Mining frequent items in the time fading model
提出了一种基于草图的数据流频繁项挖掘算法FDCMSS。该算法巧妙地结合了向前衰减,计数最小和节省空间算法的关键思想。它工作在时间衰落模型下,根据收银机模型挖掘数据流。我们正式证明了它的正确性,并通过大量的实验结果表明,我们的算法优于$λ$ -HCount,最近开发的算法,在速度,所用的空间,精度达到和错误的合成和真实的数据集。
2016-08-02 cs.DB cs.DS
Pattern Morphing for Efficient Graph Mining
图挖掘应用程序分析大型图的结构属性,并且它们通过查找子图同构来实现,这使得它们具有计算密集型。现有的图挖掘技术,包括自定义图挖掘应用程序和通用图挖掘系统,开发高效的执行计划,以加快探索给定的查询模式,表示感兴趣的子图结构。在本文中,我们超越了传统的哲学优化的执行计划,为一组给定的模式,并利用不同的查询模式的子结构的相似性。我们提出了模式变形,一种技术,使结构感知代数模式,以准确地推断出一组给定的模式,使用一个完全不同的模式,计算成本较低的结果。模式变形将给定的一组查询模式“变形”(或转换)为备选模式,同时保留完全的等价性。它是一种通用技术,支持对模式的匹配进行各种操作,而不仅仅是计数(例如,支持计算、枚举等),使其广泛适用于各种图挖掘应用,如Motif Counting和Frequent Subgraph Mining。由于模式变形主要是在查询模式探索开始之前对其进行转换,因此它可以很容易地集成到现有的通用图挖掘系统中。我们评估模式变形的有效性,将其纳入百富勤,最近的国家的最先进的图挖掘系统,并表明,模式变形显着提高了不同的图挖掘应用程序的性能。
2020-12-08 cs.DB cs.DC
Maximal frequent itemset generation using segmentation approach
在数据源中发现频繁项集是关联规则挖掘的基本操作。通常,许多算法使用自底向上或自顶向下的方法来寻找这些频繁项集。当频繁项集的长度很大时,传统的频繁项集发现算法需要找到从1-长度到n-长度的所有频繁项集,这是一个比较困难的过程。这个问题可以通过挖掘最大频繁项集(MFS)来解决。最大频繁项集是指没有合适的频繁超集的频繁项集。因此,仅生成最大频繁项集减少了项集的数量,并且还减少了生成所有频繁项集所需的时间,因为每个长度为m的最大项集意味着存在2 m-2个频繁项集。此外,在许多数据采掘应用中,如最小密钥发现和理论提取,只挖掘最大频繁项集是足够的。本文提出了一种新的方法来寻找最大频繁项集从巨大的数据源使用的概念,数据源的分割和优先级的片段。实证评估表明,该方法优于其他各种已知的方法。
2011-09-12 cs.DB
Towards an Efficient Discovery of the Topological Representative Subgraphs
随着图数据库的出现,频繁子图的发现问题得到了广泛的研究。虽然在文献中提出的方法已经使这项任务可行,发现的频繁子图的数量仍然非常高,可以有效地用于任何进一步的探索。图数据的特征选择是一种基于精确或近似结构相似性来减少大量频繁子图的方法。然而,目前的结构相似性策略在许多现实世界的应用中是不够有效的,此外,图的组合性质使其计算成本非常高。为了选择一个更小的但结构上不冗余的子图集,我们提出了一种新的方法,挖掘的top-k拓扑代表频繁的子图。我们的方法允许检测隐藏的结构相似性,现有的方法是无法检测,如密度或直径的子图。此外,它可以很容易地扩展使用任何用户定义的结构或拓扑属性取决于所寻求的属性。在真实和合成图数据集上的实证研究表明,我们的方法是快速和可扩展的。
2013-08-15 cs.DB
Improvised Apriori Algorithm using frequent pattern tree for real time applications in data mining
Apriori算法是从大型数据库中提取频繁项集并获取关联规则的重要算法之一。它基本上需要两个重要的东西:最低限度的支持和最低限度的信任。首先,我们检查项目是否大于或等于最小支持度,我们分别找到频繁项目集。其次,利用最小置信度约束形成关联规则。在此基础上,指出了原Apriori算法在频繁项集上扫描整个数据库搜索时浪费时间和空间的局限性,并提出了一种改进的Apriori算法。
2014-11-23 cs.DB
An Asymptotically Tighter Bound on Sampling for Frequent Itemsets Mining
本文提出了一种新的频繁项集挖掘抽样算法的误差界。我们表明,新的界限是渐近紧比国家的最先进的界限,即,给定所选择的样本,对于足够小的误差概率,新的误差界限大约是现有界限的一半。在此基础上,我们给出了一种新的近似算法,该算法比现有的近似算法简单得多,但在预先计算样本容量的情况下,仍能保证最差的近似误差。我们还给出了一个算法,可以近似的顶部- $k$频繁项集,具有较高的精度和效率。
2017-03-24 cs.DB cs.DS
Mining Frequent Itemsets (MFI) over Data Streams: Variable Window Size (VWS) by Context Variation Analysis (CVA) of the Streaming Transactions
针对数据流中频繁项挖掘所面临的窗口大小可变和存储空间不足的问题,提出了一种基于数据流的频繁项挖掘方法。为了检查流事务中上下文变化的变化点,我们开发了一种窗口结构,该窗口结构将在两个级别上,并支持即时固定窗口大小,控制异质性,并确保添加到窗口中的事务之间的同质性。为了最小化内存利用率、计算成本并提高进程可扩展性,该设计将允许在窗口级别固定覆盖或支持。在本文中,介绍了从窗口中增量挖掘频繁项集和上下文变化分析方法。我们在本文档中介绍的完整技术被命名为使用上下文变化分析固定的可变窗口大小的频繁项集挖掘(MFI-VWS-CVA)。在特定的项集中,频繁项集和非频繁项集之间有着明确的界限。在这个设计中,我们使用窗口大小的变化来表示信息流中的概念漂移。可以说,只要在有效地设置窗口大小方面存在问题,项集就会变得不频繁。我们已经执行和记录的实验证明,我们所设计的算法是比现有的效率更高。
2014-08-14 cs.DB
Similarity Data Item Set Approach: An Encoded Temporal Data Base Technique
数据采掘已被广泛认为是一个强大的工具,探索从大型数据库的附加值。在关联规则的数据采掘过程中,发现数据库中的频繁项集是一个关键问题。为了寻找频繁项集,人们提出了许多算法。本文提出了一个总结和比较研究的可用FP增长算法的变化产生的挖掘频繁项目集显示其能力和效率方面的时间和内存消耗的关联规则挖掘,考虑到具体的信息的应用。提出了基于模式增长挖掘范式的FP-树增长算法,该算法采用树结构来压缩数据库。性能研究表明,反FP-增长方法对于挖掘长、短频繁模式都是有效的、可扩展的,比Apriority算法快一个数量级,也比最近报道的一些新的频繁模式挖掘算法快。
2010-03-22 cs.DB
Palpatine: Mining Frequent Sequences for Data Prefetching in NoSQL Distributed Key-Value Stores
本文介绍了PALPATINE,第一个在内存中的应用程序级缓存的分布式键值(DKV)数据存储,能够预取数据,可能会在不久的将来访问。为了预测数据访问,PALPATINE通过数据采掘技术连续捕获对后台存储的频繁访问模式。通过这些模式,PALPATINE构建了访问项的随机图,并基于此做出预取决策。实验结果表明,PALPATINE可以将特定DKV存储的延迟提高一个数量级以上。
2020-04-22 cs.DB cs.DC
Probabilistic Frequent Pattern Growth for Itemset Mining in Uncertain Databases (Technical Report)
不确定事务数据库中的频繁项集挖掘在语义和计算上不同于传统的应用于标准(确定)事务数据库的技术。不确定事务数据库由存在不确定项的集合组成。交易项目的不确定性使得传统的技术不适用。在本文中,我们解决的问题,发现概率频繁项集的基础上可能世界语义。在此上下文中,如果X在至少minSup事务中出现的概率高于给定阈值,则项集X被称为频繁项集。我们做了以下贡献:我们提出了第一个概率FP-Growth算法(ProFP-Growth)和相关的概率FP-Tree(ProFP-Tree),我们使用它来挖掘不确定事务数据库中的所有概率频繁项集,而无需候选生成。此外,我们提出了一个有效的技术来计算的支持概率分布的项目集在线性时间使用生成函数的概念。一个广泛的实验部分评估我们提出的技术,并表明我们的ProFP-Growth方法是显着快于目前最先进的算法。
2010-08-13 cs.DB
Integrity Verification for Outsourcing Uncertain Frequent Itemset Mining
近年来,由于不确定数据的广泛应用(例如,噪声数据),不确定数据库上的不确定频繁项集(UFI)挖掘引起了人们的广泛关注.作为关联规则挖掘过程中成本最高的任务,已经表明将该任务外包给服务提供商(例如,第三方云)给数据所有者带来了几个好处,例如成本减轻以及对存储和计算资源的较少承诺。然而,如果服务提供者具有随机错误或不诚实(例如,懒惰、恶意等)。因此,本文重点研究外包过程中UFI挖掘问题中的完整性和验证问题,即,数据所有者如何验证挖掘结果。具体来说,我们探索和扩展现有的工作确定性FI外包验证不确定的情况下。为此,我们将现有的外包FI采矿工作扩展到不确定的区域w.r.t.两种流行的UFI定义标准和近似UFI挖掘方法。具体地说,我们构造和改进的基本/增强的验证方案与这种不同的UFI定义。在此之后,我们进一步讨论了现有的近似UFP挖掘的情况下,我们可以看到,我们的技术可以提供良好的概率保证的正确性的验证。最后,对本文提出的方案进行了比较和分析。
2013-07-12 cs.DB
BigCarl: Mining frequent subnets from a single large Petri net
Academy of Mathematics;Systems Science Key Lab of MADIS Chinese Academy Science, Key Laborartory of Intelligent Information Processing of Chinese Academy Sciences Beijing China 100190;Key Laborartory of Intelligent Information Processing of Chinese Academy Sciences, University of Chinese Academy Sciences Beijing China;Systems Science Key Lab of MADIS Chinese Academy Science;Key Laborartory of Intelligent Information Processing of Chinese Academy Sciences;University of Chinese Academy Sciences
虽然已经有大量的工作研究频繁子图挖掘,非常罕见的出版物讨论了频繁子网挖掘更复杂的数据结构,如Petri网。研究了从单个大型Petri网中挖掘频繁Petri网的问题。我们遵循将Petri网转换为网图形式的思想,挖掘频繁子网图,以避免高复杂度。在技术上,我们采用最小遍历的方法来产生一个规范的标签的大网络图。我们采用了最大独立嵌入集的方法来表示网络图,并提出了一种增量模式增长(独立嵌入集约简)的方法来发现频繁子网图从单个大网络图,最终转换回频繁子网图。在一个包含10K事件、40K条件和30K弧的大型Petri网上进行了大量的性能研究,结果表明,我们的方法是正确的,复杂度是合理的。
2021-03-21 cs.DB cs.LG
Mining Frequent Itemsets over Uncertain Databases
近年来,由于不确定数据的广泛应用,在不确定数据库上挖掘频繁项集引起了人们的广泛关注。在不确定数据库中,项集的支持度是一个随机变量,而不是该项集的固定出现次数。因此,与确定性数据库中频繁项集有唯一定义的相应问题不同,不确定环境下的频繁项集到目前为止有两种不同的定义。第一种定义称为基于期望支持度的频繁项集,它用一个项集的支持度的期望值来衡量这个项集是否频繁。第二个定义,称为概率频繁项集,使用项集的支持概率来度量其频率。因此,现有的不确定数据库中挖掘频繁项集的工作被分为两个不同的组,没有研究进行全面比较这两种不同的定义。此外,由于不存在统一的实验平台,目前针对同一定义的解决方案甚至会产生不一致的结果。在本文中,我们首先旨在澄清这两个不同的定义之间的关系。通过大量的实验,我们验证了这两个定义有紧密的联系,并可以统一在一起,当数据量足够大。其次,我们提供了基线实现现有的八个代表性的算法,并测试他们的性能与统一的措施公平。最后,通过对不同基准数据集的公平性检验,澄清了现有的一些不一致结论,并讨论了一些新的发现。
2012-08-01 cs.DB
Frequent Pattern Mining in Continuous-time Temporal Networks
College of Computing and Informatics, Drexel University(德雷塞尔大学计算与信息学院)
网络在不同的学科中被用作高度表达的工具。近年来,时态网络的分析和挖掘引起了广泛的关注。频繁模式挖掘被认为是网络科学文献中的一项重要任务。除了大量的应用外,网络中频繁模式挖掘的研究直接影响到其他分析方法,如聚类,准团和团挖掘,以及链接预测。在几乎所有的时态网络频繁模式挖掘算法中,时态网络都被表示为静态网络序列。然后,挖掘网络间或网络内模式。这种类型的表示对挖掘问题施加了计算-表达性权衡。在本文中,我们提出了一种新的表示,可以保留网络损失的时间方面。然后,我们引入了约束区间图的概念。接下来,我们开发了一系列的算法,用于挖掘时态网络数据集中的频繁时态模式的完整集合。我们还考虑了四种不同的同构定义,以允许在时间数据汇集的噪声容忍度。三个真实世界的数据集实现算法证明了所提出的算法的实用性和它的能力,发现未知的模式在各种设置。
2021-05-12 cs.CV cs.DB cs.DS
ETP-Mine: An Efficient Method for Mining Transitional Patterns
事务数据库包含一组事务以及项目及其相关的时间戳。过渡模式是描述事务数据库中频繁模式的动态行为的模式。为了发现过渡模式及其重要的里程碑,首先我们必须使用任何频繁模式生成算法提取所有频繁模式及其支持。这些频繁模式用于生成过渡模式。现有的算法(TP-Mine)生成频繁模式,其中一些不能用于生成过渡模式。在本文中,我们提出了一个修改现有的算法,修剪的候选项用于产生频繁模式。该方法大大减少了用于发现过渡模式的频繁模式的数量。通过大量的仿真实验对所提出的方法进行了验证。
2010-09-06 cs.DB
Towards Chip-on-Chip Neuroscience: Fast Mining of Frequent Episodes Using Graphics Processors
随着多电极阵列的出现,计算神经科学正在发生革命性的变化,这些阵列提供了对大脑功能的实时,动态的视角。从这些芯片中挖掘事件流对于理解神经元的放电模式和深入了解潜在的细胞活动至关重要。我们提出了一个GPGPU的解决方案,挖掘尖峰列车。我们专注于挖掘频繁的事件,即使在存在干预背景/“垃圾”事件的情况下,也能捕获跨时间的协调事件。我们的算法贡献是双重的:MapConcatenate,一种新的计算到核心的映射方案,以及一种两遍消除方法,可以从大量候选者中快速找到支持的剧集。它们共同帮助实现了神经科学数据采掘的实时“芯片上芯片”解决方案,其中一个芯片(多电极阵列)提供尖峰训练数据,另一个芯片(GPGPU)以以前无法实现的规模进行挖掘。合成和真实数据集的评估表明,我们的方法的潜力。
2009-05-13 cs.DB cs.DC
Modified Apriori Graph Algorithm for Frequent Pattern Mining
Bangalore Institute of Technology(班加罗尔理工学院)
Web使用挖掘是数据采掘技术的一种应用,它从Web数据中发现用户感兴趣的使用模式,从而更好地理解和服务于基于Web的应用。本文提出了一种算法来找到这些使用模式,使用修改后的版本的Apriori算法称为Apriori图。这些规则将帮助服务提供商预测用户接下来可能访问哪些网页。这将在效率,带宽方面优化网站,并为他们带来积极的经济效益。本文提出的Apriori图算法O((V)(E))比现有的Apriori算法运算速度更快,更适合于实时应用。
2018-04-27 cs.AI cs.DB
Frequent Knot Discovery
我们探讨了将频繁模式挖掘的框架应用于自然界中出现的一类连续对象(即节点)的可能性。我们介绍了频繁节点挖掘问题,并提出了解决方案。关键的观察是,由节点组成的数据库可以转换为事务数据库。这个观察是基于纽结的素分解定理。
2004-10-16 cs.DB
Discovering More Accurate Frequent Web Usage Patterns
Web使用挖掘是Web挖掘的一种,它利用数据采掘技术从万维网用户的浏览行为中发现有价值的信息。与传统的数据采掘一样,数据准备和模式发现是Web使用挖掘的主要问题。Web使用挖掘的第一阶段是数据处理阶段,包括从服务器日志中重建会话操作。会话重构的成功与否直接影响到下一阶段频繁模式发现的质量。在反应式web使用挖掘技术中,源数据是web服务器日志和web服务器域所服务的web页面的拓扑。在用户交互式浏览网站期间收集的其他类型的信息,例如Cookie或包含类似信息的网络日志,不会被使用。Web使用挖掘的下一个阶段是发现频繁的用户导航模式。在该阶段中,模式发现方法被应用于在第一阶段中获得的重构会话上,以便发现频繁用户模式。在本文中,我们提出了一个频繁的Web使用模式发现方法,可以应用会话重建阶段后。为了比较会话重建阶段和模式发现阶段的准确性,我们使用了一个代理模拟器,它模拟Web用户的行为,并生成Web用户导航以及Web服务器保存的日志数据。
2008-04-09 cs.DB cs.DS
Top Down Approach to find Maximal Frequent Item Sets using Subset Creation
关联规则是知识发现领域的一个研究热点。数据采掘的研究人员已经提高了业务发展的关联规则挖掘的质量,通过纳入影响因素,如价值(效用),销售项目的数量(重量)和更多的关联模式的挖掘。在本文中,我们提出了一个有效的方法来寻找最大频繁项集第一。文献中的算法大多先求出最小频繁项,然后借助最小频繁项集求出最大频繁项集。这些方法在寻找最大频繁项集上花费了较多的时间。为了克服这个问题,我们提出了一种直接使用子集的概念来寻找最大频繁项集的方法。所提出的方法被发现是有效的,在寻找最大频繁项集。
2012-10-31 cs.DB
Relationship-aware sequential pattern mining
感知事件序列模式挖掘是基于事件的类型,挖掘序列中的频繁模式的问题,其中序列中的事件通过来自一些相应的层次分类法的一个或多个概念相互关联。此外,事件本身也用一定数量的分类概念来描述。我们提出了RaSP算法,能够挖掘这种序列的关系感知模式,RaSP遵循两个阶段的方法。在第一阶段,它挖掘频繁的类型模式和{ \em all}它们在不同序列中的出现。在第二阶段中,它执行分层挖掘,其中对于每个频繁类型模式及其出现,它在较低级别的分类中挖掘更具体的频繁模式。我们测试RaSP在现实世界的医疗应用程序,提供了它的发展的灵感,在其中,我们挖掘频繁的模式,在抗生素治疗的微生物的医疗行为,并表明它有一个非常好的计算性能的复杂性的关系感知序列模式挖掘问题。
2012-12-21 cs.DB stat.AP
Comparing Dataset Characteristics that Favor the Apriori, Eclat or FP-Growth Frequent Itemset Mining Algorithms
Nova Southeastern University(诺瓦东南大学)
频繁项集挖掘是一种流行的数据采掘技术。Apriori、Eclat和FP-Growth是最常用的频繁项集挖掘算法。已经进行了相当多的研究来比较这三种算法之间的相对性能,通过评估每个算法的可扩展性,随着数据集大小的增加。虽然随着数据大小的增加可扩展性很重要,但以前的论文没有研究包含不同项集特征的类似大小的数据集的性能影响。本文探讨了这三个频繁项集算法的性能,两个数据集的特点可以有影响。为了进行这种实证分析,创建了一个数据集生成器来测量频繁项密度和最大事务大小对性能的影响。生成的数据集包含相同数量的行。这提供了对有助于每个算法的数据集特征的一些洞察。本文的研究结果表明,Eclat和FP-Growth都处理的最大事务规模和频繁项集密度的增加,大大优于Apriori算法。本文探讨了这三个频繁项集算法的性能,两个数据集的特点可以有影响。为了进行这种实证分析,创建了一个数据集生成器来测量频繁项密度和最大事务大小对性能的影响。生成的数据集包含相同数量的行。这提供了对有助于每个算法的数据集特征的一些洞察。本文的研究结果表明,Eclat和FP-Growth都处理的最大事务规模和频繁项集密度的增加,大大优于Apriori算法。
2017-01-30 cs.AI cs.DB