A Frequent Closed Itemsets Lattice-based Approach for Mining Minimal Non-Redundant Association Rules
为了提高频繁项集或频繁闭项集的挖掘速度,已有许多算法被提出。然而,对关联规则生成时间的处理算法还没有得到深入的研究。实际上,在一个数据库包含许多FI/FCI(从数万到数百万)的情况下,生成关联规则的时间远远大于挖掘FI/FCI的时间。因此,本文提出了一种应用频繁闭项集格(FCIL)挖掘最小非冗余关联规则(MNAR),以减少大量的时间生成规则。首先,我们使用CHARM-L来建立FCIL。在此基础上,提出了一种基于FCIL的MNAR快速生成算法。实验结果表明,该算法在挖掘时间上比基于频繁项集格的算法有明显的提高。
2011-08-26 cs.DB
PrivBasis: Frequent Itemset Mining with Differential Privacy
频繁项集的发现可以服务于有价值的经济和研究目的。然而,发布发现的频繁项集带来了隐私挑战。本文研究了如何在满足差分隐私的情况下对事务数据库进行频繁项集挖掘的问题。我们提出了一种称为PrivBasis的方法,它利用了一个称为基集的新概念。一个theta基集具有这样的性质,即任何频率高于theta的项集都是某个基的子集。我们引入算法私下构造一个基集,然后用它来找到最频繁的项集。实验表明,我们的方法大大优于目前的最先进的。
2012-08-01 cs.DB
A Fast Minimal Infrequent Itemset Mining Algorithm
提出了一种新的在大数据集上寻找准标识符的快速算法。广泛的数据集上的性能测量表明,相对于最先进的技术和算法的可扩展性,以实际大小的数据集高达数百万条记录的运行时间大幅减少。
2014-10-16 cs.DB
Mining Frequent Itemsets Using Genetic Algorithm
通常,频繁项集是通过应用关联规则挖掘算法,如Apriori,Partition,Pincer-Search,Incremental,Border算法等,从大数据集中生成的。这需要花费太多的计算机时间来计算所有的频繁项集。通过使用遗传算法(GA),我们可以改善的情况下。使用遗传算法发现频繁项集的主要优点是它可以进行全局搜索,并且由于遗传算法是基于贪婪方法的,因此其时间复杂度比其他算法要低。本文的主要目的是利用遗传算法从给定的数据集中找到所有的频繁项集。
2010-11-01 cs.DB
FRI-Miner: Fuzzy Rare Itemset Mining
数据采掘是一种广泛应用于数据分析的各种实际应用的技术,对于在事务数据库中发现有价值的关联规则非常重要。兴趣项集挖掘在市场、电子商务、金融、医疗等领域有着重要的应用。迄今为止,各种基于频繁模式的数据采掘算法已经得到了广泛的研究,但很少有算法专注于挖掘不频繁或稀有模式。在某些情况下,稀有项集和稀有关联规则在实际应用中也起着重要的作用。本文介绍了一种新的基于模糊的稀有项集挖掘算法FRI-Miner,该算法应用具有语言学意义的模糊理论,在定量数据库中发现有价值的、有趣的模糊稀有项集。此外,FRI-Miner利用模糊列表结构来存储重要信息,并应用多种剪枝策略来减少搜索空间。实验结果表明,FRI-Miner算法能够在考虑现实中的量化价值的基础上,发现更少、更有趣的项目集。此外,它在有效性方面明显优于最先进的算法(w.r.t.不同类型的导出图案)和效率(w.r.t.运行时间和内存使用)。
2021-03-11 cs.DB
An Algorithm for Mining High Utility Closed Itemsets and Generators
传统的关联规则挖掘基于支持度-置信度框架,提供了用户感兴趣的规则的客观度量。然而,它并没有反映出规则的效用。在支持度-置信度框架下提取非冗余关联规则,频繁闭项集及其生成器起着重要的作用。为了提取高效用项集之间的非冗余关联规则,需要提取高效用闭项集(HUCI)及其生成元,以便应用传统的支持度-置信度框架。然而,目前还没有有效的方法来开采HUCI及其发电机。本文探讨了这一问题。一个后处理算法,称为HUCI-Miner,提出了挖掘HUCI与他们的发电机。所提出的算法是使用合成和真实的数据集。
2014-10-11 cs.DB
FUIM: Fuzzy Utility Itemset Mining
模糊数据采掘由于其实用性和可理解性,近年来得到了广泛的研究,是一个新兴的课题。与效用驱动的项集挖掘技术相比,模糊效用挖掘不仅需要效用(例如,利润),但也考虑在发现高模糊效用项目集(HFUI)的每个交易中的项目的数量。因此,模糊度可以作为选择高效用项集的一个关键标准,而现有的算法效率不够。本文提出了一种有效的单阶段算法模糊驱动的效用项集挖掘器(FUIM),以有效地找到一个完整的集HFUI。此外,一种新的紧凑的数据结构称为模糊表保持定量交易数据库的关键信息。FUIM使用模糊列表,可以从事务数据库中高效地发现HFUI。通过五个定理证明了FUIM算法的完备性和正确性。最后,大量的实验测试三个方面(运行时成本,内存消耗和可扩展性),以确认FUIM大大优于国家的最先进的算法。
2021-10-30 cs.DB
Targeted Mining of Top-k High Utility Itemsets
发现数据中的高重要性模式是一个新兴的数据采掘任务,称为高效用项集挖掘(HUIM)。给定一个最小效用阈值,HUIM算法提取所有效用值不小于该阈值的高效用项集。这可以揭示大量有用的信息,但没有很好地考虑到用户的确切需求。特别是,用户通常希望关注具有某些特定项的模式,而不是查找所有模式。为了克服这一困难,出现了有针对性的挖掘,重点是用户的偏好,但只进行了初步工作。例如,提出了目标高效用项集查询算法(TargetUM),该算法使用字典树来查询包含目标模式的项集。然而,当用户不熟悉所处理的数据库时,选择最小效用阈值是困难的。作为解决方案,本文提出了top-k高效用项集的目标挖掘任务,并在TargetUM算法的基础上提出了一种高效的top-k目标高效用项集(top-k THUIs)挖掘算法TMKU。同时,采用多种剪枝策略来减少内存消耗和执行时间。大量的实验表明,所提出的TMKU算法在真实和合成数据集上具有良好的性能。
2023-03-25 cs.DB
Similarity Data Item Set Approach: An Encoded Temporal Data Base Technique
数据采掘已被广泛认为是一个强大的工具,探索从大型数据库的附加值。在关联规则的数据采掘过程中,发现数据库中的频繁项集是一个关键问题。为了寻找频繁项集,人们提出了许多算法。本文提出了一个总结和比较研究的可用FP增长算法的变化产生的挖掘频繁项目集显示其能力和效率方面的时间和内存消耗的关联规则挖掘,考虑到具体的信息的应用。提出了基于模式增长挖掘范式的FP-树增长算法,该算法采用树结构来压缩数据库。性能研究表明,反FP-增长方法对于挖掘长、短频繁模式都是有效的、可扩展的,比Apriority算法快一个数量级,也比最近报道的一些新的频繁模式挖掘算法快。
2010-03-22 cs.DB
Efficient Constrained Pattern Mining Using Dynamic Item Ordering for Explainable Classification
可解释的分类模型的学习在过去几年中引起了广泛的关注。发现能够突出两个类之间差异的简洁和对比模式非常重要。这种模式对人类专家很有用,可以用来构建强大的分类器。在本文中,我们考虑挖掘最小的新兴模式,从高维数据集的各种约束下的监督设置。我们专注于一个扩展,其中模式可以包含负项,指定一个项目的情况下。在这种情况下,数据库变得高度密集,这使得挖掘更具挑战性,因为流行的模式挖掘技术,如fp-tree和发生交付不能有效地工作。为了解决这个问题,我们提出了一个有效的算法,挖掘最小的新兴模式相结合的两种技术:动态变量排序在模式搜索,以提高修剪效果,并使用基于指针的动态数据结构,称为跳舞链接,有效地维护发生列表。基准数据集上的实验表明,我们的算法实现了显着的速度比新兴的模式挖掘方法的基础上LCM,一个非常快速的深度优先频繁项集挖掘使用静态变量排序。
2020-04-17 cs.DB
An efficient mining scheme for high utility itemsets
针对现有高效用项集挖掘算法时间与内存开销高的问题,本文提出基于残差映射数据结构的R-Miner算法,实验证明其性能优于现有最先进算法。
2022-04-12 cs.DB
Probabilistic Frequent Pattern Growth for Itemset Mining in Uncertain Databases (Technical Report)
不确定事务数据库中的频繁项集挖掘在语义和计算上不同于传统的应用于标准(确定)事务数据库的技术。不确定事务数据库由存在不确定项的集合组成。交易项目的不确定性使得传统的技术不适用。在本文中,我们解决的问题,发现概率频繁项集的基础上可能世界语义。在此上下文中,如果X在至少minSup事务中出现的概率高于给定阈值,则项集X被称为频繁项集。我们做了以下贡献:我们提出了第一个概率FP-Growth算法(ProFP-Growth)和相关的概率FP-Tree(ProFP-Tree),我们使用它来挖掘不确定事务数据库中的所有概率频繁项集,而无需候选生成。此外,我们提出了一个有效的技术来计算的支持概率分布的项目集在线性时间使用生成函数的概念。一个广泛的实验部分评估我们提出的技术,并表明我们的ProFP-Growth方法是显着快于目前最先进的算法。
2010-08-13 cs.DB
Mining Frequent Itemsets (MFI) over Data Streams: Variable Window Size (VWS) by Context Variation Analysis (CVA) of the Streaming Transactions
针对数据流中频繁项挖掘所面临的窗口大小可变和存储空间不足的问题,提出了一种基于数据流的频繁项挖掘方法。为了检查流事务中上下文变化的变化点,我们开发了一种窗口结构,该窗口结构将在两个级别上,并支持即时固定窗口大小,控制异质性,并确保添加到窗口中的事务之间的同质性。为了最小化内存利用率、计算成本并提高进程可扩展性,该设计将允许在窗口级别固定覆盖或支持。在本文中,介绍了从窗口中增量挖掘频繁项集和上下文变化分析方法。我们在本文档中介绍的完整技术被命名为使用上下文变化分析固定的可变窗口大小的频繁项集挖掘(MFI-VWS-CVA)。在特定的项集中,频繁项集和非频繁项集之间有着明确的界限。在这个设计中,我们使用窗口大小的变化来表示信息流中的概念漂移。可以说,只要在有效地设置窗口大小方面存在问题,项集就会变得不频繁。我们已经执行和记录的实验证明,我们所设计的算法是比现有的效率更高。
2014-08-14 cs.DB
Discovery of Maximal Frequent Item Sets using Subset Creation
数据采掘是从大量数据中发现数据模式的实践。数据采掘使用数学算法对数据进行分组并评估未来事件。关联规则是知识发现领域的一个研究方向。许多数据采掘研究者通过引入效用、销售商品数量等影响因素以及挖掘关联数据模式来提高关联规则的质量。在本文中,我们提出了一个有效的算法,首先找到最大频繁项集。大多数关联规则算法都是先找到最小频繁项,再借助最小频繁项集求出最大频繁项集,这样的方法在寻找最大频繁项集上花费了较多的时间。为了克服这个问题,我们提出了一种新的方法来寻找最大频繁项集直接使用子集的概念。所提出的方法被发现是有效的,在寻找最大频繁项集。
2013-02-07 cs.DB
An Improvised Frequent Pattern Tree Based Association Rule Mining Technique with Mining Frequent Item Sets Algorithm and a Modified Header Table
在今天的世界中,有大量的数据广泛可用,因此需要将这些数据转化为有用的信息,即知识。这种对知识发现过程的需求导致了许多用于确定关联规则的算法的发展。这些算法面临的主要问题之一是候选集的生成。FP树算法是关联规则挖掘的首选算法之一,因为它给出关联规则而不产生候选集。但是在这个过程中,产生了大量的CP树,降低了效率。本文提出了一种改进的FP树算法,该算法通过修改头表、备用表和MFI算法来进行关联规则挖掘。该算法不使用候选集和CP树来生成频繁项集。
2015-04-27 cs.DB
DiffNodesets: An Efficient Structure for Fast Mining Frequent Itemsets
频繁项集的挖掘是数据采掘中的一个基本问题,在数据采掘的许多应用中起着重要的作用。近年来,人们提出了一些基于节点集的项集表示方法,这些方法对于挖掘频繁项集非常有效。在本文中,我们提出了DiffNodeset,一种新的和更有效的项集表示,挖掘频繁项集。基于DiffNodeset结构,提出了一种高效的频繁项集挖掘算法dFIN。为了提高效率,dFIN采用集合枚举树和混合搜索策略来寻找频繁项集,在某些情况下不需要生成候选项集而直接枚举频繁项集。为了评估dFIN的性能,我们进行了大量的实验,将其与各种真实和合成数据集上的现有领先算法进行比较。实验结果表明,dFIN是显着的速度比这些领先的算法。
2015-07-06 cs.DB cs.DS
Efficient Support Coupled Frequent Pattern Mining Over Progressive Databases
最近有很多关于序列模式挖掘的研究。渐进式数据库上的序列模式挖掘是一个比较新的方法,它是在感兴趣的时间段内逐步发现序列模式。感兴趣的时间段是一个随着时间的推移而不断前进的滑动窗口。随着滑动窗口焦点的变化,新项被添加到感兴趣的数据集中,过时的项被从中删除并成为最新的。一般来说,现有的建议没有充分探讨现实世界的情况下,如项目与支持数据流应用程序,如购物篮分析。因此,从支持的频繁项中挖掘重要知识成为一个重要的研究课题。我们提出的新方法有效地挖掘频繁序列模式加上支持使用渐进挖掘树。
2010-05-29 cs.DB
Association Rule Mining Based On Trade List
提出了一种基于频繁项集的挖掘算法。Apriori算法每次发现频繁项集时都要扫描数据库,因此非常耗时,而且每一步都要生成候选项集。在无向项集图中,它是对先验知识的改进,但生成树需要时间和空间。定义的算法在开始时只扫描数据库一次,然后从扫描的数据库中生成贸易清单。它包含了整个数据库的信息。它通过考虑最小支持度来寻找频繁项集,并通过考虑最小置信度来生成关联规则。当数据库和最小支持度发生变化时,新算法通过扫描交易列表来发现新的频繁项。因此,与传统算法相比,它的执行效率有了明显的提高。
2012-02-22 cs.DB
Mining Frequent Itemsets from Secondary Memory
频繁项集挖掘是关联规则挖掘的核心,目前在算法上已经得到了很好的理解。然而,大多数挖掘频繁项集的算法都假设主存储器足够大以容纳挖掘中使用的数据结构,很少有有效的算法处理数据库很大或最小支持度很低的情况。从一个非常大的数据库中挖掘频繁项集带来了新的挑战,因为商业,科学和政府中普遍记录了天文数字数量的原始数据。本文讨论了当数据结构太大而无法装入主存时,挖掘频繁项集的方法。给出了几种分而治之的磁盘挖掘算法。介绍了许多新技术。实验结果表明,该技术减少了所需的磁盘访问的数量级,并使真正可扩展的数据采掘。
2004-05-20 cs.DB cs.IR
Mining Top-K Co-Occurrence Items
频繁项集挖掘是数据采掘中的一个基本问题,在关联分析、分类等数据采掘任务中发挥着重要作用。然而,在一些应用中,例如推荐系统和社交网络,人们更感兴趣的是找出数据库中与某些用户指定的项集(查询项集)一起出现最频繁的项。在本文中,我们解决这个问题,提出了一个新的挖掘任务命名为top-k共现项目挖掘,其中k是所需的项目数被发现。然后,我们引入了一种特殊的数据结构Pi-Tree(Prefix itemset Tree)来维护项目集的信息。基于Pi-Tree,提出了两种挖掘top-k共现项的算法:PT(Pi-Tree-based algorithm)和PT-TA(Pi-Tree-based algorithm with TA pruning),并结合了几种新的搜索空间修剪策略以提高挖掘效率。PT和PT-TA的性能进行了评估,对四个建议的基线算法在合成和真实的数据库。大量的实验表明,PT不仅在执行时间上大大优于其他算法,而且具有良好的可扩展性。
2015-12-24 cs.DB cs.DS
A Model-Based Frequency Constraint for Mining Associations from Transaction Data
频繁项集挖掘是一种在数据库中发现关联项的常用方法。对于这种方法,支持度,形成关联的项目的共现频率,被用作关联的重要性的主要指标。使用单个用户指定的支持阈值来决定是否应进一步调查关联。支持有一些已知的问题,罕见的项目,有利于较短的项目集,有时产生误导性的协会。在本文中,我们开发了一种新的基于模型的频率约束作为一个单一的,用户指定的最小支持的替代。该约束通过应用简单的随机混合模型(NB模型)来利用生成事务数据的过程的知识,该模型允许事务数据的通常高度偏斜的项目频率分布。用户指定的精度阈值与模型一起使用,以找到项目集组的局部频率阈值。在此基础上,提出了NB-频繁项集的概念,并提出了一种挖掘算法来发现数据库中所有的NB-频繁项集。在公开的交易数据库的实验中,我们表明,新的约束提供了一个单一的最小支持阈值的改进和精度阈值是更强大的,更容易设置和解释的用户。
2008-03-21 cs.DB
Top Down Approach to find Maximal Frequent Item Sets using Subset Creation
关联规则是知识发现领域的一个研究热点。数据采掘的研究人员已经提高了业务发展的关联规则挖掘的质量,通过纳入影响因素,如价值(效用),销售项目的数量(重量)和更多的关联模式的挖掘。在本文中,我们提出了一个有效的方法来寻找最大频繁项集第一。文献中的算法大多先求出最小频繁项,然后借助最小频繁项集求出最大频繁项集。这些方法在寻找最大频繁项集上花费了较多的时间。为了克服这个问题,我们提出了一种直接使用子集的概念来寻找最大频繁项集的方法。所提出的方法被发现是有效的,在寻找最大频繁项集。
2012-10-31 cs.DB
An Optimized Weighted Association Rule Mining On Dynamic Content
关联规则挖掘的目的是从大型事务数据库中挖掘关联规则。经典的关联规则挖掘模型假设所有项目具有相同的重要性,而不考虑它们的权重。它也忽略了事务之间的差异和每个项集的重要性。但是,加权关联规则挖掘(WARM)不适用于只有二进制属性的数据库。它利用了每个项集和事务的重要性。WARM要求每个项目都被赋予权重,以反映它们对用户的重要性。权重可以对应于某些产品的特别促销或不同项目的盈利能力。本研究工作首先集中在基于有向图的权重分配,其中节点表示项目,链接表示关联规则。HITS的广义版本应用于图中的项目排名,其中所有节点和链接都允许有权重。然后,本研究通过开发一种在线特征向量计算方法来使用增强的HITS算法,该方法可以在频繁更新的情况下计算相互强化投票的结果。例如,在股票市场上,股票价格可能下跌或上涨。因此,我们需要仔细观察市场,我们的关联规则挖掘必须产生发生频繁变化的项目。这些都是通过估计扰动的上界和推迟更新尽可能。接下来我们证明了在动态数据的情况下,改进的算法比原来的HITS算法更有效。
2010-04-20 cs.DB
Mining Target-Oriented Sequential Patterns with Time-Intervals
面向目标的序列模式是指在模式末尾有一个关注项集的序列模式。时间间隔序列模式是指每对连续项集之间具有时间间隔的序列模式。本文提出了一种基于时间间隔的面向目标序列模式发现算法。为此,原始序列被颠倒,使得最后的项集可以被排列在序列的前面。然后利用反向序列与相关项集的对比度来排除不相关序列。利用聚类分析和典型的序列模式挖掘算法,提取连续项集之间具有时间间隔的序列模式。最后,将发现的时间间隔序列模式再次反转到原始顺序以搜索目标模式。
2010-09-05 cs.DB
Mining All Non-Derivable Frequent Itemsets
最近的频繁项集挖掘算法的研究导致显着的性能改善。然而,如果最小支持度阈值设置得太低,或者数据高度相关,则频繁项集本身的数量可能会非常大。为了克服这个问题,最近已经提出了一些建议,以构建一个简洁的表示的频繁项集,而不是挖掘所有的频繁项集。本文的主要目标是确定所有频繁项集的集合中的冗余,并利用这些冗余,以减少挖掘操作的结果。我们提出了推导规则,以获得紧边界上的候选项集的支持。我们展示了如何演绎规则允许构造一个最小的表示所有频繁项集。我们还提出了我们的建议和最近的建议之间的联系,简洁的表示,我们给出了在现实生活中的数据集,显示的演绎规则的有效性的实验结果。事实上,实验甚至表明,在许多情况下,首先挖掘的简洁表示,然后从这个表示创建频繁项集优于现有的频繁集挖掘算法。
2002-06-03 cs.AI cs.DB
Incremental high average-utility itemset mining: survey and challenges
本文综述了增量式高效用平均项集挖掘(iHAUIM)算法,分类分析其关键技术(Apriori、树、效用列表)及优缺点,并探讨未来研究方向。
2024-07-16 cs.DB
ALPINE: Anytime Mining with Definite Guarantees
ALPINE是第一个挖掘频繁项集和闭频繁项集的算法。它保证在继续之前,已经找到了支持度超过当前检查点支持度的所有项集。因此,它对于具有非常高维数据的超长挖掘任务(例如遗传学)非常有吸引力,因为它可以提供中间有意义和完整的结果。这个ANYTIME功能是ALPINE最重要的贡献,它也很快,但不一定是最快的算法。ALPINE的另一个关键优点是它不需要先验决定的最小支持值。
2016-10-24 cs.DB
ARULESPY: Exploring Association Rules and Frequent Itemsets in Python
本文介绍了新的Python包arulespy,它将R语言arules包中用于频繁项集和关联规则挖掘的全面基础设施及高效算法引入Python用户。
2023-05-24 cs.DB
Utility-based Privacy Preserving Data Mining
本文针对周期性模式挖掘中的隐私保护问题,扩展PPUM框架并提出MU-MAP和MU-MIP两种算法,通过SISL和SIL数据结构高效隐藏敏感周期性高效用项集,实验证明其在不引入误导性模式的同时保持超过90%的数据库效用相似度。
2025-09-19 cs.DB
Frequent Itemset Mining with Multiple Minimum Supports: a Constraint-based Approach
Simula Research Laboratory(西穆拉研究实验室);LIRMM, University of Montpellier, CNRS(蒙彼利埃大学法国国家科学研究中心蒙彼利埃信息与机器人学实验室)
发现包含稀有项的频繁项集的问题受到了广泛的关注。采矿过程需要足够灵活,以便一次性提取常见和稀有的矿物。另一方面,最近已经表明,约束编程是一种灵活的方式来处理数据采掘任务。本文提出了一种挖掘具有多个最小支持度项集的约束规划方法。我们的方法为用户提供了表达任何类型的最小项目支持的约束的可能性。实验分析表明,我们的方法相比,最先进的实际有效性。
2021-09-16 cs.AI cs.DB
High-utility itemset mining for subadditive monotone utility functions
高效用项集挖掘(HUIM)从事务数据库中发现效用不小于用户定义阈值的项集,其中项集的效用被定义为项的效用之和。在本文中,我们将这一概念推广到效用函数,而不必是单个效用的简单总和。特别是,我们研究广义效用函数是次加性和单调(SM)。我们还描述了一个新的功能,使我们能够包括外部信息的关系图的形式计算效用。接下来,我们专注于SM效用函数的HUIM问题的算法。我们注意到,现有的HUIM算法使用像“交易加权效用”和“精确效用,剩余效用”的上限进行有效的搜索空间探索。我们推导出类似的和更严格的上界SM效用函数。我们设计了一个新的倒排表数据结构SMI-list和一个新的算法SM-Miner来挖掘SM函数的用户界面。我们解释如何现有的基于树和基于投影的HUIM算法可以适应使用这些界限。我们实验比较适应一些最新的HUIM算法,并指出一些注意事项,应牢记在处理效用函数,允许领域知识与交易数据库的集成。
2020-05-10 cs.DB
An Efficient Data Structure for Fast Mining High Utility Itemsets
在本文中,我们提出了一种新的数据结构称为PUN-list,它既保持了项目集的效用信息和效用上界,以方便挖掘高效用项目集的处理。基于PUN-Lists,提出了一种快速挖掘高效用项集的方法MIP(Mining high utility Itemset using PUN-Lists)。MIP的效率是通过三种技术来实现的。首先,项目集由一种高度压缩的数据结构PUN-列表表示,避免了代价高昂的重复效用计算。其次,通过扫描项集的PUN-列表可以有效地计算项集的效用,并且通过短项集的PUN-列表可以快速构造长项集的PUN-列表。第三,通过采用效用上界躺在PUN列表作为修剪策略,MIP直接发现高效用项目集的搜索空间,称为集合枚举树,而不产生大量的候选人。在各种合成数据集和真实数据集上的大量实验表明,PUN-list是非常有效的,因为MIP比最近报道的算法平均快至少一个数量级。
2015-10-08 cs.DB cs.DS
Frequent Patterns mining in time-sensitive Data Stream
在静态数据库中挖掘频繁项集已被广泛研究和应用,并且一直被认为是一项极具挑战性的任务。因此,将其扩展到数据流领域是很有趣的。在流媒体的情况下,频繁模式的挖掘有更多的信息要跟踪和更大的复杂性来管理。不常见的项目可能会在以后变得频繁,因此不能被忽略。输出结构需要动态地增加,以反映项集频率随时间的演变。在本文中,我们研究这个问题,特别是挖掘时间敏感的数据流的方法。我们试图通过增加时间精度来改进现有的算法,并通过添加一个新的概念称为“振动点”来丢弃过时的数据。我们还提出了一些实验,说明所需的时间和空间。
2012-06-05 cs.DB
A novel approach for fast mining frequent itemsets use N-list structure based on MapReduce
频繁模式挖掘是数据采掘中最重要的课题之一。近年来,人们提出了许多挖掘频繁项集的算法。提出了一种新的基于N-表数据结构的频繁项集挖掘算法--Prepost算法。通过用一般树实现紧凑PPC树,增强了Prepost算法。Prepost算法只能为每个节点找到一个具有所需(前序和后序)的频繁项集。在本章中,我们改进了基于Hadoop平台的prepost算法(HPrepost),提出了使用Mapreduce编程模型。提出的方法的主要目标是有效地挖掘频繁项集,需要较少的运行时间和内存使用。我们对所提出的方案进行了实验,并与其他算法进行了比较。对于密集数据集,它有一个大的平均事务长度,HPrepost是更有效的频繁项集算法在执行时间和内存使用的所有min-sup。一般来说,我们的算法优于算法的运行时间和内存使用小阈值和大数据集。
2017-04-15 cs.DB cs.DC
Cross-level Privacy Preserving Utility Mining
Jinan University(暨南大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出跨层级隐私保护效用挖掘方法,通过三种算法保护泛化项,设计GI-dic字典加速计算,实验证明其在稀疏数据集和低阈值情况下表现优异。
2026-04-28 cs.DB
A comparative study of top-k high utility itemset mining methods
高效用项集(HUI)挖掘问题是数据采掘领域的重要问题之一。这个问题提供了更大的灵活性,决策者将她/他的概念的效用模式挖掘过程。然而,这个问题需要决策者选择一个最小的效用阈值来发现有趣的模式。由于不同的项集特征及其效用分布,这是相当具有挑战性的。为了解决这个问题,Top-K高效用项目集(THUI)挖掘问题在文献中被引入。THUI挖掘问题主要是HUI挖掘问题的一个变体,它允许决策者指定所需的HUI数量,而不是最小效用阈值。在文献中已经引入了几种算法来有效地挖掘前k个HUI。本文系统地分析了文献中的top-k HUI挖掘方法,对方法进行了描述,并进行了比较分析。本文还介绍和分析了高效top-k HUI挖掘所采用的数据结构、阈值提高策略和剪枝策略。此外,本文回顾了top-k HUI挖掘问题的几个扩展,如数据流挖掘,序列模式挖掘和货架效用挖掘。本文可能有助于研究人员研究top-k HUI挖掘的关键方法,评估文献中的空白,探索新的研究机会,并提高高效用模式挖掘的最新水平。
2018-09-04 cs.DB cs.DS
Association rule mining and itemset-correlation based variants
关联规则表达了项目集数据库中属性之间的隐含关系。提出了大多数关联规则挖掘算法的基础Apriori算法。它的工作原理是修剪掉不需要根据用户指定的最小支持置信度进行评估的规则。此外,算法的变化,使其能够处理定量属性和提取规则的概括项目,但保留向下关闭属性,使修剪。在特殊情况下,提出了扩展的相互转换。
2019-07-22 cs.DB cs.IR
Parallel algorithms for mining of frequent itemsets
Czech Technical University in Prague(布拉格捷克技术大学);Institute of Computer Science(计算机科学研究所)
近十年来,企业开始收集大量数据。如果没有正确的分析,这些数据通常是无用的。分析数据的领域称为数据采掘。不幸的是,数据量非常大:数据不适合主内存,处理时间可能会变得非常巨大。因此,我们需要并行的数据采掘算法。频繁项集的生成算法是数据采掘中一个重要的算法。挖掘频繁项集的问题可以用下面的例子来解释:顾客走进一家商店,把一些商品放进他们的篮子里;商店的老板收集篮子,想知道至少有p%的篮子里一起购买的商品的集合。目前,挖掘频繁项集的顺序算法在性能上都比较好。然而,频繁项集挖掘的并行算法仍然没有达到很好的加速比。在这篇论文中,我们发展了一个在分散式记忆体平行电脑上,可用于任意深度优先搜寻顺序算法的平行频繁项目集挖掘方法。我们的方法在10个处理器上实现了~ 6的加速比。该方法基于对数据库样本的处理器负载的近似估计-然而,它总是从整个数据库计算频繁项集的集合。在这篇论文中,我们展示了我们的方法的理论基础,并显示了估计过程的性能。
2021-08-11 cs.DB cs.LG
Improvised Apriori Algorithm using frequent pattern tree for real time applications in data mining
Apriori算法是从大型数据库中提取频繁项集并获取关联规则的重要算法之一。它基本上需要两个重要的东西:最低限度的支持和最低限度的信任。首先,我们检查项目是否大于或等于最小支持度,我们分别找到频繁项目集。其次,利用最小置信度约束形成关联规则。在此基础上,指出了原Apriori算法在频繁项集上扫描整个数据库搜索时浪费时间和空间的局限性,并提出了一种改进的Apriori算法。
2014-11-23 cs.DB
Pattern Detection with Rare Item-set Mining
随着可用数据量的爆炸式增长,在大型数据集中发现新的和有趣的模式,称为数据采掘,引起了越来越多的兴趣。数据采掘技术可以应用于不同的领域和领域,如计算机科学,卫生部门,保险,国土安全,银行和金融等,在本文中,我们感兴趣的发现一个特定类别的模式,被称为罕见的和不存在的模式。我们提出了一种新的方法对非本模式的发现使用稀有项集挖掘。
2012-09-14 cs.DB cs.SE
Frequent Item-set Mining without Ubiquitous Items
频繁项目集挖掘(Frequent Item-set Mining,缩写为EIM),有时也称为市场篮分析(Market Basket Analysis,MBA)或关联规则学习(Association Rule Learning,ARL),是一种机器学习(Machine Learning,ML)方法,用于从项目的交易数据集创建规则。大多数方法根据对该假设的支持(即项目的最小相对共现数)来确定可能在交易中一起出现的项目。虽然这是一个很好的指标,以衡量这些项目可能出现在一起的假设的相关性,非常频繁的项目,称为无处不在的项目的现象,没有解决在大多数算法。普适项具有与不频繁项相同的熵,并且对知识没有显著贡献。另一方面,它们对算法的性能有很强的影响,有时会阻止迭代算法的收敛,从而提供有意义的结果。本文讨论了普遍存在的项目的现象,并演示了如何忽略这些有显着的影响,计算性能,但与低和控制的影响的结果的意义。
2018-03-29 cs.DB cs.DS
Utility Mining Across Multi-Sequences with Individualized Thresholds
面向效用的模式挖掘已经成为一个新兴的话题,因为它可以揭示高效用模式(例如,项集、规则、序列),比传统的基于频繁/置信度的模式挖掘模型提供了更多的信息。在现实情况下,各种物品的效用并不完全相等;每一物品都有其自身的效用或重要性。一般情况下,用户考虑一个统一的最小效用(细节)阈值来识别高效用序列模式(HUSPs)的集合。这是无法找到有趣的模式,而细节设置极高或极低。我们首先设计了一个新的效用挖掘框架USPT,用于挖掘具有个性化特征的多序列的高效用序列模式。在设计的框架中,每个项目都有自己指定的最小效用阈值。基于字典序贯树和效用数组结构,提出了一个USPT框架来有效地发现HUSP。利用效用的上界,提出了几种剪枝策略,用于在搜索空间的早期对不具希望的候选进行剪枝。在真实数据集和人工数据集上进行的实验表明,该算法能够有效地挖掘具有个性化最小效用阈值的HUSP。
2019-12-25 cs.DB
Mining frequent items in the time fading model
提出了一种基于草图的数据流频繁项挖掘算法FDCMSS。该算法巧妙地结合了向前衰减,计数最小和节省空间算法的关键思想。它工作在时间衰落模型下,根据收银机模型挖掘数据流。我们正式证明了它的正确性,并通过大量的实验结果表明,我们的算法优于$λ$ -HCount,最近开发的算法,在速度,所用的空间,精度达到和错误的合成和真实的数据集。
2016-08-02 cs.DB cs.DS
An Asymptotically Tighter Bound on Sampling for Frequent Itemsets Mining
本文提出了一种新的频繁项集挖掘抽样算法的误差界。我们表明,新的界限是渐近紧比国家的最先进的界限,即,给定所选择的样本,对于足够小的误差概率,新的误差界限大约是现有界限的一半。在此基础上,我们给出了一种新的近似算法,该算法比现有的近似算法简单得多,但在预先计算样本容量的情况下,仍能保证最差的近似误差。我们还给出了一个算法,可以近似的顶部- $k$频繁项集,具有较高的精度和效率。
2017-03-24 cs.DB cs.DS
An Application of Bayesian classification to Interval Encoded Temporal mining with prioritized items
K.S.Rangasamy College of Technology(K.S.兰加萨米理工学院)
在现实生活中,媒体信息具有时间属性,或者隐式地或者显式地称为时态数据。本文研究了应用贝叶斯分类的有用性的时间间隔编码的数据库与优先项目。该方法通过对数据库进行编码来进行时态挖掘,该数据库具有加权项,该加权项从用户的角度根据其重要性对项进行优先级排序。朴素贝叶斯分类有助于使产生的时间规则更有效。所提出的基于优先级的时态挖掘(PBTM)方法添加了分类辅助解决问题,在一个明智的和系统的方式。在电信系统投诉数据库中的实验结果表明了该方法的可行性。
2009-08-07 cs.DB cs.LG
A global constraint for closed itemset mining
University of Oran 1(奥兰第一大学);University of Montpellier(蒙彼利埃大学);University of Caen(卡昂大学)
发现闭频繁模式集是数据采掘的基本问题之一。最近的约束编程(CP)方法的声明性项目集挖掘已经证明了他们的有用性和灵活性。但是,目前CP方法中大量使用的具体化约束给处理高维数据集带来了很多困难。本文提出了一种不需要任何具体化约束和额外变量的CLOSED PATTERN全局约束,有效地编码了闭合频繁模式挖掘(CFPM)约束。CLOSED-PATTERN捕获CFPM问题的特定语义,以确保多项式修剪算法确保域的一致性。我们的约束的计算特性进行了分析,其实际有效性进行了实验评估。
2016-04-17 cs.AI cs.DB
Hierarchical Approach for Online Mining--Emphasis towards Software Metrics
针对静态数据库中的关联规则挖掘,已经提出了几种多遍算法。然而,这样的算法不能在线处理交易流。在本文中,我们介绍了一个有效的单遍算法挖掘关联规则,给定了一个层次分类最重要的项目。处理效率是通过利用两个优化,层次意识的计数和事务减少,这成为可能的上下文中分层分类。本文考虑的问题,集成的约束条件,布尔表达式的存在或不存在的项目到关联发现算法。本文提出了三种基于项目约束的关联规则挖掘算法,并讨论了它们的优缺点。结果表明,在层次分类的背景下,复杂度的变化取决于继承树的深度(DIT)和孩子的数量(NOC)的措施。
2010-03-07 cs.DB
A one-phase tree-based algorithm for mining high-utility itemsets from a transaction database
高效用项集挖掘从事务数据库中发现效用不低于用户定义的固定阈值的项集。项集的效用被定义为其项的效用之和。提出了几种挖掘高效用项集的算法。然而,没有最先进的算法在密集和稀疏数据集上表现一致。在本文中,我们提出了一种新的数据结构称为Utility-Tree,和基于树的算法称为UT-Miner,挖掘高效用项目集在一个阶段,而不产生任何候选人,并使用一个轻量级的建设方法,以减少成本创建投影数据库在搜索空间探索。该算法将事务信息与效用树的每一个节点存储在一起,并在递归调用过程中有效地计算事务信息。在几个真实的密集和稀疏数据集上的实验结果表明,UT-Miner是跨不同数据集的最佳高效算法之一。
2019-11-17 cs.DB cs.DS
Mining Flipping Correlations from Large Datasets with Taxonomies
本文介绍了一种新的模式--翻转相关模式。翻转模式是通过对比不同抽象层次的项目之间的相关性来获得的。它们代表了令人惊讶的正相关和负相关,这些相关对于给定的抽象级别是特定的,并且当项目被概括到更高的抽象级别时,这些相关从正到负“翻转”,反之亦然。我们设计了一个有效的算法,寻找翻转相关性,Flipper算法,它优于天真的模式挖掘方法的几个数量级。我们将Flipper应用于现实生活中的数据集,并表明发现的模式是非冗余的,令人惊讶的和可操作的。Flipper在中低支持度的项集中发现了强烈的对比相关性,而现有技术无法处理在此频率范围内的模式发现。
2011-12-31 cs.DB
Comparing Dataset Characteristics that Favor the Apriori, Eclat or FP-Growth Frequent Itemset Mining Algorithms
Nova Southeastern University(诺瓦东南大学)
频繁项集挖掘是一种流行的数据采掘技术。Apriori、Eclat和FP-Growth是最常用的频繁项集挖掘算法。已经进行了相当多的研究来比较这三种算法之间的相对性能,通过评估每个算法的可扩展性,随着数据集大小的增加。虽然随着数据大小的增加可扩展性很重要,但以前的论文没有研究包含不同项集特征的类似大小的数据集的性能影响。本文探讨了这三个频繁项集算法的性能,两个数据集的特点可以有影响。为了进行这种实证分析,创建了一个数据集生成器来测量频繁项密度和最大事务大小对性能的影响。生成的数据集包含相同数量的行。这提供了对有助于每个算法的数据集特征的一些洞察。本文的研究结果表明,Eclat和FP-Growth都处理的最大事务规模和频繁项集密度的增加,大大优于Apriori算法。本文探讨了这三个频繁项集算法的性能,两个数据集的特点可以有影响。为了进行这种实证分析,创建了一个数据集生成器来测量频繁项密度和最大事务大小对性能的影响。生成的数据集包含相同数量的行。这提供了对有助于每个算法的数据集特征的一些洞察。本文的研究结果表明,Eclat和FP-Growth都处理的最大事务规模和频繁项集密度的增加,大大优于Apriori算法。
2017-01-30 cs.AI cs.DB
A Recursive Algorithm for Mining Association Rules
挖掘频繁项集和关联规则是数据采掘和数据分析中的一项重要任务。在本文中,我们介绍PrefRec,一个递归算法,发现频繁项集和关联规则。它的主要优点是它对项目的递归性。当新项目被添加到数据库或当某些项目被排除时,它对于更新挖掘过程特别有效。我们提出了一个完整的逻辑算法,并给出了它的一些应用。在此基础上,我们对PrefRec的有效性进行了实验研究。我们首先比较了一些非常流行的频繁项集挖掘算法的执行时间。然后,我们做实验来测试我们的算法的更新能力。
2022-02-09 cs.DB math.ST stat.TH
An Improved Approach to High Level Privacy Preserving Itemset Mining
隐私保护关联规则挖掘引发了许多隐私保护数据采掘技术的发展。其中很大一部分使用随机数据失真技术来掩盖数据以进行保存。本文提出了一种新的事务随机化方法,它是伪事务随机化方法和新的每事务随机化方法的结合。这种方法扭曲了每个交易中的项目,并确保了与以前的方法相比更高级别的数据隐私。每交易随机化方法涉及用随机数替换项目的随机化函数,该随机化函数还保护交易内的隐私。还开发了一个工具来实现所提出的方法来挖掘频繁项集和关联规则的数据,保证反单调性。
2010-01-13 cs.DB cs.IR
A Guided FP-growth algorithm for multitude-targeted mining of big data
在本文中,我们提出了GFP-增长(引导FP-增长)算法,一种新的方法,多目标挖掘:找到一个给定的大列表的项目集在大数据的计数。GFP-growth算法的目的是关注特定的多个感兴趣的项集,并优化时间和内存成本。我们证明了GFP增长算法产生所需的项集的确切的频率计数。我们表明,对于许多不同的问题,可以设计一个解决方案,利用多目标挖掘的有效实施来提高性能。特别是,我们详细研究了从不平衡数据中生成少数类规则的问题,这种情况出现在许多现实生活中的领域,如医疗应用,故障预测,网络和网络安全以及维护。我们开发了少数报告算法,使用GFP增长来提高性能。我们证明了少数报告算法的一些理论性质,并使用模拟和真实数据证明其性能增益。
2018-07-04 cs.DB
Fast Algorithms for Mining Interesting Frequent Itemsets without Minimum Support
FAST-National University of Computer and Emerging Science(FAST-国家计算机与新兴科学大学)
真实世界的数据集是稀疏的,脏的,包含数百个项目。在这种情况下,发现有趣的规则(结果)使用传统的频繁项集挖掘方法,通过指定一个用户定义的输入支持度阈值是不合适的。由于没有任何领域知识,设置支持度阈值小或大可能会输出什么或大量冗余的不感兴趣的结果。最近提出了一种新的挖掘N-most/Top-K兴趣频繁项集的方法,该方法在不指定任何用户定义的支持度阈值的情况下发现前N个兴趣结果。然而,挖掘有趣的频繁项集没有最小支持度阈值是更昂贵的项集搜索空间探索和处理成本。因此,它们的挖掘效率在很大程度上取决于三个主要因素:(1)用于项集频率计数的数据库表示方法,(2)相关事务到搜索空间的较低级别节点的投影和(3)算法实现技术。因此,为了提高挖掘过程的效率,在本文中,我们提出了两个新的算法称为(N-MostMiner和Top-K-Miner)使用位向量表示的方法,这是非常有效的项集频率计数和事务投影。除此之外,我们还介绍了N-MostMiner和Top-K-Miner的几种有效实现技术。我们在基准数据集上的实验结果表明,与目前最好的算法BOMO和TFP相比,NMostMiner和Top-K-Miner在处理时间方面非常有效。
2009-04-21 cs.AI cs.DB cs.DS