A Frequent Closed Itemsets Lattice-based Approach for Mining Minimal Non-Redundant Association Rules
为了提高频繁项集或频繁闭项集的挖掘速度,已有许多算法被提出。然而,对关联规则生成时间的处理算法还没有得到深入的研究。实际上,在一个数据库包含许多FI/FCI(从数万到数百万)的情况下,生成关联规则的时间远远大于挖掘FI/FCI的时间。因此,本文提出了一种应用频繁闭项集格(FCIL)挖掘最小非冗余关联规则(MNAR),以减少大量的时间生成规则。首先,我们使用CHARM-L来建立FCIL。在此基础上,提出了一种基于FCIL的MNAR快速生成算法。实验结果表明,该算法在挖掘时间上比基于频繁项集格的算法有明显的提高。
2011-08-26 cs.DB
A Fast Minimal Infrequent Itemset Mining Algorithm
提出了一种新的在大数据集上寻找准标识符的快速算法。广泛的数据集上的性能测量表明,相对于最先进的技术和算法的可扩展性,以实际大小的数据集高达数百万条记录的运行时间大幅减少。
2014-10-16 cs.DB
Mining Frequent Itemsets Using Genetic Algorithm
通常,频繁项集是通过应用关联规则挖掘算法,如Apriori,Partition,Pincer-Search,Incremental,Border算法等,从大数据集中生成的。这需要花费太多的计算机时间来计算所有的频繁项集。通过使用遗传算法(GA),我们可以改善的情况下。使用遗传算法发现频繁项集的主要优点是它可以进行全局搜索,并且由于遗传算法是基于贪婪方法的,因此其时间复杂度比其他算法要低。本文的主要目的是利用遗传算法从给定的数据集中找到所有的频繁项集。
2010-11-01 cs.DB
FRI-Miner: Fuzzy Rare Itemset Mining
数据采掘是一种广泛应用于数据分析的各种实际应用的技术,对于在事务数据库中发现有价值的关联规则非常重要。兴趣项集挖掘在市场、电子商务、金融、医疗等领域有着重要的应用。迄今为止,各种基于频繁模式的数据采掘算法已经得到了广泛的研究,但很少有算法专注于挖掘不频繁或稀有模式。在某些情况下,稀有项集和稀有关联规则在实际应用中也起着重要的作用。本文介绍了一种新的基于模糊的稀有项集挖掘算法FRI-Miner,该算法应用具有语言学意义的模糊理论,在定量数据库中发现有价值的、有趣的模糊稀有项集。此外,FRI-Miner利用模糊列表结构来存储重要信息,并应用多种剪枝策略来减少搜索空间。实验结果表明,FRI-Miner算法能够在考虑现实中的量化价值的基础上,发现更少、更有趣的项目集。此外,它在有效性方面明显优于最先进的算法(w.r.t.不同类型的导出图案)和效率(w.r.t.运行时间和内存使用)。
2021-03-11 cs.DB
Targeted Mining of Top-k High Utility Itemsets
发现数据中的高重要性模式是一个新兴的数据采掘任务,称为高效用项集挖掘(HUIM)。给定一个最小效用阈值,HUIM算法提取所有效用值不小于该阈值的高效用项集。这可以揭示大量有用的信息,但没有很好地考虑到用户的确切需求。特别是,用户通常希望关注具有某些特定项的模式,而不是查找所有模式。为了克服这一困难,出现了有针对性的挖掘,重点是用户的偏好,但只进行了初步工作。例如,提出了目标高效用项集查询算法(TargetUM),该算法使用字典树来查询包含目标模式的项集。然而,当用户不熟悉所处理的数据库时,选择最小效用阈值是困难的。作为解决方案,本文提出了top-k高效用项集的目标挖掘任务,并在TargetUM算法的基础上提出了一种高效的top-k目标高效用项集(top-k THUIs)挖掘算法TMKU。同时,采用多种剪枝策略来减少内存消耗和执行时间。大量的实验表明,所提出的TMKU算法在真实和合成数据集上具有良好的性能。
2023-03-25 cs.DB
Similarity Data Item Set Approach: An Encoded Temporal Data Base Technique
数据采掘已被广泛认为是一个强大的工具,探索从大型数据库的附加值。在关联规则的数据采掘过程中,发现数据库中的频繁项集是一个关键问题。为了寻找频繁项集,人们提出了许多算法。本文提出了一个总结和比较研究的可用FP增长算法的变化产生的挖掘频繁项目集显示其能力和效率方面的时间和内存消耗的关联规则挖掘,考虑到具体的信息的应用。提出了基于模式增长挖掘范式的FP-树增长算法,该算法采用树结构来压缩数据库。性能研究表明,反FP-增长方法对于挖掘长、短频繁模式都是有效的、可扩展的,比Apriority算法快一个数量级,也比最近报道的一些新的频繁模式挖掘算法快。
2010-03-22 cs.DB
Multi-Sorted Inverse Frequent Itemsets Mining
为新兴的“大数据”应用开发新的平台和技术需要为数据驱动的实验提供现实生活中的数据集,然而在大多数情况下,这对于学术研究来说是遥不可及的,因为它们通常是专有的。一个可能的解决方案是使用反映真实模式的合成数据集,以确保高质量的实验结果。在这个方向上的第一步是使用反向挖掘技术,如反向频繁项集挖掘(IFM),它包括生成一个事务数据库,满足给定的支持约束的项目集在一个输入集中,通常是频繁的。本文介绍了IFM的一种扩展,称为多排序IFM,其中要生成的数据集的方案是新兴大数据应用中所需的大表的典型方案,例如,社交网络分析
2013-10-15 cs.DB
Probabilistic Frequent Pattern Growth for Itemset Mining in Uncertain Databases (Technical Report)
不确定事务数据库中的频繁项集挖掘在语义和计算上不同于传统的应用于标准(确定)事务数据库的技术。不确定事务数据库由存在不确定项的集合组成。交易项目的不确定性使得传统的技术不适用。在本文中,我们解决的问题,发现概率频繁项集的基础上可能世界语义。在此上下文中,如果X在至少minSup事务中出现的概率高于给定阈值,则项集X被称为频繁项集。我们做了以下贡献:我们提出了第一个概率FP-Growth算法(ProFP-Growth)和相关的概率FP-Tree(ProFP-Tree),我们使用它来挖掘不确定事务数据库中的所有概率频繁项集,而无需候选生成。此外,我们提出了一个有效的技术来计算的支持概率分布的项目集在线性时间使用生成函数的概念。一个广泛的实验部分评估我们提出的技术,并表明我们的ProFP-Growth方法是显着快于目前最先进的算法。
2010-08-13 cs.DB
Mining Frequent Itemsets (MFI) over Data Streams: Variable Window Size (VWS) by Context Variation Analysis (CVA) of the Streaming Transactions
针对数据流中频繁项挖掘所面临的窗口大小可变和存储空间不足的问题,提出了一种基于数据流的频繁项挖掘方法。为了检查流事务中上下文变化的变化点,我们开发了一种窗口结构,该窗口结构将在两个级别上,并支持即时固定窗口大小,控制异质性,并确保添加到窗口中的事务之间的同质性。为了最小化内存利用率、计算成本并提高进程可扩展性,该设计将允许在窗口级别固定覆盖或支持。在本文中,介绍了从窗口中增量挖掘频繁项集和上下文变化分析方法。我们在本文档中介绍的完整技术被命名为使用上下文变化分析固定的可变窗口大小的频繁项集挖掘(MFI-VWS-CVA)。在特定的项集中,频繁项集和非频繁项集之间有着明确的界限。在这个设计中,我们使用窗口大小的变化来表示信息流中的概念漂移。可以说,只要在有效地设置窗口大小方面存在问题,项集就会变得不频繁。我们已经执行和记录的实验证明,我们所设计的算法是比现有的效率更高。
2014-08-14 cs.DB
Discovery of Maximal Frequent Item Sets using Subset Creation
数据采掘是从大量数据中发现数据模式的实践。数据采掘使用数学算法对数据进行分组并评估未来事件。关联规则是知识发现领域的一个研究方向。许多数据采掘研究者通过引入效用、销售商品数量等影响因素以及挖掘关联数据模式来提高关联规则的质量。在本文中,我们提出了一个有效的算法,首先找到最大频繁项集。大多数关联规则算法都是先找到最小频繁项,再借助最小频繁项集求出最大频繁项集,这样的方法在寻找最大频繁项集上花费了较多的时间。为了克服这个问题,我们提出了一种新的方法来寻找最大频繁项集直接使用子集的概念。所提出的方法被发现是有效的,在寻找最大频繁项集。
2013-02-07 cs.DB
An Improvised Frequent Pattern Tree Based Association Rule Mining Technique with Mining Frequent Item Sets Algorithm and a Modified Header Table
在今天的世界中,有大量的数据广泛可用,因此需要将这些数据转化为有用的信息,即知识。这种对知识发现过程的需求导致了许多用于确定关联规则的算法的发展。这些算法面临的主要问题之一是候选集的生成。FP树算法是关联规则挖掘的首选算法之一,因为它给出关联规则而不产生候选集。但是在这个过程中,产生了大量的CP树,降低了效率。本文提出了一种改进的FP树算法,该算法通过修改头表、备用表和MFI算法来进行关联规则挖掘。该算法不使用候选集和CP树来生成频繁项集。
2015-04-27 cs.DB
Mining Frequent Itemsets over Uncertain Databases
近年来,由于不确定数据的广泛应用,在不确定数据库上挖掘频繁项集引起了人们的广泛关注。在不确定数据库中,项集的支持度是一个随机变量,而不是该项集的固定出现次数。因此,与确定性数据库中频繁项集有唯一定义的相应问题不同,不确定环境下的频繁项集到目前为止有两种不同的定义。第一种定义称为基于期望支持度的频繁项集,它用一个项集的支持度的期望值来衡量这个项集是否频繁。第二个定义,称为概率频繁项集,使用项集的支持概率来度量其频率。因此,现有的不确定数据库中挖掘频繁项集的工作被分为两个不同的组,没有研究进行全面比较这两种不同的定义。此外,由于不存在统一的实验平台,目前针对同一定义的解决方案甚至会产生不一致的结果。在本文中,我们首先旨在澄清这两个不同的定义之间的关系。通过大量的实验,我们验证了这两个定义有紧密的联系,并可以统一在一起,当数据量足够大。其次,我们提供了基线实现现有的八个代表性的算法,并测试他们的性能与统一的措施公平。最后,通过对不同基准数据集的公平性检验,澄清了现有的一些不一致结论,并讨论了一些新的发现。
2012-08-01 cs.DB
Maximal frequent itemset generation using segmentation approach
在数据源中发现频繁项集是关联规则挖掘的基本操作。通常,许多算法使用自底向上或自顶向下的方法来寻找这些频繁项集。当频繁项集的长度很大时,传统的频繁项集发现算法需要找到从1-长度到n-长度的所有频繁项集,这是一个比较困难的过程。这个问题可以通过挖掘最大频繁项集(MFS)来解决。最大频繁项集是指没有合适的频繁超集的频繁项集。因此,仅生成最大频繁项集减少了项集的数量,并且还减少了生成所有频繁项集所需的时间,因为每个长度为m的最大项集意味着存在2 m-2个频繁项集。此外,在许多数据采掘应用中,如最小密钥发现和理论提取,只挖掘最大频繁项集是足够的。本文提出了一种新的方法来寻找最大频繁项集从巨大的数据源使用的概念,数据源的分割和优先级的片段。实证评估表明,该方法优于其他各种已知的方法。
2011-09-12 cs.DB
DiffNodesets: An Efficient Structure for Fast Mining Frequent Itemsets
频繁项集的挖掘是数据采掘中的一个基本问题,在数据采掘的许多应用中起着重要的作用。近年来,人们提出了一些基于节点集的项集表示方法,这些方法对于挖掘频繁项集非常有效。在本文中,我们提出了DiffNodeset,一种新的和更有效的项集表示,挖掘频繁项集。基于DiffNodeset结构,提出了一种高效的频繁项集挖掘算法dFIN。为了提高效率,dFIN采用集合枚举树和混合搜索策略来寻找频繁项集,在某些情况下不需要生成候选项集而直接枚举频繁项集。为了评估dFIN的性能,我们进行了大量的实验,将其与各种真实和合成数据集上的现有领先算法进行比较。实验结果表明,dFIN是显着的速度比这些领先的算法。
2015-07-06 cs.DB cs.DS
Efficient Support Coupled Frequent Pattern Mining Over Progressive Databases
最近有很多关于序列模式挖掘的研究。渐进式数据库上的序列模式挖掘是一个比较新的方法,它是在感兴趣的时间段内逐步发现序列模式。感兴趣的时间段是一个随着时间的推移而不断前进的滑动窗口。随着滑动窗口焦点的变化,新项被添加到感兴趣的数据集中,过时的项被从中删除并成为最新的。一般来说,现有的建议没有充分探讨现实世界的情况下,如项目与支持数据流应用程序,如购物篮分析。因此,从支持的频繁项中挖掘重要知识成为一个重要的研究课题。我们提出的新方法有效地挖掘频繁序列模式加上支持使用渐进挖掘树。
2010-05-29 cs.DB
Association Rule Mining Based On Trade List
提出了一种基于频繁项集的挖掘算法。Apriori算法每次发现频繁项集时都要扫描数据库,因此非常耗时,而且每一步都要生成候选项集。在无向项集图中,它是对先验知识的改进,但生成树需要时间和空间。定义的算法在开始时只扫描数据库一次,然后从扫描的数据库中生成贸易清单。它包含了整个数据库的信息。它通过考虑最小支持度来寻找频繁项集,并通过考虑最小置信度来生成关联规则。当数据库和最小支持度发生变化时,新算法通过扫描交易列表来发现新的频繁项。因此,与传统算法相比,它的执行效率有了明显的提高。
2012-02-22 cs.DB
Quantum Computing and Data Processing for Frequent Itemset Mining
National Taiwan University(台湾大学);National Chengchi University(国立政治大学);Academia Sinica(中央研究院);The Pennsylvania State University(宾夕法尼亚州立大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
提出量子频繁项集挖掘框架QFM,通过比特向量量子比特编码、挖掘感知候选叠加和比特并行阈值标记三种机制,在IBM Qiskit和Amazon Braket上实现,理论分析和实验表明优于基线方法。
2026-06-29 cs.DB
Mining Frequent Itemsets from Secondary Memory
频繁项集挖掘是关联规则挖掘的核心,目前在算法上已经得到了很好的理解。然而,大多数挖掘频繁项集的算法都假设主存储器足够大以容纳挖掘中使用的数据结构,很少有有效的算法处理数据库很大或最小支持度很低的情况。从一个非常大的数据库中挖掘频繁项集带来了新的挑战,因为商业,科学和政府中普遍记录了天文数字数量的原始数据。本文讨论了当数据结构太大而无法装入主存时,挖掘频繁项集的方法。给出了几种分而治之的磁盘挖掘算法。介绍了许多新技术。实验结果表明,该技术减少了所需的磁盘访问的数量级,并使真正可扩展的数据采掘。
2004-05-20 cs.DB cs.IR
A Model-Based Frequency Constraint for Mining Associations from Transaction Data
频繁项集挖掘是一种在数据库中发现关联项的常用方法。对于这种方法,支持度,形成关联的项目的共现频率,被用作关联的重要性的主要指标。使用单个用户指定的支持阈值来决定是否应进一步调查关联。支持有一些已知的问题,罕见的项目,有利于较短的项目集,有时产生误导性的协会。在本文中,我们开发了一种新的基于模型的频率约束作为一个单一的,用户指定的最小支持的替代。该约束通过应用简单的随机混合模型(NB模型)来利用生成事务数据的过程的知识,该模型允许事务数据的通常高度偏斜的项目频率分布。用户指定的精度阈值与模型一起使用,以找到项目集组的局部频率阈值。在此基础上,提出了NB-频繁项集的概念,并提出了一种挖掘算法来发现数据库中所有的NB-频繁项集。在公开的交易数据库的实验中,我们表明,新的约束提供了一个单一的最小支持阈值的改进和精度阈值是更强大的,更容易设置和解释的用户。
2008-03-21 cs.DB
Mining Top-K Co-Occurrence Items
频繁项集挖掘是数据采掘中的一个基本问题,在关联分析、分类等数据采掘任务中发挥着重要作用。然而,在一些应用中,例如推荐系统和社交网络,人们更感兴趣的是找出数据库中与某些用户指定的项集(查询项集)一起出现最频繁的项。在本文中,我们解决这个问题,提出了一个新的挖掘任务命名为top-k共现项目挖掘,其中k是所需的项目数被发现。然后,我们引入了一种特殊的数据结构Pi-Tree(Prefix itemset Tree)来维护项目集的信息。基于Pi-Tree,提出了两种挖掘top-k共现项的算法:PT(Pi-Tree-based algorithm)和PT-TA(Pi-Tree-based algorithm with TA pruning),并结合了几种新的搜索空间修剪策略以提高挖掘效率。PT和PT-TA的性能进行了评估,对四个建议的基线算法在合成和真实的数据库。大量的实验表明,PT不仅在执行时间上大大优于其他算法,而且具有良好的可扩展性。
2015-12-24 cs.DB cs.DS
Beyond Frequency: Utility Mining with Varied Item-Specific Minimum Utility
面向效用的挖掘是效用理论与数据采掘相结合的产物,是理解经济消费者行为的有效工具。传统的挖掘高效用模式(High-utilizationPatterns,HUP)的算法采用单一/统一的最小高效用阈值(minutil)来获取HUP集合,但在现实生活中,某些特定的产品可能带来较低的效用,但它们的利润可能提供一些重要的信息。然而,如果细节设置为高,则丢失具有低细节的图案;如果细节设置为低,则图案的数量变得难以管理。本文提出了一种高效的单阶段面向效用的模式挖掘算法HIMU,用于挖掘具有不同项目特定最小效用的HUP。在HIMU中引入了一种新的树结构--多项效用集枚举树(MIU-tree)、全局排序和条件下闭包性质。此外,我们扩展了紧凑的实用程序列表结构,以保持必要的信息,因此,这种一阶段HIMU模型大大降低了计算成本和内存需求。此外,两个修剪策略,然后扩展,以提高性能。我们在几个合成和真实世界的数据集上进行了广泛的实验;结果表明,所设计的单阶段HIMU算法可以解决“稀有项问题”,并且在运行时间,内存使用和可扩展性方面具有比最先进的算法更好的性能。此外,增强的算法优于非优化的HIMU方法。
2019-02-25 cs.DB
Top Down Approach to find Maximal Frequent Item Sets using Subset Creation
关联规则是知识发现领域的一个研究热点。数据采掘的研究人员已经提高了业务发展的关联规则挖掘的质量,通过纳入影响因素,如价值(效用),销售项目的数量(重量)和更多的关联模式的挖掘。在本文中,我们提出了一个有效的方法来寻找最大频繁项集第一。文献中的算法大多先求出最小频繁项,然后借助最小频繁项集求出最大频繁项集。这些方法在寻找最大频繁项集上花费了较多的时间。为了克服这个问题,我们提出了一种直接使用子集的概念来寻找最大频繁项集的方法。所提出的方法被发现是有效的,在寻找最大频繁项集。
2012-10-31 cs.DB
An Optimized Weighted Association Rule Mining On Dynamic Content
关联规则挖掘的目的是从大型事务数据库中挖掘关联规则。经典的关联规则挖掘模型假设所有项目具有相同的重要性,而不考虑它们的权重。它也忽略了事务之间的差异和每个项集的重要性。但是,加权关联规则挖掘(WARM)不适用于只有二进制属性的数据库。它利用了每个项集和事务的重要性。WARM要求每个项目都被赋予权重,以反映它们对用户的重要性。权重可以对应于某些产品的特别促销或不同项目的盈利能力。本研究工作首先集中在基于有向图的权重分配,其中节点表示项目,链接表示关联规则。HITS的广义版本应用于图中的项目排名,其中所有节点和链接都允许有权重。然后,本研究通过开发一种在线特征向量计算方法来使用增强的HITS算法,该方法可以在频繁更新的情况下计算相互强化投票的结果。例如,在股票市场上,股票价格可能下跌或上涨。因此,我们需要仔细观察市场,我们的关联规则挖掘必须产生发生频繁变化的项目。这些都是通过估计扰动的上界和推迟更新尽可能。接下来我们证明了在动态数据的情况下,改进的算法比原来的HITS算法更有效。
2010-04-20 cs.DB
Mining Target-Oriented Sequential Patterns with Time-Intervals
面向目标的序列模式是指在模式末尾有一个关注项集的序列模式。时间间隔序列模式是指每对连续项集之间具有时间间隔的序列模式。本文提出了一种基于时间间隔的面向目标序列模式发现算法。为此,原始序列被颠倒,使得最后的项集可以被排列在序列的前面。然后利用反向序列与相关项集的对比度来排除不相关序列。利用聚类分析和典型的序列模式挖掘算法,提取连续项集之间具有时间间隔的序列模式。最后,将发现的时间间隔序列模式再次反转到原始顺序以搜索目标模式。
2010-09-05 cs.DB
Integrity Verification for Outsourcing Uncertain Frequent Itemset Mining
近年来,由于不确定数据的广泛应用(例如,噪声数据),不确定数据库上的不确定频繁项集(UFI)挖掘引起了人们的广泛关注.作为关联规则挖掘过程中成本最高的任务,已经表明将该任务外包给服务提供商(例如,第三方云)给数据所有者带来了几个好处,例如成本减轻以及对存储和计算资源的较少承诺。然而,如果服务提供者具有随机错误或不诚实(例如,懒惰、恶意等)。因此,本文重点研究外包过程中UFI挖掘问题中的完整性和验证问题,即,数据所有者如何验证挖掘结果。具体来说,我们探索和扩展现有的工作确定性FI外包验证不确定的情况下。为此,我们将现有的外包FI采矿工作扩展到不确定的区域w.r.t.两种流行的UFI定义标准和近似UFI挖掘方法。具体地说,我们构造和改进的基本/增强的验证方案与这种不同的UFI定义。在此之后,我们进一步讨论了现有的近似UFP挖掘的情况下,我们可以看到,我们的技术可以提供良好的概率保证的正确性的验证。最后,对本文提出的方案进行了比较和分析。
2013-07-12 cs.DB
Users Constraints in Itemset Mining
CNRS(法国国家科学研究中心);University of Montpellier(蒙彼利埃大学);University of Oran 1(奥兰第一大学);CRIL, University of Artois(阿尔图瓦大学CRIL实验室)
发现重要项集是数据采掘的基本问题之一。最近的研究表明,约束编程是解决数据采掘任务的一种灵活的方法。使用约束编程方法,我们可以很容易地表达和有效地回答用户对项目的约束查询。然而,在许多实际情况下,查询也可能表达用户对数据集本身的约束。例如,请求数据集特定部分中的特定项集。本文提出了一个通用的约束规划模型,能够处理任何类型的查询的项目或数据集的项目集挖掘。
2018-02-08 cs.AI cs.DB
ALPINE: Anytime Mining with Definite Guarantees
ALPINE是第一个挖掘频繁项集和闭频繁项集的算法。它保证在继续之前,已经找到了支持度超过当前检查点支持度的所有项集。因此,它对于具有非常高维数据的超长挖掘任务(例如遗传学)非常有吸引力,因为它可以提供中间有意义和完整的结果。这个ANYTIME功能是ALPINE最重要的贡献,它也很快,但不一定是最快的算法。ALPINE的另一个关键优点是它不需要先验决定的最小支持值。
2016-10-24 cs.DB
Utility-based Privacy Preserving Data Mining
本文针对周期性模式挖掘中的隐私保护问题,扩展PPUM框架并提出MU-MAP和MU-MIP两种算法,通过SISL和SIL数据结构高效隐藏敏感周期性高效用项集,实验证明其在不引入误导性模式的同时保持超过90%的数据库效用相似度。
2025-09-19 cs.DB
An Efficient Data Structure for Fast Mining High Utility Itemsets
在本文中,我们提出了一种新的数据结构称为PUN-list,它既保持了项目集的效用信息和效用上界,以方便挖掘高效用项目集的处理。基于PUN-Lists,提出了一种快速挖掘高效用项集的方法MIP(Mining high utility Itemset using PUN-Lists)。MIP的效率是通过三种技术来实现的。首先,项目集由一种高度压缩的数据结构PUN-列表表示,避免了代价高昂的重复效用计算。其次,通过扫描项集的PUN-列表可以有效地计算项集的效用,并且通过短项集的PUN-列表可以快速构造长项集的PUN-列表。第三,通过采用效用上界躺在PUN列表作为修剪策略,MIP直接发现高效用项目集的搜索空间,称为集合枚举树,而不产生大量的候选人。在各种合成数据集和真实数据集上的大量实验表明,PUN-list是非常有效的,因为MIP比最近报道的算法平均快至少一个数量级。
2015-10-08 cs.DB cs.DS
Frequent Patterns mining in time-sensitive Data Stream
在静态数据库中挖掘频繁项集已被广泛研究和应用,并且一直被认为是一项极具挑战性的任务。因此,将其扩展到数据流领域是很有趣的。在流媒体的情况下,频繁模式的挖掘有更多的信息要跟踪和更大的复杂性来管理。不常见的项目可能会在以后变得频繁,因此不能被忽略。输出结构需要动态地增加,以反映项集频率随时间的演变。在本文中,我们研究这个问题,特别是挖掘时间敏感的数据流的方法。我们试图通过增加时间精度来改进现有的算法,并通过添加一个新的概念称为“振动点”来丢弃过时的数据。我们还提出了一些实验,说明所需的时间和空间。
2012-06-05 cs.DB
Cross-level Privacy Preserving Utility Mining
Jinan University(暨南大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出跨层级隐私保护效用挖掘方法,通过三种算法保护泛化项,设计GI-dic字典加速计算,实验证明其在稀疏数据集和低阈值情况下表现优异。
2026-04-28 cs.DB
A comparative study of top-k high utility itemset mining methods
高效用项集(HUI)挖掘问题是数据采掘领域的重要问题之一。这个问题提供了更大的灵活性,决策者将她/他的概念的效用模式挖掘过程。然而,这个问题需要决策者选择一个最小的效用阈值来发现有趣的模式。由于不同的项集特征及其效用分布,这是相当具有挑战性的。为了解决这个问题,Top-K高效用项目集(THUI)挖掘问题在文献中被引入。THUI挖掘问题主要是HUI挖掘问题的一个变体,它允许决策者指定所需的HUI数量,而不是最小效用阈值。在文献中已经引入了几种算法来有效地挖掘前k个HUI。本文系统地分析了文献中的top-k HUI挖掘方法,对方法进行了描述,并进行了比较分析。本文还介绍和分析了高效top-k HUI挖掘所采用的数据结构、阈值提高策略和剪枝策略。此外,本文回顾了top-k HUI挖掘问题的几个扩展,如数据流挖掘,序列模式挖掘和货架效用挖掘。本文可能有助于研究人员研究top-k HUI挖掘的关键方法,评估文献中的空白,探索新的研究机会,并提高高效用模式挖掘的最新水平。
2018-09-04 cs.DB cs.DS
Improvised Apriori Algorithm using frequent pattern tree for real time applications in data mining
Apriori算法是从大型数据库中提取频繁项集并获取关联规则的重要算法之一。它基本上需要两个重要的东西:最低限度的支持和最低限度的信任。首先,我们检查项目是否大于或等于最小支持度,我们分别找到频繁项目集。其次,利用最小置信度约束形成关联规则。在此基础上,指出了原Apriori算法在频繁项集上扫描整个数据库搜索时浪费时间和空间的局限性,并提出了一种改进的Apriori算法。
2014-11-23 cs.DB
Parallel algorithms for mining of frequent itemsets
Czech Technical University in Prague(布拉格捷克技术大学);Institute of Computer Science(计算机科学研究所)
近十年来,企业开始收集大量数据。如果没有正确的分析,这些数据通常是无用的。分析数据的领域称为数据采掘。不幸的是,数据量非常大:数据不适合主内存,处理时间可能会变得非常巨大。因此,我们需要并行的数据采掘算法。频繁项集的生成算法是数据采掘中一个重要的算法。挖掘频繁项集的问题可以用下面的例子来解释:顾客走进一家商店,把一些商品放进他们的篮子里;商店的老板收集篮子,想知道至少有p%的篮子里一起购买的商品的集合。目前,挖掘频繁项集的顺序算法在性能上都比较好。然而,频繁项集挖掘的并行算法仍然没有达到很好的加速比。在这篇论文中,我们发展了一个在分散式记忆体平行电脑上,可用于任意深度优先搜寻顺序算法的平行频繁项目集挖掘方法。我们的方法在10个处理器上实现了~ 6的加速比。该方法基于对数据库样本的处理器负载的近似估计-然而,它总是从整个数据库计算频繁项集的集合。在这篇论文中,我们展示了我们的方法的理论基础,并显示了估计过程的性能。
2021-08-11 cs.DB cs.LG
Pattern Detection with Rare Item-set Mining
随着可用数据量的爆炸式增长,在大型数据集中发现新的和有趣的模式,称为数据采掘,引起了越来越多的兴趣。数据采掘技术可以应用于不同的领域和领域,如计算机科学,卫生部门,保险,国土安全,银行和金融等,在本文中,我们感兴趣的发现一个特定类别的模式,被称为罕见的和不存在的模式。我们提出了一种新的方法对非本模式的发现使用稀有项集挖掘。
2012-09-14 cs.DB cs.SE
Frequent Item-set Mining without Ubiquitous Items
频繁项目集挖掘(Frequent Item-set Mining,缩写为EIM),有时也称为市场篮分析(Market Basket Analysis,MBA)或关联规则学习(Association Rule Learning,ARL),是一种机器学习(Machine Learning,ML)方法,用于从项目的交易数据集创建规则。大多数方法根据对该假设的支持(即项目的最小相对共现数)来确定可能在交易中一起出现的项目。虽然这是一个很好的指标,以衡量这些项目可能出现在一起的假设的相关性,非常频繁的项目,称为无处不在的项目的现象,没有解决在大多数算法。普适项具有与不频繁项相同的熵,并且对知识没有显著贡献。另一方面,它们对算法的性能有很强的影响,有时会阻止迭代算法的收敛,从而提供有意义的结果。本文讨论了普遍存在的项目的现象,并演示了如何忽略这些有显着的影响,计算性能,但与低和控制的影响的结果的意义。
2018-03-29 cs.DB cs.DS
Utility Mining Across Multi-Sequences with Individualized Thresholds
面向效用的模式挖掘已经成为一个新兴的话题,因为它可以揭示高效用模式(例如,项集、规则、序列),比传统的基于频繁/置信度的模式挖掘模型提供了更多的信息。在现实情况下,各种物品的效用并不完全相等;每一物品都有其自身的效用或重要性。一般情况下,用户考虑一个统一的最小效用(细节)阈值来识别高效用序列模式(HUSPs)的集合。这是无法找到有趣的模式,而细节设置极高或极低。我们首先设计了一个新的效用挖掘框架USPT,用于挖掘具有个性化特征的多序列的高效用序列模式。在设计的框架中,每个项目都有自己指定的最小效用阈值。基于字典序贯树和效用数组结构,提出了一个USPT框架来有效地发现HUSP。利用效用的上界,提出了几种剪枝策略,用于在搜索空间的早期对不具希望的候选进行剪枝。在真实数据集和人工数据集上进行的实验表明,该算法能够有效地挖掘具有个性化最小效用阈值的HUSP。
2019-12-25 cs.DB
Mining frequent items in the time fading model
提出了一种基于草图的数据流频繁项挖掘算法FDCMSS。该算法巧妙地结合了向前衰减,计数最小和节省空间算法的关键思想。它工作在时间衰落模型下,根据收银机模型挖掘数据流。我们正式证明了它的正确性,并通过大量的实验结果表明,我们的算法优于$λ$ -HCount,最近开发的算法,在速度,所用的空间,精度达到和错误的合成和真实的数据集。
2016-08-02 cs.DB cs.DS
Frequent itemsets mining for database auto-administration
随着一般数据库和特别是数据仓库的广泛发展,减少数据库管理员必须手动执行的任务是重要的。自动管理系统的目标是自动管理和适应自己,而不会损失(甚至获得)性能。使用数据采掘技术从数据本身中提取有用的管理知识的想法已经存在了一些年。然而,很少有研究取得了成果。然而,这个想法仍然是一个非常有前途的方法,特别是在数据仓库领域,查询是非常异构的,不能很容易地解释。本研究的目的是寻找一种从存储的数据中提取有用知识的方法,以自动应用性能优化技术,特别是索引技术。我们设计了一个工具,从给定的工作负载中提取频繁项集来计算索引配置,以帮助优化数据访问时间。我们执行的实验表明,我们的工具生成的索引配置允许在测试数据库和测试数据仓库上获得15%到25%的性能提升。
2008-09-16 cs.DB
Hierarchical Approach for Online Mining--Emphasis towards Software Metrics
针对静态数据库中的关联规则挖掘,已经提出了几种多遍算法。然而,这样的算法不能在线处理交易流。在本文中,我们介绍了一个有效的单遍算法挖掘关联规则,给定了一个层次分类最重要的项目。处理效率是通过利用两个优化,层次意识的计数和事务减少,这成为可能的上下文中分层分类。本文考虑的问题,集成的约束条件,布尔表达式的存在或不存在的项目到关联发现算法。本文提出了三种基于项目约束的关联规则挖掘算法,并讨论了它们的优缺点。结果表明,在层次分类的背景下,复杂度的变化取决于继承树的深度(DIT)和孩子的数量(NOC)的措施。
2010-03-07 cs.DB
An Application of Bayesian classification to Interval Encoded Temporal mining with prioritized items
K.S.Rangasamy College of Technology(K.S.兰加萨米理工学院)
在现实生活中,媒体信息具有时间属性,或者隐式地或者显式地称为时态数据。本文研究了应用贝叶斯分类的有用性的时间间隔编码的数据库与优先项目。该方法通过对数据库进行编码来进行时态挖掘,该数据库具有加权项,该加权项从用户的角度根据其重要性对项进行优先级排序。朴素贝叶斯分类有助于使产生的时间规则更有效。所提出的基于优先级的时态挖掘(PBTM)方法添加了分类辅助解决问题,在一个明智的和系统的方式。在电信系统投诉数据库中的实验结果表明了该方法的可行性。
2009-08-07 cs.DB cs.LG
A global constraint for closed itemset mining
University of Oran 1(奥兰第一大学);University of Montpellier(蒙彼利埃大学);University of Caen(卡昂大学)
发现闭频繁模式集是数据采掘的基本问题之一。最近的约束编程(CP)方法的声明性项目集挖掘已经证明了他们的有用性和灵活性。但是,目前CP方法中大量使用的具体化约束给处理高维数据集带来了很多困难。本文提出了一种不需要任何具体化约束和额外变量的CLOSED PATTERN全局约束,有效地编码了闭合频繁模式挖掘(CFPM)约束。CLOSED-PATTERN捕获CFPM问题的特定语义,以确保多项式修剪算法确保域的一致性。我们的约束的计算特性进行了分析,其实际有效性进行了实验评估。
2016-04-17 cs.AI cs.DB
Mining Flipping Correlations from Large Datasets with Taxonomies
本文介绍了一种新的模式--翻转相关模式。翻转模式是通过对比不同抽象层次的项目之间的相关性来获得的。它们代表了令人惊讶的正相关和负相关,这些相关对于给定的抽象级别是特定的,并且当项目被概括到更高的抽象级别时,这些相关从正到负“翻转”,反之亦然。我们设计了一个有效的算法,寻找翻转相关性,Flipper算法,它优于天真的模式挖掘方法的几个数量级。我们将Flipper应用于现实生活中的数据集,并表明发现的模式是非冗余的,令人惊讶的和可操作的。Flipper在中低支持度的项集中发现了强烈的对比相关性,而现有技术无法处理在此频率范围内的模式发现。
2011-12-31 cs.DB
A Recursive Algorithm for Mining Association Rules
挖掘频繁项集和关联规则是数据采掘和数据分析中的一项重要任务。在本文中,我们介绍PrefRec,一个递归算法,发现频繁项集和关联规则。它的主要优点是它对项目的递归性。当新项目被添加到数据库或当某些项目被排除时,它对于更新挖掘过程特别有效。我们提出了一个完整的逻辑算法,并给出了它的一些应用。在此基础上,我们对PrefRec的有效性进行了实验研究。我们首先比较了一些非常流行的频繁项集挖掘算法的执行时间。然后,我们做实验来测试我们的算法的更新能力。
2022-02-09 cs.DB math.ST stat.TH
An Improved Approach to High Level Privacy Preserving Itemset Mining
隐私保护关联规则挖掘引发了许多隐私保护数据采掘技术的发展。其中很大一部分使用随机数据失真技术来掩盖数据以进行保存。本文提出了一种新的事务随机化方法,它是伪事务随机化方法和新的每事务随机化方法的结合。这种方法扭曲了每个交易中的项目,并确保了与以前的方法相比更高级别的数据隐私。每交易随机化方法涉及用随机数替换项目的随机化函数,该随机化函数还保护交易内的隐私。还开发了一个工具来实现所提出的方法来挖掘频繁项集和关联规则的数据,保证反单调性。
2010-01-13 cs.DB cs.IR
A Guided FP-growth algorithm for multitude-targeted mining of big data
在本文中,我们提出了GFP-增长(引导FP-增长)算法,一种新的方法,多目标挖掘:找到一个给定的大列表的项目集在大数据的计数。GFP-growth算法的目的是关注特定的多个感兴趣的项集,并优化时间和内存成本。我们证明了GFP增长算法产生所需的项集的确切的频率计数。我们表明,对于许多不同的问题,可以设计一个解决方案,利用多目标挖掘的有效实施来提高性能。特别是,我们详细研究了从不平衡数据中生成少数类规则的问题,这种情况出现在许多现实生活中的领域,如医疗应用,故障预测,网络和网络安全以及维护。我们开发了少数报告算法,使用GFP增长来提高性能。我们证明了少数报告算法的一些理论性质,并使用模拟和真实数据证明其性能增益。
2018-07-04 cs.DB
Approximate-Closed-Itemset Mining for Streaming Data Under Resource Constraint
在这里,我们提出了一种新的算法频繁项集挖掘流数据(FIM-SD)。在过去的十年中,各种FIM-SD方法在一遍近似设置已被开发来近似每个项目集的频率。这些方法可以分为两种近似类型:参数约束(PC)挖掘和资源约束(RC)挖掘。PC方法基于预定义的参数控制可以包括在频率中的最大误差。相比之下,RC方法基于资源约束限制最大内存消耗。然而,现有的PC方法可以指数地增加存储器消耗,而现有的RC方法可以快速地增加最大误差。在这项研究中,我们解决这个问题,通过引入一个压缩表示的概念,称为$Δ$覆盖集,RC近似。这个概念被认为是封闭性压缩的一个扩展,当$Δ= 0$时,解对应于一个普通的封闭项集。该算法在资源约束条件下,寻找能恢复频繁项集及其频率的近似闭项集,最大误差以整数$Δ$为界.我们首先提出了一个单程近似算法来寻找凝聚的解决方案。然后,我们通过引入统一的PC-RC近似方法改进了基本算法。最后,我们经验证明,该算法显着优于最先进的PC和RC方法FIM-SD。
2019-01-07 cs.DB cs.DS
Compact Weighted Class Association Rule Mining using Information Gain
加权关联规则挖掘通过考虑项目的权重来反映项目的语义重要性。分类构造分类器并预测新的数据实例。提出了一种紧凑型加权类关联规则挖掘方法,将加权关联规则挖掘应用于分类中,构造了一种高效的加权关联分类器。该算法从数据集中选择一个非类信息属性,并基于该属性生成所有的加权类关联规则。在生成加权类关联规则时,将项目的权重作为参数之一。该算法使用HITS模型计算权重。实验结果表明,该系统生成的高质量规则数量较少,提高了分类精度。
2011-12-09 cs.DB
Towards Improving Solution Dominance with Incomparability Conditions: A case-study using Generator Itemset Mining
School of Computer Science, University of St Andrews(圣安德鲁斯大学计算机学院);Vrije Universiteit Brussel(布鲁塞尔自由大学)
发现有趣的模式是数据采掘中一项具有挑战性的任务。基于约束的挖掘是一种众所周知的方法,其中约束编程已被证明是一个非常适合和通用的框架。优势规划已被提出作为一个扩展,可以捕获更广泛的一类基于约束的挖掘问题,通过允许模式之间的关系进行比较。在本文中,除了指定一个优势关系,我们引入了指定一个不可比条件的能力。使用这两个概念,我们设计了一个通用的框架,可以做一个批量明智的搜索,避免检查不可比的解决方案。我们扩展了ESSENCE语言和底层建模管道来支持这一点。我们使用生成器项集挖掘问题作为测试用例,并给出了一个声明性规范。我们还提出了这个特定的问题类与CP求解器后端的初步实验结果表明,在搜索过程中使用的不可比性条件可以提高优势规划的效率,并减少了后处理过滤占主导地位的解决方案的需要。
2019-10-01 cs.AI cs.DB
Efficient Analysis of Pattern and Association Rule Mining Approaches
数据采掘的过程从给定的数据源产生各种模式。发现频繁项集、频繁序列模式、频繁序列规则和频繁关联规则是数据采掘中公认的最重要的任务。已经提出了许多有效的算法来完成上述过程。频繁模式挖掘一直是数据采掘研究的一个热点问题,有大量的文献可供参考,并取得了重要的进展,从事务数据库中频繁项集挖掘的高性能算法到复杂算法,如序列模式挖掘、结构化模式挖掘、相关性挖掘等。关联规则挖掘(ARM)是当前最流行的数据采掘技术之一,它从大型数据库中对对象进行分组,目的是从海量数据中提取有趣的关联和关系。本文对频繁模式挖掘的研究现状进行了简要的回顾和分析,并讨论了一些有前景的研究方向。此外,本文还包括所述方法的性能之间的比较研究。
2014-02-12 cs.DB
Utility-driven Mining of Contiguous Sequences
最近,连续序列模式挖掘(CSPM)作为一个研究课题,由于其各种潜在的现实世界中的应用,如Web日志和生物序列分析的兴趣。到目前为止,对CSPM问题的研究仍处于初步阶段。现有的CSPM算法效率不高,无法满足用户的需求,在运行时间和内存消耗方面还有待改进。此外,现有的算法被开发来处理简单的序列数据,一次只处理一个事件。复杂的序列数据表示同时发生的多个事件,在现实生活中也经常观察到。在本文中,我们提出了一种新的算法,快速效用驱动的连续序列模式挖掘(FUCPM),以解决CSPM问题。FUCPM采用紧凑的序列信息表和实例链结构来存储数据库和候选模式的必要信息。为了进一步提高效率,我们开发了全局无效项修剪和局部无效项修剪策略,基于序列加权利用率和项扩展利用率,以减少搜索空间。在真实世界和合成数据集上的大量实验表明,FUCPM优于最先进的算法,并且具有足够的可扩展性来处理复杂的序列数据。
2021-10-30 cs.DB
High-utility Sequential Rule Mining Utilizing Segmentation Guided by Confidence
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Jinan University(暨南大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本研究提出RSC算法,通过信心引导的分段减少冗余效用计算,提升高效用序列规则挖掘效率。
2026-01-27 cs.DB
An Efficient Algorithm for Mining Multilevel Association Rule Based on Pincer Search
频繁项集的发现是数据采掘的重要应用中的一个关键问题,如关联规则、强规则、事件和最小关键字的发现。多级关联挖掘的模型和算法的研究对数学和计算机科学提出了新的挑战。本文提出了一种挖掘多层关联规则的模型,该模型在每一层上满足不同的最小支持度,我们采用了原则搜索的概念、多层分类法和不同的最小支持度,在给定的事务数据集中发现多层关联规则。该搜索仅用于维护和更新新的数据结构。它用于修剪通常在自顶向下搜索中遇到的早期候选项。该算法的一个主要特点是不需要对每个频繁项集进行显式检查,并通过一个实例证明了该算法可以简单有效地挖掘出不同支持度下的多层关联规则
2012-09-27 cs.DB
Mining Top-k Approximate Frequent Patterns
事务数据库中的频繁模式(项集)挖掘是数据采掘中研究最多的问题之一。限制频繁模式挖掘实际应用的一个障碍是产生的模式数量非常大。如此大的输出集合使得用户在实际中难以理解和使用。即使将输出限制在频繁项集集合的边界,也无助于缓解问题。在本文中,我们解决的问题,压倒性的大输出大小的介绍和研究以下问题:挖掘top-k近似频繁模式。这k个集的幂集的并集应满足以下条件:(1)包含尽可能多的具有较大支持度的项集;(2)包含尽可能少的具有较小支持度的项集。一个综合的目标函数的目的是结合这两个目标。在此基础上,我们推导出了目标函数的上界,并提出了一种求可行解的近似分枝定界方法。我们给出的经验证据表明,我们的制定和近似方法在实践中工作良好。
2005-03-17 cs.AI cs.DB