PrivBasis: Frequent Itemset Mining with Differential Privacy
频繁项集的发现可以服务于有价值的经济和研究目的。然而，发布发现的频繁项集带来了隐私挑战。本文研究了如何在满足差分隐私的情况下对事务数据库进行频繁项集挖掘的问题。我们提出了一种称为PrivBasis的方法，它利用了一个称为基集的新概念。一个theta基集具有这样的性质，即任何频率高于theta的项集都是某个基的子集。我们引入算法私下构造一个基集，然后用它来找到最频繁的项集。实验表明，我们的方法大大优于目前的最先进的。
2012-08-01 cs.DB
Frequent Itemset Mining using QUBO
在本文中，我们提出了一个R步近似解决频繁项集挖掘量子硬件，如量子退火或QAOA。其思想是搜索最小2项频率最大的项集合。这可以表示为最大团问题。
2022-11-25 cs.DB
Mining Frequent Itemsets Using Genetic Algorithm
通常，频繁项集是通过应用关联规则挖掘算法，如Apriori，Partition，Pincer-Search，Incremental，Border算法等，从大数据集中生成的。这需要花费太多的计算机时间来计算所有的频繁项集。通过使用遗传算法（GA），我们可以改善的情况下。使用遗传算法发现频繁项集的主要优点是它可以进行全局搜索，并且由于遗传算法是基于贪婪方法的，因此其时间复杂度比其他算法要低。本文的主要目的是利用遗传算法从给定的数据集中找到所有的频繁项集。
2010-11-01 cs.DB
Mining Frequent Itemsets over Uncertain Databases
近年来，由于不确定数据的广泛应用，在不确定数据库上挖掘频繁项集引起了人们的广泛关注。在不确定数据库中，项集的支持度是一个随机变量，而不是该项集的固定出现次数。因此，与确定性数据库中频繁项集有唯一定义的相应问题不同，不确定环境下的频繁项集到目前为止有两种不同的定义。第一种定义称为基于期望支持度的频繁项集，它用一个项集的支持度的期望值来衡量这个项集是否频繁。第二个定义，称为概率频繁项集，使用项集的支持概率来度量其频率。因此，现有的不确定数据库中挖掘频繁项集的工作被分为两个不同的组，没有研究进行全面比较这两种不同的定义。此外，由于不存在统一的实验平台，目前针对同一定义的解决方案甚至会产生不一致的结果。在本文中，我们首先旨在澄清这两个不同的定义之间的关系。通过大量的实验，我们验证了这两个定义有紧密的联系，并可以统一在一起，当数据量足够大。其次，我们提供了基线实现现有的八个代表性的算法，并测试他们的性能与统一的措施公平。最后，通过对不同基准数据集的公平性检验，澄清了现有的一些不一致结论，并讨论了一些新的发现。
2012-08-01 cs.DB
DiffNodesets: An Efficient Structure for Fast Mining Frequent Itemsets
频繁项集的挖掘是数据采掘中的一个基本问题，在数据采掘的许多应用中起着重要的作用。近年来，人们提出了一些基于节点集的项集表示方法，这些方法对于挖掘频繁项集非常有效。在本文中，我们提出了DiffNodeset，一种新的和更有效的项集表示，挖掘频繁项集。基于DiffNodeset结构，提出了一种高效的频繁项集挖掘算法dFIN。为了提高效率，dFIN采用集合枚举树和混合搜索策略来寻找频繁项集，在某些情况下不需要生成候选项集而直接枚举频繁项集。为了评估dFIN的性能，我们进行了大量的实验，将其与各种真实和合成数据集上的现有领先算法进行比较。实验结果表明，dFIN是显着的速度比这些领先的算法。
2015-07-06 cs.DB cs.DS
Characterizing Transactional Databases for Frequent Itemset Mining
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文研究了用于频繁项集挖掘的事务数据库的特征。这些特征通常用于基准测试和理解在这些数据库上工作的数据采掘算法。我们的研究的目的是给这些基准数据库的多样性和代表性的图片，无论是在一般情况下，但也在特定的实证研究的文献中发现的背景下。我们提出的指标列表包含了文献中发现的许多现有指标，以及新的指标。我们的研究表明，我们的指标列表能够捕捉到大部分数据集的内部复杂性，从而为事务数据集的表征提供了一个很好的基础。最后，我们提供了一组代表性的数据集，根据我们的表征，可以安全地用作基准。
2020-11-09 cs.AI cs.DB
Frequent-Itemset Mining using Locality-Sensitive Hashing
Apriori算法是频繁项集挖掘的经典算法。Apriori中的一个重要瓶颈是所涉及的I/O操作的数量以及它生成的候选项的数量。我们调查LSH技术的作用，以克服这些问题，而不增加太多的计算开销。我们提出了随机变化的Apriori的基础上定义的汉明距离和Jaccard相似性的非对称LSH。
2016-03-05 cs.DB
A Frequent Closed Itemsets Lattice-based Approach for Mining Minimal Non-Redundant Association Rules
为了提高频繁项集或频繁闭项集的挖掘速度，已有许多算法被提出。然而，对关联规则生成时间的处理算法还没有得到深入的研究。实际上，在一个数据库包含许多FI/FCI（从数万到数百万）的情况下，生成关联规则的时间远远大于挖掘FI/FCI的时间。因此，本文提出了一种应用频繁闭项集格（FCIL）挖掘最小非冗余关联规则（MNAR），以减少大量的时间生成规则。首先，我们使用CHARM-L来建立FCIL。在此基础上，提出了一种基于FCIL的MNAR快速生成算法。实验结果表明，该算法在挖掘时间上比基于频繁项集格的算法有明显的提高。
2011-08-26 cs.DB
HybridMiner: Mining Maximal Frequent Itemsets Using Hybrid Database Representation Approach
FAST-National University of Computer and Emerging Sciences（FAST-国立计算机与新兴科学大学）
在本文中，我们提出了一种新的混合（基于数组的布局和垂直位图布局）的数据库表示方法，挖掘完整的最大频繁项集（MFI）稀疏和大型数据集。我们的工作是新颖的可扩展性，项目搜索顺序和两个水平和垂直投影技术。我们还提出了一个最大的算法，使用这种混合数据库表示方法。在真实数据集和稀疏数据集上的不同实验结果表明，该方法优于现有的最大值算法。
2009-04-21 cs.AI cs.DB cs.DS
Probabilistic Frequent Pattern Growth for Itemset Mining in Uncertain Databases (Technical Report)
不确定事务数据库中的频繁项集挖掘在语义和计算上不同于传统的应用于标准（确定）事务数据库的技术。不确定事务数据库由存在不确定项的集合组成。交易项目的不确定性使得传统的技术不适用。在本文中，我们解决的问题，发现概率频繁项集的基础上可能世界语义。在此上下文中，如果X在至少minSup事务中出现的概率高于给定阈值，则项集X被称为频繁项集。我们做了以下贡献：我们提出了第一个概率FP-Growth算法（ProFP-Growth）和相关的概率FP-Tree（ProFP-Tree），我们使用它来挖掘不确定事务数据库中的所有概率频繁项集，而无需候选生成。此外，我们提出了一个有效的技术来计算的支持概率分布的项目集在线性时间使用生成函数的概念。一个广泛的实验部分评估我们提出的技术，并表明我们的ProFP-Growth方法是显着快于目前最先进的算法。
2010-08-13 cs.DB
Top Down Approach to find Maximal Frequent Item Sets using Subset Creation
关联规则是知识发现领域的一个研究热点。数据采掘的研究人员已经提高了业务发展的关联规则挖掘的质量，通过纳入影响因素，如价值（效用），销售项目的数量（重量）和更多的关联模式的挖掘。在本文中，我们提出了一个有效的方法来寻找最大频繁项集第一。文献中的算法大多先求出最小频繁项，然后借助最小频繁项集求出最大频繁项集。这些方法在寻找最大频繁项集上花费了较多的时间。为了克服这个问题，我们提出了一种直接使用子集的概念来寻找最大频繁项集的方法。所提出的方法被发现是有效的，在寻找最大频繁项集。
2012-10-31 cs.DB
Fast Algorithms for Mining Interesting Frequent Itemsets without Minimum Support
FAST-National University of Computer and Emerging Science（FAST-国家计算机与新兴科学大学）
真实世界的数据集是稀疏的，脏的，包含数百个项目。在这种情况下，发现有趣的规则（结果）使用传统的频繁项集挖掘方法，通过指定一个用户定义的输入支持度阈值是不合适的。由于没有任何领域知识，设置支持度阈值小或大可能会输出什么或大量冗余的不感兴趣的结果。最近提出了一种新的挖掘N-most/Top-K兴趣频繁项集的方法，该方法在不指定任何用户定义的支持度阈值的情况下发现前N个兴趣结果。然而，挖掘有趣的频繁项集没有最小支持度阈值是更昂贵的项集搜索空间探索和处理成本。因此，它们的挖掘效率在很大程度上取决于三个主要因素：（1）用于项集频率计数的数据库表示方法，（2）相关事务到搜索空间的较低级别节点的投影和（3）算法实现技术。因此，为了提高挖掘过程的效率，在本文中，我们提出了两个新的算法称为（N-MostMiner和Top-K-Miner）使用位向量表示的方法，这是非常有效的项集频率计数和事务投影。除此之外，我们还介绍了N-MostMiner和Top-K-Miner的几种有效实现技术。我们在基准数据集上的实验结果表明，与目前最好的算法BOMO和TFP相比，NMostMiner和Top-K-Miner在处理时间方面非常有效。
2009-04-21 cs.AI cs.DB cs.DS
Searching of interesting itemsets for negative association rules
本文提出了一种在正负关联规则挖掘的第一阶段同时搜索正负感兴趣项集的算法。传统的关联规则挖掘算法是基于频繁项集来提取正关联规则的，对频繁项集只搜索感兴趣的正项集。此外，从传统的算法修剪频繁项集，以减少搜索空间，挖掘负关联规则中有有用的项目集。因此，传统的挖掘算法不能很好地找到挖掘负关联规则所需的负项集。我们的新算法搜索的积极和消极的项目集的利益准备的先决条件，挖掘所有的积极和消极的关联规则。
2018-06-20 cs.DB
Mining Top-k Approximate Frequent Patterns
事务数据库中的频繁模式（项集）挖掘是数据采掘中研究最多的问题之一。限制频繁模式挖掘实际应用的一个障碍是产生的模式数量非常大。如此大的输出集合使得用户在实际中难以理解和使用。即使将输出限制在频繁项集集合的边界，也无助于缓解问题。在本文中，我们解决的问题，压倒性的大输出大小的介绍和研究以下问题：挖掘top-k近似频繁模式。这k个集的幂集的并集应满足以下条件：（1）包含尽可能多的具有较大支持度的项集;（2）包含尽可能少的具有较小支持度的项集。一个综合的目标函数的目的是结合这两个目标。在此基础上，我们推导出了目标函数的上界，并提出了一种求可行解的近似分枝定界方法。我们给出的经验证据表明，我们的制定和近似方法在实践中工作良好。
2005-03-17 cs.AI cs.DB
On When and How to use SAT to Mine Frequent Itemsets
INESC-ID（葡萄牙系统与计算机工程研究所）；IST（高等技术学院）；Technical University of Lisbon（里斯本技术大学）
在过去的十年中，一个新的研究流诞生了，其目标是使用约束编程（CP）挖掘感兴趣的项集。这促进了以高度灵活的方式组合复杂约束的自然方式。虽然CP国家的最先进的解决方案制定的任务使用布尔变量，少数尝试采用命题可满足性（SAT）提供了一个不满意的性能。本文通过定义不同的编码方式和多个任务驱动的枚举选项以及搜索策略，深入研究了在频繁项集挖掘问题中何时以及如何使用SAT。虽然对于大多数情况下，基于SAT的解决方案似乎是非竞争性的CP同行，结果显示了各种有趣的情况下，SAT编码是最好的选择。
2012-07-26 cs.AI cs.DB cs.LG
Discovery of Maximal Frequent Item Sets using Subset Creation
数据采掘是从大量数据中发现数据模式的实践。数据采掘使用数学算法对数据进行分组并评估未来事件。关联规则是知识发现领域的一个研究方向。许多数据采掘研究者通过引入效用、销售商品数量等影响因素以及挖掘关联数据模式来提高关联规则的质量。在本文中，我们提出了一个有效的算法，首先找到最大频繁项集。大多数关联规则算法都是先找到最小频繁项，再借助最小频繁项集求出最大频繁项集，这样的方法在寻找最大频繁项集上花费了较多的时间。为了克服这个问题，我们提出了一种新的方法来寻找最大频繁项集直接使用子集的概念。所提出的方法被发现是有效的，在寻找最大频繁项集。
2013-02-07 cs.DB
Mining Frequent Itemsets from Secondary Memory
频繁项集挖掘是关联规则挖掘的核心，目前在算法上已经得到了很好的理解。然而，大多数挖掘频繁项集的算法都假设主存储器足够大以容纳挖掘中使用的数据结构，很少有有效的算法处理数据库很大或最小支持度很低的情况。从一个非常大的数据库中挖掘频繁项集带来了新的挑战，因为商业，科学和政府中普遍记录了天文数字数量的原始数据。本文讨论了当数据结构太大而无法装入主存时，挖掘频繁项集的方法。给出了几种分而治之的磁盘挖掘算法。介绍了许多新技术。实验结果表明，该技术减少了所需的磁盘访问的数量级，并使真正可扩展的数据采掘。
2004-05-20 cs.DB cs.IR
An efficient heuristic approach combining maximal itemsets and area measure for compressing voluminous table constraints
University of Bejaia（贝贾亚大学）；MT Atlantique（大西洋矿业电信学院）
约束程序设计是一种建模和解决组合问题的强大范式。虽然有很多种约束，但表约束可能是最重要的--它是研究得最好的，并且能够对定义在有限变量上的任何其他约束进行编码。然而，约束可以是非常庞大的，并且它们的大小可以随着它们的数量呈指数级增长。为了减少空间和时间复杂度，研究人员集中在各种形式的压缩。本文提出了一种基于最大频繁项集技术和面积测度的最大频繁项集枚举方法。我们的实验结果表明，这种方法的有效性和效率的压缩和解决压缩表的约束。
2022-03-21 cs.AI cs.DB
A novel approach for fast mining frequent itemsets use N-list structure based on MapReduce
频繁模式挖掘是数据采掘中最重要的课题之一。近年来，人们提出了许多挖掘频繁项集的算法。提出了一种新的基于N-表数据结构的频繁项集挖掘算法--Prepost算法。通过用一般树实现紧凑PPC树，增强了Prepost算法。Prepost算法只能为每个节点找到一个具有所需（前序和后序）的频繁项集。在本章中，我们改进了基于Hadoop平台的prepost算法（HPrepost），提出了使用Mapreduce编程模型。提出的方法的主要目标是有效地挖掘频繁项集，需要较少的运行时间和内存使用。我们对所提出的方案进行了实验，并与其他算法进行了比较。对于密集数据集，它有一个大的平均事务长度，HPrepost是更有效的频繁项集算法在执行时间和内存使用的所有min-sup。一般来说，我们的算法优于算法的运行时间和内存使用小阈值和大数据集。
2017-04-15 cs.DB cs.DC
Itemsets of interest for negative association rules
迄今为止，大多数关联规则挖掘都考虑了数据库中基于频繁项集的正关联规则问题[2，5 -7]，而没有考虑挖掘与频繁项集和非频繁项集相关的负关联规则问题。由于负关联规则挖掘需要的是非频繁项集，因此它比正关联规则挖掘要困难得多，目前只研究了稀有的负关联规则挖掘。提出了一种精确挖掘正负关联规则的数学模型，从频繁项集的否定是一个非频繁项集的角度，明确了基于某些非频繁项集挖掘负关联规则问题的重要性，并研究了感兴趣的非频繁项集产生负关联规则应满足的条件。
2018-06-19 cs.DB
Mining Multi-Level Frequent Itemsets under Constraints
BESTMOD Laboratory（BESTMOD实验室）；Institut Supérieur de Gestion（高等管理学院）
关联规则挖掘是数据采掘的一项任务，它从数据库中提取有用项（对象）之间重要蕴涵关系形式的知识。挖掘多级关联规则使用概念层次结构，也称为分类法，并定义为对象之间的关系类型'是一个'，提取规则，项目属于不同的抽象层次。这些规则更有用，更精确，更易于用户解释。在文献中已经提出了几种算法来发现多级关联规则。在这篇文章中，我们感兴趣的问题，发现多层次的频繁项集的约束下，涉及用户在研究过程中。我们提出了一种技术，在使用概念层次结构的上下文中的约束的建模和解释。提出并讨论了三种在约束条件下发现多层频繁项集的方法：基本方法、“测试生成”方法和基于剪枝的方法。
2010-12-26 cs.AI cs.DB cs.DS
ARULESPY: Exploring Association Rules and Frequent Itemsets in Python
本文介绍了新的Python包arulespy，它将R语言arules包中用于频繁项集和关联规则挖掘的全面基础设施及高效算法引入Python用户。
2023-05-24 cs.DB
Boosting Frequent Itemset Mining via Early Stopping Intersections
从事务数据库中挖掘频繁项集已成为数据采掘的一个基本问题，并致力于为许多模式挖掘任务的构建块。在本文中，我们提出了一种通用的技术，以减少支持检查时间在现有的深度优先搜索生成和测试计划，如Eclat/dEclat和PrePost+。我们的技术允许不频繁的候选项集被早期检测。该技术是基于一个早期停止标准，是一般的，足以适用于许多频繁项集挖掘算法。我们已经将该技术应用于两个TID列表为基础的计划（Eclat/dEclat）和一个N-列表为基础的计划（PrePost+）。我们的技术已经在各种数据集上进行了测试，并证实了其在减少运行时间方面的有效性。
2019-01-23 cs.DB cs.IR
A global constraint for closed itemset mining
University of Oran 1（奥兰第一大学）；University of Montpellier（蒙彼利埃大学）；University of Caen（卡昂大学）
发现闭频繁模式集是数据采掘的基本问题之一。最近的约束编程（CP）方法的声明性项目集挖掘已经证明了他们的有用性和灵活性。但是，目前CP方法中大量使用的具体化约束给处理高维数据集带来了很多困难。本文提出了一种不需要任何具体化约束和额外变量的CLOSED PATTERN全局约束，有效地编码了闭合频繁模式挖掘（CFPM）约束。CLOSED-PATTERN捕获CFPM问题的特定语义，以确保多项式修剪算法确保域的一致性。我们的约束的计算特性进行了分析，其实际有效性进行了实验评估。
2016-04-17 cs.AI cs.DB
Multi-Sorted Inverse Frequent Itemsets Mining
为新兴的“大数据”应用开发新的平台和技术需要为数据驱动的实验提供现实生活中的数据集，然而在大多数情况下，这对于学术研究来说是遥不可及的，因为它们通常是专有的。一个可能的解决方案是使用反映真实模式的合成数据集，以确保高质量的实验结果。在这个方向上的第一步是使用反向挖掘技术，如反向频繁项集挖掘（IFM），它包括生成一个事务数据库，满足给定的支持约束的项目集在一个输入集中，通常是频繁的。本文介绍了IFM的一种扩展，称为多排序IFM，其中要生成的数据集的方案是新兴大数据应用中所需的大表的典型方案，例如，社交网络分析
2013-10-15 cs.DB
An Asymptotically Tighter Bound on Sampling for Frequent Itemsets Mining
本文提出了一种新的频繁项集挖掘抽样算法的误差界。我们表明，新的界限是渐近紧比国家的最先进的界限，即，给定所选择的样本，对于足够小的误差概率，新的误差界限大约是现有界限的一半。在此基础上，我们给出了一种新的近似算法，该算法比现有的近似算法简单得多，但在预先计算样本容量的情况下，仍能保证最差的近似误差。我们还给出了一个算法，可以近似的顶部- $k$频繁项集，具有较高的精度和效率。
2017-03-24 cs.DB cs.DS
LDP-FPMiner: FP-Tree Based Frequent Itemset Mining with Local Differential Privacy
本地差分隐私（LDP）设置中的数据聚合通过提供敏感数据的合理可否认性来保证强隐私。现有的工作在这个问题上主要集中在发现重量级人物，离开频繁项集挖掘（频繁项集挖掘）的任务作为一个开放的问题。据我们所知，最先进的LDP解决方案是最近提出的SVSM协议。SVSM协议主要基于基于填充和采样的频率预言（PSFO）协议，将项目集看作独立的项目，而不考虑项目集之间的频率一致性。本文提出了一种基于频繁模式树（FP-tree）的LDP挖掘算法LDP-FPMiner。我们的建议利用项目集之间的频率一致性，通过构建和优化噪声FP树与LDP。具体来说，它的工作原理如下。首先，确定最频繁的项目，并相应地削减项目域。第二，FP-树的最大水平估计。第三，构造噪声FP树，利用项目集频率一致性对噪声FP树进行优化，挖掘出k个最频繁项目集。实验结果表明，LDP-FPMiner显着提高了国家的最先进的方法，SVSM，特别是在高隐私级别的情况下。
2022-09-03 cs.CR cs.DB
Parallel algorithms for mining of frequent itemsets
Czech Technical University in Prague（布拉格捷克技术大学）；Institute of Computer Science（计算机科学研究所）
近十年来，企业开始收集大量数据。如果没有正确的分析，这些数据通常是无用的。分析数据的领域称为数据采掘。不幸的是，数据量非常大：数据不适合主内存，处理时间可能会变得非常巨大。因此，我们需要并行的数据采掘算法。频繁项集的生成算法是数据采掘中一个重要的算法。挖掘频繁项集的问题可以用下面的例子来解释：顾客走进一家商店，把一些商品放进他们的篮子里;商店的老板收集篮子，想知道至少有p%的篮子里一起购买的商品的集合。目前，挖掘频繁项集的顺序算法在性能上都比较好。然而，频繁项集挖掘的并行算法仍然没有达到很好的加速比。在这篇论文中，我们发展了一个在分散式记忆体平行电脑上，可用于任意深度优先搜寻顺序算法的平行频繁项目集挖掘方法。我们的方法在10个处理器上实现了~ 6的加速比。该方法基于对数据库样本的处理器负载的近似估计-然而，它总是从整个数据库计算频繁项集的集合。在这篇论文中，我们展示了我们的方法的理论基础，并显示了估计过程的性能。
2021-08-11 cs.DB cs.LG
A Matrix Logic Approach to Efficient Frequent Itemset Discovery in Large Data Sets
本文提出基于布尔矩阵运算的频繁项集挖掘算法，通过矩阵逻辑运算替代候选项集生成，在Groceries数据集上验证了其在不同支持度阈值下的高效性、可扩展性和鲁棒性。
2024-12-27 cs.DB cs.DS
Deciding Monotone Duality and Identifying Frequent Itemsets in Quadratic Logspace
单调对偶问题定义如下：给定i冗余DNF中的两个单调公式f和g，判定f和g是否对偶。这个问题与超图的对偶性测试相同，即检查超图H是否恰好由简单超图G的所有极小断面组成。通过利用Boros和Makino（ICALP 2009）最近提出的问题分解方法，我们证明了超图的对偶测试以及单调DNF的对偶测试在DSPACE[log^2 n]中是可行的，即，二次对数空间由于单调对偶问题等价于数据库、数据采掘和知识发现领域中的一些问题，因此这里给出的结果也为这些问题产生了新的复杂性结果。例如，它遵循从我们的结果，每当布尔值关系（其属性表示项目），最大频繁项集的数量和最小的非频繁项集的数量是已知的，那么它可以决定在二次对数空间是否存在额外的频繁或非频繁项集。
2013-08-22 cs.AI cs.CC cs.DB
Quantum Computing and Data Processing for Frequent Itemset Mining
National Taiwan University（台湾大学）；National Chengchi University（国立政治大学）；Academia Sinica（中央研究院）；The Pennsylvania State University（宾夕法尼亚州立大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
提出量子频繁项集挖掘框架QFM，通过比特向量量子比特编码、挖掘感知候选叠加和比特并行阈值标记三种机制，在IBM Qiskit和Amazon Braket上实现，理论分析和实验表明优于基线方法。
2026-06-29 cs.DB
An Efficient Rigorous Approach for Identifying Statistically Significant Frequent Itemsets
随着技术的进步允许收集、存储和分析大量数据，筛选和评估所发现模式的重要性的任务正在成为数据采掘应用中的主要挑战。在这项工作中，我们解决的背景下，频繁项集挖掘的意义。具体来说，我们开发了一种新的方法来确定一个有意义的支持阈值s* 的数据集，这样的支持至少s* 的项目集的数量代表了一个实质性的偏差，从预期的随机数据集具有相同数量的事务和相同的个人项目频率。然后，这些项集可以被标记为具有统计学显著性，具有较小的错误发现率。我们提出了广泛的实验结果，以证实我们的方法的有效性。
2010-02-04 cs.DB cs.DS
Minimally Infrequent Itemset Mining using Pattern-Growth Paradigm and Residual Trees
项集挖掘由于其在各种数据采掘场景中的成功应用，包括关联规则的发现，一直是一个活跃的研究领域。虽然过去的工作主要集中在频繁项集的发现上，但非频繁项集挖掘在Web挖掘、生物信息学等领域已显示出其实用性。在本文中，我们提出了一个新的算法的基础上的模式增长范式，以寻找最小的不频繁项集。一个最小不频繁项集没有子集也是不频繁的。我们还介绍了新的概念，剩余树。我们进一步利用残差树挖掘多层次的最小支持度项目集，其中不同的阈值被用来寻找频繁项目集的不同长度的项目集。最后，我们分析了我们的算法相对于不同参数的行为，并通过实验表明，它优于竞争的。
2012-07-11 cs.DB
A Frequent Itemset Hiding Toolbox
数据汇集和数据存储技术的进步已经让位于在公司和组织之间建立交易数据库，因为它们允许有效地存储大量数据。可以从这些数据中挖掘有用的知识，根据数据的性质，可以以多种方式使用这些知识。很多时候，公司和组织都愿意为了互惠互利而共享数据。然而，分享这些数据也会带来风险，因为可能会出现隐私问题。必须保护敏感数据以及从这些数据推断出的敏感知识，以免无意中暴露给未经授权的各方。从事务数据库中以频繁项集的形式挖掘频繁模式是推断知识的一种形式。保护这些模式的问题被称为频繁项集隐藏问题。在本文中，我们提出了一个工具箱，它提供了频繁项集隐藏算法的几个实现。首先，我们总结了每个算法的最重要的方面。然后，我们介绍了工具箱的架构和它的新颖功能。最后，我们提供了在真实世界数据集上的实验结果，证明了工具箱的效率和它在比较不同算法时提供的便利性。
2018-02-28 cs.CR cs.DB
Finding Robust Itemsets Under Subsampling
模式爆炸问题一直困扰着频繁模式的挖掘，使得模式约简技术成为模式挖掘中的一个关键挑战。在本文中，我们提出了一个新的理论框架模式减少。我们通过测量项集的属性（如封闭性或不可导性）的鲁棒性来做到这一点。属性的鲁棒性是该属性在原始数据的随机子集上保持的概率。我们研究四个属性：如果一个项集是封闭的，自由的，不可导的或完全破碎的，并演示如何计算的鲁棒性分析，而无需实际采样的数据。我们的鲁棒性概念有很多优点：与减少模式的统计方法不同，我们不假设零假设或任何噪声模型，与噪声容忍或近似模式相反，给定属性的鲁棒模式总是具有此属性的模式的子集。如果底层属性是单调的，那么度量也是单调的，允许我们有效地挖掘健壮的项集。我们进一步推导出一个无参数的技术，可用于顶级$k$方法的项目集的排名。我们的实验表明，我们可以成功地使用鲁棒性措施，以减少模式的数量和排名产生有趣的项目集。
2019-04-24 cs.DB cs.IR
On the Complexity of Mining Itemsets from the Crowd Using Taxonomies
我们研究的问题，频繁项集挖掘领域的数据不记录在一个传统的数据库，但只存在于人类的知识。我们提供了这样的场景的例子，并提出了一个众包模型。该模型使用人群作为一个预言机，以找出一个项目集是否是频繁或不，并依赖于一个已知的分类的项目域，以指导频繁项集的搜索。在数据采掘与甲骨文的精神，我们分析了这个问题的复杂性方面（i）人群复杂性，即测量的数量的人群问题所需的识别频繁项集;和（ii）计算复杂性，即测量的计算工作量选择的问题。我们提供了较低和较高的复杂性边界的大小和结构的输入分类，以及输出项集的简洁描述的大小。我们还提供了建设性的算法，实现了上界，并考虑更有效的变种的实际情况。
2013-12-16 cs.CC cs.DB cs.IR
Frequent itemsets mining for database auto-administration
随着一般数据库和特别是数据仓库的广泛发展，减少数据库管理员必须手动执行的任务是重要的。自动管理系统的目标是自动管理和适应自己，而不会损失（甚至获得）性能。使用数据采掘技术从数据本身中提取有用的管理知识的想法已经存在了一些年。然而，很少有研究取得了成果。然而，这个想法仍然是一个非常有前途的方法，特别是在数据仓库领域，查询是非常异构的，不能很容易地解释。本研究的目的是寻找一种从存储的数据中提取有用知识的方法，以自动应用性能优化技术，特别是索引技术。我们设计了一个工具，从给定的工作负载中提取频繁项集来计算索引配置，以帮助优化数据访问时间。我们执行的实验表明，我们的工具生成的索引配置允许在测试数据库和测试数据仓库上获得15%到25%的性能提升。
2008-09-16 cs.DB
Improvised Apriori Algorithm using frequent pattern tree for real time applications in data mining
Apriori算法是从大型数据库中提取频繁项集并获取关联规则的重要算法之一。它基本上需要两个重要的东西：最低限度的支持和最低限度的信任。首先，我们检查项目是否大于或等于最小支持度，我们分别找到频繁项目集。其次，利用最小置信度约束形成关联规则。在此基础上，指出了原Apriori算法在频繁项集上扫描整个数据库搜索时浪费时间和空间的局限性，并提出了一种改进的Apriori算法。
2014-11-23 cs.DB
Finding the True Frequent Itemsets
Brown University（布朗大学）；University of Southern Denmark（南丹麦大学）
频繁项集（FI）挖掘是数据采掘中的一个基本问题。它需要识别出现在事务数据集$\mathcal{D}$的至少一部分$θ$中的所有项集。然而，通常，挖掘$\mathcal{D}$的最终目标不是分析数据集\emph{per se}，而是理解生成它的底层过程。具体地，在许多应用中，$\mathcal{D}$是从关于事务的未知概率分布$π$获得的样本的集合，并且通过提取$\mathcal{D}$中的FI，人们尝试推断频繁（即，概率至少为$π$），我们称之为真频繁项集（TFI）。由于生成过程的固有随机性，FI集合只是TFI集合的粗略近似，因为它通常包含大量的\emph{false positives}，即，不属于TFI的伪项集。在这项工作中，我们设计和分析一个算法来确定一个阈值$\hatθ$，这样的收集的项目集的频率至少$\hatθ$在$\mathcal{D}$只包含TFI的概率至少$1-δ$，对于一些用户指定的$δ$。我们的方法使用统计学习理论的结果，涉及手头的问题的（经验）VC维度。这使我们能够识别几乎所有的TFI，而不包括任何假阳性。我们还通过实验将我们的方法与在频率$θ$上直接挖掘$\mathcal{D}$以及基于广泛使用的标准界限（即，的二项分布，并表明我们的算法优于这些方法，并取得更好的结果比什么是保证的理论分析。
2014-01-22 cs.DB cs.DS cs.LG
Mining Frequent Itemsets: a Formal Unification
在数据采掘研究中，建立统一的理论是一个重要的问题。在过去的二十年里，大量的工作一直致力于频繁项集（FI）挖掘问题的算法方面。我们的动机是需要在该领域的正式建模。因此，我们介绍和分析，在这个理论研究中，一个新的模型FI挖掘任务。事实上，我们编码的项目集作为一个有序的字母表的话，并说明这个问题的计数半环$(\mathbb{N},+,\times,0,1)$，其范围构成的项目集和系数是他们的支持的正式系列。这种形式主义在基本和实践方面都提供了许多优点：引入了一个清晰统一的理论框架，通过它我们可以表达主要的FI方法，它们可以推广到挖掘其他更复杂的对象，以及它们的增量或并行化;在实践中，我们解释了这个问题如何可以被看作是自动机单词识别的问题，允许在$O(|Q|)$空间和$O(|\mathcal{F}_L||Q|])$时间中的有效实现，其中，$Q$是用于表示数据的自动机的状态集合，而$\mathcal{F}_L$是首选最长FI的集合。
2020-01-24 cs.CC cs.DB cs.FL
Mining Top-K Co-Occurrence Items
频繁项集挖掘是数据采掘中的一个基本问题，在关联分析、分类等数据采掘任务中发挥着重要作用。然而，在一些应用中，例如推荐系统和社交网络，人们更感兴趣的是找出数据库中与某些用户指定的项集（查询项集）一起出现最频繁的项。在本文中，我们解决这个问题，提出了一个新的挖掘任务命名为top-k共现项目挖掘，其中k是所需的项目数被发现。然后，我们引入了一种特殊的数据结构Pi-Tree（Prefix itemset Tree）来维护项目集的信息。基于Pi-Tree，提出了两种挖掘top-k共现项的算法：PT（Pi-Tree-based algorithm）和PT-TA（Pi-Tree-based algorithm with TA pruning），并结合了几种新的搜索空间修剪策略以提高挖掘效率。PT和PT-TA的性能进行了评估，对四个建议的基线算法在合成和真实的数据库。大量的实验表明，PT不仅在执行时间上大大优于其他算法，而且具有良好的可扩展性。
2015-12-24 cs.DB cs.DS
FastLMFI: An Efficient Approach for Local Maximal Patterns Propagation and Maximal Patterns Superset Checking
National University of Computer and Emerging Sciences（国立计算机与新兴科学大学）
最大频繁模式超集检测在最大频繁项集挖掘和最大搜索空间剪枝中起着重要作用。在本文中，我们提出了一种新的索引方法，FastLMFI本地最大频繁模式（项目集）的传播和最大模式超集检查。在不同稀疏和密集数据集上的实验结果表明，我们的工作优于之前众所周知的渐进聚焦技术。我们还集成了我们的超集检查方法与现有的最先进的最大项集算法黑手党，并比较我们的结果与目前最好的最大项集算法afopt-max和FP（朱）-max。我们的结果在几乎所有支持阈值上的密集（国际象棋和蘑菇）数据集上的表现都优于afopt-max和FP（zhu）-max，这表明了我们方法的有效性。
2009-04-21 cs.AI cs.DB cs.DS
Mining Frequent Itemsets (MFI) over Data Streams: Variable Window Size (VWS) by Context Variation Analysis (CVA) of the Streaming Transactions
针对数据流中频繁项挖掘所面临的窗口大小可变和存储空间不足的问题，提出了一种基于数据流的频繁项挖掘方法。为了检查流事务中上下文变化的变化点，我们开发了一种窗口结构，该窗口结构将在两个级别上，并支持即时固定窗口大小，控制异质性，并确保添加到窗口中的事务之间的同质性。为了最小化内存利用率、计算成本并提高进程可扩展性，该设计将允许在窗口级别固定覆盖或支持。在本文中，介绍了从窗口中增量挖掘频繁项集和上下文变化分析方法。我们在本文档中介绍的完整技术被命名为使用上下文变化分析固定的可变窗口大小的频繁项集挖掘（MFI-VWS-CVA）。在特定的项集中，频繁项集和非频繁项集之间有着明确的界限。在这个设计中，我们使用窗口大小的变化来表示信息流中的概念漂移。可以说，只要在有效地设置窗口大小方面存在问题，项集就会变得不频繁。我们已经执行和记录的实验证明，我们所设计的算法是比现有的效率更高。
2014-08-14 cs.DB
Evaluation of Frequent Itemset Mining Platforms using Apriori and FP-Growth Algorithm
随着大量复杂和异构的数据从任何地方、任何时间和任何设备涌入，毫无疑问，大数据时代已经到来。大数据作为下一代智能系统的颠覆性技术的出现，带来了如何在短时间内，有限的预算和高数据生成率下提取和利用从数据中获得的知识的许多问题。企业正在认识到，大数据可以用来做出更准确的预测，并可以在适当的关联规则挖掘算法的帮助下用来增强业务。为了帮助这些组织，根据他们的数据集，哪个软件和算法更适合他们，我们比较了最著名的三个基于MapReduce的软件Hadoop，Spark，Flink在不同规模的数据集上使用的两个广泛使用的算法Apriori和Fp-Growth。
2019-02-28 cs.DB cs.DC
Integrity Verification for Outsourcing Uncertain Frequent Itemset Mining
近年来，由于不确定数据的广泛应用（例如，噪声数据），不确定数据库上的不确定频繁项集（UFI）挖掘引起了人们的广泛关注.作为关联规则挖掘过程中成本最高的任务，已经表明将该任务外包给服务提供商（例如，第三方云）给数据所有者带来了几个好处，例如成本减轻以及对存储和计算资源的较少承诺。然而，如果服务提供者具有随机错误或不诚实（例如，懒惰、恶意等）。因此，本文重点研究外包过程中UFI挖掘问题中的完整性和验证问题，即，数据所有者如何验证挖掘结果。具体来说，我们探索和扩展现有的工作确定性FI外包验证不确定的情况下。为此，我们将现有的外包FI采矿工作扩展到不确定的区域w.r.t.两种流行的UFI定义标准和近似UFI挖掘方法。具体地说，我们构造和改进的基本/增强的验证方案与这种不同的UFI定义。在此之后，我们进一步讨论了现有的近似UFP挖掘的情况下，我们可以看到，我们的技术可以提供良好的概率保证的正确性的验证。最后，对本文提出的方案进行了比较和分析。
2013-07-12 cs.DB
Incremental Mining of Frequent Serial Episodes Considering Multiple Occurrences
Inria（法国国家信息与自动化研究所）；Carnegie Mellon University（卡内基梅隆大学）；University of Waikato（怀卡托大学）；Telecom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
分析来自流的信息的需要出现在各种应用中。其基本研究方向之一是挖掘数据流上的序列模式。现有的研究多基于事务中模式的存在来挖掘项目序列，而没有考虑项目集序列及其多次出现的情况。然而，在一个窗口的项集流和它们的多次出现的模式，提供了额外的能力来识别模式的基本特征和它们之间的相互关系是无法识别的现有的基于存在的研究。在本文中，我们研究了这样一个新的序列模式挖掘问题，并提出了相应的顺序矿工与新的策略，有效地修剪搜索空间。在真实数据和合成数据上的实验表明了该方法的有效性。
2022-04-09 cs.AI cs.DB
ALPINE: Anytime Mining with Definite Guarantees
ALPINE是第一个挖掘频繁项集和闭频繁项集的算法。它保证在继续之前，已经找到了支持度超过当前检查点支持度的所有项集。因此，它对于具有非常高维数据的超长挖掘任务（例如遗传学）非常有吸引力，因为它可以提供中间有意义和完整的结果。这个ANYTIME功能是ALPINE最重要的贡献，它也很快，但不一定是最快的算法。ALPINE的另一个关键优点是它不需要先验决定的最小支持值。
2016-10-24 cs.DB
An Algorithm for Mining High Utility Closed Itemsets and Generators
传统的关联规则挖掘基于支持度-置信度框架，提供了用户感兴趣的规则的客观度量。然而，它并没有反映出规则的效用。在支持度-置信度框架下提取非冗余关联规则，频繁闭项集及其生成器起着重要的作用。为了提取高效用项集之间的非冗余关联规则，需要提取高效用闭项集（HUCI）及其生成元，以便应用传统的支持度-置信度框架。然而，目前还没有有效的方法来开采HUCI及其发电机。本文探讨了这一问题。一个后处理算法，称为HUCI-Miner，提出了挖掘HUCI与他们的发电机。所提出的算法是使用合成和真实的数据集。
2014-10-11 cs.DB
An Improved UP-Growth High Utility Itemset Mining
在大数据集中有效地发现频繁项集是数据采掘的一项重要任务。近年来，人们提出了一些高效用模式的挖掘方法，但这些方法都存在产生大量高效用项目集的候选项目集的问题，并可能在速度和空间方面降低挖掘性能。最近提出的紧凑树结构，即，UP树维护了事务和项集的信息，提高了挖掘性能，避免了对原始数据库的重复扫描。本文采用了实用模式树（UP Tree，Utility Pattern Tree），它只需扫描数据库两次，就可以得到候选项，并以一种高效的数据结构化方式进行管理。将UP树应用于UP增长对于第二阶段需要更多的执行时间。因此，本文提出了改进的算法，旨在通过有效地识别高效用的项目集，以减少执行时间。
2012-12-03 cs.DB
A Model-Based Frequency Constraint for Mining Associations from Transaction Data
频繁项集挖掘是一种在数据库中发现关联项的常用方法。对于这种方法，支持度，形成关联的项目的共现频率，被用作关联的重要性的主要指标。使用单个用户指定的支持阈值来决定是否应进一步调查关联。支持有一些已知的问题，罕见的项目，有利于较短的项目集，有时产生误导性的协会。在本文中，我们开发了一种新的基于模型的频率约束作为一个单一的，用户指定的最小支持的替代。该约束通过应用简单的随机混合模型（NB模型）来利用生成事务数据的过程的知识，该模型允许事务数据的通常高度偏斜的项目频率分布。用户指定的精度阈值与模型一起使用，以找到项目集组的局部频率阈值。在此基础上，提出了NB-频繁项集的概念，并提出了一种挖掘算法来发现数据库中所有的NB-频繁项集。在公开的交易数据库的实验中，我们表明，新的约束提供了一个单一的最小支持阈值的改进和精度阈值是更强大的，更容易设置和解释的用户。
2008-03-21 cs.DB
Approximate-Closed-Itemset Mining for Streaming Data Under Resource Constraint
在这里，我们提出了一种新的算法频繁项集挖掘流数据（FIM-SD）。在过去的十年中，各种FIM-SD方法在一遍近似设置已被开发来近似每个项目集的频率。这些方法可以分为两种近似类型：参数约束（PC）挖掘和资源约束（RC）挖掘。PC方法基于预定义的参数控制可以包括在频率中的最大误差。相比之下，RC方法基于资源约束限制最大内存消耗。然而，现有的PC方法可以指数地增加存储器消耗，而现有的RC方法可以快速地增加最大误差。在这项研究中，我们解决这个问题，通过引入一个压缩表示的概念，称为$Δ$覆盖集，RC近似。这个概念被认为是封闭性压缩的一个扩展，当$Δ= 0$时，解对应于一个普通的封闭项集。该算法在资源约束条件下，寻找能恢复频繁项集及其频率的近似闭项集，最大误差以整数$Δ$为界.我们首先提出了一个单程近似算法来寻找凝聚的解决方案。然后，我们通过引入统一的PC-RC近似方法改进了基本算法。最后，我们经验证明，该算法显着优于最先进的PC和RC方法FIM-SD。
2019-01-07 cs.DB cs.DS
Efficient Discovery of Association Rules and Frequent Itemsets through Sampling with Tight Performance Guarantees
Brown University（布朗大学）
在数据采掘和数据库应用中，提取（top- $K$）频繁项集（FI's）和关联规则（AR's）的任务是基本的原语。针对这些问题的精确算法已经存在并被广泛使用，但是它们的运行时间受到扫描整个数据集的需要的阻碍，可能需要多次扫描。高品质的近似FI的和AR的是足够的最实际的用途，和一些最近的作品探讨了应用程序的采样快速发现的近似解决方案的问题。然而，这些工作不提供令人满意的性能保证的质量的近似，由于边界的概率下或过采样的任何一个未知数量的频繁项集的困难。在这项工作中，我们规避这个问题，应用统计概念的\emph{Vapnik-Chervonenkis (VC) dimension}开发一种新的技术，提供严格的样本量，保证近似用户指定的参数范围内的界限。我们的技术适用于绝对和相对近似（顶- $K$）FI的和AR的。所得到的样本大小线性依赖于与待挖掘的数据集相关联的范围空间的VC维度。这项工作的主要理论贡献是一个证明，VC维的范围空间的上限由一个易于计算的特征量的数据集，我们称之为\emph{d-index}，是最大的整数$d$，使数据集包含至少$d$事务的长度至少$d$，使它们中没有一个是一个超集或等于另一个。我们表明，这个界限是严格的一个大类的数据集。
2013-02-22 cs.DB cs.DS cs.LG
Frequent Patterns mining in time-sensitive Data Stream
在静态数据库中挖掘频繁项集已被广泛研究和应用，并且一直被认为是一项极具挑战性的任务。因此，将其扩展到数据流领域是很有趣的。在流媒体的情况下，频繁模式的挖掘有更多的信息要跟踪和更大的复杂性来管理。不常见的项目可能会在以后变得频繁，因此不能被忽略。输出结构需要动态地增加，以反映项集频率随时间的演变。在本文中，我们研究这个问题，特别是挖掘时间敏感的数据流的方法。我们试图通过增加时间精度来改进现有的算法，并通过添加一个新的概念称为“振动点”来丢弃过时的数据。我们还提出了一些实验，说明所需的时间和空间。
2012-06-05 cs.DB
A Recursive Algorithm for Mining Association Rules
挖掘频繁项集和关联规则是数据采掘和数据分析中的一项重要任务。在本文中，我们介绍PrefRec，一个递归算法，发现频繁项集和关联规则。它的主要优点是它对项目的递归性。当新项目被添加到数据库或当某些项目被排除时，它对于更新挖掘过程特别有效。我们提出了一个完整的逻辑算法，并给出了它的一些应用。在此基础上，我们对PrefRec的有效性进行了实验研究。我们首先比较了一些非常流行的频繁项集挖掘算法的执行时间。然后，我们做实验来测试我们的算法的更新能力。
2022-02-09 cs.DB math.ST stat.TH
