Mining Frequent Patterns in Evolving Graphs
给定一个标记图,频繁子图挖掘(FSM)问题要求找到所有出现频率大于给定阈值的$k$ -顶点子图。有限状态机有许多应用,从生物学到网络科学,因为它提供了图的特征的紧凑摘要。然而,这项任务是具有挑战性的,甚至更是因为不断发展的图形流性质的输入和指数时间复杂度的问题。在本文中,我们开始在增量和全动态流设置的近似FSM问题的研究,其中任意边缘可以添加或从图中删除。对于每个流设置,我们提出的算法,可以提取一个高质量的近似频繁的$k$顶点子图为一个给定的阈值,在任何给定的时间实例,具有很高的概率。与现有的国家的最先进的解决方案,需要迭代的子图的任何更新的整个集合,我们的算法通过保持一个统一的样本的$k$ -顶点子图与优化的邻域探索程序本地的更新。我们提供了所提出的算法的理论分析和经验证明,所提出的算法产生高质量的结果相比,基线。
2018-09-10 cs.DS
Mining frequent items in the time fading model
提出了一种基于草图的数据流频繁项挖掘算法FDCMSS。该算法巧妙地结合了向前衰减,计数最小和节省空间算法的关键思想。它工作在时间衰落模型下,根据收银机模型挖掘数据流。我们正式证明了它的正确性,并通过大量的实验结果表明,我们的算法优于$λ$ -HCount,最近开发的算法,在速度,所用的空间,精度达到和错误的合成和真实的数据集。
2016-08-02 cs.DB cs.DS
An Asymptotically Tighter Bound on Sampling for Frequent Itemsets Mining
本文提出了一种新的频繁项集挖掘抽样算法的误差界。我们表明,新的界限是渐近紧比国家的最先进的界限,即,给定所选择的样本,对于足够小的误差概率,新的误差界限大约是现有界限的一半。在此基础上,我们给出了一种新的近似算法,该算法比现有的近似算法简单得多,但在预先计算样本容量的情况下,仍能保证最差的近似误差。我们还给出了一个算法,可以近似的顶部- $k$频繁项集,具有较高的精度和效率。
2017-03-24 cs.DB cs.DS
Ramp: Fast Frequent Itemset Mining with Efficient Bit-Vector Projection Technique
National University of Computer and Emerging Sciences(国家计算机与新兴科学大学)
基于位向量表示的频繁项集挖掘方法对于密集数据集是非常有效的,但对于稀疏数据集,由于缺乏有效的位向量投影技术,挖掘效率很低。在本文中,我们提出了一种新的有效的位向量投影技术,稀疏和密集的数据集。为了检验我们的位向量投影技术的效率,我们提出了一个新的频繁项集挖掘算法Ramp(Real Algorithm for Mining Patterns)。在基准数据集上将Ramp算法与目前最好的频繁项集挖掘算法(全频繁项集、最大频繁项集和闭频繁项集)进行了性能比较。在稀疏数据集和密集数据集上的不同实验结果表明,使用Ramp挖掘频繁项集的速度比目前最好的算法都要快,这表明了位向量投影思想的有效性。我们还提出了一个新的本地最大频繁项集传播和最大项集超集检查方法FastLMFI,建立在我们的PBR位向量投影技术。我们不同的计算实验表明,使用FastLMFI的项集最大值检查是快速和有效的比以前将已知的渐进聚焦方法。
2009-04-21 cs.AI cs.DB cs.DS
Mining frequent items in unstructured P2P networks
大规模分散式系统,如P2P、传感器或物联网设备网络,正变得越来越普遍,需要强大的协议来解决数据分布和大量对等体属于网络所带来的挑战。本文研究了非结构化P2P网络中的频繁项挖掘问题。这个问题有实际的重要性,有许多有用的应用。我们设计了P2PSS,一个完全分散的,基于流言的协议,用于频繁项发现,利用节省空间的算法。我们正式证明的正确性和理论误差界。大量的实验结果清楚地表明,P2PSS提供了非常好的准确性和可扩展性,也存在高度动态的P2P网络与搅动。据我们所知,这是第一个gossip-为基础的分布式算法提供了强有力的理论保证,在非结构化P2P网络中的近似频繁项问题和发现频繁项的频率估计。
2018-10-16 cs.DC cs.DS
Discovering More Accurate Frequent Web Usage Patterns
Web使用挖掘是Web挖掘的一种,它利用数据采掘技术从万维网用户的浏览行为中发现有价值的信息。与传统的数据采掘一样,数据准备和模式发现是Web使用挖掘的主要问题。Web使用挖掘的第一阶段是数据处理阶段,包括从服务器日志中重建会话操作。会话重构的成功与否直接影响到下一阶段频繁模式发现的质量。在反应式web使用挖掘技术中,源数据是web服务器日志和web服务器域所服务的web页面的拓扑。在用户交互式浏览网站期间收集的其他类型的信息,例如Cookie或包含类似信息的网络日志,不会被使用。Web使用挖掘的下一个阶段是发现频繁的用户导航模式。在该阶段中,模式发现方法被应用于在第一阶段中获得的重构会话上,以便发现频繁用户模式。在本文中,我们提出了一个频繁的Web使用模式发现方法,可以应用会话重建阶段后。为了比较会话重建阶段和模式发现阶段的准确性,我们使用了一个代理模拟器,它模拟Web用户的行为,并生成Web用户导航以及Web服务器保存的日志数据。
2008-04-09 cs.DB cs.DS
Frequent Pattern Mining in Continuous-time Temporal Networks
College of Computing and Informatics, Drexel University(德雷塞尔大学计算与信息学院)
网络在不同的学科中被用作高度表达的工具。近年来,时态网络的分析和挖掘引起了广泛的关注。频繁模式挖掘被认为是网络科学文献中的一项重要任务。除了大量的应用外,网络中频繁模式挖掘的研究直接影响到其他分析方法,如聚类,准团和团挖掘,以及链接预测。在几乎所有的时态网络频繁模式挖掘算法中,时态网络都被表示为静态网络序列。然后,挖掘网络间或网络内模式。这种类型的表示对挖掘问题施加了计算-表达性权衡。在本文中,我们提出了一种新的表示,可以保留网络损失的时间方面。然后,我们引入了约束区间图的概念。接下来,我们开发了一系列的算法,用于挖掘时态网络数据集中的频繁时态模式的完整集合。我们还考虑了四种不同的同构定义,以允许在时间数据汇集的噪声容忍度。三个真实世界的数据集实现算法证明了所提出的算法的实用性和它的能力,发现未知的模式在各种设置。
2021-05-12 cs.CV cs.DB cs.DS
HybridMiner: Mining Maximal Frequent Itemsets Using Hybrid Database Representation Approach
FAST-National University of Computer and Emerging Sciences(FAST-国立计算机与新兴科学大学)
在本文中,我们提出了一种新的混合(基于数组的布局和垂直位图布局)的数据库表示方法,挖掘完整的最大频繁项集(MFI)稀疏和大型数据集。我们的工作是新颖的可扩展性,项目搜索顺序和两个水平和垂直投影技术。我们还提出了一个最大的算法,使用这种混合数据库表示方法。在真实数据集和稀疏数据集上的不同实验结果表明,该方法优于现有的最大值算法。
2009-04-21 cs.AI cs.DB cs.DS
Mining Multi-Level Frequent Itemsets under Constraints
BESTMOD Laboratory(BESTMOD实验室);Institut Supérieur de Gestion(高等管理学院)
关联规则挖掘是数据采掘的一项任务,它从数据库中提取有用项(对象)之间重要蕴涵关系形式的知识。挖掘多级关联规则使用概念层次结构,也称为分类法,并定义为对象之间的关系类型'是一个',提取规则,项目属于不同的抽象层次。这些规则更有用,更精确,更易于用户解释。在文献中已经提出了几种算法来发现多级关联规则。在这篇文章中,我们感兴趣的问题,发现多层次的频繁项集的约束下,涉及用户在研究过程中。我们提出了一种技术,在使用概念层次结构的上下文中的约束的建模和解释。提出并讨论了三种在约束条件下发现多层频繁项集的方法:基本方法、“测试生成”方法和基于剪枝的方法。
2010-12-26 cs.AI cs.DB cs.DS
Mining Top-K Co-Occurrence Items
频繁项集挖掘是数据采掘中的一个基本问题,在关联分析、分类等数据采掘任务中发挥着重要作用。然而,在一些应用中,例如推荐系统和社交网络,人们更感兴趣的是找出数据库中与某些用户指定的项集(查询项集)一起出现最频繁的项。在本文中,我们解决这个问题,提出了一个新的挖掘任务命名为top-k共现项目挖掘,其中k是所需的项目数被发现。然后,我们引入了一种特殊的数据结构Pi-Tree(Prefix itemset Tree)来维护项目集的信息。基于Pi-Tree,提出了两种挖掘top-k共现项的算法:PT(Pi-Tree-based algorithm)和PT-TA(Pi-Tree-based algorithm with TA pruning),并结合了几种新的搜索空间修剪策略以提高挖掘效率。PT和PT-TA的性能进行了评估,对四个建议的基线算法在合成和真实的数据库。大量的实验表明,PT不仅在执行时间上大大优于其他算法,而且具有良好的可扩展性。
2015-12-24 cs.DB cs.DS
When data mining meets optimization: A case study on the quadratic assignment problem
本文提出了一种结合数据采掘和优化的混合方法,称为基于频繁模式的搜索。该方法使用一个数据采掘过程中挖掘频繁模式,从一组高质量的解决方案收集从以前的搜索,和挖掘的频繁模式,然后建立初始解决方案,通过优化过程进行改进。在介绍了一般的方法和它的组成成分,我们说明了它的应用解决著名的和具有挑战性的二次分配问题。对21个最难的基准实例的计算结果表明,该方法的竞争有利的国家的最先进的算法无论是在解决方案的质量和计算时间。
2017-10-07 cs.DM cs.DS
Frequent Item-set Mining without Ubiquitous Items
频繁项目集挖掘(Frequent Item-set Mining,缩写为EIM),有时也称为市场篮分析(Market Basket Analysis,MBA)或关联规则学习(Association Rule Learning,ARL),是一种机器学习(Machine Learning,ML)方法,用于从项目的交易数据集创建规则。大多数方法根据对该假设的支持(即项目的最小相对共现数)来确定可能在交易中一起出现的项目。虽然这是一个很好的指标,以衡量这些项目可能出现在一起的假设的相关性,非常频繁的项目,称为无处不在的项目的现象,没有解决在大多数算法。普适项具有与不频繁项相同的熵,并且对知识没有显著贡献。另一方面,它们对算法的性能有很强的影响,有时会阻止迭代算法的收敛,从而提供有意义的结果。本文讨论了普遍存在的项目的现象,并演示了如何忽略这些有显着的影响,计算性能,但与低和控制的影响的结果的意义。
2018-03-29 cs.DB cs.DS
FreSCo: Mining Frequent Patterns in Simplicial Complexes
单纯形复形是对高阶关系进行建模的图的推广。在本文中,我们介绍单纯模式-我们称之为simplets -和推广的频繁模式挖掘的任务,从图的领域的单纯复合体。我们的任务是特别具有挑战性的,由于巨大的搜索空间和高阶同构的需要。我们发现,在一个复杂的单形的出现可以减少到一个二分图同构问题,在线性时间和最多的二次空间。然后,我们提出了一个反单调的频率措施,使我们能够开始探索从小simplets和停止扩大一个simplet,只要它的频率低于最低频率阈值。配备了这些想法和一个聪明的数据结构,我们开发了一个内存意识的算法,通过仔细利用之间的关系,简单的复杂和之间的simplets,实现效率和可扩展性,我们复杂的挖掘任务。我们的算法FreSCo有两种形式:它可以计算单形的确切频率,或者更快地,它可以确定单形是否频繁,而不必计算确切的频率。实验结果证明了FreSCo挖掘复杂的各种大小和维度的频繁的Simplets的能力,和相对于传统的图形模式的Simplets的意义。
2022-01-26 cs.DS cs.SI
Fast Algorithms for Mining Interesting Frequent Itemsets without Minimum Support
FAST-National University of Computer and Emerging Science(FAST-国家计算机与新兴科学大学)
真实世界的数据集是稀疏的,脏的,包含数百个项目。在这种情况下,发现有趣的规则(结果)使用传统的频繁项集挖掘方法,通过指定一个用户定义的输入支持度阈值是不合适的。由于没有任何领域知识,设置支持度阈值小或大可能会输出什么或大量冗余的不感兴趣的结果。最近提出了一种新的挖掘N-most/Top-K兴趣频繁项集的方法,该方法在不指定任何用户定义的支持度阈值的情况下发现前N个兴趣结果。然而,挖掘有趣的频繁项集没有最小支持度阈值是更昂贵的项集搜索空间探索和处理成本。因此,它们的挖掘效率在很大程度上取决于三个主要因素:(1)用于项集频率计数的数据库表示方法,(2)相关事务到搜索空间的较低级别节点的投影和(3)算法实现技术。因此,为了提高挖掘过程的效率,在本文中,我们提出了两个新的算法称为(N-MostMiner和Top-K-Miner)使用位向量表示的方法,这是非常有效的项集频率计数和事务投影。除此之外,我们还介绍了N-MostMiner和Top-K-Miner的几种有效实现技术。我们在基准数据集上的实验结果表明,与目前最好的算法BOMO和TFP相比,NMostMiner和Top-K-Miner在处理时间方面非常有效。
2009-04-21 cs.AI cs.DB cs.DS
Fast and Optimal Differentially Private Frequent-Substring Mining
Institute of Science Tokyo(东京科学大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61);University of Waterloo(滑铁卢大学)
本文提出一种高效且最优的差分隐私频繁子串挖掘算法,通过优化候选生成和剪枝策略,显著降低空间和时间复杂度。
2026-03-10 cs.CR cs.DS
Mining Rooted Ordered Trees under Subtree Homeomorphism
频繁树模式挖掘在XML数据、生物信息学和万维网等领域有着广泛的应用。频繁模式挖掘中的关键步骤是频率计数,它涉及到一个匹配操作符,用于在给定的树集合中找到树模式的出现(实例)。树结构数据的一种广泛使用的匹配算子是子树同胚,其中树模式中的边被映射到给定树中的祖先-后代关系。在子树同胚下频繁出现的树模式通常称为嵌入模式。本文提出了一种有效的子树同胚算法,并将其应用于频繁模式挖掘。我们提出了一个紧凑的数据结构,称为occ,它只存储信息的最右边的路径出现,因此可以编码和表示几个出现的树模式。然后,我们定义了有效的连接操作的occ数据结构,这有助于我们计数出现的树模式,根据其正确的子树的出现。基于提出的子树同胚方法,我们开发了一个有效的模式挖掘算法,称为TPMiner。我们在几个真实世界和合成数据集上评估了TPMiner的效率。我们广泛的实验证实,TPMiner总是优于已知的现有算法,在某些情况下,相对于现有算法的改进是显着的。
2015-09-28 cs.DB cs.DS
A New Data Layout For Set Intersection on GPUs
交集是频繁项集挖掘、稀疏布尔矩阵乘法等问题的核心。众所周知,对于某些计算问题,可以通过使用图形处理单元(GPU)作为大规模并行计算设备来获得大的速度增益。然而,GPU需要高度规则的控制流和存储器访问模式,并且出于这个原因,先前用于相交集合的GPU方法使用了简单的位图表示。这种表示需要在稀疏数据集上占用过多的空间。在本文中,我们提出了一种新的数据布局,“蝙蝠地图”,这是特别适合于并行处理,即使是稀疏数据紧凑。频繁项集挖掘是集交理论的重要应用之一。作为BatMaps潜力的案例研究,我们专注于频繁对挖掘,这是频繁项集挖掘的核心特例。主要的发现是,我们的方法是能够实现加速比Apriori和FP增长时,不同的项目的数量是大的,和问题实例的密度是1%以上。以前在GPU上实现的频繁项集挖掘无法显示最佳单线程实现的加速。
2011-02-04 cs.DC cs.DS
Resilient Pattern Mining
本文提出 (τ, k)-弹性模式挖掘问题,设计 O(n log n) 时间和 O(n) 空间的精确算法,并通过实验证明弹性子串在基因组分析、版本化数据集和聚类中比频繁子串更有效且算法高效。
2025-06-05 cs.DS
Efficient Temporal Pattern Mining in Big Time Series Using Mutual Information -- Full Version
非常大的时间序列越来越多地从部署在不同环境中的更广泛的物联网传感器中获得。从这些时间序列中挖掘时间模式可以获得重要的见解。与传统的模式挖掘不同,时态模式挖掘(TPM)在提取的模式中增加了事件时间间隔,使其更具表达性,但增加了挖掘的时间复杂度。现有的TPM方法要么不能扩展到大型数据集,要么只对预处理的时间事件而不是时间序列起作用。本文提出了一种从时间序列中挖掘频繁时间模式的方法,它提供:(1)以时间序列为输入,产生频繁时间模式作为输出的端到端的FTPMf TS过程。(2)高效的分层时态模式图挖掘(HTPGM)算法使用高效的数据结构进行快速支持度和置信度计算,并采用有效的修剪技术以显著提高挖掘速度。(3)HTPGM的一个近似版本,它使用互信息(一种从信息论中已知的数据相关性度量)从搜索空间中修剪出没有希望的时间序列。(4)广泛的实验评估表明,HTPGM在运行时和内存消耗方面优于基线,并且可以扩展到大数据集。近似的HTPGM比基线快两个数量级,消耗的内存更少,同时保持高精度。
2021-11-17 cs.DB cs.DS
Clustering with Lattices in the Analysis of Graph Patterns
Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所);Leiden University(莱顿大学)
挖掘频繁子图是一个研究领域,我们有一组给定的图(每个图可以被视为一个事务),我们搜索包含在许多这些图中的(连接)子图。在这项工作中,我们将讨论在我们的框架Lattice 2SAR中使用的技术,用于挖掘和分析频繁子图数据及其相应的格信息。格信息由图挖掘算法gSpan提供;它包含频繁子图模式的所有超图-子图关系及其支持。Lattice 2SAR特别用于分析频繁图模式,其中图是分子,频繁子图是片段。在碎片分析中,人们对出现模式的分子感兴趣。这些数据可以是非常广泛的,在本文中,我们专注于一种技术,使其更好地利用我们的聚类中的晶格信息。现在,我们可以减少用户需要访问高度压缩的发生数据的次数。用户不必浏览所有出现数据以搜索在相同分子中出现的模式。相反,人们可以直接看到哪些频繁子图是感兴趣的。
2007-05-04 cs.AI cs.DS
Scalable Order-Preserving Pattern Mining
针对时间序列保序(OP)匹配下的频繁模式挖掘(FPM)问题,提出基于保序后缀树(OPST)的高效构建算法及精确挖掘算法,实验证明其比现有方法快数个数量级且聚类有效。
2024-11-29 cs.DB cs.DS
The Complexity of Maximal Common Subsequence Enumeration
本文研究了极大公共子序列枚举问题的复杂性,证明了在多字符串间枚举的困难性并排除了输出多项式时间算法的可能性,同时通过参数化复杂性分析提供了规避该难处理性的结果。
2025-04-07 cs.CC cs.DS
An Efficient Rigorous Approach for Identifying Statistically Significant Frequent Itemsets
随着技术的进步允许收集、存储和分析大量数据,筛选和评估所发现模式的重要性的任务正在成为数据采掘应用中的主要挑战。在这项工作中,我们解决的背景下,频繁项集挖掘的意义。具体来说,我们开发了一种新的方法来确定一个有意义的支持阈值s* 的数据集,这样的支持至少s* 的项目集的数量代表了一个实质性的偏差,从预期的随机数据集具有相同数量的事务和相同的个人项目频率。然后,这些项集可以被标记为具有统计学显著性,具有较小的错误发现率。我们提出了广泛的实验结果,以证实我们的方法的有效性。
2010-02-04 cs.DB cs.DS
Finding the True Frequent Itemsets
Brown University(布朗大学);University of Southern Denmark(南丹麦大学)
频繁项集(FI)挖掘是数据采掘中的一个基本问题。它需要识别出现在事务数据集$\mathcal{D}$的至少一部分$θ$中的所有项集。然而,通常,挖掘$\mathcal{D}$的最终目标不是分析数据集\emph{per se},而是理解生成它的底层过程。具体地,在许多应用中,$\mathcal{D}$是从关于事务的未知概率分布$π$获得的样本的集合,并且通过提取$\mathcal{D}$中的FI,人们尝试推断频繁(即,概率至少为$π$),我们称之为真频繁项集(TFI)。由于生成过程的固有随机性,FI集合只是TFI集合的粗略近似,因为它通常包含大量的\emph{false positives},即,不属于TFI的伪项集。在这项工作中,我们设计和分析一个算法来确定一个阈值$\hatθ$,这样的收集的项目集的频率至少$\hatθ$在$\mathcal{D}$只包含TFI的概率至少$1-δ$,对于一些用户指定的$δ$。我们的方法使用统计学习理论的结果,涉及手头的问题的(经验)VC维度。这使我们能够识别几乎所有的TFI,而不包括任何假阳性。我们还通过实验将我们的方法与在频率$θ$上直接挖掘$\mathcal{D}$以及基于广泛使用的标准界限(即,的二项分布,并表明我们的算法优于这些方法,并取得更好的结果比什么是保证的理论分析。
2014-01-22 cs.DB cs.DS cs.LG
NoSPaM Manual - A Tool for Node-Specific Triad Pattern Mining
Institute for Theoretical Physics, University of Würzburg(维尔茨堡大学理论物理研究所)
三元子图模体检测是复杂网络研究中的一种常用方法。通常用于检测模体的过程评估某个子图模式在整个网络中是否过度表示。然而,模体不一定频繁地出现在图的每个区域中。为此,我们最近引入了特定于节点的模式挖掘(NoSPaM)框架。这项工作是NoSPaM的实施手册,可以从www.mwinkler.eu下载。
2015-09-04 cs.CV cs.DS cs.SI
MCRapper: Monte-Carlo Rademacher Averages for Poset Families and Approximate Pattern Mining
Università di Padova(帕多瓦大学);Brown University(布朗大学);Amherst College(阿默斯特学院)
我们提出了MCRapper,一种有效计算具有偏序集的函数族的Monte-Carlo经验Rademacher Approach(MCERA)的算法(例如,格)结构,例如在许多模式挖掘任务中出现那些结构。MCERA允许我们计算样本均值与其期望值的最大偏差的上限,因此它可以用于找到两个显著函数(即,模式),以及高期望函数集合的近似(例如,频繁模式),当可用数据是来自大数据集的小样本时。此功能是对以前提出的只能实现两者之一的解决方案的强大改进。MCRapper使用函数差异的上限来有效地探索和修剪搜索空间,这是一种从模式挖掘本身借鉴的技术。为了展示MCRapper的实际用途,我们使用它来开发一个算法TFP-R的任务的真实频繁模式(TFP)挖掘。TFP-R保证了包含任何误报(精确度)的概率,并表现出比现有方法更高的统计能力(召回率)。我们评估MCRapper和TFP-R,并表明它们在各自的任务中表现优于最先进的技术。
2020-06-16 cs.DB cs.DS cs.LG