Approximate Inverse Frequent Itemset Mining: Privacy, Complexity, and Approximation
为了生成用于更好的基准测试的合成篮子数据集,重要的是将来自真实数据库的特征集成到合成篮子数据集中。可用于此目的的特征包括频繁项集和关联规则。从频繁项集生成合成篮子数据集的问题通常被称为逆频繁项集挖掘。本文证明了近似逆频繁项集挖掘问题是{ \bf NP}-完全的。然后,我们提出并分析了一个近似逆频繁项集挖掘的近似算法,并讨论了与合成篮子数据集相关的隐私问题。特别是,我们提出了一个近似算法来确定在合成篮子数据集的隐私泄漏。
2012-07-23 cs.DB
Hybrid Data Mining Technique for Knowledge Discovery from Engineering Materials' Data sets
从数据采掘的角度来研究材料信息学可以有益于制造业和其他工业工程应用。将预测数据采掘技术与机器学习算法相结合,设计了一个用于工程材料选择的知识发现系统,以满足设计要求。分别采用预测方法-朴素贝叶斯分类器和机器学习算法-皮尔逊相关系数法对材料进行分类和选择。从工程材料数据集中提取的知识,提出了先进的工程材料设计应用程序的有效决策。
2012-09-19 cs.DB
Mining The Data From Distributed Database Using An Improved Mining Algorithm
关联规则挖掘是一个活跃的数据采掘研究领域,大多数ARM算法适合于集中式环境。集中式数据采掘在分布式数据库中发现有用的模式并不总是可行的,因为合并来自不同站点的数据集会产生巨大的网络通信成本。本文提出了一种基于良好性能水平的数据采掘改进算法。在本地站点,运行基于改进的LMatrix算法的应用程序,该算法用于计算本地支持数。本地站点还找到一个中心站点来管理交换的每一条消息,以获得所有全球频繁项集。利用LMatrix减少了分区数据库的扫描时间,提高了算法的性能。因此,本研究旨在开发一种分布式算法,用于地理上分布的数据集,该算法比直接在分布式数据库中应用顺序算法降低通信成本,具有更高的运行效率和更强的可扩展性。
2010-04-10 cs.DB
A Novel Approach for Web Page Set Mining
关联规则挖掘中最耗时的步骤之一是计算数据库中项集的出现频率。哈希表索引方法通过仅扫描事务数据库一次来将事务数据库转换为哈希索引树。每当用户请求任何统一资源定位符(URL)时,请求条目都存储在服务器的日志文件中。本文提出了一种通用的、密集的哈希索引表结构,用于从服务器的日志文件中提取网页集。此哈希表提供有关原始数据库的信息。网页集挖掘(WPs-Mine)提供了原始数据库的完整表示。这种方法适用于稀疏和密集数据分布。哈希表索引支持的Web页面集挖掘表明,其性能始终与访问平面文件上的数据的算法相当,并且往往优于这些算法。增量更新是可行的,无需重新访问原始事务数据库。
2011-11-11 cs.DB
Granular association rules on two universes with four measures
关联规则揭示隐藏在多个表中的模式。现有的规则通常通过两个衡量标准进行评估,即支持度和信任度。然而,这两个指标可能不足以描述规则的强度。在本文中,我们介绍了粒度关联规则的四个措施,揭示了两个宇宙中的颗粒之间的连接,并提出了三个算法的规则挖掘。例如,“40%的男性喜欢至少30%的酒; 45%的顾客是男性,6%的产品是酒。这里45%、6%、40%和30%分别是源覆盖率、目标覆盖率、源置信度和目标置信度。通过这些措施,我们的规则比现有的规则在语义上更丰富。通过考虑对源/目标置信度的特殊要求,得到了三种规则子类型。然后,我们定义了一个规则挖掘问题,并设计了一个三明治算法,不同的子类型的规则检查方法。在真实世界数据集上的实验表明,专用于三种亚型的方法比一般情况下的方法快2-3个数量级。针对一个特定子类型的前向算法和后向算法可以进一步加快挖掘过程。本文的工作开辟了关系关联规则挖掘、粒计算和粗糙集的新的研究方向。
2016-01-28 cs.DB
Using Apriori with WEKA for Frequent Pattern Mining
知识探索是从庞大的数据集中进行的,这些数据是由于数据采掘而产生的各种数据处理活动的结果。频繁模式挖掘是数据采掘中一项非常重要的工作。Apriori方法用于产生频繁项目集,通常采用候选项生成和剪枝技术来满足期望的目标。本文展示了不同的方法如何实现频繁挖掘的目标以及执行该工作所需的复杂性。本文演示了使用WEKA工具进行关联规则挖掘的Apriori算法。
2014-06-28 cs.DB
Similarity Data Item Set Approach: An Encoded Temporal Data Base Technique
数据采掘已被广泛认为是一个强大的工具,探索从大型数据库的附加值。在关联规则的数据采掘过程中,发现数据库中的频繁项集是一个关键问题。为了寻找频繁项集,人们提出了许多算法。本文提出了一个总结和比较研究的可用FP增长算法的变化产生的挖掘频繁项目集显示其能力和效率方面的时间和内存消耗的关联规则挖掘,考虑到具体的信息的应用。提出了基于模式增长挖掘范式的FP-树增长算法,该算法采用树结构来压缩数据库。性能研究表明,反FP-增长方法对于挖掘长、短频繁模式都是有效的、可扩展的,比Apriority算法快一个数量级,也比最近报道的一些新的频繁模式挖掘算法快。
2010-03-22 cs.DB
SQL Queries for Declarative Process Mining on Event Logs of Relational Databases
灵活的业务流程通常可以更容易地使用声明式建模方法而不是过程式建模方法进行建模。流程挖掘旨在自动发现业务流程模型。现有的声明式流程挖掘方法要么遭受现实生活中的事件日志的性能问题,要么将其表达能力限制在一组特定的constaint类型。最近,通过JavaXES引入了一种用于存储事件日志数据的关系数据库体系结构。在本技术报告中,我们介绍了一种挖掘方法,该方法通过使用常规SQL查询日志来直接处理关系事件数据。我们提供了一个SQL查询列表,用于发现一组常用和挖掘的流程约束。
2015-12-03 cs.DB
Mining Positive and Negative Association Rules Using CoherentApproach
在数据采掘领域中,关联规则被发现具有指定为最小支持阈值的领域知识。阈值设置的准确性直接影响到关联规则发现的数量和质量。通常,在挖掘关联规则之前,用户需要确定支持度阈值,以便仅获得频繁项集。让用户来确定支持阈值会引起许多问题。我们提出了一个不需要设定支持阈值的关联规则挖掘框架。通常,关联规则的数量,即使在数量上很大,错过了一些有趣的规则和规则的质量需要进一步的分析。因此,使用这些规则进行决策可能会导致风险行为。
2013-08-10 cs.DB
Delineation of Techniques to implement on the enhanced proposed model using data mining for protein sequence classification
在后基因组时代,随着新技术的出现,大量复杂的分子数据以高通量产生。由于数据的复杂性和异质性,这些生物数据的管理对于发现新知识来说无疑是一项具有挑战性的任务。需要处理诸如管理噪声和不完整数据等问题。数据采掘在生物学领域的应用使其在库存方面取得了成功。从生物数据中发现新的知识是数据采掘技术的一个主要挑战。该模型的新颖之处在于它结合了智能技术,可以更快、更有效地对蛋白质序列进行分类。将FFT、模糊分类器、字符串加权算法、gram编码方法、神经网络模型和粗糙集分类器等在同一个模型中适当地使用,可以提高分类系统的质量,因此,如何快速、简便、智能地识别和分类蛋白质大序列,降低时间复杂度和空间复杂度,是蛋白质大序列识别和分类的主要挑战。
2014-03-12 cs.CE cs.DB
A Novel Approach For Discovery Multi Level Fuzzy Association Rule Mining
在事务数据库中寻找多级关联规则是最常见的,在数据采掘中得到了广泛的应用。本文提出了一种挖掘多级关联规则的模型,该模型在每一级上满足不同的最小支持度,利用模糊集的概念、多级分类法和不同的最小支持度,在给定的事务数据集中发现模糊多级关联规则。模型中利用Apriori属性对项目集进行剪枝。该模型采用自上而下的逐步深化方法来获得大型项目集。这种方法采用模糊边界,而不是尖锐的边界区间。最后通过一个实例证明了该算法能够简单有效地挖掘出不同支持度下的多层关联规则。
2010-03-22 cs.DB
Efficient Constrained Pattern Mining Using Dynamic Item Ordering for Explainable Classification
可解释的分类模型的学习在过去几年中引起了广泛的关注。发现能够突出两个类之间差异的简洁和对比模式非常重要。这种模式对人类专家很有用,可以用来构建强大的分类器。在本文中,我们考虑挖掘最小的新兴模式,从高维数据集的各种约束下的监督设置。我们专注于一个扩展,其中模式可以包含负项,指定一个项目的情况下。在这种情况下,数据库变得高度密集,这使得挖掘更具挑战性,因为流行的模式挖掘技术,如fp-tree和发生交付不能有效地工作。为了解决这个问题,我们提出了一个有效的算法,挖掘最小的新兴模式相结合的两种技术:动态变量排序在模式搜索,以提高修剪效果,并使用基于指针的动态数据结构,称为跳舞链接,有效地维护发生列表。基准数据集上的实验表明,我们的算法实现了显着的速度比新兴的模式挖掘方法的基础上LCM,一个非常快速的深度优先频繁项集挖掘使用静态变量排序。
2020-04-17 cs.DB
Efficient Candidacy Reduction For Frequent Pattern Mining
当然,如今知识发现或从大量数据中提取知识是竞争激烈的业务中的理想任务。数据采掘是知识发现过程中的一个重要步骤。同时频繁模式在聚类、分类、关联分析等数据采掘任务中起着核心作用。识别所有频繁模式是最耗时的过程,由于大量的候选模式。在过去的十年里,有越来越多的有效算法来挖掘频繁模式。然而,减少候选模式的数量和支持度计数的比较仍然是该领域的两个问题,这使得频繁模式挖掘成为数据采掘中的一个活跃的研究主题。一个合理的解决方案是确定一个小的候选模式集,从该集可以生成所有的频繁模式。本文提出了一种新的候选集的基础上,称为候选头集或H,形成一个小的候选模式集的方法。实验结果验证了该方法的准确性,减少了候选模式和比较的数量。
2010-01-13 cs.DB
PrivBasis: Frequent Itemset Mining with Differential Privacy
频繁项集的发现可以服务于有价值的经济和研究目的。然而,发布发现的频繁项集带来了隐私挑战。本文研究了如何在满足差分隐私的情况下对事务数据库进行频繁项集挖掘的问题。我们提出了一种称为PrivBasis的方法,它利用了一个称为基集的新概念。一个theta基集具有这样的性质,即任何频率高于theta的项集都是某个基的子集。我们引入算法私下构造一个基集,然后用它来找到最频繁的项集。实验表明,我们的方法大大优于目前的最先进的。
2012-08-01 cs.DB
Mining Frequent Itemsets (MFI) over Data Streams: Variable Window Size (VWS) by Context Variation Analysis (CVA) of the Streaming Transactions
针对数据流中频繁项挖掘所面临的窗口大小可变和存储空间不足的问题,提出了一种基于数据流的频繁项挖掘方法。为了检查流事务中上下文变化的变化点,我们开发了一种窗口结构,该窗口结构将在两个级别上,并支持即时固定窗口大小,控制异质性,并确保添加到窗口中的事务之间的同质性。为了最小化内存利用率、计算成本并提高进程可扩展性,该设计将允许在窗口级别固定覆盖或支持。在本文中,介绍了从窗口中增量挖掘频繁项集和上下文变化分析方法。我们在本文档中介绍的完整技术被命名为使用上下文变化分析固定的可变窗口大小的频繁项集挖掘(MFI-VWS-CVA)。在特定的项集中,频繁项集和非频繁项集之间有着明确的界限。在这个设计中,我们使用窗口大小的变化来表示信息流中的概念漂移。可以说,只要在有效地设置窗口大小方面存在问题,项集就会变得不频繁。我们已经执行和记录的实验证明,我们所设计的算法是比现有的效率更高。
2014-08-14 cs.DB
Association Rule Mining Based On Trade List
提出了一种基于频繁项集的挖掘算法。Apriori算法每次发现频繁项集时都要扫描数据库,因此非常耗时,而且每一步都要生成候选项集。在无向项集图中,它是对先验知识的改进,但生成树需要时间和空间。定义的算法在开始时只扫描数据库一次,然后从扫描的数据库中生成贸易清单。它包含了整个数据库的信息。它通过考虑最小支持度来寻找频繁项集,并通过考虑最小置信度来生成关联规则。当数据库和最小支持度发生变化时,新算法通过扫描交易列表来发现新的频繁项。因此,与传统算法相比,它的执行效率有了明显的提高。
2012-02-22 cs.DB
Beyond Frequency: Utility Mining with Varied Item-Specific Minimum Utility
面向效用的挖掘是效用理论与数据采掘相结合的产物,是理解经济消费者行为的有效工具。传统的挖掘高效用模式(High-utilizationPatterns,HUP)的算法采用单一/统一的最小高效用阈值(minutil)来获取HUP集合,但在现实生活中,某些特定的产品可能带来较低的效用,但它们的利润可能提供一些重要的信息。然而,如果细节设置为高,则丢失具有低细节的图案;如果细节设置为低,则图案的数量变得难以管理。本文提出了一种高效的单阶段面向效用的模式挖掘算法HIMU,用于挖掘具有不同项目特定最小效用的HUP。在HIMU中引入了一种新的树结构--多项效用集枚举树(MIU-tree)、全局排序和条件下闭包性质。此外,我们扩展了紧凑的实用程序列表结构,以保持必要的信息,因此,这种一阶段HIMU模型大大降低了计算成本和内存需求。此外,两个修剪策略,然后扩展,以提高性能。我们在几个合成和真实世界的数据集上进行了广泛的实验;结果表明,所设计的单阶段HIMU算法可以解决“稀有项问题”,并且在运行时间,内存使用和可扩展性方面具有比最先进的算法更好的性能。此外,增强的算法优于非优化的HIMU方法。
2019-02-25 cs.DB
Modification of GTD from Flat File Format to OLAP for Data Mining
本文是作者为探索数据采掘技术应用的新领域而进行的原创性研究工作的一部分。示例数据是来自马里兰大学(UMD)的大型数据集的一部分,并概述了如何通过以OLAP多维数据集的形式对数据进行预处理来发现更有意义的模式。
2011-08-26 cs.DB
Rough Set Model for Discovering Hybrid Association Rules
Maulana Azad National Institute of Technology(毛拉纳·阿扎德国家理工学院)
本文研究了利用粗糙集方法挖掘混合关联规则的算法RSHAR,该算法主要由两个步骤组成。首先,将参与者表连接成一个通用表,生成表示数据库中属于多个不同表的两个或多个域之间关系的规则。然后将映射代码应用到选定的维度上,这些维度可以作为一个特定的属性直接添加到信息系统中。为了找到关联规则,在第二步中,通过等价类生成候选项集,并将映射代码转换为真实维度,生成频繁项集。候选项集的搜索方法类似于apriori算法。对算法的性能进行了分析。
2009-06-23 cs.DB cs.LG
A Survey of the State of the Art in Data Mining and Integration Query Languages
本调查的主要目的是确定一组有代表性的数据挖掘和集成(Data-Mining and Integration,简称查询语言)的优点和缺点。我们描述了一组属性的DMI相关的语言,我们使用这些语言的系统评估。此外,我们引入了一个评分系统,我们用它来量化我们的意见,以及一个DMI相关的语言支持的属性。本文介绍的语言包括:DMQL、MineSQL、MSQL、M2MQL、dmFSQL、OLEDB for DM、MINE RULE和Oracle数据采掘。这项调查可以帮助研究人员提出一种超越最先进水平的语言,或者可以帮助从业者选择一种适合目的的现有语言。
2016-03-03 cs.DB
Mining Frequent Itemsets Using Genetic Algorithm
通常,频繁项集是通过应用关联规则挖掘算法,如Apriori,Partition,Pincer-Search,Incremental,Border算法等,从大数据集中生成的。这需要花费太多的计算机时间来计算所有的频繁项集。通过使用遗传算法(GA),我们可以改善的情况下。使用遗传算法发现频繁项集的主要优点是它可以进行全局搜索,并且由于遗传算法是基于贪婪方法的,因此其时间复杂度比其他算法要低。本文的主要目的是利用遗传算法从给定的数据集中找到所有的频繁项集。
2010-11-01 cs.DB
An Efficient and Accurate Rough Set for Feature Selection, Classification and Knowledge Representation
Chongqing Key Laboratory of Computational Intelligence, Chongqing University of Telecommunications and Posts(重庆邮电大学计算智能重庆市重点实验室);National Engineering Laboratory for Algorithm and Analysis Technologiy on Big Data, Xi’an Jiaotong University(西安交通大学大数据算法与分析技术国家工程实验室);University of California Riverside(加州大学河滨分校)
本文提出了一种基于粗糙集的强数据采掘方法,该方法可以同时实现特征选择、分类和知识表示。粗糙集具有良好的可解释性,是特征选择的一种常用方法。但效率低、精度低是制约其应用的主要问题。本文针对粗糙集理论在处理噪声属性时存在的过拟合问题,提出了一种属性的鲁棒性度量--相对重要性,并提出了“粗糙概念树”的概念,用于知识表示和分类。在公共基准数据集上的实验结果表明,该框架比七种流行或最先进的特征选择方法具有更高的准确率.
2022-01-12 cs.AI cs.DB cs.LG
Algorithms for Efficient Mining of Statistically Significant Attribute Association Information
数据集中属性之间的关联信息的知识提供了对数据的底层结构的洞察,并解释了属性和类(如果存在)之间的关系(独立性,协同性,冗余性)。当这种相互依赖性已知时,通过计算从数据中学习的复杂模型对人类分析师来说更容易解释。在本文中,我们重点关注挖掘属性之间的两种类型的关联信息--相关信息和交互信息,用于有监督分析(存在类属性)和无监督分析(不存在类属性)。识别统计上显著的属性关联是一项具有计算挑战性的任务-可能的关联的数量呈指数级增加,并且当存在多个相关属性时,许多关联包含冗余信息。在本文中,我们探索有效的数据采掘方法来发现非冗余的属性集,包含显着的关联信息,指示存在的信息模式的数据。
2012-08-19 cs.DB
Covering Rough Sets From a Topological Point of View
基于覆盖的粗糙集理论是对经典粗糙集理论的扩展。本文的主要目的是从拓扑的角度研究覆盖粗糙集。探讨了拓扑空间上近似之间的关系。
2012-07-27 cs.DB
An Efficient Method for Mining Event-Related Potential Patterns
在本文中,我们提出了一个神经电磁本体框架(NOF)挖掘事件相关电位(ERP)模式以及过程。这项研究的目的是开发一个基础设施,挖掘,分析和共享ERP领域本体。本研究的成果是一个神经电磁知识系统。该框架分为5个阶段:1)数据预处理与准备; 2)数据采掘应用; 3)规则比较与评估; 4)关联规则后处理; 5)领域本体。在第五阶段,通过比较领域本体和专家规则的关联规则,发现一组新的隐藏规则。
2012-01-30 cs.DB
Pattern Detection with Rare Item-set Mining
随着可用数据量的爆炸式增长,在大型数据集中发现新的和有趣的模式,称为数据采掘,引起了越来越多的兴趣。数据采掘技术可以应用于不同的领域和领域,如计算机科学,卫生部门,保险,国土安全,银行和金融等,在本文中,我们感兴趣的发现一个特定类别的模式,被称为罕见的和不存在的模式。我们提出了一种新的方法对非本模式的发现使用稀有项集挖掘。
2012-09-14 cs.DB cs.SE
A Comparative Study of Discretization Approaches for Granular Association Rule Mining
粒度关联规则挖掘是一种新的关系型数据采掘方法,可以揭示隐藏在多个表中的模式。目前的粒度关联规则挖掘研究只考虑名义数据。在本文中,我们研究了离散化方法对从数值数据中挖掘语义更丰富和更强大的规则的影响。具体来说,等宽法和等频率法被采用和比较。区间数的设置是离散化方法中的一个关键问题,因此我们通过对一个著名的现实生活数据集的实验来比较不同的设置。实验结果表明:1)离散化是挖掘更强规则的有效预处理技术; 2)等频率方法比等宽方法有助于生成更多的规则; 3)通过一定的区间数设置,我们可以获得比其他方法更多的规则。
2012-12-12 cs.DB cs.IR
Pattern Morphing for Efficient Graph Mining
图挖掘应用程序分析大型图的结构属性,并且它们通过查找子图同构来实现,这使得它们具有计算密集型。现有的图挖掘技术,包括自定义图挖掘应用程序和通用图挖掘系统,开发高效的执行计划,以加快探索给定的查询模式,表示感兴趣的子图结构。在本文中,我们超越了传统的哲学优化的执行计划,为一组给定的模式,并利用不同的查询模式的子结构的相似性。我们提出了模式变形,一种技术,使结构感知代数模式,以准确地推断出一组给定的模式,使用一个完全不同的模式,计算成本较低的结果。模式变形将给定的一组查询模式“变形”(或转换)为备选模式,同时保留完全的等价性。它是一种通用技术,支持对模式的匹配进行各种操作,而不仅仅是计数(例如,支持计算、枚举等),使其广泛适用于各种图挖掘应用,如Motif Counting和Frequent Subgraph Mining。由于模式变形主要是在查询模式探索开始之前对其进行转换,因此它可以很容易地集成到现有的通用图挖掘系统中。我们评估模式变形的有效性,将其纳入百富勤,最近的国家的最先进的图挖掘系统,并表明,模式变形显着提高了不同的图挖掘应用程序的性能。
2020-12-08 cs.DB cs.DC
A Comparative Study on Remote Tracking of Parkinsons Disease Progression Using Data Mining Methods
近年来,数据采掘方法在医学诊断和评估的许多领域中的应用越来越普遍。数据采掘方法是发现和提取医学数据库中可用知识的合适工具。本研究将11种数据采掘算法分为5组,应用于帕金森病(PD)患者临床变量数据集,研究疾病进展。该数据集包括42个人的22个属性,我们所有的算法都应用于这个数据集。相关系数为0.9985的决策表具有最好的精度,相关系数为0.7919的决策树桩具有最低的精度。
2013-12-07 cs.CE cs.DB
Using Answer Set Programming for pattern mining
AGROCAMPUS-OUEST/IRISA UMR6074(西部农学院/法国信息与随机系统研究所);Inria(法国国家信息与自动化研究所)
序列模式挖掘就是从一个唯一的项集序列中提取频繁序列模式。本文探讨了声明性语言,如回答集编程(ASP),有效地解决这个问题的能力。我们提出了几个ASP实现的频繁序列模式挖掘任务:一个非增量和增量的决议。结果表明,增量解析比非增量解析更有效,但两种ASP程序的效率都低于专用算法。尽管如此,这种方法可以被看作是第一步,一个通用的框架,顺序模式挖掘的约束。
2014-09-27 cs.AI cs.DB cs.LO
Mining Non-Redundant Local Process Models From Sequence Databases
Eindhoven University of Technology(埃因霍温理工大学);University of Tartu(塔尔图大学)
序列模式挖掘技术从序列数据库中提取对应于频繁序列的模式。这些技术的一个实际局限性是,它们会让用户负担太多的模式。局部过程模型挖掘是过程挖掘领域的一种新的挖掘方法。在传统的序列模式挖掘中,一个模式描述一个子序列,而LPM捕获一组连续性。此外,虽然传统的顺序模式仅匹配在序列数据库中观察到的顺序,但LPM可以捕获未明确观察到的顺序,但与观察到的顺序相关。换句话说,LPM概括了在序列数据库中观察到的行为。这些属性使得一组LPM可以覆盖更大的一组顺序模式的行为。然而,现有的LPM挖掘技术仍然遭受模式爆炸问题,因为它们产生冗余LPM集。在本文中,我们提出了几种算法来挖掘一组非冗余的LPM,无论是从一组冗余的LPM或从一组序列模式。我们根据经验比较他们之间的建议,并对现有的(本地)流程挖掘技术的覆盖率,冗余度和复杂性的生产集的LPM。
2018-09-21 cs.AI cs.DB cs.DS
DiffNodesets: An Efficient Structure for Fast Mining Frequent Itemsets
频繁项集的挖掘是数据采掘中的一个基本问题,在数据采掘的许多应用中起着重要的作用。近年来,人们提出了一些基于节点集的项集表示方法,这些方法对于挖掘频繁项集非常有效。在本文中,我们提出了DiffNodeset,一种新的和更有效的项集表示,挖掘频繁项集。基于DiffNodeset结构,提出了一种高效的频繁项集挖掘算法dFIN。为了提高效率,dFIN采用集合枚举树和混合搜索策略来寻找频繁项集,在某些情况下不需要生成候选项集而直接枚举频繁项集。为了评估dFIN的性能,我们进行了大量的实验,将其与各种真实和合成数据集上的现有领先算法进行比较。实验结果表明,dFIN是显着的速度比这些领先的算法。
2015-07-06 cs.DB cs.DS
Mining All Non-Derivable Frequent Itemsets
最近的频繁项集挖掘算法的研究导致显着的性能改善。然而,如果最小支持度阈值设置得太低,或者数据高度相关,则频繁项集本身的数量可能会非常大。为了克服这个问题,最近已经提出了一些建议,以构建一个简洁的表示的频繁项集,而不是挖掘所有的频繁项集。本文的主要目标是确定所有频繁项集的集合中的冗余,并利用这些冗余,以减少挖掘操作的结果。我们提出了推导规则,以获得紧边界上的候选项集的支持。我们展示了如何演绎规则允许构造一个最小的表示所有频繁项集。我们还提出了我们的建议和最近的建议之间的联系,简洁的表示,我们给出了在现实生活中的数据集,显示的演绎规则的有效性的实验结果。事实上,实验甚至表明,在许多情况下,首先挖掘的简洁表示,然后从这个表示创建频繁项集优于现有的频繁集挖掘算法。
2002-06-03 cs.AI cs.DB
Interactive Constrained Association Rule Mining
我们研究的方法来支持交互式挖掘会话,在关联规则挖掘的设置。在这样的会话中,用户指定要生成的关联的条件(查询)。我们的方法是挖掘阶段内的查询条件的集成,和已经生成的关联的增量查询的组合。我们提出了几个具体的算法,并比较它们的性能。
2003-02-05 cs.AI cs.DB
Tackling scalability issues in mining path patterns from knowledge graphs: a preliminary study
Université de Lorraine, CNRS, Inria, LORIA(洛林大学、法国国家科学研究中心、法国国家信息与自动化研究所、洛林计算机科学与应用研究实验室)
从知识图谱中挖掘出的特征被广泛应用于多种知识发现任务中,例如分类或事实检查。在这里,我们考虑一组给定的顶点,称为种子顶点,并专注于挖掘其相关的相邻顶点,路径,更一般地说,路径模式,涉及类的本体与知识图谱。由于现实世界的知识图谱的组合性质和不断增长的规模,挖掘这些模式的任务立即带来了可扩展性问题。在本文中,我们通过提出一种依赖于一组约束(例如,支持度或度阈值)和单调性属性。由于我们的动机来自现实世界的知识图谱的挖掘,我们说明了我们的方法与PGxLOD,生物医学知识图谱。
2020-08-07 cs.AI cs.DB
A Constraint Programming Approach for Mining Sequential Patterns in a Sequence Database
University of Caen(卡昂大学);University PARIS 13(巴黎第十三大学)
基于约束的模式发现是众多数据采掘任务的核心。模式是相对于一组给定的约束(频率,封闭性,大小等)提取的。在序列模式挖掘的背景下,已经开发了大量专门的技术来解决特定类别的约束。本文的目的是研究使用约束编程(CP)的建模和挖掘序列数据库中的序列模式。我们的CP方法提供了一种自然的方式,在同一个框架中同时结合了来自不同来源的大量约束。实验结果表明,我们的方法的可行性和利益。
2013-11-27 cs.AI cs.DB
A Framework for High-Accuracy Privacy-Preserving Mining
为了在数据采掘过程中保护客户隐私,最近提出了各种基于数据记录随机扰动的技术。在本文中,我们提出了一个广义的矩阵理论模型的随机扰动,这有利于系统的方法来设计扰动机制的隐私保护挖掘。具体来说,我们证明了(a)现有技术的不同之处仅在于其模型参数的设置,(b)通过适当选择参数设置,我们可以得到新的扰动技术,即使在严格的隐私保证下,也能提供高度准确的挖掘结果。我们还提出了一种新的扰动机制,其中的模型参数本身的特点是随机变量,并证明,这一功能提供了显着的改善隐私在一个非常边际成本的准确性。虽然我们的模型是有效的随机扰动为基础的隐私保护挖掘一般,我们特别评估其效用在这里关于频繁项集挖掘各种真实的数据集。实验结果表明,我们的机制产生显著较低的身份和支持错误相比,现有的技术。
2004-07-15 cs.DB cs.IR
An Algorithm for Mining Multidimensional Fuzzy Association Rules
多维关联规则挖掘是在关系数据库中寻找不同维度或属性的值之间的有趣关系。在该方法中,相关性是在维度集合之间,即,形成规则的项目来自不同的维度。因此,每个维度都应该在模糊集级别上进行划分。提出了一种利用模糊集生成多维关联规则的新算法。针对由模糊事务组成的数据库,利用Apriory属性对无用的候选项集进行剪枝。
2009-09-28 cs.DB cs.IR
Quantum Privacy-Preserving Data Mining
University of Technology Sydney(悉尼科技大学);Tsinghua University(清华大学)
数据挖掘是大数据分析中的一项关键技术,它可以发现隐藏在大数据集中的可理解的知识(模式)。关联规则是最有用的知识模式之一,在数据挖掘文献中已经开发了大量的算法来生成对应于不同问题和情况的关联规则。当数据挖掘用于敏感数据集(如医疗记录、商业数据集和国家安全)时,隐私成为一个至关重要的问题。在这封信中,我们提出了一个量子协议的垂直分区数据库上挖掘关联规则。量子协议可以提高经典协议的隐私保护水平,同时它可以指数级地降低计算复杂度和通信成本。
2016-01-14 cs.CR cs.DB cs.LG
Ant Colony Optimization for Mining Gradual Patterns
渐进模式提取是数据库中知识发现(KDD)的一个领域,它将数据集属性之间的相关性映射为渐进依赖关系。渐进依赖性可以采取“属性K越多,属性L越少”的形式。在本文中,我们提出了一种蚁群优化技术,使用概率的方法来学习和提取频繁的渐进模式。通过在真实数据集上的计算实验,将该算法与已有的渐进式项目集抽取算法进行了性能比较,发现该算法在处理大数据集时的性能优于后者.
2022-08-31 cs.DB cs.NE
A Comparative Study of Association Rule Mining Algorithms on Grid and Cloud Platform
关联规则挖掘是一个耗时的过程,由于涉及到数据密集型和计算密集型的性质。为了挖掘大数据量的序列关联规则,并提高现有算法的可扩展性和性能,并行和分布式算法被开发出来。这些传统的并行和分布式算法都是基于同构平台的,对于网格和云等异构平台来说并不有利可图。这就需要设计新的算法来解决异构系统中数据集的划分和分布、负载均衡策略、处理器间通信和同步技术的优化等问题。网格和云计算是新兴的分布式数据处理平台,各种关联规则挖掘算法在这些平台上被提出。这篇综述文章将分布式系统的简要架构方面,基于网格和基于云的关联规则挖掘算法的各种最新方法与比较感知相结合。我们区分这些架构上开发的数据局部性,编程范式,容错,通信成本,分区和分布的数据集的基础上的关联规则挖掘算法的方法。虽然它不是完整的,以涵盖所有的算法,但它可以是非常有用的新的研究人员在分布式关联规则挖掘算法的方向工作。
2017-09-22 cs.DB cs.DC
Frequent Item-set Mining without Ubiquitous Items
频繁项目集挖掘(Frequent Item-set Mining,缩写为EIM),有时也称为市场篮分析(Market Basket Analysis,MBA)或关联规则学习(Association Rule Learning,ARL),是一种机器学习(Machine Learning,ML)方法,用于从项目的交易数据集创建规则。大多数方法根据对该假设的支持(即项目的最小相对共现数)来确定可能在交易中一起出现的项目。虽然这是一个很好的指标,以衡量这些项目可能出现在一起的假设的相关性,非常频繁的项目,称为无处不在的项目的现象,没有解决在大多数算法。普适项具有与不频繁项相同的熵,并且对知识没有显著贡献。另一方面,它们对算法的性能有很强的影响,有时会阻止迭代算法的收敛,从而提供有意义的结果。本文讨论了普遍存在的项目的现象,并演示了如何忽略这些有显着的影响,计算性能,但与低和控制的影响的结果的意义。
2018-03-29 cs.DB cs.DS
Parallel algorithms for mining of frequent itemsets
Czech Technical University in Prague(布拉格捷克技术大学);Institute of Computer Science(计算机科学研究所)
近十年来,企业开始收集大量数据。如果没有正确的分析,这些数据通常是无用的。分析数据的领域称为数据采掘。不幸的是,数据量非常大:数据不适合主内存,处理时间可能会变得非常巨大。因此,我们需要并行的数据采掘算法。频繁项集的生成算法是数据采掘中一个重要的算法。挖掘频繁项集的问题可以用下面的例子来解释:顾客走进一家商店,把一些商品放进他们的篮子里;商店的老板收集篮子,想知道至少有p%的篮子里一起购买的商品的集合。目前,挖掘频繁项集的顺序算法在性能上都比较好。然而,频繁项集挖掘的并行算法仍然没有达到很好的加速比。在这篇论文中,我们发展了一个在分散式记忆体平行电脑上,可用于任意深度优先搜寻顺序算法的平行频繁项目集挖掘方法。我们的方法在10个处理器上实现了~ 6的加速比。该方法基于对数据库样本的处理器负载的近似估计-然而,它总是从整个数据库计算频繁项集的集合。在这篇论文中,我们展示了我们的方法的理论基础,并显示了估计过程的性能。
2021-08-11 cs.DB cs.LG
Association Rules Mining with Auto-Encoders
Université Laval(拉瓦尔大学)
针对经典关联规则挖掘算法执行慢、规则冗余等问题,提出基于自动编码器的 ARM-AE 方法,在三个分类数据集上优于 FP-Growth 和 NSGAII。
2023-04-26 cs.DB cs.LG
Data Mining : A prediction of performer or underperformer using classification
现在,一天的学生有一个大的数据集有宝贵的信息隐藏。数据采掘技术可以帮助发现这些隐藏的信息。本文将数据采掘技术Byes分类方法应用于这些数据上,以帮助某机构。机构可以找到那些一贯表现良好的学生。本文的研究将有助于机构将弃投率降低到一个显著的水平,提高机构的绩效水平。
2011-04-21 cs.DB cs.IR
Towards the Patterns of Hard CSPs with Association Rule Mining
Texas Tech University(德克萨斯理工大学)
有限域约束满足问题(CSP)的困难性是约束程序设计(CP)领域的一个重要研究方向。然而,这一问题尚未引起关联规则挖掘界研究人员的重视。关联规则挖掘作为一种流行的数据采掘技术,有着极其广泛的应用领域,已经成功地应用于许多交叉学科。在本文中,我们研究了关联规则挖掘技术,并提出了一种级联的方法来提取感兴趣的模式的硬CSP。据我们所知,这个问题是第一次研究与数据采掘技术。具体地说,我们通过求解所有CSP实例来生成随机CSP并收集其特征,然后对数据集应用数据采掘技术,进一步发现随机生成的CSP的硬度的有趣模式
2009-06-27 cs.AI cs.DB
Frequent Pattern Mining in Continuous-time Temporal Networks
College of Computing and Informatics, Drexel University(德雷塞尔大学计算与信息学院)
网络在不同的学科中被用作高度表达的工具。近年来,时态网络的分析和挖掘引起了广泛的关注。频繁模式挖掘被认为是网络科学文献中的一项重要任务。除了大量的应用外,网络中频繁模式挖掘的研究直接影响到其他分析方法,如聚类,准团和团挖掘,以及链接预测。在几乎所有的时态网络频繁模式挖掘算法中,时态网络都被表示为静态网络序列。然后,挖掘网络间或网络内模式。这种类型的表示对挖掘问题施加了计算-表达性权衡。在本文中,我们提出了一种新的表示,可以保留网络损失的时间方面。然后,我们引入了约束区间图的概念。接下来,我们开发了一系列的算法,用于挖掘时态网络数据集中的频繁时态模式的完整集合。我们还考虑了四种不同的同构定义,以允许在时间数据汇集的噪声容忍度。三个真实世界的数据集实现算法证明了所提出的算法的实用性和它的能力,发现未知的模式在各种设置。
2021-05-12 cs.CV cs.DB cs.DS
Application of Data Mining Techniques to a Selected Business Organisation with Special Reference to Buying Behaviour
Deshbhakt Ratnappa Kumbhar College Of Commerce(德斯巴克特·拉特纳帕·孔布哈商业学院);Chh. Shahu Institute Of Business Education And Research(恰·沙胡商业教育与研究学院)
数据采掘是一个新的概念&对大数据集进行探索和分析,以发现有意义的模式和规则。许多组织现在正在使用数据采掘技术从数据库中找出有意义的模式。本文研究了如何将数据采掘技术应用于大型数据库。这些数据采掘技术从数据库中得到某些行为模式。对数据库进行分析后得出的结果对组织工作是有用的。本文对应用关联规则挖掘技术、规则归纳技术和Apriori算法后的结果进行了检验。并将这些技术应用于大型购物中心的数据库中。通过上述技术对市场购物篮进行分析,发现了一些重要的结果,如购买行为。
2011-12-17 cs.AI cs.DB
Comparing Apples and Oranges: Measuring Differences between Exploratory Data Mining Results
在探索性数据采掘中,判定两种不同挖掘算法的结果是否提供了显著不同的信息是一个重要但尚未充分研究的开放问题。无论目标是选择信息量最大的结果进行分析,还是决定哪种挖掘方法最有可能提供最新颖的见解,我们都必须能够说出不同方法提供的不同结果所提供的信息有多不同。在本文中,我们采取的第一步,比较探索性的数据采掘结果的二进制数据。我们建议有意义地将结果转换成一组嘈杂的瓷砖,并比较这些集之间的最大熵建模和Kullback-Leibler分歧,从信息论有根据的概念。因此,我们构建了高度灵活的测量,并且允许我们自然地包括背景知识,使得可以从用户已经知道的角度来测量结果的差异。此外,增加其可解释性,它符合Jaccard相异性时,我们只考虑确切的瓷砖。我们的方法提供了一种手段来研究和告诉不同的探索性数据采掘方法的结果之间的差异。作为一个应用程序,我们表明,我们的措施也可以用来确定哪些部分的结果最好重新描述其他结果。此外,我们研究其使用迭代数据采掘,其中一个迭代地希望找到的结果,将提供最大的新信息。实验评估表明,我们的措施给出了有意义的结果,正确地识别方法,在性质上是相似的,自动提供声音的结果重新描述,是非常适用于迭代数据采掘。
2019-04-24 cs.DB cs.IR
Separate and conquer heuristic allows robust mining of contrast sets in classification, regression, and survival data
Silesian University of Technology(西里西亚工业大学);Institute of Innovative Technologies, EMAG(EMAG创新技术研究所)
识别群体之间的差异是最重要的知识发现问题之一。该过程也称为对比集挖掘,应用于医学,工业或经济等广泛领域。在本文中,我们提出了RuleKit-CS,一个算法的对比集挖掘的基础上分离和征服-一个良好的启发式决策规则归纳。伴随着属性惩罚方案的多个通道提供了描述具有不同属性的相同示例的对比集,将所提出的方法与标准的分离和征服区分开来。该算法还被推广到回归和生存数据,允许识别标签属性/生存预后与预定义对比组的标签/预后一致的对比集。现有方法没有提供的此功能进一步扩展了RuleKit-CS的可用性。对来自不同地区的130多个数据集进行的实验和对选定案例的详细分析证实,RuleKit-CS是发现定义群体之间差异的有用工具。该算法作为RuleKit套件的一部分在GitHub上以GNU AGPL 3许可证(https://github.com/adaa-polsl/RuleKit)实现。关键词:对比集,分离与征服,回归,生存
2023-03-13 cs.AI cs.DB cs.LG
Implementation of Association Rule Mining for Network Intrusion Detection
现代的入侵检测系统都是基于数据采掘和以数据库为中心的体系结构,其中出现了许多数据采掘技术,其中关联规则挖掘是数据采掘研究的重要内容之一。这种方法确定大型数据项集之间的有趣关系。这种技术最初被应用于所谓的购物篮分析,其目的是发现超市顾客的购物行为。与通常需要数百个属性的购物篮分析数据集相比,网络审计数据库面临数十个属性。针对事务数据库的这种特点,对传统的关联规则挖掘算法Apriori进行了改进。本文提出了一种改进的Apriori算法,该算法通过事务切割和散列,只需扫描网络审计数据库一次,在实际应用中非常有用。
2016-08-04 cs.CR cs.DB
Very Large Language Model as a Unified Methodology of Text Mining
University of Notre Dame(圣母大学)
文本数据采掘是从语言文本中提取必要信息的过程。典型的文本挖掘任务包括文本分类、文本聚类、主题建模、信息抽取和文本摘要。收集各种数据集,并为不同类型的任务设计各种算法。本文提出了一个大胆的设想,即超大型大语言模型(VLLM)将成为文本挖掘的一种有效的统一方法。我讨论了这种新方法对传统方法的至少三个优点。最后,我讨论了在设计和开发的VLLM技术的文本挖掘的挑战。
2022-12-20 cs.AI cs.DB cs.LG
Mining a Minimal Set of Behavioral Patterns using Incremental Evaluation
Paris Dauphine - PSL University(巴黎多芬大学 - 巴黎文理研究大学);Humboldt-Universitat zu Berlin(柏林洪堡大学)
本文改进行为模式挖掘算法COBPAM,采用增量评估提升效率,并提出冗余模式剪枝策略以最小化模式集,实验证明运行时间显著减少。
2024-02-05 cs.AI cs.DB cs.LG
Memory-Efficient Sequential Pattern Mining with Hybrid Tries
Warrington College of Business(沃顿商学院);University of Florida(佛罗里达大学);Tepper School of Business(泰珀商学院);Carnegie Mellon University(卡内基梅隆大学);Rotman School of Management(罗特曼管理学院);University of Toronto(多伦多大学)
本文提出一种基于混合trie数据结构和相应挖掘算法的内存高效序列模式挖掘方法,有效解决了大型数据集的内存瓶颈,在中小型实例上内存和时间均显著改善,且在256GB内存下唯一可处理大型数据集。
2024-07-27 cs.AI cs.DB cs.DS