An Efficient Algorithm for Mining Multilevel Association Rule Based on Pincer Search
频繁项集的发现是数据采掘的重要应用中的一个关键问题,如关联规则、强规则、事件和最小关键字的发现。多级关联挖掘的模型和算法的研究对数学和计算机科学提出了新的挑战。本文提出了一种挖掘多层关联规则的模型,该模型在每一层上满足不同的最小支持度,我们采用了原则搜索的概念、多层分类法和不同的最小支持度,在给定的事务数据集中发现多层关联规则。该搜索仅用于维护和更新新的数据结构。它用于修剪通常在自顶向下搜索中遇到的早期候选项。该算法的一个主要特点是不需要对每个频繁项集进行显式检查,并通过一个实例证明了该算法可以简单有效地挖掘出不同支持度下的多层关联规则
2012-09-27 cs.DB
A Parallel/Distributed Algorithmic Framework for Mining All Quantitative Association Rules
Athens Information Technology(雅典信息技术学院);Cepal Hellas Financial Services(Cepal Hellas金融服务公司);Aalborg University(奥尔堡大学)
我们提出了QARMA,一个有效的新的并行算法挖掘所有的定量关联规则在大型多维数据集的项目需要至少有一个共同的属性被指定在规则单一的后果项。给定一个最小支持度和一组阈值标准的兴趣度措施,如信心,信念等,我们的算法保证生成所有非支配的数量关联规则,满足最小支持度和兴趣度的要求。这些规则对于寻求优化有针对性的活动或一般市场细分的营销部门来说非常重要。它们在医疗应用、金融以及预测性维护领域也具有价值。我们提供的计算结果显示了我们的算法的可扩展性,以及它的能力,以产生所有的规则,发现在大规模的合成和现实世界的数据集,如电影镜头,在几秒钟或几分钟的计算时间内的商品硬件。
2018-04-18 cs.AI cs.DB
Combined Algorithm for Data Mining using Association rules
关联规则挖掘是数据采掘和知识发现的重要领域之一。本文提出了一种基于最大约束的多最小支持度关联规则挖掘算法。该算法的实现,并比较其前辈算法使用一种新的比较算法。应用该算法的结果表明,在不牺牲精度的情况下,比其他算法更快的性能。
2014-10-06 cs.DB
Mining Process Model Descriptions of Daily Life through Event Abstraction
Eindhoven University of Technology(埃因霍温理工大学);Philips Research(飞利浦研究院)
流程挖掘技术的重点是从事件日志中提取对流程的洞察。过程挖掘有可能在(非)健康习惯方面提供有价值的见解,并在应用于来自灵巧家庭环境的数据时有助于环境辅助生活解决方案。然而,在灵巧家庭环境中记录的事件是在传感器触发器的级别上,在该级别上,过程发现算法产生过度概括的过程模型,该过程模型允许太多的行为并且难以为人类专家解释。我们表明,抽象的事件,以更高层次的解释,可以发现更精确,更容易理解的模型。我们提出了一个框架提取的功能,可用于抽象的监督学习方法,是基于XES IEEE标准的事件日志。在传感器和人类活动事件都已知的训练数据上训练该框架之后,该框架可以自动地将传感器级事件抽象为它们在人类活动级的解释。我们展示了我们的抽象框架上的三个现实生活中的灵巧家庭事件日志,并表明,抽象后可以发现的过程模型确实更精确。
2017-05-25 cs.AI cs.DB cs.LG
Targeted Mining of Top-k High Utility Itemsets
发现数据中的高重要性模式是一个新兴的数据采掘任务,称为高效用项集挖掘(HUIM)。给定一个最小效用阈值,HUIM算法提取所有效用值不小于该阈值的高效用项集。这可以揭示大量有用的信息,但没有很好地考虑到用户的确切需求。特别是,用户通常希望关注具有某些特定项的模式,而不是查找所有模式。为了克服这一困难,出现了有针对性的挖掘,重点是用户的偏好,但只进行了初步工作。例如,提出了目标高效用项集查询算法(TargetUM),该算法使用字典树来查询包含目标模式的项集。然而,当用户不熟悉所处理的数据库时,选择最小效用阈值是困难的。作为解决方案,本文提出了top-k高效用项集的目标挖掘任务,并在TargetUM算法的基础上提出了一种高效的top-k目标高效用项集(top-k THUIs)挖掘算法TMKU。同时,采用多种剪枝策略来减少内存消耗和执行时间。大量的实验表明,所提出的TMKU算法在真实和合成数据集上具有良好的性能。
2023-03-25 cs.DB
Mining Frequent Itemsets from Secondary Memory
频繁项集挖掘是关联规则挖掘的核心,目前在算法上已经得到了很好的理解。然而,大多数挖掘频繁项集的算法都假设主存储器足够大以容纳挖掘中使用的数据结构,很少有有效的算法处理数据库很大或最小支持度很低的情况。从一个非常大的数据库中挖掘频繁项集带来了新的挑战,因为商业,科学和政府中普遍记录了天文数字数量的原始数据。本文讨论了当数据结构太大而无法装入主存时,挖掘频繁项集的方法。给出了几种分而治之的磁盘挖掘算法。介绍了许多新技术。实验结果表明,该技术减少了所需的磁盘访问的数量级,并使真正可扩展的数据采掘。
2004-05-20 cs.DB cs.IR
Utility-Driven Mining of Trend Information for Intelligent System
嵌入数据库中的有用知识可能会随着时间的推移而改变。确定时态数据库中最近的变化可以为决策者提供有价值的最新信息。然而,挖掘高效用模式(HUP)的技术很少考虑新近度作为发现模式的标准。因此,传统的效用挖掘框架不足以获得关于真实世界数据的最新见解。在本文中,我们解决这个问题,通过引入一个新的框架,命名为效用驱动挖掘最近/趋势高效用模式(RUP)在时态数据库的智能系统,基于用户指定的最小最近和最小效用阈值。效用驱动的RUP算法基于新的全局和条件向下闭包属性,以及最近效用树。此外,它采用了一个垂直紧凑的最近-效用列表结构来存储挖掘过程所需的信息。开发的RUP算法递归地发现最近的HUP。由于其模式发现方法不生成候选项,因此它的速度也很快,并且消耗少量内存。另外还设计了两种改进的剪枝算法,通过减少搜索空间来加快模式的发现。大量的实验结果表明,该算法可以有效地识别所有最近的高效用模式在大规模数据库中,改进的算法性能最好。
2019-12-25 cs.DB
TKUS: Mining Top-K High-Utility Sequential Patterns
高效用序列模式挖掘(HUSPM)是近年来的一个研究热点。HUSPM的主要任务是在一个定量的序列数据库中找到所有具有高效用的连续性,这些连续性相对于用户定义的最小效用阈值具有高效用。然而,很难指定最低效用阈值,特别是当数据库功能(在大多数情况下是不可见的)不被理解时。为了解决这个问题,top-k HUSPM被提出。到目前为止,只进行了非常初步的工作,以捕捉前k HUSP,现有的策略需要改进的运行时间,内存消耗,没有前途的候选人过滤,和可扩展性。此外,没有系统的问题说明。在本文中,我们制定的top-k HUSPM的问题,并提出了一种新的算法称为TKUS。为了提高效率,TKUS采用了投影和局部搜索机制,并采用了几种方案,包括序列效用提升,提前终止后代和消除不希望的项目策略,这使得它能够大大减少搜索空间。实验结果表明,TKUS算法与现有的TKHUS-Span算法相比,具有足够好的top-k HUSPM性能.
2020-11-26 cs.DB
Minimally Infrequent Itemset Mining using Pattern-Growth Paradigm and Residual Trees
项集挖掘由于其在各种数据采掘场景中的成功应用,包括关联规则的发现,一直是一个活跃的研究领域。虽然过去的工作主要集中在频繁项集的发现上,但非频繁项集挖掘在Web挖掘、生物信息学等领域已显示出其实用性。在本文中,我们提出了一个新的算法的基础上的模式增长范式,以寻找最小的不频繁项集。一个最小不频繁项集没有子集也是不频繁的。我们还介绍了新的概念,剩余树。我们进一步利用残差树挖掘多层次的最小支持度项目集,其中不同的阈值被用来寻找频繁项目集的不同长度的项目集。最后,我们分析了我们的算法相对于不同参数的行为,并通过实验表明,它优于竞争的。
2012-07-11 cs.DB
A Model-Based Frequency Constraint for Mining Associations from Transaction Data
频繁项集挖掘是一种在数据库中发现关联项的常用方法。对于这种方法,支持度,形成关联的项目的共现频率,被用作关联的重要性的主要指标。使用单个用户指定的支持阈值来决定是否应进一步调查关联。支持有一些已知的问题,罕见的项目,有利于较短的项目集,有时产生误导性的协会。在本文中,我们开发了一种新的基于模型的频率约束作为一个单一的,用户指定的最小支持的替代。该约束通过应用简单的随机混合模型(NB模型)来利用生成事务数据的过程的知识,该模型允许事务数据的通常高度偏斜的项目频率分布。用户指定的精度阈值与模型一起使用,以找到项目集组的局部频率阈值。在此基础上,提出了NB-频繁项集的概念,并提出了一种挖掘算法来发现数据库中所有的NB-频繁项集。在公开的交易数据库的实验中,我们表明,新的约束提供了一个单一的最小支持阈值的改进和精度阈值是更强大的,更容易设置和解释的用户。
2008-03-21 cs.DB
A Study on Feature Selection Techniques in Educational Data Mining
教育数据采掘(EDM)是一个新兴的研究领域,它将数据采掘的基本概念应用于教育领域,旨在从学生的学习行为中提取有用的信息。在该EDM中,将进行特征选择以生成候选变量的子集。由于特征选择影响任何成绩模型的预测精度,因此有必要详细研究与特征选择技术相关的学生成绩模型的有效性。在这方面,本研究不仅致力于研究最相关的子集特征与最小的基数,以实现高的预测性能,通过采用各种过滤特征选择技术在数据采掘,但也评估了良好的子集与不同的基数和质量的过滤特征选择算法的F-测量值和ROC值,由NaiveBayes算法作为基线分类器方法生成。通过对六种滤波器特征分割算法的比较研究,得出了最佳的方法,以及特征子集的最佳维数。随后,通过部署不同的分类器模型,对滤波器特征选择方法进行基准测试。本研究的结果有效地支持了众所周知的事实,即在存在最小数量的特征的情况下,预测精度增加。预期的结果表明,在学生表现模型的训练和分类阶段的计算时间和建设成本的减少。
2009-12-19 cs.DB
Mining Periodic Patterns with a MDL Criterion
可用的事件日志的数量正在迅速增加,例如,它们是由工业过程、计算系统或生命跟踪产生的。因此,必须设计有效的方法来揭示它们所包含的信息。由于事件日志通常记录重复的现象,因此在考虑此类数据时,挖掘周期性模式尤其重要。事实上,捕捉这样的信息有助于提供事件序列的浓缩表示。我们提出了一种从事件日志中挖掘周期性模式的方法,同时依赖于最小描述长度(MDL)标准来评估候选模式。我们的目标是提取一组适当表征数据中存在的周期性结构的模式。我们评估我们的方法在几个真实世界的事件日志数据集的兴趣。
2018-07-04 cs.DB
A Comparative Analysis of Data Mining Tools in Agent Based Systems
世界范围内的技术进步带来了广泛的变化,采用和利用开放源码工具。由于全球大多数组织都要处理大量的在线更新数据,并且每秒钟都要进行交易,因此管理、挖掘和处理这些动态数据非常复杂。数据采掘技术的成功实施需要对挖掘专家可用的各种工具和算法进行仔细评估。本文提供了一个比较研究的开放源数据采掘工具提供给专业人士。除了实时的挑战,影响选择的apt工具的参数进行了讨论。然而,事实证明,代理有助于提高数据采掘工具的性能。本文提供了一个基于代理的数据预处理框架的信息与实现细节,更好的工具在市场上的发展。源数据采掘工具与代理模拟的集成使人们能够实现有效的数据预处理架构,从而提供应用程序的鲁棒能力,该应用程序可以使用来自应用程序开发人员的最小预先规划要求进行升级。
2012-10-03 cs.DB
Tuple Value Based Multiplicative Data Perturbation Approach To Preserve Privacy In Data Stream Mining
来自特定领域的应用程序,如医疗,金融,图书馆,电话,购物记录和个人的大量数据定期生成。这些数据的共享被证明是有益的数据采掘应用。一方面,这些数据通过分析成为商业决策的重要资产;另一方面,数据隐私问题可能会阻止数据所有者共享数据分析信息。为了在共享数据的同时保护隐私,数据所有者必须提出一种解决方案,该解决方案既要实现隐私保护的双重目标,又要实现数据采掘任务的准确性-聚类和分类。为了保护敏感信息的隐私性,并以最小的信息损失获得数据聚类,提出了一种高效的方法。
2013-06-06 cs.DB
Application of Rough Set Theory in Data Mining
粗糙集理论是一种处理决策问题中的不确定性和不确定性的新方法。数据采掘是一门对数据分析、发现新的有意义的知识和自主决策有重要贡献的学科。粗糙集理论为从数据中提取决策规则提供了一种可行的方法,本文介绍了粗糙集理论的基本概念和数据采掘的其它方面,讨论了粗糙集理论在数据表示中的应用,包括属性值块对、信息表约简、不相容关系和决策表。此外,粗糙集方法的上下近似和某些可能的规则集的概念。最后,对粗糙集理论在数据采掘系统中的应用进行了描述。
2013-11-17 cs.DB
A Generic Algorithm for Top-K On-Shelf Utility Mining
Guangdong University of Technology(广东工业大学);Jinan University(暨南大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
现成效用挖掘(OSUM)是数据采掘领域的一个新兴研究方向。它的目的是发现在其销售时间段内具有较高相对效用的项集。与传统的效用挖掘相比,OSUM可以发现更多的实用和有意义的模式在现实生活中的应用。然而,传统的OSUM存在一个主要缺点。对于普通用户来说,很难定义一个最小的阈值来挖掘合适数量的现成的高效用项集。一方面,如果阈值设置得太高,则模式的数量将不够。另一方面,如果阈值设置得太低,则会发现太多的模式,并导致不必要的时间浪费和内存消耗。为了解决这个问题,用户通常直接指定一个参数k,其中只考虑前k个高相对效用项集。为此,本文提出了一种基于遗传算法的Top-k Onshelf高效用数据挖掘算法TOIT。TOIT采用了一种新的策略来提高基于货架上的数据集的细节。此外,采用子树效用和局部效用两种新的上界策略对搜索空间进行剪枝。通过采用上述策略,TOIT算法可以尽早缩小搜索空间,提高挖掘效率,减少内存消耗,从而获得比其他算法更好的性能。在不同风格的真实数据集上进行了一系列实验,比较了与最先进的KOSHU算法的效果。实验结果表明,TOIT在运行时间和内存消耗方面都优于KOSHU。
2022-08-27 cs.AI cs.DB
Variance-based Clustering Technique for Distributed Data Mining Applications
如今,由于不同的事实,大量的数据自然地收集在分布式站点中,并且由于技术原因或政策原因,通过网络移动这些数据以提取有用的知识几乎是不可行的。此外,不能应用经典的par-history算法,特别是在松散耦合的环境中。这就需要开发可扩展的分布式算法,能够通过以有效的方式聚合本地结果来返回全局知识。在本文中,我们提出了一个分布式算法的基础上独立的本地聚类过程和全球合并的基础上最小方差增加,需要有限的通信开销。我们还引入了分布式子集群扰动的概念,以改善全局生成的分布。我们表明,该算法提高了聚类的质量相比,经典的局部集中式的,是能够找到真正的全球数据的性质或分布。
2017-03-28 cs.DB
Categorical anomaly detection in heterogeneous data using minimum description length clustering
University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所);Polytechnic University of Catalonia(加泰罗尼亚理工大学);King’s College, London(伦敦国王学院);New York University(纽约大学)
基于最小描述长度(MDL)原则,针对分类数据提出了快速有效的无监督异常检测算法。然而,当检测表示不同来源的混合物的异构数据集中的异常时,它们可能是无效的,例如系统和用户进程具有不同行为模式的安全场景。我们提出了一种元算法,用于增强任何基于MDL的异常检测模型,通过将混合模型拟合到数据中来处理异构数据,通过k-均值聚类的变体。我们的实验结果表明,使用离散混合模型提供了竞争力的性能相对于以前的两个异常检测算法,而更复杂的模型的混合物产生进一步的收益,从安全场景的合成数据集和现实的数据集。
2020-06-14 cs.AI cs.DB
ProUM: Projection-based Utility Mining on Sequence Data
效用是经济学中的一个重要概念。在现实生活中,各种各样的应用程序都考虑了效用,这导致了近十年来面向效用的挖掘(也称为效用挖掘)的出现。效用挖掘已经引起了人们的极大关注,但现有的大多数研究都是针对基于项目集的数据进行的。时间序列数据在现实世界中更常见,这与基于项集的数据不同。现有的效用挖掘算法在处理序列数据时,由于耗时和占用大量内存,仍存在一定的局限性。此外,效用挖掘在序列数据上的挖掘效率仍有待提高,特别是对于长序列或存在较低的最小效用阈值时。在本文中,我们提出了一个有效的基于投影的效用挖掘(ProUM)的方法来发现高效用的序列模式从序列数据。效用数组结构被设计用于存储序列顺序和效用的必要信息。ProUM利用投影技术生成效用数组,可以显著提高挖掘效率,并有效降低内存消耗。提出了一个新的序列扩展效用上界,并进一步应用了几种剪枝策略来提高ProUM的效率。通过引入效用理论,得到的高效用序列模式比其他类型的模式具有更深刻、更有趣的信息。实验结果表明,所提出的ProUM算法在执行时间、内存使用和可扩展性方面都明显优于现有算法。
2019-09-12 cs.DB cs.DS
GraphZip: Dictionary-based Compression for Mining Graph Streams
今天在诸如社交网络、电信网络和互联网的平台上生成的大量数据通常可以表示为图形流。网络的底层图中的活动生成流形式的边序列;例如,社交网络可以基于不同用户(节点)之间随时间的交互(边)来生成图流。虽然已经开发了许多图挖掘算法来分析相对较小的图,但开始接近真实世界网络大小的图由于其动态性质以及所涉及的大量节点和连接而强调了这些方法的局限性。在本文中,我们提出了GraphZip,一个可扩展的方法挖掘有趣的模式图流。GraphZip受到Lempel-Ziv(LZ)类压缩算法的启发,并使用一种新的基于字典的压缩方法,结合最小描述长度原则,以发现图流中的最大压缩模式。我们的实验表明,GraphZip是能够检索复杂和有见地的模式,从大型现实世界的图形和人工生成的图形与地面真相模式。此外,我们的研究结果表明,GraphZip是高效和高效的相比,现有的国家的最先进的方法来挖掘图流。
2017-03-24 cs.DB cs.SI
Applications of Data Mining to Electronic Commerce
电子商务正在成为数据采掘技术的杀手领域。以下是成功的五个必要条件。它们很少都出现在一个数据采掘应用程序中。1.数据描述丰富。例如,具有许多潜在有用字段的广泛客户记录允许数据采掘算法搜索明显相关性之外的内容。2.大量的数据。海量数据所对应的庞大模型空间需要大量的训练实例来构建可靠的模型。3.可控且可靠的数据汇集。众所周知,手工数据录入和与遗留系统的集成都存在问题;完全自动化的收集要好得多。4.评估结果的能力。可观的、可证明的投资回报可能非常有说服力。5.易于与现有流程集成。即使试点研究显示出潜在的好处,将自动化解决方案部署到以前的手动流程中也充满了陷阱。构建一个系统来利用挖掘的知识可能是一项艰巨的任务。此外,在以前的手工业务流程的自动化过程中,经常必须处理涉及的社会和政治问题。
2000-10-02 cs.DB cs.LG
Exploring Urban Land Use Patterns by Pattern Mining and Unsupervised Learning
Department of Geoinformatics, Palacký University(帕拉茨基大学地理信息学院);The Kyoto College of Graduate Studies for Informatics(信息研究生学院)
本文提出利用频繁项集挖掘和无监督学习技术,基于Copernicus Urban Atlas数据挖掘相似城市,通过预处理、模式挖掘、后处理和知识提取可视化,实现城市土地利用模式分析。
2026-09-14 cs.DB cs.LG
How Far are we from Data Mining Democratisation? A Systematic Review
背景:数据采掘技术已被证明是一种强大的技术,用于发现隐藏在某个领域数据中的洞察力。然而,这些技术需要非常专业的技能。愿意分析数据的人往往缺乏这些技能,因此他们必须依赖数据科学家,这阻碍了数据采掘的民主化。在过去几年中,出现了不同的方法来解决这个问题。目的:分析最先进的技术,了解我们离有效的数据采掘民主化还有多远,已经完成了什么,以及在未来几年应该做什么。方法:我们按照系统和客观的程序进行了最先进的审查,其中包括来自学术界和工业界的作品。经审查的作品分为四类。然后使用明确界定的评价标准对每一类别进行详细评价,以确定其优缺点。结果:最初考虑了大约700件作品,最终选择了43件进行更深入的分析。四个确定的类别中只有两个为数据采掘民主化提供了有效的解决方案。在这两个类别中,一个总是需要数据科学家的最小干预,而另一个不为数据采掘过程的所有阶段提供支持,并且可能在某些情况下表现出准确性问题。结论:在所有分析方法中,数据科学家仍然需要执行分析过程的某些步骤。此外,某些步骤不需要数据科学家的自动化方法暴露了其他质量属性(如准确性)的一些问题。因此,尽管现有的工作显示了一些有希望的初步步骤,我们仍然远离数据采掘民主化。
2019-03-20 cs.DB
A Survey of Parallel Sequential Pattern Mining
随着共享资源的日益普及,自动收集大量不同类型的复杂数据。传统的数据采掘算法普遍存在内存开销大、处理速度慢、硬盘空间不足等问题和挑战。序列模式挖掘作为数据采掘的一项基本任务,在现实生活中有着广泛的应用。然而,它比其他模式挖掘任务更复杂和更具挑战性,即,频繁项集挖掘和关联规则挖掘,在处理大规模数据时也面临上述挑战。为了解决这些问题,在并行或分布式计算环境中挖掘序列模式已经成为一个重要的问题,具有许多应用。在本文中,深入调查的并行序列模式挖掘(PSPM)的现状进行了调查和提供,包括传统的串行SPM方法的详细分类,和最先进的并行SPM。本文详细回顾了并行序列模式挖掘的相关工作,包括基于划分的并行序列模式挖掘算法、基于Apriori的并行序列模式挖掘算法、基于模式增长的并行序列模式挖掘算法和基于模式增长的并行序列模式挖掘混合算法,并对并行序列模式挖掘算法进行了深入的描述(即,这些并行方法的特点、优点、缺点和总结。对PSPM的一些前沿问题,包括并行定量/加权/效用序列模式挖掘、不确定数据和流数据的PSPM、PSPM的硬件加速等进行了详细的综述。此外,我们还回顾并提供了一些著名的PSPM开源软件。最后总结了PSPM在大数据时代面临的挑战和机遇。
2019-04-05 cs.DB
Flexible Pattern Discovery and Analysis
Shandong University of Science and Technology(山东科技大学);Jinan University(暨南大学)
基于对数据采掘中支持事务中效用所占比例的分析,高效用占用模式挖掘(highutility-occupationalpattern mining,HUOPM)近年来引起了广泛关注。不像高效用模式挖掘(HUPM),它涉及高效用的枚举(例如,盈利)模式,HUOPM的目标是找到代表现有交易集合的模式。然而,在实际应用中,并非所有模式都被使用或有价值。例如,一个模式可能包含太多的项目,也就是说,该模式可能过于具体,因此对现实生活中的用户缺乏价值。为了获得具有灵活长度的合格模式,我们在挖掘过程中限制最小和最大长度,并引入一种新的算法来挖掘灵活的高效用占用模式。我们的算法被称为HUOPM+。为了保证模式的灵活性和收紧效用占用的上界,提出了一种称为长度上界(LUB)的策略来修剪搜索空间。此外,一个效用占用嵌套列表(UO-nlist)和频率效用占用表(FUO-表),以避免多次扫描的数据库。后续实验的评价结果证实,该算法可以有效地控制衍生模式的长度,为现实世界和合成数据集。此外,它可以减少执行时间和内存消耗。
2021-11-24 cs.AI cs.DB
Mining Cellular Automata DataBases throug PCA Models
元胞自动机是离散的动力系统,遵循简单的局部规则演化。尽管其局部简单,CA中的知识发现是一个NP问题。这是使用数据采掘技术进行CA研究的主要动机。主成分分析(PCA)是数据采掘的一个有用的工具,因为它提供了一个紧凑的和最佳的数据集的描述。这种功能已被探索计算最佳子空间,最大化的投影CA的I/O模式到主轴。主成分对输入模式的稳定性是这种方法的主要结果。在本文中,我们进行这样的分析,但在噪声的存在下,随机反转CA输出值的概率$p$。正如预期的那样,主成分的数量随着模式大小的增加而增加。然而,当图案尺寸不变但噪声强度变大时,它似乎保持稳定。我们描述了我们的实验,并指出进一步的工作,使用KL变换理论和参数敏感性分析。
2005-11-14 cs.DB cs.DM
Mining Insights from Weakly-Structured Event Data
本文主要研究在事件数据上的过程挖掘,因为事件数据缺乏规范的描述,因此,事件数据的结构化程度较低。本文特别强调了一个适合这种描述的应用领域:记录日常活动序列的灵巧家庭数据分析。在这篇论文中,我们提出了一套技术来分析这些数据,这可以分为两类技术。第一类方法侧重于预处理事件日志,以便使流程发现技术能够提取对非结构化事件数据的洞察。在这一类别中,我们开发了以下技术:-一种无监督的方法,根据事件发生的时间来细化事件标签,例如,允许将记录的饮食事件区分为早餐,午餐和晚餐。- 一种从事件日志中检测和过滤所谓的混沌活动的方法,混沌活动是导致流程发现方法过度概括的活动。- 一个监督的方法,抽象的低级别的事件到更高级别的事件,我们表明,存在的情况下,过程发现方法过度概括的低级别的事件数据,但能够找到精确的模型的高级别的事件数据。第二类侧重于挖掘本地流程模型,即,流程模型模式的集合,每个流程模型模式描述某个频繁的模式,这与用现有流程发现技术获得的单个全局流程模型形成对比。介绍了局部过程模型挖掘的基本方法、快速但近似的探试法和基于约束的方法。
2019-09-03 cs.AI cs.DB
DAME: A Web Oriented Infrastructure for Scientific Data Mining & Exploration
如今,许多科学领域都需要能够处理大量和分布式数据集,并在其上执行复杂的知识提取任务。这一简单的考虑是国际上努力建立虚拟组织,例如虚拟天文台的原因。DAME(数据挖掘与探索)是一个创新的,通用的,基于Web的,符合VObs的分布式数据挖掘基础设施,专门用于使用机器学习方法进行海量数据集探索。DAME最初仅用于处理天文数据,现已发展成为一个通用平台,在人类努力的其他领域也有应用。我们介绍了产品和一个科学案例的简短概述,以及现在发布的Web应用程序的测试版中可用的主要功能的详细描述。
2010-12-08 astro-ph.GA astro-ph.IM cs.DB
Mining Open Government Data Used in Scientific Research
在下面的论文中,我们描述了从同行评议文献中挖掘引用、提及和开放政府数据(OGD)链接的结果。我们归纳开发了一种方法来分类OGD是如何使用不同的研究社区,并提供有关出版年份,出版网点和OGD来源的描述性统计。我们的研究结果表明,1。从2009年到2016年,OGD在研究中的使用稳步增加; 2.研究人员使用来自96个不同的开放政府数据门户网站的OGD,其中data.gov.uk和data.gov是最常见的来源; 3.与以前的研究结果相反,我们提供的证据表明,来自发展中国家的OGD,特别是印度和肯尼亚,经常被用来推动科学发现。本文的研究结果有助于正在进行的研究议程,旨在跟踪开放的政府数据举措的影响,并提供了一个开放的政府数据是如何有价值的不同的科学研究界的初步描述。
2018-03-24 cs.CY cs.DB
Towards Top-$K$ Non-Overlapping Sequential Patterns
针对非重叠序列模式挖掘中 minsup 难设定及现有 top-$k$ 方法近似且长度固定的问题,提出精确算法 TNOSP,并用 QMSP 剪枝提升性能,实验验证其精确性、效率和可扩展性更优。
2023-04-24 cs.DB
Analysis of Co-Occurrence Patterns in Data through Modular and Clan Decompositions of Gaifman Graphs
我们认为,现有的知识,模块化分解的图和氏族分解的2-结构,可以投入使用有利的数据分析的背景下。我们展示了如何获得视觉描述的同现模式,采用这些分解可能广义Gaifman图与数据集。我们提供了理论上的进步,连接到其他数据采掘方面(即,闭集挖掘),以及实现算法,导致一个开源的工具,演示我们的方法。
2020-11-01 cs.DB
VulLink: A Dynamic Open-Access Vulnerability Graph Database for Cybersecurity Data Mining
La Trobe University(拉筹伯大学);Victoria University(维多利亚大学)
提出VulLink,一种通过自动化ETL管道集成多源漏洞数据、提供图数据库、Web接口和API的动态开放平台,支持漏洞利用性预测等下游挖掘任务。
2026-06-18 cs.CR cs.DB
Utility-based Privacy Preserving Data Mining
本文针对周期性模式挖掘中的隐私保护问题,扩展PPUM框架并提出MU-MAP和MU-MIP两种算法,通过SISL和SIL数据结构高效隐藏敏感周期性高效用项集,实验证明其在不引入误导性模式的同时保持超过90%的数据库效用相似度。
2025-09-19 cs.DB