SQL Queries for Declarative Process Mining on Event Logs of Relational Databases
灵活的业务流程通常可以更容易地使用声明式建模方法而不是过程式建模方法进行建模。流程挖掘旨在自动发现业务流程模型。现有的声明式流程挖掘方法要么遭受现实生活中的事件日志的性能问题,要么将其表达能力限制在一组特定的constaint类型。最近,通过JavaXES引入了一种用于存储事件日志数据的关系数据库体系结构。在本技术报告中,我们介绍了一种挖掘方法,该方法通过使用常规SQL查询日志来直接处理关系事件数据。我们提供了一个SQL查询列表,用于发现一组常用和挖掘的流程约束。
2015-12-03 cs.DB
A Seamless Integration of Association Rule Mining with Database Systems
人们早就认识到需要支持特定数据采掘查询的知识和数据发现管理系统(KDDMS)。大量的研究已经投入到构建紧密耦合的系统,将关联规则挖掘与数据库系统集成在一起。在本文中,我们描述了一个无缝集成计划的数据库查询和关联规则发现使用一个共同的查询优化器。扩展代数中表达式的查询树用于优化器中的内部表示。代数表示是足够灵活的,以处理约束关联规则查询和关联规则规范的其他变化。我们提出模块化来简化数据采掘中复杂任务的查询树。为在优化过程中利用现有的算法构造查询计划铺平了道路。如何集成方案,我们目前将促进更大的用户控制的数据采掘过程中进行了讨论。本文所描述的工作是一个更大的项目的一部分,该项目旨在将数据采掘与数据库管理完全集成。
2001-06-28 cs.DB
An Automatic Identification System (AIS) Database for Maritime Trajectory Prediction and Data Mining
近年来,海上安全和效率在世界范围内变得越来越重要。自动识别系统(AIS)通过船载收发器和地面和/或卫星基站跟踪船舶运动。AIS采集的数据包括广播的运动信息和静态信息。这两种算法对于智能海事研究领域的异常检测和航线预测等关键技术具有重要的应用价值。本文致力于建立一个标准的AIS数据库,用于海上航迹学习、预测和数据采掘。在此AIS数据库上对路径预测算法进行了测试,测试结果表明,该数据库可以作为不同的轨迹预测算法和其他AIS数据采掘算法的标准化训练资源。
2016-10-13 cs.DB
A Model for Mining Multilevel Fuzzy Association Rule in Database
多层关联挖掘的模型和算法的研究对数学和计算机科学提出了新的挑战。当数据或数据关系中存在某种形式的不确定性(如模糊性)时,这些问题变得更具挑战性。本文提出了一种多级模糊关联规则挖掘模型,用于提取事务数据库中隐含的知识,每一级的支持度不同。该算法采用自顶向下的渐进式深化方法来获取大项目集。这种方法采用模糊边界,而不是尖锐的边界区间。最后通过一个实例表明,该算法可以简单有效地挖掘出不同支持度下的多层关联规则。
2010-01-20 cs.DB
A Rough Sets Partitioning Model for Mining Sequential Patterns with Time Constraint
如今,数据采掘和知识发现方法被应用于各种企业和工程学科,以从数据库中发现有趣的模式。序列模式的研究是一个重要的数据采掘问题,因为它在现实世界的时间相关数据库中有着广泛的应用。序列模式是在与所研究的特定对象相关联的时间段内排序的事件间模式。分析和发现在预定时间段内的频繁序列模式是有趣的数据采掘结果,并且可以在许多企业应用中辅助决策支持。序列模式挖掘的问题提出了计算的挑战,因为一个长的频繁序列包含大量的频繁序列。此外,有用的结果取决于事件窗口的正确选择。本文从两个方面研究了序列模式挖掘问题,一个是问题的计算方面,另一个是时间约束的整合和可调整性。我们利用粗糙集理论中的不可分割关系对序列模式的搜索空间进行划分,提出了一种新的算法,该算法允许在执行挖掘任务之前对模式进行预测,并允许在执行挖掘任务之前调整时间约束。该算法比基于朴素时间约束的序列模式挖掘算法GSP至少快10倍。除此之外,该方法还确定了序列模式的时间间隔的附加知识。
2009-06-23 cs.DB
Efficient Support Coupled Frequent Pattern Mining Over Progressive Databases
最近有很多关于序列模式挖掘的研究。渐进式数据库上的序列模式挖掘是一个比较新的方法,它是在感兴趣的时间段内逐步发现序列模式。感兴趣的时间段是一个随着时间的推移而不断前进的滑动窗口。随着滑动窗口焦点的变化,新项被添加到感兴趣的数据集中,过时的项被从中删除并成为最新的。一般来说,现有的建议没有充分探讨现实世界的情况下,如项目与支持数据流应用程序,如购物篮分析。因此,从支持的频繁项中挖掘重要知识成为一个重要的研究课题。我们提出的新方法有效地挖掘频繁序列模式加上支持使用渐进挖掘树。
2010-05-29 cs.DB
A Survey of Parallel Sequential Pattern Mining
随着共享资源的日益普及,自动收集大量不同类型的复杂数据。传统的数据采掘算法普遍存在内存开销大、处理速度慢、硬盘空间不足等问题和挑战。序列模式挖掘作为数据采掘的一项基本任务,在现实生活中有着广泛的应用。然而,它比其他模式挖掘任务更复杂和更具挑战性,即,频繁项集挖掘和关联规则挖掘,在处理大规模数据时也面临上述挑战。为了解决这些问题,在并行或分布式计算环境中挖掘序列模式已经成为一个重要的问题,具有许多应用。在本文中,深入调查的并行序列模式挖掘(PSPM)的现状进行了调查和提供,包括传统的串行SPM方法的详细分类,和最先进的并行SPM。本文详细回顾了并行序列模式挖掘的相关工作,包括基于划分的并行序列模式挖掘算法、基于Apriori的并行序列模式挖掘算法、基于模式增长的并行序列模式挖掘算法和基于模式增长的并行序列模式挖掘混合算法,并对并行序列模式挖掘算法进行了深入的描述(即,这些并行方法的特点、优点、缺点和总结。对PSPM的一些前沿问题,包括并行定量/加权/效用序列模式挖掘、不确定数据和流数据的PSPM、PSPM的硬件加速等进行了详细的综述。此外,我们还回顾并提供了一些著名的PSPM开源软件。最后总结了PSPM在大数据时代面临的挑战和机遇。
2019-04-05 cs.DB
TALENT: Targeted Mining of Non-overlapping Sequential Patterns
针对现有非重叠序列模式挖掘算法易生成冗余模式的问题,本文提出定向挖掘算法TALENT,结合两种搜索策略与剪枝方法,实验证明其在多类数据集上均有更优的挖掘效率。
2023-06-10 cs.DB
Graph-based process mining
流程挖掘是一个研究领域,它支持从业务流程的执行事件日志中发现有关业务流程的信息。组织中事件日志数量的增加对当前的流程挖掘技术提出了挑战,这些技术倾向于将数据加载到计算机的内存中。这个问题限制了组织大规模地应用流程挖掘,并且由于缺乏数据管理能力而引入了风险。因此,本文介绍和形式化的一种新的方法来存储和检索事件日志到/从图数据库。它定义了一种在图数据库中计算直接跟随图(DFG)的算法,将流程挖掘的繁重计算部分转移到图数据库中。在图数据库中计算DFG使得能够利用图数据库的水平和垂直缩放能力,以有利于大规模地应用流程挖掘。此外,它消除了将数据转移到分析师计算机中的要求。因此,它使得能够在图形数据库中使用数据管理能力。我们在Neo4j中实现了这种方法,并使用真实的日志文件与当前技术进行了比较。结果表明,当数据量远大于计算内存时,我们的方法能够计算DFG。当将数据分割成小块时,它也显示出更好的性能。
2020-07-18 cs.DB
A Novel Approach for Web Page Set Mining
关联规则挖掘中最耗时的步骤之一是计算数据库中项集的出现频率。哈希表索引方法通过仅扫描事务数据库一次来将事务数据库转换为哈希索引树。每当用户请求任何统一资源定位符(URL)时,请求条目都存储在服务器的日志文件中。本文提出了一种通用的、密集的哈希索引表结构,用于从服务器的日志文件中提取网页集。此哈希表提供有关原始数据库的信息。网页集挖掘(WPs-Mine)提供了原始数据库的完整表示。这种方法适用于稀疏和密集数据分布。哈希表索引支持的Web页面集挖掘表明,其性能始终与访问平面文件上的数据的算法相当,并且往往优于这些算法。增量更新是可行的,无需重新访问原始事务数据库。
2011-11-11 cs.DB
Mining Target-Oriented Sequential Patterns with Time-Intervals
面向目标的序列模式是指在模式末尾有一个关注项集的序列模式。时间间隔序列模式是指每对连续项集之间具有时间间隔的序列模式。本文提出了一种基于时间间隔的面向目标序列模式发现算法。为此,原始序列被颠倒,使得最后的项集可以被排列在序列的前面。然后利用反向序列与相关项集的对比度来排除不相关序列。利用聚类分析和典型的序列模式挖掘算法,提取连续项集之间具有时间间隔的序列模式。最后,将发现的时间间隔序列模式再次反转到原始顺序以搜索目标模式。
2010-09-05 cs.DB
Defining and Mining Functional Dependencies in Probabilistic Databases
函数依赖--传统的、近似的和条件的依赖在关系数据库中是至关重要的,因为它们告诉我们属性之间的关系。它们在模式规范化、数据校正和源选择等方面都很有用。然而,其中大多数是在确定性数据的背景下开发的。虽然不确定数据库已经开始受到关注,但这些依赖关系还没有为它们定义,也没有快速算法来评估它们的置信度。本文定义了概率数据库函数依赖的各种形式的逻辑扩展,并探讨了它们之间的联系。我们提出了一个基于剪枝的精确算法来评估的信心的函数依赖,一个基于Monte-Carlo算法来评估的信心近似函数依赖和算法的条件概率数据库中的副本。实验上进行的合成和真实的数据评估这些算法的性能,在评估的依赖性和挖掘它们的数据的信心。我们相信,拥有这些可用于概率数据库的依赖关系和算法将推动行业中概率数据存储的采用。
2010-12-13 cs.DB
Finding Sequential Patterns from Large Sequence Data
数据采掘是从大量数据中发现有趣模式的任务。有许多数据采掘任务,如分类,聚类,关联规则挖掘,序列模式挖掘。序列模式挖掘发现在某些序列中频繁出现的数据项集。序列模式挖掘是从序列数据库中提取频繁序列的一种方法,是近年来数据采掘研究的热点之一,因为它是许多应用的基础,如:网络用户分析、股票趋势预测、DNA序列分析、从自然语言文本中发现语言或语言模式、利用症状历史预测某种疾病等。应用的多样性可能不可能将单个序列模式模型应用于所有这些问题。每个应用程序可能需要一个独特的模型和解决方案。近年来,许多研究项目建立了有意义的序列模式模型和挖掘这些模式的有效算法。本文从理论上简要概述了三种类型的序列模式模型。
2010-02-05 cs.DB
Maximal co-occurrence nonoverlapping sequential rule mining
序列模式挖掘(SPM)的目的是从给定的序列中发现潜在的有用信息。虽然已经研究了各种SPM方法,但大多数都集中在挖掘所有模式上。然而,用户有时希望挖掘具有相同特定前缀模式的模式,称为共现模式。由于序列规则挖掘可以更好地利用SPM的结果,获得更好的推荐性能,本文研究了最大同现非重叠序列规则(MCoR)挖掘问题,提出了MCoR-Miner算法。为了提高支持度计算的效率,MCoR-Miner采用了深度优先搜索和回溯策略,并配备了索引机制,以避免使用顺序搜索。针对某些序列的无用支持度计算,MCoR-Miner采用过滤策略对不含前缀模式的序列进行剪枝。为了减少候选模式的数量,MCoR-Miner应用了频繁项和二项式枚举树策略。为了避免通过蛮力搜索最大规则,MCoR-Miner使用了筛选策略。为了验证MCoR-Miner的性能,在8个序列上进行了11个竞争算法。实验结果表明,MCoR-Miner优于其他竞争算法,并产生了更好的推荐性能比频繁共现模式挖掘。所有算法和数据集都可以从https://github.com/wuc567/Pattern-Mining/tree/master/MCoR-Miner下载。
2023-01-30 cs.DB
Mining Sequential Patterns in Uncertain Databases Using Hierarchical Index Structure
本文针对不确定数据库中序列模式挖掘的假阳性过多和增量场景不可扩展问题,提出收紧剪枝上界、层次索引结构和通用挖掘框架,并支持权重约束与增量数据库,实验验证了其有效性。
2024-03-31 cs.DB
Probabilistic Frequent Pattern Growth for Itemset Mining in Uncertain Databases (Technical Report)
不确定事务数据库中的频繁项集挖掘在语义和计算上不同于传统的应用于标准(确定)事务数据库的技术。不确定事务数据库由存在不确定项的集合组成。交易项目的不确定性使得传统的技术不适用。在本文中,我们解决的问题,发现概率频繁项集的基础上可能世界语义。在此上下文中,如果X在至少minSup事务中出现的概率高于给定阈值,则项集X被称为频繁项集。我们做了以下贡献:我们提出了第一个概率FP-Growth算法(ProFP-Growth)和相关的概率FP-Tree(ProFP-Tree),我们使用它来挖掘不确定事务数据库中的所有概率频繁项集,而无需候选生成。此外,我们提出了一个有效的技术来计算的支持概率分布的项目集在线性时间使用生成函数的概念。一个广泛的实验部分评估我们提出的技术,并表明我们的ProFP-Growth方法是显着快于目前最先进的算法。
2010-08-13 cs.DB
A Novel Approach for Mining Similarity Profiled Temporal Association Patterns
从非时态数据库中挖掘频繁模式是数据采掘、时态数据库和信息检索领域的研究热点。然而,传统的频繁模式算法不适合从时态数据库中发现相似的时态关联模式。时态数据库是能够存储过去、现在和未来信息的数据库。本研究的目的是提出一种新的方法,以便找到相似的时间关联模式w.r.t用户指定的阈值和一个给定的参考支持时间序列使用维恩图的概念。为此,我们保持两种类型的支持称为积极的支持和消极的支持值,以找到类似的时间关联模式的用户兴趣。我们的方法的主要优点是,它只执行一个单一的扫描时间数据库,以找到类似于指定的参考支持序列的时间关联模式。因此,这种单一数据库扫描方法消除了多次扫描数据库时产生的巨大开销。本方法还消除了在计算下一阶段的时间模式时计算和维护前一阶段的时间模式的所有子集的真实支持值的需要。
2016-04-18 cs.DB
Dual Pruning and Sorting-Free Overestimation for Average-Utility Sequential Pattern Mining
School of Cyberspace Security, Hainan University(海南大学网络空间安全学院);School of Cryptology, Hainan University(海南大学密码学院);School of Computer Science and Technology, Hainan University(海南大学计算机科学与技术学院);College of Cyber Security, Jinan University(暨南大学网络安全学院)
本文提出HAUSP-PG算法,通过双重剪枝策略和无排序计算平均效用上界,提升长序列挖掘效率。
2025-12-20 cs.DB
Targeted Sequential Pattern Mining with High Average Utility
Hainan University(海南大学);Jinan University(暨南大学)
本研究提出TAUSQ-PG算法,通过引入平均效用指标,提升目标序列挖掘的效率和相关性,有效控制候选集大小,减少冗余生成,提高运行效率。
2025-12-20 cs.DB
Bidirectional Growth based Mining and Cyclic Behaviour Analysis of Web Sequential Patterns
Web序列模式对于分析和理解用户行为以提高万维网提供的服务质量具有重要意义。Web预取就是这样一种技术,它利用通过对挖掘出的Web序列模式进行循环模型分析得出的预取规则。如果我们使用一个高效的和可扩展的挖掘技术,如基于双向增长的有向无环图的预测更准确,更令人满意的预取结果。在本文中,我们提出了一种新的算法,称为双向增长的挖掘循环行为分析的Web序列模式(BGCAP),有效地结合这些策略,产生预取规则的形式2序列模式的周期性和阈值的循环行为,可以用来有效地预取网页,从而减少用户感知的延迟。由于BGCAP是基于双向模式增长的,它只执行(log n+1)级递归挖掘n个Web序列模式。我们的实验结果表明,使用BGCAP生成的预取规则比TD-Mine在不同数据大小下快5- 10%,在固定数据大小下快10-15%。此外,BGCAP生成的预取规则比TD-Mine多5- 15%。
2013-04-15 cs.DB
High-utility Sequential Rule Mining Utilizing Segmentation Guided by Confidence
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Jinan University(暨南大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本研究提出RSC算法,通过信心引导的分段减少冗余效用计算,提升高效用序列规则挖掘效率。
2026-01-27 cs.DB
Frequent itemsets mining for database auto-administration
随着一般数据库和特别是数据仓库的广泛发展,减少数据库管理员必须手动执行的任务是重要的。自动管理系统的目标是自动管理和适应自己,而不会损失(甚至获得)性能。使用数据采掘技术从数据本身中提取有用的管理知识的想法已经存在了一些年。然而,很少有研究取得了成果。然而,这个想法仍然是一个非常有前途的方法,特别是在数据仓库领域,查询是非常异构的,不能很容易地解释。本研究的目的是寻找一种从存储的数据中提取有用知识的方法,以自动应用性能优化技术,特别是索引技术。我们设计了一个工具,从给定的工作负载中提取频繁项集来计算索引配置,以帮助优化数据访问时间。我们执行的实验表明,我们的工具生成的索引配置允许在测试数据库和测试数据仓库上获得15%到25%的性能提升。
2008-09-16 cs.DB
One-off Negative Sequential Pattern Mining
负序列模式挖掘是一个重要的研究课题。与正SPM不同,负SPM可以发现应该发生但没有发生的事件,它可以用于金融风险管理和欺诈检测。然而,现有的方法一般忽略了模式的重复性,也没有考虑间隔约束,这会导致挖掘结果中包含大量用户不感兴趣的模式。为了解决这个问题,本文发现频繁的一次性负序列模式(ONP)。这个问题有以下两个特点。首先,支持度是在一次性条件下计算的,这意味着序列中的任何字符最多只能使用一次。第二,间隙约束可以由用户给出。为了有效地挖掘模式,本文提出了ONP-Miner算法,它采用深度优先和回溯策略来计算支持度。因此,ONP-Miner可以有效避免创建冗余节点和父子关系。此外,为了有效地减少候选模式的数量,ONP-Miner使用模式连接和修剪策略来生成和进一步修剪候选模式,分别。实验结果表明,ONP-Miner不仅提高了挖掘效率,而且具有比现有算法更好的挖掘性能。更重要的是,ONP挖掘可以在流量数据中发现更多有趣的模式来预测未来的流量。
2022-07-25 cs.DB
Association Rule Mining Based On Trade List
提出了一种基于频繁项集的挖掘算法。Apriori算法每次发现频繁项集时都要扫描数据库,因此非常耗时,而且每一步都要生成候选项集。在无向项集图中,它是对先验知识的改进,但生成树需要时间和空间。定义的算法在开始时只扫描数据库一次,然后从扫描的数据库中生成贸易清单。它包含了整个数据库的信息。它通过考虑最小支持度来寻找频繁项集,并通过考虑最小置信度来生成关联规则。当数据库和最小支持度发生变化时,新算法通过扫描交易列表来发现新的频繁项。因此,与传统算法相比,它的执行效率有了明显的提高。
2012-02-22 cs.DB
Mining Frequent Itemsets over Uncertain Databases
近年来,由于不确定数据的广泛应用,在不确定数据库上挖掘频繁项集引起了人们的广泛关注。在不确定数据库中,项集的支持度是一个随机变量,而不是该项集的固定出现次数。因此,与确定性数据库中频繁项集有唯一定义的相应问题不同,不确定环境下的频繁项集到目前为止有两种不同的定义。第一种定义称为基于期望支持度的频繁项集,它用一个项集的支持度的期望值来衡量这个项集是否频繁。第二个定义,称为概率频繁项集,使用项集的支持概率来度量其频率。因此,现有的不确定数据库中挖掘频繁项集的工作被分为两个不同的组,没有研究进行全面比较这两种不同的定义。此外,由于不存在统一的实验平台,目前针对同一定义的解决方案甚至会产生不一致的结果。在本文中,我们首先旨在澄清这两个不同的定义之间的关系。通过大量的实验,我们验证了这两个定义有紧密的联系,并可以统一在一起,当数据量足够大。其次,我们提供了基线实现现有的八个代表性的算法,并测试他们的性能与统一的措施公平。最后,通过对不同基准数据集的公平性检验,澄清了现有的一些不一致结论,并讨论了一些新的发现。
2012-08-01 cs.DB
Fast Mining of Spatial Frequent Wordset from Social Database
在本文中,我们提出了一个算法,提取空间频繁模式来解释一个特定的位置从可用的社会数据的相对特征。提出了一种空间社会数据模型,该模型包括空间社会数据、空间支持度、空间频繁模式、空间划分和空间聚类等概念,用于描述空间频繁模式的探索算法。在此基础上,提出了一种既保留了频繁词又保留了频繁单元的SFP-树结构,并在此基础上提出了一种挖掘频繁模式的SFP-生长算法.
2019-12-26 cs.DB
Towards Top-$K$ Non-Overlapping Sequential Patterns
针对非重叠序列模式挖掘中 minsup 难设定及现有 top-$k$ 方法近似且长度固定的问题,提出精确算法 TNOSP,并用 QMSP 剪枝提升性能,实验验证其精确性、效率和可扩展性更优。
2023-04-24 cs.DB
Mining Compressed Repetitive Gapped Sequential Patterns Efficiently
Beihang University(北京航空航天大学)
从序列数据库中挖掘频繁序列模式一直是数据采掘的一个研究热点,人们提出并研究了各种有效的序列模式挖掘算法。近年来,在许多问题领域(如程序执行轨迹)中,一种新的序列模式挖掘方法--重复间隔序列模式挖掘引起了许多研究者的关注,它不仅考虑了序列模式在不同序列中的重复,而且考虑了序列内的重复,这比一般的序列模式挖掘方法更有意义。然而,即使这些封闭挖掘算法产生的重复间隔序列模式的数量可能太大,用户无法理解,特别是当支持度阈值较低时。在本文中,我们提出并研究了重复间隔序列模式的压缩问题。在总结频繁项集的思想RPglobal的启发下,我们提出了一个算法CRGSgrow(Compressing Repetitive Gapped Sequential pattern grow),包括一个有效的剪枝策略SyncScan和一个有效的代表模式检测方案--dominant sequential pattern checking。CRGSgrow是一个两步的方法:第一步,我们获得所有封闭的重复序列模式作为代表性重复序列模式的候选集,同时得到最多的代表性重复序列模式;第二步,我们只花很少的时间从候选集中找到剩余的代表性模式。对真实数据集和合成数据集的实证研究清楚地表明,CRGSgrow具有良好的性能。
2009-06-04 cs.AI cs.DB
Temporal Support of Regular Expressions in Sequential Pattern Mining
经典的序列模式发现算法,返回数据库中所有的频繁序列,但一般来说,只有少数是用户感兴趣的。基于正则表达式(RE)的语言已经被提出来将频繁序列限制为满足用户指定约束的序列。虽然序列的支持度是根据满足模式的数据序列的数量相对于数据库中数据序列的总数来计算的,但是一旦正则表达式开始发挥作用,就需要新的方法来实现支持度的概念。例如,除了特定模式的支持度之外,用户可能对计算RE作为整体的支持度感兴趣。此外,当项目频繁更新时,在序列模式挖掘中计算支持度的传统方法可能会导致不正确的(或至少是不完整的)结论。如果我们对分类序列模式感兴趣,问题会变得更加复杂。鉴于上述情况,在本文中,我们建议修改序列模式挖掘中支持度的经典概念,引入正则表达式的时间支持度的概念,直观地定义为满足目标模式的序列的数量,在可能匹配这种模式的序列的总数中,其中模式被定义为复杂项上的RE(即,不仅是项目标识符,而且还有属性和功能)。
2008-11-22 cs.DB
On Addressing Efficiency Concerns in Privacy Preserving Data Mining
数据采掘服务需要准确的输入数据,以使其结果有意义,但隐私问题可能会影响用户提供虚假信息。为了鼓励用户提供正确的输入,我们最近提出了一个数据失真方案的关联规则挖掘,同时提供隐私的用户和准确性的挖掘结果。然而,与挖掘原始数据库相比,挖掘变形数据库可能要花费多几个数量级的时间。在本文中,我们解决这个问题,并证明,通过(a)推广的失真过程,以执行特定符号的失真,(b)适当地选择失真参数,(c)在重建过程中应用各种优化,运行时的效率,以及在一个数量级的非失真挖掘可以实现。
2003-10-17 cs.DB
Causal Process Mining from Relational Databases with Domain Knowledge
针对过程挖掘中直接跟随关系在多对象关联场景下的缺陷,提出以关系数据库为输入、基于因果过程模板构建因果事件图的因果过程挖掘方法,案例研究验证了结合领域知识的优势。
2023-07-20 cs.DB
Mining Weighted Sequential Patterns in Incremental Uncertain Databases
University of Dhaka(达卡大学);University of Manitoba(曼尼托巴大学)
本文针对增量不确定数据库中的加权序列模式挖掘问题,提出了一种挖掘频繁序列的算法及两种增量挖掘新技术,实验验证了框架的高效性。
2024-03-31 cs.AI cs.DB
Efficient Analysis of Pattern and Association Rule Mining Approaches
数据采掘的过程从给定的数据源产生各种模式。发现频繁项集、频繁序列模式、频繁序列规则和频繁关联规则是数据采掘中公认的最重要的任务。已经提出了许多有效的算法来完成上述过程。频繁模式挖掘一直是数据采掘研究的一个热点问题,有大量的文献可供参考,并取得了重要的进展,从事务数据库中频繁项集挖掘的高性能算法到复杂算法,如序列模式挖掘、结构化模式挖掘、相关性挖掘等。关联规则挖掘(ARM)是当前最流行的数据采掘技术之一,它从大型数据库中对对象进行分组,目的是从海量数据中提取有趣的关联和关系。本文对频繁模式挖掘的研究现状进行了简要的回顾和分析,并讨论了一些有前景的研究方向。此外,本文还包括所述方法的性能之间的比较研究。
2014-02-12 cs.DB
Repetitive nonoverlapping sequential pattern mining
本文提出RNP-Miner算法,用于挖掘重复非重叠序列模式,通过项集连接和位置字典提高效率,实验证明其优于现有算法且聚类性能更好。
2023-11-16 cs.DB
Application of Data Mining Techniques to a Selected Business Organisation with Special Reference to Buying Behaviour
Deshbhakt Ratnappa Kumbhar College Of Commerce(德斯巴克特·拉特纳帕·孔布哈商业学院);Chh. Shahu Institute Of Business Education And Research(恰·沙胡商业教育与研究学院)
数据采掘是一个新的概念&对大数据集进行探索和分析,以发现有意义的模式和规则。许多组织现在正在使用数据采掘技术从数据库中找出有意义的模式。本文研究了如何将数据采掘技术应用于大型数据库。这些数据采掘技术从数据库中得到某些行为模式。对数据库进行分析后得出的结果对组织工作是有用的。本文对应用关联规则挖掘技术、规则归纳技术和Apriori算法后的结果进行了检验。并将这些技术应用于大型购物中心的数据库中。通过上述技术对市场购物篮进行分析,发现了一些重要的结果,如购买行为。
2011-12-17 cs.AI cs.DB
Efficient techniques for mining spatial databases
聚类是数据采掘的主要任务之一。近几年来,空间数据的聚类得到了广泛的研究.空间数据库是许多高级信息系统的组成部分,如地理信息系统超大规模集成电路设计系统。在这篇论文中,我们介绍了几种有效的空间数据聚类算法。首先,我们提出了一个基于网格的聚类算法,具有几个优点和性能相媲美的著名的高效聚类算法。该算法有几个优点。该算法不需要很多输入参数。它只需要三个参数,数据空间中的点的数量,网格中的单元格的数量和百分比。网格中单元的数量反映了算法应达到的精度。该算法能够发现任意形状的簇。该算法的计算复杂性与最有效的聚类算法的复杂性相当。该算法已被实施和测试对不同范围的数据库大小。性能结果表明,该算法的运行时间优于最知名的算法(CRANANS [23])。实验结果还表明,该算法的性能不随数据点数目的增加而降低。
2012-06-01 cs.DB
Extracting Multiple Viewpoint Models from Relational Databases
流程挖掘项目中的大量时间都花在查找和理解数据源以及提取所需的事件数据上。因此,实际上只有一小部分时间用于应用技术来发现、控制和预测业务流程。此外,目前的过程挖掘技术假设一个单一的情况下的概念。然而,在现实生活中,不同的案例概念往往交织在一起。例如,同一订单处理流程的事件可能涉及客户、订单、订单行、交货和付款。因此,我们建议使用多视点(MVP)模型,通过对象关联事件,通过类关联活动。所需的事件数据更接近于现有的关系数据库。MVP模型提供了一个关于流程的整体视图,但也允许使用不同的视角提取经典事件日志。通过这种方式,现有的流程挖掘技术可以用于每个视点,而不需要新的数据提取和转换。我们提供了一个工具链,允许从关系数据库中发现MVP模型(注释有性能和频率信息)。此外,我们证明了经典的过程挖掘技术可以应用于任何选定的观点。
2020-01-08 cs.DB
Similarity Data Item Set Approach: An Encoded Temporal Data Base Technique
数据采掘已被广泛认为是一个强大的工具,探索从大型数据库的附加值。在关联规则的数据采掘过程中,发现数据库中的频繁项集是一个关键问题。为了寻找频繁项集,人们提出了许多算法。本文提出了一个总结和比较研究的可用FP增长算法的变化产生的挖掘频繁项目集显示其能力和效率方面的时间和内存消耗的关联规则挖掘,考虑到具体的信息的应用。提出了基于模式增长挖掘范式的FP-树增长算法,该算法采用树结构来压缩数据库。性能研究表明,反FP-增长方法对于挖掘长、短频繁模式都是有效的、可扩展的,比Apriority算法快一个数量级,也比最近报道的一些新的频繁模式挖掘算法快。
2010-03-22 cs.DB
Implementation of Association Rule Mining for Network Intrusion Detection
现代的入侵检测系统都是基于数据采掘和以数据库为中心的体系结构,其中出现了许多数据采掘技术,其中关联规则挖掘是数据采掘研究的重要内容之一。这种方法确定大型数据项集之间的有趣关系。这种技术最初被应用于所谓的购物篮分析,其目的是发现超市顾客的购物行为。与通常需要数百个属性的购物篮分析数据集相比,网络审计数据库面临数十个属性。针对事务数据库的这种特点,对传统的关联规则挖掘算法Apriori进行了改进。本文提出了一种改进的Apriori算法,该算法通过事务切割和散列,只需扫描网络审计数据库一次,在实际应用中非常有用。
2016-08-04 cs.CR cs.DB
Efficient Mining of Low-Utility Sequential Patterns
School of Computer Science and Technology, Guangdong University of Technology(广东工业大学计算机学院);College of Cyber Security, Jinan University(暨南大学网络空间安全学院);Department of Computer Science, University of Illinois Chicago(伊利诺伊大学芝加哥分校计算机科学系)
本文提出低效用序列模式挖掘问题,重新定义序列效用并引入序列效用链数据结构,提出LUSPM_b、LUSPM_s和LUSPM_e三种算法,通过收缩和扩展操作生成子序列,结合多重剪枝策略提升效率,实验表明LUSPM_e在运行时间和内存消耗上表现更优。
2026-04-26 cs.DB
An efficient mining scheme for high utility itemsets
针对现有高效用项集挖掘算法时间与内存开销高的问题,本文提出基于残差映射数据结构的R-Miner算法,实验证明其性能优于现有最先进算法。
2022-04-12 cs.DB
Recent Trends and Research Issues in Video Association Mining
随着数字图书馆和视频数据库的不断发展,从视频数据库中自动理解和挖掘知识变得越来越重要。在视频数据采掘的研究领域中,发现大型视频数据库中项目之间的关联规则具有重要的意义。在过去几年的研究和发展的基础上,关联规则挖掘在不同的领域,如监控,会议,广播新闻,体育,档案,电影,医疗数据,以及个人和在线媒体收藏中的应用越来越多。本文的目的是提供一个从视频数据库中挖掘关联规则的通用框架。本文还介绍了视频关联挖掘中的研究问题,以及最新的发展趋势。
2011-12-09 cs.DB cs.MM
A Constraint Programming Approach for Mining Sequential Patterns in a Sequence Database
University of Caen(卡昂大学);University PARIS 13(巴黎第十三大学)
基于约束的模式发现是众多数据采掘任务的核心。模式是相对于一组给定的约束(频率,封闭性,大小等)提取的。在序列模式挖掘的背景下,已经开发了大量专门的技术来解决特定类别的约束。本文的目的是研究使用约束编程(CP)的建模和挖掘序列数据库中的序列模式。我们的CP方法提供了一种自然的方式,在同一个框架中同时结合了来自不同来源的大量约束。实验结果表明,我们的方法的可行性和利益。
2013-11-27 cs.AI cs.DB
TKUS: Mining Top-K High-Utility Sequential Patterns
高效用序列模式挖掘(HUSPM)是近年来的一个研究热点。HUSPM的主要任务是在一个定量的序列数据库中找到所有具有高效用的连续性,这些连续性相对于用户定义的最小效用阈值具有高效用。然而,很难指定最低效用阈值,特别是当数据库功能(在大多数情况下是不可见的)不被理解时。为了解决这个问题,top-k HUSPM被提出。到目前为止,只进行了非常初步的工作,以捕捉前k HUSP,现有的策略需要改进的运行时间,内存消耗,没有前途的候选人过滤,和可扩展性。此外,没有系统的问题说明。在本文中,我们制定的top-k HUSPM的问题,并提出了一种新的算法称为TKUS。为了提高效率,TKUS采用了投影和局部搜索机制,并采用了几种方案,包括序列效用提升,提前终止后代和消除不希望的项目策略,这使得它能够大大减少搜索空间。实验结果表明,TKUS算法与现有的TKHUS-Span算法相比,具有足够好的top-k HUSPM性能.
2020-11-26 cs.DB
Characterizing Transactional Databases for Frequent Itemset Mining
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文研究了用于频繁项集挖掘的事务数据库的特征。这些特征通常用于基准测试和理解在这些数据库上工作的数据采掘算法。我们的研究的目的是给这些基准数据库的多样性和代表性的图片,无论是在一般情况下,但也在特定的实证研究的文献中发现的背景下。我们提出的指标列表包含了文献中发现的许多现有指标,以及新的指标。我们的研究表明,我们的指标列表能够捕捉到大部分数据集的内部复杂性,从而为事务数据集的表征提供了一个很好的基础。最后,我们提供了一组代表性的数据集,根据我们的表征,可以安全地用作基准。
2020-11-09 cs.AI cs.DB
TaSPM: Targeted Sequential Pattern Mining
Jinan University(暨南大学);Pazhou Lab(琶洲实验室);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
序列模式挖掘(SPM)是模式挖掘的一种重要技术,在实际中有着广泛的应用。虽然已经提出了许多有效的序列模式挖掘算法,但针对目标序列的研究很少。有针对性地查询序列模式不仅可以减少SPM生成的序列数量,而且可以提高用户进行模式分析的效率。现有的靶向序列查询算法都是基于特定的场景,不能推广到其他应用。在本文中,我们制定了有针对性的序列模式挖掘的问题,并提出了一个通用的框架,即TaSPM,基于快速CM-SPAM算法。此外,为了提高TaSPM在大规模数据集和基于多项的序列数据集上的效率,我们提出了几种剪枝策略来减少挖掘过程中的无意义操作。TaSPM中设计了四种剪枝策略,能够快速终止不必要的模式扩展,获得更好的性能。最后,我们在不同的数据集上进行了广泛的实验,比较现有的SPM算法与TaSPM。实验结果表明,新的目标挖掘算法TaSPM可以实现更快的运行时间和更少的内存消耗。
2022-02-26 cs.AI cs.DB
Utility-Driven Mining of Trend Information for Intelligent System
嵌入数据库中的有用知识可能会随着时间的推移而改变。确定时态数据库中最近的变化可以为决策者提供有价值的最新信息。然而,挖掘高效用模式(HUP)的技术很少考虑新近度作为发现模式的标准。因此,传统的效用挖掘框架不足以获得关于真实世界数据的最新见解。在本文中,我们解决这个问题,通过引入一个新的框架,命名为效用驱动挖掘最近/趋势高效用模式(RUP)在时态数据库的智能系统,基于用户指定的最小最近和最小效用阈值。效用驱动的RUP算法基于新的全局和条件向下闭包属性,以及最近效用树。此外,它采用了一个垂直紧凑的最近-效用列表结构来存储挖掘过程所需的信息。开发的RUP算法递归地发现最近的HUP。由于其模式发现方法不生成候选项,因此它的速度也很快,并且消耗少量内存。另外还设计了两种改进的剪枝算法,通过减少搜索空间来加快模式的发现。大量的实验结果表明,该算法可以有效地识别所有最近的高效用模式在大规模数据库中,改进的算法性能最好。
2019-12-25 cs.DB
Foundation for Frequent Pattern Mining Algorithms Implementation
随着IT技术的发展,积累的数据量也在不断增加。这样,数据采掘的作用就显现出来了。关联规则挖掘是描述性技术的重要任务之一,它可以被定义为从大量数据中发现有意义的模式。频繁模式挖掘算法从数据库中确定频繁模式。频繁项集的挖掘是关联规则挖掘的基础部分。在过去的几十年中,已经提出了许多算法,主要有Apriori,直接哈希和修剪,FP-Growth,ECLAT等。本研究的目的是分析现有的频繁模式挖掘技术,并通过比较Apriori和DHP算法在候选生成,数据库和事务修剪方面的性能来评估它们。这为开发新的频繁模式挖掘算法奠定了基础。
2014-02-08 cs.DB
Data Mining and Its Applications for Knowledge Management: A Literature Review from 2007 to 2012
数据采掘是数据库中知识发现过程的重要环节,是知识管理的重要分支。在未来的几十年里,数据采掘的研究在商业和学习型组织中继续增长。本文探讨了数据采掘技术在知识管理过程中的应用。对ScienceDirect数据库2007 - 2012年收录的期刊论文进行了分析和分类。研究结果的讨论分为4个主题:(i)知识资源;(ii)知识类型和/或知识数据集;(iii)数据采掘任务;(iv)知识管理中使用的数据采掘技术和应用。文章首先简要介绍了数据采掘的定义和数据采掘的功能。然后介绍了知识管理的基本原理和知识管理周期中集成的主要知识管理工具。最后,对数据采掘技术在知识管理过程中的应用进行了总结和探讨。
2012-10-10 cs.DB
NSPG-Miner: Mining Repetitive Negative Sequential Patterns
本文提出NSPG-Miner算法,通过模式连接策略和NegPair支持度计算方法,同时挖掘带间隙约束的正负序列模式,实验表明其能发现更多有价值信息。
2025-02-09 cs.DB
HybridMiner: Mining Maximal Frequent Itemsets Using Hybrid Database Representation Approach
FAST-National University of Computer and Emerging Sciences(FAST-国立计算机与新兴科学大学)
在本文中,我们提出了一种新的混合(基于数组的布局和垂直位图布局)的数据库表示方法,挖掘完整的最大频繁项集(MFI)稀疏和大型数据集。我们的工作是新颖的可扩展性,项目搜索顺序和两个水平和垂直投影技术。我们还提出了一个最大的算法,使用这种混合数据库表示方法。在真实数据集和稀疏数据集上的不同实验结果表明,该方法优于现有的最大值算法。
2009-04-21 cs.AI cs.DB cs.DS
Native Directly Follows Operator
典型的遗留信息系统将数据存储在关系数据库中。流程挖掘是一门研究学科,它分析这些数据以获得对流程的洞察。许多不同的过程挖掘技术可以应用于数据。在当前技术中,XES事件日志用作分析的基础。然而,由于XES事件日志的静态特性,我们需要为每个流程挖掘问题创建一个XES文件,这导致了开销和可扩展性。作为替代方案,人们尝试使用所谓的中间结构直接在数据源上执行过程挖掘。在以前的工作中,我们研究了通过在数据库上执行基本SQL查询来在源数据上构建中间结构的方法。但是,SQL查询中的嵌套表单可能会导致数据库端的性能问题。因此,在本文中,我们提出了一个原生的SQL操作直接进程发现关系数据库。我们为中间结构的最简单形式定义了一个本地操作符,称为“直接跟随关系”。该方法已与大事件数据进行了评估,实验结果表明,它的执行速度比最先进的数据库方法。
2018-06-05 cs.DB
Mining Non-Redundant Local Process Models From Sequence Databases
Eindhoven University of Technology(埃因霍温理工大学);University of Tartu(塔尔图大学)
序列模式挖掘技术从序列数据库中提取对应于频繁序列的模式。这些技术的一个实际局限性是,它们会让用户负担太多的模式。局部过程模型挖掘是过程挖掘领域的一种新的挖掘方法。在传统的序列模式挖掘中,一个模式描述一个子序列,而LPM捕获一组连续性。此外,虽然传统的顺序模式仅匹配在序列数据库中观察到的顺序,但LPM可以捕获未明确观察到的顺序,但与观察到的顺序相关。换句话说,LPM概括了在序列数据库中观察到的行为。这些属性使得一组LPM可以覆盖更大的一组顺序模式的行为。然而,现有的LPM挖掘技术仍然遭受模式爆炸问题,因为它们产生冗余LPM集。在本文中,我们提出了几种算法来挖掘一组非冗余的LPM,无论是从一组冗余的LPM或从一组序列模式。我们根据经验比较他们之间的建议,并对现有的(本地)流程挖掘技术的覆盖率,冗余度和复杂性的生产集的LPM。
2018-09-21 cs.AI cs.DB cs.DS
Utility Mining Across Multi-Dimensional Sequences
从数据库中提取知识是数据库和数据采掘领域的一项基本任务,在实际应用中有着广泛的应用。与基于支持的挖掘模型不同,面向效用的挖掘框架集成了效用理论,提供了更多的信息和有用的模式。时变序列数据在现实生活中很常见。序列数据已经被广泛地应用于许多应用中,例如分析Web上的序列用户行为、影响力最大化、路线规划和有针对性的营销。不幸的是,所有现有算法都忽视了这样一个事实:处理后的数据不仅包含丰富的特征(例如,发生数量、风险、利润等),而且还可以与多维辅助信息相关联,例如,交易序列可以与购买者简档信息相关联。在本文中,我们首先制定了跨多维序列的效用挖掘问题,并提出了一个新的框架命名为MDUS提取多维效用导向的序列有用模式。提出了两种求解该问题的算法MDUS_EM和MDUS_SD。前一种算法基于数据库转换,后一种算法执行模式连接和搜索方法来识别多维序列中的期望模式。在5个真实数据集和1个人工数据集上进行了大量的实验,实验结果表明该算法能够有效地从多维序列数据库中发现有用的知识。此外,MDUS框架可以提供更好的洞察力,并且它比当前现有的模型更适合于现实生活中的情况。
2019-02-25 cs.DB