Towards context in large scale biomedical knowledge graphs
上下文信息对自然语言的准确含义有着重要的影响,因此被广泛应用于自然语言处理和生命科学领域的知识发现。科学的挑战不仅是提取这样的上下文数据,而且还存储这些数据以用于进一步的查询和发现方法。在这里,我们提出了一个多步骤的知识图谱的方法,使用标记的属性图的基础上多语言持久化系统,利用上下文数据的上下文挖掘,图形查询,知识发现和提取。我们介绍了语义网络中的一般上下文概念的图论基础,并展示了基于生物医学文献和文本挖掘的概念证明。我们的测试系统包含一个知识图谱,来自PubMed和SCAIView数据的整体,并丰富了文本挖掘数据和领域特定的语言数据,使用BEL。在这里,上下文是比注释更一般的概念。这个密集图有超过7100万个节点和85000万个关系。我们讨论了这种新方法的影响与27个真实世界的用例表示的图查询。
2020-01-23 cs.DB
Multi-Sorted Inverse Frequent Itemsets Mining
为新兴的“大数据”应用开发新的平台和技术需要为数据驱动的实验提供现实生活中的数据集,然而在大多数情况下,这对于学术研究来说是遥不可及的,因为它们通常是专有的。一个可能的解决方案是使用反映真实模式的合成数据集,以确保高质量的实验结果。在这个方向上的第一步是使用反向挖掘技术,如反向频繁项集挖掘(IFM),它包括生成一个事务数据库,满足给定的支持约束的项目集在一个输入集中,通常是频繁的。本文介绍了IFM的一种扩展,称为多排序IFM,其中要生成的数据集的方案是新兴大数据应用中所需的大表的典型方案,例如,社交网络分析
2013-10-15 cs.DB
Targeted Mining of Time-Interval Related Patterns
本文提出TaTIRP算法,通过定向挖掘和多种剪枝策略高效发现符合特定标准的时间区间相关模式,并在真实与合成数据集上验证了其准确性和效率。
2025-07-16 cs.DB
Privacy Preserving Utility Mining: A Survey
在大数据时代,收集的数据通常包含丰富的信息和隐藏的知识。面向实用程序的模式挖掘和分析已经显示出强大的能力来探索这些无处不在的数据,这些数据可以从各个领域和应用中收集,例如购物篮分析,零售,点击流分析,医学分析和生物信息学。然而,对这些具有敏感私人信息的数据进行分析会引起隐私问题。为了在效用最大化和隐私保护之间取得更好的平衡,隐私保护效用挖掘(PPUM)成为近年来的一个重要问题。在本文中,我们提供了一个全面的概述PPUM。本文首先介绍了效用挖掘、隐私保护数据采掘和PPUM的背景,然后介绍了PPUM的相关概念、问题表述以及PPUM的一些关键评价标准。特别是,我们提出并讨论了目前国家的最先进的PPUM算法,以及它们的优点和不足之处的详细信息。最后,我们强调并讨论了一些技术挑战和开放的方向,为未来的研究PPUM。
2018-11-18 cs.DB
FRI-Miner: Fuzzy Rare Itemset Mining
数据采掘是一种广泛应用于数据分析的各种实际应用的技术,对于在事务数据库中发现有价值的关联规则非常重要。兴趣项集挖掘在市场、电子商务、金融、医疗等领域有着重要的应用。迄今为止,各种基于频繁模式的数据采掘算法已经得到了广泛的研究,但很少有算法专注于挖掘不频繁或稀有模式。在某些情况下,稀有项集和稀有关联规则在实际应用中也起着重要的作用。本文介绍了一种新的基于模糊的稀有项集挖掘算法FRI-Miner,该算法应用具有语言学意义的模糊理论,在定量数据库中发现有价值的、有趣的模糊稀有项集。此外,FRI-Miner利用模糊列表结构来存储重要信息,并应用多种剪枝策略来减少搜索空间。实验结果表明,FRI-Miner算法能够在考虑现实中的量化价值的基础上,发现更少、更有趣的项目集。此外,它在有效性方面明显优于最先进的算法(w.r.t.不同类型的导出图案)和效率(w.r.t.运行时间和内存使用)。
2021-03-11 cs.DB
A Hybrid ICT-Solution for Smart Meter Data Analytics
智能电表在全球范围内的使用越来越多。智能电表是能够以细粒度时间间隔测量能耗的先进电表,例如,每15分钟一班。智能电表数据通常与分析中的社会经济数据捆绑在一起,例如电表地理位置,天气状况和用户信息,这使得数据集非常庞大,分析复杂。数据采掘和新兴的云计算技术使得收集、处理和分析所谓的大数据成为可能。本文提出了一种创新的ICT解决方案,以简化智能电表数据分析。所提出的解决方案提供了一个信息集成管道,用于从智能电表中获取数据,一个可扩展的平台,用于处理和挖掘大数据集,以及一个门户网站,用于可视化分析结果。实现的系统具有一个混合架构,使用Spark或Hive进行大数据处理,并使用机器学习工具包MADlib在PostgreSQL数据库中进行数据库内数据分析。本文评估了所提出的ICT解决方案的关键技术,结果表明使用该系统进行批量和在线分析的有效性和效率。
2016-06-18 cs.DB
Implementation of CRISP Methodology for ERP Systems
ERP系统包含大量与业务流程实际执行相关的数据。这些系统具有记录活动的特定方式,这导致在事件日志中不清楚地显示业务流程。ERP系统已经进行了一些工作,其中大部分侧重于开发新的算法,自动发现的业务流程。我们专注于解决这样的问题,如ERP系统的组织如何应用流程挖掘来分析他们的业务流程,以改善他们。ERP系统的数据处理方面与BPMS或基于工作流的系统的数据处理方面形成鲜明对比,后者系统地存储事件有助于流程挖掘技术的应用。CRISP-DM已经成为开发数据采掘和知识发现项目的事实标准。成功的数据采掘需要三种分析能力,即报告、分类和预测。数据挖掘者使用多种分析方法来获得最佳结果。本文的目的是提高流程挖掘技术的可用性和可理解性,通过实施CRISP-DM方法,在ERP环境中的应用,详细的具体实施工具和一步一步的协调。我们的研究证实,ERP系统的数据发现提高了战略和运营决策。
2013-12-07 cs.DB
Patent Mining by Extracting Functional Analysis Information Modelled As Graph Structure: A Patent Knowledge-base Collaborative Building Approach
本研究提出一种用于机械设计专利的图数据建模方法,提取功能分析信息构建语义专利库,开发PatMine SolidWorks插件实现设计与专利对比,支持多类搜索及未来算法插件扩展。
2024-02-02 cs.DB
A Survey of Utility-Oriented Pattern Mining
数据采掘和分析的主要目的是发现新的、潜在有用的模式,这些模式可以在现实世界的应用程序中使用,以获得有益的知识。为了识别和评估不同种类的模式的有用性,已经提出了许多技术和约束,例如支持度、置信度、序列顺序和效用参数(例如,重量、价格、利润、数量、满意度等)。近年来,人们对面向效用的模式挖掘(UPM,或称为效用挖掘)的需求越来越大。UPM是一项重要的任务,拥有众多高影响力的应用,包括交叉营销,电子商务,金融,医疗和生物医学应用。本调查旨在对芬欧汇川最先进的方法进行全面、全面和结构化的概述。首先,我们将介绍对UPM的深入理解,包括概念,示例以及与相关概念的比较。详细介绍了挖掘不同类型的高效用模式的最常见和最先进的方法的分类,包括基于Apriori的,基于树的,基于投影的,垂直/水平数据格式的,和其他混合的方法。对现有的高实用模式挖掘技术的高级主题进行了全面的回顾,并讨论了它们的优缺点。最后,我们提出了几个著名的UPM开源软件包。最后,我们讨论了这一领域的公开和实际挑战。
2019-09-16 cs.DB
Educational Data Mining and Learning Analytics - Educational Assistance for Teaching and Learning
Jubail University College(朱拜勒大学学院);Ayya Nadar Janaki Ammal College(艾亚纳达尔贾纳基阿马尔学院)
本文研究如何通过教育数据挖掘和学习分析技术,收集学生表现数据以识别潜在失败风险,并通过特征选择方法提升教学与学习效果。
2017-06-11 cs.DB cs.SY eess.SY
Market Basket Analysis Using Rule-Based Algorithms and Data Mining Techniques
本文应用结构化数据挖掘方法提取交易数据中的关联规则,为营销策略和管理决策提供框架,以提升运营效率、客户参与度及竞争优势。
2024-12-24 cs.DB econ.GN q-fin.EC
Quantum Privacy-Preserving Data Analytics
数据分析(如关联规则挖掘和决策树挖掘)可以从大数据集中发现有用的统计知识。但在分析过程中保护数据提供者和数据用户的隐私是一个严重的问题。通常,经典算法无法同时完全保护双方的隐私。本文提出了一种量子数据挖掘协议,该协议比现有的经典算法更能保护隐私:(1)如果数据提供者和数据使用者都是诚实的,那么数据使用者除了统计结果之外对数据库一无所知,而数据提供者几乎不能得到任何关于数据使用者挖掘结果的信息;(2)如果资料使用者不诚实,并试图披露另一方的私人资料,她/他极有可能被察觉;(3)如果资料提供者试图披露资料使用者的私隐,由于资料使用者将其私隐隐藏在噪音之中,她/他无法得到任何有用的资料。
2017-02-14 cs.CR cs.DB quant-ph
Quantum Privacy-Preserving Data Mining
University of Technology Sydney(悉尼科技大学);Tsinghua University(清华大学)
数据挖掘是大数据分析中的一项关键技术,它可以发现隐藏在大数据集中的可理解的知识(模式)。关联规则是最有用的知识模式之一,在数据挖掘文献中已经开发了大量的算法来生成对应于不同问题和情况的关联规则。当数据挖掘用于敏感数据集(如医疗记录、商业数据集和国家安全)时,隐私成为一个至关重要的问题。在这封信中,我们提出了一个量子协议的垂直分区数据库上挖掘关联规则。量子协议可以提高经典协议的隐私保护水平,同时它可以指数级地降低计算复杂度和通信成本。
2016-01-14 cs.CR cs.DB cs.LG
Semantic distillation: a method for clustering objects by their contextual specificity
用于数据挖掘、潜在语义分析、数据库的上下文搜索等的技术很久以前就由从事信息检索(IR)的计算机科学家开发。实验科学家,来自各个学科,必须分析大量原始实验数据(天文,物理,生物等)已经开发出了用于其统计分析以及用于聚类、分类和分类对象的强大方法。最后,物理学家发展了量子测量理论,将查询的逻辑、代数和概率方面统一到一个单一的形式主义中。本文件有两个目的:第一,表明当在抽象层面上制定时,来自IR、来自统计数据分析和来自物理测量理论的问题非常相似,因此可以有益地交叉融合,第二,提出一种新的模糊层次聚类方法,称为\textit{semantic distillation} --强烈地受到量子测量理论的启发--,我们开发了用于分析来自各种DNA阵列实验的原始数据。我们通过分析DNA阵列实验和根据其特异性对阵列基因进行聚类来说明该方法。
2007-10-06 cs.DB math.PR math.ST
OCPM$^2$: Extending the Process Mining Methodology for Object-Centric Event Data Extraction
Stockholm University(斯德哥尔摩大学);Linköping University(利厄普堡大学)
本文提出一种基于PM\inst{2}的结构化方法论,用于从教育系统中提取对象中心事件数据(OCED),并通过真实案例验证其有效性。
2025-04-21 cs.AI cs.DB
Frequent Pattern Mining in Continuous-time Temporal Networks
College of Computing and Informatics, Drexel University(德雷塞尔大学计算与信息学院)
网络在不同的学科中被用作高度表达的工具。近年来,时态网络的分析和挖掘引起了广泛的关注。频繁模式挖掘被认为是网络科学文献中的一项重要任务。除了大量的应用外,网络中频繁模式挖掘的研究直接影响到其他分析方法,如聚类,准团和团挖掘,以及链接预测。在几乎所有的时态网络频繁模式挖掘算法中,时态网络都被表示为静态网络序列。然后,挖掘网络间或网络内模式。这种类型的表示对挖掘问题施加了计算-表达性权衡。在本文中,我们提出了一种新的表示,可以保留网络损失的时间方面。然后,我们引入了约束区间图的概念。接下来,我们开发了一系列的算法,用于挖掘时态网络数据集中的频繁时态模式的完整集合。我们还考虑了四种不同的同构定义,以允许在时间数据汇集的噪声容忍度。三个真实世界的数据集实现算法证明了所提出的算法的实用性和它的能力,发现未知的模式在各种设置。
2021-05-12 cs.CV cs.DB cs.DS
Applications of a Novel Knowledge Discovery and Data Mining Process Model for Metabolomics
American University of Madaba(马代巴美国大学);Aberystwyth University(阿伯里斯特威斯大学)
这项工作演示了一个新的过程模型的知识发现和数据挖掘代谢组学(MeKDDaM)的执行。它的目的是说明MeKDDaM过程模型的适用性,使用四个不同的现实世界的应用,并突出其优势和独特的功能。所展示的应用程序提供了代谢物分析,目标分析和代谢指纹的覆盖范围。在这些应用中分析的数据是通过色谱分离和质谱技术(LC-MS),傅里叶变换红外光谱(FT-IR)和核磁共振光谱(NMR)捕获的,涉及植物,动物和人类样品的分析。这一过程是使用数据驱动和假设驱动的数据挖掘方法来执行的,以便通过应用一些数据挖掘技术来执行各种数据挖掘目标和任务。选择这些应用程序是为了实现一系列分析目标和研究问题,并使用NMR,LC-MS和FT-IR使用植物,动物和人类来源的样品捕获的数据集为代谢物分析,目标分析和代谢指纹图谱提供覆盖。该过程中使用的实施环境,创建,以提供一个计算机辅助实现的过程模型执行。
2019-07-30 cs.DB cs.LG q-bio.QM
Computer-Aided Data Mining: Automating a Novel Knowledge Discovery and Data Mining Process Model for Metabolomics
American University of Madaba(马代巴美国大学);Aberystwyth University(阿伯里斯特威斯大学)
这项工作提出了MeKDDaM-SAGA,计算机辅助自动化软件,用于实现一种新的知识发现和数据挖掘过程模型,该模型旨在进行合理的,可追溯的和可重复的代谢组学数据分析。该过程模型侧重于实现代谢组学分析目标,并考虑其所涉及的数据的性质。MeKDDaM-SAGA被成功地用于指导许多代谢组学应用中的过程模型执行。它满足所提出的过程模型设计和执行的要求。该软件实现了过程模型的布局、结构和流程,并且它能够在外部使用各种数据挖掘和机器学习工具或在内部使用许多嵌入式设施来执行其执行,这些嵌入式设施是为执行许多自动化活动而构建的,例如数据预处理、数据探索、数据适应、建模、评估和可视化。MeKDDaM-SAGA是使用面向对象的软件工程方法开发的,并在Java中构建。它由241个设计类组成,旨在实现27个用例。该软件使用XML数据库来保证可移植性,并使用GUI界面来确保其用户友好性。它实现了一个内部嵌入式版本控制系统,用于实现和管理流程流、反馈和迭代,并允许撤消和重做流程阶段、活动及其阶段内的内部任务的执行。
2019-07-09 cs.DB cs.LG q-bio.QM