Mining Flipping Correlations from Large Datasets with Taxonomies
本文介绍了一种新的模式--翻转相关模式。翻转模式是通过对比不同抽象层次的项目之间的相关性来获得的。它们代表了令人惊讶的正相关和负相关,这些相关对于给定的抽象级别是特定的,并且当项目被概括到更高的抽象级别时,这些相关从正到负“翻转”,反之亦然。我们设计了一个有效的算法,寻找翻转相关性,Flipper算法,它优于天真的模式挖掘方法的几个数量级。我们将Flipper应用于现实生活中的数据集,并表明发现的模式是非冗余的,令人惊讶的和可操作的。Flipper在中低支持度的项集中发现了强烈的对比相关性,而现有技术无法处理在此频率范围内的模式发现。
2011-12-31 cs.DB
Web Mining Research: A Survey
由于网上有大量的可用信息,万维网是数据采掘研究的沃土。Web挖掘的研究正处于数据库、信息检索、人工智能等多个研究领域,特别是机器学习和自然语言处理的交叉点。然而,当从不同的角度比较研究成果时,存在很多混乱。本文综述了Web挖掘领域的研究现状,指出了Web挖掘这一术语在使用上的一些混乱,并提出了Web挖掘的三种分类。然后,我们回顾了关于这三个类别的一些研究。我们还探讨了Web挖掘类别和相关的代理模式之间的连接。对于调查,我们专注于代表性问题,在过程中,在学习算法,并在最近的作品作为标准的应用。最后,我们总结了一些研究问题的文件。
2000-11-22 cs.DB cs.LG
The Minimum Description Length Principle for Pattern Mining: A Survey
University of Eastern Finland(东芬兰大学)
最小描述长度(MDL)原则应用于模式挖掘。本说明的长度保持在最低限度。挖掘模式是数据分析中的核心任务,除了有效枚举问题之外,模式的选择也是一个重大挑战。MDL原则是一种基于信息论的模型选择方法,它被应用于模式挖掘,目的是获得紧凑的高质量模式集。在概述了信息论和编码的相关概念以及MDL和类似原则背后的理论工作之后,我们回顾了基于MDL的挖掘各种类型数据和模式的方法。最后,我们对这些方法的一些问题进行了讨论,并强调了目前活跃的相关数据分析问题。
2022-07-28 cs.AI cs.DB cs.IT
A Survey of Parallel Sequential Pattern Mining
随着共享资源的日益普及,自动收集大量不同类型的复杂数据。传统的数据采掘算法普遍存在内存开销大、处理速度慢、硬盘空间不足等问题和挑战。序列模式挖掘作为数据采掘的一项基本任务,在现实生活中有着广泛的应用。然而,它比其他模式挖掘任务更复杂和更具挑战性,即,频繁项集挖掘和关联规则挖掘,在处理大规模数据时也面临上述挑战。为了解决这些问题,在并行或分布式计算环境中挖掘序列模式已经成为一个重要的问题,具有许多应用。在本文中,深入调查的并行序列模式挖掘(PSPM)的现状进行了调查和提供,包括传统的串行SPM方法的详细分类,和最先进的并行SPM。本文详细回顾了并行序列模式挖掘的相关工作,包括基于划分的并行序列模式挖掘算法、基于Apriori的并行序列模式挖掘算法、基于模式增长的并行序列模式挖掘算法和基于模式增长的并行序列模式挖掘混合算法,并对并行序列模式挖掘算法进行了深入的描述(即,这些并行方法的特点、优点、缺点和总结。对PSPM的一些前沿问题,包括并行定量/加权/效用序列模式挖掘、不确定数据和流数据的PSPM、PSPM的硬件加速等进行了详细的综述。此外,我们还回顾并提供了一些著名的PSPM开源软件。最后总结了PSPM在大数据时代面临的挑战和机遇。
2019-04-05 cs.DB
A Survey on Mining and Analysis of Uncertain Graphs
\emph{Uncertain Graph}(也称为\emph{Probabilistic Graph})是一种通用模型,用于表示从社会到生物的许多真实\mbox{-}世界网络。近年来,不确定图的分析和挖掘引起了数据管理界研究人员的极大关注。一些崇高的问题已被引入,并已开发出有效的方法来解决这些问题。因此,有必要以自\mbox{-}组织的方式总结关于该主题的现有结果。在本文中,我们提出了一个全面的调查不确定图挖掘主要集中在三个方面:(i)不同的问题研究,(ii)解决这些问题的计算挑战,和(iii)提出的方法。最后,我们列出了重要的未来研究方向。
2021-06-15 cs.DB cs.SI
A Survey of Utility-Oriented Pattern Mining
数据采掘和分析的主要目的是发现新的、潜在有用的模式,这些模式可以在现实世界的应用程序中使用,以获得有益的知识。为了识别和评估不同种类的模式的有用性,已经提出了许多技术和约束,例如支持度、置信度、序列顺序和效用参数(例如,重量、价格、利润、数量、满意度等)。近年来,人们对面向效用的模式挖掘(UPM,或称为效用挖掘)的需求越来越大。UPM是一项重要的任务,拥有众多高影响力的应用,包括交叉营销,电子商务,金融,医疗和生物医学应用。本调查旨在对芬欧汇川最先进的方法进行全面、全面和结构化的概述。首先,我们将介绍对UPM的深入理解,包括概念,示例以及与相关概念的比较。详细介绍了挖掘不同类型的高效用模式的最常见和最先进的方法的分类,包括基于Apriori的,基于树的,基于投影的,垂直/水平数据格式的,和其他混合的方法。对现有的高实用模式挖掘技术的高级主题进行了全面的回顾,并讨论了它们的优缺点。最后,我们提出了几个著名的UPM开源软件包。最后,我们讨论了这一领域的公开和实际挑战。
2019-09-16 cs.DB
Data mining : past present and future - a typical survey on data streams
数据流挖掘是一个具有实际意义的领域,在医学、计算机科学、生物信息学、股票市场预测、天气预报、文本、音频和视频处理等领域都有着新的方法和发现。数据恰好是数据采掘中的关键问题。随着从多个传感器、互联网中继聊天、Twitter、Facebook、网上银行或ATM交易中产生的大量在线数据,动态变化数据的概念正在成为一个关键挑战,我们称之为数据流。本文给出了从数据流中发现频繁模式的算法,并通过一个实例分析,指出了数据流处理中的研究问题。
2016-05-04 cs.DB
Imprecise temporal associations and decision support systems
近年来,决策支持系统、人工智能和数据采掘在消费电子产品和日常生活中的快速和普遍渗透已经非常重要。用户体验等领域一直在促进这些技术集成到软件和硬件中,但后端处理仍然基于二进制基础。本文描述了一种挖掘数据流中事件之间不精确的时间关联的方法,同时考虑到近似的非常自然的概念。这种类型的关联分析可能会导致更有意义和可操作的决策支持系统。
2018-03-03 cs.DB
A Survey on Concept Drift in Process Mining
Pontifícia Universidade Católica do Paraná(巴拉那天主教大学);Instituto Federal do Paraná(巴拉那联邦学院)
过程挖掘(PM)中的概念漂移是一个挑战,因为经典方法假设过程处于稳定状态,即,事件共享同一进程版本。我们进行了系统的文献回顾,这些领域的交叉点,因此,我们回顾了流程挖掘中的概念漂移,并提出了一个分类的现有技术的漂移检测和在线流程挖掘不断变化的环境。现有的作品描绘,(i)PM仍然主要集中在离线分析,和(ii)的过程中的概念漂移技术的评估是繁琐的,由于缺乏共同的评估协议,数据集和指标。
2021-12-03 cs.DB cs.LG
Intelligent Cross-Organizational Process Mining: A Survey and New Perspectives
University of Oxford(牛津大学);Peng Cheng Laboratory(鹏城实验室);Institute for Infocomm Research, A*STAR(新加坡资讯通信研究院(新加坡科技研究局下属));Fudan University(复旦大学);Squirrel Ai Learning(松鼠AI智适应教育)
本文综述流程挖掘与人工智能结合的最新进展,提出跨组织智能流程分析框架,并展望未来研究方向,旨在利用AI提升复杂多组织数据分析的预测与决策能力。
2024-07-15 cs.AI cs.CE cs.DB
Privacy Preserving Utility Mining: A Survey
在大数据时代,收集的数据通常包含丰富的信息和隐藏的知识。面向实用程序的模式挖掘和分析已经显示出强大的能力来探索这些无处不在的数据,这些数据可以从各个领域和应用中收集,例如购物篮分析,零售,点击流分析,医学分析和生物信息学。然而,对这些具有敏感私人信息的数据进行分析会引起隐私问题。为了在效用最大化和隐私保护之间取得更好的平衡,隐私保护效用挖掘(PPUM)成为近年来的一个重要问题。在本文中,我们提供了一个全面的概述PPUM。本文首先介绍了效用挖掘、隐私保护数据采掘和PPUM的背景,然后介绍了PPUM的相关概念、问题表述以及PPUM的一些关键评价标准。特别是,我们提出并讨论了目前国家的最先进的PPUM算法,以及它们的优点和不足之处的详细信息。最后,我们强调并讨论了一些技术挑战和开放的方向,为未来的研究PPUM。
2018-11-18 cs.DB
Survey on Distributed Data Mining in P2P Networks
数字数据的可用性呈指数级增长,在商业和科学领域处理数据的必要性迫使我们需要分析和挖掘有用的知识。传统的数据采掘使用数据仓库模型,将所有数据收集到一个中心站点,然后对该数据运行算法。这种集中式方法从根本上是不合适的,因为有很多原因,如大量的数据,集中存储在多个站点的数据不可行,带宽限制和隐私问题。为了解决这些问题,分布式数据采掘(DDM)成为一个研究热点。分布式数据采掘以接近最优的方式仔细关注数据、计算、通信和人为因素的分布式资源的使用。DDM在对等(P2P)系统中越来越受到关注,对等(P2P)系统正在成为诸如文件共享、协作电影和歌曲评分、电子商务和使用传感器网络的监视的应用的解决方案的选择。本文的主要目的是对分布式数据挖掘和P2P数据采掘进行综述。本文讨论了分布式数据挖掘的必要性、分布式数据挖掘体系结构的分类、分布式数据挖掘的各种方法、P2P系统中分布式数据挖掘的相关工作以及P2P数据采掘面临的问题和挑战。
2012-05-15 cs.DB
Trace Encoding in Process Mining: a survey and benchmarking
University of Trieste(的里雅斯特大学);University of Milan(米兰大学)
编码方法在几个过程挖掘任务中使用,包括预测过程监控,异常情况检测,跟踪聚类等。这些方法通常作为预处理步骤执行,并负责将复杂的信息转换为数值特征空间。大多数论文任意选择现有的编码方法或采用基于特定专家知识域的策略。此外,现有的方法是通过使用它们的默认超参数而不评估其他选项来使用的。这种做法可能会导致几个缺点,如次优性能和不公平的比较与国家的最先进的。因此,这项工作的目的是提供一个全面的调查事件日志编码比较27种方法,从不同的性质,在表现力,可扩展性,相关性和域不可知论。据我们所知,这是迄今为止最全面的研究集中在跟踪编码过程挖掘。它有助于人们对跟踪编码在流程挖掘管道中的作用的成熟认识,并揭示了有关使用编码方法弥合机器学习模型和流程挖掘之间差距的问题,关注点和未来的研究方向。
2023-01-05 cs.DB cs.LG
Spatiotemporal Data Mining: A Survey on Challenges and Open Problems
RMIT University(皇家墨尔本理工大学);Qatar University(卡塔尔大学)
时空数据采掘(STDM)从空间和时间之间的动态相互作用中发现有用的模式。几个可用的调查捕捉STDM的进步,并报告了在这一领域的重要进展财富。然而,STDM的挑战和问题并没有在他们自己的文章中进行彻底的讨论和介绍。我们试图填补这一空白,提供一个全面的文献调查国家的最先进的进展,STDM。我们描述了具有挑战性的问题及其原因,以及多个STDM方向和方面的空白。具体来说,我们调查的挑战性问题,时空关系,跨学科,离散化和数据特性。此外,我们讨论了文献中的局限性和开放的研究问题,时空数据表示,建模和可视化,以及方法的全面性。我们解释了与分类,聚类,热点检测,关联和模式挖掘,离群值检测,可视化,可视化分析和计算机视觉任务的STDM任务相关的问题。我们还强调了与多种应用相关的STDM问题,包括犯罪和公共安全,交通和运输,地球和环境监测,流行病学,社交媒体和物联网。
2021-03-31 cs.DB cs.LG
Mining Association Rules in Various Computing Environments: A Survey
Institute of Science, Banaras Hindu University(贝拿勒斯印度大学科学学院);Faculty of Education, Banaras Hindu University(贝拿勒斯印度大学教育学院);Mahila Maha Vidyalaya, Banaras Hindu University(贝拿勒斯印度大学Mahila Maha Vidyalaya)
关联规则挖掘(ARM)是数据采掘中研究最多的技术之一。目前已经设计的ARM算法很多,其计数量也很大。在本文中,我们调查了各种ARM算法在四个计算环境。所考虑的计算环境是顺序计算、并行和分布式计算、网格计算和云计算。随着新的计算范式的出现,许多研究者设计了ARM算法,以利用新的计算范式来提高效率。本文介绍了ARM算法从顺序算法开始,经过并行、分布式和基于网格的算法到目前最先进的算法的历程,以及采用新机器的动机。
2019-06-30 cs.DB cs.DC cs.LG
Crowd-Powered Data Mining
Tsinghua University(清华大学);Renmin University(中国人民大学);SFU(西蒙弗雷泽大学);Twitter(推特)
许多数据采掘任务不能完全由自动化过程来解决,如情感分析和图像分类。众包是一种有效的方式来利用人类的认知能力来处理这些机器难以完成的任务。由于公共众包平台,例如,亚马逊Mechanical Turk和Crowd- Flower,我们可以很容易地涉及数十万普通工人(即,人群)来解决这些机器困难的任务。在本教程中,我们将调查和综合广泛的现有研究群体动力数据采掘。首先对众包进行了概述,然后总结了众包数据采掘必须考虑的基本技术,包括质量控制、成本控制和延迟控制。接下来,我们将回顾群体驱动的数据采掘操作,包括分类,聚类,模式挖掘,使用群体的机器学习(包括深度学习,迁移学习和半监督学习)和知识发现。最后,我们提供了众包数据采掘的新挑战。
2018-10-19 cs.AI cs.DB
Role of Data Mining in E-Payment systems
数据采掘是从大型数据库中提取隐含知识、意外模式和新规则的过程。各种定制的数据采掘工具已被开发用于特定领域的应用,如生物医学,DNA分析和电信。数据采掘的趋势包括进一步努力探索新的应用领域和处理复杂数据类型的方法、算法可扩展性、基于约束的数据采掘和可视化方法。在本文中,我们将介绍特定领域的安全多方计算技术和应用。数据采掘作为计算机科学的基础和应用研究领域已经成熟。在本文中,我们调查了一些最近的方法和架构,其中数据采掘已应用于电子支付系统领域。在本文中,我们限制我们的讨论数据采掘的背景下,电子支付系统。我们还提到了几个方向,在这一领域的进一步工作,根据调查。
2010-03-09 cs.DB
Incremental high average-utility itemset mining: survey and challenges
本文综述了增量式高效用平均项集挖掘(iHAUIM)算法,分类分析其关键技术(Apriori、树、效用列表)及优缺点,并探讨未来研究方向。
2024-07-16 cs.DB
Decision Tree Classification with Differential Privacy: A Survey
Charles Sturt University(查尔斯特大学)
数据采掘有关人的信息在21世纪的数据驱动社会中变得越来越重要。不幸的是,有时候现实世界中的考虑因素与数据采掘的目标相冲突;有时候需要考虑被数据挖掘的人的隐私。这需要修改数据采掘算法的输出以保护隐私,同时不破坏输出模型的预测能力。差分隐私是一个强有力的、可执行的隐私定义,可用于数据采掘算法,保证不会了解数据中的人,如果没有他们的参与,就无法发现。在本综述中,我们将重点介绍一种特定的数据采掘算法--决策树--以及差分隐私如何与构成决策树算法的每个组件进行交互。我们分析了贪婪和随机决策树,以及在试图平衡隐私要求与模型准确性时出现的冲突。
2019-05-23 cs.DB cs.LG
A Survey on Hypergraph Mining: Patterns, Tools, and Generators
本文综述超图挖掘,系统梳理真实超图中的结构模式、三类挖掘工具及超图生成器,并提出分类体系与未来研究方向。
2025-02-18 cs.DB cs.SI physics.soc-ph
A Systematic Review on Process Mining for Curricular Analysis
本文系统性综述了教育过程挖掘在课程分析中的应用,审查了27项研究并将其归纳为五个主要研究目标,指出了标准化及工具整合等挑战,为学术机构的课程决策与研究提供了全面展望。
2024-12-03 cs.CY cs.DB
The Survey of Data Mining Applications And Feature Scope
本文重点介绍了作为数据采掘技术重要领域的各种有用的技术、方法和不同的研究领域。我们知道,许多跨国公司和大型组织在不同国家的不同地方运营,每个运营地点都可能产生大量的数据。企业决策者需要访问所有这些数据源并进行战略决策,数据仓库通过提高管理决策的有效性而具有显著的商业价值。在不确定和高度竞争的商业环境中,战略信息系统的价值是很容易认识到的,但在今天的商业环境中,效率或速度不是竞争力的唯一关键。这种类型的大量数据是以TB-topeta-bytes的形式提供的,在科学和工程领域发生了巨大的变化。为了分析,对这种海量数据的管理和决策需要数据采掘技术,这种技术将在许多领域产生变革,本文介绍了数据采掘的一些应用,并对数据采掘的范围进行了探讨,为进一步的研究提供了帮助。
2012-11-25 cs.DB cs.IR
A Survey of Online Card Payment Fraud Detection using Data Mining-based Methods
卡支付欺诈是一个严重的问题,也是数字经济最佳运作的障碍,卡(借记卡和信用卡)是全球最流行的数字支付方式。尽管欺诈的发生可能相对罕见,但欺诈的影响可能很大,特别是对持卡人。在研究中,已经有许多尝试开发基于数据采掘技术的检测潜在欺诈交易的方法,主要是利用过去十年来机器学习领域的发展。本调查基于对现有研究尝试和实验的回顾提出了一种分类法,主要阐述了研究人员为纳入(i)欺诈的业务影响而采取的方法(和欺诈检测)纳入其工作,(ii)功能工程技术,重点是持卡人行为分析,以区分同一张卡发生的欺诈活动,及(iii)因应欺诈性质的转变而作出的适应性努力。此外,将有一个比较性能评估的分类算法和努力解决类不平衡的问题。本文对2009年至2020年期间在卡欺诈检测领域发表的45篇同行评议论文进行了深入审查。
2020-11-27 cs.CR cs.DB
Real-Time Data Mining of Massive Data Streams from Synoptic Sky Surveys
科学和技术数据收集的性质正在迅速演变:数据量和速率呈指数级增长,复杂性和信息内容不断增加,从静态数据集过渡到必须进行实时分析的数据流。有趣或异常的现象必须通过有限资产的最佳部署来快速表征和跟进额外的测量。现代天文学在数字天气巡天中以瞬变事件的形式呈现了各种各样的这类现象,包括宇宙爆炸(超新星、伽马射线暴)、相对论现象(黑洞形成、喷流)、潜在危险的小行星等。我们一直在开发一套机器学习工具,用于检测、分类和规划对天文学应用中瞬态事件的响应,使用卡塔利娜实时瞬态调查(CRTS)作为科学和方法的测试平台。对可能最有趣的事件迅速作出反应的能力是一个关键的瓶颈,它限制了当前和预期的天气天空调查的科学回报。类似的挑战出现在其他情况下,从使用传感器网络的环境监测到自主航天器系统。考虑到数据速率的指数级增长和时间紧迫的响应,我们需要一种完全自动化和强大的方法。我们描述了迄今为止所取得的成果,以及未来可能的发展。
2016-01-18 astro-ph.IM cs.DB
Trajectory Data Management and Mining: A Survey from Deep Learning to the LLM Era
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The University of Melbourne(墨尔本大学);Zhejiang University(浙江大学);Ocean University of China(中国海洋大学);Beijing Jiaotong University(北京交通大学);Squirrel AI(松鼠AI);Chongqing University(重庆大学);University of Electronic Science and Technology of China(电子科技大学);Hong Kong University of Science and Technology(香港科技大学)
本文综述了轨迹计算从深度学习到大语言模型的发展,探讨了轨迹数据管理与挖掘的应用及未来研究方向。
2026-01-31 cs.AI cs.CY cs.DB
Applying Data Mining and Machine Learning Techniques to Submarine Intelligence Analysis
我们描述了如何专门的数据库技术和数据分析方法,瑞典国防部,以帮助处理在八十年代和九十年代初的外国潜艇入侵者侵犯瑞典海洋领土。在尝试的几种方法中,有些产生了有趣的信息,尽管大多数关键问题仍然没有答案。最后,我们调查的信念函数和遗传算法为基础的方法,提出了支持解释的情报报告和预测未来的潜艇位置,分别。
2003-05-16 cs.AI cs.DB cs.NE
Data Mining the SDSS SkyServer Database
早期的论文(Szalay et.等人的“Designing and Mining MultiTerabyte Astronomy Archives:The Sloan Digital Sky Survey,”ACM SIGMOD 2000)通过定义良好的数据管理系统应当支持的二十个数据库查询和十二个数据可视化任务来描述Sloan Digital Sky Survey(SDSS)的数据管理需求。我们建立了一个数据库和接口,以支持查询负载和一个网站的特设访问。本文报告了数据库设计,描述了数据加载管道,并报告了查询实现和性能。这些查询通常被转换为单个SQL语句。大多数查询运行时间不到20秒,使科学家能够交互式地探索数据库。本文是对这些查询的深入介绍。读者应该首先研究了同伴概述文件Szalay等。“SDSS SkyServer,公共访问斯隆数字天空服务器数据”ACM SIGMOND 2002。
2002-02-12 cs.DB cs.DL
Scientific Data Mining in Astronomy
我们描述了数据挖掘算法在天文学研究问题中的应用。我们认为,数据挖掘一直是天文学研究的基础,因为数据挖掘是基于证据的发现,包括分类,聚类和新颖性发现的基础。这些算法代表了在大型数据库中发现的一套主要计算工具,这在数据密集型天文学时代将变得越来越重要。回顾了天文学数据挖掘的历史实例,然后讨论了预计在未来十年中最大的数据生产项目之一:大型综合巡天望远镜(LSST)。为了促进天文学中数据驱动的发现,我们设想了一种新的天文学和天体物理学面向数据的研究范式-天体信息学。天文信息学被描述为现代数据密集型天文学的一种研究方法和教育必要性。大型时域巡天(如LSST)的一个重要应用领域是实时天空事件(包括移动物体、光度可变物体和瞬变现象)的快速识别、表征和分类。我们描述了一个可能的实现的分类代理这样的事件,它结合了几个天体信息学技术:用户注释,语义标记,元数据标记,异构数据集成,分布式数据挖掘。这些类型的合作分类和发现的方法在其他科学学科的例子。
2009-11-03 astro-ph.IM cs.DB cs.IR
Designing and Mining Multi-Terabyte Astronomy Archives: The Sloan Digital Sky Survey
下一代天文学数字档案将以高分辨率覆盖宇宙的大部分地区,涵盖从X射线到紫外线、光学和红外线等多种波长。档案将存放在不同的地理位置。斯隆数字巡天计划是首批项目之一,它将创建一个覆盖10 000平方度天空的5波长目录(见http://www.sdss.org/)。这个数TB的数据库中的2亿个对象将主要具有数字属性,定义了一个100多个维度的空间。这个空间中的点具有高度相关的分布。该档案将使天文学家能够交互式地探索数据。数据访问将得到多维空间索引和其他索引的帮助。数据将以多种方式进行分区。由最流行的属性组成的小标记对象可以加快频繁搜索的速度。在多个服务器之间拆分数据可以实现并行、可扩展的I/O,并对数据应用并行处理。散列技术允许高效的聚类和成对比较算法,这些算法可以很好地并行化。随机采样的子集允许在桌面上调试其他大型查询。中央服务器将运行一个数据泵,支持触及大部分数据的扫描搜索。预期的查询需要与角距离相关的特殊运算符和对象属性(如形状、颜色、速度向量或时间行为)的复杂相似性测试。这些问题提出了有趣的数据管理挑战。
1999-07-06 cs.DB cs.DL
Big Graph Mining: Frameworks and Techniques
大图挖掘是一个重要的研究领域,它引起了相当大的关注。它允许从大量的图形数据中处理,分析和提取有意义的信息。大图挖掘不仅受到图的巨大增长的推动,而且还受到其大量应用的推动。这些应用包括生物信息学、化学信息学和社交网络。大图挖掘中最具挑战性的任务之一是大图中的模式挖掘。该任务包括使用数据采掘算法在大量的图形数据中发现有趣的、意想不到的和有用的模式。它还旨在提供对图形数据的更深入理解。在这种背景下,已经提出了几种图处理框架和缩放数据采掘/模式挖掘技术来处理非常大的图。本文概述了现有的数据采掘和图形处理框架,处理非常大的图。然后对大图中的数据采掘/模式挖掘的研究现状进行了综述,并讨论了该领域的主要研究问题。对分布式数据采掘和机器学习技术进行了分类,给出了图处理框架和大规模模式挖掘方法。
2016-02-09 cs.DB cs.DC
Geospatial Big Data: Survey and Challenges
本文综述了地理空间大数据(GBD)的演进及其与人工智能技术的融合,提出了统一挖掘框架,并探讨了LLM等新技术的应用及当前面临的挑战。
2024-04-29 cs.DB
GCG: Mining Maximal Complete Graph Patterns from Large Spatial Data
近年来,模式发现的研究已经从挖掘频繁模式和序列发展到挖掘结构化模式,如树和图。图作为一种通用的数据结构,可以对数据之间的复杂关系进行建模,在Web浏览和社交网络中有着广泛的应用。然而,由于大量子图的存在,挖掘大型图模式的过程是一个挑战。在本文中,我们的目标是挖掘频繁的完全图模式。数据库中的图g是完全的,如果每对不同的顶点由唯一的边连接。网格完全图(GCG)是一种挖掘算法,旨在探索有趣的修剪技术,以从Sloan数字巡天(SDSS)数据中提取最大的空间数据集的完整图。使用分而治之的策略,GCG表现出高效率,特别是在大量的模式。在本文中,我们描述了GCG,不仅可以挖掘简单的同位空间模式,但也复杂的。据我们所知,这是第一个用于在大型空间数据集中挖掘复杂同位模式的过程中提取最大完全图的算法。
2013-12-13 cs.DB