Mining tree-query associations in graphs
Hasselt University(哈瑟尔特大学);transnational University of Limburg(跨国林堡大学)
数据采掘的新应用,如在生物学、生物信息学或社会学中,都面临着以图的形式构造的大型数据集。我们介绍了一类新的树形模式称为树查询,并提出了算法挖掘树查询和树查询关联在一个大的数据图。我们的模式类的新颖之处在于,它们可以包含常量,并且可以包含在确定模式在数据图中出现的次数时不计数的存在节点。我们的算法有一些probableoptimality属性,这是基于合取数据库查询的理论。我们提出了一个实用的,面向数据库的SQL实现,并表明该方法在实践中的工作原理,通过实验的数据有关的食物网,蛋白质相互作用,和引文分析。
2010-08-16 cs.AI cs.DB
Pattern Morphing for Efficient Graph Mining
图挖掘应用程序分析大型图的结构属性,并且它们通过查找子图同构来实现,这使得它们具有计算密集型。现有的图挖掘技术,包括自定义图挖掘应用程序和通用图挖掘系统,开发高效的执行计划,以加快探索给定的查询模式,表示感兴趣的子图结构。在本文中,我们超越了传统的哲学优化的执行计划,为一组给定的模式,并利用不同的查询模式的子结构的相似性。我们提出了模式变形,一种技术,使结构感知代数模式,以准确地推断出一组给定的模式,使用一个完全不同的模式,计算成本较低的结果。模式变形将给定的一组查询模式“变形”(或转换)为备选模式,同时保留完全的等价性。它是一种通用技术,支持对模式的匹配进行各种操作,而不仅仅是计数(例如,支持计算、枚举等),使其广泛适用于各种图挖掘应用,如Motif Counting和Frequent Subgraph Mining。由于模式变形主要是在查询模式探索开始之前对其进行转换,因此它可以很容易地集成到现有的通用图挖掘系统中。我们评估模式变形的有效性,将其纳入百富勤,最近的国家的最先进的图挖掘系统,并表明,模式变形显着提高了不同的图挖掘应用程序的性能。
2020-12-08 cs.DB cs.DC
Geo: A Query Rewrite Framework for Graph Pattern Mining
Simon Fraser University(西蒙菲莎大学)
提出一个可编程的模式匹配查询优化器Geo,通过重写规则自动管理等价关系,确保正确性并简化子结构等价管理,实现高达99%的成本降低。
2026-05-25 cs.DB cs.PL
Online Query Scheduling on Source Permutation for Big Data Integration
大数据集成可能涉及大量数据源,这些数据源之间存在不可预测的冗余信息。建立一个中央仓库来整合来自所有来源的大数据的方法变得不可行,因为数据源数量如此之多,而且不断更新。一种实用的方法是应用在线查询调度,该调度在接收到查询时在运行时从源查询数据。在本文中,我们解决了在线查询调度的时间成本最小化问题,并解决了源置换和统计估计的挑战,以最大限度地减少实时接收查询检索答案的时间成本。我们提出的在线调度策略,使统计的改善,建设的源置换和查询的执行并行工作。实验结果表明,我们的调度策略具有较高的效率和可扩展性。
2015-03-29 cs.DB
An Open-Source Integration of Process Mining Features into the Camunda Workflow Engine: Data Extraction and Challenges
流程挖掘提供了改进操作流程的性能和遵从性的技术。虽然有时使用术语“工作流挖掘”,但在工作流管理(WFM)和业务流程管理(BPM)系统的上下文中的应用是有限的。主要原因是WFM/BPM系统控制了流程,留下的灵活性和相应偏差的空间较小。然而,正如本文所示,从Camunda这样的系统中提取事件数据很容易,Camunda是领先的开源WFM/BPM系统之一。此外,虽然各自的流程引擎控制的过程流,过程挖掘仍然能够提供有价值的见解,如路径的性能分析和决策规则的挖掘。这篇演示论文向Camunda提供了一个流程挖掘连接器,它可以提取事件日志和流程模型,从而允许应用现有的流程挖掘工具。我们还分析了Camunda背景下不同流程采矿技术的附加值。我们讨论了一个子集的流程挖掘技术,很好地补充了Camunda的流程智能功能。通过这篇演示论文,我们希望促进Camunda用户对流程挖掘的使用。
2020-09-14 cs.DB cs.SE
SQL Queries for Declarative Process Mining on Event Logs of Relational Databases
灵活的业务流程通常可以更容易地使用声明式建模方法而不是过程式建模方法进行建模。流程挖掘旨在自动发现业务流程模型。现有的声明式流程挖掘方法要么遭受现实生活中的事件日志的性能问题,要么将其表达能力限制在一组特定的constaint类型。最近,通过JavaXES引入了一种用于存储事件日志数据的关系数据库体系结构。在本技术报告中,我们介绍了一种挖掘方法,该方法通过使用常规SQL查询日志来直接处理关系事件数据。我们提供了一个SQL查询列表,用于发现一组常用和挖掘的流程约束。
2015-12-03 cs.DB
DIRA: A Framework Of Data Integration Using Data Quality
数据集成是从不同的数据源收集数据,并为用户提供满足其需求的统一答案视图的过程。通过根据一些质量度量来识别数据源的质量,并仅从重要的数据源中检索数据,可以提高查询答案的质量。从重要数据源返回的查询答案可以根据用户查询中指定的质量要求和建议的查询类型进行排名,以仅返回前k个查询答案。本文提出了一种基于数据质量评估模块的数据集成框架DIRA(Data Integration to Return Ranked Alternatives),该模块利用数据源的质量来选择重要的数据源,并根据不同的查询类型使用排序算法返回top-k查询答案。
2016-04-10 cs.DB
Mining Hidden Populations through Attributed Search
University of Illinois, Urbana Chamapaign(伊利诺伊大学厄巴纳-香槟分校)
研究人员经常通过其应用程序编程接口(API)查询在线社交平台,以找到目标人群,如精神疾病患者~ \cite{De-Choudhury2017}和爵士音乐家~ \cite{heckathorn2001finding}。这样的目标群体的实体满足通常使用oracle(人类或预先训练的分类器)识别的属性。当目标实体的属性不能通过API直接查询时,我们将属性称为“hidden”,将人口称为隐藏人口。在社交网络上找到属于这些群体的个体是困难的,因为它们是不可查询的,并且采样器必须在有限的预算限制内从组合查询空间中探索。通过利用可查询属性和感兴趣的群体之间的相关性,并通过层次排序的查询空间,我们提出了一个基于决策树的汤普森采样器(\texttt{DT-TMP}),有效地发现正确的组合的属性查询。我们提出的采样器在在线实验中优于最先进的采样器,例如在Twitter上达到54%。当在离线实验中已知查询的匹配实体的数量时,\texttt{DT-TMP}的性能非常好,比基线采样器高出0.9-1.5 $\times$倍。在未来,我们希望探索通过制定更复杂的查询来找到隐藏人口的选项。
2019-05-11 cs.DB cs.LG cs.SI
Similarity based Dynamic Web Data Extraction and Integration System from Search Engine Result Pages for Web Content Mining
有一个爆炸性的增长,在万维网上的信息,从而提出了一个挑战,Web用户从Web上提取的基本知识。搜索引擎以搜索引擎结果页面(SERP)的形式帮助我们缩小搜索范围。Web内容挖掘是帮助用户从这些SERP中提取有用信息的技术之一。在本文中,我们提出了两个相似性为基础的机制; WDES,提取所需的SERP和存储在本地存储离线浏览和WDICS,整合所需的内容,使用户能够执行预期的分析,并提取所需的信息。实验结果表明,WDES和WDICS在查准率和查全率方面优于DEPTA [1]。
2013-03-23 cs.DB cs.IR
Efficient Incremental Breadth-Depth XML Event Mining
许多应用程序会连续记录大量事件。从日志事件中提取感兴趣的知识是数据采掘的一个新兴研究领域。在这种情况下,我们提出了一种方法,挖掘频繁事件和关联规则的XML格式的日志事件。该方法包括两个主要阶段:1)构造一种新的树结构FXT(Frequency XML-based Tree),其中包含待挖掘事件的频率; 2)使用XQuery查询构造的FXT,发现频繁项集和关联规则。FXT是用一次通过记录的数据构造的。我们实现了所提出的算法,并研究了各种性能问题。性能研究表明,该算法是有效的,无论是构造FXT和发现关联规则。
2011-10-14 cs.DB
Native Directly Follows Operator
典型的遗留信息系统将数据存储在关系数据库中。流程挖掘是一门研究学科,它分析这些数据以获得对流程的洞察。许多不同的过程挖掘技术可以应用于数据。在当前技术中,XES事件日志用作分析的基础。然而,由于XES事件日志的静态特性,我们需要为每个流程挖掘问题创建一个XES文件,这导致了开销和可扩展性。作为替代方案,人们尝试使用所谓的中间结构直接在数据源上执行过程挖掘。在以前的工作中,我们研究了通过在数据库上执行基本SQL查询来在源数据上构建中间结构的方法。但是,SQL查询中的嵌套表单可能会导致数据库端的性能问题。因此,在本文中,我们提出了一个原生的SQL操作直接进程发现关系数据库。我们为中间结构的最简单形式定义了一个本地操作符,称为“直接跟随关系”。该方法已与大事件数据进行了评估,实验结果表明,它的执行速度比最先进的数据库方法。
2018-06-05 cs.DB
An analytical framework for data stream mining techniques based on challenges and requirements
越来越多的产生大量数据流的应用程序需要智能数据处理和在线分析。实时监视系统、电信系统、传感器网络和其他动态环境都是这样的例子。迫切需要将这些数据转化为有用的信息和知识,这就增加了解决流媒体挑战的系统、算法和框架的开发。这些数据集的存储、查询和挖掘在计算上是非常具有挑战性的任务。数据流挖掘是从不间断的信息流中提取以模型和模式表示的知识结构。一般来说,两个主要的挑战是设计快速挖掘方法的数据流,并需要及时检测不断变化的概念和数据分布,因为数据流的高度动态性。本文的目的是分析和分类的应用,不同的数据采掘技术在数据流挖掘的不同挑战。在本文中,我们提出了数据流分析的理论基础,并提出了数据流挖掘技术的分析框架。
2011-05-10 cs.DB
A RDF-based Data Integration Framework
数据集成是分布式数据源的主要问题之一。一种方法是为各种数据源提供集成的中介模式。本研究工作的目的是开发一个定义集成模式并对其进行查询的框架,其基本思想是使用最新的标准语言和工具来提供一个统一的数据集成框架。RDF用于集成模式描述以及提供统一的数据视图。RDQL用于查询重构。此外,描述逻辑推理服务为集成模式中概念的可满足性检查提供了必要的手段。该框架具有显示集成模式和查询集成模式的工具,并提供了足够的灵活性,可用于不同的应用领域。
2012-11-27 cs.DB
Text-to-SQL Oriented to the Process Mining Domain: A PT-EN Dataset for Query Translation
Universidade de São Paulo(圣保罗大学)
本文提出了专为过程挖掘领域设计的双语基准数据集 text-2-SQL-4-PM,包含 1,655 条自然语言话语和 205 条 SQL 语句,并通过 GPT-3.5 Turbo 基线研究验证了其在 text-to-SQL 任务评估中的可行性与实用性。
2025-08-18 cs.AI cs.CL cs.DB
Empirical Analysis on Comparing the Performance of Alpha Miner Algorithm in SQL Query Language and NoSQL Column-Oriented Databases Using Apache Phoenix
流程感知信息系统(Process Aware Information Systems,PAIS)是一种支持业务流程并从业务流程的执行中生成大量事件日志的IT系统。事件日志表示为CaseID、Timestamp、Activity和Actor的元组。流程挖掘是一个新兴的领域,旨在通过分析事件日志来发现、增强和改进业务流程,并检查运行时间和设计时间业务流程之间的一致性。生成的大量事件日志存储在数据库中。关系数据库对于某类应用程序表现良好。然而,有一类应用程序是关系数据库无法扩展的。为了处理这类应用程序,NoSQL数据库系统出现了。从事件日志中发现流程模型(工作流模型)是流程挖掘中最具挑战性和重要的任务之一。$α$ -miner算法是最早也是最广泛使用的进程发现技术之一。我们的目标是调查哪些数据库(关系型或NoSQL)在流程挖掘下的流程发现应用程序中表现更好。我们实现了$α$ -矿工算法的关系(面向行)和NoSQL(面向列)数据库中的数据库查询语言,使我们的算法是紧密耦合到数据库。我们提出了一个性能基准测试和比较的$α$ -矿工算法在面向行的数据库和NoSQL的面向列的数据库,以便我们可以比较哪个数据库可以有效地存储大量的事件日志,并分析它在几秒钟内发现一个进程模型。
2017-03-16 cs.DB
Targeted Mining Precise-positioning Episode Rules
本文提出目标精确定位情节规则定义及TaMIPER算法,通过四种优化策略高效挖掘用户指定查询情节的规则,在多个领域具有预测应用潜力。
2024-06-07 cs.DB
Data Mining the SDSS SkyServer Database
早期的论文(Szalay et.等人的“Designing and Mining MultiTerabyte Astronomy Archives:The Sloan Digital Sky Survey,”ACM SIGMOD 2000)通过定义良好的数据管理系统应当支持的二十个数据库查询和十二个数据可视化任务来描述Sloan Digital Sky Survey(SDSS)的数据管理需求。我们建立了一个数据库和接口,以支持查询负载和一个网站的特设访问。本文报告了数据库设计,描述了数据加载管道,并报告了查询实现和性能。这些查询通常被转换为单个SQL语句。大多数查询运行时间不到20秒,使科学家能够交互式地探索数据库。本文是对这些查询的深入介绍。读者应该首先研究了同伴概述文件Szalay等。“SDSS SkyServer,公共访问斯隆数字天空服务器数据”ACM SIGMOND 2002。
2002-02-12 cs.DB cs.DL
Materialized View Selection by Query Clustering in XML Data Warehouses
XML数据仓库为利用复杂数据的决策支持应用程序提供了一个有趣的基础。然而,目前原生XML数据库管理系统的性能有限,有必要设计策略来优化它们。在本文中,我们提出了一个自动化的策略,选择XML物化视图,利用数据采掘技术,更准确地说,聚类的查询工作量。为了验证我们的策略,我们实现了一个按照XCube规范建模的XML仓库。我们在这个仓库上执行了一个XQuery决策支持查询的工作负载,使用和不使用我们的策略。我们的实验结果表明,它的效率,即使查询是复杂的。
2008-09-11 cs.DB
Users Constraints in Itemset Mining
CNRS(法国国家科学研究中心);University of Montpellier(蒙彼利埃大学);University of Oran 1(奥兰第一大学);CRIL, University of Artois(阿尔图瓦大学CRIL实验室)
发现重要项集是数据采掘的基本问题之一。最近的研究表明,约束编程是解决数据采掘任务的一种灵活的方法。使用约束编程方法,我们可以很容易地表达和有效地回答用户对项目的约束查询。然而,在许多实际情况下,查询也可能表达用户对数据集本身的约束。例如,请求数据集特定部分中的特定项集。本文提出了一个通用的约束规划模型,能够处理任何类型的查询的项目或数据集的项目集挖掘。
2018-02-08 cs.AI cs.DB
Abstractions, Scenarios, and Prompt Definitions for Process Mining with LLMs: A Case Study
针对无法向 LLM 输入完整事件日志的问题,本文提出过程挖掘工件抽象与提示策略,并在 pm4py 中实现,通过真实事件日志案例评估 LLM 回答流程分析问题的质量。
2023-07-14 cs.DB
A Comparative Analysis of Data Mining Tools in Agent Based Systems
世界范围内的技术进步带来了广泛的变化,采用和利用开放源码工具。由于全球大多数组织都要处理大量的在线更新数据,并且每秒钟都要进行交易,因此管理、挖掘和处理这些动态数据非常复杂。数据采掘技术的成功实施需要对挖掘专家可用的各种工具和算法进行仔细评估。本文提供了一个比较研究的开放源数据采掘工具提供给专业人士。除了实时的挑战,影响选择的apt工具的参数进行了讨论。然而,事实证明,代理有助于提高数据采掘工具的性能。本文提供了一个基于代理的数据预处理框架的信息与实现细节,更好的工具在市场上的发展。源数据采掘工具与代理模拟的集成使人们能够实现有效的数据预处理架构,从而提供应用程序的鲁棒能力,该应用程序可以使用来自应用程序开发人员的最小预先规划要求进行升级。
2012-10-03 cs.DB
Applications of Data Mining to Electronic Commerce
电子商务正在成为数据采掘技术的杀手领域。以下是成功的五个必要条件。它们很少都出现在一个数据采掘应用程序中。1.数据描述丰富。例如,具有许多潜在有用字段的广泛客户记录允许数据采掘算法搜索明显相关性之外的内容。2.大量的数据。海量数据所对应的庞大模型空间需要大量的训练实例来构建可靠的模型。3.可控且可靠的数据汇集。众所周知,手工数据录入和与遗留系统的集成都存在问题;完全自动化的收集要好得多。4.评估结果的能力。可观的、可证明的投资回报可能非常有说服力。5.易于与现有流程集成。即使试点研究显示出潜在的好处,将自动化解决方案部署到以前的手动流程中也充满了陷阱。构建一个系统来利用挖掘的知识可能是一项艰巨的任务。此外,在以前的手工业务流程的自动化过程中,经常必须处理涉及的社会和政治问题。
2000-10-02 cs.DB cs.LG
Turning Logs into Lumber: Preprocessing Tasks in Process Mining
针对流程挖掘中事件日志预处理执行临时、缺乏支持的问题,本文通过系统性文献综述梳理出高低层级共26项预处理任务并统计使用频率,为结构化预处理提供基础,提升流程挖掘可靠性。
2023-10-06 cs.DB
Federating and querying heterogeneous and distributed Web APIs and triple stores
当今的国际公司,如作物保护行业的领先公司巴斯夫,生产和消费越来越多的数据,这些数据通常是分散的,可以通过Web API访问。此外,巴斯夫感兴趣的部分专有和公共数据存储在三重存储中,并可通过SPARQL查询语言访问。在不修改或复制原始数据源的情况下,同质化数据访问模式和数据的底层语义成为实现数据集成和互操作性的重要要求。在这项工作中,我们提出了一个联邦数据集成架构内的工业设置,依赖于基于本体的数据访问方法。我们在查询响应时间方面的性能评估表明,大多数查询可以在1秒内得到回答。
2022-06-03 cs.DB
Categorical Data Integration for Computational Science
分类查询语言是一种开源的查询和数据集成脚本语言,可应用于计算科学领域的常见挑战。我们讨论了CQL数据迁移的结构保持性质如何保护那些公开共享数据的人免受对其数据的误解。同样,CQL迁移的这个特性允许那些从公共数据源提取数据的人确保只有符合他们规范的数据才会被传输。我们认为,在计算科学的数据共享领域的一些开放的问题是可寻址的函子数据迁移的这种范式内工作。我们通过将开放量子材料数据库中的数据与一些替代材料数据库集成来演示这些工具。
2019-03-25 cs.DB
VulLink: A Dynamic Open-Access Vulnerability Graph Database for Cybersecurity Data Mining
La Trobe University(拉筹伯大学);Victoria University(维多利亚大学)
提出VulLink,一种通过自动化ETL管道集成多源漏洞数据、提供图数据库、Web接口和API的动态开放平台,支持漏洞利用性预测等下游挖掘任务。
2026-06-18 cs.CR cs.DB
Query Interface Integrator For Domain Specific Hidden Web
当今的网络域名准入主要依靠搜索引擎。大量的数据隐藏在数据库背后的搜索接口被称为隐藏的网络,这需要被索引,以便为用户查询。本文将数据库和数据采掘技术用于查询接口集成。查询界面必须尽可能地类似于本地界面的外观和感觉,尽管它是在没有人工支持的情况下自动生成的。这种技术将相关文档保持在相同的域中,使得文档的搜索在时间复杂度方面变得更有效。
2013-11-16 cs.DB cs.IR
Leveraging Large Language Models (LLMs) for Process Mining (Technical Report)
本文研究将传统及以对象为中心的过程挖掘产物文本化,并用 GPT-4 与 Bard 评估直接回答、多提示和数据库查询生成策略,验证了 LLM 在模型理解、对象中心过程挖掘及公平性评估中的潜力。
2023-07-24 cs.DB
Query Based Construction of Chronic Disease Datasets
RECONNECT项目通过联邦数据库、记录链接和HL7-FHIR框架集成爱尔兰医疗系统,在保障隐私的前提下构建慢性病查询数据集,以支持临床决策和人口健康政策制定。
2024-10-03 cs.DB
Sound and Complete Query Answering in Intensional P2P Data Integration
当代对“内涵”一词的使用源于传统的逻辑学说,即一个观念既有外延又有内涵。本文将Bealer的内涵代数FOL与Montague的S5可能世界语义相结合,提出了一种P2P系统的内涵FOL(First-order-logic),定义了该逻辑的内涵等价关系和弱演绎推理。定义在某个数据库本体上的概念和视图的含义可以被认为是在某个可能世界中(例如在现实世界中)具有特定扩展的内涵对象。因此,P2P系统中完全独立的对等数据库之间的非侵入性映射可以自然地由两个不同对等体上具有相同含义(意图)的一组意图等效视图来指定。这种映射的语义与基于数据集成中常用的材料含义的标准视图映射有很大的不同。我们展示了如何一个P2P数据库系统可以嵌入到这个内涵模态FOL,以及我们如何能够获得一个弱的非无所不知的推理,这可以有效地实现。对于一个查询回答,我们认为非无所不知的查询代理,我们定义面向对象的类,他们实现的方法的查询重写算法。最后,我们证明了这种查询回答算法是健全的和完整的w.r.t. P2P内涵逻辑的弱演绎。
2011-03-02 cs.DB cs.LO
Mining Top-K Co-Occurrence Items
频繁项集挖掘是数据采掘中的一个基本问题,在关联分析、分类等数据采掘任务中发挥着重要作用。然而,在一些应用中,例如推荐系统和社交网络,人们更感兴趣的是找出数据库中与某些用户指定的项集(查询项集)一起出现最频繁的项。在本文中,我们解决这个问题,提出了一个新的挖掘任务命名为top-k共现项目挖掘,其中k是所需的项目数被发现。然后,我们引入了一种特殊的数据结构Pi-Tree(Prefix itemset Tree)来维护项目集的信息。基于Pi-Tree,提出了两种挖掘top-k共现项的算法:PT(Pi-Tree-based algorithm)和PT-TA(Pi-Tree-based algorithm with TA pruning),并结合了几种新的搜索空间修剪策略以提高挖掘效率。PT和PT-TA的性能进行了评估,对四个建议的基线算法在合成和真实的数据库。大量的实验表明,PT不仅在执行时间上大大优于其他算法,而且具有良好的可扩展性。
2015-12-24 cs.DB cs.DS
Large-Scale Query and XMatch, Entering the Parallel Zone
当前和未来的天文调查正在产生数百万和数十亿物体的目录。为了数据采掘和互相关而在线访问这样的大数据集通常是高度期望的,因为不可行。提供这些能力对于虚拟天文台框架正变得至关重要。在本文中,我们提出了各种性能测试,显示如何使用关系数据库管理系统(RDBMS)和分区算法的分区和并行计算,我们可以方便大规模的查询和交叉匹配。
2007-01-26 cs.CE cs.DB
Evaluation of Query Generators for Entity Search Engines
动态Web应用程序(如混搭)需要高效地访问只能通过实体搜索引擎(如产品或出版物搜索引擎)访问的Web数据。然而,当前大多数mashup系统和应用程序只支持简单的关键字搜索,以便从搜索引擎检索数据。我们建议使用更强大的搜索策略建设所谓的查询生成器。对于给定的一组实体,查询生成器能够自动确定一组搜索查询以从实体搜索引擎检索这些实体。我们证明了查询生成器的有用性,按需Web数据集成和评估的有效性和效率的查询生成器的一个具有挑战性的现实世界的集成方案。
2010-03-23 cs.DB cs.IR
GraphMini: Accelerating Graph Pattern Matching Using Auxiliary Graphs
本文提出 GraphMini 系统,通过查询编译与成本模型在执行期构建并维护辅助图,主动剪枝以加速图模式匹配,在常用基准上较最先进子图枚举系统提速一个数量级。
2024-03-02 cs.DB cs.PF
A logic-based approach to data integration
数据集成的一个重要方面涉及使用各种资源而不是通过访问数据库关系来回答查询。将查询从数据库关系转换为资源的过程通常被称为查询折叠或使用视图回答查询,其中视图是资源。我们提出了一个统一的方法,包括作为特殊情况下,以前的工作就这个问题。我们的方法是基于逻辑的使用分辨率。我们处理完整性约束,否定和递归也在这个框架内。
2001-10-16 cs.AI cs.DB
Data Mining Model for the Data Retrieval from Central Server Configuration
一个服务器,这是保持跟踪繁忙的文档流量,是无法过滤的文件,最相关的和更新的连续文本搜索查询。本文主要研究如何处理持续高文档流量的连续文本提取。主要目标是检索最近更新的文件是最相关的查询,通过应用滑动窗口技术。该方案基于倒排文件的原理,采用结构化的方式对主存中的流文档进行索引,并采用基于增量阈值的方法对文档到达和过期事件进行处理。它还确保使用无监督重复检测消除重复文档检索。根据用户反馈对文档进行排名,并给予更高的优先级进行检索。
2013-11-20 cs.DB cs.IR
cSELENE: Privacy Preserving Query Retrieval System on Heterogeneous Cloud Data
虽然在其他地方的协作团队中工作,但有时联合(巨大)数据来自异构云供应商。它不仅涉及数据隐私问题,而且还涉及如何以快速安全的方式直接从云中查询这些联邦数据。以前的解决方案提供了公共云和可信私有云之间的混合云。另一个以前的解决方案在MapReduce框架上使用加密。但挑战在于我们正在处理异构云。在本文中,我们提出了一种新的技术与隐私关注的查询。由于我们考虑了执行时间,我们的基本思想是通过划分联邦数据库来使用数据采掘模型,以减少搜索和查询时间。使用数据库的模型意味着我们只使用数据库的摘要或非常特征的模式。建模是保护隐私的第一阶段,因为通过建模,数据被符号化。我们在数据库上实现加密以保护隐私第二阶段。我们的系统名为“cSELENE”(代表“cloud SELENE”),旨在处理异构云上的联合数据:AWS,Microsoft Azure和Google Cloud Platform with MapReduce技术。本文讨论了分布式云环境下的隐私保护系统和威胁模型、联邦数据格式、并行编程(GPU编程和共享/内存系统)、数据采掘模型的并行安全算法、云基础设施/架构以及cSELENE系统的UIX设计。其他问题,如增量方法和云架构系统的安全设计(虚拟机跨平台设计)仍然是开放的讨论。实验结果表明了该高性能计算方案的有效性和实用性。
2018-05-02 cs.DB cs.IR
Combining complex networks and data mining: why and how
计算机技术的日益强大并不能免除从不断增长的数据集中提取有意义的信息的需要,而且实际上通常会加剧这项任务的复杂性。为了解决这个普遍的问题,出现了两种方法,在不同的时间顺序上,现在在科学界普遍使用:数据挖掘和复杂网络理论。复杂网络分析和数据挖掘不仅有着共同的目标,即从复杂系统中提取信息,最终创建一个新的紧凑的量化表示,而且它们也经常解决类似的问题。面对这种情况,同时使用这两种方法的研究人员数量少得惊人。人们可能会得出这样的结论:这两个领域要么是多余的,要么是完全对立的。这一审查的出发点是,这种状况应归因于偶然的而不是概念上的差异,而且这两个领域实际上可以以协同增效的方式加以利用。这两个领域的概述首先提供,其中的一些基本概念进行了说明。然后介绍了复杂网络理论和数据挖掘以协同方式使用的各种背景。上下文中,适当的集成复杂网络度量可以导致改进的分类率相对于经典的数据挖掘算法,相反,上下文中,数据挖掘可以用来解决复杂网络理论应用中的重要问题进行了说明。最后,讨论了如何实现复杂网络和数据挖掘之间的更紧密的集成,以及开放的研究路线。
2016-05-19 cs.DB cs.IR cs.SI
EdgeMiner: Distributed Process Mining at the Data Sources
本文提出EdgeMiner算法,直接在传感器节点上对实时事件流进行分布式过程挖掘,避免集中存储原始数据,提升了可扩展性与隐私性,实验证明其能高效确定事件前驱,通信开销最高降低96%。
2024-10-13 cs.DB cs.DC
Text Classification using Data Mining
文本分类是将文档根据其内容分为预定义类别的过程。它是将自然语言文本自动分配到预定义的类别。文本分类是文本检索系统和文本理解系统的主要要求,文本检索系统根据用户查询检索文本,文本理解系统以某种方式转换文本,例如生成摘要,回答问题或提取数据。现有的用于文本自动分类的监督学习算法需要足够的文档才能准确地学习。本文提出了一种新的文本分类算法,使用数据采掘,需要更少的文件进行训练。而不是使用词,词的关系,即从这些词的关联规则是用来从预先分类的文本文档中获得的特征集。朴素贝叶斯分类器的概念,然后使用派生的功能,最后只有一个单一的概念,遗传算法已被添加到最终的分类。一个系统的基础上所提出的算法已经实施和测试。实验结果表明,该系统是一个成功的文本分类器。
2010-09-25 cs.DB cs.IR
Integrating E-Commerce and Data Mining: Architecture and Challenges
我们表明,电子商业领域可以提供所有正确的成分,成功的数据采掘,并声称它是一个杀手域的数据采掘。我们描述了一个集成的体系结构,根据我们的经验,在蓝色马提尼软件,支持这种集成。该架构可以显著减少预处理、清理和数据理解工作,这些工作通常在知识发现项目中占用80%的时间。我们强调需要在应用程序服务器层(而不是Web服务器)进行数据汇集,以支持对发现过程至关重要的数据和元数据的日志记录。我们描述了从事务处理系统和客户事件流(例如,clickstreams)到数据仓库。我们详细介绍了挖掘工作台,它需要通过报告、数据采掘算法、可视化和OLAP提供数据的多个视图。我们总结了一系列挑战。
2000-07-14 cs.AI cs.CV cs.DB
Tailoring Machine Learning for Process Mining
Università degli Studi di Milano(米兰大学);University of Trieste(的里雅斯特大学);Khalifa University(哈利法大学);RWTH Aachen University(亚琛工业大学)
本文分析过程数据训练机器学习模型时因分布假设和并发约束被忽视而产生的问题,提出应深入理解这些问题,为建立使机器学习与过程挖掘正确对齐的方法论奠定基础。
2023-06-17 cs.AI cs.DB cs.LG
Scientific Data Mining in Astronomy
我们描述了数据挖掘算法在天文学研究问题中的应用。我们认为,数据挖掘一直是天文学研究的基础,因为数据挖掘是基于证据的发现,包括分类,聚类和新颖性发现的基础。这些算法代表了在大型数据库中发现的一套主要计算工具,这在数据密集型天文学时代将变得越来越重要。回顾了天文学数据挖掘的历史实例,然后讨论了预计在未来十年中最大的数据生产项目之一:大型综合巡天望远镜(LSST)。为了促进天文学中数据驱动的发现,我们设想了一种新的天文学和天体物理学面向数据的研究范式-天体信息学。天文信息学被描述为现代数据密集型天文学的一种研究方法和教育必要性。大型时域巡天(如LSST)的一个重要应用领域是实时天空事件(包括移动物体、光度可变物体和瞬变现象)的快速识别、表征和分类。我们描述了一个可能的实现的分类代理这样的事件,它结合了几个天体信息学技术:用户注释,语义标记,元数据标记,异构数据集成,分布式数据挖掘。这些类型的合作分类和发现的方法在其他科学学科的例子。
2009-11-03 astro-ph.IM cs.DB cs.IR
The Actias system: supervised multi-strategy learning paradigm using categorical logic
Instituto Superior de Engenharia de Lisboa(里斯本高等工程学院);Universidade Nova de Lisboa(新里斯本大学)
智能系统开发中最困难的问题之一是底层知识库的构建。因此,开发这类系统的进展速度与知识库的组装速度及其质量直接相关。我们试图解决知识获取的问题,为商业信息系统,开发一个监督的多策略学习范式。这种模式的核心是协作数据采掘策略,其中专家组使用数据挖掘过程进行协作,监督获取从异构机器学习数据模型中提取的新知识。Actias系统是我们实现这一模式的方法。它是将基于图形逻辑的草图语言应用于知识集成的结果。该系统是一个数据采掘协同工作场所,其中的信息系统知识库是一个代数结构。它是将背景知识与从数据模型中提取的新见解相结合的结果,这些新见解是为特定的数据建模任务生成的,并使用草图语言表示为规则。
2016-05-06 cs.AI cs.DB cs.SE
Intelligent Cross-Organizational Process Mining: A Survey and New Perspectives
University of Oxford(牛津大学);Peng Cheng Laboratory(鹏城实验室);Institute for Infocomm Research, A*STAR(新加坡资讯通信研究院(新加坡科技研究局下属));Fudan University(复旦大学);Squirrel Ai Learning(松鼠AI智适应教育)
本文综述流程挖掘与人工智能结合的最新进展,提出跨组织智能流程分析框架,并展望未来研究方向,旨在利用AI提升复杂多组织数据分析的预测与决策能力。
2024-07-15 cs.AI cs.CE cs.DB