Preprocessing: A Prerequisite for Discovering Patterns in Web Usage Mining Process
Web日志数据通常是多样的和大量的。这些数据必须被组装成一个一致的、集成的和全面的视图，以便用于模式发现。如果在分析之前没有正确地清理、转换和结构化数据，就不能期望找到有意义的模式。在大多数数据采掘应用中，数据预处理包括删除和过滤冗余和不相关的数据，去除噪声，转换和解决任何不一致。在本文中，一个完整的预处理方法，合并，数据清洗，用户/会话识别和数据格式化和总结活动，以提高数据的质量，减少数据量已被提出。为了验证所提出的预处理方法的效率，进行了几个实验，结果表明，所提出的方法减少了Web访问日志文件的大小下降到初始大小的73-82%，并提供了更丰富的日志结构的Web使用挖掘（WUM）的进一步阶段。因此，WUM过程中的原始数据预处理是本文的中心主题。
2011-05-02 cs.DB
Market Basket Analysis Using Rule-Based Algorithms and Data Mining Techniques
本文应用结构化数据挖掘方法提取交易数据中的关联规则，为营销策略和管理决策提供框架，以提升运营效率、客户参与度及竞争优势。
2024-12-24 cs.DB econ.GN q-fin.EC
A Survey of Utility-Oriented Pattern Mining
数据采掘和分析的主要目的是发现新的、潜在有用的模式，这些模式可以在现实世界的应用程序中使用，以获得有益的知识。为了识别和评估不同种类的模式的有用性，已经提出了许多技术和约束，例如支持度、置信度、序列顺序和效用参数（例如，重量、价格、利润、数量、满意度等）。近年来，人们对面向效用的模式挖掘（UPM，或称为效用挖掘）的需求越来越大。UPM是一项重要的任务，拥有众多高影响力的应用，包括交叉营销，电子商务，金融，医疗和生物医学应用。本调查旨在对芬欧汇川最先进的方法进行全面、全面和结构化的概述。首先，我们将介绍对UPM的深入理解，包括概念，示例以及与相关概念的比较。详细介绍了挖掘不同类型的高效用模式的最常见和最先进的方法的分类，包括基于Apriori的，基于树的，基于投影的，垂直/水平数据格式的，和其他混合的方法。对现有的高实用模式挖掘技术的高级主题进行了全面的回顾，并讨论了它们的优缺点。最后，我们提出了几个著名的UPM开源软件包。最后，我们讨论了这一领域的公开和实际挑战。
2019-09-16 cs.DB
Performance Evaluation of Structured and Semi-Structured Bioinformatics Tools: A Comparative Study
生物信息学专家开发了各种各样的生物数据库，采用不同的方法提取生物数据。在本文中，我们调查和评估的性能，这些方法的能力，有效地访问生物信息学数据库，使用基于Web的接口。这些方法使用能够从远程数据库服务器检索数据的结构化和半结构化数据工具来检索生物信息学信息。本研究区分了这些方法中的每一种，并对这些工具进行了对比。我们使用了序列检索系统（SRS）和Zeroz搜索工具的结构化数据，而Perl和BioPerl搜索程序用于半结构化数据检索复杂的查询，包括文本和数字信息的组合。该研究的结论是，使用半结构化的数据工具访问生物信息学数据库是一个可行的替代结构化的工具，虽然每种方法都有一定的固有的优点和缺点。
2022-02-04 cs.DB
Hyperset Approach to Semi-structured Databases and the Experimental Implementation of the Query Language Delta
本文提出了半结构化数据库的超集方法和相关的查询语言Delta的实现的实际建议。这项工作的特点可以作为一个自上而下的方法，半结构化数据库的一部分，从理论到实践。这项工作的主要原始部分包括在半结构化数据库的超集增量查询语言的实施，包括工作的例子查询。事实上，目的是展示这种方法和语言的实际细节。在现有的理论版本的基础上，需要开发一种扩展的、实用的语言版本，以及相应的操作语义。在这里，我们提出了实施的最重要的步骤的详细说明。这种方法的另一个关键问题是证明如何在现实中处理（超）集之间的相等关系的概念，这是通过互模拟关系计算实现的。事实上，这个昂贵的过程，特别是在分布式半结构化数据的情况下，需要一些额外的理论考虑和实际建议，以有效地实现。为此，提出了计算分布式半结构化数据互模拟关系的“局部/全局”策略，并通过实验验证了该策略的有效性。
2009-02-15 cs.DB
The SQL++ Query Language: Configurable, Unifying and Semi-structured
NoSQL数据库支持半结构化数据，通常建模为JSON。它们还提供有限的（但正在扩展的）查询语言。它们惯用的、非SQL语言的构造、许多变体以及缺乏形式化语义阻碍了对查询语言的深入理解，也阻碍了向干净、强大、声明性的查询语言发展。本文详细介绍了SQL++的语法和语义，它既适用于JSON原生存储，也适用于SQL数据库。SQL++半结构化数据模型是JSON和SQL数据模型的超集。SQL++为处理半结构化数据提供了强大的计算能力，类似于以前的非关系查询语言，特别是OQL和XQuery。然而，SQL++是SQL向后兼容的，并且通过仅向SQL引入少量的查询语言扩展而向JSON推广。认识到查询语言标准对于快速发展的NoSQL数据库领域来说可能还为时过早，SQL++包括配置选项，这些选项正式列出了语言设计者可以选择的语义变体。这些选项通常与半结构化（缺失属性、异构类型等）的处理有关，其中可能有一种以上的合理方法。SQL++是统一的：通过适当地选择配置选项，SQL++语义可以变形为现有的半结构化数据库查询语言的语义。广泛的实验验证显示了SQL和四种半结构化数据库查询语言（MongoDB，Cassandra CQL，Couchbase N1QL和AsterixDB AQL）如何通过适当的配置选项设置进行形式化描述。SQL++的早期采用迹象是积极的：Couchbase的N1QL版本4被解释为SQL++的语…
2015-12-14 cs.DB
Mining Precision Interfaces From Query Logs
交互式工具使数据分析更有效，更容易为广大人群所用。简单的界面（如Google Finance）以及复杂的可视化探索界面（如Tableau）都是有效的，因为它们是针对所需的用户任务量身定制的。然而，设计交互式界面需要技术专长和领域知识。专家是稀缺和昂贵的，因此目前不可能为每个用户和每个任务提供定制的（或精确的）界面。我们设想一种数据驱动的方法来生成量身定制的交互式界面。我们观察到，交互式界面的目的是表达一套程序，因此，越来越多的数据系统收集的程序样本，可以帮助我们建立交互式界面。基于这一思想，Precision Interfaces是一个与语言无关的系统，它检查输入查询日志，识别查询在结构上如何变化，并生成交互式Web界面来表达这些变化。本文的重点是将这种思想应用于结构化查询的日志。我们的实验表明，Precision Interfaces可以支持多种查询语言（SQL和SPARQL），从OLAP查询中派生Tableau的突出交互组件，在不到12分钟的时间内分析<75k个查询，并生成改进现有界面的交互设计，与人工制作的界面相当。
2017-11-30 cs.DB
Dynamic Interleaving of Content and Structure for Robust Indexing of Semi-Structured Hierarchical Data (Extended Version)
我们提出了一个强大的半结构化层次数据索引，支持内容和结构（CAS）查询指定的路径和值谓词。在我们的方法的核心是一个新的动态交织方案，合并的路径和复合键的值尺寸在一个平衡的方式。我们将这些键存储在基于trie-based的Robust Content-And-Structure索引中，该索引有效地支持广泛的CAS查询，包括带有通配符和后代轴的查询。此外，我们还展示了我们的方案的重要特性，如对不同选择性的鲁棒性，并在我们的实验评估中展示了比现有方法最多两个数量级的改进。
2020-06-09 cs.DB
Contrast Pattern Mining: A Survey
Jinan University（暨南大学）；Pazhou Lab（琶洲实验室）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
对比模式挖掘是数据采掘的一个重要分支。传统的序列模式无法描述不同类别数据之间的对比信息，而涉及对比度概念的对比模式可以描述不同对比度条件下数据集之间的显著差异。基于该领域发表的论文数量，我们发现研究人员对CPM的兴趣仍然很活跃。由于CPM有很多研究问题和研究方法。新进入该领域的研究人员很难在短时间内了解该领域的概况。因此，本文的目的是提供一个最新的全面和结构化的概述对比模式挖掘的研究方向。首先，我们提出了一个深入的了解CPM，包括基本概念，类型，挖掘策略，并评估判别能力的指标。然后根据CPM方法的特点将其分为基于边界的算法、基于树的算法、基于进化模糊系统的算法、基于决策树的算法和其他算法。此外，我们还列举了这些方法的经典算法，并讨论了它们的优缺点。介绍了CPM中的高级主题。最后，我们结束了我们的调查与讨论的挑战和机遇，在这一领域。
2022-09-27 cs.AI cs.DB
OCPM$^2$: Extending the Process Mining Methodology for Object-Centric Event Data Extraction
Stockholm University（斯德哥尔摩大学）；Linköping University（利厄普堡大学）
本文提出一种基于PM\inst{2}的结构化方法论，用于从教育系统中提取对象中心事件数据（OCED），并通过真实案例验证其有效性。
2025-04-21 cs.AI cs.DB
Crowd-Powered Data Mining
Tsinghua University（清华大学）；Renmin University（中国人民大学）；SFU（西蒙弗雷泽大学）；Twitter（推特）
许多数据采掘任务不能完全由自动化过程来解决，如情感分析和图像分类。众包是一种有效的方式来利用人类的认知能力来处理这些机器难以完成的任务。由于公共众包平台，例如，亚马逊Mechanical Turk和Crowd- Flower，我们可以很容易地涉及数十万普通工人（即，人群）来解决这些机器困难的任务。在本教程中，我们将调查和综合广泛的现有研究群体动力数据采掘。首先对众包进行了概述，然后总结了众包数据采掘必须考虑的基本技术，包括质量控制、成本控制和延迟控制。接下来，我们将回顾群体驱动的数据采掘操作，包括分类，聚类，模式挖掘，使用群体的机器学习（包括深度学习，迁移学习和半监督学习）和知识发现。最后，我们提供了众包数据采掘的新挑战。
2018-10-19 cs.AI cs.DB
Mining Rooted Ordered Trees under Subtree Homeomorphism
频繁树模式挖掘在XML数据、生物信息学和万维网等领域有着广泛的应用。频繁模式挖掘中的关键步骤是频率计数，它涉及到一个匹配操作符，用于在给定的树集合中找到树模式的出现（实例）。树结构数据的一种广泛使用的匹配算子是子树同胚，其中树模式中的边被映射到给定树中的祖先-后代关系。在子树同胚下频繁出现的树模式通常称为嵌入模式。本文提出了一种有效的子树同胚算法，并将其应用于频繁模式挖掘。我们提出了一个紧凑的数据结构，称为occ，它只存储信息的最右边的路径出现，因此可以编码和表示几个出现的树模式。然后，我们定义了有效的连接操作的occ数据结构，这有助于我们计数出现的树模式，根据其正确的子树的出现。基于提出的子树同胚方法，我们开发了一个有效的模式挖掘算法，称为TPMiner。我们在几个真实世界和合成数据集上评估了TPMiner的效率。我们广泛的实验证实，TPMiner总是优于已知的现有算法，在某些情况下，相对于现有算法的改进是显着的。
2015-09-28 cs.DB cs.DS
Mining Rules Incrementally over Large Knowledge Bases
University of Florida（佛罗里达大学）
多个网络规模的知识库，例如，Freebase，YAGO，NELL，已经使用半监督或无监督信息抽取技术构建，其中许多，尽管它们的尺寸很大，但仍在不断增长。从知识库中挖掘推理规则是一个重要的研究方向。为了解决不断发展的网络规模的知识库的规则挖掘任务，我们提出了一个并行增量规则挖掘框架。我们的方法是能够有效地挖掘规则的基础上的关系模型，并适用于大型知识库的更新，我们提出了一种替代度量，降低计算复杂性，而不影响质量，我们采用多种优化技术，减少运行时间超过2个数量级。实验表明，我们的方法有效地扩展到网络规模的知识库，并节省了90%以上的时间相比，最先进的批处理规则挖掘系统。我们还将我们的优化技术应用到批量规则挖掘算法中，与最先进的算法相比，运行时间减少了一半以上。据我们所知，我们的增量规则挖掘系统是第一个处理网络规模知识库更新的系统。
2019-04-20 cs.DB cs.LG
Conceptual Level Design of Semi-structured Database System: Graph-semantic Based Approach
本文提出了一种基于图-语义的半结构化数据库系统概念模型GOOSSDM，它以面向对象的方式对半结构化数据库系统的各个方面进行概念化。该模型定义了一组基于图的形式化结构、各种具有参与约束的关系类型和丰富的图形符号集，用于描述半结构化数据库系统的概念级设计。所提出的设计方法有利于不规则的，异构的，层次和非层次的半结构化数据在概念层面上的建模。此外，建议GOOSSDM是能够在概念级的XML文档建模与文档为中心的设计，排序和析取特性的设施。本文还提出了一种基于规则的GOOSSDM模式到等价XML模式定义（XSD）的转换机制。所提出的概念模型的概念已实现使用通用建模环境（GME）。
2012-02-21 cs.DB cs.SE
Process Mining on Distributed Data Sources
本文针对分布式数据源带来的挑战，提出过程挖掘从离线集中式事件日志向在线分布式传感器数据转变的研究议程，并倡导基于算法工程的方法论，为构建可扩展、隐私感知且以用户为中心的分布式过程挖掘技术提供路线图。
2025-06-03 cs.DB cs.DC cs.ET
