首页/论文/2007.06300

arXiv 2007.063002020-07-13cs.DBcs.AI

基于项目集生成模型的合成数据集生成

Synthetic Dataset Generation with Itemset-Based Generative Models

Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）

Christian Lezcano, Marta Arias

备注：: IEEE International Symposium on Software Reliability Engineering Workshops (ISSREW@RDSA 2019), Oct 2019
DOI：: 10.1109/ISSREW.2019.00086

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

本文提出了三种不同的数据生成器，量身定制的事务数据集，基于现有的基于项集的生成模型。所有这些发生器都是直观的，易于实现，并表现出令人满意的性能。每个生成器的质量通过三种不同的方法进行评估，这些方法可以捕获原始数据集结构的保存情况。

英文摘要：

This paper proposes three different data generators, tailored to transactional datasets, based on existing itemset-based generative models. All these generators are intuitive and easy to implement and show satisfactory performance. The quality of each generator is assessed by means of three different methods that capture how well the original dataset structure is preserved.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

近似逆频繁项集挖掘：隐私性、复杂性和近似性

Approximate Inverse Frequent Itemset Mining: Privacy, Complexity, and Approximation

为了生成用于更好的基准测试的合成篮子数据集，重要的是将来自真实数据库的特征集成到合成篮子数据集中。可用于此目的的特征包括频繁项集和关联规则。从频繁项集生成合成篮子数据集的问题通常被称为逆频繁项集挖掘。本文证明了近似逆频繁项集挖掘问题是{ \bf NP}-完全的。然后，我们提出并分析了一个近似逆频繁项集挖掘的近似算法，并讨论了与合成篮子数据集相关的隐私问题。特别是，我们提出了一个近似算法来确定在合成篮子数据集的隐私泄漏。

2012-07-23cs.DB

一种挖掘高效用闭项集和生成元的算法

An Algorithm for Mining High Utility Closed Itemsets and Generators

传统的关联规则挖掘基于支持度-置信度框架，提供了用户感兴趣的规则的客观度量。然而，它并没有反映出规则的效用。在支持度-置信度框架下提取非冗余关联规则，频繁闭项集及其生成器起着重要的作用。为了提取高效用项集之间的非冗余关联规则，需要提取高效用闭项集（HUCI）及其生成元，以便应用传统的支持度-置信度框架。然而，目前还没有有效的方法来开采HUCI及其发电机。本文探讨了这一问题。一个后处理算法，称为HUCI-Miner，提出了挖掘HUCI与他们的发电机。所提出的算法是使用合成和真实的数据集。

2014-10-11cs.DB

DiffNodesets：一种快速挖掘频繁项集的有效结构

DiffNodesets: An Efficient Structure for Fast Mining Frequent Itemsets

频繁项集的挖掘是数据采掘中的一个基本问题，在数据采掘的许多应用中起着重要的作用。近年来，人们提出了一些基于节点集的项集表示方法，这些方法对于挖掘频繁项集非常有效。在本文中，我们提出了DiffNodeset，一种新的和更有效的项集表示，挖掘频繁项集。基于DiffNodeset结构，提出了一种高效的频繁项集挖掘算法dFIN。为了提高效率，dFIN采用集合枚举树和混合搜索策略来寻找频繁项集，在某些情况下不需要生成候选项集而直接枚举频繁项集。为了评估dFIN的性能，我们进行了大量的实验，将其与各种真实和合成数据集上的现有领先算法进行比较。实验结果表明，dFIN是显着的速度比这些领先的算法。

2015-07-06cs.DBcs.DS

一种快速挖掘高效用项目集的有效数据结构

An Efficient Data Structure for Fast Mining High Utility Itemsets

在本文中，我们提出了一种新的数据结构称为PUN-list，它既保持了项目集的效用信息和效用上界，以方便挖掘高效用项目集的处理。基于PUN-Lists，提出了一种快速挖掘高效用项集的方法MIP（Mining high utility Itemset using PUN-Lists）。MIP的效率是通过三种技术来实现的。首先，项目集由一种高度压缩的数据结构PUN-列表表示，避免了代价高昂的重复效用计算。其次，通过扫描项集的PUN-列表可以有效地计算项集的效用，并且通过短项集的PUN-列表可以快速构造长项集的PUN-列表。第三，通过采用效用上界躺在PUN列表作为修剪策略，MIP直接发现高效用项目集的搜索空间，称为集合枚举树，而不产生大量的候选人。在各种合成数据集和真实数据集上的大量实验表明，PUN-list是非常有效的，因为MIP比最近报道的算法平均快至少一个数量级。

2015-10-08cs.DBcs.DS

可能是最好的项目集

Probably the Best Itemsets

当前项集挖掘的主要挑战之一是发现一个小的高质量项集。在本文中，我们提出了一个新的和一般的方法来衡量项目集的质量。该方法是坚实的贝叶斯统计和单调下降，允许有效地发现所有有趣的项目集。该度量通过连接统计模型和项集集合来定义。这使我们能够对单个项集进行评分，并根据它们在基于数据构建的随机模型中出现的概率进行评分。作为这个框架的一个具体例子，我们使用指数模型。这类模型具有许多理想的性质。最重要的是，贝叶斯模型选择中的奥卡姆剃刀为模式爆炸提供了辩护。由于一般的指数模型在实践中是不可行的，我们使用可分解的模型;一个大的子类，其中的措施是可解的。对于分数的实际计算，我们使用MCMC方法从后验分布中对模型进行采样。对我们的方法的实验表明，该措施在实践中的工程和结果在合成和现实世界的数据解释和有见地的项目集。

2019-02-07cs.DBcs.DS

兴趣项集的贝叶斯网络模型

A Bayesian Network Model for Interesting Itemsets

University of Edinburgh（爱丁堡大学）

在底层数据的统计模型下挖掘最有趣的项集是探索性数据分析的常用和充分研究的技术，最新的兴趣度模型表现出最先进的性能。继续这个非常有前途的工作线，我们提出了第一个，尽我们所知，生成模型的项集，在贝叶斯网络的形式，和相关的新的措施的兴趣。我们的模型是能够有效地推断有趣的项目集直接从交易数据库使用结构EM，其中的E-步骤采用贪婪近似加权集覆盖。我们的方法在理论上是简单的，直接实现，平凡的并行化和检索项集的质量是可比的，如果不是更好，现有的最先进的算法，我们在几个现实世界的数据集上证明。

2016-11-11cs.DBcs.LGstat.ML

更多相关论文收起更多论文

利用生成式AI通过提示工程和严格验证创建用于医疗AI训练的综合合成数据集

Leveraging Generative AI Through Prompt Engineering and Rigorous Validation to Create Comprehensive Synthetic Datasets for AI Training in Healthcare

Institute for Data Science and Informatics, University of Missouri（密苏里大学数据科学与信息学研究所）

本研究利用GPT-4 API进行提示工程生成涵盖全面患者信息的合成医疗数据集，并通过BERT、GPT-2、RoBERTa等模型进行严格验证，有效解决了EHR应用中AI训练的数据隐私限制问题。

2025-04-29cs.AI

挖掘Top-K同现项

Mining Top-K Co-Occurrence Items

频繁项集挖掘是数据采掘中的一个基本问题，在关联分析、分类等数据采掘任务中发挥着重要作用。然而，在一些应用中，例如推荐系统和社交网络，人们更感兴趣的是找出数据库中与某些用户指定的项集（查询项集）一起出现最频繁的项。在本文中，我们解决这个问题，提出了一个新的挖掘任务命名为top-k共现项目挖掘，其中k是所需的项目数被发现。然后，我们引入了一种特殊的数据结构Pi-Tree（Prefix itemset Tree）来维护项目集的信息。基于Pi-Tree，提出了两种挖掘top-k共现项的算法：PT（Pi-Tree-based algorithm）和PT-TA（Pi-Tree-based algorithm with TA pruning），并结合了几种新的搜索空间修剪策略以提高挖掘效率。PT和PT-TA的性能进行了评估，对四个建议的基线算法在合成和真实的数据库。大量的实验表明，PT不仅在执行时间上大大优于其他算法，而且具有良好的可扩展性。

2015-12-24cs.DBcs.DS

使用信息量最大的项目集简洁地汇总数据

Summarizing Data Succinctly with the Most Informative Itemsets

University of Antwerp（安特卫普大学）

从数据中发现知识是一个固有的迭代过程。也就是说，我们对数据的了解在很大程度上决定了我们的期望，因此，我们会发现什么样的结果是有趣的和/或令人惊讶的。随着对数据的新了解，我们的期望会发生变化。因此，为了避免冗余的结果，知识发现算法理想地应该遵循这样的迭代更新过程。考虑到这一点，我们引入了一种有充分依据的方法，用于简洁地总结具有最丰富信息的项集的数据;使用概率最大熵模型，我们迭代地找到为我们提供最新颖信息的项集-也就是说，数据中的频率最令我们惊讶--然后我们相应地更新我们的模型。由于我们使用最大熵原理来获得无偏概率模型，并且只包括那些对当前模型信息量最大的项集，因此我们构建的摘要保证是描述性的和非冗余的。我们提出的算法，称为MTV，可以发现前$k$最丰富的项目集，或者我们可以采用贝叶斯信息准则（BIC）或最小描述长度（MDL）原则，自动识别一组项目集，一起总结了数据。换句话说，我们的方法将“告诉你你需要知道的关于数据的信息”。重要的是，它是一个单阶段算法：而不是从用户提供的候选集中挑选项集，项集及其支持度是动态挖掘的。为了进一步提高其适用性，我们提供了一种有效的方法来计算最大熵分布使用快速包含-排除。使用合成数据、基准数据和真实数据对我们的方法进行的实验表明，发现的摘要简洁明了，并正确识别了数据中的关键模式。

2019-04-27cs.DBcs.DScs.LG

一种考虑多次出现的频繁序列事件增量挖掘方法

Incremental Mining of Frequent Serial Episodes Considering Multiple Occurrences

Inria（法国国家信息与自动化研究所）；Carnegie Mellon University（卡内基梅隆大学）；University of Waikato（怀卡托大学）；Telecom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）

分析来自流的信息的需要出现在各种应用中。其基本研究方向之一是挖掘数据流上的序列模式。现有的研究多基于事务中模式的存在来挖掘项目序列，而没有考虑项目集序列及其多次出现的情况。然而，在一个窗口的项集流和它们的多次出现的模式，提供了额外的能力来识别模式的基本特征和它们之间的相互关系是无法识别的现有的基于存在的研究。在本文中，我们研究了这样一个新的序列模式挖掘问题，并提出了相应的顺序矿工与新的策略，有效地修剪搜索空间。在真实数据和合成数据上的实验表明了该方法的有效性。

2022-04-09cs.AIcs.DB