Method and Dataset Mining in Scientific Papers
Zhejiang Lab（浙江实验室）；Old Dominion University（奥多明尼昂大学）；Tianjin University（天津大学）；Nankai University（南开大学）
文献分析有助于研究者更好地了解科学技术的发展。传统的文献分析侧重于主题、作者、摘要、关键词、参考文献等，很少关注论文的内容。在机器学习领域，所涉及的方法（M）和数据集（D）是论文中的关键信息。M和D的提取和挖掘有助于学科分析和算法推荐。在本文中，我们提出了一种新的实体识别模型，称为MDER，并从PAKDD会议（2009-2019）的论文中构建数据集。进行了一些初步的实验，以评估提取性能和可视化的开采结果。
2019-11-29 cs.CL cs.IR cs.LG
Adapting CRISP-DM for Idea Mining: A Data Mining Process for Generating Ideas Using a Textual Dataset
Stockholm University（斯德哥尔摩大学）
数据采掘项目经理可以从使用标准数据采掘过程模型中获益。使用标准过程模型进行数据采掘的好处是降低了成本和时间，例如事实上和最流行的跨行业标准过程数据采掘模型（CRISP-DM）。此外，标准模型促进了知识转移，最佳实践的重用，并最大限度地减少了知识需求。另一方面，为了释放出版物、专利、社交媒体数据和各种形式的文档等不断增长的文本数据的潜力，越来越需要数字创新。此外，引进尖端的机器学习工具和技术有助于启发想法。处理非结构化文本数据以产生新的有用的想法被称为想法挖掘。现有的文献中的想法挖掘只是忽略了利用标准的数据采掘过程模型。因此，本文的目的是提出一个可重用的模型，以产生的想法，CRISP-DM，想法挖掘（CRISP-IM）。CRISP-IM的设计和开发遵循设计科学方法。CRISP-IM通过使用动态主题建模（DTM）、无监督机器学习以及随后对学术文章数据集的统计分析来促进想法的产生。修改后的CRISP-IM可以用于指导使用学术文献数据集或时间组织的专利或任何领域的任何其他文本数据集来识别趋势的过程，以引出想法。CRISP-IM的事后评价留待将来研究。
2021-05-02 cs.CL cs.IR cs.LG
Learning Heterogeneous Similarity Measures for Hybrid-Recommendations in Meta-Mining
University of Applied Sciences Western Switzerland（瑞士西部应用科学大学）
元挖掘的概念是最近出现的，它从两个方面扩展了传统的元学习。首先，它不学习仅为学习算法选择任务提供支持的元模型，而是学习支持整个数据挖掘过程的元模型。此外，它放弃了所谓的黑盒方法来描述算法遵循元学习。现在除了数据集之外，算法还有描述符，工作流程。对于后两者，这些描述是语义的，描述算法的属性。随着数据集和数据采掘工作流描述符的可用性，元学习中遵循的传统建模技术（通常基于分类和回归算法）不再适用。相反，我们面临着一个问题，其性质更类似于推荐系统中出现的问题。最重要的元挖掘要求是建议应该只使用数据集和工作流描述符以及冷启动问题，例如为新数据集提供工作流建议。在本文中，我们采取不同的观点元挖掘建模问题，并把它作为一个推荐问题。为了说明元挖掘的特殊性，我们得到了一个新的基于度量的学习推荐方法。我们的方法学习两个同质的度量，一个在数据集中，一个在工作流空间，和异构的一个在数据集工作流空间。所有学习到的度量反映了从数据集-工作流偏好矩阵建立的相似性。我们展示了我们的方法对生物（微阵列数据集）问题的元挖掘。我们的方法的应用并不局限于元挖掘问题，它的配方是足够的一般，使它可以应用于类似的要求的问题。
2012-10-04 cs.AI cs.LG
Relational Data Mining Through Extraction of Representative Exemplars
随着人们对网络分析的兴趣日益浓厚，关系数据采掘逐渐成为数据采掘的一个研究热点。本文讨论了从关系数据集中提取代表元素的问题。在定义的代表性程度的概念，使用Borda聚合过程计算，我们提出了提取的样本，这是数据集的代表性元素。我们使用这些概念在数据集上构建网络。我们暴露这些概念的主要属性，我们提出了我们的框架的两个典型应用。第一个应用程序包括恢复和结构化一组二进制图像，第二个应用程序包括挖掘研究团队中的共同创作关系。
2012-07-03 cs.AI cs.IR stat.ML
Dichotomic Pattern Mining with Applications to Intent Prediction from Semi-Structured Clickstream Datasets
AI Center of Excellence, Fidelity Investments（富达投资人工智能卓越中心）
我们引入了一个模式挖掘框架，该框架在半结构化数据集上运行，并利用结果之间的二分法。我们的方法利用约束推理，找到频繁发生的序列模式，并表现出所需的属性。这允许创建新颖的模式嵌入，这对知识提取和预测建模非常有用。最后，我们提出了一个应用程序的客户意图预测从数字点击流数据。总体而言，我们表明，模式嵌入在半结构化数据和机器学习模型之间起着集成者的作用，提高了下游任务的性能，并保持了可解释性。
2022-01-23 cs.AI cs.IR cs.LG
DAEMON: Dataset-Agnostic Explainable Malware Classification Using Multi-Stage Feature Mining
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
许多变形和多态的恶意变种每天都由变异引擎自动生成，这些变异引擎在保留恶意程序功能的同时转换恶意程序的代码，以逃避基于签名的检测。这些自动化过程大大增加了恶意软件变体的数量，认为完全手动分析是不可能的。恶意软件分类是确定新的恶意变体属于哪个家族的任务。相同恶意软件家族的变体显示出相似的行为模式。因此，对新发现的恶意程序和应用程序进行分类有助于评估它们构成的风险。此外，恶意软件分类便于确定新发现的变体中的哪些变体应当经历安全专家的手动分析，以便确定它们是否属于新家族（例如，其成员利用零日漏洞的人）或者仅仅是已知恶意家族内的概念漂移的结果。这激发了近年来对设计高精度恶意软件自动分类工具的深入研究。在这项工作中，我们提出了DAEMON -一种新的不可知的恶意软件分类器。DAEMON的一个关键属性是它使用的功能类型和挖掘它们的方式有助于理解恶意软件家族的独特行为，使其分类决策变得可解释。我们已经使用x86二进制文件的大规模数据集优化了DAEMON，该数据集属于针对运行Windows的计算机的几个恶意软件家族的混合。然后，我们重新训练了它，并将其应用于另外两个大规模的恶意Android应用程序数据集，其中包括许多恶意软件家族，而没有任何算法更改，功能重新设计或参数调整。DAEMON在所有数据集上都获得了高度准确的分类结果，这表明它也是平台无关的。
2021-06-25 cs.CR cs.LG
ProcessTBench: An LLM Plan Generation Dataset for Process Mining
Technical University of Denmark（丹麦技术大学）；Microsoft Development Center Copenhagen（微软哥本哈根开发中心）
本文提出ProcessTBench合成数据集，扩展自TaskBench，旨在流程挖掘框架下评估LLMs在计划生成中的高级工具使用能力，弥补现有数据集在复杂场景和流程视角上的不足。
2024-09-19 cs.AI cs.ET cs.LG
Machine Learning Techniques for Pattern Recognition in High-Dimensional Data Mining
Northeastern University（东北大学）
本文提出一种基于SVM的频繁模式数据挖掘算法，通过将挖掘任务转化为分类问题并利用核函数映射，有效解决了高维稀疏数据下的性能瓶颈，实验证明其在支持度、置信度和提升度上显著优于传统模型。
2024-12-20 cs.AI cs.LG
An Application of Bayesian classification to Interval Encoded Temporal mining with prioritized items
K.S.Rangasamy College of Technology（K.S.兰加萨米理工学院）
在现实生活中，媒体信息具有时间属性，或者隐式地或者显式地称为时态数据。本文研究了应用贝叶斯分类的有用性的时间间隔编码的数据库与优先项目。该方法通过对数据库进行编码来进行时态挖掘，该数据库具有加权项，该加权项从用户的角度根据其重要性对项进行优先级排序。朴素贝叶斯分类有助于使产生的时间规则更有效。所提出的基于优先级的时态挖掘（PBTM）方法添加了分类辅助解决问题，在一个明智的和系统的方式。在电信系统投诉数据库中的实验结果表明了该方法的可行性。
2009-08-07 cs.DB cs.LG
Classification of IDS Alerts with Data Mining Techniques
Ain Shams University（艾因夏姆斯大学）
提出了一种利用数据采掘技术来减少入侵检测系统中的误报率的方法。新技术实现了99%的准确性，而目前的系统为97%。
2014-01-20 cs.CR cs.DB cs.LG
Classification approach based on association rules mining for unbalanced data
Université de Bordeaux（波尔多大学）
本文研究了目标类出现概率较低时的二元分类问题。在这种情况下，它是不可能建立一个强大的分类器，使用标准的方法，如逻辑斯谛回归，分类树，判别分析等，以克服这些方法，产生低灵敏度的分类器的缺点，我们解决了这里的分类问题，通过基于关联规则学习的方法。这种方法具有允许识别与目标类很好相关的模式的优点。关联规则学习是数据挖掘领域的一种常用方法。它用于处理大型数据库时，用于无监督地发现表达输入变量之间隐藏关系的局部模式。在考虑从监督学习的角度来看，关联规则的弱分类器的相关集合中获得一个派生的分类器，表现良好。
2015-02-24 cs.LG stat.ML
Text Classification using the Concept of Association Rule of Data Mining
Stamford University Bangladesh（孟加拉国斯坦福德大学）；International Islamic University Chittagong（吉大港国际伊斯兰大学）；Bangladesh University of Engineering & Technology（孟加拉工程技术大学）
随着在线文本数量的增加，对文本分类以辅助文本分析和管理的需求也在增加。文本是廉价的，但信息，以知道文本属于什么类别的形式，是昂贵的。文本的自动分类可以以低成本提供这些信息，但是分类器本身必须通过昂贵的人工努力来构建，或者从本身已经手动分类的文本中进行训练。本文将讨论利用数据采掘中的关联规则概念对文本进行分类的过程。关联规则挖掘技术已被用于从预先分类的文本文档中提取特征集。朴素贝叶斯分类器，然后使用衍生功能的最终分类。
2010-09-23 cs.DB cs.IR cs.LG
Mining Negative Sequential Patterns to Improve Viral Genomic Feature Representation and Classification
College of Information Science and Technology, Jinan University, Guangzhou 510632, China（信息科学与技术学院，暨南大学，广州510632，中国）；College of Cyber Security, Jinan University, Guangzhou 510632, China（网络安全学院，暨南大学，广州510632，中国）
本文提出GeneNSPCla框架，通过挖掘RNA病毒基因组中的负序列模式提取判别性缺失特征，提升病毒分类准确性，实验表明在8种分类器中平均准确率提升24.75%。
2026-04-28 cs.DB cs.LG
Decision Tree Classification with Differential Privacy: A Survey
Charles Sturt University（查尔斯特大学）
数据采掘有关人的信息在21世纪的数据驱动社会中变得越来越重要。不幸的是，有时候现实世界中的考虑因素与数据采掘的目标相冲突;有时候需要考虑被数据挖掘的人的隐私。这需要修改数据采掘算法的输出以保护隐私，同时不破坏输出模型的预测能力。差分隐私是一个强有力的、可执行的隐私定义，可用于数据采掘算法，保证不会了解数据中的人，如果没有他们的参与，就无法发现。在本综述中，我们将重点介绍一种特定的数据采掘算法--决策树--以及差分隐私如何与构成决策树算法的每个组件进行交互。我们分析了贪婪和随机决策树，以及在试图平衡隐私要求与模型准确性时出现的冲突。
2019-05-23 cs.DB cs.LG
Preprocessing Methods and Pipelines of Data Mining: An Overview
Technical University of Munich（慕尼黑工业大学）
数据采掘是从现有的数据集中获取新的知识。然而，现有数据集中的数据可能是分散的，嘈杂的，甚至是不完整的。虽然大量的精力花在开发或微调数据采掘模型，使他们更强大的噪音的输入输入数据文章的质量仍然强烈依赖于它的质量的数据采掘管道的概述，在一个数据采掘任务的程序进行了简要介绍。然后对数据预处理技术进行了综述，将其分为数据清洗、数据转换和数据预处理三大类。详细的预处理方法，以及它们对数据采掘模型的影响，在这篇文章中涵盖。
2019-06-20 cs.DB cs.LG stat.ML
DataLearner: A Data Mining and Knowledge Discovery Tool for Android Smartphones and Tablets
Charles Sturt University（查尔斯特大学）；The University of Sydney（悉尼大学）
智能手机已经成为终极的“个人”电脑，但尽管如此，用于移动设备的通用数据挖掘和知识发现工具却出奇地罕见。DataLearner是一款专为Android设备设计的新数据挖掘应用程序，它导入了Weka数据挖掘引擎，并使用Charles Sturt大学开发的算法对其进行了增强。此外，DataLearner还可以使用其他算法进行扩展。结合起来，DataLearner提供了40个分类，聚类和关联规则挖掘算法，用于模型训练和评估，而无需云计算资源或网络连接。它提供了与PC和笔记本电脑相同的分类精度，同时具有可接受的处理速度和可忽略的电池寿命。凭借其在手机大小的屏幕上提供易于使用的数据挖掘的能力，DataLearner是一种新的便携式，独立的数据挖掘工具，适用于远程，个性化和学习应用程序。DataLearner有四个元素-这篇论文，Google Play上的应用程序，GitHub上的GPL 3许可源代码和YouTube上的短视频。
2019-06-10 cs.LG stat.ML
Multi-label Ranking: Mining Multi-label and Label Ranking Data
Ariel University（阿里尔大学）
本文综述了多标签排序任务（含多标签分类与标签排序分类），重新对其方法进行分类，并重点回顾了过去五年深度学习多标签挖掘、极端多标签分类及标签排序的最新进展，最后提出了未来研究方向。
2021-01-03 cs.LG
Investigating Classification Techniques with Feature Selection For Intention Mining From Twitter Feed
De Montfort University（德蒙福特大学）
在过去的十年中，社交网络成为最流行的通信和交互媒介。例如，微型博客服务Twitter拥有2亿多注册用户，每天交换6 500多万条帖子。用户通过这些推文表达他们的想法，想法，甚至他们的意图。大多数推文都是非正式的，而且经常使用俚语，其中包含拼写错误和缩写词。本文研究了基于文本挖掘技术从Twitter提要中提取用户意图的特征选择问题。它首先介绍了我们用来从提取的Twitter提要构建自己的数据集的方法。在此之后，我们提出了两种技术的特征选择，然后分类。在第一种技术中，我们使用信息增益作为一个阶段的特征选择，其次是监督分类算法。在第二种技术中，我们使用了一种混合的方法，基于前向特征选择算法，其中两个特征选择技术采用其次是分类算法。我们研究这两种技术与四个分类算法。我们使用自己的数据集进行评估，并严格审查结果。
2020-01-22 cs.AI cs.IR cs.LG
An Integrated Classification Model for Financial Data Mining
Fudan University（复旦大学）；University College Dublin（都柏林大学）
如今，财务数据分析在商业市场中变得越来越重要。随着企业从日常运营中收集越来越多的数据，他们希望从现有收集的数据中提取有用的知识，以帮助对新客户的请求做出合理的决策，例如用户信用类别，流失分析，房地产分析等。金融机构已经应用了不同的数据采掘技术来提高他们的业务绩效。然而，这些技术的简单方法可能会引起性能问题。此外，对于不同的金融领域，既能理解又能预测的通用模型还很少。本文提出了一种新的金融数据分类模型。我们还使用不同的真实数据来评估该模型，以显示其性能。
2016-09-09 cs.AI cs.LG
Predicting the Severity of Breast Masses with Data Mining Methods
Electronic Research Institute（电子研究院）
乳腺X线摄影是乳腺癌筛查的最有效和可用的工具。然而，乳腺X线片判读导致的乳腺活检的阳性预测值较低，导致约70%的不必要活检具有良性结果。数据采掘算法可用于帮助医生决定对乳房X线照片图像中看到的可疑病变进行乳房活检或进行短期随访检查。本研究以乳房摄影肿块资料为例，分析数据采掘分类演算法：决策树、人工神经网络及支持向量机。本研究的目的是提高医生根据BI-RADS属性和患者年龄确定乳腺摄影肿块病变严重程度（良性或恶性）的能力。整个数据集被划分用于训练模型，并分别以70：30%的比例进行测试，并通过三个统计指标：灵敏度，特异性和分类准确率来比较分类算法的性能。DT、ANN和SVM的准确率分别为78.12%、80.56%和81.25%。我们的分析表明，在这三个分类模型支持向量机预测乳腺癌的严重程度与最低的出错率和最高的准确性。
2013-05-30 cs.LG stat.ML
A Weighted Mutual k-Nearest Neighbour for Classification Mining
ABV-Indian Institute of Information Technology & Management（ABV印度信息技术与管理学院）
kNN是一种非常有效的基于实例的学习方法，并且易于实现。由于数据的异质性，来自不同可能来源的噪声在自然界中也很普遍，特别是在大规模数据库的情况下。为了消除噪声和伪邻居的影响，本文提出了一种新的学习算法，该算法执行异常检测和从数据集中去除伪邻居的任务，从而提供相对更好的结果。该算法还试图最小化那些远离的邻居的影响。对实验结果引入了确定性测度的概念。使用相互邻居和距离加权投票的概念的优点是，在去除异常之后，数据集将被细化，并且权重概念迫使更多地考虑那些更接近的邻居。因此，最后计算所提出的算法的性能。
2020-05-14 cs.LG stat.ML
Hamming Encoder: Mining Discriminative k-mers for Discrete Sequence Classification
Dalian University of Technology（大连理工大学）
针对序列分类中基于模式方法忽略特征组合判别力的问题，提出 Hamming Encoder，利用二值化 1DCNN 和 Hamming 距离一致性挖掘判别性 k-mer 组合，提升了分类准确率。
2023-10-20 cs.LG
Redescription Model Mining
RWTH Aachen University（亚琛工业大学）；University of Würzburg（维尔茨堡大学）；GESIS（德国社会科学信息研究所）；University of Passau（帕绍大学）
本文介绍了重描述模型挖掘，一种新的方法来识别跨两个数据集，只有一个子集的属性共享，没有共同的实例可解释的模式。特别是，重描述模型挖掘的目的是找到成对的可描述的数据子集-每个数据集一个-诱导类似的特殊模型相对于一个预先指定的模型类。为了实现这一目标，我们结合了两个以前独立的研究领域：异常模型挖掘和重描述挖掘。对于这个新的问题设置，我们开发了兴趣度度量来选择有希望的模式，提出有效的算法，并在合成和真实世界数据上展示它们的潜力。未覆盖的模式可以暗示跨数据集表现出来的常见潜在现象，从而能够发现未出现在同一数据集中的属性（组合）之间的可能关联。
2021-07-09 cs.DB cs.LG
Association Rules Mining with Auto-Encoders
Université Laval（拉瓦尔大学）
针对经典关联规则挖掘算法执行慢、规则冗余等问题，提出基于自动编码器的 ARM-AE 方法，在三个分类数据集上优于 FP-Growth 和 NSGAII。
2023-04-26 cs.DB cs.LG
Towards Efficient Discriminative Pattern Mining in Hybrid Domains
Meijo University（名城大学）
判别模式挖掘是一种数据采掘任务，在其中我们发现将感兴趣的类中的事务与其他类中的事务区分开的模式，并且也被称为新兴模式挖掘或子组发现。判别模式挖掘中的一个实际问题是如何处理输入数据集中的数值。在本文中，我们提出了一个判别模式挖掘算法，可以处理一个交易数据集的混合域，即一个既包括符号和数值。我们还显示了两个标准的基准数据集所提出的算法的原型实现的执行结果。
2019-08-15 cs.DB cs.LG
A Comparative Study for Predicting Heart Diseases Using Data Mining Classification Methods
Applied Science Private University（应用科学私立大学）
提高心脏疾病检测的精度已经被许多研究者在文献中研究。这种改善是由巨大的医疗保健支出和错误的诊断引起的。因此，已经提出了各种方法来分析疾病因素，旨在减少医生的实践变化，减少医疗成本和错误。本文的主要目的是开发一个有效的基于数据采掘技术的智能医疗决策支持系统。在这种情况下，已经利用具有大型数据集的五种数据采掘分类算法来评估和分析与心脏病统计相关的风险因素，以便比较所实现的分类器的性能（例如，朴素贝叶斯、决策树、判别式、随机森林和支持向量机）。为了强调我们的方法的实际可行性，所选择的分类器已经使用MATLAB工具与两个数据集实现。实验结果表明，所有的分类算法都具有较好的预测性，并能给出相对正确的答案。然而，决策树优于其他分类器，准确率为99.0%，其次是随机森林。这是因为它们具有相对相同的机制，但随机森林可以构建决策树的集成。虽然集成学习已被证明产生优越的结果，但在我们的情况下，决策树已优于其集成版本。
2017-04-10 cs.CY cs.LG stat.ML
Separate and conquer heuristic allows robust mining of contrast sets in classification, regression, and survival data
Silesian University of Technology（西里西亚工业大学）；Institute of Innovative Technologies, EMAG（EMAG创新技术研究所）
识别群体之间的差异是最重要的知识发现问题之一。该过程也称为对比集挖掘，应用于医学，工业或经济等广泛领域。在本文中，我们提出了RuleKit-CS，一个算法的对比集挖掘的基础上分离和征服-一个良好的启发式决策规则归纳。伴随着属性惩罚方案的多个通道提供了描述具有不同属性的相同示例的对比集，将所提出的方法与标准的分离和征服区分开来。该算法还被推广到回归和生存数据，允许识别标签属性/生存预后与预定义对比组的标签/预后一致的对比集。现有方法没有提供的此功能进一步扩展了RuleKit-CS的可用性。对来自不同地区的130多个数据集进行的实验和对选定案例的详细分析证实，RuleKit-CS是发现定义群体之间差异的有用工具。该算法作为RuleKit套件的一部分在GitHub上以GNU AGPL 3许可证（https：//github.com/adaa-polsl/RuleKit）实现。关键词：对比集，分离与征服，回归，生存
2023-03-13 cs.AI cs.DB cs.LG
Hard Negative Mining for Metric Learning Based Zero-Shot Classification
Normandie Univ, UNICAEN, ENSICAEN, CNRS（诺曼底大学，卡昂大学，卡昂国立高等工程师学校，国家科学研究中心）；ONERA - The French Aerospace Lab（法国国家航空航天研究院）
零样本学习已被证明是领域自适应的有效策略。在这种情况下，本文建立在Bucher等人的最新工作基础上。[1]，该工作提出了一种通过引入新的基于度量学习的目标函数来解决Zero-Shot分类问题（ZSC）的方法。该目标函数允许学习属性的最佳嵌入，并结合图像和属性之间的相似性度量。本文扩展了他们的方法，提出了几种方案来控制负对的生成，从而显着提高了性能，并在三个具有挑战性的ZSC数据集上给出了上述最先进的结果。
2016-08-26 cs.AI cs.CV cs.LG
Rule Mining for Correcting Classification Models
Fujitsu Limited（富士通有限公司）；Osaka University（大阪大学）
针对模型修正需谨慎改变预测结果的场景，提出修正规则挖掘方法，结合频繁项集挖掘与剪枝技术，高效发现描述不准确子群体及修正方法的规则，助力数据补充、输出修正和概念漂移分析。
2023-10-14 cs.LG cs.SE
3D Visualization and Spatial Data Mining for Analysis of LULC Images
Swami Vivekanand Mahavidyalaya（斯瓦米·维韦卡南德学院）
本研究是一种尝试，建立一个新的工具，用于分析土地利用土地覆盖（LUCL）图像的三维可视化。本研究主要使用空间数据采掘技术对高分辨率LULC卫星影像进行分析。特征空间的可视化允许探索图像数据中的模式，并洞察分类过程和相关的不确定性。可视化数据采掘为图像分类提供了附加值，因为用户可以参与分类过程，从而提高了对结果的信心和理解。在这项研究中，我们提出了一个原型的图像分割，K-Means聚类和三维可视化工具的可视化数据采掘（VDM）的LUCL卫星图像到体可视化。这种基于体积的表示将特征空间划分为球体或体素。该可视化工具展示在高分辨率LULC图像的分类研究的Latur区（马哈拉施特拉邦，印度）被用作样本数据。
2022-01-28 cs.CV cs.LG
Class Imbalance Problem in Data Mining Review
G. H. Raisoni College of Engineering（G. H. 莱索尼工程学院）
在过去几年中，数据分类发生了重大变化和演变。随着技术应用领域的扩大，数据量也随之增加。由于数据的无限大小和不平衡性，数据分类变得困难。类不平衡问题成为数据采掘中最大的问题。不平衡问题发生在两个类中的一个类比其他类具有更多的样本。大多数算法都侧重于对大样本的分类，而忽略或误分小样本。少数样本是那些很少出现但非常重要的样本。对于不平衡数据集的分类，有不同的方法，主要分为三大类，算法方法，数据预处理方法和特征选择方法。每种技术都有自己的优点和缺点。本文对每种方法进行了系统的研究，为班级不平衡问题的研究指明了方向。
2013-05-08 cs.LG
Graph Sanitation with Application to Node Classification
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在过去的几十年里，图挖掘技术蓬勃发展，出现了许多复杂的模型和算法，用于各种挖掘任务，如排序，分类，聚类和异常检测。一般来说，绝大多数现有的工作旨在回答以下问题，即给定一个图，什么是挖掘它的最佳方法？本文引入图卫生问题，来回答一个正交问题。也就是说，给定一个挖掘任务和一个初始图，改进初始图的最佳方法是什么？通过学习一个更好的图作为挖掘模型的输入的一部分，它有望在各种设置中受益于图挖掘，从去噪，插补到防御。我们制定的图卫生问题作为一个双层优化问题，并进一步实例化它的半监督节点分类，以及一个有效的求解器名为GaSoliNe。大量的实验结果表明，该方法（1）对不同的图神经网络模型具有广泛的适用性，并具有灵活的图修改策略;（2）在各种扰动情况下，无论是在原始图还是污染图上，该方法都能有效地提高节点分类精度.特别是，它带来了高达25%的性能改善现有的强大的图神经网络方法。
2021-10-25 cs.LG
Semantic Trajectory Data Mining with LLM-Informed POI Classification
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；UCLA Mobility Lab（加州大学洛杉矶分校移动实验室）
本文提出一种利用大型语言模型标注POI活动类型并结合贝叶斯算法推断轨迹停留点活动的新流程，在OSM数据集上实现高准确率与F-1分数。
2024-08-19 cs.AI cs.LG
Improved Multi-label Classification with Frequent Label-set Mining and Association
Indian Statistical Institute（印度统计研究所）
多标签（ML）数据同时处理与单个样本相关的多个类别。这导致了几个类重复出现，这表明它们之间存在某种相关性。在这篇文章中，类之间的相关性进行了探索，以提高现有的ML分类器的分类性能。提出了一种新的频繁标签集挖掘方法，从数据的标签集中提取这些相关的类。类的共存（CP）和共存缺失（CA）都被考虑在内。从ML数据中挖掘的规则已被进一步用于将类相关信息纳入现有的ML分类器中。通过使用CP-CA规则的新方法修改ML分类器生成的软分数。定义了确定性和不确定性得分的概念，提出了一种基于确定性得分和CP-CA规则的改进不确定性得分的方法。这已经在10个ML数据集上对三个ML现有分类器进行了实验分析，这些分类器的整体性能得到了大幅提高。
2021-09-22 cs.LG
NeuroRule: A Connectionist Approach to Data Mining
National University of Singapore（新加坡国立大学）
分类是一类数据采掘问题，它涉及到寻找将给定数据集划分为不相交组的规则。迄今为止，在大型数据库中挖掘分类规则的方法主要是基于决策树的符号学习方法。基于神经网络的连接主义方法一直被认为不太适合数据采掘。引用的主要原因之一是由神经网络生成的知识没有以适合于人类验证或解释的规则的形式显式地表示。本文探讨了这一问题。利用我们新开发的算法，可以从神经网络中提取出与符号方法相似或更简洁的规则。描述了利用神经网络进行数据采掘的过程，重点是规则提取。实验结果和比较与以前发表的作品。
2017-01-05 cs.LG
Mining Invariance from Nonlinear Multi-Environment Data: Binary Classification
University of Utah（犹他大学）
本文针对多环境下的二分类问题，提出一种仅存在于二分类场景中的独特不变性形式，给出充分条件并设计启发式预测方法，在真实与合成数据上验证了其有效性。
2024-07-04 cs.LG stat.ME
Subjectivity Classification using Machine Learning Techniques for Mining Feature-Opinion Pairs from Web Opinion Sources
Jamia Millia Islamia（贾米亚·米利亚伊斯兰大学）
由于Web 2.0的蓬勃发展，网络意见来源正在迅速涌现，其中包含对客户和制造商都有用的宝贵信息。最近，基于特征的意见挖掘技术正在获得动力，其中客户评论被自动处理，用于挖掘产品特征和用户对它们的意见。然而，客户评论可能包含固执己见和事实的句子。事实内容的提取通过防止噪声和不相关的提取来提高挖掘性能。本文提出了一种结合监督机器学习和基于规则的方法从主观评论句中挖掘可行的特征-意见对的方法。在所提出的方法的第一阶段，监督机器学习技术被应用于分类的主观和客观的句子从客户评论。在下一阶段，实施基于规则的方法，该方法应用文本的语言和语义分析，从第一阶段后保留的主观句子中挖掘可行的特征-意见对。所提出的方法的有效性，建立通过实验对不同的电子产品的客户评论。
2013-12-25 cs.CL cs.IR cs.LG
Prediction of Malignant & Benign Breast Cancer: A Data Mining Approach in Healthcare Applications
National University of Science and Technology-MiSiS（国立科学技术大学（米西斯））；GIET University（GIET大学）；Innopolis University（Innopolis大学）；Hue College of Industry（顺化工业学院）；Malaviya National Institute of Technology（马拉维亚国家理工学院）
尽管数据科学在任何地方都发挥着关键作用，但医疗保健也发现了它的突出应用。乳腺癌是女性中最受关注的癌症类型;仅夺去627，000人的生命。乳腺癌的高死亡率确实需要关注，以便早期发现，以便及时预防。数据采掘作为一种潜在的先进技术发展的贡献者，在预测乳腺癌中发现了多方面的应用。本研究的重点是不同的分类技术实现数据采掘在预测恶性和良性乳腺癌。来自UCI存储库的乳腺癌威斯康星数据集已被用作实验数据集，而属性块厚度被用作评估类。在此数据集上分析了AdaBoostM 1、DecisionTable、JRip、LazyIBK、LogisticRegression、MulticlassClassifier、MultilayerPerceptron、NaiveBayes、随机森林和RandomTree等12种算法的性能。关键词-数据采掘，分类技术，UCI知识库，乳腺癌，分类算法
2019-02-23 cs.CY cs.LG stat.ML
A Fuzzy Similarity Based Concept Mining Model for Text Classification
BIT, Mesra（梅斯拉理工学院（BIT, Mesra））
文本分类是一个具有挑战性的热点领域，在文本分类应用中具有重要意义。在这一领域已经做了大量的研究工作，但有必要通过使用监督学习范式和不同的分类算法提取的概念或特征的文本文档的集合到互斥的类别进行分类。本文提出了一种新的基于模糊相似度的概念挖掘模型（FSCMM），通过在句子、文档和集成语料库三个层次上对文本文档进行训练和准备，并在每个层次上进行特征约简和歧义消除，将文本文档分类到预定义的类别组（CG）中，以提高系统的性能。模糊特征类别相似度分析器（FFCSA）用于分析集成语料库特征向量（ICFV）的每个提取的特征与相应的类别或类。该模型采用支持向量机分类器（SVMC）对训练数据进行正确分类。例如，+ 1和-1，从而产生准确和正确的结果。该模型工作效率高，性能好，计算精度高.
2012-04-10 cs.IR cs.LG
Feature Selection for Gender Classification in TUIK Life Satisfaction Survey
Muğla Sıtkı Koçman University（穆拉·西特基·科奇曼大学）
属性选择是数据采掘分类前的一种方法。在这项研究中，已经创建了一个新的数据集，通过使用土耳其统计研究所（TSI）生活满意度调查数据集的整体满意度表示的属性。在数据采掘应用中，使用属性选择算法通过排序搜索方法对属性进行排序。这些选定的属性进行分类测试与朴素贝叶斯和随机森林从机器学习算法。根据选择的属性的数量和分类准确率，比较特征选择算法。在这项研究中，这是旨在减少数据集的体积，最好的分类结果来选择3个属性的卡方2算法。随机森林分类算法的最佳分类率为73%。
2018-07-12 cs.LG stat.ML
Semi Supervised Learning For Few-shot Audio Classification By Episodic Triplet Mining
TCS Research（塔塔咨询服务公司研究院）
少样本学习的目标是推广在测试期间出现但在训练期间不可用的不可见类。原型网络结合了Few-Shot度量学习，通过以类内嵌入的支持点的平均向量的形式构建类原型。原型网络在极端的Few-Shot场景（如one-shot）中的性能急剧下降，主要是由于在构建原型时簇内的变化被浪费。在本文中，我们建议取代典型的原型损失函数的情节三重挖掘（ETM）技术。传统的三元组选择导致过拟合，因为在训练期间使用了所有可能的组合。我们将情节训练用于挖掘半硬正和半硬负三元组以克服过拟合。我们还提出了一种自适应方法，利用未标记的训练样本进行更好的建模。实验两个不同的音频处理任务，即说话人识别和音频事件检测，显示改进的性能，因此ETM的功效超过原型损失函数和其他元学习框架。此外，当使用未标记的训练样本时，我们表现出更好的性能。
2021-02-16 cs.LG cs.SD eess.AS
Sentiment analysis and opinion mining on E-commerce site
本文针对电子商务场景下的情感极性分类问题，提出一种广泛的情感对立分类技术，并同时开展句子级和评论级分类实验，为后续情感分析研究提供方向。
2023-07-04 cs.CL cs.LG
Confidence Intervals for Evaluation of Data Mining
Wells Fargo（沃尔斯福集团）；the Department of Statistics and Data Science, Northwestern University（统计与数据科学系，西北大学）
本文针对数据挖掘中二元预测性能度量的统计不确定性，提出基于渐近正态近似的个体与联合置信区间，并通过“模糊校正”改进有限样本表现，支持多规则多度量同时比较。
2025-07-06 cs.LG stat.ML
Leveraging Semi-Supervised Learning to Enhance Data Mining for Image Classification under Limited Labeled Data
University of Michigan（密歇根大学）；Columbia University（哥伦比亚大学）；Tulane University（杜兰大学）；Northeastern University（东北大学）；Dartmouth College（达特茅斯学院）；Shanghai Jiao Tong University（上海交通大学）
针对有限标记数据下传统数据挖掘方法性能受限的问题，本研究引入半监督自训练方法结合卷积神经网络（CNN）优化图像分类的数据挖掘，在CIFAR-10数据集上显著优于SVM等传统方法，且验证了模型鲁棒性与实用性。
2024-11-27 cs.CV cs.LG
NGAME: Negative Mining-aware Mini-batching for Extreme Classification
IIT Kanpur（印度理工学院坎普尔分校）；IIT Delhi（印度理工学院德里分校）；UT Austin（德克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）；Microsoft（微软公司）
极端分类（XC）试图从一个非常大的标签集中用最相关的标签子集来标记数据点。使用数据点和标签的密集、学习表示执行深度XC吸引了很多关注，因为它比使用稀疏、手工制作的特征的早期XC方法更优越。负面挖掘技术已经成为所有深度XC方法的关键组成部分，使它们能够扩展到数百万个标签。然而，尽管最近取得了进展，但使用大型编码器架构（如Transformers）训练深度XC模型仍然具有挑战性。本文指出，流行的负面挖掘技术的内存开销往往迫使小批量保持较小的规模，并减慢训练速度。作为回应，本文介绍了NGAME，一个轻量级的小批量创建技术，提供可证明准确的批内阴性样本。这允许使用更大的小批量进行训练，与现有的负采样技术相比，可以提供更快的收敛速度和更高的精度。NGAME被发现比最先进的方法在一系列基准数据集上的极端分类准确率高出16%，并且在响应用户网页访问以显示个性化广告时检索搜索引擎查询时准确率高出3%。在一个流行的搜索引擎上进行的实时A/B测试中，NGAME的点击率提高了23%。
2022-07-10 cs.IR cs.LG
Effective Data Mining Technique for Classification Cancers via Mutations in Gene using Neural Network
Erbil Polytechnic University（埃尔比勒理工大学）
预测在检测有效的癌症保护和治疗中起着重要作用。基因突变的预测需要基于整个数据库（大数据集）的诊断和分类，以达到足够的准确性结果。由于抑癌基因P53大约占人类所有肿瘤的百分之五十左右，因为突变发生在TP 53基因进入细胞中。因此，本文应用于肿瘤p53，其中的问题是有几个原始数据库（excel数据库）包含TP 53基因及其肿瘤蛋白p53的数据集，这些数据库是丰富的数据集，涵盖了所有突变和导致疾病（癌症）。但是这些数据库并不能达到预测和诊断癌症的目的，即大数据集还没有有效的数据采掘方法来预测、诊断突变，并对患者的癌症进行分类。本文的研究目标是实现一种基于大数据集的神经网络的数据采掘技术。此外，提供友好的预测，灵活，有效的分类癌症，以克服以前的技术缺点。该技术通过使用两种方法来完成，第一，通过使用BLAST、CLUSTALW等的生物信息学技术，以了解是否存在恶性突变。第二，利用神经网络进行数据采掘，从TP 53基因数据库的53个字段中选择12个字段。为了澄清，这12个字段中的一个（基因位置字段）在TP 53基因数据库中不存在;因此，在训练和测试反向传播算法时将其添加到TP 53基因数据库中，以便对癌症类型进行具体分类。前馈反向传播支持这种数据采掘方法，数据训练率为（1），均方误差（MSE）为（0.000000000001）。这种有效的技术可以快速，准确和简单地对癌症类型进行分类。
2016-08-06 cs.LG
Data Mining in Clinical Trial Text: Transformers for Classification and Question Answering Tasks
University of Bristol（布里斯托大学）；University of Sussex（萨塞克斯大学）
本研究将自然语言处理的最新进展应用于基于医学文本的证据合成。感兴趣的文本包括英文和多语种背景下的临床试验摘要。主要重点是通过人口，干预，比较和结果（PICO）框架表征的信息，但数据提取并不限于这些领域。最近的神经网络架构的基础上Transformers器显示迁移学习和下游自然语言处理任务，如通用阅读理解，提出了这种架构的使用上下文的词嵌入和自我注意力机制的性能提高。本文有助于解决PICO句子预测任务中的歧义相关问题，以及强调如何训练命名实体识别系统的注释用于训练高性能，但灵活的体系结构系统评价自动化中的问答。此外，它还演示了如何通过增强来解决PICO实体提取的训练注释量不足的问题。本文中的所有模型都是为了支持系统性综述（半）自动化而创建的。他们取得了很高的F1分数，并证明了应用基于变换的分类方法，以支持生物医学文献中的数据采掘的可行性。
2020-01-30 cs.CL cs.LG
Data Mining: A Prediction for Performance Improvement of Engineering Students using Classification
Shri Venkateshwara University（什里文卡特什瓦拉大学）；VBS Purvanchal University（VBS普尔万查尔大学）
目前教育数据库中存储的数据量迅速增加。这些数据库包含隐藏的信息，以提高学生的表现。教育数据采掘是对教育领域中的数据进行研究，从中挖掘出隐含的知识，利用决策树、贝叶斯网络等分类方法对教育数据进行分类，预测学生的考试成绩。这一预测将有助于识别薄弱学生，并帮助他们取得更好的成绩。运用C4.5、ID3和CART决策树算法对工科学生的期末考试成绩进行预测，决策树的结果预测了可能通过、不通过或升入下一学年的学生人数。研究结果提供了改善被预测失败或晋升的学生表现的步骤。在宣布期末考试成绩后，学生获得的分数被输入系统，并为下一次考试分析结果。结果的对比分析表明，预测有助于后进生的提高，使成绩得到改善。
2012-03-17 cs.LG
Performance Evaluation of Machine Learning Classifiers in Sentiment Mining
Annamalai University（安纳马莱大学）
近年来，机器学习分类器的使用在解决文本分类中的各种问题方面具有重要价值。情感挖掘是一种文本分类方法，根据情感倾向（如积极或消极）对消息进行分类。本文扩展了评估各种分类器性能的思想，以显示其在在线产品评论情感挖掘中的有效性。产品评论来自亚马逊评论。为了评估分类器的性能，使用了各种评估方法，如随机抽样，线性抽样和自助抽样。结果表明，采用自举抽样方法的支持向量机在误分类率方面优于其他分类器和抽样方法。
2014-02-17 cs.CL cs.IR cs.LG
Machine learning approach for text and document mining
Institute of technology Gopeshwar（戈佩什瓦尔技术学院）；Bansathali University（班萨塔利大学）；University of Oviedo（奥维耶多大学）；Siemens Information Systems Limited（西门子信息系统有限公司）
文本分类（TC），也称为文本分类，是将一组文本文档自动分类为预定义集合中的不同类别的任务。如果一个文档恰好属于其中一个类别，则它是一个单标签分类任务;否则，它是一个多标签分类任务。TC使用来自信息检索（IR）和机器学习（ML）的几种工具，并且在过去几年中受到学术界研究人员和行业开发人员的广泛关注。在本文中，我们首先使用基于KNN的机器学习方法对文档进行分类，然后返回最相关的文档。
2014-06-06 cs.IR cs.LG
Effective Classification of MicroRNA Precursors Using Combinatorial Feature Mining and AdaBoost Algorithms
New Jersey Institute of Technology（新泽西理工学院）
microRNA（miRNAs）是由前体分子衍生的约22个核苷酸（nt）的非编码RNA。这些前体分子或pre-miRNA通常折叠成茎环发夹结构。然而，在基因组中可以发现大量具有前体miRNA样发夹的序列。区分真正的pre-miRNA与具有相似茎环的其他发夹序列（称为假pre-miRNA）是一个挑战。已经开发了几种计算方法来应对这一挑战。在本文中，我们提出了一种新的方法，称为MirID，用于识别和分类microRNA前体。我们从pre-miRNAs的序列和二级结构中收集了74个特征;其中一些特征来自我们以前对非编码RNA预测的研究，而另一些则在文献中提出。我们开发了一个组合特征挖掘算法来识别合适的特征集。然后利用这些特征集对支持向量机进行训练，得到分类模型，并在此基础上构造分类器集成。最后，我们使用AdaBoost算法进一步提高分类器集成的准确性。在多种物种上的实验结果表明，该方法具有良好的性能，并优于现有的工具。
2016-10-06 cs.CE cs.LG q-bio.GN
A Comparative Analysis of classification data mining techniques : Deriving key factors useful for predicting students performance
Anjuman-I-Islam Kalsekar Technical Campus (AIKTC), Mumbai University（安朱曼伊斯兰卡尔塞卡尔技术学院（AIKTC），孟买大学）；GIET, JNTU-HYD（GIET 工程技术学院，贾瓦哈拉尔·尼赫鲁理工大学海得拉巴分校）
选择工程作为学科的学生正在迅速增加。但由于各种因素和印度不适当的小学教育，失败率很高。由于复杂的数学科目，学生无法在核心工程方面出类拔萃。因此，他们在这些科目上失败了。借助数据采掘技术，我们可以预测学生的成绩和学科不及格情况。本文对朴素贝叶斯、LibSVM、J48、随机森林和JRip等分类技术进行了比较分析，并试图从中选择最佳方法。根据所获得的结果，我们发现，朴素贝叶斯是最准确的方法，在学生失败的预测和JRip是最准确的学生成绩预测。我们还发现，JRip在学生失败预测的准确性方面与朴素贝叶斯略有不同，并为我们提供了一套规则，从中我们可以得出影响学生表现的关键因素。最后，我们提出了各种方法来减轻这些因素。本研究仅限于印度教育系统的场景。然而，发现的因素在其他情况下也可能有帮助。
2016-11-11 cs.AI cs.CY cs.LG
Automated Text Mining of Experimental Methodologies from Biomedical Literature
School of Computing Science, University of Newcastle（纽卡斯尔大学计算科学学院）
本工作提出微调的DistilBERT预训练生成式分类语言模型，用于从生物医学文献中挖掘实验方法，相比传统RNN或LSTM方法表现更优，模型尺寸减小40%且速度提升60%。
2024-04-21 cs.CL cs.LG
TSAX is Trending
Coventry University（考文垂大学）
时间序列数据普遍存在，在许多领域有着广泛的应用，因此时间序列挖掘是数据采掘的一个重要分支。时间序列挖掘的主要任务是分类。时间序列表示方法在时间序列分类和其他时间序列挖掘任务中起着重要作用。时间序列数据最流行的表示方法之一是符号聚集近似（SAX）。其受欢迎背后的秘密是它的简单性和效率。然而，SAX有一个主要的缺点，那就是它不能表示趋势信息。已经提出了几种方法来使SAX能够捕获趋势信息，但这是以复杂的处理、预处理或后处理过程为代价的。在本文中，我们提出了一个新的修改的SAX，我们称之为趋势SAX（TSAX），它只增加了最小的复杂性，但大大提高了其性能的时间序列分类。这在50个数据集上得到了实验验证。结果表明，我们的方法的优越性能，因为它给出了一个较小的分类错误39个数据集相比，SAX。
2021-12-24 cs.LG
