Contrastive and Variational Approaches in Self-Supervised Learning for Complex Data Mining
Northeastern University(东北大学);University of California, Berkeley(加利福尼亚大学伯克利分校);Brandeis University(布兰迪斯大学);Columbia University(哥伦比亚大学);Shanghai Jiao Tong University(上海交通大学);University of Miami(迈阿密大学)
本文提出一种基于自监督学习的复杂数据挖掘算法,通过对比学习、变分模块和数据增强提升特征提取与分类性能,并验证了AdamW优化器配合0.002学习率的最佳效果及模型的稳定性与适应性。
2025-04-05 cs.AI cs.LG
Tree-Constrained Graph Neural Networks For Argument Mining
University of Bologna(博洛尼亚大学);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
我们提出了一种新的图神经网络的架构,它的灵感来自树核背后的想法,即通过考虑它们的共同子结构(称为片段)来测量树之间的相似性。通过对学习问题施加一系列正则化约束,我们利用了一种池化机制,该机制在产生嵌入的节点软分配函数中引入了片段的概念。我们提出了一个广泛的实验评估收集的句子分类任务进行了几个参数挖掘语料库,表明所提出的方法表现良好,相对于国家的最先进的技术。
2021-09-02 cs.AI cs.CL cs.LG
Building a Classification Model for Enrollment In Higher Educational Courses using Data Mining Techniques
Banasthali Vidyapith(巴纳斯达利女子大学)
数据采掘是从海量的数据库中提取有用模式的过程,许多数据采掘技术都被用来挖掘这些模式。近年来,高校的一个显著事实是教育数据的快速增长,这些教育数据迅速膨胀,但对教育管理没有任何好处。管理的主要目的是细化教育标准,因此通过对这些数据应用各种数据采掘技术,可以获得有价值的信息。本研究提出“利用数据采掘技术之高等教育课程学生入学过程分类模式”。此外,本研究有助于发现一些模式,是有意义的管理。
2014-05-15 cs.AI
Classification of Approaches and Challenges of Frequent Subgraphs Mining in Biological Networks
Alzahra University(阿尔扎赫拉大学);Islamic Azad University, Qazvin Branch(伊斯兰阿扎德大学加兹温分校)
理解生物网络的结构和动力学是系统生物学的重要挑战之一。此外,生物网络中越来越多的实验数据需要使用有效的方法来分析这些巨大的数据量。这种方法需要识别常见的模式来分析数据。由于生物网络可以用图来建模,因此常用模式的识别问题等价于一组图中频繁子图的挖掘问题。本文首先介绍了生物网络中频繁子组挖掘的挑战,并针对每一种挑战对现有的方法进行了分类。然后,基于它们应用于每个挑战的方法的类型来分析算法。
2012-07-15 cs.AI
Pattern-Based Classification: A Unifying Perspective
Katholieke Universiteit Leuven(鲁汶大学)
在预测模型中使用模式是近年来受到广泛关注的一个话题。模式挖掘可以帮助获得结构化领域的模型,如图和序列,并已被提出作为一种手段,以获得更准确和更可解释的模型。尽管有大量的出版物专门讨论这一专题,但我们认为,对这一领域所取得的成就缺乏一个概述。本文介绍了我们对这一不断发展的领域的看法。我们确定了模式挖掘的原则,挖掘模式的模型时,是很重要的,并提供了一个基于模式的分类方法的概述。我们沿着以下维度对这些方法进行分类:(1)它们是否对预先计算的模式集进行后处理或迭代地执行模式挖掘算法;(2)它们是否独立于模型选择模式或模式选择是否由模型指导。我们总结了这些方法中的每一种方法所获得的结果。
2011-11-26 cs.AI
Process Mining Embeddings: Learning Vector Representations for Petri Nets
Computing Institute (IComp), Federal University of Amazonas (UFAM)(联邦亚马逊大学计算研究所);Faculty of Engineering - University of Porto(波尔图大学工程学院);INESC Tec
本文提出受 Doc2Vec 启发的无监督方法 PetriNet2Vec,将 Petri 网转换为嵌入向量,并在 PDC 数据集上验证其在过程分类与检索中的有效性。
2024-07-31 cs.AI
A Brief Survey of Text Mining: Classification, Clustering and Extraction Techniques
University of Georgia(佐治亚大学)
每天生成的文本数量正在急剧增加。这些大量的非结构化文本不能简单地被计算机处理和感知。因此,需要高效和有效的技术和算法来发现有用的模式。文本挖掘是从文本中提取有意义信息的任务,近年来受到了广泛的关注。在本文中,我们描述了几个最基本的文本挖掘任务和技术,包括文本预处理,分类和聚类。此外,我们简要介绍了文本挖掘在生物医学和医疗保健领域。
2017-07-28 cs.AI cs.CL cs.IR
An Integrated Classification Model for Financial Data Mining
Fudan University(复旦大学);University College Dublin(都柏林大学)
如今,财务数据分析在商业市场中变得越来越重要。随着企业从日常运营中收集越来越多的数据,他们希望从现有收集的数据中提取有用的知识,以帮助对新客户的请求做出合理的决策,例如用户信用类别,流失分析,房地产分析等。金融机构已经应用了不同的数据采掘技术来提高他们的业务绩效。然而,这些技术的简单方法可能会引起性能问题。此外,对于不同的金融领域,既能理解又能预测的通用模型还很少。本文提出了一种新的金融数据分类模型。我们还使用不同的真实数据来评估该模型,以显示其性能。
2016-09-09 cs.AI cs.LG
Soil Data Analysis Using Classification Techniques and Soil Attribute Prediction
College of Engineering, Pune(浦那工程学院);soil testing laboratories(土壤检测实验室)
自动化、数据采掘等技术进步使农业研究受益匪浅。目前,数据采掘的应用领域非常广泛,出现了许多现成的数据采掘系统产品和特定领域的数据采掘应用软件,但农业土壤数据集的数据采掘是一个相对年轻的研究领域。必须分析和充分利用现在与作物一起实际收获的大量数据。本研究旨在利用数据采掘技术对土壤数据集进行分析。它侧重于使用各种算法进行土壤分类。另一个重要的目的是利用回归技术预测未经测试的属性,实现土壤样品的自动分类。
2012-06-07 cs.AI stat.AP stat.ML
Semantic Trajectory Data Mining with LLM-Informed POI Classification
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);UCLA Mobility Lab(加州大学洛杉矶分校移动实验室)
本文提出一种利用大型语言模型标注POI活动类型并结合贝叶斯算法推断轨迹停留点活动的新流程,在OSM数据集上实现高准确率与F-1分数。
2024-08-19 cs.AI cs.LG
Crowd-Powered Data Mining
Tsinghua University(清华大学);Renmin University(中国人民大学);SFU(西蒙弗雷泽大学);Twitter(推特)
许多数据采掘任务不能完全由自动化过程来解决,如情感分析和图像分类。众包是一种有效的方式来利用人类的认知能力来处理这些机器难以完成的任务。由于公共众包平台,例如,亚马逊Mechanical Turk和Crowd- Flower,我们可以很容易地涉及数十万普通工人(即,人群)来解决这些机器困难的任务。在本教程中,我们将调查和综合广泛的现有研究群体动力数据采掘。首先对众包进行了概述,然后总结了众包数据采掘必须考虑的基本技术,包括质量控制、成本控制和延迟控制。接下来,我们将回顾群体驱动的数据采掘操作,包括分类,聚类,模式挖掘,使用群体的机器学习(包括深度学习,迁移学习和半监督学习)和知识发现。最后,我们提供了众包数据采掘的新挑战。
2018-10-19 cs.AI cs.DB
A Data Mining Approach to the Diagnosis of Tuberculosis by Cascading Clustering and Classification
PES Institute of Technology(PES理工学院)
在本文中,结核病(TB)的自动检测和分类的方法。结核病是一种由分枝杆菌引起的疾病,它通过空气传播,容易攻击免疫力低下的机体。我们的方法是基于聚类和分类,将结核病分为两类,肺结核(PTB)和逆转录病毒PTB(RPTB),即人类免疫缺陷病毒(HIV)感染。最初,K均值聚类用于将TB数据分组为两个聚类,并将类分配给聚类。然后在结果集上训练多个不同的分类算法,基于K折交叉验证方法构建最终的分类器模型。使用从一家城市医院获得的700份原始结核病数据对这种方法进行了评估。与其他分类器相比,支持向量机(SVM)的最佳准确率为98.7%。所提出的方法有助于医生在他们的诊断决策,也在他们的治疗计划程序的不同类别。
2011-08-04 cs.AI cs.DB
Hyperspectral Remote Sensing Image Classification Based on Multi-scale Cross Graphic Convolution
Chongqing University(重庆大学)
在高光谱遥感图像分类识别中,特征的挖掘和利用直接影响模型的分类性能。传统的模型通常从单一的角度进行特征挖掘,挖掘的特征有限,忽略了它们之间的内在联系。因此,有用的特征丢失,分类结果是不令人满意的。为了充分挖掘和利用图像特征,提出了一种新的多尺度特征挖掘学习算法(MGRNet)。该模型利用主成分分析对原始高光谱图像进行降维处理,使其保留99.99%的语义信息,并提取降维特征。利用多尺度卷积算法对输入的降维特征进行挖掘,得到浅层特征,并将其作为多尺度图卷积算法的输入,构建不同尺度下特征值之间的内在关系。然后对图卷积得到的多尺度信息进行交叉融合,将得到的新信息输入残差网络算法进行深度特征挖掘。最后,使用一个灵活的最大传递函数分类器来预测最终的特征并完成分类。在三种常见高光谱数据集上的实验表明,本文提出的MGRNet算法在识别精度上优于传统方法。
2021-06-28 cs.AI cs.CV
Business Process Deviance Mining: Review and Evaluation
Queensland University of Technology(昆士兰理工大学);University of Tartu(塔尔图大学)
业务流程偏差是指业务流程的一部分执行偏离其预期或理想结果的现象,无论是消极的还是积极的。业务流程的异常执行包括那些违反法规遵从性规则的执行,或者低于或超过性能目标的执行。异常挖掘是通过分析业务流程事件日志来发现异常执行的原因。本文提供了一个系统的审查和比较评估的偏差挖掘方法的基础上,家庭的数据采掘技术称为序列分类。使用现实生活中的日志从多个领域,我们评估了一系列的功能类型和分类方法的能力,以准确区分正常和异常的执行过程。我们还分析了使用不同方法提取的规则集的兴趣度。我们观察到,使用模式挖掘技术提取的特征集仅略优于简单的特征集的基础上计数的个人活动发生在一个跟踪。
2016-08-29 cs.AI cs.DB
Scalable Text Mining with Sparse Generative Models
University of Waikato(怀卡托大学)
信息时代带来了大量的数据。其中大部分是以文本形式出现的,人类无法逾越,计算机无法理解。文本挖掘是一个不断扩展的研究领域,旨在利用包含在大量文档集合中的信息。基于机器学习的常规数据采掘方法面临着文本数据规模的挑战,需要可扩展的文本挖掘方法。本文提出了一种可伸缩文本挖掘的解决方案:结合稀疏计算的生成模型。一个统一的形式化生成文本模型的定义,汇集了研究传统,使用正式等效的模型,但忽略了平行的发展。该框架允许使用在不同的处理任务(如检索和分类)中开发的方法,从而在不同的文本挖掘任务中产生有效的解决方案。提出了一种基于倒排索引的概率模型稀疏计算方法。这降低了根据稀疏性的常见文本挖掘操作的计算复杂性,产生具有现代搜索引擎的可扩展性的概率模型。建议的组合提供稀疏生成模型:文本挖掘的解决方案是通用的,有效的,可扩展的。对文本分类和排名检索数据集进行了广泛的实验,结果表明,所提出的解决方案在有效性上与领先的特定任务方法相匹配或优于领先的特定任务方法,维基百科文章分类的分类时间减少了一个数量级。所开发的方法进一步应用于2014年的两个Kaggle数据采掘竞赛,有超过一百个参赛团队,获得第一名和第二名。
2016-02-07 cs.AI cs.CL cs.IR
Deep Health Care Text Classification
Center for Computational Engineering and Networking(计算工程与网络中心);Amrita School of Engineering Coimbatore(阿姆里塔工程学院哥印拜陀校区);Amrita Vishwa Vidyapeetham(阿姆里塔大学);Amrita University(阿姆里塔大学)
与健康相关的社交媒体挖掘是早期识别各种拮抗性医学状况的有价值的工具。现有的方法大多是基于机器学习和基于知识的学习。本工作说明介绍了基于递归神经网络(RNN)和长短期记忆(LSTM)的嵌入,用于社交媒体挖掘中的自动健康文本分类。对于每个任务,构建两个系统,并在推文级别对推文进行分类。RNN和LSTM用于特征提取,最后一层的非线性激活函数有助于区分不同类别的推文。这些实验是在AMIA 2017的第二届社交媒体挖掘健康应用共享任务中进行的。实验结果是相当可观的,但所提出的方法是适当的健康文本分类。这主要是因为它不依赖于任何特征工程机制。
2017-10-23 cs.AI cs.CL
Separate and conquer heuristic allows robust mining of contrast sets in classification, regression, and survival data
Silesian University of Technology(西里西亚工业大学);Institute of Innovative Technologies, EMAG(EMAG创新技术研究所)
识别群体之间的差异是最重要的知识发现问题之一。该过程也称为对比集挖掘,应用于医学,工业或经济等广泛领域。在本文中,我们提出了RuleKit-CS,一个算法的对比集挖掘的基础上分离和征服-一个良好的启发式决策规则归纳。伴随着属性惩罚方案的多个通道提供了描述具有不同属性的相同示例的对比集,将所提出的方法与标准的分离和征服区分开来。该算法还被推广到回归和生存数据,允许识别标签属性/生存预后与预定义对比组的标签/预后一致的对比集。现有方法没有提供的此功能进一步扩展了RuleKit-CS的可用性。对来自不同地区的130多个数据集进行的实验和对选定案例的详细分析证实,RuleKit-CS是发现定义群体之间差异的有用工具。该算法作为RuleKit套件的一部分在GitHub上以GNU AGPL 3许可证(https://github.com/adaa-polsl/RuleKit)实现。关键词:对比集,分离与征服,回归,生存
2023-03-13 cs.AI cs.DB cs.LG
A Comparative Analysis of classification data mining techniques : Deriving key factors useful for predicting students performance
Anjuman-I-Islam Kalsekar Technical Campus (AIKTC), Mumbai University(安朱曼伊斯兰卡尔塞卡尔技术学院(AIKTC),孟买大学);GIET, JNTU-HYD(GIET 工程技术学院,贾瓦哈拉尔·尼赫鲁理工大学海得拉巴分校)
选择工程作为学科的学生正在迅速增加。但由于各种因素和印度不适当的小学教育,失败率很高。由于复杂的数学科目,学生无法在核心工程方面出类拔萃。因此,他们在这些科目上失败了。借助数据采掘技术,我们可以预测学生的成绩和学科不及格情况。本文对朴素贝叶斯、LibSVM、J48、随机森林和JRip等分类技术进行了比较分析,并试图从中选择最佳方法。根据所获得的结果,我们发现,朴素贝叶斯是最准确的方法,在学生失败的预测和JRip是最准确的学生成绩预测。我们还发现,JRip在学生失败预测的准确性方面与朴素贝叶斯略有不同,并为我们提供了一套规则,从中我们可以得出影响学生表现的关键因素。最后,我们提出了各种方法来减轻这些因素。本研究仅限于印度教育系统的场景。然而,发现的因素在其他情况下也可能有帮助。
2016-11-11 cs.AI cs.CY cs.LG
Multiple Instance Learning Framework with Masked Hard Instance Mining for Whole Slide Image Classification
Chongqing University(重庆大学);The Hong Kong University of Science and Technology(香港科技大学);Walmart Global Tech(沃尔玛全球技术)
提出MHIM-MIL框架,通过孪生结构挖掘困难实例,提升全切片图像分类性能,在多个数据集上优于现有方法。
2023-12-21 cs.AI cs.CV
Tackling scalability issues in mining path patterns from knowledge graphs: a preliminary study
Université de Lorraine, CNRS, Inria, LORIA(洛林大学、法国国家科学研究中心、法国国家信息与自动化研究所、洛林计算机科学与应用研究实验室)
从知识图谱中挖掘出的特征被广泛应用于多种知识发现任务中,例如分类或事实检查。在这里,我们考虑一组给定的顶点,称为种子顶点,并专注于挖掘其相关的相邻顶点,路径,更一般地说,路径模式,涉及类的本体与知识图谱。由于现实世界的知识图谱的组合性质和不断增长的规模,挖掘这些模式的任务立即带来了可扩展性问题。在本文中,我们通过提出一种依赖于一组约束(例如,支持度或度阈值)和单调性属性。由于我们的动机来自现实世界的知识图谱的挖掘,我们说明了我们的方法与PGxLOD,生物医学知识图谱。
2020-08-07 cs.AI cs.DB
Leveraging Foreign Language Labeled Data for Aspect-Based Opinion Mining
Posts and Telecommunications Institute of Technology(越南邮电技术学院)
基于方面的观点挖掘是在观点文本的方面层次上识别情感的任务,它包括两个子任务:方面类别提取和情感极性分类。虽然方面类别提取的目的是检测和分类的意见目标,如产品特征,情感极性分类分配一个情感标签,即积极的,消极的,或中性的,每个识别的方面。监督学习方法已被证明可以为这项任务提供更好的准确性,但它们需要标记的数据,这是昂贵的,特别是对于资源贫乏的语言,如越南语。为了解决这个问题,我们提出了一个监督方面为基础的意见挖掘方法,利用标记的数据从外语(英语在这种情况下),这是翻译成越南语的自动翻译工具(谷歌翻译)。由于不同语言中的方面和观点可能由不同的词来表达,因此我们提出使用词嵌入以及其他特征来减少原文和译文之间的词汇差异,从而提高方面类别提取和情感极性分类过程的有效性。我们还介绍了一个注释语料库的方面类别和情感极性提取的餐馆评论在越南,并进行了一系列的实验语料库。实验结果证明了该方法的有效性。
2020-03-15 cs.AI cs.CL cs.IR
Investigating ADR mechanisms with knowledge graph mining and explainable AI
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学及其应用实验室);Orange Labs(奥兰治实验室);LIMICS(LIMICS实验室);Inserm(法国国家健康与医学研究院);Université Sorbonne Paris Nord(索邦巴黎北大学);Sorbonne Université(索邦大学);CHU de St Etienne(圣艾蒂安大学附属医院);NGERE(NGERE实验室);Centre Régional de Pharmacovigilance(区域药物警戒中心);CHRU de Nancy(南锡大学区域医院中心);Inria Paris(法国国家信息与自动化研究所巴黎中心);Université de Paris(巴黎大学)
药物不良反应(ADR)在随机临床试验和上市后药物警戒中得到了表征,但在大多数情况下,其分子机制仍不清楚。除了临床试验之外,关于药物成分的许多知识元素都可以在开放获取的知识图谱中获得。此外,已经建立了药物分类,将药物标记为几种ADR的致病性或非致病性。我们建议挖掘知识图谱,用于识别生物分子特征,这些特征可以自动复制专家分类,以区分药物致病性或非特定类型的ADR。从可解释的人工智能角度来看,我们探索了简单的分类技术,如决策树和分类规则,因为它们提供了人类可读的模型,解释了分类本身,但也可能为ADR背后的分子机制提供解释。总之,我们挖掘特征的知识图谱;我们训练分类器来区分与ADR相关或不相关的药物;我们分离出既能有效再现专家分类又能被专家解释的特征(即,基因本体论术语、药物靶点或途径名称);我们手动评估它们如何解释。提取的特征以良好的保真度再现了DILI和SCAR的致病或非致病药物的分类。专家们完全同意,73%和38%的最具区别性的特征可能分别解释DILI和SCAR;部分同意(2/3)90%和77%。知识图谱提供了不同的功能,以使简单和可解释的模型,以区分药物之间的原因或不为ADR。除了解释分类,大多数歧视性的功能似乎是很好的候选人,进一步调查ADR机制。
2020-12-16 cs.AI cs.LG cs.SC