Knowledge Map: Toward a New Approach Supporting the Knowledge Management in Distributed Data Mining
分布式数据采掘(DDM)处理在具有分布式数据和计算的环境中发现模式或模型(称为知识)的问题。今天,大量的数据,这些数据通常是地理上分布的,由不同的组织拥有。因此,产生了大量的知识。这不仅给数据采掘带来了知识管理的问题,也给数据挖掘的可视化带来了困难。此外,DDM的主要目标是充分利用分布式数据分析的好处,同时最大限度地减少通信。现有的DDM技术在各个站点执行局部数据的部分分析,然后通过聚合这些局部结果来生成全局模型。这两个步骤不是独立的,因为用于局部分析的幼稚方法可能产生不正确和模糊的全局数据模型。这两个步骤的集成与协同需要一个有效的知识管理,具体来说就是一个高效的知识地图,以便利用挖掘出的知识指导数据挖掘。在本文中,我们提出了“知识地图”,一个表示的知识挖掘的知识。这种新的方法旨在有效地管理挖掘的知识在大规模的分布式平台,如网格。该知识地图不仅便于挖掘结果的可视化和评价,而且还可以协调本地挖掘过程和现有知识,以提高最终模型的准确性。
2019-10-23 cs.AI
Robust Prediction Model for Multidimensional and Unbalanced Datasets
Banasthali University(巴纳斯泰利大学);Manipal University(马尼帕尔大学)
本文提出一种鲁棒预测模型,通过筛选相关属性并解决多维与不平衡问题,在卫生、教育、商业和欺诈检测等五个数据集上验证了其有效性和广泛适用性。
2024-06-05 cs.AI cs.LG
Proceedings of Symposium on Data Mining Applications 2014
Prince Sultan University(苏丹王子大学)
数据采掘与应用研讨会(SDMA 2014)旨在聚集来自统计、计算智能、模式识别、数据库、大数据采掘和可视化等数据采掘相关领域的研究人员和应用开发人员。SDMA是由MEGDAM组织的,旨在推动数据采掘研究领域的最新技术及其各种现实世界的应用。研讨会将为沙特阿拉伯、海湾合作委员会国家和中东地区的数据采掘和机器学习研究人员提供技术合作的机会。接受将主要基于原创性,重要性和贡献的质量。
2020-01-29 cs.AI cs.DB
Prompt4Vis: Prompting Large Language Models with Example Mining and Schema Filtering for Tabular Data Visualization
The Hong Kong Polytechnic University(香港理工大学);University of Chinese Academy of Sciences(中国科学院大学);The Hong Kong University of Science and Technology(香港科技大学);WeBank Co., Ltd(微众银行);University of Liverpool(利物浦大学)
针对自然语言转数据可视化查询性能不足的问题,提出基于大语言模型与上下文学习的 Prompt4Vis 框架,通过多目标示例挖掘和模式过滤模块显著提升了生成性能,在 NVBench 数据集上大幅超越现有 SOTA 方法。
2024-01-29 cs.AI cs.CL cs.DB
Conversational AI Threads for Visualizing Multidimensional Datasets
University of North Carolina(北卡罗来纳大学);Tableau Research(Tableau 研究院)
本文探索了生成式大语言模型在对话式可视化分析中的应用,开发了多线程聊天机器人AI Threads,通过众包和专家评估验证其能有效支持渐进式可视化细化,并展示了其在未见数据集上的潜力。
2023-11-09 cs.AI cs.HC
Unveiling Privacy Policy Complexity: An Exploratory Study Using Graph Mining, Machine Learning, and Natural Language Processing
Computer Science Georgia Southern University Statesboro, USA(计算机科学 乔治亚南方大学 状态boro, 美国);Cybersciences Augusta University Augusta, USA(网络科学 奥古斯塔大学 奥古斯塔, 美国)
本研究提出用交互式图可视化与图挖掘分析隐私政策,识别用户追踪和数据共享模式,提升政策可解释性并辅助合规审计。
2025-06-30 cs.AI cs.CR
Understanding Public Safety Trends in Calgary through data mining
University of Calgary(卡尔加里大学)
本文通过挖掘卡尔加里开放数据,结合卡方检验、关联规则和机器学习,发现犯罪率主要与人口密度等因素相关,为城市安全策略提供依据。
2024-07-30 cs.AI cs.CY
Data Mining for Actionable Knowledge: A Survey
数据采掘过程由一系列步骤组成,从数据清洗、数据选择和转换到模式评估和可视化。数据采掘的核心问题之一是使挖掘出的模式或知识具有可操作性。在这里,术语可操作是指挖掘的模式向决策者建议具体和有利可图的行动。也就是说,用户可以做一些带来直接利益的事情(增加利润,降低成本,提高效率等)。对组织有利然而,还没有关于这一主题的全面调查。本文的目的就是填补这一空白。在本文中,我们首先提出了两个框架,用于挖掘现有的研究方法不明确采用的可操作的知识。然后,我们试图从两个不同的角度来讨论这个主题的一些研究:1)数据采掘任务和2)采用的框架。最后,我们指出了尚未解决或研究不足的问题,并总结了论文。
2005-01-27 cs.AI cs.DB
MMKG-RDS: Reasoning Data Synthesis via Deep Mining of Multimodal Knowledge Graphs
AI Research Institute, Qihoo 360(人工智能研究院,奇虎360)
MMKG-RDS通过深度挖掘多模态知识图谱,提出灵活的推理数据合成框架,提升模型推理能力并生成高质量数据。
2026-02-27 cs.AI
Identification and Uses of Deep Learning Backbones via Pattern Mining
University of California Davis(加利福尼亚大学戴维斯分校)
本文提出通过模式挖掘识别深度学习骨干网络,将问题形式化为集合覆盖与整数线性规划,并用覆盖率启发式方法求解,在多个数据集上验证其可改进性能、解释与可视化。
2024-03-27 cs.AI
Self-service Data Classification Using Interactive Visualization and Interpretable Machine Learning
Central Washington University(中央华盛顿大学)
机器学习算法通常会产生被最终用户和开发人员视为复杂黑盒模型的模型。他们未能解释模型的领域,他们是专为。所提出的迭代视觉逻辑分类器(IVLC)是一种可解释的机器学习算法,允许最终用户设计模型并以更高的置信度对数据进行分类,而不必牺牲准确性。这种技术在处理敏感和关键数据时特别有用,如医疗领域中的癌症数据,错误成本很高。在所提出的交互式无损多维可视化的帮助下,最终用户可以识别数据中的模式,并根据该模式做出可解释的决策。这样的选项在黑盒机器学习方法中是不可能的。交互式移位配对坐标软件系统(SPCVis)支持可解释的IVLC算法。它是一个具有用户交互功能的无损多维数据可视化系统。交互式方法为最终用户提供了灵活性,使其能够自助执行数据分类,而不必依赖于机器学习专家。在处理具有数百个维度/特征的大型数据集时,交互式模式发现变得具有挑战性。为了克服这个问题,本章提出了一个自动分类方法结合新的坐标顺序优化(COO)算法和遗传算法。COO算法自动生成最能代表数据分离的坐标对序列,而遗传算法通过自动生成用于数据分类的区域来帮助优化所提出的IVLC算法。该方法的可行性的基准数据集,包括用于数据分类的交互式和自动化过程的实验。
2021-07-11 cs.AI cs.LG
Process-oriented Iterative Multiple Alignment for Medical Process Mining
Rutgers University(罗格斯大学)
跟踪比对是一种基于生物序列比对的流程挖掘技术,用于可视化和分析工作流数据。然而,使用这种方法进行的任何分析都受到对齐质量的影响。现有的最好的轨迹对齐技术使用渐进的引导树来在O(N2L2)时间内精确地近似最优对齐。这些算法在很大程度上依赖于所选择的引导树度量,经常返回干扰解释的配对分数减少的错误之和,并且对于大型数据集是计算密集型的。为了缓解这些问题,我们提出了面向过程的迭代多重对齐(PIMA),它包含专门的优化,以更好地处理工作流数据。我们证明,PIMA是一个灵活的框架,能够实现更好的总和对得分比现有的跟踪对齐算法,只有O(NL2)的时间。我们将PIMA应用于分析医疗工作流数据,展示了迭代对齐如何更好地表示数据并促进从数据可视化中提取见解。
2017-09-16 cs.AI cs.DS
Integrating E-Commerce and Data Mining: Architecture and Challenges
我们表明,电子商业领域可以提供所有正确的成分,成功的数据采掘,并声称它是一个杀手域的数据采掘。我们描述了一个集成的体系结构,根据我们的经验,在蓝色马提尼软件,支持这种集成。该架构可以显著减少预处理、清理和数据理解工作,这些工作通常在知识发现项目中占用80%的时间。我们强调需要在应用程序服务器层(而不是Web服务器)进行数据汇集,以支持对发现过程至关重要的数据和元数据的日志记录。我们描述了从事务处理系统和客户事件流(例如,clickstreams)到数据仓库。我们详细介绍了挖掘工作台,它需要通过报告、数据采掘算法、可视化和OLAP提供数据的多个视图。我们总结了一系列挑战。
2000-07-14 cs.AI cs.CV cs.DB
Towards a Near Universal Time Series Data Mining Tool: Introducing the Matrix Profile
UNIVERSITY OF CALIFORNIA RIVERSIDE(加州大学河滨分校)
在过去的十年里,人们对文本、DNA和其他一些数据库的全对相似性搜索(或自连接)进行了大量的研究,这些系统已被应用于许多不同的数据采掘问题。然而,令人惊讶的是,在解决这个问题的时间序列的连续性方面几乎没有取得进展。在这篇论文中,我们介绍了一个几乎通用的时间序列数据采掘工具,称为矩阵配置文件,它解决了所有对相似性搜索问题,并以易于访问的方式缓存输出。该算法不仅具有无参数、精确、可扩展等优点,而且对单维和多维时间序列都适用。通过在矩阵轮廓之上构建时间序列数据采掘方法,许多时间序列数据采掘任务(例如,模体发现、不一致发现、小形状发现、语义分割和聚类)可以被有效地解决。由于同一个矩阵轮廓可以被不同的时间序列数据采掘方法所共享,因此矩阵轮廓是通用的和计算一次使用多次的数据结构。我们证明了许多时间序列数据采掘问题,包括主题发现,不和谐的发现,弱标记的时间序列分类,和表示学习域地震学,昆虫学,音乐处理,生物信息学,人类活动监测,电力需求监测和医学的矩阵配置文件的效用。我们希望矩阵概要不是结束,而是更多时间序列数据采掘项目的开始。
2020-07-11 cs.AI cs.LG stat.ML
Linking Heterogeneous Data with Coordinated Agent Flows for Social Media Analysis
Zhejiang University(浙江大学);Department of Communication, Michigan State University(密歇根州立大学通讯系)
本研究提出LLM智能体系统SIA,通过协调智能体流关联社交媒体异构多模态数据,采用阶段同步策略挖掘洞见,经评估可发现多样有意义的洞见,为社交媒体分析提供新方法。
2026-07-31 cs.AI cs.HC cs.SI
ShaRP: Shape-Regularized Multidimensional Projections
Utrecht University(乌得勒支大学)
ShaRP是一种能够提供用户对投影形状显式控制的多维投影方法,适用于交互式可视化场景。
2023-06-01 cs.AI cs.HC cs.LG
Biomedical Document Clustering and Visualization based on the Concepts of Diseases
Purdue School of Engineering and Technology, IUPUI(印第安纳大学与普渡大学印第安纳波利斯联合分校普渡工程与技术学院)
文档聚类是一种文本挖掘技术,用于在数字图书馆或在线语料库中提供更好的文档搜索和浏览。基于现有本体的生物医学文档聚类已经有了很多研究。但是,医学概念的关联和同现并没有很好地表示使用本体。在本研究中,提出了一种疾病概念的向量表示和概念间的相似性度量。他们在语料库的背景下识别最接近的疾病概念。每个文档都使用向量空间模型表示。一个权重计划,提出了考虑本地内容和概念之间的关联。采用自组织映射作为文档聚类算法。SOM的矢量投影和可视化特性使其能够可视化和分析二维的空间上的聚类分布和相互关系。实验结果表明,提出的文档聚类框架产生有意义的集群,并促进可视化的疾病概念的基础上的集群。
2018-10-22 cs.AI cs.CL cs.LG
Cluster Model for parsimonious selection of variables and enhancing Students Employability Prediction
Banasthali University(巴纳斯塔利大学);University of Rajasthan(拉贾斯坦大学)
本文提出一种基于聚类的预处理模型,通过精简变量选择提升预测算法性能,从而更准确地预测学生就业能力。
2024-06-05 cs.AI cs.CY cs.LG
Opinion Mining on Offshore Wind Energy for Environmental Engineering
Montclair State University(蒙特克莱尔州立大学)
本文采用TextBlob、VADER和SentiWordNet三种机器学习模型对社交媒体数据进行情感分析,研究大众对海上风能的意见,并利用NLP技术与数据可视化工具展示结果,以支持智能治理与决策。
2024-09-22 cs.AI cs.CL cs.LG
Matrix Profile for Anomaly Detection on Multidimensional Time Series
Visa Research;UC Riverside(加州大学河滨分校)
本文研究多维时间序列异常检测问题,提出扩展矩阵轮廓法以高效寻找k近邻,通过119个数据集验证其在无监督、监督和半监督设置下的高性能。
2026-04-07 cs.AI cs.DB cs.LG