Explainable LiDAR 3D Point Cloud Segmentation and Clustering for Detecting Airplane-Generated Wind Turbulence
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);ScaDS.AI, TU Dresden(德累斯顿工业大学ScaDS.AI);Institute of Atmospheric Physics, German Aerospace Center(德国航空航天中心大气物理研究所);RWTH Aachen University(亚琛工业大学)
提出一种基于DGCNN和聚类的可解释LiDAR点云分割方法,用于实时检测飞机尾流涡,通过扰动技术提升模型透明度,实验证明其优于四种基线方法。
2025-03-01 cs.CV cs.LG
Stable and consistent density-based clustering via multiparameter persistence
本文提出基于度-里斯多参数构造的密度聚类算法Persistable,通过对应交错距离证明其稳定性与一致性,并开发可视化工具指导参数选择,在基准数据上有效识别多尺度聚类结构。
2025-06-22 cs.LG math.ST stat.ML
An Ensemble Framework for Detecting Community Changes in Dynamic Networks
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
动态网络,特别是那些代表社交网络的动态网络,随着时间的推移,其社区结构不断演变。节点可以在不同的社区之间迁移,社区可以分裂成多个新的社区,社区可以合并在一起,等等。为了表示动态网络与不断发展的社区,必须使用动态模型,而不是静态模型。在这里,我们使用动态随机块模型,其中底层块模型在不同时间是不同的。为了表示该动态模型所表达的结构变化,网络将被分成离散的时间段,聚类算法将为每个段分配块成员。在本文中,我们表明,使用集成的聚类分配适应可扩展的聚类算法的方差,并产生优越的结果,成对精度和成对召回。我们还表明,动态集群所产生的合奏可以被可视化为一个流程图,简洁地封装社区的演变。
2017-07-24 cs.LG cs.SI
Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering
虽然机器学习(ML)模型越来越被信任在不同和不同的领域做出决策,但使用此类模型的系统的安全性已成为越来越多的关注点。特别是,机器学习模型通常是在来自潜在不可信来源的数据上进行训练的,这为对手提供了通过将精心制作的样本插入训练集中来操纵它们的机会。最近的研究表明,这种类型的攻击,称为中毒攻击,允许攻击者将后门或特洛伊木马插入模型中,在推理时使用简单的外部后门触发器并且仅从模型本身的黑盒角度来实现恶意行为。检测这种类型的攻击是具有挑战性的,因为只有当后门触发器(只有对手知道)存在时才会发生意外行为。模型用户,无论是训练数据的直接用户还是来自目录的预训练模型的用户,都可能无法保证其基于ML的系统的安全操作。本文提出了一种新的神经网络后门检测和清除方法。通过大量的实验结果,我们证明了它的有效性神经网络分类文本和图像。据我们所知,这是第一种能够检测恶意数据的方法,这些恶意数据被精心设计用于插入后门,并修复不需要经过验证和可信数据集的模型。
2018-11-09 cs.CR cs.LG stat.ML
SDC-HSDD-NDSA: Structure Detecting Cluster by Hierarchical Secondary Directed Differential with Normalized Density and Self-Adaption
Shenzhen University(深圳大学)
针对现有基于密度的聚类算法无法检测未被低密度区域分隔的高密度区域中多簇结构的问题,提出SDC-HSDD-NDSA算法,通过层次化二级有向微分等技术实现该类结构检测,实验证明其在多场景下优于现有算法。
2025-02-14 cs.AI cs.LG
Detecting Batch Heterogeneity via Likelihood Clustering
Pillar Biosciences Inc(Pillar 生物科技公司)
通过似然聚类检测批次异质性,利用贝叶斯模型证据区分生物变异与技术伪影,提升临床诊断准确性。
2026-01-14 cs.LG q-bio.GN stat.ME
Detecting Quality Problems in Data Models by Clustering Heterogeneous Data Values
Philipps-Universität Marburg(马尔堡菲利普大学)
如果数据适合其预期用途,则数据具有高质量。数据的质量受底层数据模型及其质量的影响。一个主要的质量问题是数据的异质性,因为可理解性和互操作性等质量方面受到损害。这种异质性可能是由数据模型中的质量问题引起的。数据异构性可能会发生,特别是当给定的信息结构不够,只是在数据值中捕获时,通常是由于底层数据模型中缺少或不合适的结构。我们提出了一个自下而上的方法来检测质量问题的数据模型,表现在异构数据值。它支持对现有数据的探索性分析,并可由领域专家根据其领域知识进行配置。所选数据字段的所有值按语法相似性进行聚类。从而提供了数据值在语法上的多样性的概述。它将帮助领域专家了解数据模型在实践中是如何使用的,并导出数据模型的潜在质量问题。我们概述了一个概念验证的实施和评估我们的方法使用文化遗产数据。
2021-11-12 cs.DB cs.LG
Graphon based Clustering and Testing of Networks: Algorithms and Theory
Technical University of Munich(慕尼黑工业大学);IMPRS-IS, University of Tübingen(图宾根大学);University of Tübingen(图宾根大学)
网络值数据在广泛的应用中会遇到,并且由于其复杂的结构和缺乏顶点对应而在学习中提出了挑战。这类问题的典型例子包括蛋白质结构和社交网络的分类或分组。各种方法,从图核到图神经网络,已经被提出,在图分类问题中取得了一些成功。然而,大多数方法都有有限的理论依据,它们的适用性超出分类仍然没有探索。在这项工作中,我们提出了聚类多个图的方法,没有顶点对应关系,这是最近的文献估计图-对应于无限顶点极限的图的对称函数的启发。我们提出了一种新的基于排序和平滑图子估计的图距离。使用所提出的图距离,我们提出了两个聚类算法,并表明他们达到国家的最先进的结果。我们证明了这两种算法的统计一致性Lipschitz假设下的图度。我们进一步研究了所提出的距离的适用性图两个样本测试问题。
2021-11-07 cs.LG stat.ML
Generalized Spectral Clustering via Gromov-Wasserstein Learning
Stanford University(斯坦福大学);Florida State University(佛罗里达州立大学)
我们建立了一个谱聚类和Gromov-Wasserstein学习(GWL),最近的最佳运输为基础的方法图分区之间的桥梁。这种联系既解释了GWL的最新性能,又改进了GWL的最新性能。Gromov-Wasserstein框架通过节点匹配问题的二次规划松弛来提供源图和目标图的节点之间的概率对应。我们的研究结果利用和连接的观察,GW的几何结构仍然有效的任何秩2张量,特别是邻接,距离,和各种核矩阵的图形,和热核优于邻接矩阵产生稳定和信息节点对应。在GWL框架中使用热核提供了新的多尺度图比较,而不损害理论保证,同时立即产生改进的经验结果。GWL框架对图划分的一个关键见解是计算从源图到具有孤立的自连接节点的模板图的GW对应。我们表明,当比较两个节点的模板图使用热核在无限的时间限制,所得到的分区同意与分区产生的费德勒向量。这反过来又产生了一个新的见解,通过镜头的最佳运输的k-割图分割问题。我们在一系列真实网络上的实验取得了与GWL相当的结果,并且在许多情况下表现优于GWL。
2021-03-03 cs.LG math.MG stat.ML
Bipartite graph partitioning and data clustering
从数据采掘应用中产生的许多数据类型可以被建模为二分图,示例包括文本语料库中的术语和文档、购物篮分析中的客户和购买项目以及电影推荐系统中的评论者和电影。在本文中,我们提出了一种新的数据聚类方法的基础上划分的基础二分图。通过最小化二分图的不匹配顶点对之间的边权重的归一化和来构造分区。我们表明,通过计算相关的二分图的边权重矩阵的部分奇异值分解(SVD),可以得到一个近似的解决方案的最小化问题。我们指出我们的聚类算法的连接,对应分析中使用的多元分析。我们还简要讨论了将数据对象分配到多个集群的问题。在实验结果中,我们将我们的聚类算法应用于文档聚类问题,以说明其有效性和效率。
2001-08-27 cs.IR cs.LG
Efficient unimodality test in clustering by signature testing
本文提出了一种新的单峰检验方法,并将其应用于系统聚类方法中。所提出的方法表示为签名测试(Sigtest),转换数据的基础上,其统计。转换后的数据与原始数据相比具有更小的变化,并且可以在简单的单峰检验中进行评估。与已有的单峰检验方法相比,Sigtest方法在检测重叠聚类时具有更高的准确性和更小的计算复杂性。仿真结果表明,这种统计检验的有效性的真实和合成数据集。
2014-01-09 cs.LG stat.ML
Unpaired Multi-View Graph Clustering with Cross-View Structure Matching
National University of Defense Technology(国防科技大学);Harbin Institute of Technology(哈尔滨工业大学)
本文针对多视图聚类中数据非配对问题,提出无参数的UPMGC-SM框架,利用跨视图结构匹配优化样本对应关系,统一处理完全与部分非配对场景,并验证了其有效性和泛化性。
2023-07-07 cs.CV cs.LG
Predictive Maintenance Study for High-Pressure Industrial Compressors: Hybrid Clustering Models
INAF(意大利国家天体物理研究所)
本文研究高压工业压缩机的预测性维护,提出将无监督聚类特征与分类模型结合的混合方法,使故障检测准确率平均提升4.87%,训练时间减少22.96%。
2024-11-21 cs.LG
SHADE: Deep Density-based Clustering
University of Vienna(维也纳大学);UniVie Doctoral School Computer Science(维也纳大学计算机科学博士学院);LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);ds:UniVie(维也纳大学数据科学中心)
针对高维含噪数据中任意形状簇检测难题,提出首个将密度连通性纳入损失函数的深度聚类算法SHADE,无需用户输入即可自动聚类,聚类质量更优且嵌入空间利于结果可视化解释。
2024-10-08 cs.LG
Deep Clustering Evaluation: How to Validate Internal Clustering Validation Measures
University of Kentucky(肯塔基大学)
本文针对深度聚类评估中传统内部聚类验证指标的问题,提出一套系统评估框架,通过理论分析、识别可靠嵌入空间及加权评分,减少不当使用指标的误导,提升与外部指标的一致性。
2026-08-25 cs.LG stat.ML
Clustering of Big Data with Mixed Features
Trinity College Dublin(都柏林圣三一学院)
对大规模混合数据进行聚类是数据挖掘的核心问题。许多方法采用k-means的思想,因此对初始化敏感,仅检测球形聚类,并且需要先验未知的聚类数量。本文提出了一种新的混合类型大数据聚类算法,旨在提高峰值发现技术的适用性和效率。改进有三个方面:(1)该算法适用于混合数据;(2)该算法能够检测出离群点和密度值相对较低的聚类;(3)该算法能够确定正确的聚类数。通过应用快速k-近邻方法和缩小到分量集,大大降低了算法的计算复杂度。我们目前的实验结果,以验证我们的算法在实践中工作得很好。关键词:聚类;大数据;混合属性;密度峰;最近邻图;电导。
2020-11-11 cs.LG stat.ML
SMART: Semantic Matching Contrastive Learning for Partially View-Aligned Clustering
College of Computer Science and Technology, Huaqiao University(华侨大学计算机科学与技术学院);Department of Computer Science, Shantou University(汕头大学计算机科学系);Chongqing Key Laboratory of Nonlinear Circuits and Intelligent Information Processing, College of Electronic and Information Engineering, Southwest University(西南大学电子信息工程学院非线性电路与智能信息处理重点实验室);School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院);Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系)
SMART通过语义匹配对比学习解决部分视图对齐聚类中的分布偏移问题,提升对齐和非对齐数据的语义利用效果。
2025-12-17 cs.AI cs.CV cs.LG
Disentangling and Learning Robust Representations with Natural Clustering
University of Zaragoza(萨拉戈萨大学)
学习表示,解开数据中的可变性的潜在因素,是在深度模型中实现泛化的直观方法。在这项工作中,我们解决的情况下,生成因子呈现多峰分布,由于存在的类区分的数据。我们提出了N-VAE,这是一个模型,它能够分离的变化因素,这是专属于某些类之间共享的因素。该模型通过定义类条件潜空间和共享潜空间实现了显式组合潜变量结构。我们展示了它对检测和解开类相关生成因子的有用性,以及它生成包含训练数据中看不到的特征的人工样本的能力。
2019-11-05 cs.LG stat.ML
Clustering with Temporal Constraints on Spatio-Temporal Data of Human Mobility
University of Konstanz(康斯坦茨大学)
利用人的时空数据提取重要地点或感兴趣的地方(POI)是人类移动性分析的基础。经典的聚类方法已被用于在先前的工作中检测POI,但没有考虑时间约束。通常,聚类所涉及的参数难以确定,例如,层次聚类中的最优聚类数。目前,研究人员要么选择启发式值或使用基于空间距离的优化来确定合适的参数集。我们认为,现有的研究并没有最佳地解决时间信息,从而留下了很大的改进空间。考虑到人类移动的时间约束,我们引入了一种有效的聚类方法-即POI聚类与时间约束(PC-TC)-提取POI的时空数据的人类移动。根据现代社会中人类的流动性,我们的方法旨在提取全球POI(例如,工作场所或大学)和本地POI(例如,图书馆、实验室和食堂)。基于包括193个个体的两个公开可用的数据集,我们的评估结果表明,PC-TC在粒度方面具有很大的预测潜力(即,提取的POI的数量)和可预测性。
2018-07-02 cs.LG stat.ML
An Intelligent Approach to Detecting Novel Fault Classes for Centrifugal Pumps Based on Deep CNNs and Unsupervised Methods
University of Tehran(德黑兰大学)
本文针对离心泵故障诊断中未知故障信息不足的问题,提出结合深度卷积神经网络、t-SNE 与聚类技术的两阶段方法,先训练已知故障模型,再检测并增量学习新型故障,实验验证了其高准确率。
2023-09-22 cs.LG
Co-clustering based exploratory analysis of mixed-type data tables
Orange Labs(奥兰治实验室);University of Paris 1 Panthéon-Sorbonne(巴黎第一大学先贤祠-索邦大学)
协同聚类是一类无监督的数据分析技术,它将数据表的实例和变量之间现有的底层依赖结构提取为同质块。这些技术中的大多数仅限于相同类型的变量。在本文中,我们提出了一种混合数据的共聚类方法的基础上的两个步骤的方法。在第一步中,所有变量根据分析师选择的箱数进行二进制化,在数值情况下通过等频率离散化,或在分类情况下保持最频繁的值。第二步对实例和二进制变量应用联合聚类,从而产生实例组和变量部分组。我们将这种方法应用于几个数据集,并与应用于相同数据的多重对应分析的结果进行比较。
2022-12-22 cs.LG math.ST stat.ML
Outlier Detection Using a Novel method: Quantum Clustering
Tiangong University(天津工业大学);Shanghai Library(上海图书馆)
提出了一种新的离群点检测假设:正常数据实例通常位于数据密度几乎没有波动的区域,而离群点通常出现在数据密度波动剧烈的区域。基于这一假设,我们提出了一种新的基于密度的方法来进行无监督离群点检测。这种方法被称为量子聚类(QC),处理未标记的数据处理,并构造一个势函数来找到聚类的质心和离群点。实验表明,势函数能有效地发现数据点中隐藏的异常点。此外,通过使用QC,我们可以通过调整参数$σ$来发现更多的细微异常值。此外,我们的方法也评估了两个数据集(空气质量检测和达尔文对应项目)从两个不同的研究领域,结果表明,我们的方法的广泛适用性。
2020-06-08 cs.AI cs.LG stat.ML
Entropy-Aware Similarity for Balanced Clustering: A Case Study with Melanoma Detection
Korea University(高丽大学)
本文提出熵感知相似度平衡聚类方法EASB,通过结合角度、距离与熵最大化聚类平衡性,并在ISIC 2019/2020黑色素瘤数据上验证了其优于经典方法的检测性能。
2023-05-11 cs.CV cs.LG eess.IV
Lumbermark: Resistant Clustering by Chopping Up Mutual Reachability Minimum Spanning Trees
Systems Research Institute, Polish Academy of Sciences(波兰科学院系统研究所)
Lumbermark是一种鲁棒的分裂聚类算法,通过切断互达最小生成树中的大枝来检测不同大小、密度和形状的簇。该算法通过互达距离平滑数据分布,减少低密度对象的影响,并提供用户指定大小的聚类划分。
2026-10-27 cs.LG stat.AP stat.ML
Clustering and Data Augmentation to Improve Accuracy of Sleep Assessment and Sleep Individuality Analysis
Graduate School of Information Science and Technology, Osaka University(大阪大学信息科学与技术研究生院);SANKEN, Osaka University(大阪大学先进科学研究中心);Kyoto Tachibana University(京都橘大学)
本研究利用睡眠声音,通过VAE、GMM和LSTM构建睡眠评估模型,达到94.8%的睡眠满意度区分准确率,并用TimeSHAP揭示个体间影响因素的差异。
2024-10-17 cs.AI cs.LG cs.SD
Minimizing Localized Ratio Cut Objectives in Hypergraphs
超图是对数据中的多路关系进行建模的有用抽象,超图聚类是检测此类数据中密切相关的节点组的任务。图聚类已经被广泛研究,并且有许多方法可以检测小的局部聚类,而无需探索整个输入图。然而,在超图中只有少数几种专门的局部聚类方法。在这里,我们提出了一个框架,局部超图聚类的基础上最小化局部比割目标。我们的框架在超图中的参考节点的输入集,并解决了超图最小$s$ - $t$切割问题的序列,以确定附近的良好连接的节点簇,基本上与输入集重叠。我们的方法扩展了基于图的技术,但更一般,并有新的输出质量保证。首先,我们的方法可以最小化新的广义概念的超图削减,这取决于特定配置的节点内的每个超边,而不仅仅是对切割超边的数量。第二,我们的框架有几个有吸引力的理论属性输出集群质量。最重要的是,我们的算法是强局部的,这意味着它的运行时间只取决于输入集的大小,并且不需要探索整个超图来找到好的局部聚类。我们使用我们的方法来有效地识别集群在超图的真实世界的数据与数百万个节点,数百万的hyperedges,和大的平均hyperedge大小与运行时间范围在几秒钟和几分钟之间。
2020-07-01 cs.DM cs.DS cs.LG