Unsupervised Deep Discriminant Analysis Based Clustering
Fuzhou University（福州大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
这项工作提出了一种无监督的深度判别分析聚类。该方法基于深度神经网络，旨在以无监督的方式最小化簇内差异并最大化簇间差异。该方法能够将数据投影到一个非线性的低维潜空间中，具有紧凑而清晰的分布模式，从而可以有效地识别数据簇。我们进一步提供了一个扩展的方法，使可用的图信息可以有效地利用，以提高聚类性能。大量的数值结果图像和非图像数据与图形信息的情况下，证明了所提出的方法的有效性。
2022-06-09 cs.LG
Sparse K-Means with $\ell_{\infty}/\ell_0$ Penalty for High-Dimensional Data Clustering
Xi’an Jiaotong University（西安交通大学）；Old Dominion University（奥多明尼昂大学）
稀疏聚类是对具有冗余噪声特征的高维数据集进行合理划分的一种方法，近年来受到了越来越多的关注。现有的研究通常解决这个问题的一个框架，最大限度地提高加权功能的贡献受到$\ell_2/\ell_1$惩罚。然而，该框架有两个严重的缺点：一是该框架的解决方案在许多情况下必然涉及相当一部分冗余噪声特征，另一个是该框架既没有提供直观的解释为什么这个框架可以选择相关的特征，也没有导致任何理论保证特征选择的一致性。在这篇文章中，我们试图克服这些缺点，通过开发一个新的稀疏聚类框架，使用$\ell_{\infty}/\ell_0$惩罚。首先，我们引入了新的概念，最佳分区和噪声特征的高维数据聚类问题，在此基础上，以前已知的框架可以直观地解释原则。然后，我们应用建议的$\ell_{\infty}/\ell_0$框架，制定一个新的稀疏k-means模型与$\ell_{\infty}/\ell_0$惩罚（$\ell_0$ -k-means为短）。我们提出了一个有效的迭代算法来解决$\ell_0$ -k-means。为了深入理解$\ell_0$ -k-means算法的行为，我们证明了当数据矩阵是由高维高斯混合模型生成时，由$\ell_0$ -k-means算法得到的解具有特征选择一致性.最后，我们提供了实验与合成数据和艾伦发育小鼠脑图谱数据，以支持所提出的$\ell_0$ -k-均值具有更好的噪声特征检测能力，比…
2014-03-31 cs.LG stat.ME stat.ML
Clustering and Classification with Non-Existence Attributes: A Sentenced Discrepancy Measure Based Technique
World University of Bangladesh (WUB)（孟加拉世界大学）
对于一些或所有的数据实例，一些独立世界聚类问题遭受不完整的数据表征，由于丢失或缺失属性。典型的聚类方法不能直接应用于这样的数据，除非预处理的技术，如插补或边缘化。我们已经克服了这个缺点，利用一个句子离散措施，我们称之为属性加权惩罚的离散（AWPD）。利用AWPD度量，对聚类算法K-MEANS++和Scalable K-MEANS++以及分类算法k近邻（kNN）进行了改进，使其直接适用于不存在属性的数据集。理论分析表明，基于AWPD的K-MEANS++算法、Scalable K-MEANS++算法和kNN算法在迭代次数有限的情况下合并成一个局部素数。我们已经报告了针对各种形式的不存在的许多基准数据集的深入实验，表明与通常用于处理此类不充分数据的一些著名的插补方法相比，投影聚类和分类技术通常显示出更好的结果。该技术的目的是跟踪宝贵的数据：直接应用我们的方法对数据集的非存在属性，并建立一个方法来检测非结构化的非存在属性具有最佳的准确率和最小的成本。
2020-02-24 cs.LG stat.ML
Dynamic Clustering for Personalized Federated Learning on Heterogeneous Edge Devices
Department of Computer Science；Engineering, \ Pennsylvania State University, PA, USA E-mails
本文提出动态聚类算法DC-PFL，通过模型差异度量数据异构性并动态分组客户端，结合逐层聚合机制，在异构边缘设备上显著减少训练时间并提升模型精度。
2025-08-03 cs.LG
Optimizing Communication and Device Clustering for Clustered Federated Learning with Differential Privacy
University of Miami（迈阿密大学）；Auburn University（奥本大学）
本文提出一种安全高效的聚类联邦学习设计，通过联合优化设备聚类、资源分配和差分隐私噪声并引入动态惩罚辅助的多智能体强化学习算法，显著提升了收敛速度和累积奖励。
2025-07-09 cs.LG
Closed-form Expressions for Maximum Mean Discrepancy with Applications to Wasserstein Auto-Encoders
AT&T Labs（AT&T实验室）
最大平均离散度（MMD）在统计学和机器学习中有许多应用，最近作为Wasserstein自动编码器（WAE）中的惩罚。在本文中，我们计算封闭形式的表达式估计高斯核MMD之间的一个给定的分布和标准的多元正态分布。该公式揭示了与Henze-Zirkler检验的Baringhaus-Henze-Epps-Pulley（BHEP）统计量的联系，并提供了关于MMD的进一步见解。我们引入MMD的标准化版本作为WAE训练目标的惩罚，允许MMD值的更好的可解释性和不同超参数设置的更多兼容性。接下来，我们建议在代码层使用一种批处理规范化版本;这具有使内核宽度选择更容易，减少训练工作量和防止聚合代码分布中的离群值的好处。我们的合成和真实数据的实验表明，分析公式改善了常用的MMD的随机逼近，并证明代码规范化提供了显着的好处时，训练WAE。
2020-06-02 cs.LG stat.ME stat.ML
Federated Soft Clustering via Generalized Total Variation Minimization
Aalto University（阿尔托大学）
针对联邦学习中各设备持有私有数据并拟合个性化高斯混合模型的软聚类问题，提出广义全变差最小化框架，比较三种差异度量，并给出优化算法与收敛保证，评估了对数据异质性的鲁棒性。
2026-09-18 cs.LG stat.ML
Gromov-Wasserstein Factorization Models for Graph Clustering
Infinia ML Inc.（英飞尼亚机器学习公司）
我们提出了一个新的非线性因子分解模型的图的拓扑结构，并可选地，节点属性。这个模型是基于一个伪度量称为Gromov-Wasserstein（GW）的差异，比较关系的方式图。它将观察到的图估计为由一组具有不同权重的原子构造的GW重心。通过最小化每个观察到的图与其基于GW重心的估计之间的GW差异，我们学习与观察到的图相关联的原子及其权重。该模型实现了一种新的灵活的因子分解机制，在GW差异下，观察到的图和可学习的原子可以是不对齐的，并具有不同的大小。我们设计了一个有效的近似算法来学习这个Gromov-Wasserstein分解（GWF）模型，将循环计算展开为堆叠模块并使用反向传播计算梯度。堆叠的模块可以具有两种不同的架构，其分别对应于邻近点算法（PPA）和Bregman交替方向乘法器方法（BADMM）。实验表明，我们的模型在聚类图上获得了令人鼓舞的结果。
2019-11-19 cs.LG stat.ML
Ridge Fusion in Statistical Learning
University of Minnesota（明尼苏达大学）
我们提出了一种惩罚似然方法，联合估计多个精度矩阵用于二次判别分析和基于模型的聚类。岭惩罚和岭融合惩罚用于引入收缩并促进精度矩阵估计之间的相似性。分块坐标下降用于优化，验证似然用于调整参数选择。我们的方法被应用于二次判别分析和半监督模型的聚类。
2014-05-05 cs.LG stat.CO stat.ML
Dual-Learning based Penalized Multi-Align Clustering for Multi-View Incomplete and Disorderly Data
Dalian University of Technology（大连理工大学）；Hainan University（海南大学）
针对多模态数据的不完整和时间异步问题，提出基于对偶学习的惩罚多对齐聚类模型（DLPMAC），通过对偶学习保持语义和结构一致性，并利用惩罚机制实现多对多数据对齐，提升对齐精度并避免数据聚合。
2026-06-29 cs.LG
Riemannian Difference-of-Convex Optimization for K-Means Clustering
本文提出RADA-DC，一种结合对偶正则化与DC线性化的黎曼交替下降上升方法，用于求解基数约束的K-means聚类问题，在聚类数较大时优于K-means++等基线。
2026-09-29 cs.LG math.OC
Inhomogeneous graph trend filtering via a l2,0 cardinality penalty
Indiana University School of Medicine（印第安纳大学医学院）；University of Southampton（南安普顿大学）；Indiana University（印第安纳大学）
针对图上非齐次分段光滑信号估计问题，提出带ℓ₂,₀范数惩罚的GTF模型，证明其等价于共享分配矩阵的k-means聚类与最小图割，设计两种求解方法，实验验证其在多任务上性能与效率更优。
2025-01-13 cs.LG cs.SI stat.ML
Inference of Multiscale Gaussian Graphical Model
Université Paris-Saclay, CNRS, Univ Evry, Laboratoire de Mathématiques et Modélisation d’Evry（巴黎-萨克雷大学，国家科学研究中心，欧very大学，欧very数学与建模实验室）
本文提出多尺度图Lasso方法，通过同时进行聚类与图推断提升网络可解释性，应用于基因组和微生物数据。
2026-03-23 cs.LG stat.ML
Affinity Clustering Framework for Data Debiasing Using Pairwise Distribution Discrepancy
Research Institute CODE, Bundeswehr University Munich（慕尼黑联邦国防军大学CODE研究所）
本文提出 MASC 亲和聚类数据增强框架，通过数据集间分布差异构建相似矩阵并谱聚类，引入相似情境真实数据平衡非二元受保护属性分布，实现可比现有方法的有效去偏。
2023-06-02 cs.AI cs.LG stat.ML
DWCL: Dual-Weighted Contrastive Learning for Multi-View Clustering
Beijing Institute of Technology（北京理工大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；La Trobe University（拉筹伯大学）
提出DWCL模型，通过B-O对比机制和双加权策略减少不可靠跨视图并缓解表示退化，在八个多视图数据集上优于现有方法。
2025-01-23 cs.CV cs.LG
Incomplete Multi-view Clustering via Graph Regularized Matrix Factorization
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The University of Queensland（昆士兰大学）
不完整视图的聚类是多视图聚类中的一个挑战。在本文中，我们提供了一种新颖而简单的方法来解决这个问题。具体地说，该方法同时利用每个视图的局部信息和视图间的互补信息来学习所有样本的共同潜在表示，从而大大提高了所获得的表示的紧凑性和可区分性。与传统的图嵌入方法相比，该方法不需要引入额外的正则化项和相应的惩罚参数来保持数据的局部结构，因此不会增加额外参数选择的负担.通过对每个视图的基矩阵施加正交约束，该方法能够处理样本外。此外，所提出的方法可以被看作是一个统一的框架，多视图学习，因为它可以处理不完整和完整的多视图聚类和分类任务。在多个多视图数据集上进行的大量实验证明，该方法可以显着提高聚类性能。
2018-09-17 cs.CV cs.LG
Agglomerative Neural Networks for Multi-view Clustering
传统的多视图聚类方法通过最小化一致视图和子视图之间的成对差异来寻求视图一致性。然而，成对比较不能精确地描绘视图间的关系，如果一些子视图可以进一步聚集。为了解决上述问题，我们提出了凝聚分析近似的最佳共识视图，从而描述了一个视图结构内的子视图关系。我们提出了基于约束拉普拉斯秩的聚集神经网络（ANN）来直接聚类多视图数据，同时避免了专用的后处理步骤（例如，使用K-means）。我们进一步扩展ANN与可学习的数据空间来处理复杂场景的数据。我们的评估对几个国家的最先进的多视图聚类方法在四个流行的数据集显示了有前途的观点一致性分析能力的人工神经网络。我们进一步证明了人工神经网络的能力，在分析复杂的视图结构和可扩展性，在我们的案例研究，并解释其鲁棒性和有效性的数据驱动的修改。
2020-05-12 cs.LG stat.ML
Gromov-Wasserstein Discrepancy with Local Differential Privacy for Distributed Structural Graphs
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Samsung Research America, inc.（三星美国研究公司）
学习结构化数据之间的相似性，尤其是图之间的相似性，是结构化数据挖掘的基本问题之一。除了像图核这样的方法之外，Gromov-Wasserstein（GW）距离最近引起了很大的关注，因为它可以灵活地捕获拓扑和特征特征，以及处理排列不变性。然而，结构化数据广泛分布于不同的数据采掘和机器学习应用中。由于隐私问题，访问分散的数据仅限于单个客户端或不同的筒仓。为了解决这些问题，本文提出了一个隐私保护框架，分析了在联邦风格下从图神经网络中学习到的节点嵌入的GW差异，然后基于多比特编码器显式地放置局部差分隐私（LDP）来保护敏感信息。我们的实验表明，强大的隐私保护的$\varepsilon$ -LDP算法保证，所提出的框架不仅保留隐私图学习，但也提出了一个噪声结构度量下GW距离，从而在分类和聚类任务的性能相当，甚至更好。此外，我们的理由背后的基于LDP的GW距离分析和经验。
2022-02-01 cs.CR cs.LG
Multi-Domain Clustering via Measure Quantization
Instituto Federal de Educação, Ciência e Tecnologia do Ceará（塞阿拉联邦教育与科学技术学院）；Federal University of Ceara（塞阿拉联邦大学）；Sigma Nova Science（Sigma Nova Science公司）
提出基于测度量化的多域聚类框架，通过最小化概率度量学习共享原型，结合最优传输分配，在小批量优化下高效且优于基线。
2026-09-21 cs.LG stat.ML
Maximum Mean Discrepancy Kernels for Predictive and Prognostic Modeling of Whole Slide Images
University of Warwick（华威大学）
两个图像有多相似？在计算病理学中，其中来自患者的数字扫描的组织样本的全载玻片图像（WSI）的大小可以是数千兆像素，确定两个WSI之间的相似程度是具有许多实际应用的具有挑战性的任务。在这项工作中，我们探索了一种新的策略，基于核化的最大均值离散（MMD）分析确定WSI之间的成对相似性。所提出的方法的工作原理是通过计算两个WSI之间的MMD使用内核的图像补丁的深度功能。这允许将WSI的整个数据集表示为WSI水平聚类的核矩阵，从乳腺癌患者的常规WSI中弱监督预测TP-53突变状态，以及具有最先进预测性能的生存分析。我们相信，这项工作将开辟进一步的途径，应用WSI级内核的预测和预后任务，在计算病理学。
2023-01-23 cs.CV cs.LG eess.IV
Robust computation of optimal transport by $β$-potential regularization
The University of Tokyo（东京大学）；Kyoto University（京都大学）；RIKEN AIP center（理化学研究所AIP中心）
在机器学习领域，最优传输（OT）已经成为一种广泛使用的工具，用于度量概率分布之间的差异。例如，OT是一种流行的损失函数，它量化了经验分布和参数模型之间的差异。最近，熵罚项和著名的Sinkhorn算法已被普遍用于近似原始OT在计算上有效的方式。然而，由于Sinkhorn算法运行与Kullback-Leibler发散相关的投影，因此它通常容易受到离群值的影响。为了克服这个问题，我们建议正则化OT与所谓的$β$ -发散，这是在强大的统计发展的β-势项。我们的理论分析表明，$β$ -势可以防止质量被传输到离群值。我们的实验表明，我们的算法计算的传输矩阵有助于估计的概率分布鲁棒性，即使在离群值的存在。此外，我们所提出的方法可以成功地检测出污染数据集的离群值
2022-12-26 cs.AI cs.LG
Manifold-Aware Deep Clustering: Maximizing Angles between Embedding Vectors Based on Regular Simplex
Waseda University（早稻田大学）；Sony Corporation（索尼公司）
本文提出流形感知深度聚类（M-DC），通过基于正则单纯形设计损失函数最大化嵌入向量间角度，提升超空间利用率，仅需修改损失函数一项即可实现，实验表明性能优于原始DC及其扩展方法。
2023-10-16 cs.LG eess.AS
Anchor-based Multi-view Subspace Clustering with Hierarchical Feature Descent
College of Computer, National University of Defense Technology（国防科技大学计算机学院）；Intelligent Game and Decision Lab（智能游戏与决策实验室）；College of Intelligence Science and Technology, National University of Defense Technology（国防科技大学智能科学学院）
针对多视图特征对齐困难及谱聚类方法三次方复杂度问题，提出MVSC-HFD，通过层次特征下降、统一采样和锚点子空间聚类实现线性时间高效聚类，并在基准数据集上优于现有方法。
2024-04-09 cs.CV cs.LG
Cross-Domain Gradient Discrepancy Minimization for Unsupervised Domain Adaptation
University of Electronic Science and Technology of China（电子科技大学）
无监督领域自适应（UDA）旨在将从标记良好的源领域学习到的知识推广到未标记的目标领域。最近，具有两个不同分类器（双分类器）的对抗性领域自适应已被引入到UDA中，其有效地对齐不同领域之间的分布。以前的双分类器对抗学习方法只关注两个不同分类器输出之间的相似性。然而，输出的相似性不能保证目标样本的准确性，即，即使两个分类器之间的差异很小，目标样本也可能匹配到错误的类别。为了挑战这个问题，在本文中，我们提出了一个跨域梯度差异最小化（CGDM）方法，显式地最小化由源样本和目标样本产生的梯度的差异。具体地说，梯度给出了目标样本的语义信息的线索，因此它可以作为一个很好的监督，以提高目标样本的准确性。为了计算目标样本的梯度信号，我们进一步通过基于聚类的自监督学习获得目标伪标签。在三个广泛使用的UDA数据集上进行的大量实验表明，我们的方法超越了许多以前的最先进的方法。代码可在https://github.com/lijin118/CGDM上获得。
2021-06-08 cs.AI cs.CV cs.LG
