Constrained variable clustering and the best basis problem in functional data analysis
Institut Télécom（电信研究院）；Télécom ParisTech（巴黎高等电信学院）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）
函数数据分析涉及由常规函数描述的数据，而不是由有限数量的实值变量描述的数据。虽然一些稳健的数据分析方法可以直接应用于从功能数据的细网格采样获得的非常高维的向量，但是所有方法都受益于减少由规律性引起的冗余的功能的先前简化。在本文中，我们建议使用一个聚类方法，目标变量，而不是个人设计一组函数的分段常数表示。由变量的函数性质引起的邻近约束允许多项式复杂度算法给出最优解。
2012-01-04 cs.LG stat.ML
VC-PCR: A Prediction Method based on Supervised Variable Selection and Clustering
UCLouvain（天主教鲁汶大学）；Ruhr-University Bochum（波鸿鲁尔大学）
当预测变量具有聚类结构（例如，存在高度相关的变量组）时，稀疏线性预测方法遭受降低的预测精度。为了提高预测精度，已经提出了各种方法来从数据中识别可变聚类，并将聚类信息集成到稀疏建模过程中。但这些方法都不能同时实现预测、变量选择和变量聚类的性能。为了解决这一问题，本文提出了一种监督变量选择和变量聚类的预测方法--变量聚类主成分回归（VC-PCR）。真实数据和模拟数据的实验表明，与竞争对手的方法相比，VC-PCR实现更好的预测，变量选择和聚类性能时，集群结构。
2022-02-02 cs.LG stat.ME stat.ML
DiscoVars: A New Data Analysis Perspective -- Application in Variable Selection for Clustering
提出一种基于变量依赖网络和图中心性度量的无监督变量选择新方法，并开发了Shiny应用界面，方便用户进行聚类等学习任务的变量选择与比较。
2023-04-08 cs.LG stat.ML
Towards Fair Deep Clustering With Multi-State Protected Variables
Department of Computer Science, UC Davis（加州大学戴维斯分校计算机科学系）
不同影响原则下的公平聚类要求每个受保护群体的人口在每个聚类中应该大致相等。以前的工作研究了一个难以规模的预处理步骤$k$ -中心和$k$ -中位数风格的算法，这个问题的特殊情况下，保护组的数量是两个。在这项工作中，我们考虑一个更一般和实际的设置，可以有许多受保护的群体。为此，我们提出了深度公平聚类，它学习一个有区别但公平的聚类分配函数。在三个具有不同类型保护属性的公共数据集上的实验结果表明，该方法在聚类质量损失较小的情况下，能够稳定地提高聚类的公平性.
2019-01-29 cs.LG stat.ML
Online Arbitrary Shaped Clustering through Correlated Gaussian Functions
Norwegian University of Science and Technology（挪威科技大学）
针对反向传播缺乏生物学合理性的问题，提出一种无需先验聚类数量、通过相关高斯函数捕获输入模式以产生任意形状聚类的新颖在线无监督聚类算法，其生物学合理性更强且在多个数据集上表现良好。
2023-11-20 cs.CV cs.LG cs.NE
Approach of variable clustering and compression for learning large Bayesian networks
ITMO University（圣彼得堡国立信息技术机械与光学大学）
本文提出了一种基于特征空间聚类的块学习大型贝叶斯网络结构的新方法。该聚类是使用归一化互信息获得的。块的后续聚合使用经典学习方法完成，除了它们被输入关于每个块的特征值组合的压缩信息。这种方法的验证完成爬山作为两个得分函数：BIC和MI的图枚举算法。以这种方式，即使对于被认为不适合于可并行化学习的那些得分函数，也可以实现潜在的可并行化块学习。该方法的优点是评估的工作速度以及所发现的结构的准确性。
2022-08-29 cs.LG stat.ML
Scalable Deep Unsupervised Clustering with Concrete GMVAEs
HubSpot Inc.（HubSpot公司）
离散随机变量是概率聚类模型的自然组成部分。已经开发了一些具有离散潜变量的VAE变体。训练这样的方法需要对离散潜在变量进行边缘化，导致训练时间复杂度在数量聚类中是线性的。在这些方法中，通过对离散变量应用连续松弛，我们可以将训练时间复杂度降低到所使用的聚类数量不变。我们证明，在实践中，对于一个这样的方法，高斯混合VAE，使用连续松弛对聚类的质量没有负面影响，但提供了大量减少训练时间，减少训练时间CIFAR-100与20个集群从47小时到不到6小时。
2019-09-18 cs.LG stat.ML
A Strongly Consistent Sparse $k$-means Clustering with Direct $l_1$ Penalization on Variable Weights
Indian Statistical Institute（印度统计研究所）
我们提出了Lasso加权$k$ -means（$LW$ - $k$ -means）算法，作为一个简单而有效的稀疏聚类过程的高维数据的特征（$p$）的数量可以大得多的观察（$n$）相比。在$LW$ - $k$ -means算法中，我们引入了一个基于套索的惩罚项，直接在特征权重上加入稀疏聚类框架中的特征选择。$LW$ - $k$ -means不对给定数据集进行任何分布假设，因此，引入了用于特征选择的非参数方法。我们还分析研究了基本的优化过程中的收敛性$LW$ - $k$ -手段，并建立我们的算法的强一致性。$LW$ - $k$ -手段是在几个现实生活和合成数据集上进行测试，并通过详细的实验分析，我们发现，该方法的性能是非常有竞争力的一些国家的最先进的聚类和特征选择程序，不仅在聚类精度，但也相对于计算时间。
2019-03-24 cs.LG stat.ML
Causal Clustering for 1-Factor Measurement Models on Data with Various Types
Carnegie Mellon University（卡内基梅隆大学）
四元组约束是一个条件，其满足信号的协方差子矩阵的秩减少，并用于设计因果发现算法，检测潜在的（不可测量的）变量的存在，如FOFC。最初，这样的算法只适用于测量变量和潜在变量都是高斯的并且具有线性关系的情况（高斯-高斯情况）。它已被证明，一个一维潜变量模型意味着四元约束时，测量和潜变量都是二进制（Binary-Binary的情况下）。本文证明了当测量变量是混合数据类型和测量变量是离散的和潜在的共同原因是连续的，这意味着任何聚类算法依赖于此约束也可以工作在这些情况下，四元组约束。每个案例都有一个例子和一个证明。通过仿真研究表明了FOFC在混合数据上的性能，并与具有类似功能的一些算法进行了比较。
2020-09-18 cs.LG stat.ML
Deep Unsupervised Clustering with Clustered Generator Model
Shanghai Jiao Tong University（上海交通大学）；Stevens Institute of Technology（史蒂文斯理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
无监督聚类是机器学习和人工智能领域最基本的问题之一。我们提出了聚类生成器模型的聚类，其中包含连续和离散的潜变量。离散潜变量对聚类标签进行建模，而连续潜变量对每个聚类内的变化进行建模。模型的学习在统一的概率框架中进行，并将无监督聚类作为内部步骤，而不需要像现有的基于变分的模型那样需要额外的推理模型。学习的潜变量既可以作为观察到的数据嵌入，也可以作为数据分布的潜在表示。实验结果表明，该模型可以达到有竞争力的无监督聚类精度，并可以学习解开潜在的表示，以产生现实的样本。此外，该模型可以自然地扩展到每像素无监督聚类，这在很大程度上尚未探索。
2019-11-19 cs.LG stat.ML
ClusterGAN : Latent Space Clustering in Generative Adversarial Networks
University of Washington（华盛顿大学）
生成对抗网络（GANs）在许多无监督学习任务中取得了显著的成功，聚类无疑是一个重要的无监督学习问题。虽然人们可以潜在地利用GANs中的潜在空间反向投影来聚类，但我们证明了聚类结构不会保留在GAN潜在空间中。在本文中，我们提出了一种新的机制，使用GANs聚类的ChipterGAN。通过从独热编码变量和连续潜变量的混合物中采样潜变量，再加上一个逆网络（将数据投影到潜空间），并使用聚类特定损失进行联合训练，我们能够在潜空间中实现聚类。我们的研究结果显示了一个显着的现象，即GANs可以保持跨类别的潜在空间插值，即使神经网络从未暴露于此类向量。我们将我们的结果与各种聚类基线进行比较，并在合成和真实数据集上表现出卓越的性能。
2019-01-26 cs.LG stat.ML
Hybrid Density- and Partition-based Clustering Algorithm for Data with Mixed-type Variables
University of Florida（佛罗里达大学）；University of Florida Health Cancer Center（佛罗里达大学健康癌症中心）；University of Pittsburgh（匹兹堡大学）
聚类是发现数据模式的基本技术。多年来，数据量和复杂性的稳步增长导致了新的聚类算法的改进和发展。然而，可以对具有混合变量类型（连续和分类）的数据进行聚类的算法仍然有限，尽管具有混合类型的数据非常丰富，特别是在医学领域。在现有的混合数据处理方法中，存在一些无法验证的分布假设或不同类型变量的贡献不均衡的问题。我们提出了一个两步混合密度和分区为基础的算法（HyDaP），可以检测变量选择后的集群。第一步包括基于密度和基于划分的算法来识别由连续变量形成的数据结构并识别聚类的重要变量;第二步包括基于划分的算法以及我们为混合数据设计的新的相异性度量来获得聚类结果。我们对各种场景和数据结构进行了模拟，以检查HyDaP算法与常用方法相比的性能。我们还将HyDaP算法应用于电子健康记录以识别脓毒症表型。
2019-05-06 cs.LG stat.AP stat.ML
Fuzzy clustering algorithms with distance metric learning and entropy regularization
Universidade Federal de Pernambuco（伯南布哥联邦大学）；Centro de Informática（信息中心）
聚类方法已被用于各种领域，如图像处理、数据采掘、模式识别和统计分析。通常，聚类算法认为所有变量对于聚类任务同等相关或不相关。然而，在实际情况中，一些变量可能是相关的，或者可能或多或少相关，甚至与此任务无关。本文提出了基于欧氏距离、城市块距离和马氏距离以及熵正则化的划分模糊聚类算法。这些方法是一个迭代的三步算法，它提供了一个模糊分区，代表每个模糊聚类，并通过最小化一个合适的目标函数的变量或它们的相关性的相关性权重。合成和真实数据集上的几个实验，包括其应用于噪声图像纹理分割，证明了这些自适应聚类方法的有用性。
2021-02-18 cs.AI cs.LG
An Approach to Variable Clustering: K-means in Transposed Data and its Relationship with Principal Component Analysis
Department of Computer Science University of Cuenca（计算机科学系 哥斯达黎加昆琴卡大学）；Department of Electrical Engineering University of Cuenca（电气工程系 哥斯达黎加昆琴卡大学）
本文提出一种方法，通过转置数据中的K-means与PCA结合，探讨变量聚类与主成分分析的关系。
2025-11-30 cs.AI cs.LG stat.ML
A Bayesian alternative to mutual information for the hierarchical clustering of dependent random variables
Department of Computational Neuroscience, University Medical Center Hamburg-Eppendorf, Hamburg University（汉堡大学附属埃彭多夫医学中心计算神经科学系，汉堡大学）
在凝聚层次聚类（AHC）中使用互信息作为相似性度量提出了一个重要问题：需要对变量的维数进行一些校正。在这项工作中，我们制定的决定，合并相关的多元正态变量在AHC程序作为贝叶斯模型比较。我们发现贝叶斯公式自然地将经验协方差阵缩小到先验的矩阵集合（例如，恒等式），提供自动停止规则，并使用一项来校正维数，该项根据变量的维数按比例增加度量。此外，由此产生的对数贝叶斯因子是渐近成比例的互信息的插件估计，与贝叶斯信息标准的协议的维数的添加剂校正。我们研究了这些贝叶斯替代品（精确和渐近形式）的行为，以模拟和真实数据的互信息。一个令人鼓舞的结果首先来自模拟：基于对数贝叶斯因子的层次聚类优于现成的聚类技术，以及原始和归一化的互信息的分类精度。在一个玩具例子中，我们发现贝叶斯方法导致的结果与互信息聚类技术相似，具有自动阈值的优势。在测量大脑活动的真实功能性磁共振成像（fMRI）数据集上，它识别出与标准程序的既定结果一致的聚类。在这个应用中，归一化互信息具有高度非典型的行为，在这个意义上，它系统地支持非常大的集群。这些初步的实验表明，提出的贝叶斯替代互信息是一个有用的新工具，层次聚类。
2015-10-19 cs.LG q-bio.QM stat.ML
Co-clustering based exploratory analysis of mixed-type data tables
Orange Labs（奥兰治实验室）；University of Paris 1 Panthéon-Sorbonne（巴黎第一大学先贤祠-索邦大学）
协同聚类是一类无监督的数据分析技术，它将数据表的实例和变量之间现有的底层依赖结构提取为同质块。这些技术中的大多数仅限于相同类型的变量。在本文中，我们提出了一种混合数据的共聚类方法的基础上的两个步骤的方法。在第一步中，所有变量根据分析师选择的箱数进行二进制化，在数值情况下通过等频率离散化，或在分类情况下保持最频繁的值。第二步对实例和二进制变量应用联合聚类，从而产生实例组和变量部分组。我们将这种方法应用于几个数据集，并与应用于相同数据的多重对应分析的结果进行比较。
2022-12-22 cs.LG math.ST stat.ML
Pattern Dependence Detection using n-TARP Clustering
Purdue University（普渡大学）
考虑一个实验，涉及的对象可能很少。在每个受试者身上都观察到一些随机变量：一个高维变量称为“观察到的”随机变量，一个一维变量称为“结果”随机变量。我们感兴趣的是观察到的随机变量和结果随机变量之间的依赖关系。我们提出了一种方法来量化和验证的依赖关系的结果随机变量的各种模式中所包含的观察到的随机变量。探索不同程度的关系（线性、二次、三次等）。这项工作的动机是需要分析教育数据，这往往涉及高维数据代表了少数学生。因此，我们的实现是为少量的主题而设计的;然而，它可以很容易地修改以处理非常大的数据集。作为一个例子，所提出的方法是用来研究的某些技能的课程成绩的学生在信号处理类的影响。在数据中观察到等级对不同技能模式的有效依赖性。
2018-06-13 cs.LG stat.ME stat.ML
Approximate Collapsed Gibbs Clustering with Expectation Propagation
University of Washington（华盛顿大学）
我们开发了一个框架，近似崩溃的吉布斯抽样生成潜变量集群模型。Collapsed Gibbs是一种流行的MCMC方法，它在后验中整合变量以改善混合。不幸的是，对于许多复杂的模型，整合出这些变量是分析或计算上难以处理的。我们有效地近似必要的崩溃吉布斯积分借用的想法从期望传播。我们提出了两个案例研究，其中精确的崩溃吉布斯抽样是棘手的学生-t的和时间序列聚类的混合物。我们对真实数据和合成数据的实验表明，我们的近似采样器能够在对这些类型的模型进行采样时实现运行时精度的权衡，从而比在这些情况下依赖的天真Gibbs采样器更快地提供具有竞争力的精度的结果。
2018-07-19 cs.LG stat.CO stat.ML
CTG-KrEW: Generating Synthetic Structured Contextually Correlated Content by Conditional Tabular GAN with K-Means Clustering and Efficient Word Embedding
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Missouri University of Science and Technology（密苏里科技大学）
本文提出CTG-KrEW框架，结合K-Means聚类和词嵌入改进CTGAN，以高效生成语义连贯的合成表格数据，并在Upwork数据集上验证其效果，显著降低CPU时间和内存占用。
2024-09-03 cs.CL cs.LG
Variable Clustering via Distributionally Robust Nodewise Regression
Department of Industrial Engineering and Operations Research & The Data Science Institute, Columbia University（工业工程与运筹学系及数据科学研究院，哥伦比亚大学）
本文提出一种分布鲁棒节点回归方法，通过凸松弛、数据驱动鲁棒区域选择和ADMM算法，实现多因子块模型下的变量聚类，并在数值实验中展示其优越性能。
2026-06-01 cs.LG math.OC q-fin.CP
Granger Causality Based Hierarchical Time Series Clustering for State Estimation
Iowa State University（爱荷华州立大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；National Renewable Energy Laboratory（国家可再生能源实验室）
聚类是一种无监督学习技术，在处理大量未标记数据时非常有用。在现实生活中，复杂的动态系统通常需要来自大量源的数据流。虽然期望使用所有源变量来形成准确的状态估计，但是由于大的计算能力要求，这通常是不切实际的，并且处理这些情况的足够鲁棒的算法并不常见。我们提出了一个层次的时间序列聚类技术的基础上，符号动态过滤和格兰杰因果关系，这是一个降维和噪声抑制工具。我们的过程在多变量时间序列中形成了一个变量的层次结构，在每个层次上对相关变量进行聚类，从而分离出噪声和不太相关的变量。提出了一种新的基于Granger因果关系的距离度量方法，并将其应用于时间序列聚类，并在经验数据集上进行了验证。从占用检测和建筑物温度估计任务的实验结果显示保真度的经验数据集，同时保持状态预测的准确性，大大降低了数据维数。
2021-04-09 cs.LG
Learning Latent Superstructures in Variational Autoencoders for Deep Multidimensional Clustering
The Hong Kong University of Science and Technology（香港科技大学）；The Education University of Hong Kong（香港教育大学）
我们研究了变分自编码器的一个变体，其中在潜在特征之上存在离散潜在变量的上层结构。一般来说，我们的超结构是一个树结构的多个超级潜在的变量，它是自动学习的数据。当上层结构中只有一个潜在变量时，我们的模型简化为假设潜在特征从高斯混合模型生成的模型。我们称我们的模型为潜在树变分自编码器（LTVAE）。以前的深度学习聚类方法只产生一个数据分区，而LTVAE产生多个数据分区，每个分区由一个超级潜在变量给出。这是可取的，因为高维数据通常具有许多不同的自然方面，并且可以以多种方式进行有意义的分区。
2019-02-22 cs.LG
Introducing Feature-Based Trajectory Clustering, a clustering algorithm for longitudinal data
本文提出一种用于纵向数据的聚类算法，通过特征提取和谱聚类发现具有共同时间特征的个体群体。
2026-02-24 cs.LG stat.CO
Variance-based sensitivity analysis in the presence of correlated input variables
Dynardo – Dynamic Software and Engineering GmbH（Dynardo动态软件与工程有限公司）
针对相关输入变量下的方差敏感性分析，提出扩展 Sobol' 估计量，通过线性相关模型分解相关与不相关贡献，并直接依据联合分布采样计算模型输出。
2024-08-09 cs.LG math.ST stat.ME
Optimal Variable Clustering for High-Dimensional Matrix Valued Data
Cornell University（康奈尔大学）；TikTok
针对高维矩阵值数据，本文提出基于潜变量模型和加权协方差差分的层次变量聚类方法，证明其一致性并给出极小极大最优权重。
2023-12-06 cs.LG math.ST stat.ME
Agglomerative Info-Clustering
Chinese University of Hong Kong（香港中文大学）；Shenzhen Research Institute of the Chinese University of Hong Kong（香港中文大学深圳研究院）
提出了一种随机变量的凝聚聚类方法，将具有最大多元互信息的随机变量聚类依次合并形成更大的聚类。与以前的信息聚类算法相比，凝聚的方法允许计算停止时，所需的大小和精度的集群获得较早。基于熵的次模性和划分的主序列与次模函数的主序列之间的对偶性，给出了一个有效的算法。
2017-02-24 cs.IT cs.LG math.IT
