Unsupervised Learning via Mixtures of Skewed Distributions with Hypercube Contours
通过推广多元移位非对称拉普拉斯密度，建立了其组成部分具有倾斜超立方体轮廓的混合模型。具体来说，我们开发的混合物的多个缩放移位不对称拉普拉斯分布。分量密度具有两个独特的特征：它们包括多元权函数，并且边缘分布也是不对称的拉普拉斯分布。我们使用这些混合的多个缩放移位的非对称拉普拉斯分布的聚类应用程序，但它们同样可以很好地用于监督或半监督的范例。期望最大化算法用于参数估计，贝叶斯信息准则用于模型选择。模拟和真实的数据集被用来说明的方法，并在某些情况下，可视化的组件的斜超立方体结构。
2014-09-17 stat.ME
Unsupervised Learning of Mixture Regression Models for Longitudinal Data
研究了重复测量个体的混合回归模型的学习问题。形容词“无监督”意味着混合成分的数量是未知的，必须由数据驱动工具来确定。为此，提出了一种新的惩罚方法，同时选择混合组分的数量，并估计混合比例和未知参数的模型。所提出的方法是能够处理连续和离散响应，只需要前两个时刻的条件下的模型分布。它被证明是一致的，在选择的组分数量和估计的混合比例和未知的回归参数。此外，一个修改的期望最大化算法开发无缝集成模型选择和估计。仿真研究进行评估所提出的程序的有限样本性能。并通过对原发性胆汁性肝硬化数据集的分析进一步说明。
2018-01-08 stat.ME
Spectral Analysis Of Weighted Laplacians Arising In Data Clustering
从加权邻接矩阵计算的图拉普拉斯算子被广泛用于识别数据中的几何结构，特别是聚类;它们的谱特性在许多无监督和半监督学习算法中起着核心作用。当适当地缩放时，图拉普拉斯算子在大数据极限中接近极限连续算子。因此，研究这些极限算子有助于学习算法。本文研究了一类参数化的散度型椭圆算子族，该算子族是由图拉普拉斯算子的大数据极限引起的。解释了图拉普拉斯算子的三参数族与微分算子的三参数族之间的联系。这些微分算子的频谱特性的情况下，数据包括两个几乎分离的集群进行了分析，在某种意义上说，这是精确的。特别是，我们调查的光谱间隙如何取决于进入图拉普拉斯算子的三个参数，并在一个参数测量的扰动的大小从完美的集群的情况下。数值计算结果提出了扩展和扩展的分析：计算研究的情况下，有两个几乎分离的集群，但违反了我们的理论中使用的假设，在两个以上的集群存在的情况下，也超出了我们的理论，并证明了我们的研究的相关性的微分算子通过图形拉普拉斯有限数据问题的理解。研究结果提供了深入了解的参数选择的学习算法是基于加权邻接矩阵，他们也提供了各种无监督和半监督学习算法的一致性分析的基础上，在大数据的限制。
2020-07-13 math.AP math.SP stat.ML
Unsupervised Learning of GMM with a Uniform Background Component
Florida State University（佛罗里达州立大学）
高斯混合模型是无监督学习中研究最多、最成熟的模型之一。然而，离群值经常出现在数据中，并可能影响聚类估计。在本文中，我们研究了一个新的模型，该模型假设数据来自一些高斯以及一个统一的“背景”组件的混合，假设包含离群值和其他非有趣的观察。我们开发了一种新的方法，鲁棒性的损失最小化的基础上，表现良好的聚类，如GMM与一个统一的背景。我们给我们的聚类算法，以获得最佳的聚类结果，以高概率的理论保证。此外，我们证明了我们的算法的结果不依赖于初始值或局部最优值，参数调整是一个简单的任务。通过数值模拟，我们证明了我们的算法具有较高的准确性，并取得了最好的聚类结果给出了足够大的样本量。最后，在真实数据集上与典型聚类方法的实验比较证明了该算法在实际应用中的潜力。
2020-03-20 cs.LG stat.ML
Flexible High-Dimensional Unsupervised Learning with Missing Data
混合因子分析器（MFA）模型是一种基于混合模型的高维数据无监督学习方法。除其他外，在数据维度远远超过观测次数的情况下，它可能是有用的。近年来，MFA模型已经扩展到非高斯混合物，以考虑具有较重的尾部重量和/或不对称性的集群。广义双曲因子分析（MGHFA）模型就是这样一个扩展，它导致了一个灵活的建模范式，占更重的尾部重量和集群不对称。在许多实际应用中，缺失值的出现常常使数据分析复杂化。的MGHFA的推广，以适应缺失值。在随机缺失机制下，针对具有不同缺失模式的MGHFA模型的参数估计，提出了一种计算效率高的交替期望条件最大化算法.缺失值的插补下的不完全数据结构的MGHFA也进行了研究。我们所提出的方法的性能说明通过模拟和真实数据的分析。
2018-11-09 stat.CO stat.ME
Mixture of regressions with multivariate responses for discovering subtypes in Alzheimer's biomarkers with detection limits
除了尸体解剖，阿尔茨海默病（AD）的诊断没有金标准。无监督学习可以深入了解AD的病理生理学。回归的混合可以同时从多个生物标志物中识别聚类，同时考虑聚类内的人口统计学效应。AD的脑脊液（CSF）生物标志物具有检测限，这带来了额外的挑战。我们应用多元截断高斯分布的混合回归（也称为删失多元高斯混合回归或多元tobit回归的混合）对来自埃默里Goizueta阿尔茨海默病研究中心和埃默里健康脑研究的3,000多名参与者进行研究，以检查淀粉样β肽1-42（Abeta 42），已知检测限的CSF中的总tau蛋白和磷酸化tau蛋白。我们解决了三个缺口，在文献中的混合回归截断多元高斯分布：软件可用性，推理和聚类精度。我们发现了三个倾向于与AD组、正常对照组和非AD病理学相一致的簇。CSF特征因种族、性别和遗传标记ApoE 4而异，这突出了在具有检测限的无监督学习中考虑人口统计学因素的重要性。值得注意的是，AD样组的非裔美国人参与者的tau负担显着降低。
2023-03-01 stat.AP
Modelling heterogeneous distributions with an Uncountable Mixture of Asymmetric Laplacians
BBVA Data & Analytics（BBVA数据分析公司）；Universitat de Barcelona（巴塞罗那大学）
在回归任务中，任意的不确定性通常通过考虑输出变量的参数分布来解决，这是基于强假设，如对称性，单峰性或假设一个限制的形状。这些假设在存在复杂形状、强偏斜或多种模式的情况下过于有限。在本文中，我们提出了一个通用的深度学习框架，它学习不对称拉普拉斯算子的不可数混合（UMAL），这将使我们能够估计输出变量的异质分布，并显示其与分位数回归的联系。尽管有一个固定数量的参数，该模型可以被解释为一个无限的混合成分，这产生了一个灵活的近似非均匀分布。除了合成的情况下，我们将此模型应用于房价预测和预测个人银行账户的金融业务。我们证明，UMAL产生适当的分布，这使我们能够提取更丰富的见解和锐化决策。
2019-10-29 cs.LG stat.ML
Deep Unsupervised Clustering Using Mixture of Autoencoders
University of Michigan（密歇根大学）；Technicolor（特艺集团）；Adobe（Adobe公司）
无监督聚类是机器学习中最基本的挑战之一。一个流行的假设是，数据是从一个低维非线性流形的联合产生的，因此聚类的方法是识别和分离这些流形。在本文中，我们提出了一种新的方法来解决这个问题，通过使用混合的自动编码器。我们的模型由两部分组成：1）一个自动编码器的集合，其中每个自动编码器学习一组相似对象的底层流形，以及2）混合分配神经网络，它将来自自动编码器的级联潜在向量作为输入并推断集群上的分布。通过联合优化这两个部分，我们同时将数据分配给集群并学习每个集群的底层流形。
2017-12-26 cs.LG stat.ML
Unsupervised Outlier Detection using Random Subspace and Subsampling Ensembles of Dirichlet Process Mixtures
Nexon（奈森（韩国游戏公司））；Danggeun Market（당근마켓（韩国电商公司））；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Yonsei University（延世大学）
针对 Dirichlet Process Mixtures 计算低效且对非高斯数据建模困难的问题，提出一种结合随机子空间与子采样集成及变分推断的无监督离群点检测方法，有效提升了计算效率、鲁棒性和检测性能。
2024-07-25 cs.AI cs.LG stat.ML
Deep Unsupervised Feature Selection by Discarding Nuisance and Correlated Features
现代数据集通常包含大量相关特征和讨厌特征的子集，这些特征与数据的主要底层结构无关或松散相关。营养特征可以使用拉普拉斯得分标准来识别，该标准通过其与图拉普拉斯的领先特征向量的一致性来评估给定特征的重要性。我们证明，在大量的滋扰功能的存在下，拉普拉斯算子必须计算所选功能的子集，而不是完整的功能集。为此，我们提出了一种完全可区分的无监督特征选择方法，利用Laplacian评分标准来避免选择讨厌的特征。我们采用自动编码器架构来处理相关的功能，训练从选定的功能的子集重建数据。基于最近提出的混凝土层，允许通过架构设计控制所选功能的数量，简化优化过程。在几个真实世界的数据集上进行实验，我们证明了我们提出的方法优于类似的方法，旨在避免相关或滋扰功能，但不是两者兼而有之。几个国家的最先进的聚类结果的报告。
2021-10-11 cs.AI cs.LG stat.ML
On the Behavior of the Expectation-Maximization Algorithm for Mixture Models
University of Southern California（南加州大学）
有限混合模型是不同数据科学学科中最流行的统计模型之一。尽管它们具有广泛的适用性，但这些模型下的推理通常会导致计算上具有挑战性的非凸问题。虽然期望最大化（EM）算法是解决这些非凸问题的最流行的方法，但该算法的行为还没有得到很好的理解。在这项工作中，我们专注于混合拉普拉斯（或高斯）分布的情况下。我们首先分析了一个简单的两个一维拉普拉斯分布的平均加权混合，并表明，每个局部最优的人口最大似然估计问题是全局最优的。然后，我们证明了EM算法收敛到地面真理参数几乎必然与随机初始化。我们的结果推广了高斯分布到拉普拉斯分布的已有结果。然后，我们数值研究了具有两个以上组分的混合模型的行为。基于我们大量的数值实验，我们提出了一种新的随机方法来估计混合模型中各分量的均值。我们的数值实验表明，我们的算法优于朴素EM算法在几乎所有的情况下。
2018-09-24 cs.LG stat.ML
Marginal Laplacian Score
Intel Corporation（英特尔公司）
针对高维不平衡数据的无监督特征选择难题，提出基于拉普拉斯得分改进的边缘拉普拉斯得分MLS，聚焦保留特征边缘局部结构，整合进DUFS得到DUFS-MLS，在合成和公开数据集上表现出鲁棒且提升的性能。
2024-02-02 cs.LG stat.ML
Graph Laplacian mixture model
Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）
最近，图学习方法作为推断数据集结构的手段受到越来越多的关注。最近的大多数方法都集中在图形和数据样本分布之间的不同关系上，主要是在所有可用数据都与同一图形相关的情况下。然而，情况并非总是如此，因为数据通常以混合形式提供，因此需要能够处理混合数据并学习多个图形的方法。我们提出了一种新的生成模型，它代表了自然生活在不同图上的不同数据的集合。我们假设数据到图的映射是未知的，并研究了联合聚类一组数据和学习每个聚类的图的问题。实验表明，在数据聚类和多图推理的性能良好，并表现出良好的性能，在解释性和应对高维天气和交通数据，以及数字分类。
2020-03-20 cs.LG cs.SI stat.ML
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies（华为技术有限公司）；Université Paris-Est（巴黎东大学）
在本文中，我们开发了一个无监督的生成聚类框架，结合了变分信息瓶颈和高斯混合模型。具体来说，在我们的方法中，我们使用变分信息瓶颈方法，并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界，它推广了证据下界（ELBO），并给出了一个变分推理型算法来计算它，在该算法中，编码器的映射使用神经网络进行参数化，该界用Monte Carlo抽样近似，并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders
Imperial College London（帝国理工学院）
我们研究了变分自编码器模型（VAE）的一个变体，该模型以高斯混合作为先验分布，目标是通过深度生成模型执行无监督聚类。我们观察到，已知的问题，已被证明出现在定期VAE也体现在我们的模型，并导致集群退化。我们表明，一个启发式称为最小信息约束，已被证明可以减轻这种影响VAE也可以应用于提高无监督聚类性能与我们的模型。此外，我们分析了这种启发式的效果，并提供了直观的各种过程的可视化的帮助。最后，我们证明了我们的模型在合成数据，MNIST和SVHN上的性能，表明所获得的聚类是独特的，可解释的，并导致在无监督聚类上达到与最先进的结果竞争的性能。
2017-01-13 cs.LG cs.NE stat.ML
Symmetric Graph Convolutional Autoencoder for Unsupervised Graph Representation Learning
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）；University of Birmingham（伯明翰大学）
我们提出了一个对称图卷积自动编码器，它产生一个低维的潜在表示从一个图。与现有的具有非对称解码器部分的图自编码器相比，所提出的自编码器具有新设计的解码器，该解码器构建了完全对称的自编码器形式。对于节点特征的重建，解码器是基于拉普拉斯锐化作为拉普拉斯平滑的编码器的对应物而设计的，这允许在所提出的自动编码器架构的整个过程中利用图结构。为了防止引入Laplacian锐化所引起的网络数值不稳定性，我们进一步提出了一种新的数值稳定形式的Laplacian锐化，通过引入符号图。此外，一个新的成本函数，发现一个潜在的代表性和潜在的亲和力矩阵同时设计，以提高图像聚类任务的性能。在聚类、链接预测和可视化任务上的实验结果表明，该模型具有较好的稳定性，且性能优于现有的各种算法。
2019-08-07 cs.CV cs.LG stat.ML
Unsupervised Deep Clustering for Source Separation: Direct Learning from Mixtures using Spatial Information
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究院）
我们提出了一个单声道声源分离系统，该系统只通过观察没有地面真值分离信息的混合物来训练。我们使用一种深度聚类方法，该方法在多通道混合物上进行训练，并学会将频谱图箱投影到与各种空间特征相关的源集群。我们表明，使用这样的训练过程中，我们可以获得的分离性能是一样好，利用地面真分离信息。一旦经过训练，这个系统就能够对单声道输入进行声音分离，尽管已经学会了如何使用多声道录音来这样做。
2018-11-09 cs.LG cs.SD eess.AS
Unsupervised Detection and Tracking of Arbitrary Objects with Dependent Dirichlet Process Mixtures
Columbia University（哥伦比亚大学）
本文提出了一种视频中任意目标的无监督检测和跟踪技术。它旨在减少对针对特定对象类型的检测和定位方法的需求，并作为适用于具有不同对象，背景和图像质量的视频的通用框架。该技术使用了一个依赖的Dirichlet过程混合（DDPM）被称为广义波利亚瓮（GPUDDPM）模型图像像素数据，可以很容易地和有效地从视频中的区域，代表对象提取。本文描述了一个具体的实现模型使用的空间和彩色像素数据通过帧间差分提取，并给出了两个算法进行推理的模型来完成检测和跟踪。该技术在多个合成和基准视频数据集上进行了演示，这些数据集说明了其无需修改即可检测和跟踪在非均匀背景上移动并通过遮挡的具有不同物理特性的对象的能力。
2012-10-11 cs.CV cs.LG stat.ML
Deep Bayesian Unsupervised Source Separation Based on a Complex Gaussian Mixture Model
National Institute of Advanced Industrial Science and Technology（国立先进工业科学技术研究院）；RIKEN AIP（理化学研究所人工智能研究中心）；Kyoto University（京都大学）
提出了一种仅利用多通道混合信号训练神经声源分离的无监督方法。传统的神经元分离方法需要大量的监督数据才能获得良好的性能。虽然基于空间信息的多通道方法可以在没有这样的训练数据的情况下工作，但是它们通常对参数初始化敏感，并且随着源彼此靠近而退化。所提出的方法使用基于称为复高斯混合模型（cGMM）的空间模型的成本函数。该模型的时间-频率（TF）掩模和波达方向（DOA）的源作为潜在变量，并用于训练分离和定位网络，分别估计这些变量。这种联合训练在统一的深度贝叶斯框架中解决了空间模型的频率排列模糊性。此外，预先训练的网络不仅可以用于进行单声道分离，而且可以用于有效地初始化多声道分离算法。模拟语音混合的实验结果表明，我们的方法优于传统的初始化方法。
2019-08-29 cs.LG cs.SD eess.AS
Clustering and Semi-Supervised Classification for Clickstream Data via Mixture Models
有限混合模型用于无监督学习已经有一段时间了，它们在半监督范式中的使用变得越来越普遍。点击流数据是需要特别关注的各种新兴数据类型之一，因为目前可用的统计学习方法非常缺乏。一阶连续时间马尔可夫模型的混合引入点击流数据的无监督和半监督学习。这种方法假设连续时间，这将其与现有的基于混合模型的方法区分开来;实际上，这允许考虑每个用户在每个网页上花费的时间量。该方法进行评估，并比较离散时间的方法，使用模拟和真实数据。
2020-12-16 stat.ME stat.ML
Adversarially Learned Mixture Model
Imagia
逆向学习混合模型（AMM）是一种用于无监督或半监督数据聚类的生成模型。AMM是第一个逆向优化的方法来模拟推断的连续和分类潜变量之间的条件依赖性。MNIST和SVHN数据集上的实验表明，AMM允许复杂数据的语义分离时，很少或根本没有标记的数据。AMM在MNIST数据集上实现了2.86%的最先进的无监督聚类错误率。AMM的半监督扩展在SVHN数据集上产生了有竞争力的结果。
2022-04-23 cs.LG stat.ML
Gaussian Mixture Generative Adversarial Networks for Diverse Datasets, and the Unsupervised Clustering of Images
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
生成对抗网络（GANs）已被证明可以生成逼真的合成图像，并取得了显着的成功，但当训练集高度多样化时，它们的性能似乎不那么令人印象深刻。当数据集包含许多不同的类时，为了更好地拟合目标数据分布，我们提出了一种基本GAN模型的变体，称为高斯混合GAN（GM-GAN），其中潜在空间上的概率分布是高斯的混合。我们还提出了一个有监督的变体，它能够有条件的样本合成。为了评估模型的性能，我们提出了一种新的评分方法，它分别考虑到两个（通常是冲突的）措施-多样性与质量的生成数据。通过一系列的实证实验，使用合成和真实世界的数据集，我们定量地表明，GM-GAN在使用常用的Inception Score进行评估时，以及使用我们自己的替代评分方法进行评估时，都优于基线。此外，我们定性地演示了如何的\textit{unsupervised}变体的GM-GAN倾向于映射从不同的高斯在潜在空间中的样本的数据空间中的不同类别的样本的潜在向量。我们展示了如何利用这种现象进行无监督聚类的任务，并提供定量评价，显示我们的方法的图像数据集的无监督聚类的优越性。最后，我们展示了一个功能，它进一步将我们的模型与其他GAN模型区分开来：通过改变潜在空间的概率分布来控制质量多样性权衡的选项。这允许人们根据自己的需要对更高质量和更低多样性的样本进行采样，反之亦然。
2018-08-30 cs.CV cs.LG stat.ML
Towards the Theory of Unsupervised Federated Learning: Non-asymptotic Analysis of Federated EM Algorithms
Columbia University（哥伦比亚大学）；Michigan State University（密歇根州立大学）；New York University（纽约大学）
针对无监督联邦学习理论基础缺失问题，提出考虑任务异质性和对抗攻击的联邦梯度EM算法（FedGrEM），建立一般混合模型有限样本理论，验证其优于本地单任务学习及现有基准，填补理论与实践差距。
2024-06-14 cs.LG stat.ML
Transcendental Regularization of Finite Mixtures:Theoretical Guarantees and Practical Limitations
Rochester Institute of Technology（罗切斯特技术学院）
本文提出超越正则化方法，用于解决有限混合模型在高维空间中的退化问题，提供理论保证并揭示其实际限制。
2026-02-03 cs.LG stat.ML
Geometric structure of graph Laplacian embeddings
我们分析的谱聚类过程中识别粗结构的数据集$x_1, \dots, x_n$，特别是研究的几何图形拉普拉斯嵌入形成的基础谱聚类算法。更准确地说，我们假设数据是从一个混合模型上嵌入$\mathbb{R}^d$流形$\mathcal{M}$支持的采样，并选择一个连接长度尺度$\varepsilon>0$构建一个核化图拉普拉斯算子。我们引入了一个良好分离的混合模型，它只依赖于模型本身的概念，并证明了当模型是很好的分离，以高概率的嵌入数据集集中在锥是围绕正交向量为中心。我们的结果是有意义的制度，其中$\varepsilon = \varepsilon(n)$被允许衰减到零，在一个足够慢的速度作为数据点的数量的增长。该速率取决于支持数据的流形的固有维数。
2019-01-30 math.AP math.SP stat.ML
Anomaly Detection by Recombining Gated Unsupervised Experts
Fraunhofer AISEC（弗劳恩霍夫应用集成安全研究所）
异常检测已被认为是在几个程度的先验知识。无监督方法不需要任何标记的数据，而半监督方法利用一些已知的异常。受混合专家模型和对神经网络隐藏激活的分析的启发，我们提出了一种新的数据驱动的异常检测方法ARGUE。我们的方法不仅适用于无监督和半监督环境，而且还受益于自监督设置的先验知识。我们将ARGUE设计为专用专家网络的组合，这些专家网络专门处理部分输入数据。ARGUE采用门控混合专家体系结构，将分布在各专家系统中的知识进行融合，以做出最终决策。我们的评估动机，先验知识的正常数据分布可能是有价值的已知异常。
2022-05-23 cs.LG stat.ML
Bootstrapping single-channel source separation via unsupervised spatial clustering on stereo mixtures
Northwestern University（西北大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
将音频场景分离成孤立的源是计算机听觉中的基本问题，类似于视觉景物分析中的图像分割。基于深度学习的声源分离系统是目前解决欠定分离问题的最成功的方法，其中存在比信道更多的声源。传统上，这样的系统是在已经知道地面真实分解的声音混合物上训练的。由于大多数真实世界的记录没有这样的分解可用，这限制了可以训练的混合物的范围，以及学习模型可以成功分离的混合物的范围。在这项工作中，我们使用一个简单的盲空间声源分离算法来生成立体声混合的估计分解。这些估计连同基于分离质量的置信度的时频域中的加权方案一起用于训练可用于单通道分离的深度学习模型，其中没有源方向信息可用。这演示了如何使用诸如源的起源方向的简单线索来引导用于声源分离的模型，该模型可以在该线索不可用的情况下使用。
2018-11-06 cs.AI cs.LG cs.SD
InClass Nets: Independent Classifier Networks for Nonparametric Estimation of Conditional Independence Mixture Models and Unsupervised Classification
University of Florida（佛罗里达大学）
我们引入了一种新的基于机器学习的方法，我们称之为独立分类器网络（InClass网）技术，条件独立混合模型（CIMM）的非参数估计。我们将CIMM的估计视为多类分类问题，因为将数据集划分为不同类别自然会导致混合模型的估计。InClass网络由多个独立的分类器神经网络（NN）组成，每个网络处理CIMM的一个变量。通过使用合适的成本函数同时训练各个NN来执行CIMM对数据的拟合。神经网络逼近任意函数的能力使得我们的技术是非参数的。进一步利用NN的能力，我们允许模型的条件独立变量是单独的高维，这是我们的技术相对于现有的非机器学习方法的主要优势。我们得到了一些新的结果的非参数可识别的二元CIMM的形式的一个必要条件和一个（不同的）充分条件的二元CIMM是可识别的。我们提供了一个名为RainDancesVI的Python包，并通过几个示例验证了我们的InClass网技术。我们的方法在无监督和半监督分类问题中也有应用。
2020-08-31 cs.LG econ.EM hep-ph
Robust Unsupervised Multi-task and Transfer Learning on Gaussian Mixture Models
Columbia University（哥伦比亚大学）；Michigan State University（密歇根州立大学）；Hong Kong University of Science and Technology（香港科技大学）；New York University（纽约大学）
本文提出了一种基于EM算法的鲁棒多任务和迁移学习方法，用于高斯混合模型，实现了参数估计和分类误差的最优收敛率，并解决了初始化对齐问题。
2025-12-25 cs.LG math.ST stat.ME
Unsupervised physics-informed disentanglement of multimodal data for high-throughput scientific discovery
Sandia National Laboratories（桑迪亚国家实验室）；Arizona State University（亚利桑那州立大学）
我们引入物理信息的多模态自编码器（PIMA）-一个变分推理框架，用于在代表高通量测试的多模态科学数据集中发现共享信息。个体模态被嵌入到共享的潜在空间中，并通过专家公式化的产品进行融合，从而在识别共享特征之前实现高斯混合。从集群采样允许跨模态生成建模，与专家解码器的混合施加归纳偏见编码先前的科学知识和赋予潜在空间的结构化解纠缠。这种方法能够发现可以在高维异构数据集中检测到的指纹，避免了与高保真测量和表征相关的传统瓶颈。受材料制造过程的加速协同设计和优化的启发，来自金属增材制造的晶格超材料数据集展示了中尺度拓扑图像和机械应力-应变响应之间的准确交叉模态推断。
2022-02-07 cs.LG stat.ML
Graph Laplacians, Riemannian Manifolds and their Machine-Learning
图拉普拉斯算子以及相关的谱不等式和（上）同调为黎曼流形的离散类似物提供了一个尝试，提供了组合学，几何学和理论物理学之间的丰富的相互作用。我们将数据科学中的一些最新技术，如监督和无监督机器学习和拓扑数据分析应用于Wolfram数据库中的8000个有限图，以研究这些对应关系。令人鼓舞的是，我们发现，神经分类器，回归器和网络可以执行，高效率和准确性，众多的任务，从识别图的Ricci平坦，预测谱隙，检测哈密顿圈的存在，等等。
2020-06-30 hep-th math.AG math.CO
Variational Bayes approach for model aggregation in unsupervised classification with Markovian dependency
我们考虑一个二元无监督分类问题，其中每个观察与我们想要检索的未观察标签相关联。更准确地说，我们假设有两组观察结果：正常和异常。“正常”观测值来自已知分布，而“异常”观测值的分布未知。已经开发了几种模型来拟合这种未知的分布。在本文中，我们提出了一种替代方案的基础上的混合高斯分布。推理是在变分贝叶斯框架内完成的，我们的目的是推断属于感兴趣的类的后验概率。为此，估计混合物成分数没有意义，因为每个混合物模型提供或多或少与后验概率估计相关的信息。通过计算模型集合的加权平均值（称为聚合估计量），贝叶斯模型平均（Bayesian Model Averaging，BMA）是一种组合模型的方法，以考虑每个模型提供的信息。然后，目标是估计一个特定模型的权重和后验概率。在这项工作中，我们从变分理论得到这些量的最佳近似，并提出其他近似的权重。为了执行我们的方法，我们认为数据是依赖的（马尔可夫依赖），因此我们考虑隐马尔可夫模型。进行了模拟研究，以评估分类方面的估计的准确性。我们还提出了一个应用程序的公共卫生监测系统的分析。
2011-05-04 stat.ME stat.ML
Tackling unsupervised multi-source domain adaptation with optimism and consistency
INESC TEC（葡萄牙工程与技术研究所）；University of Porto（波尔图大学）
一段时间以来，已知多源领域自适应的问题可以被视为单源领域自适应任务，其中源领域对应于原始源领域的混合。尽管如此，如何调整混合分布权重仍然是一个悬而未决的问题。此外，大多数现有的工作在这个主题只集中在最大限度地减少错误的源域和实现域不变的表示，这是不够的，以确保低错误的目标域。在这项工作中，我们提出了一个新的框架，解决了这两个问题，并通过使用温和乐观的目标函数和目标样本的一致性正则化击败了目前的最新技术水平。
2020-09-29 cs.AI cs.CV cs.LG
Spectral clustering under degree heterogeneity: a case for the random walk Laplacian
本文表明，使用随机游动拉普拉斯算子的图谱嵌入产生的向量表示是完全正确的节点度。在一个广义随机点积图，嵌入提供一致的相合估计的度校正的潜在位置，渐近高斯误差。在度校正随机块模型的特殊情况下，嵌入集中在K个不同的点上，代表社区。这些可以通过随后的聚类步骤完美地、渐进地恢复，而不需要球面投影，如基于邻接或归一化对称拉普拉斯矩阵的算法通常所要求的。虽然被估量不依赖于度，但其估计的渐近方差确实--度较高的节点比度较低的节点嵌入得更准确。因此，我们的中心极限定理建议拟合加权高斯混合模型作为后续的聚类步骤，为此，我们提供了一个期望最大化算法。
2021-05-04 stat.ME stat.ML
Sequence Alignment with Dirichlet Process Mixtures
University of Bath（巴斯大学）；University of Tübingen（图宾根大学）；University of Bristol（布里斯托尔大学）
提出了一种基于Dirichlet过程混合模型（DPMM）的高维时间扭曲序列无监督比对概率模型。我们遵循（Kazlauskaite，2018）中介绍的方法，同时将每个数据序列表示为真实底层函数和时间扭曲的组合，两者都使用高斯过程（GP）（Rasmussen，2005）建模，并使用无监督对齐方法对齐底层函数。在（Kazlauskaite，2018）中，使用GP潜变量模型（GP-LVM）（Lawrence，2005）作为序列模型进行比对，而我们的主要贡献是将这种方法扩展到使用DPMM，这允许我们在时间上比对序列并同时对其进行聚类。我们表明，DPMM实现了竞争力的结果相比，GP-LVM合成和真实世界的数据集，并讨论了不同的属性的估计的基础功能和这些模型所青睐的时间扭曲。
2018-11-26 cs.LG stat.ML
Model Inconsistent but Correlated Noise: Multi-view Subspace Learning with Regularized Mixture of Gaussians
the Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
多视图子空间学习（MSL）的目的是找到一个低维的子空间的数据从多个视图。与单视图的情况不同，多视图语义学既要考虑视图间的共性知识，也要考虑视图间的特定知识。为了提高模型的鲁棒性，应充分考虑多视图数据中噪声的复杂性、非一致性和相似性。现有的MSL方法只假设噪声服从简单的高斯或拉普拉斯分布，而忽略了实际数据中各视图中复杂的噪声结构和不同视图间的噪声相关性。针对这一问题，本文提出了一种基于多视点共享和单视点噪声知识的MSL方法。具体来说，我们将每个视图中的数据噪声建模为单独的高斯混合（MoG），它可以适应比传统高斯/拉普拉斯更广泛的复杂噪声类型。此外，我们将所有的单视图噪声作为一个整体，通过一个共同的MoG组件，编码共享的噪声知识。这种正则化分量可以在MAP框架下表示为一个简洁的KL-散度正则化项，从而对我们的模型有很好的解释，并且可以使用简单的基于EM的求解策略来解决问题。实验结果证实了我们的方法的优越性。
2018-11-07 cs.LG stat.ML
A Two-round Variant of EM for Gaussian Mixtures
AT&T Labs - Research（AT&T实验室-研究部）；Georgia Institute of Technology（佐治亚理工学院）
给定一组可能的模型（例如，贝叶斯网络结构）和数据样本，在无监督模型选择问题中，任务是选择关于域联合概率分布的最准确的模型。与此相反，在监督模型选择中，先验已知所选模型将在未来用于涉及更“集中”的预测分布的预测任务。虽然可以通过边缘化从联合概率分布中产生集中的预测分布，但实际上，无监督意义上的最佳模型不一定在监督域中表现良好。特别是，标准边际似然得分是无监督任务的标准，虽然经常用于监督模型选择，但在此类任务中表现不佳。在本文中，我们研究了边际似然得分的监督贝叶斯网络选择任务的经验性能，通过使用大量的公开可用的分类数据集，并比较结果与其他模型选择标准，包括经验交叉验证方法，监督边际似然测度的近似，结果表明，边缘似然得分在有监督的模型选择中表现不佳，而Dawids序贯概率方法则获得了最好的结果。
2013-01-16 cs.LG stat.ML
Stein Latent Optimization for Generative Adversarial Networks
Seoul National University（首尔大学）
具有聚类潜在空间的生成对抗网络（GANs）可以以完全无监督的方式执行条件生成。在现实世界中，未标记数据的显著属性可能是不平衡的。然而，大多数现有的无监督条件GANs不能正确地聚类这些数据在其潜在空间中的属性，因为它们假设属性的均匀分布。为了解决这个问题，我们从理论上推导出Stein潜在优化，该优化提供了潜在分布参数的可重新参数化的梯度估计，假设在连续潜在空间中存在高斯混合。在结构上，我们引入了一个编码器网络和新的无监督条件对比损失，以确保从一个单一的混合成分生成的数据代表一个单一的属性。我们确认，所提出的方法，命名为斯坦潜在优化GANs（SLOGAN），成功地学习平衡或不平衡的属性，并实现了最先进的无监督条件生成性能，即使在没有属性信息的情况下（例如，不平衡度）。此外，我们证明了要学习的属性可以使用少量的探测数据进行操作。
2022-03-15 cs.LG stat.ML
The geometry of kernelized spectral clustering
数据集的聚类是科学和工程的许多领域中的标准问题。谱聚类的方法是基于使用核函数嵌入数据集，并使用归一化拉普拉斯算子的顶部特征向量来恢复连通分量。我们研究了谱聚类在恢复i.i.d.的潜在标签的性能。样本来自非参数分布的有限混合。这个标签恢复问题的难度取决于混合成分之间的重叠，以及如何容易将混合成分分成两个不重叠的成分。当重叠是小的混合物成分的不可分割性相比，人口水平的归一化拉普拉斯算子的主特征空间近似由平方根核化的成分密度。在有限样本条件下，在相同的假设条件下，当样本量较大时，来自不同成分的嵌入样本以高概率近似正交。作为一个推论，我们控制的分数的样本错误标记的谱聚类下有限的混合物与非参数成分。
2015-04-07 math.ST stat.ML stat.TH
Families of Parsimonious Finite Mixtures of Regression Models
回归模型的有限混合为研究具有函数依赖关系的数据的异质性提供了灵活的框架。这些模型可以方便地用于具有明确回归关系的数据的无监督学习。我们通过对多元误差协方差阵进行特征分解来扩展这种模型。通过约束部分分解，我们得到了简约的回归混合和伴随变量的回归混合的家庭。这些模型家族解释了多个响应之间的相关性。提出了一种期望最大化算法用于参数估计，并在模拟和实际数据上说明了该算法的性能。
2013-12-02 stat.CO stat.ME stat.ML
Regression on imperfect class labels derived by unsupervised clustering
Aalborg University Hospital（奥尔堡大学医院）；Aalborg University（奥尔堡大学）
在许多应用中，通过无监督聚类识别的类标签回归的结果是自定义的。然而，通常忽略由学习算法引起的类别标签的错误分类，这潜在地导致估计的效果参数的严重偏差。由于其普遍性，我们建议纠正的情况下，使用模拟和外推法。从高斯混合模型的模拟数据的性能说明。最后，我们将我们的方法应用于一项研究，该研究回归了来自多发性骨髓瘤患者骨髓样本基因表达数据的无监督聚类的类标签上的总生存期。
2019-08-16 cs.LG stat.ME stat.ML
A Semi-Definite Programming approach to low dimensional embedding for unsupervised clustering
National Physical Laboratory（英国国家物理实验室）；Université de Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）；Digital Surf（Digital Surf公司）
本文提出了一个变形的Guédon和Verhynin的方法估计的聚类矩阵的混合高斯框架下通过半定规划。一个面向聚类的嵌入推导出这个估计。该过程适用于非常高维的数据，因为它只基于成对距离。理论guarantees提供和特征值优化方法，提出了计算嵌入。通过蒙特卡罗实验和与文献中其他嵌入的比较，说明了该方法的性能。
2016-06-29 cs.LG stat.ML
Turtle shell clustering: A mixture approach to discriminative clustering with applications to flow cytometry and other data
Department of Mathematics & Statistics, McMaster University（数学与统计学系，麦斯特大学）；School of Computer Science & Statistics, Trinity College Dublin（计算机科学与统计学学院，三一学院都柏林）
本文提出一种混合方法的判别聚类算法，能够自动选择聚类数目并处理数据异常，应用于流式细胞术等数据集。
2026-07-21 cs.LG stat.ME stat.ML
Parsimonious Gaussian mixture models with piecewise-constant eigenvalue profiles
Université Côte d’Azur（法国埃克塞特大学）；INRIA（法国国家信息与自动化技术研究院）；CNRS（法国国家科学研究中心）；LJAD（应用数学与计算科学实验室）；Maasai Project Team（马萨伊项目团队）
本文提出具有分段常数协方差特征值轮廓的简约高斯混合模型，扩展了MPPCA等低秩模型，并设计逐分量惩罚EM算法联合学习参数与超参数，在密度拟合、聚类和图像去噪中取得更优的似然-简约性权衡。
2025-11-07 cs.LG stat.AP stat.CO
Unsupervised Graph Embedding via Adaptive Graph Learning
Northwestern Polytechnical University（西北工业大学）
图自编码器（GAE）是用于图嵌入的表示学习中的强大工具。然而，GAE的性能非常依赖于图结构的质量，即，adjacency matrix的。换句话说，当邻接矩阵不完整或被干扰时，GAE将表现不佳。本文提出了两种新的无监督图嵌入方法：基于自适应图学习的无监督图嵌入（BAGE）和基于变分自适应图学习的无监督图嵌入（VBAGE）。该方法扩展了GAE在图嵌入上的应用范围，即在没有图结构的一般数据集上的应用。同时，自适应学习机制可以初始化邻接矩阵而不受参数的影响。此外，将潜在表示嵌入到拉普拉斯图结构中，以保持图在向量空间中的拓扑结构。此外，当原始图结构不完整时，邻接矩阵可以自学习以获得更好的嵌入性能。通过自适应学习，该方法对图结构具有更强的鲁棒性。在几个数据集上的实验研究验证了我们的设计，并证明我们的方法在节点聚类，节点分类和图形可视化任务中的性能远远优于基线。
2021-03-23 cs.LG stat.ML
Structured Graph Learning Via Laplacian Spectral Constraints
The Hong Kong University of Science and Technology（香港科技大学）
学习具有特定结构的图对于数据之间关系的可解释性和识别至关重要。众所周知，从观测样本中学习结构图是一个NP难的组合问题。在本文中，我们首先表明，对于一组重要的图族，它是可能的结构的结构约束转换成图的拉普拉斯矩阵的特征值约束。然后我们引入了一个统一的图学习框架，该框架将拉普拉斯矩阵的谱性质与高斯图建模相结合，能够学习一大类图族的结构。所提出的算法是可证明收敛的，实际上适合大规模的半监督和无监督的基于图的学习任务。大量的数值实验与合成和真实的数据集证明了所提出的方法的有效性。包含所有实验结果代码的R包可在https://cran.r-project.org/package=spectralGraphTopology上获得。
2019-09-24 cs.LG cs.SI math.OC
