Unsupervised Learning of Mixture Regression Models for Longitudinal Data
研究了重复测量个体的混合回归模型的学习问题。形容词“无监督”意味着混合成分的数量是未知的,必须由数据驱动工具来确定。为此,提出了一种新的惩罚方法,同时选择混合组分的数量,并估计混合比例和未知参数的模型。所提出的方法是能够处理连续和离散响应,只需要前两个时刻的条件下的模型分布。它被证明是一致的,在选择的组分数量和估计的混合比例和未知的回归参数。此外,一个修改的期望最大化算法开发无缝集成模型选择和估计。仿真研究进行评估所提出的程序的有限样本性能。并通过对原发性胆汁性肝硬化数据集的分析进一步说明。
2018-01-08 stat.ME
Semi-unsupervised Learning of Human Activity using Deep Generative Models
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
我们引入了“半无监督学习”,这是一种与迁移学习和zero-shot学习相关的问题机制,在训练数据中,一些类是稀疏标记的,而另一些则完全没有标记。能够从这种类型的训练数据中学习的模型可能非常有用,因为许多真实世界的数据集都是这样的。在这里,我们展示了一个新的深度生成模型在这个政权的分类。我们的模型是一个高斯混合深度生成模型,在MNIST上展示了优于Kingma和Welling(2014)的M2模型的半无监督分类性能。我们将该模型应用于人体加速度计数据,在时间序列数据的窗口上进行活动分类和结构发现。
2018-12-11 cs.LG stat.ML
Flexible High-Dimensional Unsupervised Learning with Missing Data
混合因子分析器(MFA)模型是一种基于混合模型的高维数据无监督学习方法。除其他外,在数据维度远远超过观测次数的情况下,它可能是有用的。近年来,MFA模型已经扩展到非高斯混合物,以考虑具有较重的尾部重量和/或不对称性的集群。广义双曲因子分析(MGHFA)模型就是这样一个扩展,它导致了一个灵活的建模范式,占更重的尾部重量和集群不对称。在许多实际应用中,缺失值的出现常常使数据分析复杂化。的MGHFA的推广,以适应缺失值。在随机缺失机制下,针对具有不同缺失模式的MGHFA模型的参数估计,提出了一种计算效率高的交替期望条件最大化算法.缺失值的插补下的不完全数据结构的MGHFA也进行了研究。我们所提出的方法的性能说明通过模拟和真实数据的分析。
2018-11-09 stat.CO stat.ME
Mixture of regressions with multivariate responses for discovering subtypes in Alzheimer's biomarkers with detection limits
除了尸体解剖,阿尔茨海默病(AD)的诊断没有金标准。无监督学习可以深入了解AD的病理生理学。回归的混合可以同时从多个生物标志物中识别聚类,同时考虑聚类内的人口统计学效应。AD的脑脊液(CSF)生物标志物具有检测限,这带来了额外的挑战。我们应用多元截断高斯分布的混合回归(也称为删失多元高斯混合回归或多元tobit回归的混合)对来自埃默里Goizueta阿尔茨海默病研究中心和埃默里健康脑研究的3,000多名参与者进行研究,以检查淀粉样β肽1-42(Abeta 42),已知检测限的CSF中的总tau蛋白和磷酸化tau蛋白。我们解决了三个缺口,在文献中的混合回归截断多元高斯分布:软件可用性,推理和聚类精度。我们发现了三个倾向于与AD组、正常对照组和非AD病理学相一致的簇。CSF特征因种族、性别和遗传标记ApoE 4而异,这突出了在具有检测限的无监督学习中考虑人口统计学因素的重要性。值得注意的是,AD样组的非裔美国人参与者的tau负担显着降低。
2023-03-01 stat.AP
Deep Unsupervised Clustering Using Mixture of Autoencoders
University of Michigan(密歇根大学);Technicolor(特艺集团);Adobe(Adobe公司)
无监督聚类是机器学习中最基本的挑战之一。一个流行的假设是,数据是从一个低维非线性流形的联合产生的,因此聚类的方法是识别和分离这些流形。在本文中,我们提出了一种新的方法来解决这个问题,通过使用混合的自动编码器。我们的模型由两部分组成:1)一个自动编码器的集合,其中每个自动编码器学习一组相似对象的底层流形,以及2)混合分配神经网络,它将来自自动编码器的级联潜在向量作为输入并推断集群上的分布。通过联合优化这两个部分,我们同时将数据分配给集群并学习每个集群的底层流形。
2017-12-26 cs.LG stat.ML
MixGCN: Scalable GCN Training by Mixture of Parallelism and Mixture of Accelerators
Georgia Institute of Technology(佐治亚理工学院);Rutgers University(罗格斯大学);University of Minnesota Twin Cities(明尼苏达大学双城分校)
针对全图GCN训练中的内存爆炸与稀疏/稠密交替计算难题,MixGCN通过并行混合与加速器混合,实现恒定通信量、负载均衡及高效可扩展训练。
2025-02-24 cs.AI cs.LG
Unsupervised Outlier Detection using Random Subspace and Subsampling Ensembles of Dirichlet Process Mixtures
Nexon(奈森(韩国游戏公司));Danggeun Market(당근마켓(韩国电商公司));University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Yonsei University(延世大学)
针对 Dirichlet Process Mixtures 计算低效且对非高斯数据建模困难的问题,提出一种结合随机子空间与子采样集成及变分推断的无监督离群点检测方法,有效提升了计算效率、鲁棒性和检测性能。
2024-07-25 cs.AI cs.LG stat.ML
High-Resolution Image Reconstruction with Unsupervised Learning and Noisy Data Applied to Ion-Beam Dynamics for Particle Accelerators
IPHC, CNRS Nuclei & Particules, Univ. of Strasbourg(斯特拉斯堡大学核与粒子物理研究所(法国国家科学研究中心));University of Strasbourg(斯特拉斯堡大学);Sorbonne University(索邦大学)
本文提出了一种基于卷积滤波和神经网络的无监督学习方法,用于在低信噪比条件下实现高分辨率的束流发散度图像重建,显著提升了离子束动力学的诊断精度。
2026-03-04 cs.CV cs.LG
Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders
Imperial College London(帝国理工学院)
我们研究了变分自编码器模型(VAE)的一个变体,该模型以高斯混合作为先验分布,目标是通过深度生成模型执行无监督聚类。我们观察到,已知的问题,已被证明出现在定期VAE也体现在我们的模型,并导致集群退化。我们表明,一个启发式称为最小信息约束,已被证明可以减轻这种影响VAE也可以应用于提高无监督聚类性能与我们的模型。此外,我们分析了这种启发式的效果,并提供了直观的各种过程的可视化的帮助。最后,我们证明了我们的模型在合成数据,MNIST和SVHN上的性能,表明所获得的聚类是独特的,可解释的,并导致在无监督聚类上达到与最先进的结果竞争的性能。
2017-01-13 cs.LG cs.NE stat.ML
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies(华为技术有限公司);Université Paris-Est(巴黎东大学)
在本文中,我们开发了一个无监督的生成聚类框架,结合了变分信息瓶颈和高斯混合模型。具体来说,在我们的方法中,我们使用变分信息瓶颈方法,并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界,它推广了证据下界(ELBO),并给出了一个变分推理型算法来计算它,在该算法中,编码器的映射使用神经网络进行参数化,该界用Monte Carlo抽样近似,并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
Adversarially Learned Mixture Model
Imagia
逆向学习混合模型(AMM)是一种用于无监督或半监督数据聚类的生成模型。AMM是第一个逆向优化的方法来模拟推断的连续和分类潜变量之间的条件依赖性。MNIST和SVHN数据集上的实验表明,AMM允许复杂数据的语义分离时,很少或根本没有标记的数据。AMM在MNIST数据集上实现了2.86%的最先进的无监督聚类错误率。AMM的半监督扩展在SVHN数据集上产生了有竞争力的结果。
2022-04-23 cs.LG stat.ML
Mixtures of Unsupervised Lexicon Classification
本文提出一种结合狄利克雷过程的混合矩方法,用于无监督词典分类。
2024-05-27 cs.AI cs.CL cs.CV
Unsupervised Detection and Tracking of Arbitrary Objects with Dependent Dirichlet Process Mixtures
Columbia University(哥伦比亚大学)
本文提出了一种视频中任意目标的无监督检测和跟踪技术。它旨在减少对针对特定对象类型的检测和定位方法的需求,并作为适用于具有不同对象,背景和图像质量的视频的通用框架。该技术使用了一个依赖的Dirichlet过程混合(DDPM)被称为广义波利亚瓮(GPUDDPM)模型图像像素数据,可以很容易地和有效地从视频中的区域,代表对象提取。本文描述了一个具体的实现模型使用的空间和彩色像素数据通过帧间差分提取,并给出了两个算法进行推理的模型来完成检测和跟踪。该技术在多个合成和基准视频数据集上进行了演示,这些数据集说明了其无需修改即可检测和跟踪在非均匀背景上移动并通过遮挡的具有不同物理特性的对象的能力。
2012-10-11 cs.CV cs.LG stat.ML
Towards the Theory of Unsupervised Federated Learning: Non-asymptotic Analysis of Federated EM Algorithms
Columbia University(哥伦比亚大学);Michigan State University(密歇根州立大学);New York University(纽约大学)
针对无监督联邦学习理论基础缺失问题,提出考虑任务异质性和对抗攻击的联邦梯度EM算法(FedGrEM),建立一般混合模型有限样本理论,验证其优于本地单任务学习及现有基准,填补理论与实践差距。
2024-06-14 cs.LG stat.ML
Transcendental Regularization of Finite Mixtures:Theoretical Guarantees and Practical Limitations
Rochester Institute of Technology(罗切斯特技术学院)
本文提出超越正则化方法,用于解决有限混合模型在高维空间中的退化问题,提供理论保证并揭示其实际限制。
2026-02-03 cs.LG stat.ML
Unsupervised Deep Clustering for Source Separation: Direct Learning from Mixtures using Spatial Information
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe研究院)
我们提出了一个单声道声源分离系统,该系统只通过观察没有地面真值分离信息的混合物来训练。我们使用一种深度聚类方法,该方法在多通道混合物上进行训练,并学会将频谱图箱投影到与各种空间特征相关的源集群。我们表明,使用这样的训练过程中,我们可以获得的分离性能是一样好,利用地面真分离信息。一旦经过训练,这个系统就能够对单声道输入进行声音分离,尽管已经学会了如何使用多声道录音来这样做。
2018-11-09 cs.LG cs.SD eess.AS
Anomaly Detection by Recombining Gated Unsupervised Experts
Fraunhofer AISEC(弗劳恩霍夫应用集成安全研究所)
异常检测已被认为是在几个程度的先验知识。无监督方法不需要任何标记的数据,而半监督方法利用一些已知的异常。受混合专家模型和对神经网络隐藏激活的分析的启发,我们提出了一种新的数据驱动的异常检测方法ARGUE。我们的方法不仅适用于无监督和半监督环境,而且还受益于自监督设置的先验知识。我们将ARGUE设计为专用专家网络的组合,这些专家网络专门处理部分输入数据。ARGUE采用门控混合专家体系结构,将分布在各专家系统中的知识进行融合,以做出最终决策。我们的评估动机,先验知识的正常数据分布可能是有价值的已知异常。
2022-05-23 cs.LG stat.ML
SiamMM: A Mixture Model Perspective on Deep Unsupervised Learning
Meta AI
本文从经典混合模型视角统一无监督聚类方法,提出 SiamMM 模型,在多个自监督学习基准上取得最先进性能,并能揭示数据中的潜在误标注。
2025-11-07 cs.CV cs.LG
MixCycle: Unsupervised Speech Separation via Cyclic Mixture Permutation Invariant Training
Boğaziçi University(博阿齐奇大学);MEF University(MEF大学)
我们介绍了两种无监督的源分离方法,这涉及到自监督的训练,从单通道两个源的语音混合。我们的第一种方法,混合置换不变训练(MixPIT),能够学习神经网络模型,该模型通过具有挑战性的代理任务分离底层源,而无需来自参考源的监督。我们的第二种方法,循环混合置换不变训练(MixCycle),使用MixPIT作为连续学习的循环方式的构建块。MixCycle逐渐将问题从分离混合物的混合物转化为分离单一混合物。我们将我们的方法与常见的监督和无监督基线进行比较:动态混合的排列不变训练(PIT-DM)和混合不变训练(MixIT)。我们表明,MixCycle优于MixIT,并达到了非常接近监督基线(PIT-DM)的性能水平,同时规避了MixIT的过度分离问题。此外,我们提出了一种受MixCycle启发的自我评估技术,该技术在不利用任何参考源的情况下估计模型性能。我们表明,它产生的结果与参考源(LibriMix)的评价一致,也与现实生活中的混合数据集(REAL-M)进行的非正式听力测试。
2023-01-06 cs.LG cs.SD eess.AS
Deep Bayesian Unsupervised Source Separation Based on a Complex Gaussian Mixture Model
National Institute of Advanced Industrial Science and Technology(国立先进工业科学技术研究院);RIKEN AIP(理化学研究所人工智能研究中心);Kyoto University(京都大学)
提出了一种仅利用多通道混合信号训练神经声源分离的无监督方法。传统的神经元分离方法需要大量的监督数据才能获得良好的性能。虽然基于空间信息的多通道方法可以在没有这样的训练数据的情况下工作,但是它们通常对参数初始化敏感,并且随着源彼此靠近而退化。所提出的方法使用基于称为复高斯混合模型(cGMM)的空间模型的成本函数。该模型的时间-频率(TF)掩模和波达方向(DOA)的源作为潜在变量,并用于训练分离和定位网络,分别估计这些变量。这种联合训练在统一的深度贝叶斯框架中解决了空间模型的频率排列模糊性。此外,预先训练的网络不仅可以用于进行单声道分离,而且可以用于有效地初始化多声道分离算法。模拟语音混合的实验结果表明,我们的方法优于传统的初始化方法。
2019-08-29 cs.LG cs.SD eess.AS
M3C: A Framework towards Convergent, Flexible, and Unsupervised Learning of Mixture Graph Matching and Clustering
Shanghai Jiao Tong University(上海交通大学)
本文提出M3C框架及其无监督扩展UM3C,通过Minorize-Maximization保证收敛、松弛聚类提升灵活性,并引入边级亲和度学习与伪标签选择,在混合图匹配与聚类任务上取得领先的精度和效率。
2023-10-27 cs.LG
Gaussian Mixture Generative Adversarial Networks for Diverse Datasets, and the Unsupervised Clustering of Images
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
生成对抗网络(GANs)已被证明可以生成逼真的合成图像,并取得了显着的成功,但当训练集高度多样化时,它们的性能似乎不那么令人印象深刻。当数据集包含许多不同的类时,为了更好地拟合目标数据分布,我们提出了一种基本GAN模型的变体,称为高斯混合GAN(GM-GAN),其中潜在空间上的概率分布是高斯的混合。我们还提出了一个有监督的变体,它能够有条件的样本合成。为了评估模型的性能,我们提出了一种新的评分方法,它分别考虑到两个(通常是冲突的)措施-多样性与质量的生成数据。通过一系列的实证实验,使用合成和真实世界的数据集,我们定量地表明,GM-GAN在使用常用的Inception Score进行评估时,以及使用我们自己的替代评分方法进行评估时,都优于基线。此外,我们定性地演示了如何的\textit{unsupervised}变体的GM-GAN倾向于映射从不同的高斯在潜在空间中的样本的数据空间中的不同类别的样本的潜在向量。我们展示了如何利用这种现象进行无监督聚类的任务,并提供定量评价,显示我们的方法的图像数据集的无监督聚类的优越性。最后,我们展示了一个功能,它进一步将我们的模型与其他GAN模型区分开来:通过改变潜在空间的概率分布来控制质量多样性权衡的选项。这允许人们根据自己的需要对更高质量和更低多样性的样本进行采样,反之亦然。
2018-08-30 cs.CV cs.LG stat.ML
A Unified Mixture-View Framework for Unsupervised Representation Learning
Meituan(美团);The Chinese University of Hong Kong(香港中文大学)
最近的无监督对比表示学习遵循单实例多视图(SIM)范例,其中通常使用图像内数据增强来构造正对。在本文中,我们提出了一种有效的方法称为超越单实例多视图(BSIM)。具体来说,我们通过测量两个随机采样的实例及其混合物(即假阳性对)之间的联合相似性来实现更准确的实例鉴别能力。我们认为,学习联合相似性有助于提高性能时,编码的功能更均匀地分布在潜在的空间。我们将其应用于无监督对比表示学习的正交改进,包括当前优秀的方法Simplified,MoCo和BYOL。我们在许多下游基准上评估了我们学习的表示,如ImageNet-1 k和PASCAL VOC 2007上的线性分类,MS COCO 2017和VOC上的目标检测等。
2022-10-10 cs.CV cs.LG
Adaptive Graph Mixture of Residual Experts: Unsupervised Learning on Diverse Graphs with Heterogeneous Specialization
School of New Media and Communication, Tianjin University(新媒体与传播学院,天津大学);Baidu(百度);School of Computer Science and Engineering, Beihang University(计算机科学与工程学院,北航大学)
提出ADaMoRE框架,通过骨干-残差专家架构和结构感知门控网络,在无监督条件下实现异构图专家混合训练,提升数据效率与训练稳定性,在16个基准上达到最先进性能。
2025-10-24 cs.LG
Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来,提出了一种基于变分自编码器(VAE)的视听语音生成模型,该模型结合噪声方差的非负矩阵分解(NMF)模型实现无监督语音增强。当视觉数据是干净的,语音增强与视听VAE表现出更好的性能比与仅音频VAE,这是在仅音频数据上训练。然而,视听VAE对于噪声视觉数据(例如,当对于某些视频帧,说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明,该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
Unsupervised Sound Separation Using Mixture Invariant Training
Google Research(谷歌研究院);UIUC(伊利诺伊大学厄巴纳-香槟分校)
近年来,使用深度神经网络的监督训练在单通道声音分离问题上取得了快速进展。在这种监督方法中,模型被训练以从通过将孤立的地面实况源相加而创建的合成混合物中预测分量源。依赖这种合成训练数据是有问题的,因为良好的性能取决于训练数据与真实世界音频之间的匹配程度,特别是在声学条件和源分布方面。声学特性可能难以准确模拟,并且声音类型的分布可能难以复制。在本文中,我们提出了一种完全无监督的方法,混合不变训练(MixIT),它只需要单通道声学混合。在MixIT中,通过将现有混合物混合在一起来构建训练示例,并且模型将它们分离成可变数量的潜在源,以便可以重新混合分离的源以近似原始混合物。我们表明,MixIT可以实现有竞争力的性能相比,监督的语音分离方法。在半监督学习设置中使用MixIT可以实现无监督域自适应和从大量真实数据中学习,而无需地面真实源波形。特别是,我们显着提高混响语音分离性能,通过将混响混合物,训练的语音增强系统从嘈杂的混合物,并提高通用的声音分离,通过将大量的野生数据。
2020-10-24 cs.LG cs.SD eess.AS
Exploring Expert Specialization through Unsupervised Training in Sparse Mixture of Experts
School of Engineering (STI)(工程学院);Laboratory of Applied Photonics Devices (LAPD)(应用光子器件实验室);Optics Laboratory(光学实验室)
本文提出SMoE-VAE架构,通过无监督专家路由在QuickDraw数据集上发现超越人类定义的子类别结构,揭示数据量与专家特化的权衡,为MoE架构设计提供指导。
2025-09-12 cs.AI cs.LG
MiCE: Mixture of Contrastive Experts for Unsupervised Image Clustering
Tsinghua University(清华大学);Institute for AI(人工智能研究院);BNRist Center(北京信息科学与技术国家研究中心);Tsinghua-Bosch Joint ML Center(清华-博世机器学习联合研究中心);THBI Lab(清华脑与智能实验室)
我们提出的混合对比专家(MiCE),一个统一的概率聚类框架,同时利用对比学习和潜在的混合模型捕获的语义结构学习的歧视性表示。受混合专家模型的启发,MiCE采用门控函数根据潜在语义将未标记的数据集划分为子集,并且多个专家以对比学习的方式区分分配给它们的实例的不同子集。为了解决由潜在变量引起的非平凡推理和学习问题,我们进一步开发了MiCE的期望最大化(EM)算法的可扩展变体,并提供收敛性证明。经验上,我们评估的聚类性能的MiCE四个广泛采用的自然图像数据集。MiCE实现了比各种以前的方法和强大的对比学习基线显著更好的结果。
2021-05-05 cs.CV cs.LG
UNSSOR: Unsupervised Neural Speech Separation by Leveraging Over-determined Training Mixtures
Carnegie Mellon University(卡内基梅隆大学)
UNSSOR利用麦克风数多于说话人数时的混合信号求和约束,结合DNN估计与子频带前向卷积预测滤波,并通过最小化源内幅度散射解决频率置换问题,实现无监督神经语音分离,且可推广至欠定单声道分离。
2023-10-29 cs.LG cs.SD eess.AS
VDSM: Unsupervised Video Disentanglement with State-Space Modeling and Deep Mixtures of Experts
University of Surrey(萨里大学)
分解表示支持一系列下游任务,包括因果推理、生成建模和公平机器学习。不幸的是,没有监督或归纳偏见的结合,解开纠缠已经被证明是不可能的。鉴于监督通常是昂贵的或不可行的收购,我们选择将结构归纳偏差,并提出了一个无监督的,深状态空间模型的视频解纠缠(VDSM)。该模型通过采用分层结构、动态先验知识和混合专家模型解码器来消除潜在的时变和动态因素。VDSM学习视频中对象或人的身份以及正在执行的动作的单独的解纠缠表示。我们在一系列定性和定量的任务,包括身份和动力学转移,序列生成,Fréchet起始距离和因子分类评估VDSM。VDSM提供了最先进的性能,超过了对抗性方法,即使这些方法需要额外的监督。
2021-12-15 cs.CV cs.LG
An unsupervised machine-learning checkpoint-restart algorithm using Gaussian mixtures for particle-in-cell simulations
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
提出了一种基于高斯混合粒子(PIC)算法的无监督机器学习检查点重启(CR)有损算法。该算法的特点是一个粒子压缩阶段和粒子重建阶段,在连续的粒子分布函数的构造和重采样,分别。为了保证CR过程的保真度,我们确保在网格上的任何地方都能精确地保留压缩和重建阶段的电荷、动量和能量。我们还确保了粒子重构后高斯定律的保持。其结果是,GM CR算法被证明提供了一个干净的,保守的重启能力,同时可能提供数量级的节省输入/输出的要求。我们证明了该算法使用最近开发的能量和电荷守恒PIC算法的物理问题的兴趣,与压缩因子$\gtrsim75$没有明显的影响的质量重新启动的动态。
2021-03-17 cs.DC cs.LG
Unsupervised physics-informed disentanglement of multimodal data for high-throughput scientific discovery
Sandia National Laboratories(桑迪亚国家实验室);Arizona State University(亚利桑那州立大学)
我们引入物理信息的多模态自编码器(PIMA)-一个变分推理框架,用于在代表高通量测试的多模态科学数据集中发现共享信息。个体模态被嵌入到共享的潜在空间中,并通过专家公式化的产品进行融合,从而在识别共享特征之前实现高斯混合。从集群采样允许跨模态生成建模,与专家解码器的混合施加归纳偏见编码先前的科学知识和赋予潜在空间的结构化解纠缠。这种方法能够发现可以在高维异构数据集中检测到的指纹,避免了与高保真测量和表征相关的传统瓶颈。受材料制造过程的加速协同设计和优化的启发,来自金属增材制造的晶格超材料数据集展示了中尺度拓扑图像和机械应力-应变响应之间的准确交叉模态推断。
2022-02-07 cs.LG stat.ML
Bootstrapping single-channel source separation via unsupervised spatial clustering on stereo mixtures
Northwestern University(西北大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
将音频场景分离成孤立的源是计算机听觉中的基本问题,类似于视觉景物分析中的图像分割。基于深度学习的声源分离系统是目前解决欠定分离问题的最成功的方法,其中存在比信道更多的声源。传统上,这样的系统是在已经知道地面真实分解的声音混合物上训练的。由于大多数真实世界的记录没有这样的分解可用,这限制了可以训练的混合物的范围,以及学习模型可以成功分离的混合物的范围。在这项工作中,我们使用一个简单的盲空间声源分离算法来生成立体声混合的估计分解。这些估计连同基于分离质量的置信度的时频域中的加权方案一起用于训练可用于单通道分离的深度学习模型,其中没有源方向信息可用。这演示了如何使用诸如源的起源方向的简单线索来引导用于声源分离的模型,该模型可以在该线索不可用的情况下使用。
2018-11-06 cs.AI cs.LG cs.SD
A Mixture of Surprises for Unsupervised Reinforcement Learning
Tsinghua University(清华大学);SenseTime(商汤科技)
无监督强化学习旨在以无奖励的方式学习通才策略,以快速适应下游任务。大多数现有的方法提出提供基于惊喜的内在奖励。最大化或最小化惊喜驱使智能体探索或控制其环境。然而,这两种策略都依赖于一个强有力的假设:环境动态的熵要么高,要么低。这个假设在现实世界的场景中可能并不总是成立,其中环境动态的熵可能是未知的。因此,在这两个目标之间作出选择是一个两难的选择。我们提出了一种新颖而简单的混合政策来解决这个问题,使我们能够优化一个目标,同时最大化和最小化的惊喜。具体地说,我们训练一个目标是使突袭最大化的混合成分,另一个目标是使突袭最小化。因此,我们的方法不对环境动态的熵进行假设。我们称我们的方法为无监督强化学习的$\textbf{M}\text{ixture }\textbf{O}\text{f }\textbf{S}\text{urprise}\textbf{S}$(MOSS)。实验结果表明,我们的简单的方法达到了最先进的性能的URLB基准,优于以前的纯惊喜最大化为基础的目标。我们的代码可在https://github.com/LeapLabTHU/MOSS上获得。
2022-10-13 cs.AI cs.LG
Un-Mix: Rethinking Image Mixtures for Unsupervised Visual Representation Learning
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
近年来发展起来的无监督学习方法利用类连体框架比较来自同一图像的两个“视图”来学习表示。区分这两种视图是保证无监督方法能够学习有意义信息的核心。然而,如果用于生成两个视图的增强不够强,则这种框架有时在过拟合上是脆弱的,从而导致对训练数据的过度自信问题。这个缺点阻碍了模型学习细微的方差和细粒度的信息。为了解决这个问题,在这项工作中,我们的目标是在无监督学习中涉及标签空间上的距离概念,并通过混合输入数据空间,让模型知道正或负对之间的软相似度,以进一步协同工作的输入和损失空间。尽管其概念简单,我们经验表明,与解决方案-无监督图像混合(Un-Mix),我们可以学习微妙的,更强大的和广义的表示从变换后的输入和相应的新的标签空间。在CIFAR-10、CIFAR-100、STL-10、Tiny ImageNet和标准ImageNet上进行了大量的实验,使用流行的无监督方法Simplified、BYOL、MoCo V1&V2、SwAV等。我们提出的图像混合和标签分配策略在与基本方法完全相同的超参数和训练过程下,可以获得1~3%的一致性改进。代码可在https://github.com/szq0214/Un-Mix上公开获取。
2022-02-17 cs.CV cs.LG eess.IV
Robust Unsupervised Multi-task and Transfer Learning on Gaussian Mixture Models
Columbia University(哥伦比亚大学);Michigan State University(密歇根州立大学);Hong Kong University of Science and Technology(香港科技大学);New York University(纽约大学)
本文提出了一种基于EM算法的鲁棒多任务和迁移学习方法,用于高斯混合模型,实现了参数估计和分类误差的最优收敛率,并解决了初始化对齐问题。
2025-12-25 cs.LG math.ST stat.ME
Mixture factorized auto-encoder for unsupervised hierarchical deep factorization of speech signal
The Chinese University of Hong Kong(香港中文大学)
语音信号是由语言内容、说话人特征等多种信息因素构成和贡献的。最近有一些值得注意的研究试图将语音信号分解为这些单独的因素,而不需要任何注释。这些研究通常假设语言内容的连续表示,这是不符合一般的语言学知识,可能会使说话人信息的提取不太成功。本文提出了用于无监督深度因子分解的混合因子分解自动编码器(mFAE)。mFAE的编码器部分包括帧标记器和话语嵌入器。框架标记器用离散分类分布对输入语音的语言内容进行建模。它通过为每个帧分配软混合标签来执行帧聚类。话语嵌入器生成话语级矢量表示。帧解码器用于从编码器的输出重建语音特征。在说话人确认(SV)任务和无监督子词建模(USM)任务上对mFAE进行评估。在VoxCeleb 1上的SV实验表明,该话语嵌入器能够提取说话者区分嵌入,其性能与x向量基线相当。在ZeroSpeech 2017数据集上的USM实验验证了帧标记器能够捕获语言内容,话语嵌入器可以获取说话人相关信息。
2019-10-30 cs.LG cs.MM cs.SD
Unsupervised Clustering Approaches for Autism Screening: Achieving 95.31% Accuracy with a Gaussian Mixture Model
ever-growing GmbH(Ever-growing 公司);Dyslexia99
本文比较四种无监督聚类算法用于自闭症筛查,在704人数据集上经超参数调优后,高斯混合模型取得95.31%的最高聚类准确率,证明无监督方法在标签数据稀缺时具有辅助早期检测的潜力。
2025-02-20 cs.CY cs.LG
Partition of Unity Physics-Informed Neural Networks (POU-PINNs): An Unsupervised Framework for Physics-Informed Domain Decomposition and Mixtures of Experts
The University of Texas at El Paso(德克萨斯大学埃尔帕索分校);University of California, Santa Cruz(加州大学圣克鲁兹分校);Clarkson University(克拉克森大学);Texas A&M University in Kingsville(德克萨斯农工大学金斯维尔分校)
提出无监督POU-PINNs框架,利用单位分解网络和物理残差损失自动发现PDE的空间子域及非线性参数,提升求解精度。
2024-12-07 cs.LG
InClass Nets: Independent Classifier Networks for Nonparametric Estimation of Conditional Independence Mixture Models and Unsupervised Classification
University of Florida(佛罗里达大学)
我们引入了一种新的基于机器学习的方法,我们称之为独立分类器网络(InClass网)技术,条件独立混合模型(CIMM)的非参数估计。我们将CIMM的估计视为多类分类问题,因为将数据集划分为不同类别自然会导致混合模型的估计。InClass网络由多个独立的分类器神经网络(NN)组成,每个网络处理CIMM的一个变量。通过使用合适的成本函数同时训练各个NN来执行CIMM对数据的拟合。神经网络逼近任意函数的能力使得我们的技术是非参数的。进一步利用NN的能力,我们允许模型的条件独立变量是单独的高维,这是我们的技术相对于现有的非机器学习方法的主要优势。我们得到了一些新的结果的非参数可识别的二元CIMM的形式的一个必要条件和一个(不同的)充分条件的二元CIMM是可识别的。我们提供了一个名为RainDancesVI的Python包,并通过几个示例验证了我们的InClass网技术。我们的方法在无监督和半监督分类问题中也有应用。
2020-08-31 cs.LG econ.EM hep-ph
Unsupervised User-Based Insider Threat Detection Using Bayesian Gaussian Mixture Models
Laval University(拉瓦尔大学)
内部威胁是组织越来越关注的问题,因为他们的成员可以通过结合他们的特权访问和领域知识造成大量的损害。然而,检测此类威胁具有挑战性,这正是因为授权人员能够轻易地进行恶意行动,也因为各组织产生的审计数据规模巨大且多样性很大,其中隐藏了很少的恶意足迹。在本文中,我们提出了一个无监督的内部威胁检测系统的审计数据的基础上,使用贝叶斯高斯混合模型。该方法利用基于用户的模型来优化特定的行为建模和基于Word2Vec的自动特征提取系统,以便于在现实生活中的场景中使用。该解决方案的区别在于不需要数据平衡,也不需要仅在正常实例上进行训练,并且实现所需的领域知识很少。尽管如此,结果表明,该方法与国家的最先进的方法竞争,提出了一个良好的召回率为88%,准确率和真阴性率为93%,假阳性率为6.9%。在我们的实验中,我们使用了基准数据集CERT版本4.2。
2022-11-23 cs.CR cs.LG
RagGAD: Rationale-Aware Conditional Gaussian Mixture Normalizing Flow for Unsupervised Graph Anomaly Detection
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);State Key Laboratory of Submarine Geoscience, School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学海洋地质国家重点实验室、自动化与智能传感学院)
针对现有图异常检测方法依赖同质性假设、鲁棒性不足的问题,提出RagGAD框架,通过依据解缠与混合建模提升性能,在多基准数据集上优于现有方法。
2026-08-18 cs.AI cs.LG
Sequence Alignment with Dirichlet Process Mixtures
University of Bath(巴斯大学);University of Tübingen(图宾根大学);University of Bristol(布里斯托尔大学)
提出了一种基于Dirichlet过程混合模型(DPMM)的高维时间扭曲序列无监督比对概率模型。我们遵循(Kazlauskaite,2018)中介绍的方法,同时将每个数据序列表示为真实底层函数和时间扭曲的组合,两者都使用高斯过程(GP)(Rasmussen,2005)建模,并使用无监督对齐方法对齐底层函数。在(Kazlauskaite,2018)中,使用GP潜变量模型(GP-LVM)(Lawrence,2005)作为序列模型进行比对,而我们的主要贡献是将这种方法扩展到使用DPMM,这允许我们在时间上比对序列并同时对其进行聚类。我们表明,DPMM实现了竞争力的结果相比,GP-LVM合成和真实世界的数据集,并讨论了不同的属性的估计的基础功能和这些模型所青睐的时间扭曲。
2018-11-26 cs.LG stat.ML
Unsupervised Acute Intracranial Hemorrhage Segmentation with Mixture Models
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
当脑组织或颅骨内其他部位的血管破裂或渗漏时,会发生颅内出血。它可以由身体创伤或各种医疗条件引起,在许多情况下导致死亡。必须尽快开始治疗,因此应准确快速地诊断出血。诊断通常由放射科医生进行,放射科医生分析计算机断层扫描(CT)扫描,其中包含整个大脑的大量横截面图像。手动分析每张图像可能非常耗时,但自动化技术可以帮助加快这一过程。虽然最近的许多研究都集中在通过使用监督机器学习算法来解决这个问题,但由于隐私问题,公开可用的训练数据仍然很少。这个问题可以通过无监督算法来缓解。在本文中,我们提出了一个完全无监督的算法,这是基于混合模型。我们的算法利用了出血和健康组织的属性遵循不同分布的事实,因此这些分布的适当公式使我们能够通过期望最大化过程将它们分开。此外,我们的算法是能够自适应地确定集群的数量,使所有的出血区域可以被发现,而不包括嘈杂的体素。我们在公开的数据集上展示了我们的算法的结果,这些数据集包含各种大小和强度的所有不同的出血类型,并将我们的结果与早期的无监督和监督算法进行了比较。实验结果表明,对于大多数出血类型,该算法的性能优于其他算法。
2021-05-12 cs.CV cs.LG
Resilient VAE: Unsupervised Anomaly Detection at the SLAC Linac Coherent Light Source
Stanford University(斯坦福大学);SLAC National Laboratory(SLAC国家实验室)
本文提出弹性变分自编码器(ResVAE),一种无监督深度生成模型,用于在无标签数据下检测加速器异常,并在SLAC LCLS上验证其有效性。
2023-09-05 cs.LG physics.acc-ph
A Two-round Variant of EM for Gaussian Mixtures
AT&T Labs - Research(AT&T实验室-研究部);Georgia Institute of Technology(佐治亚理工学院)
给定一组可能的模型(例如,贝叶斯网络结构)和数据样本,在无监督模型选择问题中,任务是选择关于域联合概率分布的最准确的模型。与此相反,在监督模型选择中,先验已知所选模型将在未来用于涉及更“集中”的预测分布的预测任务。虽然可以通过边缘化从联合概率分布中产生集中的预测分布,但实际上,无监督意义上的最佳模型不一定在监督域中表现良好。特别是,标准边际似然得分是无监督任务的标准,虽然经常用于监督模型选择,但在此类任务中表现不佳。在本文中,我们研究了边际似然得分的监督贝叶斯网络选择任务的经验性能,通过使用大量的公开可用的分类数据集,并比较结果与其他模型选择标准,包括经验交叉验证方法,监督边际似然测度的近似,结果表明,边缘似然得分在有监督的模型选择中表现不佳,而Dawids序贯概率方法则获得了最好的结果。
2013-01-16 cs.LG stat.ML
Stein Latent Optimization for Generative Adversarial Networks
Seoul National University(首尔大学)
具有聚类潜在空间的生成对抗网络(GANs)可以以完全无监督的方式执行条件生成。在现实世界中,未标记数据的显著属性可能是不平衡的。然而,大多数现有的无监督条件GANs不能正确地聚类这些数据在其潜在空间中的属性,因为它们假设属性的均匀分布。为了解决这个问题,我们从理论上推导出Stein潜在优化,该优化提供了潜在分布参数的可重新参数化的梯度估计,假设在连续潜在空间中存在高斯混合。在结构上,我们引入了一个编码器网络和新的无监督条件对比损失,以确保从一个单一的混合成分生成的数据代表一个单一的属性。我们确认,所提出的方法,命名为斯坦潜在优化GANs(SLOGAN),成功地学习平衡或不平衡的属性,并实现了最先进的无监督条件生成性能,即使在没有属性信息的情况下(例如,不平衡度)。此外,我们证明了要学习的属性可以使用少量的探测数据进行操作。
2022-03-15 cs.LG stat.ML
A Semi-Definite Programming approach to low dimensional embedding for unsupervised clustering
National Physical Laboratory(英国国家物理实验室);Université de Bourgogne Franche-Comté(勃艮第-弗朗什-孔泰大学);Digital Surf(Digital Surf公司)
本文提出了一个变形的Guédon和Verhynin的方法估计的聚类矩阵的混合高斯框架下通过半定规划。一个面向聚类的嵌入推导出这个估计。该过程适用于非常高维的数据,因为它只基于成对距离。理论guarantees提供和特征值优化方法,提出了计算嵌入。通过蒙特卡罗实验和与文献中其他嵌入的比较,说明了该方法的性能。
2016-06-29 cs.LG stat.ML
A Method of Moments for Mixture Models and Hidden Markov Models
University of California, Irvine(加州大学欧文分校);Microsoft Research New England(微软新英格兰研究院)
混合模型是应用统计学和机器学习中用于处理从多个子群体获取的数据的基本工具。用于估计这种模型的参数的当前实践依赖于局部搜索算法(例如,EM算法),而现有的一致性方法由于它们的高计算和样本复杂性(其通常随混合物组分的数量呈指数地缩放)而不利。这项工作开发了一种有效的矩方法的参数估计方法的一个广泛的类别的高维混合模型与许多组件,包括多视图混合高斯(如轴对齐高斯的混合)和隐马尔可夫模型。新方法导致严格的无监督学习的混合模型,没有实现以前的作品的结果,而且,由于其简单性,它提供了一个可行的替代EM的实际部署。
2012-09-05 cs.LG stat.ML
Tackling unsupervised multi-source domain adaptation with optimism and consistency
INESC TEC(葡萄牙工程与技术研究所);University of Porto(波尔图大学)
一段时间以来,已知多源领域自适应的问题可以被视为单源领域自适应任务,其中源领域对应于原始源领域的混合。尽管如此,如何调整混合分布权重仍然是一个悬而未决的问题。此外,大多数现有的工作在这个主题只集中在最大限度地减少错误的源域和实现域不变的表示,这是不够的,以确保低错误的目标域。在这项工作中,我们提出了一个新的框架,解决了这两个问题,并通过使用温和乐观的目标函数和目标样本的一致性正则化击败了目前的最新技术水平。
2020-09-29 cs.AI cs.CV cs.LG
Infinite Mixture Prototypes for Few-Shot Learning
MIT(麻省理工学院);UC Berkeley(加州大学伯克利分校)
我们提出了无限混合原型,以适应性地表示简单和复杂的数据分布少样本学习。我们的无限混合原型通过一组集群表示每个类,这与现有的通过单个集群表示每个类的原型方法不同。通过推断簇的数量,无限混合原型在最近邻和原型表示之间插值,这提高了Few-Shot机制中的准确性和鲁棒性。我们展示了自适应能力对于捕获复杂数据分布(如字母表)的重要性,与原型网络相比,绝对准确率提高了25%,同时仍然保持或提高了标准Omniglot和mini-ImageNet基准的准确性。在通过相同的聚类规则对标记和未标记数据进行聚类时,无限混合原型实现了最先进的半监督精度。作为进一步的能力,我们表明,无限的混合物原型可以执行纯粹的无监督聚类,与现有的原型方法。
2019-02-12 cs.LG stat.ML
Correlation-aware Deep Generative Model for Unsupervised Anomaly Detection
School of Computer Science and Technology, Harbin University of Science and Technology(哈尔滨理工大学计算机科学与技术学院);Fujian Provincial Key Laboratory of Information Processing and Intelligent Control, Minjiang University(闽江学院福建省信息处理与智能控制重点实验室)
无监督异常检测的目的是从高度复杂和非结构化的数据中识别异常样本,这在基础研究和工业应用中都很普遍。然而,大多数现有的方法忽略了数据样本之间的复杂相关性,这对于捕获异常模式偏离的正常模式非常重要。在本文中,我们提出了一种通过深度高斯混合模型(CADGMM)的相关性感知无监督异常检测方法,该方法捕获数据点之间的复杂相关性,用于高质量的低维表示学习。具体地说,数据样本之间的关系,首先相关的图形结构的形式,其中,节点表示的样本和边缘表示两个样本之间的相关性从特征空间。然后,采用由图编码器和特征编码器组成的双编码器,将样本的特征和相关信息联合编码到低维隐空间中,再由解码器进行数据重构。最后,一个单独的估计网络作为一个高斯混合模型被用来估计学习的特征向量的密度,并可以通过测量样本的能量来检测异常。在真实数据集上的大量实验证明了该方法的有效性。
2020-10-19 cs.LG stat.ML
uaMix-MAE: Efficient Tuning of Pretrained Audio Transformers with Unsupervised Audio Mixtures
Microsoft(微软)
提出uaMix-MAE,一种基于无监督音频混合的高效实例判别调优策略,通过对比调优对齐预训练MAEs表征,在低/少样本下实现4-6%准确率提升。
2024-03-14 cs.LG cs.SD eess.AS
GM-CTSC at SemEval-2020 Task 1: Gaussian Mixtures Cross Temporal Similarity Clustering
University of Bari(巴里大学);Dublin City University(都柏林城市大学)
本文描述了SemEval-2020任务1:无监督词汇语义变化检测的系统。我们的方法集中在检测问题上。鉴于在不同时间段的时间词嵌入捕获的单词的语义,我们研究了使用无监督的方法来检测目标词何时获得或失去意义。为此,我们定义了一个新的算法的基础上高斯混合模型的目标相似性计算在两个时期的聚类。我们比较了所提出的方法与一些基于相似性的阈值。我们发现,尽管检测方法的性能在不同的词嵌入算法中有所不同,但高斯混合与时间参考的组合产生了我们最好的系统。
2020-05-20 cs.CL cs.LG