Unsupervised Learning via Mixtures of Skewed Distributions with Hypercube Contours
通过推广多元移位非对称拉普拉斯密度，建立了其组成部分具有倾斜超立方体轮廓的混合模型。具体来说，我们开发的混合物的多个缩放移位不对称拉普拉斯分布。分量密度具有两个独特的特征：它们包括多元权函数，并且边缘分布也是不对称的拉普拉斯分布。我们使用这些混合的多个缩放移位的非对称拉普拉斯分布的聚类应用程序，但它们同样可以很好地用于监督或半监督的范例。期望最大化算法用于参数估计，贝叶斯信息准则用于模型选择。模拟和真实的数据集被用来说明的方法，并在某些情况下，可视化的组件的斜超立方体结构。
2014-09-17 stat.ME
Unsupervised Boosting-based Autoencoder Ensembles for Outlier Detection
George Mason University（乔治梅森大学）；Sapienza University of Rome（罗马第一大学）；University of L’Aquila（拉奎拉大学）
自编码器作为一种降维技术，近年来已被应用于离群点检测。然而，已知神经网络易受过拟合的影响，因此在无监督离群值检测设置中具有有限的潜力。目前基于集成的自动编码器的方法不能产生足够的多样性来避免过拟合问题。为了克服上述限制，我们开发了一种基于Boosting的自动编码器Encoder方法（简称BAE）。BAE是一种无监督的集成方法，与boosting方法类似，它构建了自适应级联的自动编码器，以实现改进和鲁棒的结果。BAE通过对数据进行加权采样来依次训练自动编码器组件，旨在减少训练期间使用的离群值数量，并在集合中注入多样性。我们进行了广泛的实验，并表明所提出的方法优于国家的最先进的方法在各种条件下。
2019-10-22 cs.LG stat.ML
Unsupervised Learning of Mixture Regression Models for Longitudinal Data
研究了重复测量个体的混合回归模型的学习问题。形容词“无监督”意味着混合成分的数量是未知的，必须由数据驱动工具来确定。为此，提出了一种新的惩罚方法，同时选择混合组分的数量，并估计混合比例和未知参数的模型。所提出的方法是能够处理连续和离散响应，只需要前两个时刻的条件下的模型分布。它被证明是一致的，在选择的组分数量和估计的混合比例和未知的回归参数。此外，一个修改的期望最大化算法开发无缝集成模型选择和估计。仿真研究进行评估所提出的程序的有限样本性能。并通过对原发性胆汁性肝硬化数据集的分析进一步说明。
2018-01-08 stat.ME
Randomized PCA Forest for Unsupervised Outlier Detection
Department of Mathematics and Computer Science（数学与计算机科学系）；University of Southern Denmark（南丹麦大学）；Faculty of Information Technology and Communication Sciences（信息科技与通信科学学院）；Tampere University（塔尔库大学）
本文提出一种基于随机PCA的无监督异常检测方法，利用RPCA森林的内在特性生成异常评分，在多个数据集上优于经典和最新方法，展现出鲁棒性和高效性。
2026-05-08 cs.AI cs.LG stat.ML
Unsupervised Outlier Detection using Random Subspace and Subsampling Ensembles of Dirichlet Process Mixtures
Nexon（奈森（韩国游戏公司））；Danggeun Market（당근마켓（韩国电商公司））；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Yonsei University（延世大学）
针对 Dirichlet Process Mixtures 计算低效且对非高斯数据建模困难的问题，提出一种结合随机子空间与子采样集成及变分推断的无监督离群点检测方法，有效提升了计算效率、鲁棒性和检测性能。
2024-07-25 cs.AI cs.LG stat.ML
XGBOD: Improving Supervised Outlier Detection with Unsupervised Representation Learning
University of Toronto（多伦多大学）；PricewaterhouseCoopers（普华永道）
提出了一种新的半监督集成算法XGBOD（Extreme梯度提升Outlier Detection），描述并演示了该算法在实际数据集上对正态观测数据中的离群点的增强检测。建议的框架结合了监督和无监督机器学习方法的优势，通过创建一个混合的方法，利用他们各自的性能能力在离群值检测。XGBOD使用多个无监督离群值挖掘算法从底层数据中提取有用的表示，以增强嵌入式监督分类器在改进的特征空间上的预测能力。新的方法相比，竞争的个人检测器，完整的合奏和两个现有的表示学习为基础的算法在七个离群数据集提供卓越的性能。
2019-12-01 cs.DB cs.IR cs.LG
Generative Adversarial Active Learning for Unsupervised Outlier Detection
Hefei University of Technology（合肥工业大学）；Worcester Polytechnic Institute（伍斯特理工学院）；University of Science and Technology of China（中国科学技术大学）
离群点检测是机器学习中的一个重要课题，并有着广泛的应用。在本文中，我们将离群点检测作为一个二进制分类问题，通过从均匀参考分布中采样潜在的离群点。然而，由于高维空间中数据的稀疏性，有限数量的潜在异常值可能无法提供足够的信息来帮助分类器描述可以有效地将异常值与正常数据分离的边界。为了解决这个问题，我们提出了一种新的单目标生成式对抗主动学习（SO-GAAL）离群点检测方法，它可以直接生成信息的潜在离群点之间的最小-最大博弈的基础上的发电机和发电机。此外，为了防止发生器陷入模式崩溃问题，应该在SO-GAAL能够提供足够信息的情况下确定训练的停止节点。但在没有任何先验信息的情况下，这对SO-GAAL来说是极其困难的。因此，我们扩展了SO-GAAL的网络结构，从一个单一的发电机到多个发电机与不同的目标（MO-GAAL），它可以产生一个合理的参考分布的整个数据集。我们经验比较所提出的方法与几个国家的最先进的离群值检测方法在合成和真实世界的数据集。结果表明，MO-GAAL在大多数情况下优于其竞争对手，特别是对于具有各种聚类类型或高不相关变量比率的数据集。
2019-03-18 cs.LG stat.ML
Robust Mixture Learning when Outliers Overwhelm Small Groups
ETH Zurich（苏黎世联邦理工学院）；TU Munich（慕尼黑工业大学）；Lucerne School of Computer Science and Information Technology（卢塞恩计算机科学与信息技术学院）；University of Copenhagen（哥本哈根大学）
研究对手添加异常值淹没低权重簇时的列表可解码混合学习问题，提出利用混合结构部分聚类并迭代基学习器的算法，以最小列表开销实现阶数最优误差保证。
2024-07-22 cs.DS cs.LG stat.ML
Learning with Correntropy-induced Losses for Regression with Mixture of Symmetric Stable Noise
State University of New York at Albany（纽约州立大学奥尔巴尼分校）
近年来，相关熵及其在机器学习中的应用由于其在处理非高斯噪声和离群点方面的优点而受到了广泛的关注。然而，相关熵的理论理解，特别是在统计学习的背景下，仍然是有限的。在这项研究中，在统计学习的框架内，我们研究了基于相关熵的回归存在非高斯噪声或离群值。受非高斯噪声或离群点产生的实际方法的启发，本文引入了对称稳定噪声的混合模型，包括高斯噪声、柯西噪声及其混合作为特例，对非高斯噪声或离群点进行建模。我们证明了在对称稳定噪声的混合假设下，基于相关熵的回归可以很好地学习条件均值函数或条件中值函数，而无需求助于噪声的有限方差甚至有限一阶矩条件。特别地，对于上述两种情况，我们建立了基于相关熵的回归估计量的渐近最优学习率，该估计量渐近为$\mathcal{O}(n^{-1})$型。这些结果证明了基于相关熵的回归估计在处理异常值和非高斯噪声时的有效性。我们相信，本研究完成了我们的理解，从统计学习的角度对基于相关熵的回归，也可能揭示了一些强大的统计学习回归。
2019-09-05 cs.LG stat.ML
Unsupervised Feature Selection via Robust Autoencoder and Adaptive Graph Learning
Department of Sociology University of California, Davis, California, USA（加州大学戴维斯分校社会学系）
本文提出RAEUFS模型，通过深度自编码器学习非线性特征表示并提高对异常值的鲁棒性，实验表明其在清洁和异常值污染数据中均优于现有方法。
2026-03-19 cs.LG stat.ML
SUOD: Toward Scalable Unsupervised Outlier Detection
H. John Heinz III College, Carnegie Mellon University（卡内基梅隆大学海因茨三世学院）；Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）
离群点检测是机器学习识别异常数据对象的关键领域。由于获取地面真实值的成本很高，在实践中经常选择无监督模型。为了弥补无监督算法的不稳定性，来自金融、健康和安全等高风险领域的从业者更喜欢构建大量模型以进行进一步的组合和分析。然而，这对高维大型数据集的可扩展性提出了挑战。在这项研究中，我们提出了一个名为SUOD的三模块加速框架，以加快大量无监督检测模型的训练和预测。SUOD的随机投影模块可以为高维数据集生成较低的子空间，同时保留它们的距离关系。平衡并行调度模块可以高置信度地预测模型的训练和预测成本，因此任务调度器可以在工作者之间分配几乎相等的任务负载，以实现高效的并行化。SUOD还附带了一个伪监督近似模块，它可以通过较低的时间复杂度监督回归来近似拟合的无监督模型，以便对未知数据进行快速预测。它可以被认为是一个无监督的模型知识蒸馏过程。值得注意的是，所有三个模块都是独立的，具有很大的灵活性，可以“混合和匹配”;可以根据用例选择模块的组合。在30多个基准数据集上的大量实验表明了SUOD的有效性，并提出了一个全面的未来发展计划。
2020-02-08 cs.IR cs.LG stat.ML
Vacant Holes for Unsupervised Detection of the Outliers in Compact Latent Representation
Delft University of Technology（代尔夫特理工大学）；University of Piraeus（比雷埃夫斯大学）
针对经典变分自编码器（VAE）的理论缺陷与异常检测难题，通过亚历山德罗夫延拓和固定利普希茨常数实现潜在空间紧凑化，发现异常输入易落入空间空缺孔洞，设计专用检测分数，在多基准上取得良好无监督异常检测效果。
2023-06-16 cs.LG stat.ML
Sequential online prediction in the presence of outliers and change points: an instant temporal structure learning approach
Nanjing University of Posts and Telecommunications（南京邮电大学）；Zhejiang University（浙江大学）
在本文中，我们考虑序列在线预测（SOP）的流数据中存在的异常值和变化点。我们提出了一个即时TEMporal结构学习（INTEL）算法来解决这个问题。我们的INTEL算法是在充分考虑在线预测和异常检测之间的双重性的基础上开发的。我们首先采用加权高斯过程模型（WGP）的混合物，以涵盖预期的可能的时间结构的数据。然后，基于这种WGP混合物丰富的建模能力，我们开发了一种有效的技术来即时学习（捕获）政权转移后的数据的时间结构。这种即时学习仅通过调整混合模型的一个超参数值来实现。一个加权的推广的产品的专家（POE）模型用于融合预测产生的多个GP模型。一旦实际观测值严重偏离融合预测，则声明为离群值。如果连续声明了一定数量的离群值，则声明了变化点。使用不同的真实数据集进行了广泛的实验。结果表明，该算法是显着优于基准方法的SOP中存在的异常值和变化点。
2020-02-11 cs.LG stat.ML
Asymmetric Clusters and Outliers: Mixtures of Multivariate Contaminated Shifted Asymmetric Laplace Distributions
开发了多变量污染移位非对称拉普拉斯分布的混合，用于在存在离群值（本文中也称为坏点）的情况下处理非对称聚类。除了相关的非污染混合物的参数，对于每个（不对称）集群，我们的模型有一个参数控制离群值的比例和一个指定的污染程度。至关重要的是，这些参数不必事先指定，为我们的方法增加了灵活性，这是其他方法（如修剪）所缺乏的。此外，每个观察被给予属于特定聚类以及是否为离群值的后验概率;有利地，这允许离群值的自动检测。一个期望条件最大化算法概述了参数估计和各种实施问题进行了讨论。所提出的模型的行为进行了研究，并与完善的有限混合物，人工和真实的数据。
2018-04-24 stat.CO stat.ME stat.ML
Unsupervised MR Motion Artifact Deep Learning using Outlier-Rejecting Bootstrap Aggregation
Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术院（KAIST））；Chungnam National University Hospital（忠南大学医院）；Chungnam National University College of Medicine（忠南大学医学院）
最近，用于MR运动伪影校正的深度学习方法已经被广泛研究。尽管这些方法与经典方法相比表现出高性能和降低的计算复杂性，但它们中的大多数需要使用成对的无伪影和伪影损坏的图像进行监督训练，这可能会阻止其在许多重要的临床应用中的使用。例如，由于Gd-EOB-DTPA增强MR中的急性短暂性呼吸困难导致的短暂性严重运动（TSM）难以控制和建模以生成配对数据。为了解决这个问题，在这里，我们提出了一种新的无监督深度学习方案，通过离群拒绝自举子采样和聚合。这是受到运动通常在相位编码方向上引起稀疏k空间异常值的观察的启发，因此沿着相位编码方向的k空间子采样可以去除一些异常值，并且聚合步骤可以进一步改善来自重建网络的结果。我们的方法不需要任何配对数据，因为训练步骤只需要无伪影的图像。此外，为了解决从潜在偏差到无伪影图像的平滑问题，使用最优传输驱动的cycleGAN以无监督的方式训练网络。我们验证了我们的方法可以成功地应用于模拟运动的伪影校正以及TSM的真实运动，优于现有的最先进的深度学习方法。
2020-11-12 cs.CV cs.LG eess.IV
A Robust Spectral Clustering Algorithm for Sub-Gaussian Mixture Models with Outliers
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑的问题，聚类数据集的任意离群值的存在。传统的聚类算法，如k-means和谱聚类是已知的，即使是少量的离群值污染的数据集表现不佳。在本文中，我们开发了一个可证明的强大的谱聚类算法，适用于一个简单的舍入方案去噪的高斯核矩阵建立从数据点，并使用香草谱聚类恢复数据点的聚类标签。我们分析我们的算法的性能的假设下，“好”的数据点产生的混合物的亚高斯（我们称这些“内点”），而离群点可以来自任何任意的概率分布。对于这类一般的模型，我们表明，误分类误差衰减的信号噪声比的指数率，提供的离群点的数量是一个小部分的内点。令人惊讶的是，这个派生的错误界匹配的半定规划（SDP）在相同的设置下，没有离群值的最知名的界。我们在各种模拟和真实世界的数据集上进行了广泛的实验，以证明我们的算法与文献中提出的其他最先进的算法相比，对离群值不那么敏感。
2021-01-31 cs.LG math.ST stat.ML
Deep Unsupervised Clustering Using Mixture of Autoencoders
University of Michigan（密歇根大学）；Technicolor（特艺集团）；Adobe（Adobe公司）
无监督聚类是机器学习中最基本的挑战之一。一个流行的假设是，数据是从一个低维非线性流形的联合产生的，因此聚类的方法是识别和分离这些流形。在本文中，我们提出了一种新的方法来解决这个问题，通过使用混合的自动编码器。我们的模型由两部分组成：1）一个自动编码器的集合，其中每个自动编码器学习一组相似对象的底层流形，以及2）混合分配神经网络，它将来自自动编码器的级联潜在向量作为输入并推断集群上的分布。通过联合优化这两个部分，我们同时将数据分配给集群并学习每个集群的底层流形。
2017-12-26 cs.LG stat.ML
ECOD: Unsupervised Outlier Detection Using Empirical Cumulative Distribution Functions
Northeastern University-Toronto（东北大学多伦多分校）；Arima Inc.（Arima公司）；Heinz College of Information Systems and Public Policy, Carnegie Mellon University（卡内基梅隆大学海因茨信息系统与公共政策学院）；Potsdam Institute for Climate Impact Research（波茨坦气候影响研究所）；Deggendorf Institute of Technology（代根多夫应用技术大学）
离群点检测是指识别偏离一般数据分布的数据点。现有的无监督方法通常存在计算成本高、超参数调整复杂和可解释性有限的问题，特别是在处理大型高维数据集时。为了解决这些问题，我们提出了一个简单而有效的算法称为ECOD（经验累积分布为基础的离群值检测），这是受到这样一个事实，即离群值往往是“罕见事件”，出现在分布的尾部。简而言之，ECOD首先通过计算数据的每个维度的经验累积分布，以非参数方式估计输入数据的潜在分布。然后，ECOD使用这些经验分布来估计每个数据点的每个维度的尾部概率。最后，ECOD通过聚合各个维度的估计尾部概率来计算每个数据点的离群值得分。我们的贡献如下：（1）我们提出了一种新的离群点检测方法ECOD，它既无参数又易于解释;（2）我们在30个基准数据集上进行了广泛的实验，我们发现ECOD在准确性，效率和可扩展性方面优于11个最先进的基线;以及（3）我们发布了一个易于使用和可扩展（具有分布式支持）的Python实现，以实现可访问性和可重复性。
2022-08-25 cs.DB cs.LG stat.AP
Robust Subspace Recovery Layer for Unsupervised Anomaly Detection
University of Minnesota（明尼苏达大学）
我们提出了一个神经网络的无监督异常检测与一个新的强大的子空间恢复层（RSR层）。该层试图从给定数据的潜在表示中提取底层子空间，并删除远离该子空间的离群值。它在自动编码器中使用。编码器将数据映射到潜在空间中，RSR层从潜在空间中提取子空间。解码器然后平滑地将底层子空间映射回接近原始内点的“流形”。根据原始位置和映射位置之间的距离区分内点和离群点（内点小，离群点大）。使用图像和文档数据集进行的大量数值实验证明了最先进的精确度和召回率。
2019-12-24 cs.CV cs.LG stat.ML
UN-AVOIDS: Unsupervised and Nonparametric Approach for Visualizing Outliers and Invariant Detection Scoring
University of Victoria（维多利亚大学）；Helwan University（赫尔万大学）
异常（离群值）的可视化和检测对许多领域至关重要，特别是网络安全。在这些领域已经提出了几种方法，但据我们所知，没有一种方法在一个连贯的框架内同时或合作地实现了这两个目标。这些方法的可视化方法被引入用于解释检测算法的输出，而不是用于促进独立视觉检测的数据探索。这是我们的出发点：UN-AVOIDS，一种用于异常值可视化（人类过程）和检测（算法过程）的无监督和非参数方法，它分配不变的异常分数（归一化为$[0,1]$），而不是硬二进制决策。UN-AVOIDS的主要新颖之处在于它将数据转换到一个新的空间，本文将其引入邻域累积密度函数（NCDF），在该空间中进行可视化和检测。在该空间中，异常值在视觉上是显著可区分的，因此由检测算法分配的异常评分实现了高的ROC曲线下面积（AUC）。我们在模拟和两个最近发布的网络安全数据集上评估了UN-AVOIDS，并将其与三种最成功的异常检测方法进行了比较：LOF，IF和FABOD。在AUC方面，联合国艾滋病规划署几乎是全面赢家。文章最后为联合国艾滋病规划署提供了一个新的理论和实践途径的预览。其中之一是设计一个可视化辅助异常检测（VAAD），这是一种通过提供UN-AVOIDS的检测算法（在后台引擎中运行），NCDF可视化空间（渲染为图）以及原始特征空间中的其他传统可视化方法来帮助分析人员的软件，所有这些都在一个交互式环境中链接。
2022-08-18 cs.LG stat.AP stat.ML
Outlier detection in multivariate functional data through a contaminated mixture model
在工业环境中，传感器的活动以高频率被记录。一个挑战是自动检测异常测量行为。将传感器测量值视为函数数据，问题可以表述为多变量函数数据集中的异常值检测。由于该数据集的异质性，所提出的污染混合模型既聚类到同质组的多元函数数据，并检测离群值。与竞争对手相比，该方法的主要优点是不需要指定离群值的比例。通过期望条件最大化算法进行模型推断，并使用BIC来选择聚类的数量。模拟数据的数值实验表明，高性能的推理算法实现。特别是，所提出的模型优于竞争对手。它的应用程序的真实数据，促使这项研究允许正确地检测异常行为。
2022-03-08 math.ST stat.ML stat.TH
Boundary Peeling: Outlier Detection Method Using One-Class Peeling
Miami University（迈阿密大学）
提出一类边界剥离算法，利用一类SVM迭代剥离边界，实现高效稳健的无监督异常值检测，并在多种数据分布及基准数据集上表现优异。
2024-09-20 cs.LG stat.ME stat.ML
SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier Detection
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）；Purdue University（普渡大学）；Arima Inc.（Arima公司）；IQVIA（艾昆纬）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
离群点检测（Outlier Detection，OD）是一项关键的机器学习（Machine Learning，ML）任务，用于从一般样本中识别异常对象，具有许多高风险应用，包括欺诈检测和入侵检测。由于缺乏基础事实标签，从业者通常必须构建大量无监督的异构模型（即，具有不同超参数的不同算法）进行进一步的组合和分析，而不是依赖于单个模型。如何使用大量无监督的异构OD模型，通过outlyingness（在本文中称为预测）来加速对新样本的训练和评分？在这项研究中，我们提出了一个模块化的加速系统，称为SUOD，以解决它。所提出的系统侧重于三个互补的加速方面（数据减少高维数据，近似昂贵的模型，和任务负载不平衡优化的分布式环境），同时保持性能的准确性。在20多个基准数据集上进行的大量实验证明了SUOD在异构OD加速方面的有效性，以及领先的医疗保健公司IQVIA欺诈索赔分析的真实部署案例。我们开源SUOD以实现可重复性和可访问性。
2021-03-05 cs.DC cs.IR cs.LG
How to find a unicorn: a novel model-free, unsupervised anomaly detection method for time series
Wigner Research Center for Physics（维格纳物理研究中心）；Semmelweis University（塞梅尔维斯大学）
在许多科学和工业领域，异常事件的识别是一项具有挑战性但关键的任务，特别是当异常的属性未知时。在本文中，我们引入了一个新的异常的概念，称为“独角兽”或独特的事件，并提出了一个新的，无模型，无监督的检测算法来检测独角兽。新算法的关键组成部分是时间离群因子（TOF）来衡量事件的唯一性，在连续的数据集从动态系统。独特事件的概念在许多方面与传统的异常值有很大的不同：虽然重复的异常值不再是独特的事件，但独特的事件不一定是异常值;它不一定从正常活动的分布中消失。我们的算法的性能进行了检查，在识别独特的事件在不同类型的模拟数据集的异常，并与本地离群因子（LOF）和不和谐的发现算法进行了比较。即使在识别传统的离群值方面，TOF也具有比LOF和不一致算法更优越的性能，并且它还识别了那些没有识别的独特事件。来自不同科学领域的数据集实例说明了独角兽概念和新探测方法的好处。我们的算法成功地识别了已知的独特事件，例如LIGO探测器数据上的二元黑洞合并引力波和ECG数据系列上的呼吸衰竭迹象。此外，在过去30年的LIBOR数据集上发现了独特的事件。
2021-06-15 cs.LG eess.SP physics.data-an
A deep mixture density network for outlier-corrected interpolation of crowd-sourced weather data
University of Exeter（埃克塞特大学）；The Cyprus Institute（塞浦路斯研究所）；University of Glasgow（格拉斯哥大学）；Met Office（英国气象局）
随着传感器和相关IT基础设施成本的降低（如物联网），越来越多的观测数据可供环境科学家使用。然而，随着可用观测点数量的增加，出现数据质量问题的机会也在增加，特别是考虑到其中许多传感器没有官方维护小组的好处。为了实现环境建模的众包“物联网”类型观测的价值，我们需要能够在数据建模过程中自动检测离群值的方法，以便它们不会污染感兴趣现象的真实分布。为此，我们提出了一种贝叶斯深度学习方法，用于环境变量的时空建模，并自动检测离群值。我们的方法实现了一个高斯均匀混合密度网络，其双重目的-建模感兴趣的现象，并学习分类和忽略离群值-同时实现，每一个专门设计的分支，我们的神经网络。对于我们的示例应用程序，我们使用气象局的天气观测网站数据，这是一个来自不列颠群岛上大约1900个私营和非官方气象站的观测数据档案。使用地面气温数据，我们展示了我们的深度混合模型方法如何能够模拟高度熟练的时空温度分布，而不会受到虚假观测的污染。我们希望，采用我们的方法将有助于释放将更广泛的观察来源（包括众包）纳入未来环境模型的潜力。
2022-01-25 cs.AI cs.LG stat.AP
Variational Bayesian Inference For A Scale Mixture Of Normal Distributions Handling Missing Data
本文提出了一种适用于含有异常值和缺失值的数据分类和聚类的正态分布尺度混合模型。分类方法，基于混合模型，侧重于引入潜变量，使我们有可能处理模型对离群值的敏感性，并允许对缺失数据进行限制性较小的建模。通过变分贝叶斯近似进行推理，并采用贝叶斯处理进行模型学习、监督分类和聚类。
2017-11-22 stat.ML
Similarity-based Outlier Detection for Noisy Object Re-Identification Using Beta Mixtures
School of Mathematical Sciences, Dublin City University（数学科学学院，都柏林城市大学）
本文提出Beta-SOD框架，通过双分量Beta分布混合模型对Siamese网络嵌入对的余弦相似度分布建模，实现噪声标签下的离群点检测，显著提升了目标重识别在10-30%噪声水平下的鲁棒性。
2025-09-15 cs.AI cs.CV cs.LG
Automating Outlier Detection via Meta-Learning
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究院）
给定一个新数据集上的无监督离群值检测（OD）任务，我们如何自动选择一个好的离群值检测方法及其超参数（统称为模型）？到目前为止，OD的模型选择一直是一种“黑艺术”;因为任何模型评估都是不可行的，因为缺乏（i）带有标签的保留数据，以及（ii）通用目标函数。在这项工作中，我们开发了第一个原则性的数据驱动的方法来选择OD模型，称为MetaOD，基于元学习。MetaOD利用了大量检测模型在现有离群值检测基准数据集上的过去表现，并继承了这种先前的经验，自动选择要在新数据集上使用的有效模型，而不使用任何标签。为了捕捉任务的相似性，我们引入了专门的元特征来量化数据集的外围特征。通过全面的实验，我们展示了MetaOD在选择检测模型方面的有效性，该模型的性能显著优于最流行的离群值检测器（例如，LOF和iForest）以及各种最先进的无监督元学习器，同时速度非常快。为了促进对这个新问题的可重复性和进一步研究，我们开源了整个元学习系统、基准环境和测试平台数据集。
2021-03-17 cs.IR cs.LG stat.ML
Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders
Imperial College London（帝国理工学院）
我们研究了变分自编码器模型（VAE）的一个变体，该模型以高斯混合作为先验分布，目标是通过深度生成模型执行无监督聚类。我们观察到，已知的问题，已被证明出现在定期VAE也体现在我们的模型，并导致集群退化。我们表明，一个启发式称为最小信息约束，已被证明可以减轻这种影响VAE也可以应用于提高无监督聚类性能与我们的模型。此外，我们分析了这种启发式的效果，并提供了直观的各种过程的可视化的帮助。最后，我们证明了我们的模型在合成数据，MNIST和SVHN上的性能，表明所获得的聚类是独特的，可解释的，并导致在无监督聚类上达到与最先进的结果竞争的性能。
2017-01-13 cs.LG cs.NE stat.ML
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies（华为技术有限公司）；Université Paris-Est（巴黎东大学）
在本文中，我们开发了一个无监督的生成聚类框架，结合了变分信息瓶颈和高斯混合模型。具体来说，在我们的方法中，我们使用变分信息瓶颈方法，并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界，它推广了证据下界（ELBO），并给出了一个变分推理型算法来计算它，在该算法中，编码器的映射使用神经网络进行参数化，该界用Monte Carlo抽样近似，并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
Unsupervised Detection and Tracking of Arbitrary Objects with Dependent Dirichlet Process Mixtures
Columbia University（哥伦比亚大学）
本文提出了一种视频中任意目标的无监督检测和跟踪技术。它旨在减少对针对特定对象类型的检测和定位方法的需求，并作为适用于具有不同对象，背景和图像质量的视频的通用框架。该技术使用了一个依赖的Dirichlet过程混合（DDPM）被称为广义波利亚瓮（GPUDDPM）模型图像像素数据，可以很容易地和有效地从视频中的区域，代表对象提取。本文描述了一个具体的实现模型使用的空间和彩色像素数据通过帧间差分提取，并给出了两个算法进行推理的模型来完成检测和跟踪。该技术在多个合成和基准视频数据集上进行了演示，这些数据集说明了其无需修改即可检测和跟踪在非均匀背景上移动并通过遮挡的具有不同物理特性的对象的能力。
2012-10-11 cs.CV cs.LG stat.ML
Exposing Outlier Exposure: What Can Be Learned From Few, One, and Zero Outlier Images
TU Kaiserslautern（凯泽斯劳滕工业大学）；Aignostics（Aignostics公司）；TU Berlin（柏林工业大学）；Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；Google Research（谷歌研究院）；MPII（马克斯·普朗克信息学研究所）；Korea University（高丽大学）
由于难以表征所有看起来不像正常数据的东西，异常检测（AD）传统上被视为仅利用正常样本的无监督问题。然而，最近发现，通过利用大量的随机图像来表示不确定性，可以大大改善无监督图像AD;这种技术被称为离群暴露。在本文中，我们表明，专业的AD学习方法似乎不需要最先进的性能，而且可以实现强大的性能，只需少量的离群暴露数据，这与AD领域的常见假设相矛盾。我们发现，标准分类器和半监督单类方法经过训练，可以区分正常样本和相对较少的随机自然图像，在ImageNet的AD基准测试中，它们的表现优于当前最先进的技术。进一步的实验表明，即使是一个精心选择的离群值样本也足以在该基准测试中实现良好的性能（79.3% AUC）。我们研究了这种现象，发现单类方法对训练离群值的选择更鲁棒，这表明在某些情况下，这些方法仍然比标准分类器更有用。此外，我们还包括实验，描绘的情况下，我们的结果举行。最后，当使用CLIP学习的表示时，不需要训练样本，CLIP是最近的基础模型，它在zero-shot设置中在CIFAR-10和ImageNet上实现了最先进的AD结果。
2022-11-14 cs.CV cs.LG stat.ML
Outlier Detection Using a Novel method: Quantum Clustering
Tiangong University（天津工业大学）；Shanghai Library（上海图书馆）
提出了一种新的离群点检测假设：正常数据实例通常位于数据密度几乎没有波动的区域，而离群点通常出现在数据密度波动剧烈的区域。基于这一假设，我们提出了一种新的基于密度的方法来进行无监督离群点检测。这种方法被称为量子聚类（QC），处理未标记的数据处理，并构造一个势函数来找到聚类的质心和离群点。实验表明，势函数能有效地发现数据点中隐藏的异常点。此外，通过使用QC，我们可以通过调整参数$σ$来发现更多的细微异常值。此外，我们的方法也评估了两个数据集（空气质量检测和达尔文对应项目）从两个不同的研究领域，结果表明，我们的方法的广泛适用性。
2020-06-08 cs.AI cs.LG stat.ML
Unsupervised Deep Clustering for Source Separation: Direct Learning from Mixtures using Spatial Information
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究院）
我们提出了一个单声道声源分离系统，该系统只通过观察没有地面真值分离信息的混合物来训练。我们使用一种深度聚类方法，该方法在多通道混合物上进行训练，并学会将频谱图箱投影到与各种空间特征相关的源集群。我们表明，使用这样的训练过程中，我们可以获得的分离性能是一样好，利用地面真分离信息。一旦经过训练，这个系统就能够对单声道输入进行声音分离，尽管已经学会了如何使用多声道录音来这样做。
2018-11-09 cs.LG cs.SD eess.AS
Outlier-Robust Clustering of Non-Spherical Mixtures
我们给出了第一个离群鲁棒的有效算法聚类的混合物的$k$统计分离的d维高斯（k-GARCH）。具体地说，我们的算法从$k$-GMM和whp在$d^{\text{poly}(k/η)}$时间输入$ε$ -损坏的样本，输出一个近似的聚类，错误分类最多$k^{O(k)}(ε+η)$分数的点时，每对混合成分是由$1-\exp(-\text{poly}(k/η)^k)$在全变差（TV）距离分开。这种结果以前甚至对于$k=2$也是未知的。TV分离是统计学上最弱的分离概念，并捕获了重要的特殊情况，如混合线性回归和子空间聚类。我们的主要概念性贡献是提取简单的分析性质-（可证明的）超压缩性和有界方差的2次多项式和反浓度的线性投影-这是必要的和充分的混合模型是（有效）聚类。因此，我们的结果扩展到聚类混合物的任意仿射变换的均匀分布的$d$维单位球。即使是满足这两个分析假设的分离分布的信息理论聚类性在我们的工作之前也是未知的，并且可能是独立的兴趣。我们的算法建立在最近的一系列作品的基础上，这些作品依赖于Karmarkar，Klivans，Kothari和Raghavendra以及Yau在2019年的作品中首次引入的可证明的反浓度。我们的技术扩展了平方和工具包，以显示数据中TV分离的高斯聚类的鲁棒性。这涉及到通过仅依赖于超收缩性和反集中性来给出将参数（即均值和协方差）距离与总变异距离相关联的陈述的低度平方和证…
2020-12-14 cs.DS stat.ML
Gaussian Mixture Generative Adversarial Networks for Diverse Datasets, and the Unsupervised Clustering of Images
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
生成对抗网络（GANs）已被证明可以生成逼真的合成图像，并取得了显着的成功，但当训练集高度多样化时，它们的性能似乎不那么令人印象深刻。当数据集包含许多不同的类时，为了更好地拟合目标数据分布，我们提出了一种基本GAN模型的变体，称为高斯混合GAN（GM-GAN），其中潜在空间上的概率分布是高斯的混合。我们还提出了一个有监督的变体，它能够有条件的样本合成。为了评估模型的性能，我们提出了一种新的评分方法，它分别考虑到两个（通常是冲突的）措施-多样性与质量的生成数据。通过一系列的实证实验，使用合成和真实世界的数据集，我们定量地表明，GM-GAN在使用常用的Inception Score进行评估时，以及使用我们自己的替代评分方法进行评估时，都优于基线。此外，我们定性地演示了如何的\textit{unsupervised}变体的GM-GAN倾向于映射从不同的高斯在潜在空间中的样本的数据空间中的不同类别的样本的潜在向量。我们展示了如何利用这种现象进行无监督聚类的任务，并提供定量评价，显示我们的方法的图像数据集的无监督聚类的优越性。最后，我们展示了一个功能，它进一步将我们的模型与其他GAN模型区分开来：通过改变潜在空间的概率分布来控制质量多样性权衡的选项。这允许人们根据自己的需要对更高质量和更低多样性的样本进行采样，反之亦然。
2018-08-30 cs.CV cs.LG stat.ML
Deep Bayesian Unsupervised Source Separation Based on a Complex Gaussian Mixture Model
National Institute of Advanced Industrial Science and Technology（国立先进工业科学技术研究院）；RIKEN AIP（理化学研究所人工智能研究中心）；Kyoto University（京都大学）
提出了一种仅利用多通道混合信号训练神经声源分离的无监督方法。传统的神经元分离方法需要大量的监督数据才能获得良好的性能。虽然基于空间信息的多通道方法可以在没有这样的训练数据的情况下工作，但是它们通常对参数初始化敏感，并且随着源彼此靠近而退化。所提出的方法使用基于称为复高斯混合模型（cGMM）的空间模型的成本函数。该模型的时间-频率（TF）掩模和波达方向（DOA）的源作为潜在变量，并用于训练分离和定位网络，分别估计这些变量。这种联合训练在统一的深度贝叶斯框架中解决了空间模型的频率排列模糊性。此外，预先训练的网络不仅可以用于进行单声道分离，而且可以用于有效地初始化多声道分离算法。模拟语音混合的实验结果表明，我们的方法优于传统的初始化方法。
2019-08-29 cs.LG cs.SD eess.AS
Finding Outliers in Gaussian Model-Based Clustering
针对聚类中离群点处理研究不足的问题，基于样本平方马氏距离的beta分布特性推导子集有限高斯混合模型对数似然的近似分布，提出OCLUST修剪算法，通过移除最不可靠点直至符合参考分布，实现离群点数量的自动估计。
2024-05-30 stat.ME stat.ML
lp-Recovery of the Most Significant Subspace among Multiple Subspaces with Outliers
University of Minnesota（明尼苏达大学）
我们假设从d维线性子空间的混合物中采样的数据在每个子空间内具有球对称分布，并且在环境空间内具有球对称分布的附加离群值分量（为了简单起见，我们可以假设所有分布在其对应的单位球上是均匀的）。我们还假设不同成分的混合权重。如果模型的一个底层子空间的混合权重高于所有其他子空间的混合权重之和，则我们说该子空间是最显著的。我们研究了通过最小化数据点到d维子空间的lp平均距离来恢复最重要子空间，其中p>0。与其他lp最小化问题不同，这种最小化对于所有p>0都是非凸的，因此需要不同的方法来分析。我们表明，如果0<p<=1，那么对于任何一部分离群值，最重要的子空间可以通过lp最小化以压倒性的概率（这取决于生成分布及其参数）恢复。我们表明，当在底层子空间周围添加小噪声时，对于任何0<p<=1，最重要的子空间几乎可以通过lp最小化来恢复，误差与噪声水平成比例。另一方面，如果p>1并且存在一个以上的基础子空间，则以压倒性的概率，最重要的子空间不能被恢复或几乎被恢复。最后一个结果不需要球对称离群值。
2014-01-13 cs.CV math.FA stat.ML
Robust model-based clustering via mixtures of multivariate pseudo-Voigt distributions
University of British Columbia-Okanagan（不列颠哥伦比亚大学奥肯那根分校）
该研究提出多元伪沃伊特分布混合模型，用于鲁棒基于模型聚类与异常值检测，经模拟与真实数据验证，在重尾数据上的聚类及异常值检测性能优于现有模型。
2026-08-31 stat.ME stat.ML
A sub-sampling algorithm preventing outliers
如今，在许多不同的领域，大量的数据都是可用的，出于多种原因，仅分析数据的一个子集可能会很方便。D-最优性准则的应用可以帮助最优地选择观测值的子样本。然而，众所周知，D-最优支撑点位于设计空间的边界上，如果它们与极端响应值同时出现，则会对估计的线性模型产生严重影响（具有高影响力的杠杆点）。为了克服这个问题，首先，我们提出了一个无监督的交换过程，使我们能够选择一个接近D-最优的观测子集，而没有高杠杆值。然后，我们提供了这个交换过程的监督版本，除了高杠杆点之外，还避免了响应中的离群值（与高杠杆点无关）。这是可能的，因为与其他设计情况不同，在从大数据集进行二次采样时，响应值可能可用。最后，无监督和监督的选择过程都推广到I-最优，目标是得到准确的预测。
2022-08-12 stat.CO stat.ME stat.ML
Bootstrapping single-channel source separation via unsupervised spatial clustering on stereo mixtures
Northwestern University（西北大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
将音频场景分离成孤立的源是计算机听觉中的基本问题，类似于视觉景物分析中的图像分割。基于深度学习的声源分离系统是目前解决欠定分离问题的最成功的方法，其中存在比信道更多的声源。传统上，这样的系统是在已经知道地面真实分解的声音混合物上训练的。由于大多数真实世界的记录没有这样的分解可用，这限制了可以训练的混合物的范围，以及学习模型可以成功分离的混合物的范围。在这项工作中，我们使用一个简单的盲空间声源分离算法来生成立体声混合的估计分解。这些估计连同基于分离质量的置信度的时频域中的加权方案一起用于训练可用于单通道分离的深度学习模型，其中没有源方向信息可用。这演示了如何使用诸如源的起源方向的简单线索来引导用于声源分离的模型，该模型可以在该线索不可用的情况下使用。
2018-11-06 cs.AI cs.LG cs.SD
Robust Unsupervised Multi-task and Transfer Learning on Gaussian Mixture Models
Columbia University（哥伦比亚大学）；Michigan State University（密歇根州立大学）；Hong Kong University of Science and Technology（香港科技大学）；New York University（纽约大学）
本文提出了一种基于EM算法的鲁棒多任务和迁移学习方法，用于高斯混合模型，实现了参数估计和分类误差的最优收敛率，并解决了初始化对齐问题。
2025-12-25 cs.LG math.ST stat.ME
InClass Nets: Independent Classifier Networks for Nonparametric Estimation of Conditional Independence Mixture Models and Unsupervised Classification
University of Florida（佛罗里达大学）
我们引入了一种新的基于机器学习的方法，我们称之为独立分类器网络（InClass网）技术，条件独立混合模型（CIMM）的非参数估计。我们将CIMM的估计视为多类分类问题，因为将数据集划分为不同类别自然会导致混合模型的估计。InClass网络由多个独立的分类器神经网络（NN）组成，每个网络处理CIMM的一个变量。通过使用合适的成本函数同时训练各个NN来执行CIMM对数据的拟合。神经网络逼近任意函数的能力使得我们的技术是非参数的。进一步利用NN的能力，我们允许模型的条件独立变量是单独的高维，这是我们的技术相对于现有的非机器学习方法的主要优势。我们得到了一些新的结果的非参数可识别的二元CIMM的形式的一个必要条件和一个（不同的）充分条件的二元CIMM是可识别的。我们提供了一个名为RainDancesVI的Python包，并通过几个示例验证了我们的InClass网技术。我们的方法在无监督和半监督分类问题中也有应用。
2020-08-31 cs.LG econ.EM hep-ph
Innovative And Additive Outlier Robust Kalman Filtering With A Robust Particle Filter
在本文中，我们提出了CE-BASS，一个粒子混合卡尔曼滤波器，这是强大的创新和添加剂离群值，并能够充分捕捉多模态的隐藏状态的分布。此外，粒子采样方法对过去的状态进行重新采样，这使得CE-BASS能够处理在观测中无法立即看到的创新离群值，例如趋势变化。过滤器是计算效率高，因为我们得到新的，准确的近似粒子的最佳建议分布。所提出的算法与现有的方法进行比较，并适用于机器温度和服务器数据。
2020-07-07 stat.AP stat.CO stat.ME
