Hierarchical Gaussian Processes with Wasserstein-2 Kernels
Imperial College London(帝国理工学院);University College London(伦敦大学学院)
堆叠高斯过程严重削弱了模型检测离群值的能力,当与非零均值函数结合时,进一步将低非参数方差外推到低训练数据密度区域。我们提出了一个混合内核的灵感来自Varifold理论,在欧几里德和Wasserstein空间。我们认为,直接考虑到Wasserstein-2距离的计算中的方差是至关重要的保持离群值状态在整个层次结构。我们在中型和大型数据集上显示出更好的性能,并在玩具和真实数据上增强了分布检测。
2022-02-01 cs.LG stat.ML
A Gaussian Process-based Streaming Algorithm for Prediction of Time Series With Regimes and Outliers
Stony Brook University(石溪大学)
针对体制切换和异常值时间序列在线预测,提出基于高斯过程的LINTEL流式算法,利用精确滤波分布实现常数时间更新,显著降低时间复杂度,比INTEL快五倍以上且预测质量更好。
2024-06-01 cs.LG eess.SP stat.ML
Practical Bayesian optimization in the presence of outliers
Centro Universitario De La Defensa(国防大学中心);SigOpt
异常值存在时的推理是一个重要的研究领域,因为异常值是普遍存在的,并且可能在各种问题和领域中出现。贝叶斯优化是一种严重依赖概率推理的方法。这允许出色的样本效率,因为概率机制提供了整个优化过程的记忆。然而,当记忆中充满离群值时,这种优点就变成了缺点,从而导致估计中的偏差。在本文中,我们提出了一个经验评估贝叶斯优化方法中存在的离群值。经验证据表明,稳健回归贝叶斯优化往往产生次优结果。然后,我们提出了一个新的算法,结合强大的回归(高斯过程与学生t似然)与离群值诊断分类数据点作为离群值或内点。通过使用调度器对离群值进行分类,我们的方法比标准的鲁棒回归更有效,并且具有更好的收敛性。此外,我们表明,即使在没有预期离群值的受控情况下,我们的方法也能够产生更好的结果。
2017-12-12 cs.LG stat.ML
Outlier robust system identification: a Bayesian kernel-based approach
本文提出了一种基于正则核的线性系统辨识方法。未知脉冲响应被建模为零均值高斯过程,其协方差(核)由最近提出的稳定样条核给出,该样条核编码关于正则性和指数稳定性的信息。为了建立对离群值的鲁棒性,我们将测量噪声建模为独立拉普拉斯随机变量的实现。将辨识问题置于贝叶斯框架下,并采用一种新的马尔可夫链蒙特卡罗(MCMC)方法求解。特别是,利用拉普拉斯随机变量的高斯尺度混合物的表示,我们设计了一个吉布斯采样器,快速收敛到目标分布。数值模拟表明,在国家的最先进的基于核的方法的估计的准确性有很大的改善。
2013-12-24 stat.ML
Model-Based Clustering with Sequential Outlier Identification using the Distribution of Mahalanobis Distances
提出outlierMBC方法,通过迭代移除密度最低观测值并拟合高斯混合模型,利用马氏距离的Beta分布特性自动确定最优异常值数量,实现聚类与异常值识别,无需预设异常值分布或数量。
2025-06-27 stat.CO stat.ME
Outlier-Robust Multi-Group Gaussian Mixture Modeling with Flexible Group Reassignment
Vienna University of Technology(维也纳工业大学)
本文提出多组高斯混合模型(MG-GMM),用于研究预定义组与统计模型推断的聚类之间的差异,通过灵活的组重新分配和鲁棒性应对异常值。
2026-03-16 stat.ME
Robust Gaussian Process Regression with a Bias Model
Florida State University(佛罗里达州立大学);University of Dayton Research Institute(代顿大学研究院);Air Force Research Laboratory(空军研究实验室);Luna Innovations Incorporated(露娜创新公司)
本文提出了一种新的稳健高斯过程(GP)回归方法。大多数现有的方法取代离群倾向高斯似然与非高斯似然诱导的重尾分布,如拉普拉斯分布和学生t分布。然而,使用非高斯似然将导致需要在后验推断中进行计算上昂贵的贝叶斯近似计算。所提出的方法将离群值建模为未知回归函数的噪声和有偏观测,因此,可能性包含偏差项以解释与回归函数的偏差程度。我们需要如何准确地估计偏差与其他超参数的正则化最大似然估计。在有偏估计的条件下,稳健GP回归可以简化为具有预测均值和方差估计的分析形式的标准GP回归问题。因此,所提出的方法是简单的,非常有吸引力的计算。它还为许多测试场景提供了非常稳健和准确的GP估计。对于数值评估,我们进行了全面的模拟研究,以评估所提出的方法与现有的强大的GP方法在不同的离群值比例和不同的噪声水平的各种模拟场景下的比较。该方法适用于从两个测量系统,其中的预测是基于强大的环境参数测量和响应变量利用更复杂的化学传感方法,包含一定比例的离群值的数据。通过计算效率高的GP回归和偏差模型,提高了测量系统的实用性和环境数据的价值。
2020-01-14 cs.LG stat.ME stat.ML
Adaptive Random Matrices in Gaussian Bandits: Spectral Universality and Selection-Induced Outliers
Abstract Math Institute(抽象数学研究所)
本文研究高斯老虎机中自适应臂选择对观测谱的影响,证明在臂数对数次线性增长时谱收敛于Marchenko-Pastur定律,并揭示选择诱导的离群值与方向效应。
2026-09-28 cs.LG math.PR math.ST
Sequential online prediction in the presence of outliers and change points: an instant temporal structure learning approach
Nanjing University of Posts and Telecommunications(南京邮电大学);Zhejiang University(浙江大学)
在本文中,我们考虑序列在线预测(SOP)的流数据中存在的异常值和变化点。我们提出了一个即时TEMporal结构学习(INTEL)算法来解决这个问题。我们的INTEL算法是在充分考虑在线预测和异常检测之间的双重性的基础上开发的。我们首先采用加权高斯过程模型(WGP)的混合物,以涵盖预期的可能的时间结构的数据。然后,基于这种WGP混合物丰富的建模能力,我们开发了一种有效的技术来即时学习(捕获)政权转移后的数据的时间结构。这种即时学习仅通过调整混合模型的一个超参数值来实现。一个加权的推广的产品的专家(POE)模型用于融合预测产生的多个GP模型。一旦实际观测值严重偏离融合预测,则声明为离群值。如果连续声明了一定数量的离群值,则声明了变化点。使用不同的真实数据集进行了广泛的实验。结果表明,该算法是显着优于基准方法的SOP中存在的异常值和变化点。
2020-02-11 cs.LG stat.ML
Some issues in robust clustering
University of Bologna(博洛尼亚大学)
该研究聚焦基于高斯混合模型的鲁棒聚类,探讨了异常值定义、异常值与簇的模糊性、簇数估计交互、调参依赖及稳定性度量缺陷等关键问题。
2023-08-28 cs.LG stat.ME stat.ML
Truncated Gaussian-Mixture Variational AutoEncoder
Stanford University(斯坦福大学);SRI International(SRI国际)
变分自动编码器(VAE)已成为一个强大的工具,在建模的非线性生成过程的数据从一个低维的潜在空间。最近,一些研究提出使用VAE通过使用混合模型来捕获潜在表征的多模态结构,从而进行无监督聚类。然而,这种策略是无效的,当有离群数据样本的潜在表示是毫无意义的,但污染的潜在空间中的关键主要集群的估计。这个确切的问题出现在静息态功能磁共振成像(rs-fMRI)分析的背景下,其中聚集主要功能连接模式往往受到rs-fMRI的严重噪音和许多不感兴趣的小集群(罕见的连接模式)的阻碍。在本文中,我们提出了一种新的生成过程,在该过程中,我们使用高斯混合模型的数据中的几个主要的集群,并使用一个非信息的均匀分布来捕获剩余的数据。我们将这个截断的高斯混合模型嵌入到一个变分自编码器框架中,以获得一个通用的联合聚类和离群点检测方法,称为tGM-VAE。我们证明了tGM-VAE在MNIST数据集上的适用性,并在rs-fMRI连接分析的背景下进一步验证了它。
2021-06-26 cs.LG stat.ML
Robust and Conjugate Spatio-Temporal Gaussian Processes
本文将鲁棒且共轭的高斯过程(RCGP)框架特化至时空设置,提出一种计算成本与经典方法相当且抗异常值的时空GP,并克服了先验均值敏感、不确定性量化不足及需手动调参三大缺点。
2025-05-28 stat.CO stat.ME stat.ML
RCC-Dual-GAN: An Efficient Approach for Outlier Detection with Few Identified Anomalies
Hefei University of Technology(合肥工业大学)
离群点检测是数据采掘中的一项重要任务,在各种应用中,人们已经探索了许多技术。然而,由于离群值是非集中的默认假设,无监督离群值检测可能无法正确检测具有较高密度水平的组异常。对于有监督的离群点检测,虽然通常可以获得较高的检测率和最佳参数,但获得足够的正确标签是一项耗时的任务。为了解决这些问题,我们专注于半监督离群点检测与少数识别异常,希望使用有限的标签,以实现高检测精度。首先,我们提出了一种新的检测模型Dual-GAN,它可以直接利用已识别异常中的潜在信息来同时检测离散离群点和部分识别的群体异常。然后,考虑到在复杂的数据结构中,具有相似输出值的实例并不都是相似的,我们用RCC和M-GAN的组合(RCC-Dual-GAN)代替Dual-GAN中的两个MO-GAN组件。另外,为了处理纳什均衡的评价和最优模型的选择,在两个模型中引入了两个评价指标,使检测过程更加智能化。在基准数据集和两个实际任务上的广泛实验表明,我们提出的方法(即,Dual-GAN和RCC-Dual-GAN)可以显著提高离群值检测的准确性,即使只有少数识别出的异常。此外,与Dual-GAN中的两个MO-GAN组件相比,RCC和M-GAN组合的网络结构在各种情况下具有更大的稳定性。
2020-03-07 cs.LG stat.ML
Heterogeneous Multi-output Gaussian Process Prediction
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);University of Sheffield(谢菲尔德大学)
我们提出了一种新的扩展的多输出高斯过程处理异构输出。我们假设每个输出都有自己的似然函数,并使用向量值高斯过程,然后将所有似然中的参数联合建模为潜在函数。我们的多输出高斯过程使用一个协方差函数与一个线性模型的coregionalisation形式。假设条件独立的潜在功能连同诱导变量的框架,我们能够得到听话的变分界限服从随机变分推断。我们说明了该模型在合成数据和两个真实数据集上的性能:人类行为研究和人口统计高维数据集。
2019-01-02 cs.LG stat.ML
Non-linear process convolutions for multi-output Gaussian processes
University of Sheffield(谢菲尔德大学);Universidad Tecnológica de Pereira(佩雷拉理工大学)
本文介绍了一个非线性版本的过程卷积形式主义的建设协方差函数的多输出高斯过程。非线性通过Volterra级数引入,每个输出一个级数。我们提供了封闭形式的平均函数和协方差函数的近似高斯过程在输出的Volterra系列的表达式。利用高斯变量的乘积矩公式导出了联合高斯过程的均值函数和协方差函数。我们在一个合成数据集和两个真实数据集上比较了非线性模型与经典过程卷积方法的性能。
2019-02-27 cs.LG stat.ML
Dynamic predictions of kidney graft survival in the presence of longitudinal outliers
生存结果的动态预测是医生和患者非常感兴趣的,因为这样的预测是临床决策的有用元素。纵向和生存数据的联合建模已越来越多地用于获得动态预测。联合建模的一个常见假设是纵向子模型中的随机效应和误差项为高斯分布。然而,这种假设可能限制性太大,例如在许多实际应用中经常遇到的异常值的存在下。一个自然的扩展是通过假设比高斯分布更灵活的随机效应和/或误差项来鲁棒联合模型。以往的研究报告的鲁棒联合模型相比高斯版本的参数估计的性能有所改善,但从这种方法获得的动态预测精度尚未得到评估。在这项研究中,我们定义了一个一般的鲁棒联合模型的t分布随机效应和误差项下的贝叶斯范式。从法国移植队列DIVAT中获得肾移植受者移植失败的动态预测。高斯和强大的联合模型的校准和歧视性能进行了比较的验证样本。两个人的动态预测。
2019-06-06 stat.AP
A Measurement-Based Robust Non-Gaussian Process Emulator Applied to Data-Driven Stochastic Power Flow
在本文中,我们提出了一个强大的非高斯过程仿真器的基础上Schweppe型广义极大似然估计,这是训练计量时间序列的电压相量和功率注入执行随机潮流。电力系统数据经常被故障条件、停电和极端天气等引起的异常值破坏。所提出的仿真器使用基于投影统计计算的权重来限制离群值的影响,投影统计是与因子空间的行向量相关联的数据点的鲁棒距离。具体而言,所开发的估计器对垂直离群值和不良杠杆点具有鲁棒性,同时保留训练数据集测量中的良好杠杆点。所提出的方法证明了一个不平衡的径向IEEE 33总线系统严重集成可再生能源。
2022-02-09 cs.SY eess.SY stat.AP
Robust Gaussian Process Regression with Huber Likelihood
最简化形式的高斯过程回归假设正态同方差噪声,并利用高斯条件下预测后验分布的分析易处理的均值协方差函数。它的超参数是通过最大化证据来估计的,通常称为II型极大似然估计。不幸的是,基于高斯似然的贝叶斯推断对观测训练数据集中经常存在的离群值不鲁棒。为了克服这个问题,我们提出了一个强大的过程模型,在高斯过程框架与观察数据的似然表示为Huber概率分布。该模型采用基于投影统计的权重来缩放残差,并限制垂直离群值和不良杠杆点对潜在函数估计的影响,同时在高斯和厚尾噪声分布下表现出较高的统计效率。所提出的方法证明了两个现实世界的问题和两个数值例子,使用数据集的加性误差厚尾分布,如学生t,拉普拉斯,和柯西分布。
2023-01-19 stat.AP stat.ML
Robust Gaussian Process Regression Based on Iterative Trimming
Shanghai Jiao Tong University(上海交通大学);Shanghai Astronomical Observatory, Chinese Academy of Sciences(中国科学院上海天文台);University of the Chinese Academy of Sciences(中国科学院大学);Key Lab for Astrophysics(天体物理重点实验室)
高斯过程(GP)回归可以严重偏差时,数据被污染的离群值。本文提出了一种新的鲁棒GP回归算法,迭代修剪最极端的数据点。虽然新算法保留了标准GP作为非参数和灵活的回归方法的吸引人的特性,但即使在存在极端或大量离群值的情况下,它也可以大大提高污染数据的模型精度。与依赖于近似推理的先前鲁棒GP变体相比,它也更容易实现。应用到广泛的实验与不同的污染水平,所提出的方法显着优于标准GP和流行的鲁棒GP变体与学生t似然在大多数测试情况下。此外,作为天体物理研究中的一个实例,我们表明该方法可以精确地确定星团色星等图中的主序星脊线。
2021-06-13 astro-ph.IM cs.LG stat.ML
Modelling Data Dispersion Degree in Automatic Robust Estimation for Multivariate Gaussian Mixture Models with an Application to Noisy Speech Processing
Concordia University(康考迪亚大学)
具有前缀截断部分的修剪方案已知为通过减轻离群值的影响来提高统计模型(诸如多变量高斯混合模型(MG-Mixture Model,MG-Mixture))在小规模测试中的鲁棒性的方法。然而,当该方法应用于真实世界的数据时,例如噪声语音处理,很难知道去除离群值的最佳截止部分,并且有时也会去除有用的数据样本。本文提出了一种基于测量训练数据离散度(DD)的新方法,以避免这一问题,从而实现对MGbits的自动鲁棒估计。采用两种不同的测度对DD模型进行了研究。对于每一个,我们从理论上证明,DD的数据样本的背景下,MGC 10近似服从一个特定的(卡方或卡方)分布。所提出的方法进行评估,在现实世界中的应用程序与一个中等规模的说话人识别任务。实验表明,该方法可以显着提高说话人识别传统GMM训练方法的鲁棒性。
2014-05-19 cs.CL cs.LG stat.ML
Upgrading from Gaussian Processes to Student's-T Processes
高斯过程先验通常用于航空航天设计以执行贝叶斯优化。尽管如此,高斯过程有两个明显的缺点:离群值是先验假设不太可能的,并且以观测数据为条件的后验方差仅取决于这些数据的位置,而不是相关的样本值。Student's-T过程是高斯过程的推广,建立在Student's-T分布而不是高斯分布上。Student's-T过程保持了高斯过程的主要优点(核函数,解析更新规则),并具有超越高斯过程的额外好处。Student's-T分布具有比高斯分布更高的峰度,因此离群值更有可能,并且后验方差根据观察到的数据样本值的方差增加或减少。在这里,我们描述学生的T过程,并讨论其优势的背景下,航空航天优化。我们将展示如何使用核函数构建学生T过程,以及如何在给定新样本的情况下更新该过程。我们提供了一个明确的推导优化相关的数量,如预期的改善,并与高斯过程的相关计算的对比。最后,我们比较了Student's T过程和Gauss过程在贝叶斯优化中典型测试问题上的性能,并将Student's T过程应用于一个气动结构设计问题的优化。
2018-01-18 stat.ML
Kalman filter with impulse noised outliers : A robust sequential algorithm to filter data with a large number of outliers
脉冲噪声异常值是指与其他观测值有显著差异的数据点,通常通过局部回归或卡尔曼滤波算法将其从数据集中去除,但当异常值的数量与低噪声数据的数量级相同时,这些方法或其推广并不适用.在这篇文章中,我们提出了一个新的模型,脉冲噪声离群值的基础上简单的潜在的线性高斯过程中的卡尔曼滤波器。本文提出了一种快速前向-后向算法对序列数据进行滤波和平滑,同时也检测出了这些异常值,并与经典算法进行了鲁棒性和效率的比较。最后,我们applythis方法对一个真正的数据集,从步行超过称重系统承认约60%的离群值。为此,我们进一步开发了一个(显式)期望最大化算法来校准一些算法参数。
2022-07-29 math.ST stat.ME stat.TH
Mind the Jumps: A Scalable Robust Local Gaussian Process for Multidimensional Response Surfaces with Discontinuities
Department of Industrial and Manufacturing Engineering, Florida State University(工业与制造工程系,佛罗里达州立大学);Institute for Theoretical Sciences, Westlake University(理论科学研究院,西拉丘吉大学)
本文提出鲁棒局部高斯过程模型,通过自适应最近邻选择和稀疏驱动鲁棒化机制,有效解决高维数据中非平稳和不连续响应面建模的挑战,提升预测精度和鲁棒性。
2025-12-14 cs.LG stat.AP stat.ML
Entropic Partial Optimal Transport and Partial Gromov--Wasserstein Distance between Gaussian Mixtures
本文针对高斯混合模型,开发熵正则化部分最优传输并定义部分混合格罗莫夫-瓦瑟斯坦距离,证明其极小值存在唯一性等性质,经数值实验验证该方法对异常值匹配具有鲁棒性。
2026-08-11 math.OC math.PR stat.ML
$β$-Cores: Robust Large-Scale Bayesian Data Summarization in the Presence of Outliers
University of Cambridge(剑桥大学)
现代机器学习应用程序应该能够解决在大规模真实世界数据集上进行推理所带来的内在挑战,包括可扩展性和对离群值的鲁棒性。尽管贝叶斯方法有许多优点(如不确定性感知预测,专家知识的结合和分层建模),但经典贝叶斯推理的质量关键取决于观察是否符合假设的数据生成模型,这在实践中是不可能保证的。在这项工作中,我们提出了一种变分推理方法,在原则上,可以同时扩展到大型数据集,并鲁棒化推断后验相对于观测数据中的离群值的存在。利用$β$ -散度对贝叶斯定理进行了改进,提出了一种鲁棒伪贝叶斯后验概率作为推理目标。此外,依赖于可扩展贝叶斯推理的黎曼核心集的最新配方,我们提出了一个稀疏变分近似的鲁棒后验和一个高效的随机黑箱算法来构建it. Overall我们的方法允许释放清洗的数据摘要,可以广泛应用于包括结构化数据损坏的场景。我们说明了我们的方法在不同的模拟和真实数据集,各种统计模型,包括高斯均值推断,逻辑和神经线性回归,证明其优越性,现有的贝叶斯摘要方法中存在离群值的适用性。
2020-11-09 cs.AI cs.LG stat.AP
Bayesian Node-Level Outlier Detection for Graph Signals
Human-Centered Artificial Intelligence Research Institute, Ewha Womans University(梨花女子大学以人为本人工智能研究所);Department of Statistics and Actuarial Science, Soongsil University(崇实大学统计与精算科学系)
本文提出一种完全贝叶斯框架用于图信号中的节点级异常检测,通过图结构关系依赖性识别破坏底层平滑性的异常。方法结合图平滑组件和稀疏异常组件模型,提供后验概率不确定性量化。
2026-04-16 stat.ME
Robust Bayesian Modeling of Counts with Zero inflation and Outliers: Theoretical Robustness and Efficient Computation
针对零膨胀与大型异常值导致标准计数模型后验失真的问题,提出基于重标度 beta 分布的稳健贝叶斯框架,配合定制 Gibbs 采样实现高效计算与理论后验稳健性。
2024-05-08 stat.ME
Detecting Unusual Input-Output Associations in Multivariate Conditional Data
University of Pittsburgh(匹兹堡大学)
尽管近年来离群点检测研究取得了巨大的进展,但大多数现有方法仅被设计用于检测与所有数据属性的联合空间中表达的异常数据模式相对应的无条件离群点。当我们试图检测反映与给定上下文或条件相关的异常反应的条件离群值时,此类方法不适用。这项工作的重点是多变量条件离群值检测,一种特殊类型的条件离群值检测问题,其中数据实例包括多维输入(上下文)和输出(响应)对。我们提出了一种新的离群值检测框架,该框架可以在从所有数据实例中学习的可分解条件概率模型的帮助下识别数据中的异常输入-输出关联。由于该模型的组成部分可能在质量上有所不同,因此我们将它们与权重相结合,以反映其在评估离群值时的可靠性。我们研究了两种计算组件权重的方法:依赖于所有数据的全局方法和仅依赖于与目标实例相似的实例的局部方法。对不同领域数据的实验结果表明,我们的框架能够成功识别多变量条件离群值。
2016-12-21 cs.LG stat.ML
Robust mixture regression with Exponential Power distribution
假设指数幂分布是处理回归和聚类中离群值的一种方法,这可以增加分析的鲁棒性。高斯分布是指数分布的一种特殊情况。指数幂分布可以看作是正态分布的尺度混合。因此,模型选择方法开发的高斯混合模型可以很容易地扩展到指数幂混合模型。此外,高斯混合模型在实际情况下倾向于选择比指数幂混合模型更多的分量,这意味着指数幂混合模型更容易解释。本文研究了误差服从指数幂次分布的混合回归模型。它对异常值具有鲁棒性,并且模型选择易于实现。
2020-12-19 stat.CO stat.ME
Heteroscedastic Gaussian Process Regression on the Alkenone over Sea Surface Temperatures
为了更好地恢复历史海表温度,建立一个良好的校正模型是非常重要的。基于异方差高斯过程(GP)回归方法,提出了一种新的烯酮模型(${\rm{U}}_{37}^{\rm{K}'}$)。我们的非参数方法不仅处理的变量模式的噪声在SST,但也包含一个贝叶斯方法分类潜在的离群值。
2019-12-18 stat.AP stat.ML
Robust Bayesian graphical modeling using $γ$-divergence
本文提出一种基于 $\gamma$-散度的稳健贝叶斯高斯图模型推断方法,通过贝叶斯图形套索实现后验稳健性,并开发了加权贝叶斯自助法高效计算算法。
2025-01-23 stat.ME
Robust high-dimensional Bayesian regression with non-Gaussian errors under global--local shrinkage priors
Ferdowsi University of Mashhad(马什哈德 Ferdowsi 大学)
针对高维多元回归中非高斯误差问题,提出基于尺度-位置混合误差分布与马蹄+先验的稳健贝叶斯框架,实现系数和残差精度矩阵的联合稀疏性,理论证明后验收缩性和选择一致性,模拟和实证表明优于高斯方法。
2026-06-08 stat.AP stat.CO stat.ME
Standardization of multivariate Gaussian mixture models and background adjustment of PET images in brain oncology
在脑肿瘤学中,根据治疗前和治疗后正电子发射断层扫描(PET)之间的差异来评估疾病的进展或缓解是常规的。背景校正是必要的,以减少与疾病无关的组织依赖性变化的混杂。当将两个扫描的体素强度建模为双变量高斯混合时,背景调整转化为标准化每个体素处的混合,而肿瘤病变本身呈现为待检测的离群值。在本文中,我们解决了如何将混合物标准化为标准多元正态分布的问题,以便离群值(即,肿瘤病变)可以使用统计检验来检测。我们从理论上和数值上表明,尾部分布的标准化分数是有利的接近标准正态分布在广泛的情况下,而保守的尾巴,验证体素假设检验的基础上标准化分数。为了解决空间异构图像数据的标准化,我们提出了一个空间和强大的多元期望最大化(EM)算法,其中先验类成员资格概率提供的空间概率模板图的变换和类的均值和协方差的估计是强大的离群值。在单变量和双变量情况下的模拟表明,软分配的标准化分数具有非常接近或比标准正态更保守的尾部概率。所提出的方法被应用到一个真正的数据集从PET幻影实验,但他们是通用的,可以在其他情况下使用。
2018-02-13 stat.AP stat.ME
On Asymptotic Outlier Rejection in Bayesian Mixed Poisson Regression Models Under Extreme Target and Covariate Values
University of Helsinki(赫尔辛基大学)
研究混合泊松回归模型在协变量或目标值异常时的稳健性,发现模型对目标异常稳健但对协变量异常不稳健,需开发新方法。
2026-09-23 stat.ME
Scalable Clustering: Large Scale Unsupervised Learning of Gaussian Mixture Models with Outliers
Florida State University(佛罗里达州立大学)
本文提出一种基于损失最小化的鲁棒聚类算法,解决带异常值的高斯混合模型的大规模聚类问题,提供理论保证并可作为 k-means 初始化策略,在 ImageNet 等大规模数据集上表现优异。
2023-02-28 cs.LG stat.ML
Outlier-robust copula regression for bivariate continuous proportions: an application to cushion plant vitality
Syneos Health;Dept. of Mathematical Statistics and Actuarial Science, University of the Free State(自由州大学数学统计与精算科学系);CEMSE Division, King Abdullah University of Science and Technology(阿卜杜拉国王科技大学CEMSE学部);Dept. of Statistics, University of Pretoria(比勒陀利亚大学统计学系);Dept. of Plant and Soil Sciences, University of Pretoria(比勒陀利亚大学植物与土壤科学系);Dept. of Botany and Plant Biotechnology, University of Johannesburg(约翰内斯堡大学生物学与植物生物技术系)
针对二元连续比例数据的内部异常值与残差依赖问题,提出结合矩形beta边缘与单参数copula的贝叶斯稳健回归方法,经垫状植物调查与模拟验证性能优异,可作为跨领域成对比例数据的稳健分析工具。
2025-11-13 stat.ME
Weighted likelihood mixture modeling and model based clustering
在这项工作中,开发了一种加权似然方法的稳健拟合的多元高斯成分的混合。已经提出了两种方法,分别由标准EM和CEM算法的适当修改驱动。在这两种技术中,M步骤通过针对降低离群值的权重的计算来增强。权重是基于皮尔逊残差源于强大的马氏型距离。基于拟合的混合模型,还可以定义用于鲁棒聚类和离群值检测的正式规则。所提出的方法的行为进行了研究,通过一些数值研究和实际数据的例子,在拟合和分类精度和离群值检测。
2018-11-08 stat.ME
A Robust Classification-autoencoder to Defend Outliers and Adversaries
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出了一种鲁棒的分类自动编码器(CAE),它具有很强的识别离群点和防御攻击者的能力。其主要思想是将自动编码器从无监督学习模型转变为分类器,其中编码器用于将具有不同标签的样本压缩到不相交的压缩空间中,解码器用于从其压缩空间中恢复样本。编码器既用作压缩特征学习器又用作分类器,解码器用于通过比较输入样本与输出来决定编码器给出的分类是否正确。针对当前DNN框架中不可避免地会出现攻击样本的问题,引入基于CAE的列表分类器来防御攻击者,该列表分类器输出多个标签和相应的样本。大量的实验结果表明,CAE实现了最先进的识别离群值,找到几乎所有的离群值;列表分类器给出了近无损分类的意义上说,输出列表包含正确的标签,几乎所有的对手和输出列表的大小是合理的小。
2022-06-07 cs.LG stat.ML
Bayesian Analysis of Censored Spatial Data Based on a Non-Gaussian Model
在本文中,我们建议使用斜高斯对数高斯模型的分析空间删失数据从贝叶斯的观点。这种方法是对偏对数高斯模型的一种扩展,既能适应偏态和重尾,也能适应删失数据。所有提到的特征都是空间数据的三个普遍特征。我们利用数据增广法和马尔可夫链蒙特卡罗(MCMC)算法进行后验计算。使用模拟数据,以及将其应用到一个真实的数据集的方法进行说明。关键词:删失数据,数据扩充,非高斯空间模型,离群点,统一偏高斯。
2018-11-27 stat.AP stat.ME
Bayesian Lower Bounds for Dense or Sparse (Outlier) Noise in the RMT Framework
稳健估计是一个重要而及时的研究课题。在本文中,我们研究的性能下界的均方误差(MSE)的任何估计的贝叶斯线性模型,破坏了根据i.i.d.分布的噪声。学生t分布由其自由度参数化的这类先验与对密集或稀疏(考虑离群值)噪声进行建模有关。利用Student t分布的分层正态-Gamma表示,导出了振幅参数的Van Trees贝叶斯克拉美-拉奥界(BCRB)。此外,假设随机矩阵理论(RMT)框架,即,测量的数量和未知参数的数量以渐近有限比率共同增长到无穷大。利用RMT的一些强有力的结果,BCRB的封闭形式的表达式推导和研究。最后,我们提出了一个框架,以公平地比较两个模型损坏的噪声具有不同的自由度为一个固定的共同目标信噪比(SNR)。特别是,我们专注于我们的努力与两个模型损坏的稀疏噪声促进离群值和密集(高斯)噪声,分别与BCRBs的比较。
2017-07-11 stat.ME stat.OT
Learning with Correntropy-induced Losses for Regression with Mixture of Symmetric Stable Noise
State University of New York at Albany(纽约州立大学奥尔巴尼分校)
近年来,相关熵及其在机器学习中的应用由于其在处理非高斯噪声和离群点方面的优点而受到了广泛的关注。然而,相关熵的理论理解,特别是在统计学习的背景下,仍然是有限的。在这项研究中,在统计学习的框架内,我们研究了基于相关熵的回归存在非高斯噪声或离群值。受非高斯噪声或离群点产生的实际方法的启发,本文引入了对称稳定噪声的混合模型,包括高斯噪声、柯西噪声及其混合作为特例,对非高斯噪声或离群点进行建模。我们证明了在对称稳定噪声的混合假设下,基于相关熵的回归可以很好地学习条件均值函数或条件中值函数,而无需求助于噪声的有限方差甚至有限一阶矩条件。特别地,对于上述两种情况,我们建立了基于相关熵的回归估计量的渐近最优学习率,该估计量渐近为$\mathcal{O}(n^{-1})$型。这些结果证明了基于相关熵的回归估计在处理异常值和非高斯噪声时的有效性。我们相信,本研究完成了我们的理解,从统计学习的角度对基于相关熵的回归,也可能揭示了一些强大的统计学习回归。
2019-09-05 cs.LG stat.ML
Unsupervised Outlier Detection using Random Subspace and Subsampling Ensembles of Dirichlet Process Mixtures
Nexon(奈森(韩国游戏公司));Danggeun Market(당근마켓(韩国电商公司));University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Yonsei University(延世大学)
针对 Dirichlet Process Mixtures 计算低效且对非高斯数据建模困难的问题,提出一种结合随机子空间与子采样集成及变分推断的无监督离群点检测方法,有效提升了计算效率、鲁棒性和检测性能。
2024-07-25 cs.AI cs.LG stat.ML
Robustness Against Outliers For Deep Neural Networks By Gradient Conjugate Priors
Peoples’ Friendship University of Russia(俄罗斯人民友谊大学);Free University Berlin(柏林自由大学)
我们分析了一种新的鲁棒的方法重建的概率分布的观测数据中存在的输出离群值。它基于所谓的梯度共轭先验(GCP)网络,该网络输出先验的参数。通过严格研究GCP学习过程的动力学,我们导出了一个明确的公式,用于校正所获得的边缘分布的方差,并消除训练集中离群值引起的偏差。假设一个高斯(输入依赖)地面真值分布污染的比例$\varepsilon$的离群值,我们表明,拟合的平均值是在一个$c e^{-1/\varepsilon}$ -附近的地面真值平均值和校正方差是在一个$b\varepsilon$ -附近的地面真值方差,而未经校正的方差的边缘分布甚至可以是无限的。我们明确地发现$b$作为GCP网络的输出的函数,而没有离群值(可能依赖于输入)分布的先验知识。合成和真实世界的数据集的实验表明,GCP网络与标准的优化器拟合优于其他强大的回归方法。
2019-05-21 cs.AI cs.LG math.DS
Noise Statistics Oblivious GARD For Robust Regression With Sparse Outliers
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
在许多信号处理应用中,被高斯噪声(内点)和可能的无界稀疏离群点污染的线性回归模型是常见的。稀疏恢复启发的鲁棒回归(SRIRR)技术被证明可以在这样的回归模型中提供高质量的估计性能。不幸的是,大多数SRIRR技术假定\textit{a priori}知道噪声统计,如内点噪声方差或离群点统计,如离群点的数量。内点和外点噪声统计量都很少为\textit{a priori}所知,这限制了许多SRIRR算法的有效操作。本文提出了一种新的噪声统计无关算法称为残差比阈值GARD(RRT GARD)的鲁棒回归稀疏离群值的存在。RRT-GARD是通过修改最近提出的噪声统计相关的贪婪算法鲁棒去噪(GARD)。有限样本和渐近分析结果表明,RRT-GARD执行几乎类似的GARD与\textit{a priori}知识的噪声统计。真实和合成数据集的数值模拟也表明了RRT-GARD具有很强的竞争力。
2018-09-19 cs.LG stat.ML
Higher degree sum-of-squares relaxations robust against oblivious outliers
ETH Zürich(苏黎世联邦理工学院);Google Zürich(谷歌苏黎世)
我们考虑估计模型的形式$Y=X^*+N$,其中$X^*$是一些$m$维信号,我们希望恢复,和$N$是对称分布的噪声,可能是无界的,但在所有的小$α$分数的条目。我们介绍了一个家庭的算法,在温和的假设下恢复信号$X^*$在所有的估计问题,存在一个平方和算法,成功地恢复信号$X^*$时,噪声$N$是高斯的。这基本上表明,为了得到适用于对称噪声模型的算法,设计用于高斯噪声估计问题的平方和算法是足够的。我们的框架远远超出了以前的结果对称噪声模型,甚至是强大的对抗扰动。作为具体的例子,我们研究了两个问题,没有有效的算法已知的工作重尾噪声:张量PCA和稀疏PCA。对于前者,我们的算法恢复的主成分在多项式时间的信噪比至少为$\tilde{O}(n^{p/4}/α)$,匹配(对数因子)目前最知名的算法保证高斯噪声时。对于后者,我们的算法运行在准多项式时间,并匹配的准多项式时间算法的高斯噪声的情况下,最先进的保证。使用减少种植集团的问题,我们提供的证据表明,准多项式时间可能是必要的稀疏PCA与对称噪声。在我们的证明中,我们使用的覆盖数的伪期望,我们通过证明在平方和上界的高斯复杂性的解决方案集的范围。这种方法用于界定伪期望集合的覆盖数,其本身可能是有趣的,并且可能在未来的工作中找到其他应用。
2022-11-14 cs.LG stat.ML
Robust Gaussian Graphical Modeling with the Trimmed Graphical Lasso
高斯图形模型(GGM)是研究网络结构的常用工具。然而,许多现代应用,如基因网络发现和社会互动分析,往往涉及高维噪声数据与离群值或重尾比高斯分布。在本文中,我们提出了修剪图形套索的稳健估计的稀疏GGM。我们的方法通过隐式修剪机制来防止离群值,该机制类似于用于线性回归的流行的最小二乘修剪方法。我们提供了一个严格的统计分析,我们的估计在高维设置。相比之下,现有的方法用于鲁棒稀疏GGM估计缺乏统计保证。我们的理论结果得到了仿真和真实基因表达数据实验的补充,进一步证明了我们的方法的价值。
2015-10-28 stat.ML
Fast Incremental SVDD Learning Algorithm with the Gaussian Kernel
SAS Institute Inc.(SAS研究所)
支持向量数据描述(SVDD)是一种用于单类分类和离群点检测的机器学习技术。SVDD的思想是找到一组定义数据边界的支持向量。当处理在线数据或大数据时,现有的批处理SVDD方法必须在每次迭代中被重新配置。我们提出了一个增量学习算法的SVDD,使用高斯核。该算法建立在边界上的所有支持向量到高斯核函数映射的高维特征空间中的球心的距离相同的观察基础上。每次迭代只涉及现有的支持向量和新的数据点。此外,该算法是完全基于矩阵操作,支持向量和它们相应的拉格朗日乘子$α_i$的自动选择和确定在每次迭代。可以看出,我们的算法在每次迭代中的复杂度仅为$O(k^2)$,其中$k$是支持向量的数量。在真实数据集上的实验结果表明,FISVDD在不损失异常点检测精度和目标函数值的情况下,提高了效率。
2018-11-01 cs.LG stat.ML
Spectral Dynamics in Deep Networks: Feature Learning, Outlier Escape, and Learning Rate Transfer
John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰A·保罗森工程与应用科学学院);Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University(哈佛大学自然与人工智能研究学院);Center for Mathematical Sciences and Applications, Harvard University(哈佛大学数学科学中心);Oden Institute for Computational Engineering and Sciences & Dept. of Neuroscience, UT Austin(得克萨斯大学奥斯汀分校奥登计算工程与科学学院及神经科学系)
本文研究了在宽神经网络中通过(随机)梯度下降训练时隐藏权重谱的演变,提出了一种双层动态平均场理论(DMFT)来联合跟踪具有尖峰集合的隐藏权重谱动态,其中尖峰方向在随机体上保持统计依赖性。该框架应用于两种设置:(1)无限宽度非线性网络在均值场/μP缩放下,以及(2)深度线性网络在比例高维极限下。理论预测了异常值如何随训练时间、宽度、输出尺度和初始化方差演变。在深度线性网络中,μP产生与宽度一致的异常值动态和超参数转移,包括主导NTK模式向稳定性边缘(EoS)的宽度稳定增长。相比之下,NTK参数化表现出强烈依赖宽度的异常值动态,尽管收敛到一个稳定的宽网络极限。我们展示了这种体+异常值图像是描述简单任务的,但涉及大量输出的任务(如ImageNet分类或GPT语言建模)则更适合通过重构谱体来描述。我们开发了一个具有大量输出通道的玩具模型,重现了这一现象,并展示了足够宽的网络下谱边缘仍会收敛。
2026-05-21 cond-mat.dis-nn cs.AI stat.ML
Robust factored principal component analysis for matrix-valued outlier accommodation and detection
Yunnan University of Finance and Economics(云南财经大学)
针对FPCA在矩阵数据上易受异常值影响的问题,提出基于矩阵变量t分布的RFPCA及快速EM型估计算法,实现鲁棒降参与异常值检测。
2021-12-13 cs.LG stat.ML
Exponential Lasso: robust sparse penalization under heavy-tailed noise and outliers with exponential-type loss
Norwegian Institute of Public Health(挪威公共卫生研究院)
针对经典Lasso对异常值和重尾噪声敏感的问题,提出结合指数型损失的Exponential Lasso鲁棒稀疏方法,通过MM算法高效求解,兼具理想条件下的收敛率与污染场景鲁棒性,性能优于经典Lasso。
2025-11-19 cs.LG stat.ME stat.ML
Robust Data Clustering with Outliers via Transformed Tensor Low-Rank Representation
Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
针对含异常值的张量数据,提出基于t-SVD框架的异常值鲁棒张量低秩表示方法(OR-TLRR),实现异常值检测与数据聚类,并具备行空间精确恢复的理论保证。
2024-04-26 cs.CV cs.LG stat.ML
Robust Gaussian Filtering using a Pseudo Measurement
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Southern California(南加州大学)
本文提出通过引入伪测量改进高斯滤波以应对厚尾传感器模型,通过特征函数优化实现鲁棒滤波,适用于线性和非线性系统。
2016-05-30 cs.SY eess.SY stat.ML
Robust Bayesian Compressed sensing
University of Electronic Science and Technology of China(电子科技大学);Stevens Institute of Technology(斯蒂文斯理工学院)
我们考虑鲁棒压缩感知的问题,其目标是从被离群值破坏的压缩测量中恢复高维稀疏信号。提出了一种新的稀疏贝叶斯学习方法用于鲁棒压缩感知。该方法的基本思想是识别和去除稀疏信号恢复中的野值。为了自动识别离群值,我们采用了一组二进制指标超参数来指示哪些观测值是离群值。这些指标超参数被视为随机变量,并分配一个beta过程之前,使其值被限制为二进制。此外,高斯逆伽玛先验施加在稀疏信号,以促进稀疏性。基于这种分层先验模型,我们开发了一种变分贝叶斯方法来估计指示超参数以及稀疏信号。仿真结果表明,该方法实现了现有的鲁棒压缩感知技术的性能显着改善。
2016-10-21 cs.LG stat.ML
Consistent regression when oblivious outliers overwhelm
ETH Zürich(苏黎世联邦理工学院)
我们考虑一个强大的线性回归模型$y=Xβ^* + η$,其中一个对手不经意的设计$X\in \mathbb{R}^{n\times d}$可能会选择$η$腐败的所有,但$α$分数的观察$y$以任意的方式。在我们的工作之前,即使对于高斯$X$,除了二次样本大小$n \gtrsim (d/α)^2$或对数内点分数$α\ge 1/\log n$之外,在该模型中没有已知的$β^*$的估计量是一致的。我们表明,一致的估计是可能的,几乎线性的样本容量和逆多项式内点分数。具体地说,我们表明,Huber损失估计是一致的每个样本大小$n= ω(d/α^2)$,并实现了错误率为$O(d/α^2n)^{1/2}$。两个边界都是最优的(直到常数因子)。我们的结果扩展到远远超出高斯情况下的设计,只需要$X$的列跨度不包含近似稀疏向量)。(类似于通常对压缩感测的核空间所做的那种假设)。我们提供了两个技术上相似的证明。一个证明是措辞在强凸性,扩展工作[Tsakonas等人。[14]特别短。另一个证明强调了Huber损失估计和高维中值计算之间的联系。在高斯设计的特殊情况下,这种联系导致我们一个惊人的简单算法的基础上计算坐标明智的中位数,实现最佳的保证在近线性时间,并可以利用稀疏的$β^*$。这里研究的模型还捕获了重尾噪声分布,甚至可能没有一阶矩。
2021-05-25 cs.LG stat.ML