An Empirical Comparison of Multiple Imputation Methods for Categorical Data
多重插补是处理统计数据库中缺失值的常用方法。插补者使用从观察数据估计的预测模型中提取的数据填充缺失值,从而产生多个完整版本的数据库。研究人员已经开发了各种默认例程来实现多重插补;然而,比较这些方法的性能的研究有限,特别是对于分类数据。我们使用模拟研究来比较三种默认多重插补方法的重复抽样特性,包括使用广义线性模型的链式方程,使用分类和回归树的链式方程,以及基于Dirichlet过程混合模型的完全贝叶斯联合分布。我们基于美国社区调查的分类数据进行模拟。在本研究的情况下,结果表明,默认链式方程的方法的基础上广义线性模型的默认回归树和贝叶斯混合模型的方法占主导地位。他们还提出了回归树和贝叶斯混合模型方法的竞争优势,使两个合理的默认引擎的多重插补的分类数据。本文的补充材料可在网上查阅。
2016-12-23 stat.CO stat.ME
Approximate nonparametric maximum likelihood inference for mixture models via convex optimization
混合模型的非参数极大似然(NPML)是一种估计混合分布的技术,在统计学上有着悠久而丰富的历史,可以追溯到20世纪50年代,并且与经验贝叶斯方法密切相关。历史上,基于NPML的方法被认为是相对不切实际的,因为计算和理论的障碍。然而,最近的工作集中在近似NPML方法表明,这些方法可能有很大的希望,为各种现代应用。在此基础上,研究了一类灵活、可扩展、易于实现的近似NPML方法,用于求解多元混合分布问题。提供了实施这些方法的具体指导,并提供了理论和经验支持;涵盖的主题包括识别混合分布的支持集,以及比较算法(跨各种度量),用于解决近似NPML问题核心的简单凸优化问题。此外,三个不同的实际数据的应用进行了研究,以说明该方法的性能:(一)棒球数据分析(经验贝叶斯方法的经典例子),(二)高维微阵列分类,(iii)在线预测糖尿病患者的血糖密度。除其他外,实证结果表明,使用多元(而不是单变量)混合分布的NPML为基础的方法的相对有效性。
2018-01-12 stat.ME
Weakly informative reparameterisations for location-scale mixtures
虽然高斯分布的混合物已经研究了一个多世纪(Pearson,1894),但这些模型的参考贝叶斯分析的构建仍然没有解决,由于这种统计对象的不适定性,一般禁止使用不适当的先验(Fruadith-Schnatter,2006)。这个困难通常是绕过经验贝叶斯决议(理查森和绿色,1997年)。通过创建一个新的参数化的平均值和可能的方差的混合物分布本身,我们设法在这里开发一个弱信息的前一个广泛的混合物与任意数量的组件。我们证明了与此先验和最小样本量相关的一些后验分布是适当的。我们提供MCMC实现,表现出预期的交换。我们在这里只研究单变量的情况下,扩展到多变量的位置规模的混合物目前正在研究中。一个名为Ultimixt的R软件包与本文相关。
2017-07-31 stat.CO stat.ME
A Bayesian Bootstrap for Mixture Models
本文提出一种新的非参数贝叶斯自助法用于混合模型,通过将传统贝叶斯自助法重新解释为梯度上升算法并改用连续核,基于非参数最大似然估计工作,并证明了算法的收敛性与可交换性。
2023-10-02 stat.CO stat.ME
Asset price movement prediction using empirical mode decomposition and Gaussian mixture models
Hamilton Institute, Maynooth University(梅努斯大学汉密尔顿研究所);Maynooth University(梅努斯大学);DLT Capital(DLT资本)
本研究结合经验模态分解与高斯混合模型,通过特征工程和机器学习算法优化交易决策,实验表明EMD变换提升集成学习性能,GMM过滤扩大优于随机基准的组合范围。
2025-03-26 cs.LG stat.ME
A mixture of ellipsoidal densities for 3D data modelling
本文提出一种基于椭圆分布族新概率密度函数的椭球混合模型,用于对围绕椭球表面分布的三维数据点进行建模,并通过EM算法估计参数,从理论和实验上验证了其性能。
2023-09-21 math.ST stat.ME stat.TH
Estimating the Ratio of Means in a Zero-inflated Poisson Mixture Model
研究了两组分Poisson混合模型的均值比的估计问题,当每个组分都服从零膨胀,即,超过零计数。的.由此得到的{ \it zero-inflated Poisson mixture(ZIPM)模型}可以被看作是具有一个退化分量的三分量Poisson mixture模型。EM算法应用于获得频率估计和它们的标准误差,后者通过观测信息矩阵的显式表达式确定。贝叶斯和经验贝叶斯估计也得到共轭先验及其基于数据的变体。最后,比较了ZIPM分布和ZTP(零截尾泊松)分布。
2022-03-30 math.ST stat.TH
Feature Selection Facilitates Learning Mixtures of Discrete Product Distributions
Yale University(耶鲁大学)
特征选择可以在离散随机变量的混合物出现时(例如,在众包任务中)促进对它们的学习。直觉上,并不是所有的员工都同样可靠,但是,如果不太可靠的员工可以被淘汰,那么学习应该会更强大。通过类比高斯混合模型,我们寻求一种低阶统计方法,并在这里介绍一种算法的基础上(成对)的互信息。这导致了一种对工人的秩序,这种秩序是为“一枚硬币”模式精心构建的。更一般地说,它是合理的拟合优度的措施,并验证经验。实际数据集的改进可能是实质性的。
2017-11-25 cs.LG stat.ML
Spatial Clustering Regression of Count Value Data via Bayesian Mixture of Finite Mixtures
本文提出贝叶斯有限混合之混合空间聚类回归模型,利用 Markov 随机场先验识别 Poisson 回归系数的空间同质性,并辅以理论、MCMC 算法、模拟和佐治亚州数据验证。
2023-06-04 stat.AP stat.CO stat.ME
Spectral Experts for Estimating Mixtures of Linear Regressions
Stanford University(斯坦福大学)
判别潜变量模型通常使用EM或基于梯度的优化来学习,这会受到局部最优的影响。在本文中,我们开发了一个新的计算效率和可证明的一致性估计的混合线性回归,一个简单的例子,一个判别潜在变量模型。我们的方法依赖于低秩线性回归来恢复对称张量,可以使用张量幂方法将其分解为参数。我们证明了我们的估计的收敛速度,并提供了一个实证评估,说明其相对于局部优化(EM)的优势。
2013-06-17 cs.LG stat.ML
Improving Inference of Gaussian Mixtures Using Auxiliary Variables
将一个低维问题扩展到高维空间,然后投影回来通常是有益的。本文在有限混合模型的背景下严格研究了这一观点,即如何通过使用辅助变量来改进混合模型的推理。尽管大量的文献在混合模型和一些经验的例子,有没有以前的工作,给出了一般的理论理由,包括辅助变量的混合模型,即使在特殊情况下。我们提供了一个理论基础,比较推断的混合多元模型与相应的推断边际单变量混合模型。几种特殊情况下的分析结果建立。我们发现,正确分配混合成员的概率和信息数的主要结果的手段,在一个双变量模型与两个高斯混合物一般大于在每个单变量模型。在一系列的情况下,包括错误指定的模型,进行模拟,以检查改进。该方法在生态学和因果推断中的两个实际应用说明。
2014-11-07 stat.ME
Dirichlet Mixture Model based VQ Performance Prediction for Line Spectral Frequency
Beijing University of Posts and Telecommunications(北京邮电大学)
在本文中,我们继续我们以前的工作的Dirichlet混合模型(DMM)为基础的矢量量化的LSF矢量量化的性能界。LSF参数被转换到$Δ$ LSF域,并且$Δ$ LSF参数的潜在分布由具有有限数量的混合分量的DMM建模。量化失真,在均方误差(MSE)方面,与高速率理论计算。感知激励的对数谱失真(LSD)和MSE之间的映射关系是经验近似的多项式。利用该映射函数,估计用于LSF的透明编码的最小所需比特率。
2020-02-02 cs.LG cs.SD eess.AS
Erlang mixture modeling for Poisson process intensities
我们开发了一个先验概率模型的时间泊松过程强度通过结构化的混合Erlang密度与共同的尺度参数,混合的整数形状参数。混合权重通过累积强度函数的增量来构造,该累积强度函数是用伽马过程先验非参数建模的。这样的模型规范提供了一种新颖的扩展的Erlang混合物的密度估计的强度估计设置。先验模型结构支持点过程强度函数的一般形状,并且它还能够有效地处理泊松过程似然归一化项,从而产生有效的后验模拟。进一步阐述了Erlang混合建模方法,以发展空间泊松过程的推理方法。相对于现有的贝叶斯非参数建模方法,包括经验比较高斯过程事先基于模型的方法进行检查,并与合成和真实数据的例子说明。
2021-10-24 stat.ME
A Factorial Mixture Prior for Compositional Deep Generative Models
DeepMind(深度思维)
我们假设一个高维的数据,像一个图像,是一组属性的组合表达,与数据和它的属性之间的复杂的非线性关系。本文提出了一种用于捕获潜在属性的阶乘混合先验,从而为深度生成模型添加了结构化组合。先验将潜在向量视为属于子空间的笛卡尔积,每个子空间都用高斯混合模型单独量化。只要存在标记的属性,就可以将某些混合成分设置为将属性表示为观察到的随机变量。通过随机变分推断和梯度下降的组合,学习如何推断离散属性的方法,在无监督或半监督的方式概述和经验评估。
2018-12-18 cs.AI cs.LG stat.ML
Infinite Mixture Model of Markov Chains
我们提出了一个贝叶斯非参数混合模型的预测和信息提取任务与一个有效的推理方案。它对表现出来自多个底层模式(例如,用户行为轨迹)的动态的分类值时间序列进行建模。我们简化的想法,捕捉这些模式的层次隐马尔可夫模型(HH)-和扩展现有的方法的结构信息的额外表示。我们的实证结果是基于合成和真实世界的数据。结果表明,结果很容易解释,并且该模型在分割和预测性能方面表现出色:它成功地识别了生成模式,并可用于有效预测未来的观测结果。
2017-06-19 stat.ML
Decision Approach and Empirical Bayes FCR-Controlling Interval for Mixed Prior Model
在本文中,我应用决策论和经验贝叶斯方法来构建置信区间为选定的人口时,真参数遵循混合先验分布。提出了一种具有两个调谐参数$k_1$和$k_2$的损失函数来处理混合先验。$k_2$的一个特定选择可以导致Qiu和Hwang(2007)中的程序; $k_2$的另一个选择提供了控制贝叶斯FCR的区间构造。分析和大量的数值模拟研究表明,新的经验贝叶斯FCR控制方法具有很大的长度减少。最后,我将不同的方法应用于微阵列数据集。结果表明,新方法的平均长度仅为Qiu和Hwang的控制同时不覆盖概率的方法的57%,以及Benjamini和Yekutieli(2005)的控制频率主义者的FCR的方法的66%。
2009-01-15 math.ST stat.TH
Convergence Analysis of Gradient EM for Multi-component Gaussian Mixture
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究了高斯混合模型的梯度期望最大化算法\cite{lange1995gradient}在一般聚类数和混合系数下的收敛性。我们推导出的收敛速度依赖于混合系数,最小和最大成对的距离之间的真实中心和维数和组件的数量,并获得一个接近最优的局部收缩半径。虽然最近已经有一些值得注意的作品,得出EM在两个相等的混合对称GMM的局部收敛率,在更一般的情况下,推导需要结构上不同的和非平凡的参数。我们使用最近的学习理论和经验过程的工具,以实现我们的理论结果。
2017-12-04 cs.LG math.ST stat.TH
Bayesian mixture modeling for multivariate conditional distributions
我们提出了一个贝叶斯混合模型,用于估计一组固定变量条件下的混合有序、名义和连续数据的联合分布。该模型对随机变量使用多元正态和分类混合核。它通过多变量正态混合核和截断局部Dirichlet过程来诱导随机变量和固定变量之间的依赖性。后者鼓励具有相似固定变量值的观测值共享混合分量。使用数据融合的模拟,我们说明,该模型可以估计潜在的关系,在数据和缺失值的分布更准确地比混合模型应用于随机和固定变量联合。我们使用该模型来分析消费者的阅读行为,使用配额样本,即,一个样本,其中一些变量的经验分布是固定的设计,所以不应该被建模为随机的,由图书出版商哈珀柯林斯进行。
2016-07-13 stat.ME
Dirichlet Process Mixtures of Generalized Mallows Models
University of Washington(华盛顿大学);Massachusetts Institute of Technology(麻省理工学院)
提出了离散不完全排序下的Dirichlet过程混合模型,研究了两种估计后验聚类的Gibbs抽样推断技术。第一种方法使用切片采样子分量来估计聚类参数。第二种方法利用条件后验的近似来边缘化几个聚类参数。我们实证证明了(1)这种近似方法在提高收敛性方面的有效性,(2)Dirichlet过程模型在排名数据的其他聚类技术上的优势,以及(3)该方法在探索大型现实世界排名数据集方面的适用性。
2012-03-15 cs.LG stat.ML
How to Approximate Inference with Subtractive Mixture Models
University of Edinburgh(爱丁堡大学);University of Warwick(沃里克大学);KU Leuven(鲁汶大学)
本文研究了如何通过设计IS的期望估计器和VI的学习方案来有效利用减法混合模型,并评估其在分布近似中的表现,同时讨论了估计稳定性与学习效率的挑战。
2026-04-17 cs.LG stat.CO stat.ML
Testing the Order of Multivariate Normal Mixture Models
多元正态分布的有限混合分布在统计遗传学和统计金融学等领域的经验应用中得到了广泛的应用。检验多元正态混合模型中的分量数是一个长期存在的挑战,即使是在最重要的检验同质性的情况下。本文开发了基于似然性的$M_0$组件的原假设对一般$M_0 \geq 1$的$M_0 + 1$组件的备择假设的测试。对于异方差正态混合模型,我们提出了EM检验,并给出了EM检验统计量的渐近分布。对于同方差正态混合,我们得到了似然比检验统计量的渐近分布。在局部替代下,我们还得到了似然比检验统计量和EM检验统计量的渐近分布,并证明了参数自助法的有效性。仿真结果表明,该检验具有良好的有限样本量和功效特性。
2019-02-08 econ.EM math.ST stat.TH
Without Pain -- Clustering Categorical Data Using a Bayesian Mixture of Finite Mixtures of Latent Class Analysis Models
本文提出一种贝叶斯两层有限混合模型,用潜在类别分析近似簇分布,结合伸缩采样器和标签切换处理,实现对未知簇数多元分类数据的简约聚类,并在模拟和下背痛数据上验证了有效性。
2024-07-07 stat.ME
Nonparametric Pattern-Mixture Models for Inference with Missing Data
模式混合模型为处理缺失数据提供了一种透明的方法,其中完整数据分布以一种明确显示可以仅从观察数据估计的部分以及需要识别限制的部分的方式进行因子分解。我们介绍了一个非参数估计的全数据分布的模式混合模型因子分解的基础上。我们的方法使用的经验数据分布,并增加了一个非参数估计的缺失数据分布在一个给定的识别限制。我们的研究结果适用于一个大类的捐助者为基础的识别限制,包括常用的,可以处理单调和非单调缺失。我们提出了一个蒙特卡罗程序来获得点估计的泛函的兴趣,和自助构建置信区间。
2019-04-24 math.ST stat.ME stat.TH
Detecting Multiple Random Changepoints in Bayesian Piecewise Growth Mixture Models
分段增长混合模型(PGMM)是一种灵活而有用的方法,用于分析个体增长轨迹随时间的分段趋势,其中个体来自两个或多个潜在类别的混合。这些模型允许每个类内的整体发育过程的每个部分具有不同的功能形式;示例包括两个线性生长阶段,或线性阶段之后的二次阶段。变点(结)是从一个发育阶段(段)过渡到另一个的时间。推断变化点的位置通常具有实际意义,以及推断其他模型参数。随机变点允许每个类内的过渡时间存在个体差异。本研究的主要目的是:(1)开发一个PGMM使用贝叶斯推断的方法,允许估计多个随机变点在每个类:(2)开发一个程序,以经验检测随机变点的数量在每个类;以及(3)经验性地研究模型参数估计的偏差和精度,包括随机变化点,通过模拟研究。我们已经开发了用户友好的BayesianPGMM for R包,以促进在实践中采用这种方法,可在https://github.com/lockEF/BayesianPGMM上获得。我们描述了一个应用程序的视觉识别任务的鼠标跟踪数据。
2017-10-29 stat.ME
Training Gaussian Mixture Models at Scale via Coresets
如何在海量数据集上训练统计混合模型?在这项工作中,我们将展示如何构建混合高斯coresets。核心集是数据的加权子集,这保证了拟合核心集的模型也为原始数据集提供了良好的拟合。我们发现,也许令人惊讶的是,高斯混合承认coresets的大小多项式的尺寸和混合成分的数量,而独立的数据集的大小。因此,人们可以利用计算密集型算法来计算一个非常小的数据集上的一个很好的近似。更重要的是,这样的核心集可以有效地构建在分布式和流设置,并不施加限制的数据生成过程。我们的研究结果依赖于一个新的减少统计估计问题的计算几何和新的组合复杂性结果的混合高斯。几个真实世界的数据集上的实证评估表明,我们的基于核心集的方法可以显着减少训练时间,近似误差可以忽略不计。
2018-01-15 stat.ML
Bayesian Covariance Matrix Estimation using a Mixture of Decomposable Graphical Models
贝叶斯方法用于估计高斯数据的协方差阵。从高斯图形模型和模型选择的想法被用来构建一个先验的协方差阵,是一个混合在所有可分解的图。对于该先验,每个图大小的概率由用户指定,并且相同大小的图被分配相同的概率。大多数以前的方法假设所有的图都是同样可能的。我们的经验表明,分配相等的概率在图形大小的先验优于分配相等的概率在所有图形的先验,无论是在识别正确的可分解图,并在更有效地估计的协方差阵。
2007-06-09 stat.ME
Empirical Bayes for the Reluctant Frequentist
本文以频率学派视角介绍经验贝叶斯基本原则,重点讲解估计混合模型的非参数极大似然方法,并用 PSID 收入动态数据加以应用说明。
2024-04-04 stat.ME
Mixtures of Bivariate von Mises Distributions with Applications to Modelling of Protein Dihedral Angles
经验观测数据的建模通常使用概率分布的混合来完成。为了对角度数据进行建模,通常使用诸如双变量冯米塞斯(BVM)的方向概率分布。混合建模的关键任务是确定组分概率分布的最佳数目。我们采用贝叶斯信息理论的最小消息长度(MML)的原则来区分混合模型,通过平衡模型的复杂性和拟合数据的良好性之间的权衡。我们考虑的问题,建模角数据产生的蛋白质结构的空间排列使用BVM分布。本文的主要贡献包括混合物建模装置的发展以及BVM分布的参数的MML估计。我们证明了使用MML框架的统计推断取代了传统的方法,并提供了一种机制来客观地确定具有实际意义的模型。
2016-09-26 q-bio.QM stat.ML
An Empirical Bayes Approach for High Dimensional Classification
提出了一种基于Dirichlet过程混合模型的经验Bayes估计,用于估计稀疏归一化均值差,可直接应用于高维线性分类.在理论上,我们建立了一个连接平均差的估计误差和误分类误差的桥梁,并给出了次优分类器和最优分类器的充分条件。在实现上,提出了一种变分贝叶斯算法来有效地计算后验,并可并行化以处理超高维情况。
2017-02-16 stat.ME stat.ML
Dirichlet Process Mixtures of Generalized Linear Models
我们提出了狄利克雷过程混合广义线性模型(DP-GLM),一种新的非参数回归方法,可容纳连续和分类的输入,和响应,可以模拟的广义线性模型。我们证明了DP-GLM回归均值函数估计的渐近无偏性的条件。我们还给出了当这些条件成立时的例子,包括紧支持的连续分布模型和具有连续协变量和分类响应的模型。我们实证分析的DP-GLM的属性,为什么它提供了更好的结果比现有的Dirichlet过程混合物回归模型。我们评估DP-GLM的几个数据集,比较它的现代非参数回归方法,如CART,贝叶斯树和高斯过程。与现有技术相比,DP-GLM提供了一个单一的模型(和相应的推理算法),在许多回归设置中表现良好。
2010-07-15 stat.ML
Global convergence analysis of mixtures of Exponential densities
Institute of Mathematics, École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院数学研究所)
本文证明EM算法在指数分布混合模型中以亚指数速率收敛,最多需log(n)次迭代,表明非高斯混合不影响EM统计性能。
2026-06-29 math.ST stat.TH
Merging of Bayes and quasi-Bayes empirical Bayes procedures for Poisson compound decisions
University of Torino(都灵大学);Collegio Carlo Alberto(卡洛·阿尔贝托学院);Bocconi University(博科尼大学)
研究泊松复合决策问题中贝叶斯与拟贝叶斯经验贝叶斯策略的融合,建立边际概率质量函数的集中速率并证明频率学派融合结果,数值实验显示拟贝叶斯策略在保持精度的同时大幅降低计算成本。
2026-07-07 math.ST stat.ME stat.OT
Clustering Change Sign Detection by Fusing Mixture Complexity
School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术学院)
本文提出MC融合方法扩展混合复杂度,以准确捕捉逐渐变化过渡期间的聚类结构,并据此检测聚类结构变化,在人工和真实数据集上验证了其有效性。
2024-03-27 cs.IT cs.LG math.IT
A semi-parametric estimation for max-mixture spatial processes
我们提出了一个半参数估计过程,以估计参数的最大混合模型和最大稳定模型(逆最大稳定模型)作为替代的复合似然。一个很好的估计所提出的估计需要的依赖措施,以检测所有的依赖结构的模型,特别是在处理最大混合模型。我们通过使用F-madogram克服了这一挑战。半参数估计是基于准最小二乘法,通过最小化理论F-madogram和经验之间的平方差。我们通过模拟研究评估了这种估计的性能。结果表明,平均而言,估计是执行良好的,虽然在某些情况下,它遇到了一些困难。我们应用我们的估计程序来模拟东澳大利亚的每日风暴。
2017-12-05 math.PR math.ST stat.TH
Semiparametric inference in mixture models with predictive recursion marginal likelihood
预测递推算法是混合模型中混合密度非参数估计的一种精确且计算效率高的算法。然而,在半参数混合模型中,该算法无法考虑额外的未知结构参数中的任何不确定性。作为现有的配置文件似然方法的替代方案,我们把预测递归作为一个过滤器近似拟合完全贝叶斯模型,从而出现的结构参数的近似边际似然,并可用于推理。我们称之为预测递归边际似然。预测递归下的模型误指定的收敛特性也导致了这个新的过程有吸引力的建设。我们证明了这个边缘似然函数的规范化版本的逐点收敛。仿真结果比较了这种新的边缘似然方法的性能,现有的轮廓似然方法以及Dirichlet过程混合物的密度估计。混合效应模型和经验贝叶斯多重检验应用在时间序列分析也被认为是。
2011-06-16 math.ST stat.ME stat.TH
Empirical Bayes for Dynamic Bayesian Networks Using Generalized Variational Inference
本文提出结合广义变分推断的经验贝叶斯方法,从结构与权重点估计构建数据驱动先验,以学习可量化DAG结构及参数后验不确定性的动态贝叶斯网络。
2024-06-28 cs.LG math.ST stat.TH
Gaussian Mixture Models for Stochastic Block Models with Non-Vanishing Noise
社区检测任务在统计学、机器学习和信息理论中受到了广泛的关注,大量的工作集中在随机块模型的理论保证上。最近的一系列工作集中在使用高斯混合模型(GARCH)在缩放机制中对网络的频谱嵌入进行建模,其中检测社区成员的能力随着网络的大小而提高。然而,这些制度并不十分现实。本文提供了易处理的方法,激励新的理论结果的网络与非零噪声。我们提出了一个社区检测的过程中使用Gestival,采用了一定的截断和收缩效应,出现在非零噪声制度。我们使用模拟和真实世界的数据提供这种新的表示的实证验证。
2019-11-05 stat.ME
Finite Mixture of Birnbaum-Saunders distributions using the $k$ bumps algorithm
混合模型由于其广泛的应用近年来在统计学中得到了广泛的关注。本文讨论了具有G分量的Birnbaum-Saunders分布的有限混合模型,作为Balakrishnan等人(2011)只考虑两个分量的工作的重要补充。我们的建议,使适当的多模态的情况下具有更大的灵活性,其中与G组件的模型的可识别性被证明和EM算法的混合参数的极大似然(ML)估计开发,其中k-bumps算法被用作初始化策略中的期望最大化算法。k-bumps算法作为初始化工具的性能进行了评估,通过仿真实验。此外,经验信息矩阵的解析推导出占标准误,和自助程序的混合物中的组件的数量进行测试的假设。最后,我们进行模拟研究和分析两个真实的数据集,以说明所提出的方法的实用性。
2017-08-01 stat.ME
Assessing Risk Heterogeneity through Heavy-Tailed Frequency and Severity Mixtures
Department of Finance, School of Economics and Management, Tsinghua University(清华大学经济管理学院);Organization Department, CPC Yichang Municipal Committee(中共宜昌市委组织部)
本文通过构建基于负二项与伽马核的重尾混合分布族,提出4参数和5参数模型来检测和度量风险异质性,并验证推断的稳健性。
2025-11-06 math.PR stat.AP stat.ME
Empirical priors and posterior concentration rates for a monotone density
在贝叶斯上下文中,先验规范的单调密度的推理是概念上简单,但证明后收敛定理是复杂的事实,理想的先验浓度属性往往不满足。在本文中,我首先开发了一个新的先验专门设计,以满足经验版本的先验浓度属性,然后我给充分条件的先验输入,使相应的经验贝叶斯后验集中在真正的单调密度在近最优极大极小率。数值例子也揭示了实际的好处,建议的经验贝叶斯方法相比,狄利克雷过程的混合物。
2018-08-09 math.ST stat.TH
Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in Deep Learning
University of Tübingen(图宾根大学);University of Cambridge(剑桥大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
深度神经网络倾向于对离群值进行过度自信的预测。贝叶斯神经网络和深度集成都被证明可以在一定程度上缓解这个问题。在这项工作中,我们的目标是结合这两种方法的优点,提出用高斯混合模型后验进行预测,该模型由独立训练的深度神经网络的拉普拉斯近似的加权和组成。该方法可以与任何一组预先训练的网络一起使用,并且与常规集成相比只需要很小的计算和内存开销。我们从理论上验证,我们的方法减轻过度自信“远离”的训练数据和经验比较对国家的最先进的基线标准的不确定性量化基准。
2021-11-05 cs.LG stat.ML
A Model-Free Selection Criterion For The Mixing Coefficient Of Spatial Max-Mixture Models
极值理论的一个主要问题是量化联合尾部之间的相关性。使用在联合尾部缺乏灵活性的随机过程可能会导致严重低估或高估与同时发生的极端事件相关的概率。根据最近的进展,在文献中,一个灵活的模型称为最大混合模型已被引入建模的情况下,极值依赖结构可能会随着距离而变化。在本文中,我们提出了一个非参数模型的混合系数的选择标准,我们的标准是来自一个madogram,一个概念,经典的地质统计学捕捉空间结构。该过程是基于一个非线性最小二乘法之间的理论madogram和经验之一。我们进行了模拟研究,并将我们的标准应用于澳大利亚东部的每日降水量。
2018-01-03 math.PR math.ST stat.TH
Inferring Hierarchical Mixture Structures: A Bayesian Nonparametric Approach
Insight Centre for Data Analytics(洞察数据分析中心);University College Dublin(都柏林大学);Maynooth University(梅努斯大学)
本文主要研究数据集的层次非重叠聚类问题。在这样的聚类中,每个数据项与恰好一个叶节点相关联,并且每个内部节点与存储在其下的子树中的所有数据项相关联,使得层次结构的每个级别对应于数据集的分区。提出了一种新的贝叶斯非参数方法,该方法结合了嵌套中餐厅过程(nCRP)和分层狄利克雷过程(HDP)。与其他现有的贝叶斯方法相比,我们的解决方案处理的数据与复杂的潜在的混合特征,以前没有在文献中探索。我们讨论的模型和推理过程的细节。此外,在三个数据集上的实验表明,与现有的算法相比,我们的方法取得了坚实的经验结果。
2021-05-25 cs.AI cs.LG stat.ML
Spatial Mixture Models with Learnable Deep Priors for Perceptual Grouping
Fudan University(复旦大学);Shanghai Institute of Intelligent Electronics & Systems(上海智能电子与系统研究院)
人类以一种结构化和组合化的方式感知看似混乱的世界,前提是能够将概念实体从复杂的视觉场景中分离出来。将场景的基本视觉元素分组为概念实体的机制称为感知分组。在这项工作中,我们提出了一种新型的空间混合模型与可学习的先验感知分组。与现有方法不同的是,该方法将对象的属性分解为“形状”和“外观”,分别用混合权重和混合分量建模。更具体地说,视觉场景中的每个对象完全由一个潜在表示来表征,该潜在表示又由两个神经网络转换为混合权重和混合分量的参数。混合权重集中于对空间依赖性进行建模(即,形状)并且混合分量处理对象内变化(即,外观)。此外,背景被单独建模为与前景对象互补的特殊分量。我们在两个感知分组数据集上进行的大量实证测试表明,该方法在大多数实验配置下的性能优于最先进的方法。学习到的概念实体可推广到新的视觉场景,对对象的多样性不敏感。代码可在https://github.com/jinyangyuan/learnable-deep-priors上获得。
2019-04-29 cs.LG stat.ML
An Empirical Bayes Regression for Multi-tissue eQTL Data Analysis
基因型-组织表达(GTEx)项目从多个人体组织中收集样本,以研究遗传变异或单核苷酸多态性(SNP)与每个组织中基因表达之间的关系。然而,大多数现有的eQTL分析仅关注单个组织信息。在本文中,我们开发了一个多组织eQTL分析,提高了单组织cis-SNP基因表达的关联分析,借用跨组织的信息。具体来说,我们提出了一个经验贝叶斯回归模型,SNP表达关联分析,使用跨多个组织的数据。为了允许SNP的影响在组织之间变化很大,我们使用混合分布作为先验,这是多变量高斯分布和狄拉克质量为零的混合。该模型允许我们通过计算贝叶斯因子来评估每个组织中的顺式SNP基因表达关联。我们表明,所提出的估计的顺式SNP对基因表达的影响达到最小的贝叶斯风险之间的所有估计。GTEx数据的分析表明,我们提出的方法是优于传统的简单回归方法的预测精度的基因表达水平使用顺式SNPs在测试数据集。此外,我们发现,虽然基因对表达的影响在组织间广泛共享,但影响大小在组织间仍有很大差异。
2022-11-25 stat.AP stat.ME
Empirical Reference Distributions for Networks of Different Size
网络分析已经成为广泛科学领域中日益流行的研究工具。在这里,我们专注于比较网络统计数据的特定问题,即网络结构特征的图级测量,跨大小不同的多个网络。虽然存在一些网络统计数据的“归一化”版本,但我们通过模拟演示了为什么直接比较原始和归一化统计数据通常是不合适的。我们研究了最近的建议,规范化网络统计相对于Erdos-Renyi随机图,并通过模拟演示如何这是一个直接比较的改进,但有时仍然存在问题。我们提出了一种新的调整方法的基础上构造的参考分布作为一个混合模型的随机图,反映了依赖结构中所表现出的观察网络。我们表明,使用简单的伯努利模型作为参考分布中的混合成分,可以提供调整后的网络统计数据,这些统计数据在不同的网络大小之间具有相对可比性,但仍然描述了网络的有趣特征,并且可以以相对较低的计算费用完成。最后,我们将这种方法应用到来自洛杉矶家庭和邻里调查活动位置数据的共址网络集合。
2016-03-04 cs.SI physics.soc-ph stat.ME
Outlier-Robust Bayesian Multivariate Analysis with Correlation-Intact Sandwich Mixture
Graduate School of Economics, Kyoto University(京都大学经济学研究科);Faculty of Economics, The University of Tokyo(东京大学经济学部);Faculty of Economics, Keio University(庆应义塾大学经济学部)
针对多元分析中离群值扭曲相关结构的问题,提出相关性保持的三明治混合模型,采用对称超重尾尺度分布实现后验稳健性,并开发高效吉布斯采样算法,在模拟和实证中验证优越性。
2025-10-24 stat.ME
Self-Organizing Map assisted Deep Autoencoding Gaussian Mixture Model for Intrusion Detection
Nanyang Technological University(南洋理工大学);Osaka University(大阪大学)
在信息时代,安全稳定的网络环境是必不可少的,因此入侵检测对于任何网络都是至关重要的。在本文中,我们提出了一种自组织映射辅助的深度自动编码高斯混合模型(SOMDAGMM),并补充了良好保存的输入空间拓扑结构,以实现更准确的网络入侵检测。深度自动编码高斯混合模型包括压缩网络和能够执行无监督联合训练的估计网络。然而,由自动编码器生成的代码在保持输入空间的拓扑方面是无能的,这根源于所采用的深层结构的瓶颈。一个自组织映射已被引入到构建SOMDAGMM来解决这个问题。在两个数据集上进行了大量的实验,经验证明了所提出的SOM-DAGMM的优越性。实验结果表明,SOM-DAGMM在所有测试上都优于最先进的DAGMM,并且在F1分数上获得了高达15.58%的提高,并且具有更好的稳定性。
2020-08-28 cs.CR cs.LG cs.SI
Strong Coresets for Hard and Soft Bregman Clustering with Applications to Exponential Family Mixtures
ETH Zurich(苏黎世联邦理工学院)
核心集是数据集的有效表示,使得在核心集上训练的模型与在原始数据集上训练的模型具有可证明的竞争力。因此,它们已成功地用于将聚类模型(如K-Means和高斯混合模型)扩展到大规模数据集。然而,到目前为止,算法和相应的理论通常是特定于每个聚类问题。我们提出了一个单一的,实用的算法来构建强coresets一大类的硬和软的聚类问题的基础上Bregman分歧。这一类包括硬聚类与流行的失真措施,如平方欧几里德距离,马哈拉诺比斯距离,KL发散和Itakura-Saito距离。由于Bregman分歧和指数族分布之间的双重关系,相应的软聚类问题与流行的混合模型直接相关。我们的理论结果进一步暗示了一个随机多项式时间近似方案的硬聚类。我们证明了所提出的算法的实用性,在实证评估。
2016-05-02 cs.LG stat.ML
Manifold Optimization for Gaussian Mixture Models
University of Tehran(德黑兰大学);Massachusetts Institute of Technology(麻省理工学院)
本文对高斯混合模型的参数估计进行了新的研究。特别是,我们建议使用\emph{Riemannian manifold optimization}作为一个强大的对手,期望最大化(EM)。然而,对流形优化的开箱即用的调用会失败:它收敛到相同的解,但速度要慢得多。从流形凸性的直觉驱动下,我们提出了一个reparamerization,具有显着的经验后果。它使流形优化不仅匹配EM-一个非常令人鼓舞的结果本身给予不良记录的非线性规划方法对EM到目前为止-但也优于EM在许多实际设置中,同时显示少得多的变化,在运行时间。我们进一步强调了流形优化的优势,开发了一个稍微调整的流形LBFGS方法,证明比现有的流形优化工具更具竞争力和可靠性。我们希望我们的结果鼓励更广泛地考虑参数估计问题的流形优化。
2015-06-25 cs.LG math.OC stat.ML
On the nonparametric maximum likelihood estimator for Gaussian location mixture densities with application to Gaussian denoising
本文研究了非参数最大似然估计(NPMLE)在$d$ -维中从独立观测值估计高斯位置混合密度的方法。与通常的基于似然的混合拟合方法不同,NPMLE基于凸优化。我们证明了有限样本结果的Hellinger精度的每一个NPMLE。我们的结果特别意味着,当真实密度是离散高斯混合物,并且没有任何有关混合分量数量的先验信息时,每个NPMLE都实现了接近参数风险(直至对数乘法因子)。在高斯去噪问题中,NPMLE可以自然地用于产生Oracle Bayes估计器的经验贝叶斯估计。我们证明的准确性的经验贝叶斯估计作为一个近似的Oracle贝叶斯估计的界限。在这里,我们的研究结果意味着,经验贝叶斯估计执行在聚类情况下去噪的最佳水平(对数乘法因子),没有任何先验知识的集群的数量。
2019-07-07 math.ST stat.CO stat.ML
A nonparametric empirical Bayes framework for large-scale multiple testing
我们提出了一个灵活的和可识别的版本的两组模型,出于分层贝叶斯的考虑,其特点是一个经验空和半参数混合模型的非空情况。我们使用一个计算效率高的预测递归边际似然方法来估计模型参数,甚至非参数混合分布。这导致了一个非参数的经验贝叶斯检验过程,我们称之为PR测试,阈值的基础上估计的本地错误发现率。仿真和实际数据的例子表明,与现有的方法相比,PR测试的非零密度的仔细处理可以得到一个更好的适合在尾部的混合分布,这反过来,可以导致更现实的结论。
2011-10-01 stat.CO stat.ME
Empirically Classifying Network Mechanisms
Cooperative Institute for Research in Environmental Sciences(环境科学合作研究所);University of Colorado Boulder(科罗拉多大学博尔德分校);Environmental Studies Program(环境研究项目);Department of Economics(经济学系)
网络模型用于研究跨许多物理,生物和社会学科的互连系统。这类模型通常假设一种特定的网络生成机制,当与数据拟合时,会产生描述系统如何运行的机制特定参数的估计值。例如,一个社交网络模型可能会假设新的个体与其他人建立联系的概率与他们先前存在的联系数量成正比(“优先依恋”),然后估计具有类似资格的知名和默默无闻的个体之间互动的差异。然而,如果没有一种手段来检验假定机制的相关性,从这些模型得出的结论可能会产生误导。在这里,我们介绍了一个简单的经验方法,可以机械地分类任意网络数据。我们的方法比较了经验网络和来自用户提供的候选机制集的模型网络,并将每个网络(具有高准确性)分类为源自其中一种机制或不源自其中一种机制。我们测试了373个经验网络与五个最广泛研究的网络机制,发现大多数(228)与这些机制不同。这就提出了一些经验网络是由多种机制混合而成的可能性。我们发现,混合物往往是不可识别的,因为不同的混合物可以产生功能等效的网络。在这样的系统中,这是由多种机制,我们的方法仍然可以准确地预测样本外的功能特性。
2021-01-04 cs.LG cs.SI stat.CO
Stochastic Volatility in Mean: Efficient Analysis by a Generalized Mixture Sampler
本文提出一种基于三十个正态分布混合近似非中心卡方分布的广义混合采样器,用于高效贝叶斯估计均值随机波动率模型,并通过实证表明该模型优于其他波动率模型。
2024-11-20 econ.EM q-fin.MF stat.AP