Bayesian nonparametric models for ranked data
INRIA(法国国家信息与自动化研究所)
我们开发了一个贝叶斯非参数扩展流行的Plackett-Luce选择模型,可以处理无限数量的选择项目。我们的框架是基于随机原子措施的理论,事先指定的伽马过程。我们推导出一个后验特征和一个简单有效的吉布斯采样后验模拟。我们开发了一个随时间变化的扩展我们的模型,并将其应用到纽约时报的每周畅销书名单。
2012-11-19 cs.LG stat.ME stat.ML
A survey of non-exchangeable priors for Bayesian nonparametric models
Dartmouth College(达特茅斯学院);Carnegie Mellon University(卡内基梅隆大学)
相依非参数过程扩展了测度上的分布,如狄利克雷过程和贝塔过程,以给出测度集合上的分布,通常由某些协变量空间中的值索引。当汇率假设不成立时,这样的模型是合适的先验,相反,我们希望我们的模型随着一些协变量的变化而变化。自MacEachern [1]提出相依非参数过程的概念以来,统计学和机器学习文献中提出并使用了许多模型。这些模型中有许多表现出潜在的相似性,我们希望对这些相似性的理解将有助于选择适当的先验,开发新模型和利用推理技术。
2012-11-20 cs.LG stat.ML
Bayesian Nonparametric Federated Learning of Neural Networks
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Center for Computational Health(计算健康中心)
在联邦学习问题中,数据分散在不同的服务器上,交换或池化数据通常是不切实际的或被禁止的。我们开发了一个贝叶斯非参数框架联邦学习与神经网络。假设每个数据服务器提供本地神经网络权重,这些权重通过我们的框架建模。然后,我们开发了一种推理方法,使我们能够合成一个更具表现力的全球网络,而无需额外的监督,数据池,并且只需一轮通信。然后,我们证明了我们的方法对联邦学习问题的有效性,从两个流行的图像分类数据集模拟。
2019-05-28 cs.LG stat.ML
Revisiting k-means: New Algorithms via Bayesian Nonparametrics
Ohio State University(俄亥俄州立大学);UC Berkeley(加州大学伯克利分校)
贝叶斯模型为聚类应用提供了很大的灵活性-贝叶斯非参数可用于建模无限混合物,分层贝叶斯模型可用于在多个数据集上共享聚类。在大多数情况下,这种灵活性是缺乏经典的聚类方法,如k-means。在本文中,我们重新审视的k-means聚类算法从贝叶斯非参数的观点。受启发的渐近连接之间的k-均值和混合高斯,我们表明,吉布斯采样算法的Dirichlet过程的混合接近硬聚类算法的限制,并进一步得到的算法单调最小化一个优雅的底层k-均值聚类目标,包括惩罚的集群数量。我们推广这种分析的情况下,聚类多个数据集,通过类似的渐近参数与分层狄利克雷过程。我们还讨论了进一步的扩展,突出了我们的分析的好处:i)涉及阈值特征向量的谱松弛,和ii)归一化割图聚类算法,不固定图中的聚类数量。
2012-06-14 cs.LG stat.ML
Fully Nonparametric Bayesian Additive Regression Trees
University of Pennsylvania(宾夕法尼亚大学);Medical College of Wisconsin(威斯康星医学院);Arizona State University(亚利桑那州立大学)
贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)是一种完全贝叶斯的建模方法。BART可以以相当自动的方式揭示具有高维回归量的复杂回归函数,并通过后验提供不确定性的贝叶斯量化。但是,BART假设IID正常错误。这种强参数假设可能导致误导性推断和不确定性量化。在本文中,我们使用经典的狄利克雷过程混合(Dirichlet process mixture)机制的非参数模型的误差分布。BART的一个关键优势是默认的先验设置在各种问题中都能很好地工作。扩展BART的挑战是选择BART的参数,以便在误差接近正态时不会失去标准BART方法的优势,但BART具有适应非正态误差的能力。
2018-07-09 cs.LG stat.ML
Bayesian Nonparametric View to Spawning
Arizona State University(亚利桑那州立大学)
在跟踪多个对象时,通常假设每个观测(测量)源自一个且仅一个对象。然而,我们可能会遇到这样一种情况,即在每个时间步,每个度量可能与多个对象关联,也可能不关联--繁殖。因此,每个测量与多个对象的关联是为了跟踪具有出生和死亡的多个对象而执行的关键任务。在本文中,我们介绍了一种新的贝叶斯非参数方法,模型的情况下,每个观察可以从一个未知数量的对象,它提供了一个易于处理的马尔可夫链蒙特卡罗(MCMC)方法从后验分布采样。在每个时间步的对象的数量,本身,也被假定为未知的。然后,我们通过实验表明,非参数建模的优势,产卵事件的情况下。我们的实验结果也证明了我们的框架比现有的方法的优势。
2021-12-03 cs.LG stat.ML
Nonparametric Bayesian Topic Modelling with the Hierarchical Pitman-Yor Processes
The Australian National University(澳大利亚国立大学);Data61/NICTA;Monash University(莫纳什大学);Duke University(杜克大学)
Dirichlet过程及其扩展Pitman-Yor过程是以概率分布为参数的随机过程。这些过程可以堆叠起来形成分层非参数贝叶斯模型。在这篇文章中,我们提出了有效的方法来使用这些过程在这个层次的背景下,并将其应用到文本分析的潜变量模型。特别是,我们提出了一个通用的框架来设计这些贝叶斯模型,这被称为主题模型在计算机科学界。然后,我们提出了一个特定的非参数贝叶斯主题模型从社交媒体的文本建模。我们在这篇文章中关注tweets(Twitter上的帖子),因为它们易于访问。我们发现,我们的非参数模型比现有的参数模型在拟合优度和现实世界中的应用。
2016-09-22 cs.CL cs.LG stat.ML
A Bayesian Nonparametric Approach to Image Super-resolution
Princeton University(普林斯顿大学);Duke University(杜克大学)
超分辨率方法从低分辨率图像形成高分辨率图像。本文提出了一种新的贝叶斯非参数超分辨率模型。我们的方法使用贝塔-伯努利过程从数据中学习一组重复出现的视觉模式,称为字典元素。因为它是非参数的,所以找到的元素的数量也是从数据中确定的。我们测试的结果基准和自然图像,与其他几个模型的研究文献。我们进行大规模的人类评估实验,以评估结果的视觉质量。在第一实施方式中,我们使用吉布斯采样来近似后验。然而,该算法不适用于大规模数据。为了规避这一点,我们开发了一个在线变分贝叶斯(VB)算法。该算法在吉布斯采样器所需时间的一小部分内找到高质量的字典。
2012-09-22 cs.LG stat.ML
Anomaly detection in video with Bayesian nonparametrics
提出了一种新的动态贝叶斯非参数主题模型用于视频异常检测。批处理和在线吉布斯采样器的推理。本文介绍了一种新的决策异常测度。所提出的方法进行了评估合成和真实数据。与非动态模型的比较表明,所提出的动态异常检测的分类性能方面的优越性。
2016-06-27 stat.ML
Bayesian Nonparametrics in Topic Modeling: A Brief Tutorial
在贝叶斯分层建模中,越来越多地探索使用非参数方法作为增加模型灵活性的一种方式。虽然该领域显示出很大的希望,但许多模型(包括层次狄利克雷过程(HDP))中的推理仍然非常缓慢。一个有前途的路径是利用印度自助过程(IBP)中固有的子模块性,在多项式时间内获得接近最优的解决方案。在这项工作中,我将提出一个关于贝叶斯非参数方法的简短教程,特别是当它们应用于主题建模时。我将展示不同的非参数模型和当前最先进的参数模型,潜在狄利克雷分配(LDA)之间的比较。
2015-01-16 stat.ML
A Metalearned Neural Circuit for Nonparametric Bayesian Inference
Princeton University(普林斯顿大学)
提出从非参数贝叶斯模型提取归纳偏置并转移至人工神经网络的方法,通过元学习序列模型实现开放类别集合上的快速序列推断,性能优于粒子滤波器等基线方法。
2023-11-24 cs.LG cs.NE stat.ML
A Tutorial on Bayesian Nonparametric Models
统计建模中的一个关键问题是模型选择,即如何在适当的复杂程度上选择模型。这个问题出现在许多设置中,最突出的是在混合模型中选择聚类数或因子分析中选择因子数。在本教程中,我们将描述贝叶斯非参数方法,这是一类通过允许数据确定模型复杂性来回避这个问题的方法。本教程是对贝叶斯非参数方法的高级介绍,并包含其应用的几个示例。
2011-08-04 stat.ME stat.ML
A Kernel Approach to Tractable Bayesian Nonparametrics
流行的非参数贝叶斯模型中的推断通常依赖于采样或其他近似。本文提出了一个一般的方法来构造新的易处理的非参数贝叶斯方法,通过应用核技巧的推断参数贝叶斯模型。例如,可以从贝叶斯线性回归以这种方式导出高斯过程回归。尽管高斯过程框架取得了成功,但在贝叶斯文献中很少明确考虑内核技巧。在本文中,我们的目标是填补这一空白,并展示了在更广泛的背景下,而不仅仅是回归,将内核技巧应用于易于处理的贝叶斯参数模型的潜力。作为一个例子,我们提出了一个直观的贝叶斯核机的密度估计,是通过应用核技巧高斯生成模型在特征空间。
2011-08-12 stat.ME stat.ML
Quasi-Bayesian Nonparametric Density Estimation via Autoregressive Predictive Updates
University of Oxford(牛津大学);Novo Nordisk(诺和诺德);University College London(伦敦大学学院)
贝叶斯方法是一种流行的选择,统计推断在小数据制度,由于正则化效应引起的先验。在密度估计的背景下,标准的非参数贝叶斯方法是针对Dirichlet过程混合模型的后验预测。通常,后验预测的直接估计是棘手的,因此方法通常求助于近似后验分布作为中间步骤。然而,最近发展的准贝叶斯预测copula更新,使得有可能进行易于处理的预测密度估计,而不需要后验近似。虽然这些估计在计算上是有吸引力的,但它们往往在非光滑数据分布上挣扎。这是由于提出的copula更新所依据的似然模型的相对限制性形式。为了解决这个问题,我们考虑了一个贝叶斯非参数模型与自回归似然分解和高斯过程先验。虽然这样的模型的预测更新通常是棘手的,我们得到一个准贝叶斯预测更新,实现国家的最先进的结果在小数据制度。
2023-02-18 cs.LG stat.ME stat.ML
Nonparametric Bayesian label prediction on a graph
一个非参数贝叶斯方法来解决图上的二进制分类问题的实现。被认为是一个随机缩放高斯先验的分层贝叶斯方法。先验使用图拉普拉斯算子来考虑图的底层几何形状。提出了一种基于理论上最优先验的方法和一种更灵活的利用部分共轭的方法。两个模拟数据的例子和两个例子,使用真实数据,以说明所提出的方法。
2017-06-15 stat.CO stat.ML
Bayesian nonparametric statistics, St-Flour lecture notes
本文为2023年圣弗卢尔暑期学校讲义,系统介绍贝叶斯非参数统计的理论与方法。
2024-02-26 math.ST stat.TH
Nonparametric Bayesian label prediction on a large graph using truncated Laplacian regularization
本文描述了一个非参数贝叶斯方法来解决图上的二进制分类问题的实现。我们考虑一个分层贝叶斯方法与前,通过截断一系列扩展的软标签函数使用图形拉普拉斯特征函数作为基函数。我们比较我们的截断之前的未截断的拉普拉斯算子为基础的模拟和真实数据的例子,以说明改进的可扩展性方面的基础图形的大小。
2018-04-13 stat.CO stat.ML
A Bayesian nonparametric test for conditional independence
本文介绍了一种贝叶斯非参数方法,用于量化数据集中的相对证据,以支持两个变量在第三个变量条件下的依赖或独立。该方法使用Polya树先验空间的条件概率密度,占不确定性的形式的基本分布的非参数的方式。贝叶斯观点提供了条件依赖性或独立性的固有对称概率测度,这是在因果发现中特别有利的特征,并且在这种类型的现有程序中没有采用。
2020-07-16 stat.CO stat.ME stat.ML
System identification using Bayesian neural networks with nonparametric noise models
系统辨识在科学和工程中具有特殊的意义。本文研究随机动态系统中的系统辨识问题,其目的是估计系统的参数及其未知噪声过程。特别是,我们提出了一个贝叶斯非参数方法的系统识别离散时间非线性随机动力系统假设只有马尔可夫过程的顺序是已知的。该方法取代了高斯分布的误差分量的假设与一个高度灵活的家庭的概率密度函数的基础上贝叶斯非参数先验。此外,利用贝叶斯神经网络估计系统的函数形式,这也导致灵活的不确定性量化。在隐层神经元个数上,该模型渐近收敛于完全非参数贝叶斯回归模型。提出了一种用于后验推理的Gibbs采样器,并在模拟和真实时间序列上说明了其有效性。
2022-01-25 stat.ME stat.ML
Nonparametric Bayesian methods for one-dimensional diffusion models
在本文中,我们回顾了最近发展的一维扩散模型的非参数贝叶斯推断方法。我们讨论了不同的可能的先验分布,计算问题,和渐近结果。
2013-03-04 stat.ME
Inferring Hierarchical Mixture Structures: A Bayesian Nonparametric Approach
Insight Centre for Data Analytics(洞察数据分析中心);University College Dublin(都柏林大学);Maynooth University(梅努斯大学)
本文主要研究数据集的层次非重叠聚类问题。在这样的聚类中,每个数据项与恰好一个叶节点相关联,并且每个内部节点与存储在其下的子树中的所有数据项相关联,使得层次结构的每个级别对应于数据集的分区。提出了一种新的贝叶斯非参数方法,该方法结合了嵌套中餐厅过程(nCRP)和分层狄利克雷过程(HDP)。与其他现有的贝叶斯方法相比,我们的解决方案处理的数据与复杂的潜在的混合特征,以前没有在文献中探索。我们讨论的模型和推理过程的细节。此外,在三个数据集上的实验表明,与现有的算法相比,我们的方法取得了坚实的经验结果。
2021-05-25 cs.AI cs.LG stat.ML
Bayesian nonparametric image segmentation using a generalized Swendsen-Wang algorithm
无监督图像分割的目的是将图像的像素集合聚类成空间上均匀的区域。我们在这里介绍了一类贝叶斯非参数模型来解决这个问题。这些模型是基于一个组合的一个Potts样的空间平滑组件和一个用于控制集群的数量和大小的分区的先验。这类模型足够灵活,可以包括标准的Potts模型和最近的Potts-Dirichlet过程模型\cite{Orbanz2008}。更重要的是,可以引入任何关于分区的先验来控制全局聚类结构,以便在必要时可以惩罚小的或大的聚类。贝叶斯计算使用原来的广义Swendsen-Wang算法。实验表明,我们的方法是有竞争力的RAND\指数相比,流行的图像分割方法,如均值漂移,和最近的替代贝叶斯非参数模型。
2016-02-09 stat.ML
Comparing Nonparametric Bayesian Tree Priors for Clonal Reconstruction of Tumors
University of Toronto(多伦多大学)
统计机器学习方法,特别是非参数贝叶斯方法,已经变得越来越流行,以推断肿瘤的克隆群体结构。在这里,我们描述了treeCRP,中国餐馆过程(CRP),一个流行的建设中使用的非参数混合模型的扩展,以推断癌细胞的人口中所代表的主要亚克隆谱系的遗传和基因型。我们还提出了新的分裂合并更新量身定制的亚克隆重建问题,提高混合时间的马尔可夫链。与PhyloSub中使用的树结构棒断裂之前相比,我们使用treeCRP与我们新的拆分-合并程序展示了优越的混合和运行时间。我们还表明,给定相同数量的样本,TSSB和treeCRP具有相似的恢复肿瘤亚克隆结构的能力。
2014-08-11 cs.LG q-bio.PE stat.ML
Max-Margin Nonparametric Latent Feature Models for Link Prediction
Tsinghua University(清华大学)
链接预测是统计网络分析中的一项基本任务。最近的进展已经取得了学习灵活的非参数贝叶斯潜在特征模型的链接预测。在本文中,我们提出了一个最大间距学习方法,这种非参数的潜在特征关系模型。我们的方法试图将最大间隔学习和贝叶斯非参数的思想结合起来,发现链接预测的潜在特征。它继承了非参数贝叶斯方法的先进性,以推断未知的潜在社会维度,而对于判别式链接预测,它采用最大余量学习原则,通过使用线性期望算子最小化铰链损失,而不处理高度非线性的链接似然函数。对于后验推理,我们开发了一个有效的随机变分推理算法截断平均场假设下。我们的方法可以扩展到具有数百万个实体和数千万个正链接的大规模真实网络。我们还提供了一个完整的贝叶斯公式,可以避免调整正则化超参数。在不同的真实数据集上的实验结果表明了最大间隔学习和贝叶斯非参数推理的优点。
2016-02-24 cs.LG cs.SI stat.ME
The nested Chinese restaurant process and Bayesian nonparametric inference of topic hierarchies
我们提出了嵌套中国餐馆过程(nCRP),一个随机过程,分配概率分布的无限深,无限分支的树。我们展示了如何这个随机过程可以被用来作为一个先验分布的贝叶斯非参数模型的文档集合。具体来说,我们提出了一个应用程序的信息检索中,文件被建模为路径下的随机树,优先附件动态的nCRP导致聚类的文件,根据共享的主题在多个层次的抽象。给定文档的语料库,后验推理算法找到树、主题和词到树的级别的分配上的后验分布的近似。我们证明了这种算法的科学摘要从几种期刊的集合。该模型体现了统计机器学习的一个最新趋势--使用贝叶斯非参数方法来推断灵活数据结构上的分布。
2009-08-27 stat.ML
Shrinkage priors for nonparametric Bayesian prediction of nonhomogeneous Poisson processes
研究强度函数未知的非齐次泊松过程模型的非参数贝叶斯估计和预测问题。我们提出了一类强度函数的非正常先验。非参数贝叶斯推理与核混合的基础上类不当的先验被证明是有用的,虽然不当的先验还没有被广泛用于非参数贝叶斯问题。与有限维独立泊松模型相应的几个定理对具有无限维参数空间的非齐次泊松过程模型也成立。在Kullback-Leibler损失下证明了基于不适当先验的贝叶斯估计和预测是可容许的。研究了基于先验信息的贝叶斯推理的数值方法。
2021-05-08 math.ST stat.TH
On Bayesian Nonparametric Continuous Time Series Models
本文是关于连续时间序列的贝叶斯非参数混合模型的一个注记。我们确定了这些模型的关键要求,然后确定有一个单一类型的模型,满足这一要求。事实证明,该模型在多个变点问题中是众所周知的。
2013-03-03 stat.ME
Low-Complexity Nonparametric Bayesian Online Prediction with Universal Guarantees
Amadeus SAS(艾玛迪斯公司);Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所)
我们提出了一种新的非参数在线预测的离散标签条件下的多变量连续功能。该预测器基于由具有随机选择的方向和递归贝叶斯分布的完整k-d树引起的特征空间离散化,其允许自动学习表征条件分布的最相关特征尺度。我们证明了它的逐点普适性,即,它实现了标准化的对数损失性能,其渐近地与给定特征的标签的真实条件熵一样好。处理第$n$个样本点的时间复杂度是相对于生成数据点的分布的概率的$O(\log n)$,而其他精确的非参数方法需要处理所有过去的观测。在具有挑战性的数据集上的实验表明,与标准和最先进的方法相比,我们的算法的计算和统计效率。
2020-01-31 cs.IT cs.LG math.IT
Comment on "Bayesian Nonparametric Inference - Why and How" by Mueller and Mitra
由于其极大的灵活性,非参数贝叶斯方法已被证明是一个有价值的工具,发现数据中的复杂模式。术语“非参数贝叶斯”表明,这些方法继承了经典非参数方法的无模型操作特性,以及贝叶斯程序提供的一致不确定性评估。然而,正如作者在文章的结论中所说,非参数贝叶斯方法可能更适合描述为“大规模参数”。此外,我认为,许多默认的非参数贝叶斯程序只是贝叶斯在最弱意义上的术语,不能假设提供诚实的评估不确定性仅仅因为他们携带贝叶斯标签。无论这些程序多么有用,我们都应该谨慎地宣传默认的非参数贝叶斯程序,因为它们要么是“无假设”的,要么是对我们的不确定性的描述。如果我们希望我们的非参数贝叶斯过程具有贝叶斯解释,我们应该修改默认的NP贝叶斯方法以适应真实的先验信息,或者至少仔细评估超参数对感兴趣的后验量的影响。
2013-04-12 stat.ME
SPDE Methods for Nonparametric Bayesian Posterior Contraction and Laplace Approximation
Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心)
本文通过扩展Mou等人的扩散框架,推导了非参数贝叶斯模型的后验收缩率和有限样本伯恩斯坦-冯-米塞斯结果,并在希尔伯特空间上建立了拉普拉斯近似理论。
2026-03-23 cs.LG math.ST stat.ML
Discussion of "Frequentist coverage of adaptive nonparametric Bayesian credible sets"
Szabó,van der Vaart和van Zanten的“自适应非参数贝叶斯可信集的频率覆盖”讨论[arXiv:1310.4489v5]。
2015-09-07 math.ST stat.TH
Discussion of "Frequentist coverage of adaptive nonparametric Bayesian credible sets"
Szabó,van der Vaart和van Zanten的“自适应非参数贝叶斯可信集的频率覆盖”讨论[arXiv:1310.4489v5]。
2015-09-07 math.ST stat.TH
Discussion of "Frequentist coverage of adaptive nonparametric Bayesian credible sets"
Szabó,van der Vaart和van Zanten的“自适应非参数贝叶斯可信集的频率覆盖”讨论[arXiv:1310.4489v5]。
2015-09-07 math.ST stat.TH
Discussion of "Frequentist coverage of adaptive nonparametric Bayesian credible sets"
Szabó,van der Vaart和van Zanten的“自适应非参数贝叶斯可信集的频率覆盖”讨论[arXiv:1310.4489v5]。
2015-09-07 math.ST stat.TH
Discussion of "Frequentist coverage of adaptive nonparametric Bayesian credible sets"
Szabó,van der Vaart和van Zanten的“自适应非参数贝叶斯可信集的频率覆盖”讨论[arXiv:1310.4489v5]。
2015-09-07 math.ST stat.TH
Bayesian nonparametric analysis for a species sampling model with finitely many types
本文对Gnedin(2009)提出的一类具有多种Gibbs形式的种群抽样模型进行了显式贝叶斯非参数分析,该模型具有$α= -1$型.我们的结果补充了Lijoi等人(2008)提出的$α\in [0, 1)$型Gibbs先验下的现有分析。计算依赖于Cerquetti(2008)中引入的Gibbs分区的组顺序构造。
2010-01-01 math.PR math.ST stat.TH
On some Bayesian nonparametric estimators for species richness under two-parameter Poisson-Dirichlet priors
我们提出了一种替代方法的贝叶斯非参数分析条件下的物种丰富度的两个参数泊松Dirichlet先验。我们依赖于一个已知的特征删除类属性和Beta-二项分布的结果。除了导致简化和更直接的证明,我们的建议提供了一个新的规模混合表示的条件渐近律。
2010-02-02 math.PR math.ST stat.TH
Bayesian nonparametrics for stochastic epidemic models
绝大多数传染病传播的模型本质上是参数化的,涉及关于疾病如何在人群中传播的基本假设。在这篇文章中,我们考虑使用贝叶斯非参数方法来分析疾病暴发的数据。具体来说,我们专注于简单模型的假设下,这个过程具有显式的时间依赖性的感染过程的估计方法。
2017-06-09 stat.AP stat.CO stat.ME
Combining Random Walks and Nonparametric Bayesian Topic Model for Community Detection
几十年来,社区检测一直是一个活跃的研究领域。在所有的概率模型中,随机块模型一直是最流行的一种。提出了一种基于随机游动和分层Dirichlet过程的社区抽取概率模型RW-HDP。在RW-HDP中,在社交网络中进行的随机游动被视为文档;节点被视为单词。通过使用分层狄利克雷过程,一个非参数贝叶斯模型,我们不仅能够聚类节点到不同的社区,而且可以自动确定社区的数量。我们使用随机变分推断为我们的模型推理,这使得我们的方法的时间效率,可以很容易地扩展到一个在线学习算法。
2016-08-03 stat.AP stat.ML
Evaluating Sensitivity to the Stick-Breaking Prior in Bayesian Nonparametrics
基于狄利克雷过程和其他棒打破先验的贝叶斯模型已被提出作为聚类,主题建模和其他无监督学习任务的核心成分。然而,对于这些模型来说,事先说明相对困难,因为它们的灵活性意味着事先选择的后果往往相对不透明。此外,这些选择可能对后验推理产生重大影响。因此,鲁棒性的考虑需要与非参数建模齐头并进。在本文中,我们利用变分贝叶斯方法,除了在拟合复杂的非参数模型的计算优势,还产生灵敏度方面的贝叶斯模型的参数和非参数方面的事实来应对这一挑战。特别是,我们演示了如何评估的灵敏度的结论选择的浓度参数和棒断裂分布的Dirichlet过程的混合物和相关的混合物模型下的推断。我们提供了理论和经验支持,我们的变分方法贝叶斯敏感性分析。
2021-10-25 stat.CO stat.ME stat.ML
Marginally Constrained Nonparametric Bayesian Inference through Gaussian Processes
非参数贝叶斯模型通常用作复杂数据的灵活和强大的模型。很多时候,统计学家可能对感兴趣的数据分布有额外的信息信念,例如,它的均值或子集分量,不是非参数先验的一部分,甚至与非参数先验不相容。一个重要的挑战是将这种部分先验信念纳入非参数贝叶斯模型。在本文中,我们的动机设置从业者有额外的分布信息的一个子集的坐标的观测建模。我们的方法将这个问题与条件密度模型联系起来。我们的主要思想是一种新的约束贝叶斯模型,基于一个扰动的参数分布与变换高斯过程之前的扰动函数。我们还开发了相应的后验抽样方法的基础上的数据增强。我们说明了我们提出的约束非参数贝叶斯模型在各种现实世界的情况下,包括建模环境和地震数据的有效性。
2022-11-05 stat.CO stat.ME
Bayesian Nonparametric Density Estimation under Length Bias
一个密度估计方法在贝叶斯非参数框架下,当记录的数据不是直接来自感兴趣的分布,但从一个长度偏置的版本。从贝叶斯的角度来看,由于无法规避归一化常数的问题,有条件地对长度偏差数据进行计算评估后验量的努力受到了阻碍。在本文中,我们提出了一种新的贝叶斯非参数方法的长度偏差抽样问题,它绕过了归一化常数的问题。给出了数值例子和一个实际数据例子,并将该估计量与Jones(1991)的间接数据核密度估计量进行了比较。
2015-10-22 math.ST stat.TH
Rejoinder to discussions of "Frequentist coverage of adaptive nonparametric Bayesian credible sets"
对Szabó、van der Vaart和van Zanten的“自适应非参数贝叶斯可信集的频率主义覆盖”的反驳[arXiv:1310.4489v5]。
2015-09-07 math.ST stat.TH
Nonparametric Bayesian models of hierarchical structure in complex networks
分析和理解复杂关系数据的结构在许多应用中非常重要,包括分析人脑中的连通性。这样的网络在不同的尺度上可能有突出的模式,需要一个分层结构的模型。我们提出了两个非参数贝叶斯分层网络模型的吉布斯碎片树先验的基础上,并证明了他们的能力,捕捉嵌套模式在模拟网络。在真实的网络上,我们展示了层次结构的检测,并显示出与最先进水平相当的预测性能。我们设想,我们的方法可以用于探索性分析大规模复杂网络,例如模拟人脑连接。
2013-11-21 stat.ML
Streaming Variational Inference for Bayesian Nonparametric Mixture Models
理论上,贝叶斯非参数(BNP)模型非常适合流数据场景,因为它们能够根据观察到的数据调整模型复杂性。不幸的是,这些好处在实践中还没有完全实现;现有的推理算法要么不适用于流应用程序,要么不能扩展到BNP模型。对于Dirichlet过程的特殊情况,流推理被考虑.然而,越来越多的兴趣在更灵活的BNP模型上建立的类归一化随机措施(NRM)。我们在这个框架下工作,并提出了一个流变分推断算法的NRM混合模型。我们的算法是基于假设密度过滤(ADF),直接导致期望传播(EP)的大规模批量推理。我们证明了该算法在大型流文本语料库中对文档进行聚类的有效性。
2015-04-21 stat.ML
Beyond Whittle: Nonparametric correction of a parametric likelihood with a focus on Bayesian time series analysis
Whittle似然被广泛用于平稳时间序列谱密度的贝叶斯非参数估计。然而,非高斯时间序列的效率损失可能是相当大的。另一方面,如果模型被很好地指定,则参数方法更强大,但否则可能完全失败。因此,我们建议利用参数模型的效率,同时通过非参数修正来降低敏感性,对参数似然进行非参数修正。使用Bernstein-Dirichlet先验的非参数谱校正,我们显示后验的一致性,并说明我们的程序在模拟研究和LIGO引力波数据的性能。
2017-01-17 stat.ME
Bayesian Nonparametrics for Sparse Dynamic Networks
在本文中,我们提出了一个贝叶斯非参数方法来建模稀疏时变网络。一个正参数与网络的每个节点相关联,它模拟了该节点的社交性。社会性被认为是随着时间的推移而发展,并通过一个动态的点过程模型建模。该模型能够捕捉社会性的长期演变。此外,它产生稀疏图,其中边的数量随着节点的数量次二次增长。社会性的演变是由一个易处理的随时间变化的广义伽马过程。我们对模型提供了一些理论见解,并将其应用于三个数据集:模拟网络,Reddit上社区之间的超链接网络,以及9月11日袭击后路透社新闻文章中的词汇共现网络。
2022-04-14 stat.ML
Bayesian Nonparametric Model for Weighted Data Using Mixture of Burr XII Distributions
狄利克雷过程混合模型(DPMM)是一种流行的贝叶斯非参数模型。在本文中,我们将此模型应用于加权数据,然后使用梅特罗波利斯-黑斯廷斯算法从相应的加权分布估计未加权分布。然后,我们应用DPMM与不同的内核模拟和真实的数据集。特别是,我们在删失数据的存在下使用寿命数据,然后计算估计的密度和生存值。
2018-12-11 stat.CO stat.ME
Moment conditions and Bayesian nonparametrics
通过矩条件表达的模型是现代推理的核心。在这里,这些矩条件嵌入在非参数贝叶斯设置中。处理这样的模型在概率上并不简单,因为后验模型在流形上有支持。我们解决了相关问题,建立新的概率和计算工具,使用豪斯多夫措施来分析它们的真实和模拟数据。这些新方法涉及流形上的模拟,具有广泛的应用前景,包括对拟似然、线性和非线性回归、缺失数据和分层模型的贝叶斯分析。
2016-01-13 math.PR math.ST stat.AP
Rediscovery of Good-Turing estimators via Bayesian nonparametrics
估计发现概率的问题起源于统计生态学的背景下,近年来,它已成为流行的,由于其频繁出现在遗传学,生物信息学,语言学,实验设计,机器学习等具有挑战性的应用程序。一个全方位的统计方法,参数和非参数以及频率论和贝叶斯,已经提出了估计发现概率。在本文中,我们研究了著名的古德图灵方法,这是一个频率主义的非参数方法在20世纪40年代,最近在文献中介绍的贝叶斯非参数方法之间的关系。具体而言,假设两个参数的泊松-狄利克雷先验,我们证明了贝叶斯非参数估计的发现概率是渐近等价的,对于一个大的样本量,适当地平滑好图灵估计。作为这个结果的副产品,我们介绍和调查的方法来获得准确和渐近的可信区间与发现概率的贝叶斯非参数估计。所提出的方法是说明通过一个全面的模拟研究和分析所产生的表达序列标签数据的基准互补DNA文库测序。
2015-06-16 stat.ME
Nonparametric hierarchical Bayesian quantiles
在这里,我们开发了一种方法进行非参数贝叶斯推断的分位数。依靠几何测度理论和采用Hausdorff基测度,我们能够指定有意义的先验的分位数,而处理的数据分布,否则非参数。我们进一步扩展的方法,一个层次模型的分位数的亚群,仅通过他们的分位数连接在一起的子组。我们的方法是计算简单,允许审查和噪声数据。我们展示了模拟数据和应用问题,从体育统计,它被观察到稳定和改善推理和预测的建议的方法。
2016-05-11 stat.ME
Bayesian nonparametric estimation for Quantum Homodyne Tomography
我们估计的量子态的光束从量子零差层析噪声测量的结果进行了同样准备的量子系统。我们提出了两种贝叶斯非参数方法。第一种方法是基于混合模型,并通过仿真例子说明。第二种方法是基于随机基展开。我们研究了第二种方法的理论性能,通过量化的收缩率的后验分布周围的真正的量子态在$L^2$度量。
2016-10-06 math.ST stat.TH
Compound decisions and empirical Bayes via Bayesian nonparametrics
University of Chicago(芝加哥大学)
本文通过贝叶斯非参数方法研究高斯序列复合决策问题,证明基于狄利克雷过程的估计器可实现接近最优的懊悔界,并展示后验均值贝叶斯规则的可接受性。
2026-09-10 econ.EM math.ST stat.ME
Bayesian-based deconvolution fluorescence microscopy using dynamically updated nonparametric nonstationary expectation estimates
荧光显微镜广泛用于生物样品的研究。去卷积可以显着提高使用荧光显微镜产生的图像的分辨率和对比度;特别是,基于贝叶斯的方法在去卷积荧光显微镜中已经变得非常流行。基于贝叶斯的方法的持续挑战是在处理低SNR成像条件下的噪声的存在。在这项研究中,我们提出了一种基于贝叶斯的方法进行反卷积使用动态更新的非参数非平稳期望估计,可以提高荧光显微镜图像质量的噪声存在下,没有明确使用的空间正则化。
2015-02-03 stat.AP stat.ME