Stick-breaking Pitman-Yor processes given the species sampling size
随机离散分布，比如$F,$，被称为物种抽样模型，代表了贝叶斯统计和机器学习中用于分类和聚类的丰富模型。它们也出现在概率及其应用的各个领域。吉姆皮特曼，在物种抽样的背景下，表明混合泊松过程可以解释为样本大小，直到一个给定的时间或在等待时间的个人出现进行分类。他注意到与贝叶斯统计/机器学习文献中最近的一些工作的联系，以及一些更经典的结果。设$F:=F_{α,θ},$是$α\in (0,1),$和$θ>-α,$的Pitman-Yor过程，$α$ -多样性与$S^{-α}_{α,θ},$的分布等价，$(N_{S_{α,θ}}(λ),λ\ge 0)$表示具有速率$S_{α,θ}.$的混合Poisson过程。本文给出了$N_{S_{α,θ}}(λ)=m.$下$F_{α,θ}$的显式破棒表示。更精确地说，如果$(P_{\ell})\sim \mathrm{PD}(α,θ)$表示服从两参数Poisson-Dirichlet分布的秩序列，我们得到明确表示的大小偏置置换的$(P_{\ell})|N_{S_{α,θ}}(λ)=m.$由于分布的结果，我们将开发在一个更一般的上下文中，它足以考虑稳定的情况下$F_{α,0}|N_{S_α}(λ)=m.$值得注意的是，它遵循$F_{α,0}|N_{S_α}(λ)=0,$是等效的流行的归一化广义伽玛过程的分布。因此，我们得到明确的棒断裂表示广义伽玛类作为一种特殊…
2019-08-20 math.ST stat.TH
Pitman-Yor Diffusion Trees
我们引入Pitman Yor扩散树（PYDT）用于层次聚类，这是Dirichlet扩散树（Neal，2001）的推广，它消除了对二进制分支结构的限制。生成过程中描述和示出的结果在数据点的可交换的分布。我们证明了模型的一些理论性质，然后提出了两种推理方法：一个崩溃的MCMC采样器，使我们能够对树结构的不确定性建模，和一个计算效率高的贪婪贝叶斯EM搜索算法。这两种算法都在树结构上使用消息传递。该模型和算法的实用性证明合成和真实世界的数据，连续和二进制。
2011-06-16 stat.ML
Nonparametric Bayesian Topic Modelling with the Hierarchical Pitman-Yor Processes
The Australian National University（澳大利亚国立大学）；Data61/NICTA；Monash University（莫纳什大学）；Duke University（杜克大学）
Dirichlet过程及其扩展Pitman-Yor过程是以概率分布为参数的随机过程。这些过程可以堆叠起来形成分层非参数贝叶斯模型。在这篇文章中，我们提出了有效的方法来使用这些过程在这个层次的背景下，并将其应用到文本分析的潜变量模型。特别是，我们提出了一个通用的框架来设计这些贝叶斯模型，这被称为主题模型在计算机科学界。然后，我们提出了一个特定的非参数贝叶斯主题模型从社交媒体的文本建模。我们在这篇文章中关注tweets（Twitter上的帖子），因为它们易于访问。我们发现，我们的非参数模型比现有的参数模型在拟合优度和现实世界中的应用。
2016-09-22 cs.CL cs.LG stat.ML
Large-scale entity resolution via microclustering Ewens--Pitman random partitions
针对大规模实体解析，本文提出强度参数随样本量线性缩放的微聚类 Ewens–Pitman 随机划分模型，并结合 Pitman–Yor 过程设计高效变分推断，在保持竞争力性能的同时较现有贝叶斯方法提速三个数量级。
2025-07-24 math.ST stat.CO stat.ME
Are Gibbs-type priors the most natural generalization of the Dirichlet process?
离散随机概率测度及其引入的可交换随机划分是解决贝叶斯推理中各种估计和预测问题的关键工具。事实上，许多流行的非参数先验，如Dirichlet和Pitman-Yor过程先验，几乎肯定会选择离散的概率分布，因此，自动诱导可交换的随机分区。在这里，我们专注于家庭吉布斯型先验，最近和优雅的推广狄利克雷和皮特曼-约尔过程先验。这些随机概率测度共享从理论和应用的观点都吸引人的属性：（i）它们承认在它们的预测结构方面的直观表征，证明它们在学习机制上的精确假设方面的使用是合理的;（ii）它们在数学易处理性方面突出;（iii）除了Dirichlet过程和Pitman-Yor过程外，它们还包括几个有趣的特例。我们的论文的目标是提供一个系统和统一的吉布斯型先验的治疗，并强调其影响贝叶斯非参数推断。我们将处理其分布特性，由此产生的估计，频率渐近验证和建设的时间依赖的版本。应用程序，主要涉及分层混合模型和物种抽样，将有助于传达的主要思想。这类先验所固有的直觉和由此推导出的简洁结果使人们怀疑它是否真的代表了狄利克雷过程的最自然的推广。
2015-02-28 math.ST stat.ME stat.TH
An Alternative Prior Process for Nonparametric Bayesian Clustering
先验分布在贝叶斯聚类方法中起着至关重要的作用。两种常用的先验分布是Dirichlet和Pitman-Yor过程。在本文中，我们研究了这些过程背后的预测概率，以及由此产生的分区的隐含“富-越来越富”特征。我们探讨了一种替代的非参数贝叶斯聚类的先验-统一的过程-应用程序中的“富-更富”的属性是不可取的。我们还探讨了这一过程的成本：分区不再是可交换的变量的顺序。我们提出了新的渐近和模拟为基础的结果的聚类特性的统一过程，并比较这些与已知的结果的Dirichlet和Pitman-Yor过程。我们比较了一个真正的文档聚类任务的性能，证明了统一的过程中，尽管它缺乏交换的订单的实际优势。
2010-10-15 math.ST stat.ME stat.TH
Markov Stick-breaking Processes
Bocconi University（博科尼大学）；IIMAS, UNAM（墨西哥国立自治大学数学与物理科学研究所）
本文提出马尔可夫碎裂过程，探讨其性质和应用，揭示其在贝叶斯非参数模型中的重要性。
2026-01-23 math.ST stat.TH
Bayesian mixture models (in)consistency for the number of clusters
本文研究了贝叶斯非参数混合模型在真实成分数量有限时的聚类数量后验不一致性问题，将已有结论扩展至Gibbs型过程及其有限维表示，并提出一种可推广的后处理算法以实现一致的成分数量估计。
2024-05-30 math.ST stat.TH
A New Representation of Ewens-Pitman's Partition Structure and Its Characterization via Riordan Array Sums
本文将Ewens-Pitman划分结构视为Kingman图上的非极端调和函数，利用Sheffer多项式序列给出其新显式表示，并通过Riordan阵列加权行和计算边缘分布，简化了统计量计算。
2025-03-06 math.CO stat.ME
Limit Theorems for the Pitman-Yor Frequency Spectrum
研究推导通用分布公式用于皮特曼 - 约尔频谱线性组合，分析两参数抽样模型得到特定形式和的渐近分布，暗示可能的泛函极限定理及与随机结构极限形状等的联系。
2026-07-28 math.PR math.ST stat.ME
Hierarchical Species Sampling Models
本文介绍了一类一般的递阶非参数先验分布。随机概率测度是由一系列可能具有非扩散基测度的广义物种抽样过程构成的。所提出的框架提供了一个一般的概率基础分层随机措施与原子或混合基措施，并允许研究其属性，如分布的边缘和集群总数。我们证明了分层物种抽样模型具有中国餐馆特许经营的代表性，并可以作为先验分布进行贝叶斯非参数推断。给出了从后验分布中抽样的方法，并给出了数值例子。我们的先验类包括一些新的分层混合先验，如分层Gnedin措施，和其他著名的先验分布，如分层Pitman-Yor和分层归一化随机措施。
2018-03-15 math.ST stat.ME stat.TH
Power-Law Graph Cuts
The Ohio State University（俄亥俄州立大学）
基于谱图切割目标的算法，如归一化切割，比率切割和比率关联，近年来已经变得流行，因为它们具有广泛的适用性和简单的实现通过标准的特征向量计算。尽管一些聚类任务的性能很强，谱图切割算法仍然受到几个限制：首先，它们需要预先知道聚类的数量，但这些信息通常是先验未知的;其次，它们倾向于产生具有统一大小的聚类。在某些情况下，真正的集群表现出已知的大小分布;例如，在图像分割中，人类分割的图像往往会产生遵循幂律分布的片段大小。在本文中，我们提出了一个一般框架的幂律图切割算法，产生的集群的大小是幂律分布，也不固定的集群的数量。为了实现我们的目标，我们把Pitman-Yor可交换分区概率函数（EPPF）作为一个正则化图形切割目标。由于由此产生的目标不能通过放松特征向量来解决，我们推导出一个简单的迭代算法来局部优化目标。此外，我们表明，我们提出的算法可以被视为执行MAP推理一个特定的Pitman-Yor混合模型。我们在各种数据集上的实验表明了我们算法的有效性。
2014-11-25 cs.CV cs.LG stat.ML
Time-partitioning Gaussian Process Mixture Model
Insper Institute of Education and Research（Insper教育与研究院）
本研究提出TPGPMM模型，用于识别时间序列的持续状态并建模非平稳依赖，通过贝叶斯非参数方法实现，在应用于金融数据时可识别与重大事件对齐的状态，且存在可解释性与预测准确性的权衡。
2026-10-19 cs.LG stat.ML
Gaussian credible intervals in Bayesian nonparametric estimation of the unseen
University of Pavia（帕维亚大学）；University of Torino（都灵大学）；Collegio Carlo Alberto（卡洛阿尔贝托学院）
本文针对未见物种问题，提出基于Pitman-Yor先验的贝叶斯非参数方法，利用高斯中心极限定理推导大样本渐近可信区间，支持完全参数化且无需Monte Carlo采样，提升了计算效率与实证表现。
2025-01-27 cs.LG stat.ME stat.ML
Marginals of multivariate Gibbs distributions with applications in Bayesian species sampling
Gibbs划分模型是推广两参数Poisson-Dirichlet族的概率函数乘积形式的最大一类正整数的无限可交换划分。最近，这些模型已被调查的贝叶斯非参数方法的物种抽样问题的替代品的狄利克雷和Pitman-Yor过程先验。在这里，我们推导出的条件和无条件的多元分布的边际所产生的可交换吉布斯分区，以获得显式的联合下降阶乘矩相应的条件和无条件吉布斯抽样公式。我们的证明依赖于一个已知的非独立指标和的阶乘矩的结果。我们提供了一个应用贝叶斯非参数估计的预测概率，观察一个物种已经观察了一定的次数。
2012-08-09 math.PR math.ST stat.TH
Bayesian nonparametric estimation of Tsallis diversity indices under Gnedin-Pitman priors
Tsallis熵是Patil和Taillie（1982）首次提出的广义多样性指数，随后由Keylock（2005）在群落生态学中重新发现。贝叶斯非参数估计的香农熵和辛普森的多样性下均匀和对称的Dirichlet先验已经提倡作为一种替代极大似然估计的基础上的频率计数，这是负偏的欠采样制度。在这里，我们提出了一个完全通用的贝叶斯非参数估计下Gnedin-Pitman先验，一个大家庭的随机离散分布最近深入研究的后验预测物种丰富度和发现概率估计Tsallis多样性指数的整个类。我们提供先验和后验分析。通过实例和实际数据集的应用表明，该方法易于实现，灵活，克服了以前的频率论和贝叶斯解决方案的局限性。
2014-11-25 math.ST stat.ME stat.TH
Flexible Models for Microclustering with Application to Entity Resolution
大多数生成式聚类模型都隐含地假设每个聚类中的数据点数量随着数据点的总数线性增长。有限混合模型，狄利克雷过程混合模型，和Pitman-Yor过程混合模型做这个假设，因为所有其他的无限可交换集群模型。然而，对于某些应用程序，这种假设是不合适的。例如，当执行实体解析时，每个聚类的大小应该与数据集的大小无关，并且每个聚类应该包含数据点总数的可忽略部分。这些应用程序需要模型产生的集群的大小增长与数据集的大小呈次线性。我们通过定义微聚类属性并引入一类新的模型来满足这一要求。我们比较模型在这一类两个常用的聚类模型，使用四个实体分辨率的数据集。
2016-10-31 math.ST stat.AP stat.ME
Fast Generation of Exchangeable Sequence of Clusters Data
随机分区的贝叶斯模型的最新进展导致了可交换簇序列（ESC）模型的制定和探索。在ESC模型下，可交换的是簇的大小，而不是观测值本身。此属性对于获得微聚类行为特别有用，其中聚类大小在观察数量中呈次线性增长，这在记录链接，稀疏网络和基因组学等应用中很常见。不幸的是，可交换团簇的性质是以投射性为代价的。因此，与更传统的Dirichlet过程或Pitman-Yor过程混合模型相比，ESC模型的先验样本不能以顺序的方式容易地获得，而是需要使用拒绝或重要性采样。在这项工作中，利用ESC模型和离散更新理论之间的联系，我们获得了某些ESC模型的封闭形式的表达式，并开发了更快的方法，从这些模型的先验生成样本相比，现有的最先进的。在这个过程中，我们建立了分析表达式ESC模型下的集群数量的分布，这是未知的这项工作之前。
2022-09-06 math.ST stat.TH
Posterior distributions of Gibbs-type priors
针对Gibbs型先验通用类后验分布未知的问题，本文利用其独有Gibbs性质提出新颖证明方法，给出该类先验的后验分布描述，并通过多个具体案例验证说明。
2023-08-28 math.PR math.ST stat.TH
Gibbs-type Indian buffet processes
我们研究了一类特征分配模型，推广了印度自助餐过程和参数化吉布斯型随机措施。两个现有的类包含作为特殊情况：原来的两个参数的印度自助过程，对应于Dirichlet过程，和稳定的（或三个参数）印度自助过程，对应于Pitman-Yor过程。吉布斯型分区的渐近行为，如幂律保持的潜在集群的数量，转化为这类吉布斯型特征分配模型的类似特征。尽管包含几个不同的不同子类，吉布斯型分区的属性允许我们开发一个黑盒程序的模型的任何子类内的后验推理。通过数值实验，我们比较和对比这些子类中的几个，并突出不同的幂律行为的潜在功能的效用。
2019-11-10 stat.ML
Centered Partition Process: Informative Priors for Clustering
有非常丰富的文献提出了贝叶斯方法的聚类分区上的先验概率分布开始。大多数方法假设交换性，导致可交换分区概率函数（EPPF）方面的简单表示。吉布斯型先验包含了广泛的一类这样的情况下，包括狄利克雷和Pitman-Yor过程。即使有一些建议，以放宽交换假设，允许协变量依赖和部分交换，有限的考虑已给予如何包括具体的先验知识的分区。例如，我们的动机是流行病学的应用，我们希望将出生缺陷聚类成组，我们有专家提供的初始聚类的先验知识。作为一个通用的方法，包括这样的先验知识，我们提出了一个中心分区（CP）的过程，修改EPPF有利于分区接近初始的。CP先验的一些属性进行了描述，后验计算的一般算法的开发，我们说明了通过模拟的例子和应用程序的激励出生缺陷的流行病学研究的方法。
2019-01-29 stat.AP stat.ME
Microclustering: When the Cluster Sizes Grow Sublinearly with the Size of the Data Set
大多数生成式聚类模型都隐含地假设每个聚类中的数据点数量随着数据点的总数线性增长。有限混合模型，狄利克雷过程混合模型，和Pitman-Yor过程混合模型做这个假设，因为所有其他的无限可交换集群模型。然而，对于某些任务，这种假设是不可取的。例如，当执行实体解析时，每个聚类的大小通常与数据集的大小无关。因此，每个聚类包含的数据点总数的一小部分可以忽略不计。因此，这样的任务需要模型，产生集群的大小增长与数据集的大小呈次线性。我们通过定义\emph{microclustering property}并引入一个新的模型来满足这一要求。我们比较这个模型，几个常用的聚类模型，通过检查模型拟合使用真实和模拟数据集。
2015-12-02 stat.AP stat.CO stat.ME
A marginal sampler for $σ$-Stable Poisson-Kingman mixture models
在贝叶斯非参数混合模型的背景下，研究了一类$σ$稳定的Poisson-Kingman随机概率测度（RPM）.这是一个大类的离散RPM，其中包括大多数流行的离散RPM中使用的贝叶斯非参数，如Dirichlet过程，Pitman-Yor过程，归一化逆高斯过程和归一化广义Gamma过程。我们展示了如何某些采样特性和边缘特性的$σ$稳定的泊松-金曼RPM可以有效地利用设计一个马尔可夫链蒙特卡罗（MCMC）算法进行推断贝叶斯非参数混合建模。具体来说，我们引入了一种新的和有效的MCMC采样方案在增广空间，有一个固定数量的辅助变量每次迭代。我们应用我们的抽样方案的密度估计和聚类任务的一维和多维数据集，我们比较它对竞争的抽样方案。
2015-09-24 stat.CO stat.ML
Infinite Mixtures of Infinite Factor Analysers
因子分析高斯混合模型通常被用作基于模型的方法来聚类高维数据。通常，聚类和潜在因子的数量必须在模型拟合之前指定，并且保持固定。然后选择优化某些模型选择标准的对。由于计算的原因，很少考虑潜在因子的数量在聚类中不同的模型。在这里，无限混合的无限因子分析（IMIFA）模型的介绍。IMIFA采用Pitman-Yor过程之前，促进自动推断的集群数量使用的棒打破建设和切片采样器。此外，IMIFA采用乘法伽马过程收缩先验，允许集群特定数量的因素，通过自适应吉布斯采样器自动推断。IMIFA是一系列因子分析混合模型的旗舰，提供了灵活的方法来聚类高维数据。应用程序的基准数据集，代谢谱数据，和流形学习手写数字的例子说明了IMIFA模型和它的优点。这些包括消除对模型选择标准的需要，减少与模型空间的搜索相关联的计算负担，通过允许特定于集群的因子数量来提高集群性能，以及量化集群和特定于集群的因子数量中的不确定性。
2021-07-13 stat.ME
Bayesian Nonparametric Inference for "Species-sampling" Problems
本文在Pitman-Yor过程先验下综述了物种抽样问题的贝叶斯非参数分析，通过复合二项分布和超几何分布改进后验推断，并揭示了折扣参数可一致估计而尺度参数不可一致估计的性质。
2024-04-29 math.ST stat.TH
Mixture Gaussian Process Conditional Heteroscedasticity
Imperial College London（帝国理工学院）；Cyprus University of Technology（塞浦路斯理工大学）
广义自回归条件异方差（GARCH）模型一直被认为是最成功的金融收益率波动建模方法之一。在本文中，我们提出了一种替代方法的基础上广泛使用的统计机器学习领域的方法。具体来说，我们提出了一种新的非参数贝叶斯混合高斯过程回归模型，其中每个组件模型的噪声方差过程，污染的观测数据作为一个单独的潜在的高斯过程驱动的观测数据。这样，我们基本上得到了一个混合高斯过程条件异方差（MGPCH）模型的金融收益率波动建模。我们施加一个非参数先验与幂律性质的模型混合物成分的分布，即Pitman-Yor过程之前，允许更好地捕捉建模的数据分布与重尾和偏度。最后，我们提供了一种基于copula的方法，用于获得通过假设MGPCH模型建模的资产收益协方差的预测后验。我们评估了我们的方法在一些基准场景中的有效性，并将其性能与最先进的方法进行比较。
2013-01-25 cs.LG stat.ML
A Bayesian Nonparametric Approach to Species Sampling Problems with Ordering
本文提出一种针对物种标签有序的物种抽样问题的贝叶斯非参数方法，利用有序Pitman-Yor过程先验推导前$r$个有序频率的显式后验分布，并在遗传变异分析中验证其有效性。
2024-02-12 stat.ME
A Menu-Driven Software Package of Bayesian Nonparametric (and Parametric) Mixed Models for Regression Analysis and Density Estimation
大多数应用统计学涉及数据的回归分析。本文介绍了一个独立的和菜单驱动的软件包，贝叶斯回归：非参数和参数模型。目前，该软件包为用户提供了83个贝叶斯模型的选择，用于数据分析。它们包括47个贝叶斯非参数（BNP）无限混合回归模型; 5个用于密度估计的BNP无限混合模型;以及31个正态随机效应模型（HLM），包括正态线性模型。78个回归模型中的每一个都处理连续、二元或有序因变量，并且可以处理多水平（分组）数据。所有83个贝叶斯模型都可以处理加权观测的分析（例如，对于荟萃分析），以及左删失、右删失和/或区间删失数据的分析。每个BNP无限混合模型具有分配了各种BNP先验分布之一的混合分布，包括由Dirichlet过程、Pitman-Yor过程（包括归一化稳定过程）、beta（双参数）过程、归一化逆高斯过程、几何权重先验、相关Dirichlet过程或相关无限概率先验定义的先验。软件用户可以点击鼠标选择贝叶斯模型，并通过马尔可夫链蒙特卡罗（MCMC）抽样进行数据分析。采样完成后，软件自动打开文本输出，报告模型后验分布的基于MCMC的估计值和模型对数据的预测拟合。通过鼠标单击其他菜单选项可以生成其他文本和/或图形输出。这包括MCMC收敛分析的输出，以及选定泛函和协变量值的模型后验预测分布的估计。用MATLAB语言编制了BNP回归分析软件，并对实际数据进行了BNP回归分析。
2015-07-14 stat.CO
Dynamic density estimation with diffusive Dirichlet mixtures
在连续变密度空间上引入一类新的非参数先验分布，它是由随时间扩散的Dirichlet过程混合物引起的。这些选择时间索引的随机函数没有跳跃，其部分是连续或离散分布取决于内核的选择。该构造利用了Dirichlet过程的广泛使用的棒断裂表示，并通过用一维Wright-Fisher扩散替换棒断裂分量来诱导时间依赖性。这些功能相结合的模型，继承自赖特-费舍尔扩散和狄利克雷混合结构，具有很大的灵活性和后验计算的易处理性吸引人的属性。该结构可以很容易地扩展到多参数GEM边缘状态，其中包括，例如，Pitman-Yor过程。一个完整的推理策略，详细说明了模拟和真实数据。
2016-02-09 math.PR math.ST stat.ME
Bayesian nonparametric estimation of coverage probabilities and distinct counts from sketched data
覆盖概率的估计，特别是缺失质量的估计，是一个经典的统计问题，在许多科学领域都有应用。在本文中，我们研究这个问题的随机数据压缩，或素描。这是一个新颖但实际相关的观点，它指的是必须基于真实数据的压缩和不完美的摘要或草图来估计覆盖概率的情况，因为完整的数据和不同符号的经验频率都不能直接观察到。我们的贡献是一个贝叶斯非参数方法来估计覆盖概率的数据勾勒通过随机散列，这也解决了具有挑战性的问题，恢复不同的计数在真实的数据和不同的计数与指定的经验频率的兴趣。所提出的贝叶斯估计是很容易适用于大规模的分析结合狄利克雷过程之前，虽然他们涉及一些开放的计算挑战下，更一般的Pitman-Yor过程之前。我们的方法的经验有效性通过数值实验和应用于Covid DNA序列，经典英语文献和IP地址的真实数据集得到证明。
2022-09-05 stat.ME stat.ML
