Bayesian nonparametric models for ranked data
INRIA（法国国家信息与自动化研究所）
我们开发了一个贝叶斯非参数扩展流行的Plackett-Luce选择模型，可以处理无限数量的选择项目。我们的框架是基于随机原子措施的理论，事先指定的伽马过程。我们推导出一个后验特征和一个简单有效的吉布斯采样后验模拟。我们开发了一个随时间变化的扩展我们的模型，并将其应用到纽约时报的每周畅销书名单。
2012-11-19 cs.LG stat.ME stat.ML
Detailed Derivations of Small-Variance Asymptotics for some Hierarchical Bayesian Nonparametric Models
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
本文详细推导了分层狄利克雷过程（HDP）混合模型和HDP隐马尔可夫模型（HDP-HMM，a.k.a.无限HMM）。我们包括推导某些CRP和CRF分区的概率，这是更普遍的兴趣。
2014-12-31 cs.LG stat.ML
Nonparametric learning from Bayesian models with randomized objective functions
University of Oxford（牛津大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
贝叶斯学习建立在模型空间包含数据生成机制的真实反映的假设之上。这种假设是有问题的，特别是在复杂的数据环境中。在这里，我们提出了一个贝叶斯非参数学习方法，利用统计模型，但不假设该模型是真的。我们的方法具有可证明的更好的性能比使用参数模型，并承认一个蒙特卡罗采样方案，可以提供巨大的可扩展性，现代计算机架构。当样本量很小时，基于模型的学习对于正则化非参数推断特别有吸引力，并且对于校正诸如变分贝叶斯（VB）的近似方法也特别有吸引力。我们展示了一些例子，包括VB分类器和贝叶斯随机森林的方法。
2018-11-01 cs.LG stat.ME stat.ML
Max-Margin Nonparametric Latent Feature Models for Link Prediction
Tsinghua University（清华大学）
本文提出了一种最大间隔非参数潜在特征模型，该模型结合最大间隔学习和贝叶斯非参数化的思想，发现了用于链接预测的有鉴别力的潜在特征，并自动推断出未知的潜在社会维度。通过使用线性期望算子最小化铰链损失，我们可以有效地执行后验推理，而无需处理高度非线性的链接似然函数;通过使用完全贝叶斯公式，我们可以避免调整正则化常数。在真实数据集上的实验结果似乎证明了从最大间隔学习和完全贝叶斯非参数推理继承的好处。
2012-06-18 cs.LG stat.ML
Nonparametric Bayesian Topic Modelling with the Hierarchical Pitman-Yor Processes
The Australian National University（澳大利亚国立大学）；Data61/NICTA；Monash University（莫纳什大学）；Duke University（杜克大学）
Dirichlet过程及其扩展Pitman-Yor过程是以概率分布为参数的随机过程。这些过程可以堆叠起来形成分层非参数贝叶斯模型。在这篇文章中，我们提出了有效的方法来使用这些过程在这个层次的背景下，并将其应用到文本分析的潜变量模型。特别是，我们提出了一个通用的框架来设计这些贝叶斯模型，这被称为主题模型在计算机科学界。然后，我们提出了一个特定的非参数贝叶斯主题模型从社交媒体的文本建模。我们在这篇文章中关注tweets（Twitter上的帖子），因为它们易于访问。我们发现，我们的非参数模型比现有的参数模型在拟合优度和现实世界中的应用。
2016-09-22 cs.CL cs.LG stat.ML
A survey of non-exchangeable priors for Bayesian nonparametric models
Dartmouth College（达特茅斯学院）；Carnegie Mellon University（卡内基梅隆大学）
相依非参数过程扩展了测度上的分布，如狄利克雷过程和贝塔过程，以给出测度集合上的分布，通常由某些协变量空间中的值索引。当汇率假设不成立时，这样的模型是合适的先验，相反，我们希望我们的模型随着一些协变量的变化而变化。自MacEachern [1]提出相依非参数过程的概念以来，统计学和机器学习文献中提出并使用了许多模型。这些模型中有许多表现出潜在的相似性，我们希望对这些相似性的理解将有助于选择适当的先验，开发新模型和利用推理技术。
2012-11-20 cs.LG stat.ML
Bayesian Nonparametric Federated Learning of Neural Networks
IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Center for Computational Health（计算健康中心）
在联邦学习问题中，数据分散在不同的服务器上，交换或池化数据通常是不切实际的或被禁止的。我们开发了一个贝叶斯非参数框架联邦学习与神经网络。假设每个数据服务器提供本地神经网络权重，这些权重通过我们的框架建模。然后，我们开发了一种推理方法，使我们能够合成一个更具表现力的全球网络，而无需额外的监督，数据池，并且只需一轮通信。然后，我们证明了我们的方法对联邦学习问题的有效性，从两个流行的图像分类数据集模拟。
2019-05-28 cs.LG stat.ML
Revisiting k-means: New Algorithms via Bayesian Nonparametrics
Ohio State University（俄亥俄州立大学）；UC Berkeley（加州大学伯克利分校）
贝叶斯模型为聚类应用提供了很大的灵活性-贝叶斯非参数可用于建模无限混合物，分层贝叶斯模型可用于在多个数据集上共享聚类。在大多数情况下，这种灵活性是缺乏经典的聚类方法，如k-means。在本文中，我们重新审视的k-means聚类算法从贝叶斯非参数的观点。受启发的渐近连接之间的k-均值和混合高斯，我们表明，吉布斯采样算法的Dirichlet过程的混合接近硬聚类算法的限制，并进一步得到的算法单调最小化一个优雅的底层k-均值聚类目标，包括惩罚的集群数量。我们推广这种分析的情况下，聚类多个数据集，通过类似的渐近参数与分层狄利克雷过程。我们还讨论了进一步的扩展，突出了我们的分析的好处：i）涉及阈值特征向量的谱松弛，和ii）归一化割图聚类算法，不固定图中的聚类数量。
2012-06-14 cs.LG stat.ML
A Metalearned Neural Circuit for Nonparametric Bayesian Inference
Princeton University（普林斯顿大学）
提出从非参数贝叶斯模型提取归纳偏置并转移至人工神经网络的方法，通过元学习序列模型实现开放类别集合上的快速序列推断，性能优于粒子滤波器等基线方法。
2023-11-24 cs.LG cs.NE stat.ML
Fully Nonparametric Bayesian Additive Regression Trees
University of Pennsylvania（宾夕法尼亚大学）；Medical College of Wisconsin（威斯康星医学院）；Arizona State University（亚利桑那州立大学）
贝叶斯加性回归树（Bayesian Additive Regression Trees，BART）是一种完全贝叶斯的建模方法。BART可以以相当自动的方式揭示具有高维回归量的复杂回归函数，并通过后验提供不确定性的贝叶斯量化。但是，BART假设IID正常错误。这种强参数假设可能导致误导性推断和不确定性量化。在本文中，我们使用经典的狄利克雷过程混合（Dirichlet process mixture）机制的非参数模型的误差分布。BART的一个关键优势是默认的先验设置在各种问题中都能很好地工作。扩展BART的挑战是选择BART的参数，以便在误差接近正态时不会失去标准BART方法的优势，但BART具有适应非正态误差的能力。
2018-07-09 cs.LG stat.ML
Causal Inference with the Instrumental Variable Approach and Bayesian Nonparametric Machine Learning
Arizona State University（亚利桑那州立大学）；Medical College of Wisconsin（威斯康星医学院）
我们提供了一个新的灵活的推理框架与工具变量模型。而不是使用线性规格，函数表征的影响，文书和其他解释变量估计使用机器学习通过贝叶斯加性回归树（BART）。误差项及其分布推断使用狄利克雷过程混合物。仿真和实例表明，当真函数为线性时，损失很小。但是当存在非线性时，几乎不需要手动调谐就可以获得显著的改善。
2021-02-01 cs.LG stat.ML
Bayesian Nonparametric View to Spawning
Arizona State University（亚利桑那州立大学）
在跟踪多个对象时，通常假设每个观测（测量）源自一个且仅一个对象。然而，我们可能会遇到这样一种情况，即在每个时间步，每个度量可能与多个对象关联，也可能不关联--繁殖。因此，每个测量与多个对象的关联是为了跟踪具有出生和死亡的多个对象而执行的关键任务。在本文中，我们介绍了一种新的贝叶斯非参数方法，模型的情况下，每个观察可以从一个未知数量的对象，它提供了一个易于处理的马尔可夫链蒙特卡罗（MCMC）方法从后验分布采样。在每个时间步的对象的数量，本身，也被假定为未知的。然后，我们通过实验表明，非参数建模的优势，产卵事件的情况下。我们的实验结果也证明了我们的框架比现有的方法的优势。
2021-12-03 cs.LG stat.ML
BN-Pool: Bayesian Nonparametric Pooling for Graphs
Università degli Studi di Firenze（佛罗伦萨大学）；UiT The Arctic University of Norway（特罗姆瑟大学 - 挪威北极大学）；NORCE Norwegian Research Centre AS（挪威研究中心）
BN-Pool是首个基于聚类的图神经网络池化方法，通过自适应确定粗化图中的超节点数量，结合监督损失与无监督辅助项实现高效图拓扑重建与集群控制。
2026-04-01 cs.LG math.PR
A Bayesian Nonparametric Approach to Image Super-resolution
Princeton University（普林斯顿大学）；Duke University（杜克大学）
超分辨率方法从低分辨率图像形成高分辨率图像。本文提出了一种新的贝叶斯非参数超分辨率模型。我们的方法使用贝塔-伯努利过程从数据中学习一组重复出现的视觉模式，称为字典元素。因为它是非参数的，所以找到的元素的数量也是从数据中确定的。我们测试的结果基准和自然图像，与其他几个模型的研究文献。我们进行大规模的人类评估实验，以评估结果的视觉质量。在第一实施方式中，我们使用吉布斯采样来近似后验。然而，该算法不适用于大规模数据。为了规避这一点，我们开发了一个在线变分贝叶斯（VB）算法。该算法在吉布斯采样器所需时间的一小部分内找到高质量的字典。
2012-09-22 cs.LG stat.ML
Collapsed Variational Inference for Nonparametric Bayesian Group Factor Analysis
Technische Universität Darmstadt（达姆施塔特工业大学）
群因子分析（Group factor analysis，GFA）方法已被广泛应用于系统生物学和神经影像学等领域的多个相关数据集，以推断其共同结构和群特异性信号。迄今为止，大多数可用的GFA模型需要吉布斯采样或切片采样来执行推断，这阻碍了GFA的实际应用到大规模数据。在本文中，我们提出了一个有效的折叠变分推理（CVI）算法的非参数贝叶斯组因子分析（NGFA）模型建立在一个分层的贝塔伯努利过程。我们的CVI算法通过边缘化特定于组的Beta过程参数，然后使用平均场方法近似塌陷空间中的真实后验来进行。合成和真实世界的数据上的实验结果表明，我们的CVI算法的NGFA相比，国家的最先进的GFA方法的有效性。
2018-09-24 cs.LG stat.ML
Max-Margin Nonparametric Latent Feature Models for Link Prediction
Tsinghua University（清华大学）
链接预测是统计网络分析中的一项基本任务。最近的进展已经取得了学习灵活的非参数贝叶斯潜在特征模型的链接预测。在本文中，我们提出了一个最大间距学习方法，这种非参数的潜在特征关系模型。我们的方法试图将最大间隔学习和贝叶斯非参数的思想结合起来，发现链接预测的潜在特征。它继承了非参数贝叶斯方法的先进性，以推断未知的潜在社会维度，而对于判别式链接预测，它采用最大余量学习原则，通过使用线性期望算子最小化铰链损失，而不处理高度非线性的链接似然函数。对于后验推理，我们开发了一个有效的随机变分推理算法截断平均场假设下。我们的方法可以扩展到具有数百万个实体和数千万个正链接的大规模真实网络。我们还提供了一个完整的贝叶斯公式，可以避免调整正则化超参数。在不同的真实数据集上的实验结果表明了最大间隔学习和贝叶斯非参数推理的优点。
2016-02-24 cs.LG cs.SI stat.ME
Inferring Hierarchical Mixture Structures: A Bayesian Nonparametric Approach
Insight Centre for Data Analytics（洞察数据分析中心）；University College Dublin（都柏林大学）；Maynooth University（梅努斯大学）
本文主要研究数据集的层次非重叠聚类问题。在这样的聚类中，每个数据项与恰好一个叶节点相关联，并且每个内部节点与存储在其下的子树中的所有数据项相关联，使得层次结构的每个级别对应于数据集的分区。提出了一种新的贝叶斯非参数方法，该方法结合了嵌套中餐厅过程（nCRP）和分层狄利克雷过程（HDP）。与其他现有的贝叶斯方法相比，我们的解决方案处理的数据与复杂的潜在的混合特征，以前没有在文献中探索。我们讨论的模型和推理过程的细节。此外，在三个数据集上的实验表明，与现有的算法相比，我们的方法取得了坚实的经验结果。
2021-05-25 cs.AI cs.LG stat.ML
Comparing Nonparametric Bayesian Tree Priors for Clonal Reconstruction of Tumors
University of Toronto（多伦多大学）
统计机器学习方法，特别是非参数贝叶斯方法，已经变得越来越流行，以推断肿瘤的克隆群体结构。在这里，我们描述了treeCRP，中国餐馆过程（CRP），一个流行的建设中使用的非参数混合模型的扩展，以推断癌细胞的人口中所代表的主要亚克隆谱系的遗传和基因型。我们还提出了新的分裂合并更新量身定制的亚克隆重建问题，提高混合时间的马尔可夫链。与PhyloSub中使用的树结构棒断裂之前相比，我们使用treeCRP与我们新的拆分-合并程序展示了优越的混合和运行时间。我们还表明，给定相同数量的样本，TSSB和treeCRP具有相似的恢复肿瘤亚克隆结构的能力。
2014-08-11 cs.LG q-bio.PE stat.ML
Low-Complexity Nonparametric Bayesian Online Prediction with Universal Guarantees
Amadeus SAS（艾玛迪斯公司）；Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）
我们提出了一种新的非参数在线预测的离散标签条件下的多变量连续功能。该预测器基于由具有随机选择的方向和递归贝叶斯分布的完整k-d树引起的特征空间离散化，其允许自动学习表征条件分布的最相关特征尺度。我们证明了它的逐点普适性，即，它实现了标准化的对数损失性能，其渐近地与给定特征的标签的真实条件熵一样好。处理第$n$个样本点的时间复杂度是相对于生成数据点的分布的概率的$O(\log n)$，而其他精确的非参数方法需要处理所有过去的观测。在具有挑战性的数据集上的实验表明，与标准和最先进的方法相比，我们的算法的计算和统计效率。
2020-01-31 cs.IT cs.LG math.IT
SPDE Methods for Nonparametric Bayesian Posterior Contraction and Laplace Approximation
Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心）
本文通过扩展Mou等人的扩散框架，推导了非参数贝叶斯模型的后验收缩率和有限样本伯恩斯坦-冯-米塞斯结果，并在希尔伯特空间上建立了拉普拉斯近似理论。
2026-03-23 cs.LG math.ST stat.ML
