Likelihood-Free Adaptive Bayesian Inference via Nonparametric Distribution Matching
Stanford University（斯坦福大学）
本文提出自适应贝叶斯推断（ABI）框架，通过边缘增广切片Wasserstein距离将后验分布比较转化为一维条件分位数回归，并结合自适应拒绝采样迭代细化后验近似，在高维和相依观测场景下显著优于现有免似然方法。
2025-05-07 cs.LG stat.CO stat.ME
Nonparametric variational inference
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
变分方法被广泛用于近似后验推理。然而，它们的使用通常仅限于具有特定共轭性质的分布族。为了规避这一限制，我们提出了一个家庭的变分近似的启发，非参数核密度估计。这些内核的位置和它们的带宽被视为变分参数和优化，以提高数据的边际似然的近似下界。使用多个内核允许近似捕获后验的多个模式，这与大多数其他变分近似不同。我们证明了非参数近似与分层逻辑回归模型和非线性矩阵分解模型的有效性。我们获得的预测性能一样好或更好的比更专门的变分方法和基于样本的近似。该方法很容易适用于更一般的图形模型，标准的变分方法是很难得到的。
2012-06-18 cs.LG stat.ML
Structured Nonparametric Variational Inference for Dependent Latent Modeling
Department of Statistics, University of Virginia（弗吉尼亚大学统计系）；Department of Biostatistics, Yale University（耶鲁大学生物统计学系）
提出结构化非参数变分推断（SN-VI），利用多元样条技术建模后验分布中潜变量的复杂依赖关系，无需均值场假设，具有理论保证和自动依赖发现能力，在计算机视觉和空间转录组学中表现优异。
2026-06-16 cs.LG stat.ML
A Slices Perspective for Incremental Nonparametric Inference in High Dimensional State Spaces
Technion - Israel Institute of Technology（以色列理工学院）；Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
本文提出一种基于高维表面切片的增量非参数推断方法，无需中间重建即可高效近似任意形状后验分布，并通过新颖启发式平衡精度与效率，在合成和真实数据上优于现有方法，计算复杂度降低一个数量级。
2024-05-26 cs.AI cs.LG
Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate
Indian Statistical Institute（印度统计研究所）
提出一种基于狄利克雷过程先验的贝叶斯非参数回归树混合模型，利用高斯过程分裂规则统一多种树方法，实现数据驱动的集成规模选择，并证明后验收敛率，在多个基准和应用中优于现有方法。
2026-09-24 cs.LG math.ST stat.ME
Bayesian Nonparametric Boolean Factor Models
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；Amazon Research（亚马逊研究院）；University of Birmingham（伯明翰大学）
我们建立在布尔矩阵和布尔张量因式分解的概率模型基础上，这些模型最近被证明可以以前所未有的准确性解决这些问题，并使后验推理能够扩展到数十亿次观察。在这里，我们解除了限制的一个预先指定的数量的潜在的维度，通过引入一个印度巴菲特过程之前的因素矩阵。由于模型中的逻辑依赖性，不仅全因子条件采取计算上方便的形式，而且非零潜在维度的数量的后验也非常简单。它相当于计算错误和真正的负面预测的数量，而正面预测可以忽略不计。这构成了一个非常透明的基于采样的后验推理与IBP先验的例子，重要的是，让我们保持非常有效的推理。我们讨论应用程序模拟数据，以及现实世界的数据矩阵与6万个条目。
2019-06-28 cs.LG stat.ML
A Sufficient Statistics Construction of Bayesian Nonparametric Exponential Family Conjugate Models
The Ohio State University（俄亥俄州立大学）；Boston University（波士顿大学）
无穷维空间上的共轭分布对在统计学习理论中很突出，特别是由于贝叶斯非参数方法广泛应用于许多模型和应用。在学习社区中，现有的许多文献都集中在具有某种形式的计算上易处理的共轭性的过程上，例如beta和gamma过程（以及通过归一化的Dirichlet过程）。对于这些过程，共轭性的证明和必要的推导后验密度参数的明确计算公式是特质的随机过程的问题。因此，贝叶斯非参数模型目前可用于有限数量的共轭对，例如狄利克雷多项式和贝塔伯努利过程对。在上述每种情况下，似然过程都属于离散指数族分布。从贝叶斯非参数共轭模型的已知情况中排除连续似然分布是研究人员工具箱中的一个差异。在本文中，我们首先解决的问题，获得一个一般的建设先验分布在无限维空间具有分布性质服从共轭。其次，我们桥接离散和连续的可能性之间的鸿沟，说明了一个典型的建设随机过程的Levy测量密度是从正指数家庭，然后证明这些过程实际上形成的前，可能性，和后的共轭家庭。我们的规范建设包括已知的后验密度参数的计算公式的情况下，其中的可能性是从一个离散分布属于一个指数家庭。
2016-01-10 cs.LG stat.ML
Transformation Models for Flexible Posteriors in Variational Bayes
Konstanz University of Applied Sciences（康斯坦茨应用科学大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）；University of Zurich（苏黎世大学）
贝叶斯模型的主要挑战是确定模型参数的后验。在只有一个或几个参数的模型中，分析后验只能在特殊设置中确定。在贝叶斯神经网络中，变分推断被广泛地用于通过变分分布来近似难以计算的后验。通常，高斯分布被用作变分分布（Gaussian-VI），由于其有限的灵活性，这限制了近似的质量。另一方面，转换模型足够灵活，可以适应任何分布。在这里，我们提出了基于变换模型的变分推断（TM-VI），并证明它可以准确地近似复杂的后验模型中的一个参数，也工作在一个平均场的方式为多参数模型，如神经网络。
2021-06-01 cs.LG stat.ML
Beyond Diagonal Covariance: Flexible Posterior VAEs via Free-Form Injective Flows
Heidelberg University（海德堡大学）
本文针对对角协方差VAEs表示能力受限的问题，提出将正则化的自由形式单射流解释为具有完整高斯协方差后验的VAE，在保持计算成本与对角协方差VAEs相当的同时，显著提升了模型似然。
2025-06-02 cs.LG stat.ML
Bayesian Inference with Posterior Regularization and applications to Infinite Latent SVMs
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
现有的贝叶斯模型，特别是非参数贝叶斯方法，依赖于专门构思的先验知识，以发现改进的潜在表示。虽然先验可以通过贝叶斯规则影响后验分布，但施加后验正则化可以说更直接，在某些情况下更自然和一般。在本文中，我们提出了正则化贝叶斯推理（RegBayes），一种新的计算框架，执行后验推理与信息理论公式下所需的后验数据分布的正则化项。RegBayes比通过先验知识来推断专家知识的过程更灵活，并且它涵盖了有向贝叶斯网络和无向马尔可夫网络，其贝叶斯公式导致混合链图模型。当正则化是由后验分布上的线性算子（如期望算子）诱导时，我们给出了一个一般的凸分析定理来刻画RegBayes的解。此外，我们提出了两个具体的例子，RegBayes，无限潜在的支持向量机（iLSVM）和多任务无限潜在的支持向量机（MT-iLSVM），探索大利润的想法结合非参数贝叶斯模型发现预测的潜在特征分类和多任务学习，分别。我们提出了有效的推理方法，并报告了几个基准数据集的实证研究，这似乎证明了继承大利润率学习和贝叶斯nonparametrics的优点。这些结果直到现在才出现，并有助于推动这两个重要子领域之间的接口，这两个子领域在社区中基本上被视为孤立的。
2014-02-12 cs.AI cs.LG stat.ME
Streaming, Distributed Variational Inference for Bayesian Nonparametrics
LIDS（实验室信息与决策系统实验室）；CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
本文提出了一种方法来创建流，分布式推理算法的贝叶斯非参数（BNP）模型。在提出的框架中，处理节点接收一系列数据小批量，计算每个小批量的变分后验，并对中心模型进行异步流更新。与以前的算法相比，所提出的框架是真正的流，分布式，异步，学习率免费，和截断免费。开发框架的关键挑战是，BNP模型不会对其组件施加固有的排序，因此在执行每次更新之前，找到minibatch和中央BNP后验组件之间的对应关系。为了解决这个问题，本文提出了一个组合优化问题的组件对应，并提供了一个有效的解决方案。本文最后与DP混合模型的方法的应用，实验结果表明其实际的可扩展性和性能。
2015-10-30 cs.LG stat.ML
Posterior Contraction of Lévy Adaptive B-spline Regression in Besov Spaces
Department of Statistics, Seoul National University（首尔国立大学统计系）；Department of Statistics, Sookmyung Women’s University（淑明女子大学统计系）
本文研究了Lévy自适应B样条回归模型在Besov空间中的后验收缩性质，证明了该模型在非参数回归框架中能够以接近最优的速率收敛到真实函数，同时自动适应未知的光滑度。
2026-05-19 cs.LG stat.ML
Semi-nonparametric Latent Class Choice Model with a Flexible Class Membership Component: A Mixture Model Approach
American University of Beirut（贝鲁特美国大学）；Technical University of Denmark (DTU)（丹麦技术大学）
本研究提出一种基于混合模型的半非参数潜在类别选择模型，通过EM算法估计，实验证明该方法在提升预测精度和异质性表示的同时保留了行为与经济学可解释性。
2020-07-06 cs.LG econ.EM stat.ME
Nonparametric IPSS: Fast, flexible feature selection with false discovery control
Harvard T.H. Chan School of Public Health（哈佛T.H. Chan公共卫生学院）；Duke University（杜克大学）
本文提出非参数IPSS特征选择方法，通过将集成路径稳定性选择应用于任意特征重要性分数实现有限样本错误发现控制，其IPSSGB和IPSSRF变体在模拟和癌症数据上均优于现有方法。
2025-07-16 cs.LG stat.AP stat.ME
Bernstein Flows for Flexible Posteriors in Variational Bayes
Konstanz University of Applied Sciences（康斯坦茨应用技术大学）；University of Zurich（苏黎世大学）；Zurich University of Applied Sciences（苏黎世应用技术大学）
本文提出 Bernstein 流变分推断（BF-VI），结合归一化流与 Bernstein 多项式变换模型，以灵活近似复杂多元后验，并在基准实验和半结构化 Melanoma 数据上验证其优于现有 VI 方法。
2024-02-23 cs.LG stat.ML
A unified framework for closed-form nonparametric regression, classification, preference and mixed problems with Skew Gaussian Processes
Trinity College（都柏林圣三一学院）；Dalle Molle Institute for Artificial Intelligence Research (IDSIA)（达尔莫尔人工智能研究所（IDSIA））
斜高斯过程将有限维向量上的多元统一斜正态分布推广到函数上的分布。SkewGP比高斯过程更通用和灵活，因为SkewGP也可以表示不对称分布。在最近的一篇文章中，我们证明了SkewGP和probit似然是共轭的，这使我们能够计算非参数二元分类和偏好学习的精确后验。在本文中，我们推广了以前的结果，我们证明了SkewGP是共轭的正常和仿射概率似然，更一般地说，与他们的产品。这使我们能够（i）在一个统一的框架中处理分类、偏好、数值和序数回归以及混合问题;（ii）导出相应后验分布的封闭形式表达式。我们的经验表明，提出的框架的基础上SkewGP提供了更好的性能比高斯过程中的主动学习和贝叶斯（约束）优化。这两项任务是实验设计和数据科学的基础。
2021-01-27 cs.LG math.ST stat.ML
