Beta Process Non-negative Matrix Factorization with Stochastic Structured Mean-Field Variational Inference
Columbia University（哥伦比亚大学）；Adobe Research（Adobe研究院）；Adobe Systems Incorporated（奥多比系统公司）
Beta过程是潜在因子模型的标准非参数贝叶斯先验。本文对具有Poisson似然的Beta过程非负矩阵分解（NMF）模型给出了一个结构化的平均场变分推断算法。与非参数贝叶斯文献中研究较多的线性高斯模型不同，具有beta过程先验的NMF模型不具有共轭性。我们利用最近发展的随机结构平均场变分推断放松共轭约束，恢复近似变分分布中隐变量之间的依赖关系。仿真和实际算例的初步结果表明，该推理算法能够合理地恢复数据的隐藏结构。
2014-12-02 cs.LG stat.ML
Gamma Processes, Stick-Breaking, and Variational Inference
The Ohio State University（俄亥俄州立大学）
虽然机器学习中的大多数贝叶斯非参数模型都集中在狄利克雷过程、贝塔过程或它们的变体上，但伽马过程最近已经成为一种有用的非参数先验。目前的推理方案涉及伽马过程的模型仅限于MCMC为基础的方法，这限制了它们的可扩展性。在本文中，我们提出了一个变分推断框架，涉及伽玛过程先验模型。我们的方法是基于一个新的坚持打破建设性的定义的伽玛过程。我们证明了这个棒断裂过程的正确性，通过使用的伽马过程作为一个完全随机的措施（CRM）的特征，我们明确推导出我们的建设使用泊松过程机器的速率测量。我们还推导出误差界截断的无限过程所需的变分推断，类似于截断分析的基础上的狄利克雷和β过程的其他非参数模型。然后，我们的表示是用来推导出一个特定的贝叶斯非参数潜在的结构制定被称为无限伽玛泊松模型，其中的潜变量是从一个伽玛过程之前与泊松似然的变分推断算法。最后，我们提出的结果，我们的算法上的非负矩阵分解任务的文档语料库，并表明，我们比较有利的抽样为基础的技术和变分方法的基础上β-伯努利先验。
2014-10-04 cs.AI cs.LG stat.ML
Asymptotically Valid Laplace Variational Inference for Bayesian Nonparametric Clustering of Marked Point Patterns
Yonsei University（延世大学）
本文提出基于狄利克雷过程混合的标记泊松点过程模型，通过拉普拉斯近似和变分贝叶斯算法，实现对潜在聚类结构、聚类数和连续标记特异性强度表面的联合推断。
2026-10-09 stat.ME
Bayesian Nonparametric Clustering to Support Medical Decision-Making: A Variational Inference Approach
Imperial College London（帝国理工学院）
提出基于狄利克雷过程混合模型的贝叶斯非参数聚类方法，通过坐标上升变分推断算法高效实现疾病亚型划分，在合成实验中准确聚类且计算成本显著低于MCMC。
2026-05-29 stat.AP
Nonparametric Hamiltonian Monte Carlo
University of Oxford（牛津大学）
概率编程使用程序来表达生成模型，然后通过内置的推理引擎计算后验概率。一个具有挑战性的目标是开发通用的推理算法，工作开箱即用的任意程序在一个通用的概率程序设计语言（PPL）。由这些程序定义的密度，可以使用随机分支和递归，（一般来说）是非参数的，在这个意义上，它们对应于无限维参数空间上的模型。然而，标准的推理算法，如汉密尔顿蒙特卡罗（HMC）算法，目标分布具有固定数量的参数。本文介绍了非参数哈密顿蒙特卡罗（NP-HMC）算法，它将HMC推广到非参数模型。NP-HMC的输入是一类新的可测量函数，称为“树表示”，它作为一个独立于语言的概率程序的密度函数的表示在一个通用的PPL.We提供了一个正确的证明NP-HMC，并实证证明了显着的性能改善现有的方法在几个非参数的例子。
2022-11-01 cs.LG cs.PL stat.CO
Nonparametric Involutive Markov Chain Monte Carlo
University of Oxford（牛津大学）
概率编程中的一个具有挑战性的问题是开发适用于通用概率程序设计语言（PPL）中任意程序的推理算法。我们提出了非参数对合马尔可夫链蒙特卡罗（NP-iMCMC）算法作为一种方法，用于构建MCMC推理算法的非参数模型表达在通用PPL。统一的对合MCMC框架的基础上，并通过提供一个通用的程序，驱动状态之间的尺寸移动，我们表明，NP-iMCMC可以概括现有的许多iMCMC算法的工作非参数模型。证明了NP-iMCMC采样器的正确性。我们的实证研究表明，现有的优势，几个iMCMC算法结转到他们的非参数扩展。将我们的方法应用到最近提出的非参数HMC，（多步）NP-iMCMC的一个实例，我们已经构建了几个非参数扩展（所有这些都是新的），表现出显着的性能改进。
2022-11-02 cs.LG cs.PL stat.CO
A Predictive Approach to Bayesian Nonparametric Survival Analysis
贝叶斯非参数方法是分析生存数据的流行选择，因为它们能够灵活地模拟生存时间的分布。这些方法通常采用非参数先验的生存函数，这是共轭相对于右删失数据。得出这些先验，特别是在存在协变量的情况下，可能具有挑战性，并且推断通常依赖于计算密集型的马尔可夫链蒙特卡罗方案。在本文中，我们建立在最近的工作，改写贝叶斯推断分配一个预测分布的人口条件的观察样本的看不见的值，从而避免了需要指定一个复杂的先验。我们描述了一个基于Copula的预测更新，它允许一个可扩展的顺序重要性抽样算法来执行推理，正确地考虑右删失。我们提供了理论上的理由，通过扩展Doob的一致性定理，并说明了一些模拟和真实的数据集，包括一个例子与协变量的方法。我们的方法使分析师能够执行贝叶斯非参数推断，通过只有规范的预测分布。
2022-02-21 stat.CO stat.ME
Nonparametric identification in the dynamic stochastic block model
我们展示了动态随机块模型中参数的非参数识别，如最近在Matias和Miele（2017）中介绍的，在二进制，加权和一般边缘状态的情况下。我们制定的真实参数，保证实际点识别，而不仅仅是一般的识别条件，这也导致新的结论在静态的情况下。特别是，我们的结果证明了Matias和Miele（2017）中的应用程序对具有三个边缘状态的加权边缘的识别。我们还通过我们的识别分析所涵盖的模拟设置中的变分EM算法给出了数值说明。
2018-11-02 math.ST stat.TH
A Variational AutoEncoder for Transformers with Nonparametric Variational Information Bottleneck
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
我们提出了一个VAE的Transformers通过开发一个变信息瓶颈正则化Transformer嵌入。我们正式的嵌入空间的Transformer编码器的混合概率分布，并使用贝叶斯nonparametrics推导出一个非参数的变分信息瓶颈（NVIB），这样的注意力为基础的嵌入。由非参数方法支持的混合成分的可变数量捕获了由注意力支持的向量的可变数量，并且我们的非参数分布的互换性捕获了注意力的排列不变性。这使得NVIB能够规范注意力可访问的向量数量，以及单个向量中的信息量。通过对Transformer编解码器与NVIB的交叉注意进行正则化，提出了一种非参数变分自编码器（NVAE）。在自然语言文本上训练NVAE的初步实验表明，诱导的嵌入空间具有用于Transformers的VAE的期望属性。
2022-08-12 cs.CL cs.LG
Structured Nonparametric Variational Inference for Dependent Latent Modeling
Department of Statistics, University of Virginia（弗吉尼亚大学统计系）；Department of Biostatistics, Yale University（耶鲁大学生物统计学系）
提出结构化非参数变分推断（SN-VI），利用多元样条技术建模后验分布中潜变量的复杂依赖关系，无需均值场假设，具有理论保证和自动依赖发现能力，在计算机视觉和空间转录组学中表现优异。
2026-06-16 cs.LG stat.ML
Streaming, Distributed Variational Inference for Bayesian Nonparametrics
LIDS（实验室信息与决策系统实验室）；CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
本文提出了一种方法来创建流，分布式推理算法的贝叶斯非参数（BNP）模型。在提出的框架中，处理节点接收一系列数据小批量，计算每个小批量的变分后验，并对中心模型进行异步流更新。与以前的算法相比，所提出的框架是真正的流，分布式，异步，学习率免费，和截断免费。开发框架的关键挑战是，BNP模型不会对其组件施加固有的排序，因此在执行每次更新之前，找到minibatch和中央BNP后验组件之间的对应关系。为了解决这个问题，本文提出了一个组合优化问题的组件对应，并提供了一个有效的解决方案。本文最后与DP混合模型的方法的应用，实验结果表明其实际的可扩展性和性能。
2015-10-30 cs.LG stat.ML
Nonparametric Variational Differential Privacy via Embedding Parameter Clipping
Idiap Research Institute（日内瓦研究所）；EPFL（瑞士联邦理工学院）
本文提出通过嵌入参数裁剪解决非参数变分差分隐私中潜在表示漂移问题，理论推导出后验均值、方差和混合权重约束，提升隐私-效用平衡。
2026-03-19 cs.LG
Causal Inference with the Instrumental Variable Approach and Bayesian Nonparametric Machine Learning
Arizona State University（亚利桑那州立大学）；Medical College of Wisconsin（威斯康星医学院）
我们提供了一个新的灵活的推理框架与工具变量模型。而不是使用线性规格，函数表征的影响，文书和其他解释变量估计使用机器学习通过贝叶斯加性回归树（BART）。误差项及其分布推断使用狄利克雷过程混合物。仿真和实例表明，当真函数为线性时，损失很小。但是当存在非线性时，几乎不需要手动调谐就可以获得显著的改善。
2021-02-01 cs.LG stat.ML
Optimal Nonparametric Inference via Deep Neural Network
Texas Tech University（德克萨斯理工大学）；Indiana University–Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）；New Jersey Institute of Technology（新泽西理工学院）
深度神经网络是现代科学技术中的一种先进方法。许多统计文献致力于了解其在非参数估计中的性能，然而由于冗余的对数牺牲，结果是次优的。在本文中，我们表明，这样的对数因子是不必要的。我们推导出非参数估计下的$L^2$极大极小风险的上界。充分条件的网络架构，使上界成为最佳的（没有日志牺牲）。我们的证明依赖于一个显式构造的网络估计的张量积B样条。我们还推导出所构建的网络的渐近分布和相关的假设检验程序。在适当的网络结构下，进一步证明了测试过程是最小最大最优的。
2021-08-16 cs.LG stat.ML
Max-Margin Nonparametric Latent Feature Models for Link Prediction
Tsinghua University（清华大学）
本文提出了一种最大间隔非参数潜在特征模型，该模型结合最大间隔学习和贝叶斯非参数化的思想，发现了用于链接预测的有鉴别力的潜在特征，并自动推断出未知的潜在社会维度。通过使用线性期望算子最小化铰链损失，我们可以有效地执行后验推理，而无需处理高度非线性的链接似然函数;通过使用完全贝叶斯公式，我们可以避免调整正则化常数。在真实数据集上的实验结果似乎证明了从最大间隔学习和完全贝叶斯非参数推理继承的好处。
2012-06-18 cs.LG stat.ML
Scalable Inference for Nonparametric Hawkes Process Using Pólya-Gamma Augmentation
Data61, CSIRO（联邦科学与工业研究组织数据61研究所）；University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）
本文研究了Sigmoid Gaussian Hawkes过程模型：Hawkes过程的基线强度和触发核都被建模为从高斯过程（GP）中提取的随机轨迹的Sigmoid变换。通过引入辅助潜随机变量（分支结构、Pólya-Gamma随机变量和潜标记Poisson过程），将似然转换为具有高斯形式的两个解耦分量，从而实现高效的共轭解析推理。使用增强的似然，我们推导出一个期望最大化（EM）算法，以获得最大后验（MAP）估计。此外，我们扩展EM算法的一个有效的近似贝叶斯推理算法：平均场变分推理。我们证明了两种算法的性能模拟虚拟数据。在真实数据上的实验表明，我们提出的推理算法可以有效地恢复潜在的提示特征。
2019-10-29 cs.LG stat.ML
Variational Bayesian Sequence-to-Sequence Networks for Memory-Efficient Sign Language Translation
Cyprus University of Technology（塞浦路斯理工大学）；University of Patras（帕特雷大学）；Rutgers University（罗格斯大学）
高效记忆的连续手语翻译是开发实时适用于聋人的辅助技术的一个重大挑战。在这项工作中，我们介绍了一种设计递归深度网络的范例，其中递归层的输出来自非参数统计的适当参数。提出了一种新的变分贝叶斯序列到序列网络结构，该结构包括：a）用于数据驱动存储压缩的全高斯后验分布和b）用于应用于门控递归单元非门权重的正则化的非参数Indian Buffet过程先验。我们将我们的方法称为Stick-Breaking Recurrent网络，并表明它可以在不降低建模性能的情况下实现大幅的权重压缩。
2021-02-11 cs.LG stat.ML
Nonparametric Variational Regularisation of Pretrained Transformers
Idiap Research Institute（Idiap 研究院）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文扩展NVIB框架替换Transformer所有注意力函数，提出恒等初始化将预训练Transformer重新解释为非参数变分模型，并证明改变初始化可在无训练情况下引入信息论正则化以改善域外泛化。
2023-12-01 cs.CL cs.LG
Nonparametric Inference for Auto-Encoding Variational Bayes
University of Bristol（布里斯托大学）；University of Bath（巴斯大学）
我们想学习低维和高度可解释的潜在表征。具有这些特征的模型是高斯过程潜变量模型。GP-LVM的优点和缺点与变分自动编码器是互补的，前者提供了可解释的低维潜在表示，而后者能够处理大量数据并可以使用非高斯似然。我们对这篇论文的灵感是将这两种方法结合起来，并从中获益。为了做到这一点，我们将介绍一种新的近似推理方案的启发GP-LVM和VAE。我们的实验表明，近似允许VAE的生成瓶颈（Z）的容量是任意大的，而不会失去高度可解释的表示，允许重建质量不受Z的限制，同时作为一个低维空间可以用来执行祖先采样，以及一种手段来推理嵌入的数据。
2017-12-18 cs.AI cs.LG stat.ML
A Metalearned Neural Circuit for Nonparametric Bayesian Inference
Princeton University（普林斯顿大学）
提出从非参数贝叶斯模型提取归纳偏置并转移至人工神经网络的方法，通过元学习序列模型实现开放类别集合上的快速序列推断，性能优于粒子滤波器等基线方法。
2023-11-24 cs.LG cs.NE stat.ML
Differential Privacy for Transformer Embeddings of Text with Nonparametric Variational Information Bottleneck
Idiap Research Institute（Idiap研究 institute）；EPFL（瑞士联邦理工学院）
本文提出非参数变分微分隐私方法，通过在transformer嵌入中注入噪声来保护文本数据隐私，同时保持模型准确性。
2026-01-14 cs.LG
Nonparametric inference of interaction laws in systems of agents from trajectory data
Johns Hopkins University（约翰斯·霍普金斯大学）
从观测数据中推断复杂动力系统中粒子和代理之间的相互作用规律是各种学科中的一个基本挑战。我们提出了一种非参数统计学习方法来估计基于距离的相互作用的支配规律，没有参考或假设其分析形式，从数据组成的轨迹相互作用的代理。我们证明了我们的学习方法的有效性，既提供理论保证，并通过测试的方法在不同学科的各种原型系统。这些系统包括同质和异质代理系统，从基础物理学中的粒子系统到基于代理的系统建模社会影响下的意见动态，捕食者-捕食者动态，群集和群集，以及细胞动力学中的趋光性。
2019-03-23 cs.LG stat.ML
Efficient EM-Variational Inference for Hawkes Process
Data61, CSIRO（联邦科学与工业研究组织Data61）；University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）
在经典Hawkes过程中，基线强度和触发核分别假设为常数和参数函数，这限制了模型的灵活性。为了推广它，我们提出了一个完全贝叶斯非参数模型，即高斯过程调制的Hawkes过程，并提出了EM-变分推理方案。在该模型中，高斯过程的变换被用作基线强度和触发核的先验。通过引入潜在分支结构，基线强度和触发核的推理被解耦，变分推理方案被自然地嵌入到EM框架中。我们还提供了一系列的方案，以加快推理。合成数据和实际数据的实验结果表明，该方法不受参数限制，可以恢复出潜在的基线强度和触发核，且贝叶斯非参数估计优于其他方法。
2019-10-29 cs.LG stat.ML
Optimal Nonparametric Inference with Two-Scale Distributional Nearest Neighbors
University of Tennessee Knoxville（田纳西大学诺克斯维尔分校）；University of Southern California（南加州大学）
加权最近邻（WNN）估计作为一种灵活且易于实现的非参数均值回归估计工具已被广泛应用。装袋技术是一种优雅的方法来形成WNN估计器，其权重自动生成到最近邻居;我们将所得估计器命名为分布最近邻居（DNN），以便于参考。然而，这种估计量缺乏分布结果，限制了它在统计推断中的应用。此外，当均值回归函数具有高阶光滑性时，DNN不能达到最佳非参数收敛速度，主要是因为偏差问题。在这项工作中，我们对DNN进行了深入的技术分析，在此基础上，我们通过线性组合两个具有不同子采样尺度的DNN估计器，提出了DNN估计器的偏倚减少方法，从而产生了新的双尺度DNN（TDNN）估计器。双尺度DNN估计器具有WNN的等价表示，其权重允许显式形式，并且一些权重为负。我们证明，由于使用负权重，双尺度DNN估计享有最佳的非参数收敛速度估计的回归函数下的四阶光滑条件。我们进一步超越估计，并建立DNN和双尺度DNN都是渐近正态的子采样尺度和样本量发散到无穷大。对于实际的实现，我们还提供了方差估计和分布估计使用刀切和自举技术的双尺度DNN。这些估计量可以用来构造有效的置信区间，用于回归函数的非参数推断。理论结果和吸引人的有限样本性能的建议的两尺度DNN方法与几个数值例子说明。
2022-07-18 cs.LG stat.ML
Identifying Finite Mixtures of Nonparametric Product Distributions and Causal Inference of Confounders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们提出了一个核方法来识别有限混合非参数乘积分布。它基于联合分布的Hilbert空间嵌入。构造的张量的秩等于混合分量的个数。我们提出了一种算法来恢复组件的数据点划分成集群，使变量是联合条件独立给定的集群。该方法可用于识别有限混杂因素。
2013-09-26 cs.AI cs.LG stat.ML
Fast nonparametric clustering of structured time-series
University of Sheffield（谢菲尔德大学）；University of Manchester（曼彻斯特大学）
在本出版物中，我们结合了两个贝叶斯非参数模型：高斯过程（GP）和狄利克雷过程（DP）。我们在GP模型中的创新是引入GP先验的变化，使我们能够对结构化时间序列数据进行建模，即包含我们希望对组间和组内变异性进行建模的组的数据。我们在DP模型中的创新是一种新的快速折叠变分推理过程的实现，它使我们能够比标准VB方法更快地优化变分逼近。在生物时间序列应用中，我们展示了我们的模型如何更好地捕捉数据的显著特征，从而与现有的生物分类保持更好的一致性，而相关的推理算法提供了基于EM的变分推理的两倍加速。
2014-04-14 cs.CV cs.LG stat.ML
Nonparametric Inference under B-bits Quantization
Biogen Inc（百健公司）；Texas Tech University（得克萨斯理工大学）；University of Miami（迈阿密大学）；New Jersey Institute of Technology（新泽西理工学院）
本文针对有损或不完整样本的统计推断问题，提出一种基于B比特量化的非参数检验方法，证明当B超过阈值时可达到样条模型的经典极小极大速率，并通过模拟和真实数据验证其有效性。
2023-08-11 cs.LG math.ST stat.ML
Inference for multiple object tracking: A Bayesian nonparametric approach
Arizona State University（亚利桑那州立大学）
近年来，多目标跟踪（MOT）问题引起了人们的关注，并在各个研究领域得到了广泛的研究。然而，一些具有挑战性的问题，包括时间相关的基数，无序的测量集，和对象标记仍然不清楚。本文提出了一种稳健的非参数方法来对MOT问题的状态先验进行建模。这些模型被证明是更灵活和强大的现有方法相比。特别是，整体方法估计时间相关的对象基数，提供对象标记，并识别对象相关的测量。此外，我们提出的框架动态竞争的出生/死亡和生存的对象通过依赖的非参数过程。我们提出了推理算法，证明了实用程序的依赖非参数模型的跟踪。我们采用蒙特卡罗采样方法来证明所提出的算法有效地学习对象的轨迹从噪声测量。计算结果显示了所提出的算法的性能和比较，不仅在彼此之间，而且在所提出的算法和标记的多伯努利跟踪器之间。
2019-09-16 cs.LG math.ST stat.ML
Inference on Time Series Nonparametric Conditional Moment Restrictions Using General Sieves
Cowles Foundation for Research in Economics, Yale University（耶鲁大学考尔斯经济学研究基金会）；Rutgers University（罗格斯大学）；The University of Hong Kong（香港大学）
一般的非线性筛子学习是一类非线性筛子，它们可以比各种线性筛子（或级数）更灵活地近似高维变量的非线性函数。本文研究了基于一般非线性筛拟似然比（GN-QLR）的时间序列数据期望泛函的推断，其中期望泛函是基于满足条件矩约束的非参数函数，并使用多层神经网络进行学习。虽然估计泛函的渐近正态性依赖于一些未知的Riesz代表的功能空间，我们表明，最佳加权GN-QLR统计量是渐近卡方分布，无论是否期望功能是定期（根- $n$估计）或没有。当数据是弱相关的β-混合条件时，这是成立的。我们将我们的方法应用于强化学习中的离政策评估，通过将Bellman方程公式化到条件矩限制框架中，使得我们可以使用所提出的GN-QLR方法对具有时间序列数据的状态特定值泛函进行推断。此外，估计平均偏均值和平均偏导数的非参数工具变量和分位数IV模型也作为领先的例子。最后，一个蒙特卡罗研究表明，有限样本的性能的程序
2023-01-03 cs.LG econ.EM stat.ML
Debiased Nonparametric Regression for Statistical Inference and Distributionally Robustness
The University of Tokyo（东京大学）
本文提出一种无模型的非参数回归去偏方法，通过加入估计条件期望残差的校正项，使估计量在温和条件下具备风险收敛与渐近正态性，从而支持统计推断并提升协变量偏移下的鲁棒性。
2025-03-17 cs.LG econ.EM math.ST
Measurement error models: from nonparametric methods to deep neural networks
Harvard University（哈佛大学）
深度学习的成功激发了人们对将神经网络应用于统计推断的兴趣。在本文中，我们研究了深度神经网络在具有测量误差的非参数回归中的应用。我们提出了一个有效的神经网络设计估计测量误差模型，其中我们使用一个完全连接的前馈神经网络（FNN）来近似的回归函数$f(x)$，归一化流近似的先验分布的$X$，和推理网络近似的后验分布的$X$。我们的方法利用了深度神经网络变分推断的最新进展，例如重要性权重自动编码器，双重重新参数化梯度估计器和非线性独立分量估计。我们进行了广泛的数值研究，比较神经网络的方法与经典的非参数方法，并观察到神经网络的方法是更灵活的，在适应不同类别的回归函数，并执行优于或媲美的最佳方法，在几乎所有的设置。
2020-07-15 cs.LG stat.ME stat.ML
Inference for Deep Neural Network Estimators in Generalized Nonparametric Models
Department of Biostatistics, University of Michigan（密歇根大学生物统计学系）
本文提出在广义非参数回归模型中使用深度神经网络估计器，并开发了严谨的推断框架，通过Ensemble Subsampling Method方法构建置信区间，展示了在非参数逻辑、泊松和二项回归模型中的有效性，并应用于eICU数据集进行ICU再入院风险预测。
2026-03-17 cs.LG math.ST stat.ML
Advancing Causal Inference: A Nonparametric Approach to ATE and CATE Estimation with Continuous Treatments
Institute of Mathematics and Computer Sciences at University of São Paulo（圣保罗大学数学与计算机科学研究所）
提出广义 ps-BART 非参数模型估计连续处理下的 ATE 与 CATE，在多组 DGP 中优于 BCF，尤其适用于非线性关系。
2024-09-10 cs.LG stat.AP stat.ML
A Slices Perspective for Incremental Nonparametric Inference in High Dimensional State Spaces
Technion - Israel Institute of Technology（以色列理工学院）；Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
本文提出一种基于高维表面切片的增量非参数推断方法，无需中间重建即可高效近似任意形状后验分布，并通过新颖启发式平衡精度与效率，在合成和真实数据上优于现有方法，计算复杂度降低一个数量级。
2024-05-26 cs.AI cs.LG
Pull Message Passing for Nonparametric Belief Propagation
University of Michigan（密歇根大学）
我们提出了一个“拉”的方法来近似产品的高斯混合物内的消息更新的非参数信念传播（NBP）推理。现有的NBP方法通常将连续值潜变量之间的消息表示为高斯混合模型。为了避免在循环图的计算困难，NBP需要这样的混合物的产品的近似。基于采样的乘积近似已经显示出对NBP推理的有效性。然而，在传统的“推”消息更新过程中使用的这种近似很快变得计算上禁止在高维变量上的多模态分布。相比之下，我们提出了一个“拉”的方法，作为非参数信念传播（PMPNBP）算法的拉消息传递，并证明其有效的推理的可行性。我们报告的结果使用实验从现有的NBP方法，PAMPAS，用于推断一个铰接结构在混乱的姿态。从这个说明性问题的结果发现，PMPNBP具有更大的能力，有效地缩放其混合物中的组分的数量，从而提高推理精度。
2018-07-27 cs.CV cs.LG
Nonparametric Inference For Density Modes
Carnegie Mellon University（卡内基梅隆大学）；University of Rome（罗马大学）
我们推导出非参数的置信区间的特征值的海森在模式的密度估计。这提供了关于模式的强度和形状的信息，也可以用作显著性检验。我们使用数据分裂的方法，其中使用数据的前半部分识别潜在模式，并使用数据的后半部分进行推断。为了得到特征值的有效置信集，我们使用基于基本对称多项式（ESP）变换的自举方法。这导致有效的自举置信集，而不管特征值中的任何多重性。我们还提出了一种新的带宽选择方法，即选择带宽，以最大化的显着模式的数量。我们通过例子表明，这种方法工作得很好。即使真实分布是奇异的，因此没有密度（在这种情况下，交叉验证选择零带宽），我们的方法也会选择合理的带宽。
2013-12-29 cs.LG stat.ME
Causal Inference with Treatment Measurement Error: A Nonparametric Instrumental Variable Approach
University College London（伦敦大学学院）；University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们提出了一个基于核的非参数估计的因果效应时，原因被错误损坏。我们这样做是通过在工具变量设置中推广估计。尽管在具有测量误差的回归方面做了大量的工作，但在连续设置中处理未观察到的混杂是不平凡的：我们几乎没有看到以前的工作。作为我们研究的副产品，我们澄清了均值嵌入和特征函数之间的联系，以及如何同时学习一个允许一个学习另一个。这为核方法研究在特征函数估计中利用现有结果开辟了道路。最后，我们的经验表明，我们提出的方法，MEKIV，提高了基线和测量误差的强度和类型的误差分布的变化下是强大的。
2022-06-18 cs.LG stat.ME
Variational Polya Tree
The University of Hong Kong（香港大学）；University of Pennsylvania（宾夕法尼亚大学）；Metropolitan Hong Kong University（香港 Metropolitan 大学）
本文提出变分波利亚树（VPT）模型，利用随机变分推断和联合分布似然实现贝叶斯非参数密度估计，在真实数据和图像上达到与最先进深度方法相当的性能，并增强可解释性与不确定性量化。
2025-10-26 cs.AI cs.LG
Lazily Adapted Constant Kinky Inference for Nonparametric Regression and Model-Reference Adaptive Control
Dept. of Engineering Science University of Oxford, UK（工程科学系 奥克斯福德大学 英国）
本文提出了一种惰性适应的常数Kinky推断方法，用于非参数回归和模型参考自适应控制，通过在线估计Hölder常数并建立强通用逼近保证，展示了在密集数据下学习任意连续函数的能力。
2021-03-10 cs.AI cs.LG cs.SY
Analogy as Nonparametric Bayesian Inference over Relational Systems
Harvard University（哈佛大学）；Princeton University（普林斯顿大学）
本文研究多环境经验对推理的影响，提出非参数贝叶斯模型解释类比推理行为，为类比的计算思路提供互补视角。
2026-08-07 cs.AI cs.LG
Nonparametric Topic Modeling with Neural Inference
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；Momenta
这项工作的重点是结合非参数主题模型与自动编码变分贝叶斯（AEVB）。具体来说，我们首先提出了iTM-VAE，其中的主题被视为可训练的参数和特定于文档的主题比例是通过一个棒打破建设。iTM-VAE的推理由神经网络建模，使得它可以以简单的前馈方式计算。我们还描述了如何将超先验引入到iTM-VAE中，以便对先验参数的不确定性进行建模。实际上，超先验技术是相当普遍的，我们表明，它可以应用于其他AEVB为基础的模型，以减轻{\it的先验问题优雅。此外，我们还提出了HiTM-VAE，其中特定于文档的主题分布是以分层的方式生成的。HiTM-VAE更加灵活，可以生成具有更好可变性的主题分布。在20News和Reuters RCV1-V2数据集上的实验结果表明，所提模型的性能明显优于现有基线。超先验技术和分层模型构造的优点也被实验证实。
2018-06-18 cs.CL cs.IR cs.LG
