The Infinite Hierarchical Factor Regression Model
School of Computing, University of Utah（犹他大学计算学院）
我们提出了一个非参数贝叶斯因子回归模型，该模型考虑了因子数量的不确定性以及因子之间的关系。为了实现这一点，我们提出了一个稀疏的印度自助餐过程的变体，并将其与一个层次模型的因素，根据金曼的合并。我们将此模型应用于基因表达数据分析中的两个问题（因子分析和因子回归）。
2009-08-05 cs.LG stat.ML
Hierarchical Bayesian Modeling for Time-Dependent Inverse Uncertainty Quantification
本文提出一种新型分层贝叶斯模型，结合高斯过程、主成分分析与神经网络构建代理模型，利用NUTS实现高效后验采样，有效解决了核热工水力系统时变反问题不确定性量化，显著提升了参数估计精度并降低了过拟合倾向。
2024-03-26 stat.AP
Maximum a posteriori probability estimates in infinite-dimensional Bayesian inverse problems
贝叶斯反演中的一个严峻挑战是有效地表征后验分布。这项任务是有问题的，特别是在高维非高斯问题，其中后验的结构可能非常混乱，难以分析。目前的反问题文献往往通过考虑合适的点估计的任务来解决这个问题。通常，在最大后验概率（MAP）或条件均值（CM）估计之间进行选择。从无限维理论的角度来看，这两种选择的好处都没有得到很好的理解。最重要的是，不存在关于如何将MAP估计的拓扑描述连接到变分问题的一般方案。Dashti et.（2013）解决了高斯框架中的非线性逆问题。在这项工作中，我们通过引入一个新的概念，称为弱MAP（wMAP）估计，以提高目前的理解。我们表明，任何MAP估计的意义上的Dashti等。（2013）是一个wMAP估计，而且，在一般无限维非高斯问题中，wMAP估计如何连接到变分公式。这样的公式产生了许多性质的估计，是以前不可能研究。在Burger和Lucka（2014）的最近工作中，在贝叶斯成本方法的背景下研究了MAP估计器。利用Bregman距离，引入适当的凸Bayes费用函数，使MAP估计量为Bayes估计量。在这里，我们将这些结果推广到无限维的设置。此外，我们讨论了我们的结果的影响，如Besov先验和分层先验的先验模型的一些例子。
2015-06-02 math.PR math.ST stat.TH
Hierarchical Ensemble Kalman Methods with Sparsity-Promoting Generalized Gamma Hyperpriors
本文介绍了一种计算框架，将灵活的正则化技术集成卡尔曼方法的非线性反问题。所提出的方法近似的最大后验概率（MAP）估计的分层贝叶斯模型，其特征在于由一个条件高斯先验和广义伽玛超先验。选择合适的超参数会产生稀疏促进正则化。我们提出了一种迭代算法的MAP估计，它交替更新未知的集合卡尔曼方法和更新超参数的正则化，以促进稀疏性。我们的方法的有效性证明在几个计算实例，包括压缩传感和地下水流逆问题。
2022-05-19 cs.NA math.NA math.OC
A pedestrian's approach to Bayesian methods for inverse problems
Universität Innsbruck（因斯布鲁克大学）
本文为具备概率与数学分析基础的读者提供无限维贝叶斯逆问题的入门路径，介绍有限维情况、无限维高斯先验与似然的后验测度，给出新稳定性结果并阐述两类应用示例。
2026-10-14 math.PR math.ST stat.TH
Hierarchical Infinite Relational Model
Massachusetts Institute of Technology（麻省理工学院）
本文介绍了层次无限关系模型（HALF），一个新的概率生成模型的噪声，稀疏，异构关系数据。给定一组定义在域集合上的关系，该模型首先使用顶级中餐馆过程推断多个不重叠的关系集群。在每个关系集群内，然后使用Dirichlet过程混合来划分域实体并对关系值的概率分布进行建模。该模型概括了标准的无限关系模型，可用于各种数据分析任务，包括依赖检测，聚类和密度估计。我们提出了新的算法完全贝叶斯后验推理通过吉布斯抽样。我们说明了该方法的有效性的密度估计基准的20个对象属性数据集高达18万个细胞，并使用它来发现现实世界的数据集从政治和基因组学的关系结构。
2021-08-16 cs.AI cs.LG stat.ME
Efficient Marginalization-based MCMC Methods for Hierarchical Bayesian Inverse Problems
North Carolina State University（北卡罗来纳州立大学）；University of Montana（蒙大拿大学）；Clemson University（克莱姆森大学）
本文提出了一种高效的基于边缘化的MCMC方法，用于解决分层贝叶斯反问题，通过结合低秩技术与边缘化方法，提高了高维状态下的计算效率和统计效率。
2019-06-06 cs.NA math.NA stat.CO
Well-posed Bayesian Inverse Problems with Infinitely-Divisible and Heavy-Tailed Prior Measures
Department of mathematics, Simon Fraser University（西蒙菲莎大学数学系）
本文提出基于广义伽马分布的新的先验测度，用于p∈(0,1)的ℓp正则化技术，展示其厚尾、非凸和无限可分性质，并探讨无限可分先验测度的尾行为与莱维测度的联系，定义新的函数空间先验测度，解决贝叶斯逆问题的良定性。
2017-02-21 cs.NA math.NA math.PR
A computational framework for infinite-dimensional Bayesian inverse problems: Part II. Stochastic Newton MCMC with application to ice sheet flow inverse problems
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种解决无限维反问题的计算框架，采用随机牛顿MCMC方法，通过低秩近似Hessian来加速采样，应用于冰盖流动反问题，展示了方法在收敛速度和计算成本上的优势。
2014-04-11 cs.NA math.NA math.OC
Continual Learning for Infinite Hierarchical Change-Point Detection
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
变点检测（CPD）的目的是定位一系列观测的生成模型中的突变。当考虑贝叶斯方法时，标准做法是推断变点位置的后验分布。然而，对于复杂的模型（高维或异构），不可能执行可靠的检测。为了避免这个问题，我们建议使用一个分层模型，它产生属于一个低维流形的意见。具体地说，我们考虑了一个潜在的类模型与无限数量的类别，这是基于中国餐馆过程（CRP）。对于这个模型，我们推导出一个连续的学习机制，是基于连续建设的CRP和期望最大化（EM）算法与随机最大化的步骤。我们的研究结果表明，所提出的方法是能够递归地推断潜在类的数量，并执行CPD在一个可靠的方式。
2019-10-22 cs.LG stat.ML
Sparsity promoting reconstructions via hierarchical prior models in diffuse optical tomography
本文针对扩散光学层析成像的非线性不适定逆问题，提出基于指数、标准伽马和逆伽马超先验的分层先验模型，并给出超参数选择方法，以改善稀疏目标重建的定位、对比度和边缘锐度。
2023-12-05 cs.NA math.NA math.OC
A computational framework for infinite-dimensional Bayesian inverse problems. Part I: The linearized case, with application to global seismic inversion
Institute for Computational Engineering & Sciences, The University of Texas at Austin（计算工程与科学研究所，德克萨斯大学奥斯汀分校）；Department of Mechanical Engineering, The University of Texas at Austin（机械工程系，德克萨斯大学奥斯汀分校）；Department of Geological Sciences, The University of Texas at Austin（地质科学系，德克萨斯大学奥斯汀分校）
本文提出一种计算框架，用于估计线性化无限维统计反问题数值解的不确定性，通过贝叶斯推断方法解决参数场的后验分布问题，并通过低秩近似和高效算法实现高维参数的可扩展计算。
2013-08-06 cs.NA math.NA math.OC
A hierarchical Bayesian setting for an inverse problem in linear parabolic PDEs with noisy boundary conditions
在这项工作中，我们开发了一个贝叶斯设置来推断未知参数的初边值问题相关的线性抛物型偏微分方程。对于给定的初始条件，我们实际上假设边界数据是有噪声的。我们展示了如何推导出联合似然函数的正问题，给出了一些测量的解决方案领域的高斯噪声。给定高斯先验的时间依赖的Dirichlet边界值，我们分析边缘化的联合似然使用方程的线性。我们的分层贝叶斯方法在涉及热方程的示例中完全实现。在该示例中，热扩散率是未知参数。我们假设热扩散率参数可以通过对数正态随机变量或通过空间相关的平稳对数正态随机场先验建模。合成数据被用来测试的推断。我们利用非归一化的日志后验分布的热扩散率的行为。然后，我们使用拉普拉斯方法来获得一个近似的高斯后验，从而避免昂贵的马尔可夫链蒙特卡罗计算。预期的信息增益和预测后验密度的可观测量的数值估计使用拉普拉斯近似为不同的实验设置。
2015-01-28 stat.ME
Tree-Structured Stick Breaking Processes for Hierarchical Data
许多数据自然地由未观察到的层次结构建模。在本文中，我们提出了一个灵活的非参数先验未知的数据层次。该方法使用嵌套的断棒过程，以允许无限的宽度和深度的树，其中数据可以生活在任何节点，是无限可交换的。人们可以将我们的模型视为提供无限混合物，其中组件具有对应于树下进化扩散的依赖结构。通过使用棒断裂方法，我们可以应用基于切片抽样的马尔可夫链蒙特卡罗方法进行贝叶斯推断，并从树木的后验分布进行模拟。我们将我们的方法应用于图像的层次聚类和文本数据的主题建模。
2010-06-05 stat.ME stat.ML
A Hierarchical Likelihood Model for Non-linear Inverse Problems under Additive and Multiplicative Noise
Univ. Lille, CNRS, Centrale Lille（里尔大学、法国国家科学研究中心、中央里尔理工学院）
针对加性和乘性噪声下的非线性逆问题，提出通用分层贝叶斯模型及高效MCMC算法。该方法无需校准近似模型超参数，更通用。通过天文学合成数据评估，在逐点估计和计算成本上达最优，为从业者选模型提供指导。
2026-07-27 eess.SP stat.ME
Taming Score-Based Diffusion Priors for Infinite-Dimensional Nonlinear Inverse Problems
University of Basel（巴塞尔大学）；Rice University（莱斯大学）；Ecole Polytechnique, IP Paris（巴黎综合理工学院（巴黎IP））；University of California Irvine（加州大学欧文分校）
本文提出一种函数空间中的采样方法，利用无限维基于分数的扩散模型作为先验，结合Langevin型MCMC算法，解决非线性贝叶斯逆问题，并提供收敛性分析及实验验证。
2024-05-24 cs.LG cs.NA math.NA
A Hierarchical Max-Infinitely Divisible Spatial Model for Extreme Precipitation
了解极端降水的空间范围对于确定洪水风险和充分设计基础设施（例如，雨水管）以承受这种危险。虽然环境现象通常在越来越极端的水平上表现出减弱的空间依赖性，但块最大值的极限最大稳定过程模型具有刚性依赖结构，无法捕获这种类型的行为。我们提出了一个灵活的贝叶斯模型，从一个更广泛的家庭（有条件）最大无限可分的过程，允许削弱空间依赖性在越来越极端的水平，由于层次表示的可能性方面的随机效应，我们的推理方法规模大的数据集。因此，我们的模型不仅具有灵活的依赖结构，但它也允许快速，完全贝叶斯推断，预测和条件模拟在高维。所提出的模型是使用灵活的随机基函数，估计从数据，允许直接检查的极端的主要空间模式。此外，所描述的过程具有（条件）的最大稳定性作为一个特殊的情况下，使推断的尾部依赖类可能。我们将我们的模型应用于美国东北部的极端降水，并表明所提出的模型充分捕捉了数据的极端行为。有趣的是，我们发现，从我们的模型估计的空间变化的主要模式类似于在沿海发生的极端降水事件中观察到的模式（例如，有局部的热带气旋和对流风暴）和山脉边界。我们的模型可以很容易地适应其他类型的环境数据集，因此对于识别极端天气模式和风险区域非常有用。
2020-03-23 stat.AP
Sparsity enforcing priors in inverse problems via Normal variance mixtures: model selection, algorithms and applications
当考虑贝叶斯方法时，反问题的解的稀疏结构可以使用不同的稀疏性执行先验来建模。模型未知量的解析表达式可以通过构建基于稀疏性强制分布的分层模型来获得，该稀疏性强制分布通过共轭先验来表示。我们考虑具有此性质的重尾分布：t分布，表示为正态尺度混合，混合分布为逆Gamma分布，拉普拉斯分布，也可以表示为正态尺度混合，混合分布为指数分布，或者可以表示为正态逆尺度混合，混合分布为逆Γ分布，双曲分布、方差-Γ分布、正态-逆高斯分布，所有这三种分布都使用广义双曲分布通过共轭分布表示。对于所有的分布迭代算法推导出分层模型的基础上，考虑到正向模型的不确定性。对于估计，使用通过变分贝叶斯近似（Vibration Bayesian Approximation，Vibration Bayesian Approximation）的最大后验（Maximum A Posterior，MAP）和后验均值（Posterior Mean，PM）。在三维计算机断层扫描（3D-CT）和时间生物学的应用中，所得到的算法的性能进行了比较。最后，一个理论研究的稀疏执行算法之间的比较，通过贝叶斯方法和稀疏执行算法发出的正则化技术，如LASSO和其他一些。
2017-05-29 stat.AP
Preconditioned Langevin Dynamics with Score-Based Generative Models for Infinite-Dimensional Linear Bayesian Inverse Problems
University of Basel（巴塞尔大学）；Ecole Polytechnique, IP Paris（巴黎高等理工学院）；University of California Irvine（加州大学尔湾分校）；Rice University（里奇大学）
本文提出利用基于分数的生成模型驱动的预条件兰格朗日动力学，解决无限维线性贝叶斯反问题，推导误差估计并保证全局收敛性。
2025-11-30 cs.LG cs.NA math.NA
Detailed Derivations of Small-Variance Asymptotics for some Hierarchical Bayesian Nonparametric Models
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
本文详细推导了分层狄利克雷过程（HDP）混合模型和HDP隐马尔可夫模型（HDP-HMM，a.k.a.无限HMM）。我们包括推导某些CRP和CRF分区的概率，这是更普遍的兴趣。
2014-12-31 cs.LG stat.ML
A multiscale Bayesian nonparametric framework for partial hierarchical clustering
本文提出一种多尺度贝叶斯非参数无限混合模型，通过精心设计核参数和无限分解实现部分层次聚类，能有效处理微小簇与单例，并支持 Gibbs 采样高效推断。
2024-06-28 stat.ME
An Unconditional Representation of the Conditional Score in Infinite-Dimensional Linear Inverse Problems
School of Engineering Science（工程科学学院）；Lappeenranta-Lahti University of Technology（拉普兰塔-拉赫蒂技术大学）；Vienna University of Technology (TU Wien)（维也纳技术大学）；Department of Mathematics and Statistics（数学与统计学系）；University of Helsinki（赫尔辛基大学）；Department of Computational and Applied Mathematics（计算与应用数学系）；Rice University（里士满大学）
本文提出了一种针对线性逆问题的无条件条件分数表示方法，通过离线训练避免正向模型评估，实现高效且精确的采样。
2025-11-22 cs.LG cs.NA math.AP
A gradient-free subspace-adjusting ensemble sampler for infinite-dimensional Bayesian inverse problems
在高维空间中对尖锐后验样本进行采样是一个具有挑战性的问题，特别是当似然函数的梯度不可用时。在低到中等尺寸，仿射不变的方法，一类基于集成的无梯度的方法，已发现在采样集中后验的成功。然而，系综成员的数量必须超过未知状态的维度，以便正确的分布成为目标。相反，预处理Crank-Nicolson（pCN）算法在高维采样时成功，但当后验与前验显著不同时，样本变得高度相关。在这篇文章中，我们将上述方法以两种不同的方式结合起来，试图找到一种折衷的方法。第一种方法涉及用当前集合的协方差来膨胀pCN中的建议协方差，而第二种方法在不断适应的低维子空间上执行近似仿射不变的步骤，同时在其正交补上使用pCN。
2022-02-22 cs.NA math.NA stat.CO
Infinite mixtures of multivariate normal-inverse Gaussian distributions for clustering of skewed data
多变量正态逆高斯（MNIG）分布的混合可以用于对表现出偏态和重尾等特征的数据进行聚类。然而，对于聚类分析，使用传统的有限混合模型框架，或者组分的数量需要是已知的$a$ - $priori$，或者需要在导出可能数量的组分的范围的结果之后使用某种模型选择标准来估计$a$ - $posteriori$。然而，不同的模型选择标准有时会导致不同数量的组件产生不确定性。在这里，一个无限混合模型框架，也被称为狄利克雷过程混合模型，提出了混合MNIG分布。该狄利克雷过程混合物模型方法允许组分数量从1到$\infty$（实际上从1到$N$）自由增长或衰减，并且组分数量与贝叶斯框架中的参数估计值一起推断，从而减轻了对模型选择标准的需求。我们提供了真实的数据应用程序与基准数据集，以及一个小的模拟实验，与其他现有的模型进行比较。所提出的方法提供了竞争力的聚类结果，其他聚类方法的模拟和真实的数据和参数恢复说明使用模拟研究。
2020-05-11 stat.ME
Hierarchical Bayesian Inverse Problems: A High-Dimensional Statistics Viewpoint
本文从高维统计视角分析分层贝叶斯逆问题，利用正则化器的近似可分性获得最大后验估计重建误差的非渐近界，并解释了利用稀疏性的模型在高维环境下的准确重建机制。
2024-01-05 cs.NA math.NA math.ST
An Inverse Problem for Infinitely Divisible Moving Average Random Fields
给出了具有已知简单函数$f$的无限可分滑动平均随机场$\{\int_{\mathbb{R}^d} f(x-t)Λ(dx); \ t \in \mathbb{R}^d \}$的低频样本，研究了独立离散随机测度$Λ$的Lévy特征的非参数估计问题.我们提供了三种方法，一个简单的插件的方法，基于傅里叶变换的方法和一种方法，涉及分解相对于$L^2$ -规范正交基，它允许估计的Lévy密度的$Λ$。对于这些方法，给出了$L^2$ -误差的界。他们的数值性能进行了比较，在模拟研究。
2017-05-26 math.ST stat.TH
Learning linear operators: Infinite-dimensional regression as a well-behaved non-compact inverse problem
该研究将无限维线性算子学习问题转化为非紧逆问题，证明其在谱性质和正则化理论上等价于标量响应回归的紧逆问题，推导了无维度学习速率，适用于多种回归场景。
2024-07-10 math.FA math.PR math.ST
Sequential Monte Carlo with Gaussian Mixture Approximation for Infinite-Dimensional Statistical Inverse Problems
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））
本文提出了一种基于高斯混合近似的序贯蒙特卡洛方法，用于解决无限维统计反问题，通过构建预条件转移核和收敛定理，实现了对后验分布的精确估计并展示了离散不变性。
2026-08-11 cs.NA math.NA math.ST
