Consistency of modified versions of Bayesian Information Criterion in sparse linear regression with subgaussian errors
我们考虑一个稀疏的线性回归模型，当可用的预测，$p$，是远远大于样本量，$n$，和非零系数的数量，$p_0$，是小的。在这种情况下，我们不能使用经典的模型选择标准来选择回归模型。近年来，已经提出了特殊的方法来处理这类问题，例如贝叶斯信息准则的修改版本，如mBIC或mBIC 2。结果表明，这些标准是一致的假设下，$n$和$p$以及$p_0$趋于无穷大和误差项是正态分布。本文在误差项为次高斯随机变量的假设下证明了mBIC和mBIC 2的相合性。
2018-05-29 math.ST stat.TH
Consistency and efficiency of Bayesian estimators in generalised linear inverse problems
将统计逆问题公式化为贝叶斯模型中的推理之一具有很大的吸引力，特别是这在一致性方面带来了什么，正则化惩罚的可解释性，所有不确定性的整合，以及可以详细说明设置的原则性方式，以涵盖更广泛的背景特征，例如测量误差，间接观察，贝叶斯公式接近于大多数科学家直观地看待推理任务的方式，并且原则上允许在概率模型构建中自由使用学科知识。然而，在某些问题的解决方案是不唯一的，例如在不适定的反问题，重要的是要了解所选择的贝叶斯模型和所得的解决方案之间的关系。以发射断层成像为例，给出了重建后验分布一致性的结果，以及研究后验分布收敛性的一般方法。为了研究约束条件下不适定线性反问题的贝叶斯推断的有效性，我们证明了非正则贝叶斯模型的Bernstein-vonMises定理。
2012-12-18 math.ST stat.TH
Bayesian Consistency with the Supremum Metric
我们提出了简单的条件贝叶斯一致性的上确界度量。该技术的关键是一个三角不等式，它允许我们明确使用弱收敛，一个标准的Kullback-Leibler支持条件的先验的后果。另一个条件是确保密度的平滑版本不会太远离原始密度，从而处理可能过于接近数据的密度。本文的一个关键结果是，我们证明上确界的一致性使用较弱的条件相比，目前使用的安全$\mathbb{L}_1$的一致性。
2022-01-10 math.ST stat.ML stat.TH
On posterior concentration rates for Bayesian quantile regression based on the misspecified asymmetric Laplace likelihood
非对称拉普拉斯密度（ALD）被用作贝叶斯分位数回归的工作似然。Sriram等人（2013）基于错误指定的ALD推导出贝叶斯线性分位数回归的后验一致性。虽然他们的论文也主张$\sqrt{n}-$的一致性，但Sriram和Ramamoorthi（2017）强调，该论点仅适用于小于$\sqrt{n}$的比率。因此，$\sqrt{n}-$率的问题仍然没有得到解决，但有必要进行有意义的贝叶斯推断的基础上的ALD。在本文中，我们得出的结果，以获得后验一致率贝叶斯分位数回归的基础上误指定的ALD。我们得出我们的结果在一个稍微一般的设置，分位数函数可能是非线性的。特别地，我们给出了使用ALD的贝叶斯线性分位数回归的$\sqrt{n}-$一致性的充分条件。我们还提供了贝叶斯非线性分位数回归的例子。
2020-08-08 math.ST stat.TH
A note on the geometry of the MAP partition in Conjugate Exponential Bayesian Mixture Models
本文研究了贝叶斯混合模型中最大后验概率（MAP）划分的几何性质，其中成分分布和基分布都是从共轭指数族中选取的。我们证明，在这种情况下，集群分离的轮廓线的线性泛函的充分统计量。作为一个特定的例子，我们描述了贝叶斯混合正态分布与正态-逆-Wishart之前的组件的平均值和协方差，其中集群在任何MAP分区分离的二次曲面。结合Rajkowski（2018）的结果，其中证明了具有固定分量协方差阵的贝叶斯混合模型中聚类的线性可分性，它给出了Fisher判别分析（LDA和QDA）几何特性的很好的贝叶斯模拟。
2019-06-24 math.ST stat.TH
Consistency of Bayesian Linear Model Selection With a Growing Number of Parameters
参数越来越多的线性模型在现代统计学中得到了广泛的应用。这类模型的一个重要问题是变量的选择问题。贝叶斯方法，它提供了一个随机搜索的信息变量，已经得到普及。本文研究了当模型维数$p$随样本量$n$增长时贝叶斯模型选择的渐近性质。我们考虑$p\le n$，并提供了充分条件，在此条件下：（1）大概率下，真实模型（从中抽取样本）的后验概率均匀地支配任何不正确模型的后验概率;（2）大概率下，真实模型的后验概率收敛于1。（1）和（2）都保证在贝叶斯框架下选择真实模型。我们还演示了（1）成立但（2）失败的几种情况，这说明了这两个属性之间的差异。最后给出了模拟算例来说明主要结果。
2012-02-02 math.ST stat.TH
Exponential two-armed bandit problem
研究了收益服从指数分布密度的指数型双臂强盗问题。我们发展了贝叶斯方法，并给出了确定贝叶斯策略和贝叶斯风险的递归方程。在控制时域趋于无穷大的极限情形下，得到了“闭分布”区域内的二阶偏微分方程。并与高斯双臂强盗模型进行了比较。事实证明，指数型和高斯型双臂强盗在极限情况下具有相同的描述。由于高斯双臂强盗描述了批处理，这意味着在指数双臂强盗的情况下，批处理与一个接一个的最佳处理相比不会扩大贝叶斯风险，因为处理的数据项的总数趋于无穷大。
2019-08-15 math.ST stat.TH
Consistency of Bayesian nonparametric inference for discretely observed jump diffusions
我们引入可验证的标准弱后验一致性的可识别贝叶斯非参数推断跳跃扩散与单位扩散系数和一致Lipschitz漂移和跳跃系数在任意维。该标准用描述该过程的随机微分方程的系数来表示，并且不依赖于跃迁密度等棘手的量。我们还表明，产品的离散网络和狄利克雷混合模型先验满足我们的条件下，再次可识别的假设。这概括了已知的结果，将跳跃到以前的工作单位扩散一致Lipschitz漂移系数。
2018-09-14 math.PR math.ST stat.TH
Nearly optimal Bayesian Shrinkage for High Dimensional Regression
在过去的十年中，收缩先验在高维数据的贝叶斯分析中受到了广泛的关注。本文建立了高维线性回归的后验相合性，它具有厚而平的尾，并且在零的一个很小的邻域内分配了足够大的概率质量。在后验模拟中，收缩先验在效率上与钉板先验相比，具有接近最优的后验收缩率和变量选择一致性。数值结果表明，在后验一致性条件下，贝叶斯方法在变量选择上比正则化方法如Lasso和SCAD能得到更好的结果。本文还建立了一个Bernstein von-Mises型结果，为回归系数估计的不确定性量化提供了一种简便的方法。
2022-10-08 math.ST stat.TH
Bayesian mixture models (in)consistency for the number of clusters
本文研究了贝叶斯非参数混合模型在真实成分数量有限时的聚类数量后验不一致性问题，将已有结论扩展至Gibbs型过程及其有限维表示，并提出一种可推广的后处理算法以实现一致的成分数量估计。
2024-05-30 math.ST stat.TH
Bayesian posterior consistency in the functional randomly shifted curves model
在本文中，我们考虑所谓的形状不变模型，它代表的估计的一个函数$f^0$提交的随机平移规律$g^0$在白噪声模型。我们感兴趣的是这样一个模型时的变形规律是未知的。我们的目标是恢复过程$\PP_{f^0,g^0}$以及$f^0$和$g^0$的规律。从这个角度来看，我们采用贝叶斯的观点，并找到$f$和$g$的先验，使得当$n$走向$+\infty$时，后验分布以多项式速率集中在$\PP_{f^0,g^0}$周围。我们得到了形状$f^0$和分布$g^0$的对数后验收缩率。我们还推导出对数下界估计的$f^0$和$g^0$在频率论范式。
2013-03-12 math.ST stat.TH
Non-parametric Bayesian drift estimation for stochastic differential equations
本文考虑一维随机微分方程漂移系数的非参数贝叶斯估计问题。在适当的正则性条件下，弱于文献中先前提出的，我们建立后验一致性在这种情况下。此外，我们表明，后验一致性扩展到多维设置，以及，据我们所知，这是一个新的结果，在这种设置。
2013-02-25 math.ST stat.TH
The Bayes Estimator of a Conditional Density: Consistency
在贝叶斯框架下，我们证明了条件密度的最优估计是相容的。
2022-06-24 math.ST stat.TH
Bayes Extended Estimators for Curved Exponential Families
贝叶斯预测密度具有复杂的表示形式，除了在有限的情况下，不属于任何有限维统计模型。在本文中，我们介绍了它的简单的近似表示利用其投影到一个有限维指数族。当模型属于曲线指数族时，它的理论性质与贝叶斯预测密度的理论性质相似。它还表明，投影渐近一致的插件密度与后验均值的期望参数的指数族，我们称之为贝叶斯扩展估计。信息几何对应表明贝叶斯预测密度可以表示为无穷维指数族的后验均值。通过数值模拟证明了该近似的Kullback-Leibler风险性能，并表明随着指数族维数的增加，期望参数的后验均值逼近贝叶斯预测密度。它还表明，近似投影到一个指数家庭的合理规模是实际上有利的风险性能和计算成本。
2020-10-29 math.ST stat.TH
On Posterior consistency of Bayesian Changepoint models
虽然最近在高维线性模型的贝叶斯模型选择和变量选择方面取得了很多进展，但与频率论不同，文献中存在变点的工作并不多。我们考虑一个分层贝叶斯线性模型，其中通过均值模型影响观测值的协变量的活动集在不同的时间段之间可以变化。这种结构可能出现在社会科学/经济科学中，例如基于外部经济因素的房价突然变化，基于社会和建筑环境因素的犯罪率变化等。使用适当的自适应先验，我们概述了一个分层贝叶斯方法的发展，可以选择真正的变化点以及真正的协变量，具有很高的概率。我们提供了第一个详细的理论分析后验一致性或无协变量，在适当的条件下。吉布斯抽样技术提供了一种有效的计算策略。我们也考虑小样本模拟研究以及应用于犯罪预测的应用。
2021-02-25 math.ST stat.ME stat.TH
Bayesian nonparametric estimation and consistency of mixed multinomial logit choice models
研究了基于混合多项logit（MMNL）模型的离散选择模型的非参数估计。它已被证明，MMNL模型包括所有的离散选择模型的随机效用最大化的假设下，识别一个未知的分布$G$。注意到混合模型描述的MMNL，我们采用贝叶斯非参数方法，使用非参数先验未知的混合分布$G$，估计选择概率。我们提供了一个重要的理论支持，使用所提出的方法，通过调查的一致性的后验分布的一般非参数前的混合分布。一致性是根据一个$L_1$型距离的选择概率的空间上定义的，并通过扩展到一个回归模型框架最近的方法来实现强一致性的基础上的平方根的先验概率的求和。移动到估计，略有不同的技术，非面板和面板数据模型进行了讨论。对于实际实施，我们描述了高效和相对易于使用的阻塞吉布斯采样程序。这些程序的基础上近似的随机概率测度类有限棒断裂过程。仿真研究也进行了调查所提出的方法的性能。
2011-02-24 math.ST stat.TH
Optimal variable acceptance sampling plan for exponential distribution using Bayesian estimate under Type I hybrid censoring
本文针对指数寿命产品在I型混合截尾下，提出基于贝叶斯估计的变量验收抽样方案，通过平方误差损失和Linex损失函数优化检验成本，实验表明其期望成本显著低于传统最大似然估计方案。
2023-11-28 math.ST stat.TH
Objective Bayesian analysis for the generalized exponential distribution
本文针对广义指数分布提出基于独立 Jeffreys 先验的客观贝叶斯推断，验证后验适定性，并通过广义均匀比抽样算法进行高效后验推断，模拟和真实数据验证了方法表现。
2023-09-23 math.ST stat.ME stat.TH
Consistent non-parametric Bayesian estimation for a time-inhomogeneous Brownian motion
建立了非时齐布朗运动离散系数非参数贝叶斯估计的后验相合性。
2013-04-24 math.ST stat.TH
Bayesian inference for high-dimensional decomposable graphs
在本文中，我们考虑高维高斯图形模型，真正的底层图是可分解的。提出了一种分层的$G$ -Wishart先验，对精度矩阵及其图结构进行贝叶斯推理。近年来，虽然基于$G$ -Wishart先验的后验渐近性得到了越来越多的关注，但大多数结果都假设了适度的高维环境，其中变量数$p$小于样本量$n$。然而，这种假设在许多实际应用中可能不成立，如基因组学，语音识别和气候学。出于这个差距，我们调查下的高维设置，其中$p$可以远远大于$n$的后验的渐近性质。在此高维环境下，得到了两两贝叶斯因子一致性、后验比一致性和图选择一致性。进一步，在矩阵$\ell_1$ -范数下，得到了精确矩阵的后验收敛速度，证明了该收敛速度与稀疏精确矩阵的minimax收敛速度一致.仿真研究证实，所提出的贝叶斯过程优于竞争对手。
2021-02-17 math.ST stat.TH
Remarks on consistency of posterior distributions
近年来，贝叶斯渐近领域的文献迅速增长。从后验分布的一致性角度理解后验一致性的概念并验证特定的贝叶斯方法变得越来越重要。本文建立了后验分布一致性的一些概念性问题，并通过比较文献中研究后验一致性的各种方法，对它们进行了全景式的讨论。此外，我们提供了有趣的结果后一致性，处理非指数一致性，不适当的先验和非独立同分布。（独立但非同分布）观察。我们描述了几个例子来说明。
2008-05-21 math.ST stat.TH
Can we trust Bayesian uncertainty quantification from Gaussian process priors with squared exponential covariance kernel?
研究了具有平方指数协方差核的高斯过程先验的可信集的频率覆盖性质。首先，我们表明，通过选择缩放超参数使用最大边际似然估计（略有修改）平方指数协方差内核的相应的可信集将提供过度自信，误导性的不确定性声明的一个大的，有代表性的子类的功能参数的背景下的高斯白噪声模型。然后我们证明了，无论是用对数因子爆破可信集，还是用对数项修正极大边际似然估计，在一定的附加约束下，都可以得到可靠的不确定性陈述和可信集的自适应大小。最后，我们证明了一个数值研究，推导出的负面和正面的结果超出了高斯白噪声模型的非参数回归和分类模型的小样本量以及。
2019-04-02 math.ST stat.TH
High-dimensional posterior consistency for hierarchical non-local priors in regression
贝叶斯变量选择中调整参数的选择是现代统计学中的一个关键问题。特别地，对于非局部先验的贝叶斯线性回归，非局部先验密度中的尺度参数是一个重要的调整参数，它反映了非局部先验密度在零附近的离散度，并隐含地决定了将收缩到零的回归系数的大小.当前的方法将尺度参数视为给定的，并且基于先前的覆盖/渐近考虑来建议选择。在本文中，我们考虑了（Wu，2016）中引入的完全贝叶斯方法，其中具有pvp非局部先验和关于调整参数的适当的逆伽马先验，以分析潜在的理论性质。在标准的规律性假设下，我们建立了强的模型选择的一致性，在高维设置，其中$p$被允许以多项式的速度增加n$，甚至在一个次指数的速度与n。通过模拟研究，我们证明了我们的模型选择过程可以优于其他贝叶斯方法，处理的尺度参数给定的，常用的惩罚似然方法，在一系列的模拟设置。
2019-02-22 math.ST stat.TH
Consistency of Bayesian procedures for variable selection
人们早就知道，对于成对嵌套模型的比较，基于贝叶斯因子的决策会产生一致的模型选择器（在频率论意义上）。在这里，我们超越了通常的嵌套成对模型的一致性，并表明，对于广泛的一类先验分布，包括内在先验，相应的贝叶斯程序的变量选择在正态回归是一致的，在整个类的正常线性模型。我们发现，贝叶斯因子的渐近性的内在先验是等价的Schwarz（BIC）准则。此外，回想一下Jeffreys-Lindley悖论是指一个众所周知的事实，即当共轭先验的方差趋于无穷大时，正态均值参数上的一个点原假设总是可以接受的。这意味着某些极限形式的真先验分布不一定适合于检验问题。内在先验是适当的先验分布的限制，有限的样本量，他们已被证明表现非常好的回归变量选择的结果是，内在先验林德利悖论不会出现。
2009-04-20 math.ST stat.TH
Bayesian Graph Selection Consistency Under Model Misspecification
高斯图模型是一种流行的工具，用于学习感兴趣的变量之间的图形式的依赖结构。贝叶斯方法在过去的二十年里越来越受欢迎，因为它们能够同时学习协方差和图形，并描述选择中的不确定性。为了提高马尔可夫链蒙特卡罗算法的可扩展性，通常在图空间上施加可分解性。各种各样的图形共轭先验联合提出的协方差阵和图与改进的算法，搜索沿空间的可分解图，呈现的方法非常流行的背景下，多元依赖建模。{ \it贝叶斯可分解结构学习中的一个开放问题是当变量的维数随着样本量增加时，后验分布是否能够选择一个有意义的可分解图，该图在适当的意义上与真正的不可分解图“接近”。在这篇文章中，我们探讨了真正的精度矩阵和图形的具体条件，这导致在一个肯定的答案，这个问题使用一个常用的超逆Wishart先验的协方差阵和一个合适的复杂性先验的图空间，无论是在良好的指定和错误的设置。在没有结构稀疏性假设的情况下，我们的强选择一致性在高维环境中成立，其中$p = O(n^α)$为$α< 1/3$。我们证明了当真图是不可分解的时，图上的后验分布集中在一组图上，这些图是真图的{ \it最小三角剖分}。
2019-04-01 math.ST stat.TH
Bayesian Joint Chance Constrained Optimization: Approximations and Statistical Consistency
Texas A& M University（得克萨斯农工大学）；Purdue University（普渡大学）
本文研究贝叶斯框架下机会约束随机优化问题，证明使用近似后验分布所得最优值具有频率学派统计一致性并给出概率收敛速率，同时证明问题的凸可行性，并在M/M/c排队模型上验证了方法有效性。
2022-10-01 cs.LG math.OC math.ST
Convergence and asymptotic normality of variational Bayesian approximations for exponential family models with missing values
研究了缺失值指数族模型变分Bayes逼近的性质。证明了当样本量变大时，变分贝叶斯估计的迭代算法以概率1局部收敛于真值。证明了变分后验分布是渐近正态的。
2012-07-11 math.ST stat.CO stat.ME
Consistency of Graphical Model-based Clustering: Robust Clustering using Bayesian Spanning Forest
University of Florida（佛罗里达大学）
本文研究了基于图模型的聚类一致性问题，通过贝叶斯生成森林方法在数据生成过程偏离假设图模型时仍能获得一致聚类结果，包括聚类数估计。
2026-05-13 math.ST stat.TH
Posterior Graph Selection and Estimation Consistency for High-dimensional Bayesian DAG Models
高维多元数据的协方差估计与选择是现代统计学中的一个基本问题。高斯有向无环图（DAG）模型是用于此目的的一类流行的模型。高斯DAG模型在逆协方差阵的Cholesky因子中引入稀疏性，稀疏性模式又对应于对基础变量的特定条件独立性假设。近年来，各种先验已经开发了贝叶斯推断在DAG模型，但这些模型的关键收敛性和稀疏性选择属性还没有得到彻底的研究。这些先验知识中的大多数是Wishart分布在DAG上下文中的适应或概括。在本文中，我们考虑了灵活的和一般的类，这些“DAG Wishart”先验与多个形状参数。在弱正则性假设下，当变量p随样本量样本量n以适当的次指数速率增长时，我们建立了强图选择一致性和后验收敛率.
2017-10-11 math.ST stat.ME stat.TH
Consistency of the Bayesian Information Criterion for Model Selection in Exploratory Factor Analysis
Institute of Mathematics for Industry, Kyushu University（九州大学产业数学研究所）；Department of Mathematical and Physical Sciences, La Trobe University（拉筹伯大学数理科学院）
本文研究了在固定维度的探索性因子分析中，贝叶斯信息准则（BIC）在固定有限协方差类中的模型选择一致性，证明了在参数不规范情况下，BIC在伪真实因子顺序下强一致。
2026-04-09 math.ST stat.TH
Multiplicative noise in Bayesian inverse problems: Well-posedness and consistency of MAP estimators
乘性噪声出现在反问题中，例如，测量的不确定性与测量本身的大小成比例。因此，产生的可能性比来自加性噪声的可能性更复杂。我们考虑两种乘性噪声模型：纯乘性噪声，和乘性噪声和加性噪声的混合。采用贝叶斯方法，我们提供的条件所产生的后验分布在巴拿赫空间上是连续的扰动的数据;除了乘性噪声的加性噪声的列入作为一种形式的正则化，允许温和的条件下的前向映射。此外，我们表明，MAP估计存在的纯乘性和混合噪声模型时，高斯先验，并为后者证明，他们是一致的小噪声限制时，所有的噪声是高斯。
2019-10-31 math.PR math.ST stat.TH
Posteriors, conjugacy, and exponential families for completely random measures
我们演示了如何计算后验一般CRM为基础的先验和似然贝叶斯非参数模型。我们进一步展示了如何表示贝叶斯非参数先验作为一个序列的有限提请使用大小偏置的方法-以及如何表示完整的贝叶斯非参数模型通过有限的边际。出于共轭先验的基础上指数族表示的可能性，我们引入了一个概念的指数族标准物质，我们称之为指数标准物质。这种结构使我们能够指定自动贝叶斯非参数共轭先验指数CRM似然。我们证明，我们的指数标准物质允许特别简单的配方贝叶斯非参数模型的大小偏置和边际表示。一路上，我们证明了伽玛过程是一个共轭先验的泊松似然过程和β素数过程是一个共轭先验的过程，我们称之为赔率伯努利过程。我们提供了一个大小偏置的伽玛过程和伽玛过程的边缘表示加上泊松似然过程。
2016-04-22 math.ST stat.ME stat.TH
Large Deviation Asymptotics and Bayesian Posterior Consistency on Stochastic Processes and Dynamical Systems
本文结合 Varadhan 引理、淬火/退火大偏差与指数逼近，建立长程相关随机过程及动力系统的广义贝叶斯后验收敛性框架，并给出混合过程与 Markov 过程的新结果。
2023-04-24 math.DS math.PR math.ST
Necessary and Sufficient Conditions for High-Dimensional Posterior Consistency under $g$-Priors
我们检查充要条件后一致性下$g$先验，包括扩展到层次和经验贝叶斯模型。这篇文章的主要特点是，我们允许回归的数量以相同的速度增长的样本量和定义后验一致性下的超向量范数，而不是更传统的欧几里德范数。我们特别考虑了George和Foster（2000）的经验贝叶斯模型、Liang等人（2008）的hyper- $g$ -prior以及Zellner和Siow（1980）考虑的先验。
2015-09-03 math.ST stat.TH
Schnorr Randomness and Effective Bayesian Consistency and Inconsistency
University of California, Irvine（加州大学尔湾分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Carnegie Mellon University（卡内基梅隆大学）
该研究从可计算概率与算法随机性视角，结合Schnorr随机性，解决了Diaconis和Freedman关于贝叶斯规则一致性参数的问题，强化了Martin-Löf随机性相关结果。
2026-10-19 math.LO math.ST stat.TH
Towards Reconciliation between Bayesian and Frequentist Reasoning
一个关于抽样分布参数的定量推理理论是通过遵循非常一般的规则演绎构建的，称为Cox-Polya-Jaynes Desiderata。根据分配给参数的概率分布进行推断。该Desiderata，主要集中在合理的推理的一致性，导致这些概率的抽样分布的情况下，是不变的李群的唯一分配。在标量情况下，例如在推断单个位置或尺度参数的情况下，对逻辑一致性的要求等同于对校准的要求：一致的概率分布也自动是具有精确校准的概率分布，反之亦然。这种等价性有利于贝叶斯和频率论推理学派之间的和解。
2005-10-28 math.ST stat.TH
Bayesian Sparse Linear Regression with Unknown Symmetric Error
我们研究了稀疏线性回归的贝叶斯程序时，错误有一个对称的，但在其他方面未知的分布。未知的误差分布被赋予一个对称的Dirichlet过程混合高斯。对于回归系数的先验，考虑了零点质量和连续分布的混合。我们研究了预测变量个数不同的后验概率的行为。条件提供的平均海林格距离的一致性。相容性和限制特征值条件分别给出了回归系数在$\ell_1$ -和$\ell_2$ -范数下的极小极大收敛速度.在相容性条件下，算法的收敛速度同时适应于未知的稀疏度和未知的对称误差密度。此外，强模型选择的一致性和半参数Bernstein-von Mises定理被证明在稍强的条件。
2019-03-22 math.ST stat.TH
On Classical and Bayesian Asymptotics in Stochastic Differential Equations with Random Effects having Mixture Normal Distributions
Delattre等人（2013）考虑了随机效应设置中的随机微分方程（SDEs）系统。在独立恒等（iid）情形下，假设随机效应服从正态分布，建立了随机效应总体参数的极大似然估计的弱相合性.在这篇文章中，尊重日益增加的重要性和通用性的正常混合和他们的能力，以接近任何标准分布，我们认为随机效应混合的正态分布，并证明渐近结果与MLE在独立和相同（iid）和独立，但不相同（non-iid）的情况。此外，我们认为iid和非iid设置下的贝叶斯范式和建立后验一致性和渐近正态性的总体参数的后验分布，即使当混合成分的数量是未知的，并作为一个随机变量。虽然我们是一个独立的工作，我们后来注意到，Delattre等人。（2016）也假设了随机效应参数的正态混合分布的随机设置，但只考虑了iid的情况，并且在一个额外的强假设下只证明了MLE的弱一致性，而不是强一致性，我们能够在没有额外假设的情况下证明。此外，他们没有处理渐近正态性的MLE或贝叶斯渐近对应，我们在详细调查。充分的模拟实验和应用到一个真实的，股票市场的数据集揭示了我们的方法，即使是小样本的重要性和实用性。
2020-05-01 math.ST stat.TH
On the Statistical Consistency of Risk-Sensitive Bayesian Decision-Making
我们在贝叶斯框架下研究数据驱动的决策问题，其中贝叶斯风险中的期望被风险敏感的熵风险度量所取代。我们专注于计算的后验分布是棘手的问题，在现代应用程序中的一个典型的情况下，大型数据集和复杂的数据生成模型。我们利用熵风险度量的双重表示引入一种新的风险敏感变分贝叶斯（RSVB）框架，用于联合计算风险敏感后验近似和相应的决策规则。建议RSVB框架可以用来提取计算方法做风险敏感的近似贝叶斯推理。我们表明，我们的一般框架包括两个著名的计算方法做近似贝叶斯推理即天真VB和损失校准VB。我们还研究了这些计算近似对推断的决策规则和值的预测性能的影响。我们计算了RSVB近似后验的收敛速度以及相应的最优值和决策规则。我们说明了我们的理论研究结果在参数和非参数设置的帮助下，三个例子：单一和多产品报童模型和高斯过程分类。
2021-09-09 math.OC math.PR math.ST
Joint Bayesian Variable and DAG Selection Consistency for High-dimensional Regression Models with Network-structured Covariates
考虑了高维回归模型中协变量的回归系数和协变量的协方差阵的联合稀疏估计问题，其中预测变量既与响应变量相关，又通过高斯有向无圈图（DAG）模型在函数上相互关联.高斯DAG模型在逆协方差阵的Cholesky因子中引入稀疏性，而稀疏性模式又对应于对基础预测变量的特定条件独立性假设。近年来已经开发了各种方法贝叶斯推理在确定这样的网络结构的预测回归设置，但这些模型的重要稀疏性选择属性还没有得到彻底的研究。本文研究了一类在回归系数上具有spike和slab先验的递阶模型和一类在逆协方差阵的Cholesky因子上具有多个形状参数的灵活且一般的DAG-Wishart分布.在温和的规律性假设下，我们建立了联合选择一致性的变量和潜在的DAG的协变量时，预测的维度允许增长远远大于样本量。我们证明了我们的方法优于现有的方法在选择网络结构的预测在几个模拟设置。
2020-04-20 math.ST stat.ME stat.TH
Linear regression through PAC-Bayesian truncation
本文考虑了线性组合在L^ \infty约束下的最小二乘回归中的预测问题以及给定d个函数的最佳线性组合问题。当输入分布已知时，已经存在具有d/n阶期望超额风险的算法，其中n是训练数据的大小。如果没有这个强假设，标准结果通常包含乘法log（n）因子、涉及协变量的Gram矩阵条件的复常数、峰度系数或表征L^2和L^ \infty -球之间关系的一些几何量，并且需要一些额外的假设，如输出的指数矩。本文提出了一种在不同假设条件下，具有d/n阶期望和偏差的简单超额风险界的PAC-Bayesian收缩过程。这些结果的共同令人惊讶的因素是它们的简单性和指数矩条件下的输出分布，而实现指数偏差的情况下。风险界是通过对截断损失差的PAC-Bayesian分析得到的。我们还证明了这些结果可以推广到其他强凸损失函数。
2011-09-12 math.ST stat.TH
On convergence rates of Bayesian predictive densities and posterior distributions
贝叶斯后验分布的频率型大样本性质，如一致性和收敛速度，在非参数问题中是重要的考虑因素。在本文中，我们给出了贝叶斯渐近分析的基础上，主要是预测密度。我们的分析是统一的，在这个意义上，基本上可以采取相同的方法来开发收敛速度的结果在iid，错误指定的iid，独立的非iid，和依赖的数据情况。
2012-09-29 math.ST stat.TH
Posterior Consistency for Bayesian Relevance Vector Machines
University of Florida（佛罗里达大学）
样本量远小于可用协变量数量的统计建模和推断问题具有挑战性。Chakraborty等人（2012）使用基于再生核希尔伯特空间（RKHS）的相关向量机对这种情况下的非线性回归进行了全面的分层贝叶斯分析。但他们没有提供任何与他们的程序相关的理论性质。本文重新审视了他们的问题，引入了一类新的全局-局部先验，并给出了后验一致性和后验收缩率的结果
2022-02-11 cs.LG stat.ML
Learning Bayesian Networks from Incomplete Data with the Node-Average Likelihood
贝叶斯网络（BN）的结构学习从完整的数据已被广泛研究的文献。然而，较少的理论结果可用于不完整的数据，大多数都与期望最大化（EM）算法。Balov（2013）提出了一种称为节点平均似然（NAL）的替代方法，该方法与EM竞争，但计算效率更高;他证明了其离散BN的一致性和模型可识别性。在本文中，我们给出了一般的充分条件的NAL的一致性，我们证明了一致性和可识别性的条件高斯BN，其中包括离散和高斯BN的特殊情况。此外，我们通过独立的模拟研究证实了我们的结果和Balov（2013）的结果。因此，我们表明NAL具有比Balov（2013）中最初暗示的更广泛的适用性，并且它也与EM竞争条件高斯BN。
2021-07-22 math.ST stat.ML stat.TH
Bayesian model selection consistency and oracle inequality with intractable marginal likelihood
在这篇文章中，我们研究了大样本性质的模型选择过程中的一般贝叶斯框架时，封闭形式的表达的边缘似然函数是不可用的或局部渐近二次近似的对数似然函数不存在。在真实模型的适当可辨识性假设下，我们提供了贝叶斯模型选择过程是一致的并服从奥卡姆剃刀现象的充分条件，即，当样本量趋于无穷大时，选择包含真值的“最小”模型的概率趋于1。为了表明贝叶斯模型选择过程选择包含真理的最小模型，我们施加了先验反集中条件，要求由大模型分配给真理邻域的先验质量足够小。在一个更一般的设置，强模型可识别性假设可能不成立，我们引入了局部贝叶斯复杂性的概念，并开发贝叶斯模型选择过程的预言不等式。我们的贝叶斯预言不等式的特点之间的权衡近似误差和贝叶斯表征的局部复杂性的模型，说明了自适应性质的平均为基础的贝叶斯程序实现最佳的后验收敛率。模型选择理论的具体应用进行了讨论的背景下，高维非参数回归和密度回归的回归函数或条件密度被假定为依赖于一个固定的子集的预测。作为独立兴趣的结果，我们提出了一种获得平稳高斯过程小球概率上界的一般方法。
2017-01-09 math.ST stat.ME stat.ML
PAC-Bayesian Bounds for Deep Gaussian Processes
变分逼近技术和机器学习中随机模型的推理在过去几年中得到了广泛的关注。特别是在高斯过程（GP）及其深度版本，深度高斯过程（DGP）的情况下，这些观点改进了最先进的工作。在本文中，我们介绍了可能近似正确（PAC）贝叶斯风险界的DGP利用变分近似。我们证明了PAC-Bayesian推广风险界的最小化使得属于特定DGP模型的变分下界最大化。我们推广的损失函数属性的对数似然损失函数的PAC-Bayesian风险界的二次形式高斯的情况下。给出了一致性结果，并给出了一个预言型不等式的见解，在原始模型（预测无变分近似）和我们的变分模型（预测的变分近似）之间的收敛性。此外，我们给出了我们的主要定理的特定假设和参数的情况下的扩展。此外，我们还通过实验展示了两个深度递归高斯过程（DRGP）建模时间序列的一致性结果的演变，即递归高斯过程（RGP）和具有变分稀疏谱近似的DRGP，即DRGP-（V）SS。
2019-09-22 math.ST stat.TH
A Simple Example of Bayesian Nonparametric Inconsistency
本文给出一个简单例子，说明当先验尾部较重时，贝叶斯层次模型中分布函数的满支撑先验会产生不一致后验，统一推广了相关一致性与不一致性结果，具有启发意义。
2026-08-03 math.ST stat.TH
On Bayesian Estimation of Densities and Sampling Distributions: the Posterior Predictive Distribution as the Bayes Estimator
本文给出了两个突出的贝叶斯估计问题的最优性结果：平方全变差函数的抽样分布估计和$L^1$ -平方损失函数的密度估计.后验预测分布为这些问题提供了解决方案。文中给出了一些例子，并讨论了分布函数的贝叶斯估计问题。证明了密度估计的相合性。
2021-08-21 math.ST stat.TH
Posterior Consistency in Parametric Models via a Tighter Notion of Identifiability
本文证明参数模型中仅需适度加强可识别性即可保证贝叶斯后验一致性，无需经典正则条件，并阐明贝叶斯与频率学派不一致性的不同机制。
2025-05-25 math.ST stat.TH
Bayesian non-parametric inference for $Λ$-coalescents: consistency and a parametric method
研究了单位区间上概率测度参数化的具有常返突变的$Λ$ -聚结过程的$Λ$ -测度的贝叶斯非参数推断.给出了观测值为时间序列时后验一致性先验的可验证准则，并证明了当所有观测值同时发生时，任何非平凡先验都是不一致的.然后，我们表明，给定的数据集的大小$n \in \mathbb{N}$的可能性是恒定的$Λ$ -措施，其领先的$n - 2$时刻同意，并专注于推断截断序列的时刻。我们提供了一个大类的泛函，可以使用有限的计算给出了一个可信的区域后截断矩序列，和一个伪边缘梅特罗波利斯-黑斯廷斯算法采样后。最后，我们比较了效率的准确和嘈杂的伪边缘算法，并没有延迟接受加速使用模拟研究。
2017-01-23 math.PR math.ST q-bio.PE
Consistency of Bayesian inference with Gaussian process priors for a parabolic inverse problem
研究了热传导方程$$ \partial_tu-\frac{1}{2}Δu+fu=0 \quad \text{on $\mathcal{O}\times(0,\textbf{T})$}\quad u = g \quad \text{on $\partial\mathcal{O}\times(0,\textbf{T})$}\quad u(\cdot,0)=u_0 \quad \text{on $\mathcal{O}$}, $$中吸收项$f>0$的统计非线性反问题，其中$\mathcal{O}\in\mathbb{R}^d$为有界区域，$\textbf{T}<\infty$为固定时间，$g,u_0$为分别描述边界值和初值的充分光滑函数.数据由$\mathcal{O}\times(0,\textbf{T})$上的解决方案$u_f$的$N$离散噪声点评估组成。我们研究了贝叶斯非参数程序的统计性能的基础上一大类高斯过程先验。我们发现，随着测量次数的增加，产生的后验分布集中在生成数据的真实参数周围，并推导出相关后验均值的重建误差的收敛速度。我们还考虑了最优的收缩率，并证明了一个下界的极小极大收敛速度推断$f$从数据，并表明，最佳速率可以实现截断高斯先验。
2021-03-24 math.AP math.ST stat.TH
Bayesian Optimization with Exponential Convergence
MIT（麻省理工学院）
本文提出了一种指数收敛的贝叶斯优化方法，它不需要辅助优化，也不需要增量覆盖抽样。大多数贝叶斯优化方法需要辅助优化：一个额外的非凸全局优化问题，这可能是耗时的，很难在实践中实现。此外，现有的具有指数收敛的贝叶斯优化方法需要访问增量覆盖采样，这被认为是不切实际的。我们的方法消除了这两个要求，并实现了指数收敛速度。
2016-04-05 cs.LG stat.ML
Consistency of Bayesian inference with Gaussian process priors in an elliptic inverse problem
对于$\mathbb{R}^d$中的有界区域$\mathcal{O}$和给定的光滑函数$g:\mathcal{O}\to\mathbb{R}$，我们考虑了由解$u=u_f$在$\mathcal O$上的$N$离散噪声点估计恢复散度型方程$$ \nabla\cdot(f\nabla u)=g\ \textrm{on}\ \mathcal{O}, \quad u=0\ \textrm{on}\ \partial\mathcal{O}, $$中电导率$f>0$的统计非线性反问题.我们研究了贝叶斯非参数过程的统计性能的基础上灵活的一类高斯（或分层高斯）的过程先验，其实施是可行的MCMC方法。我们发现，随着测量的数量$N$的增加，产生的后验分布集中在真正的参数生成的数据，并推导出收敛速度$N^{-λ}, λ>0,$的重建误差的相关后验手段，在$L^2(\mathcal{O})$距离。
2020-03-06 cs.NA math.AP math.NA
On the Consistency of Graph-based Bayesian Learning and the Scalability of Sampling Algorithms
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Brown University（布朗大学）；University of Chicago（芝加哥大学）
半监督学习的一种流行方法是通过赋予输入数据一个图结构来提取几何信息并将其纳入贝叶斯框架。我们引入了新的理论，给出了适当的缩放图参数，可证明导致一个定义良好的限制后的未标记的数据集的大小增长。此外，我们表明，这些一致性的结果有深刻的算法影响。当一致性保持时，精心设计的基于图的马尔可夫链蒙特卡罗算法被证明具有均匀的谱间隙，与未标记输入的数量无关。几个数值实验证实了统计的一致性和算法的可扩展性建立的理论。
2020-01-12 cs.LG math.PR stat.CO
