Capital process and optimality properties of a Bayesian Skeptic in coin-tossing games
我们在Shafer和Vovk（2001）的博弈论概率框架下研究了公平硬币博弈和有偏硬币博弈中的资本过程行为。我们表明，如果怀疑论者使用贝叶斯策略与贝塔先验，资本过程是清晰地表示在过去的平均现实的动作。由此证明，怀疑论者的贝叶斯策略弱力强强大数律（SLLN）的收敛速度为O（\sqrt{\log n/n}）$，如果现实违反SLLN，那么资本过程的指数增长性率是非常准确地描述在现实的动作之间的Kullback分歧的平均值时，她违反SLLN和平均值时，她观察SLLN。我们还研究了贝叶斯策略的最优性。
2008-09-26 math.PR math.ST q-fin.TR
Smoothing and adaptation of shifted Pólya Tree ensembles
最近，S. Arlot和R.研究者已经证明，随机森林模型在估计$α-$ Hölder函数$α\leq2$时优于单树模型。这支持了树估计的集合比单树估计更平滑的想法。另一方面，基于贝叶斯树的方法的大多数正最优性结果假设$α\leq1$。自然地，人们想知道森林估计的贝叶斯对应物在更平滑的类上是否是最优的，就像在$α\leq 2$的频率估计中观察到的那样。我们详细讨论了密度估计的问题，并从经典的（截断）Pólya树贝叶斯nonparametrics建设的合奏估计。由此产生的贝叶斯森林估计，导致最佳的后验收缩率，对数项，为Hellinger和$L^1$距离概率密度函数$[0;1)$任意Hölder正则性$α>0$。这改善了以前的结果，为建设相关的Pólya树之前，其最优性只证明了在案件$α\leq 1$。此外，我们引入了一个自适应版本的这个新的先验的意义上说，它不需要的知识$α$被定义和达到最优。
2021-09-15 math.ST stat.TH
On Bayesian Estimation of Densities and Sampling Distributions: the Posterior Predictive Distribution as the Bayes Estimator
本文给出了两个突出的贝叶斯估计问题的最优性结果：平方全变差函数的抽样分布估计和$L^1$ -平方损失函数的密度估计.后验预测分布为这些问题提供了解决方案。文中给出了一些例子，并讨论了分布函数的贝叶斯估计问题。证明了密度估计的相合性。
2021-08-21 math.ST stat.TH
Bayesian $D$-optimal designs for error-in-variables models
贝叶斯最优性准则提供了一种鲁棒的设计策略，参数误设定。本文对协变量具有测量误差的非线性回归模型建立了贝叶斯$D$ -最优性的近似设计理论.极大似然和最小二乘估计的研究和明确的特征的贝叶斯$D$ -最优饱和设计的Michaelis-Menten，Emax和指数回归模型。对于不偏好特定参数值的情况，考虑了几个数据示例，其中使用均匀先验计算贝叶斯$D$最优饱和设计，并将其与其他几个设计进行比较，包括实践中经常使用的相应局部$D$最优设计。
2016-05-13 math.ST stat.ME stat.TH
Regression in random design and Bayesian warped wavelets estimators
本文研究随机设计下的回归问题。我们调查的最小最大的角度来看，各种贝叶斯规则的基础上扭曲小波的渐近最优性，并表明他们几乎达到最佳的最小最大的收敛速度超过Besov光滑类考虑。翘曲小波是近年来出现的一种新的小波，它具有很好的可计算性和易于实现的特性，同时也很好地适应了统计问题。我们特别强调贝叶斯规则的小方差和大方差高斯先验知识，并讨论他们的模拟性能比较硬阈值程序。
2009-08-20 math.ST stat.TH
Minimax and minimax adaptive estimation in multiplicative regression : locally bayesian approach
本文讨论了带乘性噪声的回归方程的非参数估计问题。利用局部多项式拟合和贝叶斯方法，构造了迷向Hölder类估计的Minimax.接下来应用Lepski的方法，我们提出的估计，这是最佳自适应的各向同性的Hölder类的集合。为了证明所提出的方法的最优性，我们特别建立了局部最佳估计与待估计参数的偏差的指数不等式。这些理论结果通过仿真研究得到了验证。
2012-07-23 math.ST stat.TH
On Asymptotic Optimality in Sequential Changepoint Detection: Non-iid Case
考虑一般随机模型的序贯贝叶斯变点检测问题，假设观测数据可能是相依和非同分布的，且变点的先验分布是任意的，不一定是几何分布. Tartakovsky和Veeravalli（2004）在非iid情况和离散时间中发展了变点检测的一般渐近理论，Baron和Tartakovsky（2006）在连续时间中假设对数似然比过程具有一定的稳定性。这种稳定性是用归一化对数似然比过程快速收敛到一个正的有限数来表示的，它可以解释为“变化”和“无变化”假设之间的有限Kullback-Leibler信息。在这些论文中，证明了在r-全收敛中可以放松r-快速收敛，这在特定的例子中通常更容易验证。在本文中，我们证明这一猜想表明，Shiryaev变化检测过程是接近最佳的，渐近最小化（作为虚警的概率消失）的时刻的延迟检测到r只要r-全收敛举行。我们还研究了贝叶斯背景下的Shiryaev-Roberts检测过程的渐近性质。
2016-01-13 math.ST stat.TH
Non-Bayesian Learning in Misspecified Models
该研究挑战了将偏离贝叶斯更新视为次优的传统观点，证明在模型误设的学习场景中，非贝叶斯更新的表现能够优于贝叶斯更新。
2025-10-03 econ.TH math.ST stat.TH
Optimal Bayesian Minimax Rates for Unconstrained Large Covariance Matrices
当样本量n和协方差阵的维数p均趋于无穷大时，得到了均值为零的多元正态样本的无约束大协方差阵的最优Bayes Minimax率.传统上用后验收敛速度来比较先验的频率论渐近性能，但用它来定义最优性是很难的。我们提出了一个新的决策理论框架的先验选择和定义贝叶斯极大极小率。在该框架下，我们得到了p的所有速率的谱范数的最优贝叶斯极大极小化率，同时考虑了Frobenius范数、Bregman散度和平方对数行列式损失，得到了p上一定速率条件下的最优贝叶斯极大极小化率，并进行了仿真研究以支持理论结果.
2017-11-30 math.ST stat.TH
Optimal approximating Markov chains for Bayesian inference
马尔可夫链蒙特卡罗方法是贝叶斯分析中后验计算的主要范例。通常通过对马尔可夫转移核进行近似来控制计算时间。相对较少的注意力已经支付给这些近似马尔可夫链的计算最优性，或者当这样的近似是合理的相对于获得更短的路径从确切的内核。我们给出了一致混合马尔可夫链的一致逼近的简单、精确的界。然后，我们提出了一个最优性的概念，将计算时间和近似误差，并使用我们的界限，使泛化的均匀混合设置中的良好近似的属性。这些属性的相关性证明在应用程序的一个小批量为基础的近似MCMC算法的大$n$逻辑斯谛回归和低秩近似高斯过程。
2017-08-29 math.ST stat.CO stat.TH
Measuring and Controlling Bias for Some Bayesian Inferences and the Relation to Frequentist Criteria
在科学背景下，贝叶斯方法的一个常见问题是推理可能会受到主观偏见的严重影响。正如这里所介绍的，对于某种数量的兴趣，有两种类型的偏见：反对偏见和赞成偏见。基于证据的原则，它显示了如何测量和控制这些偏差的假设评估和估计问题。最优性结果是建立在证据原则的基础上的方法来解决这些问题。一个密切的关系，建立在贝叶斯推断和频率论属性，持有任何适当的先验测量偏差。这导致了一个可能的解决方案之间的明显冲突，这些方法的统计推理。频率主义被认为是建立一个统计研究的品质因数，而贝叶斯主义在确定基于统计证据的推论中起着关键作用。
2019-03-05 math.ST stat.TH
Finite-time optimality of Bayesian predictors
序贯概率预测的问题被认为是在最一般的设置：一个模型集C是给定的，它需要预测，以及尽可能如果任何措施（环境）在C中被选择来产生的数据。C类模型没有任何假设，特别是没有独立性或混合假设; C可能无法测量;可能没有预测器的损失是次线性的，等等。它表明，任何可能的预测器的累积损失可以匹配的贝叶斯预测器，其先验是离散的，并集中在C上，直到一个加法项的顺序$\log n$，其中，$n$是时间步长。该界对每个$n$和C中的每个测度成立。这是第一个非渐近的结果。此外，建立了一个非匹配的下界：它与$n$一起走向无穷大，但可能会任意慢。
2019-10-24 cs.IT cs.LG math.IT
Bayesian Optimality of In-Context Learning with Selective State Spaces
School of AI and Advanced Computing（人工智能与先进计算学院）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）
本文提出基于选择性状态空间的上下文学习的贝叶斯最优性，通过元学习潜在序列任务，证明其在高斯状态空间模型中实现最优预测，优于传统梯度下降方法。
2026-02-19 cs.CL cs.LG math.ST
Asymptotic Optimality Theory For Decentralized Sequential Multihypothesis Testing Problems
在分布式传感器网络系统的背景下，顺序测试$M \ge 3$假设的贝叶斯公式进行了研究。在这样的系统中，本地传感器观察原始观测值，并将量化的传感器消息发送到融合中心，融合中心在停止观测时做出最终决定。渐近最优分散序贯检验是从一类“两阶段”测试，允许传感器网络系统作出初步决定，在第一阶段，然后相应地优化每个本地传感器量化器在第二阶段。它示出，在每个本地传感器在第二阶段的最佳本地量化器可以被定义为一个最大最小量化器，它原来是一个随机化的最多$M-1$明确的似然量化器（ULQ）。我们首先详细介绍了我们的结果与一个单一的传感器和二进制传感器的消息系统，然后扩展到更一般的情况下，涉及任何有限的字母表传感器的消息，多个传感器，或复合假设。
2010-11-01 math.ST stat.TH
Bayesian frequentist hybrid inference
贝叶斯和频率论方法在许多方面不同，但共享一些基本的最优性属性。在实践中，有些情况下，根据某些标准，其中一种方法更可取。我们考虑的情况下，一组多个参数，可以分为两个不相交的子集的推断。在一个集合上，频率论方法可能会受到青睐，而在另一个集合上，贝叶斯方法可能会受到青睐。这促使一个联合估计过程中，一些参数估计贝叶斯，其余的最大似然估计在同一参数模型，从而保持这两种方法的优点，避免他们的弱点。这样的混合过程使我们在实现整体推理优势方面具有更大的灵活性。我们研究了估计量的相合性和高阶渐近性，并举例说明了它的应用。同时，这些结果也为客观先验的构造提供了一种新的方法。
2009-08-24 math.ST stat.TH
On the number of support points of maximin and Bayesian optimal designs
我们考虑非线性回归模型的极大极小和贝叶斯$D$ -最优设计。maximin准则要求为模型中的非线性参数指定一个区域，而贝叶斯最优性准则假设这些参数的先验是可用的。在区间参数空间上，许多作者根据经验观察到，先验信息（即，在最大最小准则中的参数空间的较大范围或在贝叶斯准则中的先验的较大方差）产生相应的最优设计的较大数目的支持点。在本文中，我们提出了分析工具，用于证明这一现象在具体情况下。所提出的方法可以用来解释许多经验观察到的结果在文献中。此外，它还解释了为什么最大最小$D$ -最优设计通常比贝叶斯$D$ -最优设计得到更多点的支持。
2007-08-14 math.ST stat.TH
Bayesian shrinkage
惩罚回归方法，如$L_1$正则化，通常用于高维应用，并且有丰富的文献在稀疏性假设下的最优性。在贝叶斯范式中，稀疏性通常通过概率质量为零的两组分混合先验来诱导，但这种先验在高维中遇到了令人生畏的计算问题。这激发了各种各样的连续收缩先验，它们可以表示为高斯的全局-局部尺度混合，便于计算。与相应的频率论文献形成鲜明对比的是，人们对这种先验的性质知之甚少。专注于一个广泛的类收缩先验，我们提供精确的结果先验和后验浓度。有趣的是，我们证明了最常用的收缩先验，包括贝叶斯套索，是次优的高维设置。提出了一类新的Dirichlet Laplace（DL）先验，该先验是最优的，并利用归一化随机测度论的结果进行有效的后验计算.有限样本性能的Dirichlet拉普拉斯先验相对于替代品进行评估模拟。
2012-12-25 math.ST stat.TH
Rate-optimal Bayesian intensity smoothing for inhomogeneous Poisson processes
应用非参数贝叶斯方法研究了非齐次泊松过程强度函数的估计问题。我们表现出一个先验的强度，这两个导致计算上可行的方法，并享有理想的理论最优性。我们使用的先验是基于带有自由结点的B样条展开，例如，从回归中使用的成熟方法中改编而来。我们通过分析来自呼叫中心的计数数据来说明其在泊松过程设置中的实际用途。在强度函数估计的背景下，我们从理论上导出了一个新的关于后验压缩率的一般定理。在构建具体先验时必须做出的实际选择，例如选择样条节点的数量和位置的先验，都是基于这些理论发现。结果断言，当正确构造时，我们的方法产生一个速率最优的过程，自动适应未知强度函数的规律性。
2013-11-27 math.ST stat.TH
Asymptotic Optimality of Mixture Rules for Detecting Changes in General Stochastic Models
本文讨论了一般随机模型的序列变点检测问题，假设观测数据可能是非独立同分布的。(i.e.,相关的和非相同分布的），并且改变点的先验分布是任意的。Tartakovsky和Veeravalli（2005），Baron和Tartakovsky（2006），以及最近的Tartakovsky（2017）开发了一个非独立同分布的变点检测的一般渐近理论。随机模型，假设对数似然比过程具有一定的稳定性，在简单假设的情况下，当变更前和变更后模型都完全指定时。然而，在大多数应用程序中，更改后的分布并不完全知道。在本文中，我们推广以前的结果的情况下，参数不确定性，假设参数的变化后的分布是未知的。我们介绍了两个检测规则的基础上的混合物-混合Shiryaev规则和混合Shiryaev-罗伯茨规则-并研究其渐近性质的贝叶斯上下文中。特别是，我们提供了充分条件下，这些规则是一阶渐近最优的，最小化的时刻的延迟检测的虚警的概率接近零。
2018-07-24 math.ST stat.TH
Optimality of Thompson Sampling for Gaussian Bandits Depends on Priors
在随机强盗问题中，一种被称为汤普森抽样（TS）的贝叶斯策略由于其出色的经验性能而受到广泛关注。然而，这种策略的理论分析是困难的，它的渐近最优性只证明了一个参数模型。本文讨论了均值和方差均未知的正态分布模型的TS最优性问题。首先证明了一致先验条件下TS的期望后悔达到了理论界，这是第一个证明正态分布模型的渐近界是可达到的结果。其次，我们证明了具有Jeffreys先验和参考先验的TS不能达到理论界。因此，先验的选择是很重要的TS和非信息先验有时是危险的情况下，多参数模型。
2013-11-08 math.PR math.ST stat.TH
PAC-Bayesian High Dimensional Bipartite Ranking
本文研究了高维环境下的经典统计学习任务--二分排序问题。我们提出了一个基于PAC-Bayesian方法的评分和排名策略。我们考虑非线性加性评分函数，我们推导出非渐近风险界下的稀疏性假设。特别地，在保证金条件下概率保持的预言不等式评估了我们的程序的性能，并证明了它的极大极小最优性。提出了一种MCMC风格的算法来实现我们的方法，以及它在合成和现实数据集上的行为。
2019-05-16 math.ST stat.ML stat.TH
Sub-optimality of some continuous shrinkage priors
双组分混合先验提供了一种传统的方法来诱导高维贝叶斯模型的稀疏性。然而，这样的先验的几个方面，包括在高维度的计算复杂性，在标准损失函数下的精确零和非稀疏后验摘要的解释，已经激发了惊人的各种连续收缩先验，可以表示为高斯的全局-局部尺度混合。有趣的是，我们证明了许多常用的收缩先验，包括贝叶斯套索，在高维环境中没有足够的后验浓度。
2016-05-18 math.ST stat.CO stat.TH
Bayesian analysis in moment inequality models
本文研究了由矩不等式部分确定的结构参数的后验分布的大样本性质。后验密度是基于有限信息似然的。后验分布收敛到零指数快速对任何$δ$ -收缩以外的地区。在内部，如果假设所识别的区域具有非空的内部，则它的下界为正常数。我们的模拟证据表明，贝叶斯方法比频率论方法具有优势，在这个意义上说，与适当的选择的先验，后验提供更多的信息，真正的参数内确定的区域。我们还解决了矩和模型选择的问题。我们的最优性标准是最大后验程序，我们表明，渐近，它选择真正的时刻/模型组合与最矩不等式和最简单的模型。
2010-01-12 math.ST stat.TH
Bayesian optimal designs for dose-response curves with common parameters
在II期临床试验中，不仅要确定药物的适当剂量，还要确定药物的给药频率。这导致具有一些共同参数的模型的比较。规划这样的研究贝叶斯最优设计的基础上提供了鲁棒性，我们的结论，因为这些设计，不像局部最优设计，是有效的，即使参数是错误的。本文研究了具有公共参数的非线性回归模型的Bayesian $D$ -最优性的近似设计理论，并分别研究了公共位置或公共位置和尺度参数的情况。饱和贝叶斯$D$ -最优设计的解析特性推导出常用的剂量-反应模型和我们的结果的优势，通过数值研究说明。
2017-11-15 math.ST stat.ME stat.TH
Masked Bayesian Neural Networks : Computation and Optimality
本文提出一种新颖的稀疏贝叶斯神经网络，通过掩码变量实现节点级稀疏，并设计先验分布保证后验分布的理论最优性，在保持预测精度和不确定性量化能力的同时有效简化了复杂的DNN架构。
2023-05-23 cs.LG stat.ML
Prediction Algorithms Achieving Bayesian Decision Theoretical Optimality Based on Decision Trees as Data Observation Processes
Waseda University（早稻田大学）；Gunma University（群马大学）
针对决策树预测难保证统计最优、易过拟合且贝叶斯最优预测计算不可行的问题，研究将决策树作为数据观测过程，用步长自适应的马尔可夫链蒙特卡洛方法求解划分轴组合求和，实现贝叶斯决策理论最优预测。
2023-06-12 cs.LG stat.ML
Optimal Bayesian Estimation for Random Dot Product Graphs
我们提出了一种贝叶斯方法，称为后验谱嵌入，用于估计随机点积图中的潜在位置，并证明了它的最优性。与经典的基于谱的邻接/Laplacian谱嵌入不同，后验谱嵌入是一种完全基于似然的图估计方法，它利用了观测到的邻接矩阵的Bernoulli似然信息。我们开发了一个极小极大下界估计的潜在位置，并表明后验谱嵌入实现这一下界，因为它既在一个极小极大最优后收缩率的结果，并产生一个点估计渐近实现极小极大风险。收敛结果随后被应用到随机块模型中的聚类，其结果加强了现有的结果关于错误聚类顶点的数量。我们还研究了基于谱的高斯谱嵌入作为自然贝叶斯类比的邻接谱嵌入，但由此产生的后验收缩率是次优的额外的对数因子。所提出的方法的实际性能说明通过广泛的合成例子和维基百科的图形数据的分析。
2019-04-26 math.ST stat.ME stat.TH
A Bernstein--von-Mises theorem for the Calderón problem with piecewise constant conductivities
本文考虑了具有分段常数电导率的Calderón问题的有限维统计模型。在这种情况下，它示出，注入的前向映射和其线性化足以证明可逆的信息算子，从而在一个伯恩斯坦-冯-米塞斯定理和最优性保证估计贝叶斯后验手段。
2022-06-16 math.AP math.ST stat.TH
$L^1$ Estimation: On the Optimality of Linear Estimators
本文研究 $L^1$ 准则下含噪观测的贝叶斯估计问题，证明高斯分布是唯一使条件中位数估计器具有线性形式的先验，并将结论推广到其他 $L^p$ 损失及指数族噪声模型。
2024-08-07 cs.IT math.IT math.ST
Misclassification bounds for PAC-Bayesian sparse deep learning
本研究利用PAC-贝叶斯界技术，针对采用Spike-and-Slab先验的稀疏深度学习方法，推导出分类任务中预测误差的非渐近界，并证明在低维和高维下可达到极小极大最优速率，同时提出一种保证最优性的自动模型选择方法。
2024-05-02 math.ST stat.ML stat.TH
Bayesian I-optimal designs for choice experiments with mixtures
离散选择实验经常被用来量化消费者的偏好，让受访者在不同的替代品之间进行选择。在文献中，涉及成分混合物的选择实验在很大程度上被忽视了，尽管许多产品和服务可以被描述为成分的混合物。因此，很少有研究已经做了关于混合物的选择实验的最优设计。现有的研究主要集中在D-最优设计上，这意味着采用了基于估计的方法。然而，在混合物的实验中，获得能够对任何成分比例组合进行精确预测的模型至关重要。这是因为混合实验的目标通常是找到优化受访者效用的混合物。因此，I-最优性准则比D-最优性准则更适合于设计混合物的选择实验，因为I-最优性准则侧重于用估计的统计模型得到精确的预测。在本文中，我们研究贝叶斯I-最优设计，比较它们与贝叶斯D-最优的同行，并表明，前者的设计表现大大优于后者的预测效用的方差。
2021-09-14 stat.ME
Necessary and Sufficient Conditions for Inverse Reinforcement Learning of Bayesian Stopping Time Problems
Cornell University（康奈尔大学）
本文提出了一种求解贝叶斯停时问题的逆强化学习~（IRL）框架。通过观察贝叶斯决策者的行为，我们提供了一个充分必要条件，以确定这些行动是否与优化成本函数一致。在贝叶斯（部分观察）设置中，逆学习器最多可以识别观察到的策略的最优性。我们的IRL算法识别最优性，然后构造成本函数的集值估计。为了实现这个IRL目标，我们使用了贝叶斯揭示的微观经济学偏好的新思想。我们说明了建议的IRL计划使用两个重要的例子停止时间问题，即顺序假设检验和贝叶斯搜索。作为一个现实世界的例子，我们说明了使用YouTube数据集，包括元数据从190000个视频如何建议IRL方法预测用户参与在线多媒体平台的高精度。最后，对于有限数据集，我们提出了一个IRL检测算法，并给出了其错误概率的有限样本界。
2023-03-15 cs.LG cs.SY econ.TH
Bayesian Sequential Design Based on Dual Objectives for Accelerated Life Tests
传统的加速寿命试验计划通常基于优化C-最优性，以最小化寿命分布的感兴趣分位数的方差。传统的方法依赖于一些指定的规划值的模型参数，这通常是未知的，在实际测试之前。指定参数的模糊性可能导致优化预期可靠性性能的次优设计。本文提出了一种基于双目标考虑的寿命试验计划序贯设计策略。在序贯实验的早期阶段，我们建议在优化D-最优性的基础上分配更多的设计位置，以快速获得估计模型参数的精度。在实验的后期，我们可以在优化C-最优性的基础上分配更多的样本，以最大化寿命分布的估计分位数的精度。我们比较了建议的顺序设计策略与现有的测试计划只考虑一个单一的标准，并说明了新的方法与聚合物复合材料的疲劳测试的例子。
2018-11-30 stat.AP
Consistency of Bayesian inference with Gaussian process priors for a parabolic inverse problem
研究了热传导方程$$ \partial_tu-\frac{1}{2}Δu+fu=0 \quad \text{on $\mathcal{O}\times(0,\textbf{T})$}\quad u = g \quad \text{on $\partial\mathcal{O}\times(0,\textbf{T})$}\quad u(\cdot,0)=u_0 \quad \text{on $\mathcal{O}$}, $$中吸收项$f>0$的统计非线性反问题，其中$\mathcal{O}\in\mathbb{R}^d$为有界区域，$\textbf{T}<\infty$为固定时间，$g,u_0$为分别描述边界值和初值的充分光滑函数.数据由$\mathcal{O}\times(0,\textbf{T})$上的解决方案$u_f$的$N$离散噪声点评估组成。我们研究了贝叶斯非参数程序的统计性能的基础上一大类高斯过程先验。我们发现，随着测量次数的增加，产生的后验分布集中在生成数据的真实参数周围，并推导出相关后验均值的重建误差的收敛速度。我们还考虑了最优的收缩率，并证明了一个下界的极小极大收敛速度推断$f$从数据，并表明，最佳速率可以实现截断高斯先验。
2021-03-24 math.AP math.ST stat.TH
Optimal designs for nonlinear regression models with respect to non-informative priors
在非线性回归模型中，费舍尔信息依赖于模型的参数。因此，最大化信息矩阵的某些功能的最优设计不能直接实现，但需要一些关于未知参数的初步知识。贝叶斯最优性准则为这个问题提供了一个有吸引力的解决方案。这些标准敏感地依赖于模型参数的先验分布的合理规范，这可能不是在所有应用中都可用的。本文研究了无信息先验分布下的贝叶斯最优性准则。特别是，我们研究了Jeffreys和Berger-Bernardo先验，其相应的最优性准则不一定是凹的。几个例子进行了研究，最优设计相对于新的标准进行计算和比较贝叶斯最优设计的基础上统一和功能统一的先验。
2013-11-04 stat.ME
Minimaxity and Admissibility of Bayesian Neural Networks
Department of Statistics and Data Science, Cornell University（康奈尔大学统计与数据科学系）
本文研究了基于ReLU激活函数的深度全连接前馈BNN在正态位置模型下的决策规则，证明其非极小大，并提出超前先验以获得同时可接受和极小大的决策规则，进一步扩展到KL损失下的预测密度估计。
2026-10-27 cs.LG math.ST stat.ML
Goal-oriented optimal approximations of Bayesian linear inverse problems
Massachusetts Institute of Technology（麻省理工学院）；Monash University（蒙纳士大学）；Colorado School of Mines（科罗拉多矿业学院）
本文提出面向目标的线性高斯反问题最优降维方法，通过低秩负更新近似后验协方差，并证明其在对称正定矩阵流形上的最优性，同时避免显式计算参数后验分布。
2017-03-14 cs.NA math.NA stat.CO
Bayesian Aggregation
统计学中的一个普遍挑战是在存在多个候选模型或学习算法的情况下进行预测。模型聚合试图将来自各个模型的所有预测分布组合起来，这比单一的模型选择更稳定和灵活。在这篇文章中，我们描述了何时以及如何在贝叶斯决策理论的镜头下聚合模型。在两个广泛使用的方法，贝叶斯模型平均（BMA）和贝叶斯叠加，我们比较他们的预测性能，并审查其理论最优性，概率解释，实际实施，并在复杂的模型扩展。
2021-05-17 stat.ME
Exact Bayes Regret and Asymptotic Optimality in High-Dimensional Gaussian Bandits
Abstract Math Institute（抽象数学研究所）
研究高维高斯线性老虎机，推导汤普森采样与贪心选择的精确贝叶斯遗憾，证明贪心策略渐近最优而汤普森采样遗憾更大。
2026-09-25 cs.LG math.ST stat.ML
The Bayesian update: variational formulations and gradient flows
贝叶斯更新可以被看作是一个变分问题，通过表征后验作为一个功能的最小。变分的观点是远远不是新的，是在流行的后验近似方法的核心。然而，它的一些后果似乎在很大程度上未被探索。我们专注于以下一个：定义后的最小功能给出了一个自然的路径走向后的最速下降的方向移动的功能。这个想法是通过精确的梯度流理论，使新的工具，贝叶斯模型和算法的研究。由于后验可以表征为不同泛函的极小化，因此可以考虑几种变分公式。我们研究其中三个和他们的三个相关的梯度流。我们表明，在所有情况下，收敛速度的收敛速率的流量后，可以有界的测地凸的功能被最小化。每个梯度流自然地暗示了后验作为不变分布的非线性扩散。这些扩散可以被离散化以构建用于马尔可夫链蒙特卡罗（MCMC）算法的建议。通过构造，保证扩散满足一定的最优性条件，并且收敛速度由泛函的凸性给出。我们使用这个观察，提出了一个标准的选择度量的黎曼MCMC方法。
2018-11-02 math.AP math.ST stat.CO
A smoothed-Bayesian approach to frequency recovery from sketched data
本文提出一种平滑贝叶斯方法，在频率学派框架下从随机哈希草图中恢复符号频率，克服了贝叶斯非参数方法的计算瓶颈，并通过多视图学习扩展至多哈希函数场景，在合成与真实数据上验证了其无偏性、最优性及计算效率。
2025-04-10 cs.DS cs.IR math.ST
On Bayesian index policies for sequential resource allocation
本文研究随机多臂强盗模型中最小化（频率主义）后悔的指数策略，其灵感来自于贝叶斯观点。我们的主要贡献是证明了贝叶斯UCB算法，它依赖于分位数的后验分布，是渐近最优的奖励分布属于一个一维指数族，一个大类的先验分布。我们还表明，贝叶斯文献提供了新的见解，什么样的探索率可以用于频率，UCB型算法。事实上，贝叶斯最优解或有限时域Gittins指数的近似值为kl-UCB+和kl-UCB-H+算法提供了理由，其渐近最优性也被建立。
2017-11-06 stat.ML
Bayesian T-optimal discriminating designs
考虑了一类回归模型在Atkinson和Fedorov（1975 a）提出的T-最优性准则下的贝叶斯最优判别设计的构造问题。结果表明，离散化的积分相对于先验分布导致局部T-最优的歧视设计只能处理几个比较，但离散化的贝叶斯先验很容易产生歧视设计问题，超过100个竞争模型。为处理这类问题提供了一种新的有效方法。它结合了经典交换型算法和梯度法的一些特点。收敛性的证明，它表明，新的方法可以找到贝叶斯最优判别设计的情况下，所有目前可用的程序失败。
2014-12-08 stat.ME
Bayesian optimization for materials design
我们介绍了贝叶斯优化，这是一种用于优化耗时的工程模拟和在大型数据集上拟合机器学习模型的技术。贝叶斯优化指导材料设计和发现过程中的实验选择，以尽可能少的实验找到好的材料设计。我们专注于材料设计的情况下，参数化的低维向量。贝叶斯优化建立在一种称为高斯过程回归的统计技术上，该技术允许基于先前测试的设计来预测新设计的性能。在提供了一个详细的介绍高斯过程回归，我们介绍了两个贝叶斯优化方法：预期的改进，无噪声评估的设计问题;和知识梯度方法，它概括了预期的改进，可用于噪声评估的设计问题。这两种方法都是使用信息价值分析得出的，并且具有一步贝叶斯最优性。
2015-06-03 math.OC stat.ML
Generalized Bayesian D criterion for single-stratum and multistratum designs
DuMouchel和Jones（1994）通过修改D-最优性方法来减少所选设计对假设模型的依赖，从而提出了贝叶斯D准则。当效应数大于样本量时，该准则已用于选择完全随机化试验的各种单层设计。在许多工业实验中，完全随机化有时是昂贵的或不可行的，因此，用于实验的设计通常具有多层结构。然而，原始贝叶斯D准则是在单层结构的框架下开发的，不能应用于选择多层设计。本文研究了如何将贝叶斯方法推广到更复杂的试验中，并发展了广义贝叶斯D准则。该准则推广了原有的贝叶斯D准则，当效应数大于模型矩阵的秩时，可用于选择各种试验的单层和多层设计。
2018-03-29 stat.CO stat.ME
Bayesian sequential estimation of the reliability of a parallel-series system
我们给出了一个风险规避的解决方案的问题，并串联系统的可靠性估计。我们采用β-二项式模型的组件的可靠性，并假设总的样本量的经验是固定的。在子系统或组件级的分配可以是随机的。在分别对并联系统和串联系统采样的基础上，提出了一种适用于并-串联系统的混合时序采样方案。利用鞅收敛性质证明了二次损失下的贝叶斯风险的渐近最优性。
2012-04-02 stat.AP
Remarks on Bayesian Control Charts
Amirkabir University of Technology（阿米尔卡比尔理工大学）
本文指出现有贝叶斯控制图不能普遍最优，因早年Taylor已提供反例，挑战其经济最优性主张。
2017-12-18 cs.CE econ.GN math.OC
A Bayesian Ensemble for Unsupervised Anomaly Detection
Columbia University（哥伦比亚大学）；Facebook Data Engineering（Facebook数据工程）
无监督异常检测方法的缺点是数据是未标记的，这使得难以评估检测算法的最优性。包围学习在分类和聚类问题中表现出了出色的结果，但在离群点检测方面的研究并不多。现有的方法侧重于结合输出分数的各个检测器，但这导致输出，是不容易解释。在本文中，我们介绍了一个理论基础，结合个人检测器与贝叶斯分类器组合。后验分布不仅很容易被解释为异常的概率分布，而且检测器的偏差、方差和个体错误率都很容易获得。在实际数据集上的性能表明，在不同类型的时间序列数据中具有很高的准确性。
2016-10-24 cs.LG stat.ML
A New Knowledge Gradient-based Method for Constrained Bayesian Optimization
Southern University of Science and Technology（南方科技大学）
黑盒问题在现实生活中很常见，如结构设计、药物实验和机器学习。在优化黑箱系统时，决策者往往综合考虑多个性能指标，通过综合评价给出最终决策。出于这样的实际需要，我们专注于约束黑箱问题的目标和约束缺乏已知的特殊结构，评估是昂贵的，甚至与噪音。提出了一种基于知识梯度法的约束贝叶斯优化方法（$c-\rm{KG}$）。考虑到最优性和可行性，提出了一种新的采集函数来确定下一批样本。新的捕获函数的梯度的无偏估计，推导出实现$c-\rm{KG}$的方法。
2021-01-20 cs.AI cs.LG stat.ML
Exact Maximum Margin Structure Learning of Bayesian Networks
Graz University of Technology（格拉茨工业大学）
最近，人们对寻找全局最优贝叶斯网络结构产生了很大的兴趣。这些技术是为生成分数而开发的，不能直接扩展到分类所需的判别分数。在本文中，我们提出了一个精确的方法来寻找网络结构最大化的概率软余量，一个成功应用的判别得分。我们的方法是基于线性规划框架内的分支定界技术，并保持一个任何时间的解决方案，连同最坏情况下的次最优界。我们应用一组顺序约束，强制网络结构是无环的，这允许一个紧凑的问题表示和使用通用的优化技术。在分类实验中，我们的方法明显优于生成训练的网络结构，并与支持向量机竞争。
2012-06-27 cs.LG stat.ML
The Bayesian SLOPE
SLOPE通过使用排序的$\ell_1$范数惩罚最小化正则化残差平方和来估计回归系数。SLOPE结合了回归问题中的测试和估计。它具有合适的变量选择和预测属性，以及极大极小最优性。本文介绍了线性回归的贝叶斯斜率法。经典的SLOPE估计是正态回归问题中的后验模式，具有适当的系数先验。Bayesian SLOPE考虑了完整的Bayesian模型，并具有为参数提供可信集和标准误估计值的优势。此外，分层贝叶斯框架允许完整的贝叶斯和经验贝叶斯处理的惩罚系数，而目前尚不清楚如何选择这些系数时，使用的SLOPE对一般的设计矩阵。后提供了一个直接的表征，这表明吉布斯采样器，不涉及潜在变量。本文介绍了一种有效的贝叶斯斜率混合Gibbs采样器。突出显示了使用后验均值的点估计，这自动促进了对未来观测的贝叶斯预测。这些都证明了真实和合成数据。
2016-09-01 stat.ME stat.ML
Bayesian Pool-based Active Learning With Abstention Feedbacks
我们研究了基于池的主动学习与回避反馈，其中一个标签可以放弃标记查询的例子与一些未知的回避率。这是许多有用应用的重要问题。我们采取贝叶斯方法来解决这个问题，并开发了两个新的贪婪算法，同时学习分类问题和未知的拦截率。这些是通过简单地将估计的预测率纳入贪婪准则来实现的。我们证明了我们的两种算法都具有近最优性保证：它们分别实现了有用效用函数的最佳期望值或最坏情况值的${(1-\frac{1}{e})}$常数因子逼近。实验结果表明，该算法在各种实际场景中表现良好。
2021-01-03 cs.LG stat.ML
Accurate, scalable, and efficient Bayesian optimal experimental design with derivative-informed neural operators
针对高维贝叶斯最优传感器设计计算昂贵的问题，本文提出基于导数信息维度归约与 DINO 替代模型的框架，并结合改进交换贪心算法实现误差可控、可扩展且超1000倍加速。
2024-09-09 cs.CE math.OC stat.ME
Adaptive Bayesian Denoising for General Gaussian Distributed (GGD) Signals in Wavelet Domain
本文给出了广义高斯分布（GGD）小波数据的最优Bayes估计。GGD分布描述了包括自然图像在内的广泛类别的信号。提出了一种小波阈值图像去噪方法。有趣的是，我们表明，这类信号的贝叶斯估计是很好的估计阈值的方法。这一结果分析证实了阈值的重要性，噪声GGD信号。我们提供了最佳的软阈值，模仿贝叶斯估计的行为，并最大限度地减少由此产生的错误。贝叶斯收缩是最常用和最有效的软阈值方法之一，其阈值已在文献中详细提供。我们提出的方法，表示为严格贝叶斯收缩（R-BayesShrink），解释了贝叶斯收缩阈值的理论，并证明了其最优性的GDD信号的一个子类。R-BayesShrink改进和推广了现有的GGD信号类的BayesShrink。而贝叶斯收缩阈值是独立于小波系数分布，只是一个函数的噪声和无噪声信号的方差，我们的方法适应于每个尺度的小波系数的分布。结果表明，当GGD中的形状参数为1或信号服从拉普拉斯分布时，Bayes Shrink是我们方法的一个特例。我们的仿真结果证实了R-Bayes Shrink在GGD去噪中的峰值信噪比（PSNR）和结构相似性（SSIM）指标方面的最优性。
2012-07-26 stat.ME
