PAC-Bayesian Theory Meets Bayesian Inference
INRIA Paris - École Normale Supérieure（法国国家信息与自动化研究所巴黎分部 - 巴黎高等师范学院）；Google（谷歌）
我们表现出一个强有力的联系之间的频率PAC贝叶斯风险界和贝叶斯边际似然。也就是说，对于负对数似然损失函数，我们表明，PAC-Bayesian泛化风险界的最小化最大化贝叶斯边际似然。这为贝叶斯奥卡姆剃刀准则提供了另一种解释，假设数据是由i.i.d分布生成的。此外，由于负对数似然是一个无界的损失函数，我们激励和提出了一个PAC贝叶斯定理为子伽玛损失家庭，我们表明，我们的方法是健全的经典贝叶斯线性回归任务。
2017-02-13 cs.LG stat.ML
Loss-Calibrated Approximate Inference in Bayesian Neural Networks
University of Oxford（牛津大学）
贝叶斯神经网络的近似推理中的当前方法最小化库尔贝克-莱布勒散度以近似权重上的真实后验。然而，这种近似没有最终应用的知识，因此不能保证给定任务的最佳预测。为了使更合适的特定于任务的近似，我们引入了一个新的损失校准证据下限贝叶斯神经网络的监督学习的背景下，通知贝叶斯决策理论。通过引入依赖于效用函数的下限，我们确保我们的近似比具有非对称效用函数的应用程序的传统方法实现更高的效用。此外，在使用dropout推理时，我们强调我们的新目标与标准dropout神经网络的目标相同，只是增加了一个依赖于效用的惩罚项。我们展示了我们的新的损失校准模型与说明性的医疗例子和限制模型容量实验，并突出故障模式的可比加权交叉熵的方法。最后，我们展示了我们的方法的可扩展性，以现实世界的应用程序与自动驾驶数据集上的每像素语义分割。
2018-05-10 cs.LG stat.ML
A Tutorial on VAEs: From Bayes' Rule to Lossless Compression
变分自动编码器（VAE）是一种简单，高效，流行的深度最大似然模型。虽然VAE的使用是广泛的，但VAE的推导并没有被广泛理解。在本教程中，我们将提供VAE的概述，并通过VAE目标的各种推导和解释进行游览。从概率的角度来看，我们将通过贝叶斯规则，重要性采样和变量变化公式来检查VAE。从信息论的观点来看，我们将通过无损压缩和通过噪声信道传输的镜头来检查VAE。然后，我们将确定两个常见的误解VAE制定和他们的实际后果。最后，我们将使用玩具2D数据上的代码示例（附带一个笔记本）可视化VAE的功能和限制。
2020-06-30 cs.LG stat.ML
PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime
Google Research（谷歌研究院）
贝叶斯后验最小化“推断风险”，其本身限制了“预测风险”。当可能性和先验信息明确指定时，该界限很紧。然而，由于误设定导致间隙，贝叶斯后验预测分布可能具有较差的泛化性能。这项工作开发了一个多样本损失（PAC $^m$），它可以通过跨越两个风险之间的权衡来缩小差距。损失是计算上有利的，并提供PAC泛化保证。实证研究表明，改善的预测分布。
2022-05-23 cs.LG stat.ML
PAC-Bayesian bounds for learning LTI-ss systems with input from empirical loss
Aalborg University（奥尔堡大学）；Laboratoire Signal et Automatique de Lille (CRIStAL)（里尔信号与自动化实验室（CRIStAL））
在本文中，我们得到了一个可能近似正确（PAC）的贝叶斯误差界的线性时不变（LTI）随机动力系统的输入。这样的界限在机器学习中很普遍，它们对于表征从大量数据点学习的模型的预测能力很有用。特别是，本文导出的边界将未来的平均预测误差与模型在用于学习的数据上产生的预测误差联系起来。反过来，这使我们能够提供有限样本误差界的广泛的学习/系统识别算法。此外，由于LTI系统是递归神经网络（RNN）的一个子类，这些误差范围可能是RNN迈向PAC-贝叶斯边界的第一步。
2023-03-29 cs.LG stat.ML
On the generalization of bayesian deep nets for multi-class classification
Bar-Ilan University（巴伊兰大学）；Technion（以色列理工学院）；University of Illinois（伊利诺伊大学）
评估真实风险和经验风险之间差异的泛化界限已经得到了广泛的研究。然而，为了获得边界，当前技术使用严格的假设，诸如一致有界或Lipschitz损失函数。为了避免这些假设，在本文中，我们通过利用Log-Sobolev不等式的收缩性，提出了一个新的贝叶斯深度网的推广界。使用这些不等式增加了一个额外的损失梯度范数项的推广界，这是直观的模型复杂性的替代品。从经验上讲，我们使用不同的深度网络分析了这种损失梯度范数项的影响。
2020-02-23 cs.LG stat.ML
On permutation symmetries in Bayesian neural network posteriors: a variational perspective
Stellantis（斯泰兰蒂斯）
本研究将边缘化损失障碍形式化扩展到贝叶斯神经网络，提出一种基于置换矩阵对齐的匹配算法以搜索线性连接解，实验表明多种架构和数据集上边缘化损失障碍几乎为零。
2023-10-16 cs.LG stat.ML
When Is Generalized Bayes Bayesian? A Decision-Theoretic Characterization of Loss-Based Updating
Temple University（天普大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文通过决策理论特征化，区分了信念后验与决策后验，并证明基于损失的后验在特定条件下等同于普通贝叶斯，同时揭示了决策后验需要非线性偏好及熵惩罚的变分表示。
2026-02-02 stat.ME stat.ML
On the Importance of Gradient Norm in PAC-Bayesian Bounds
Technion（以色列理工学院）；Meta AI Research（元人工智能研究院）；The Hebrew University of Jerusalem（希伯来大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
评价真实风险和经验风险之间差异的泛化界限已被广泛研究。然而，为了获得边界，当前技术使用严格的假设，诸如一致有界或Lipschitz损失函数。为了避免这些假设，在本文中，我们遵循另一种方法：我们放松一致的边界假设，使用平均有界损失和平均有界梯度范数假设。在这种放松之后，我们提出了一个新的推广界，利用log-Sobolev不等式的收缩性。这些不等式增加了一个额外的损失梯度范数项的推广界，这是直观的模型复杂性的替代品。我们将提出的边界应用于贝叶斯深度网络，并实证分析了这种新的损失梯度范数项对不同神经架构的影响。
2022-11-02 cs.LG stat.ML
General Bayesian Updating and the Loss-Likelihood Bootstrap
在本文中，我们重新审视加权似然自助法，一种从参数模型的近似贝叶斯后验生成样本的方法。我们表明，相同的方法可以得到，没有近似，在贝叶斯非参数模型与参数定义为最小化预期的负对数似然未知的抽样分布下的利益。这种解释使我们能够将加权似然自助法扩展到参数的后验抽样，以最大限度地减少预期损失。我们称这种方法为损失似然自助法。我们在此和一般贝叶斯更新之间建立了联系，贝叶斯更新是一种更新先验置信分布的方法，而无需构建全局概率模型，但需要校准两种形式的损失函数。损失似然自举法用于通过匹配渐近费舍尔信息来校准一般贝叶斯后验。我们证明了一些例子的方法。
2018-05-22 stat.ME stat.ML
Being Bayesian about Categorical Probability
ESTsoft
神经网络利用softmax作为分类任务的构建块，其包含过度自信问题并且缺乏不确定性表示能力。作为softmax的贝叶斯替代方案，我们考虑类标签上分类概率的随机变量。在这个框架中，先验分布显式地对观察到的标签中固有的假定噪声进行建模，这在多个具有挑战性的任务中提供了一致的泛化性能增益。该方法继承了贝叶斯方法的优点，实现了更好的不确定性估计和模型校准。我们的方法可以实现为一个即插即用的损失函数，与具有交叉熵损失函数的softmax相比，其计算开销可以忽略不计。
2020-06-29 cs.LG stat.ML
Bayesian estimation of a multivariate TAR model when the noise process distribution belongs to the class of Gaussian variance mixtures
本文提出一种基于贝叶斯方法的多变量TAR模型估计与预测框架，采用高斯方差混合类分布描述噪声过程以增强对异常值的鲁棒性，并通过MCMC算法、DIC/WAIC准则及R语言包验证了方法有效性。
2025-03-06 stat.ME
Kernelized Normalizing Constant Estimation: Bridging Bayesian Quadrature and Bayesian Optimization
National University of Singapore（新加坡国立大学）
本文研究黑盒函数归一化常数估计问题，揭示其难度随参数λ在贝叶斯求积与贝叶斯优化之间连续变化，并通过理论上下界和仿真实验验证了该规律在无噪声与有噪声情形下均成立。
2024-01-11 cs.LG stat.ML
On the Construction and Implications of Low-Loss Valleys in LoRA-based Bayesian Inference
HTWG Konstanz（康斯坦茨应用科学大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出LoRA-Curve方法，通过分段贝塞尔曲线参数化在LoRA空间中连接独立最优解，形成连续低损失谷，并结合平坦极小扰动和JS散度正则化，在不牺牲性能的前提下提高预测分布的互信息，实现功能多样性。
2026-05-28 cs.LG stat.ML
Robust Bayes-Like Estimation: Rho-Bayes estimation
本文从非渐近的角度考虑了贝叶斯范式下$n$独立随机变量的联合分布$P$的估计问题。假设$P$承认一些密度$s$相对于一个给定的参考措施，我们考虑一个密度模型$\overline S$的$s$，我们赋予一个先验分布$π$（支持$\overline S$），我们建立一个强大的替代经典的贝叶斯后验分布，具有类似的浓度属性周围$s$时，它属于模型$\overline S$。此外，在密度估计中，经典后验分布和稳健后验分布之间的Hellinger距离趋于0，因为在对模型和先验的适当假设下，观测值的数量趋于无穷大，只要模型$\overline S$包含真密度$s$。然而，与经典的贝叶斯后验分布发生的情况不同，我们表明，这种新的后验分布的浓度属性仍然保留在模型的错误指定的情况下，即当$s$不属于$\overline S$，但足够接近它相对于Hellinger距离。
2020-03-27 math.ST stat.TH
Bayes Extended Estimators for Curved Exponential Families
贝叶斯预测密度具有复杂的表示形式，除了在有限的情况下，不属于任何有限维统计模型。在本文中，我们介绍了它的简单的近似表示利用其投影到一个有限维指数族。当模型属于曲线指数族时，它的理论性质与贝叶斯预测密度的理论性质相似。它还表明，投影渐近一致的插件密度与后验均值的期望参数的指数族，我们称之为贝叶斯扩展估计。信息几何对应表明贝叶斯预测密度可以表示为无穷维指数族的后验均值。通过数值模拟证明了该近似的Kullback-Leibler风险性能，并表明随着指数族维数的增加，期望参数的后验均值逼近贝叶斯预测密度。它还表明，近似投影到一个指数家庭的合理规模是实际上有利的风险性能和计算成本。
2020-10-29 math.ST stat.TH
Bayesian Sampling Bias Correction: Training with the Right Loss Function
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）
我们推导出一个损失函数的家庭的训练模型中存在的抽样偏差。例如，当病理学的患病率与其在训练数据集中的采样率不同时，或者当机器学习从业者重新平衡其训练数据集时。采样偏差会导致实验室中的模型性能与更现实的设置之间存在很大差异。它在医学成像应用中无处不在，但在训练时经常被忽视或在特定的基础上解决。我们的方法是基于贝叶斯风险最小化。对于任意似然模型，我们推导出相关的偏差校正损失的训练，表现出直接连接到信息增益。该方法无缝集成在当前的（深度）学习范式中，使用随机反向传播并自然地与贝叶斯模型相结合。我们举例说明肺结节恶性程度分级的病例研究的方法。
2020-06-24 cs.LG q-bio.QM stat.AP
Neural Bayesian Anomaly Mitigation: A Robust Loss that Doubles as an Unsupervised Contamination Classifier
Astrophysics Group, Cavendish Laboratory, University of Cambridge（剑桥大学卡文迪许实验室天体物理组）；Institute of Astronomy, University of Cambridge（剑桥大学天文研究所）
提出神经贝叶斯异常缓解（NBAM）损失，基于贝叶斯潜变量混合模型，既提供鲁棒监督损失又输出无监督污染后验，在CIFAR-10上优于Huber等基线。
2026-06-16 astro-ph.CO cs.LG stat.ML
Bayesian Active Learning of (small) Quantile Sets through Expected Estimator Modification
针对昂贵黑箱函数的小分位数集合估计问题，提出基于高斯过程、EEM 采样准则与序贯蒙特卡洛的批量贝叶斯主动学习方法，并通过合成及 ROTOR37 工业案例验证。
2025-07-24 stat.AP stat.ML
Learning Equivalence Classes of Bayesian Networks Structures
University of California at Los Angeles（加州大学洛杉矶分校）
从数据中学习贝叶斯网络的方法通常将评分函数与启发式搜索过程相结合。给定贝叶斯网络结构，文献中导出的许多评分函数返回该结构所属的整个等价类的分数。当使用这样的评分函数时，启发式搜索算法适合搜索贝叶斯网络的等价类，而不是单个结构。我们提出的一般配方的搜索空间的搜索状态对应的等价类的结构。使用这个空间，可以容易地应用许多启发式搜索算法中的任何一个。我们比较贪婪的搜索性能在建议的搜索空间的贪婪搜索性能的搜索空间的状态对应于个人贝叶斯网络结构。
2013-02-13 cs.AI cs.LG stat.ML
A new integral loss function for Bayesian optimization
SUPELEC（高等电力学院）
我们考虑的问题，最大化的实值连续函数$f$使用贝叶斯方法。自70年代Jonas Mockus和Antanas Mockilinskas的早期工作以来，优化问题通常通过考虑损失函数$\max f - M_n$（其中$M_n$表示在对$f$进行$n$评估后观察到的最佳函数值）来公式化。这个损失函数强调最大值的价值，而牺牲了最大化者的位置。在一步贝叶斯最优策略的特殊情况下，它导致经典的期望改进（EI）抽样标准。这是逐步不确定性降低（SUR）策略的特殊情况，其中与感兴趣的数量上的特定不确定性度量（此处为预期损失）相关的风险在算法的每一步都被最小化。在这篇文章中，假设$f$是定义在测量空间$(\mathbb{X}, λ)$，我们建议，而不是考虑的积分损失函数$\int_{\mathbb{X}} (f - M_n)_{+}\, dλ$，我们表明，这导致，在高斯过程之前的情况下，到一个新的数值上易于处理的采样标准，我们称之为$\rm EI^2$（预期的综合预期改善）。数值实验表明，基于这种新的采样准则的SUR策略减少了错误的值和位置的最大化比基于EI的策略。
2014-08-20 cs.LG math.OC stat.CO
The E-Bayesian Estimation and its E-MSE of Lomax distribution under different loss functions
研究了Lomax分布参数在不同损失函数下的E-Bayes估计。在不同的损失函数下，计算参数的贝叶斯估计，然后计算估计值的期望，得到E-Bayes估计。为了度量估计误差，引入了期望均方误差（E-MSE）。并给出了E-Bayes估计和E-MSE的计算公式。通过应用马尔可夫链蒙特卡罗技术，我们分析了所提出的方法的性能。结果进行了比较的基础上E-MSE。然后，在实际数据集的样本的情况下，为了说明。为了检验Lomax分布是否可以用于分析数据集，进行了Kolmogorov Smirnov检验。利用实际数据，我们可以同时得到极大似然估计，并与E-Bayes估计进行比较。最后，在三种不同的损失函数下，对贝叶斯和E-Bayesian估计方法进行了比较。
2022-09-02 math.ST stat.ME stat.TH
Bayesian Analysis of Loss Ratios Using the Reversible Jump Algorithm
本文研究了一类保险赔付率模型的选择问题。我们使用一个可逆的跳跃算法，我们的模型歧视，并显示如何香草可逆跳跃算法可以改进使用可逆跳跃计算的最新方法进展。
2011-01-06 stat.AP stat.CO
Differentiable TAN Structure Learning for Bayesian Network Classifiers
Graz University of Technology（格拉茨技术大学）
贝叶斯网络的结构学习是一个困难的组合优化问题。在本文中，我们考虑学习树增强朴素贝叶斯（TAN）结构的贝叶斯网络分类器与离散输入功能。所提出的方法不是在可能的图结构的空间上执行组合优化，而是学习图结构上的分布。在训练之后，我们选择这个分布的最可能的结构。这允许使用基于梯度的优化对贝叶斯网络参数及其TAN结构进行联合训练。所提出的方法是不可知的具体损失，只要求它是可微的。我们进行了广泛的实验，使用混合生成判别损失的基础上的判别概率余量。我们的方法始终优于随机TAN结构和Chow-Liu TAN结构。
2020-08-21 cs.AI cs.LG stat.ML
Loss Functions in Restricted Parameter Spaces and Their Bayesian Applications
平方误差损失仍然是最常用的损失函数，用于构建感兴趣的参数的贝叶斯估计。然而，当参数被定义在受限空间中时，它可能导致次最优解。在极端高估和/或低估导致严重后果的情况下，它也可能是一个不适当的选择，更保守的估计是首选。我们提倡一类损失函数的参数定义在有限的空间，无限惩罚边界的决定一样，平方误差损失在真正的线。我们还回顾了损失函数的几个性质，如对称性，凸性和不变性。我们提出了广义的平方误差损失函数的参数定义在正实数线和区间。我们提供了明确的解决方案，相应的贝叶斯估计，并讨论多元扩展。{四}著名的贝叶斯估计问题被用来证明推理的好处，新的贝叶斯估计可以提供在限制估计的上下文中。
2019-02-22 math.ST stat.TH
Evidence Networks: simple losses for fast, amortized, neural Bayesian model comparison
University College London（伦敦大学学院）；Center for Computational Astrophysics, Flatiron Institute（计算天体物理中心，弗拉蒂隆研究所）
提出 Evidence Networks，通过将贝叶斯模型比较转化为优化问题并设计特定损失函数，直接估计贝叶斯因子的便利函数，实现了快速、摊销且不受参数空间维度限制的模型比较。
2024-01-10 astro-ph.CO astro-ph.IM cs.LG
Bayes posterior convergence for loss functions via almost additive Thermodynamic Formalism
统计推断可以看作是涉及输入信息和输出信息的信息处理过程，它更新了对某些未知参数的信念。我们认为贝叶斯框架的动力系统从遍历的观察，贝叶斯过程是基于吉布斯后验推理，一个决策过程推广的标准贝叶斯推理的可能性是由指数的损失函数。在直接观测和几乎可加损失函数的情形下，证明了后验测度在极限测度下的指数收敛性。我们对直接观测的贝叶斯后验收敛的估计是相关的，并推广了K。McGoff，S. Mukherjee和A.诺贝尔奖我们的方法利用非添加剂的热力学形式主义和大偏差属性，而不是连接。
2022-01-13 math.DS math.PR math.ST
General Bayesian Loss Function Selection and the use of Improper Models
统计学家经常面临使用概率模型或通过最小化损失函数定义的范式之间的选择。这两种方法都是有用的，如果损失可以重新转换为一个适当的概率模型，有许多工具来决定哪个模型或损失更适合于观察到的数据，在解释数据的性质的意义上。但是，当损失导致一个不恰当的模式时，没有原则性的方法来指导这种选择。我们通过结合Hyvärinen评分（自然以无穷小的相对概率为目标）和一般贝叶斯更新（为损失和模型的推断提供统一的框架）来解决这一任务。具体来说，我们提出了H-分数，一般贝叶斯选择标准，并证明它始终选择（可能不正确的）模型最接近的数据生成的事实，在费舍尔的分歧。我们还证明了一个相关的H-后验始终学习最佳的超参数的损失函数，包括一个具有挑战性的回火参数广义贝叶斯推断。作为突出的例子，我们考虑强大的回归和非参数密度估计流行的损失函数定义不正确的模型的数据，因此不能处理使用标准的模型选择工具。这些例子说明了鲁棒性效率权衡的优势，并提供了一个贝叶斯实现内核密度估计，开辟了一个新的途径贝叶斯非参数。
2022-03-28 stat.ME
Long-tailed Classification from a Bayesian-decision-theory Perspective
Purdue University（普渡大学）
长尾分类是一个挑战，因为它的严重不平衡的类概率和尾部敏感性风险与不对称的错误预测成本。最近的尝试使用了重新平衡损失和集成方法，但它们在很大程度上是启发式的，严重依赖于经验结果，缺乏理论解释。此外，现有的方法忽略了决策损失，其特征在于与尾类相关的不同成本。本文从贝叶斯决策理论的角度提出了一个一般性和原则性的框架，它统一了现有的技术，包括再平衡和集成方法，并提供了理论证明，他们的有效性。从这个角度来看，我们得到一个新的目标的基础上的综合风险和贝叶斯深度集成方法，以提高所有类的准确性，特别是“尾巴”。此外，我们的框架允许任务自适应决策损失，提供可证明的最佳决策，在不同的任务场景，以及量化不确定性的能力。最后，我们进行了全面的实验，包括标准分类，尾部敏感的分类与一个新的假头率度量，校准，和消融研究。我们的框架显着改进了当前的SOTA，即使是在像ImageNet这样的大规模真实世界数据集上。
2023-03-21 cs.CV cs.LG stat.ML
Weak convergence of Bayes estimators under general loss functions
Institute of Mathematical Statistics, University of Goettingen（哥廷根大学数学统计研究所）
本文研究了在一般损失函数下贝叶斯估计的弱收敛性，建立了统一理论框架，并推导了后验渐近正态性的条件，同时提供了新的一致性结果和实验验证。
2026-03-13 math.ST stat.TH
Bayesian predictive densities for linear regression models under alpha-divergence loss: some results and open problems
本文考虑方差未知的正态线性模型在α-散度损失下的预测密度估计，其中α-1 <= α <= 1。我们首先给出了问题的一般标准型，然后给出了广义贝叶斯解在上述损失下的一般表达式。对于Maruyama和Strawderman（2005，2006）研究的一类特殊的分层广义先验，分别针对均值向量和方差的估计问题，给出了广义Bayes预测密度.此外，我们表明，对于这些先验的一个子类，当alpha=1时，所得估计量相对于右不变先验支配广义贝叶斯估计量，即，最佳（完全）等变极大极小估计量。
2010-02-19 math.ST stat.TH
A Cramér-Rao Type Bound for Bayesian Risk with Bregman Loss
当潜在的损失函数是Bregman分歧的贝叶斯下界的一般类证明。这类可以被认为是一个扩展的Weinstein-Weiss家庭的均方误差的界限，并依赖于找到一个变分表征贝叶斯风险。该方法允许推导一个版本的Cramér-Rao界限，这是特定于一个给定的Bregman分歧。当损失函数取欧氏范数时，新推广的Cramér-Rao界退化为经典界.在泊松噪声和二项噪声环境下对新界的有效性进行了评估。
2020-06-15 cs.IT math.IT math.ST
Batch-Incremental Triplet Sampling for Training Triplet Networks Using Bayesian Updating Theorem
University of Waterloo（滑铁卢大学）
Triplet网络的变体是用于学习判别嵌入子空间的鲁棒实体。存在不同的三元组挖掘方法来选择最合适的训练三元组。这些挖掘方法中的一些依赖于实例之间的极端距离，而另一些则使用采样。然而，从数据的随机分布中采样而不是仅仅从现有的嵌入实例中采样可以提供更多的判别信息。在这项工作中，我们从分布的数据，而不是从现有的实例中采样三元组。我们考虑一个多元正态分布的嵌入每一类。使用贝叶斯更新和共轭先验，我们动态更新类的分布，通过接收新的小批量的训练数据。所提出的具有贝叶斯更新的三元组挖掘可以与任何基于三元组的损失函数一起使用，例如，三重损失或邻域分量分析（NCA）损失。因此，我们的三元组挖掘方法被称为贝叶斯更新三元组（BUT）和贝叶斯更新NCA（BUNCA），这取决于使用的损失函数。两个公共数据集，即MNIST和组织病理学结直肠癌（CRC）的实验结果，证实了所提出的三元组挖掘方法的有效性。
2020-10-13 cs.CV cs.LG eess.IV
Stability of Gibbs Posteriors from the Wasserstein Loss for Bayesian Full Waveform Inversion
最近，Wasserstein损失函数被证明是有效的，当应用于确定性全波形反演（FWI）问题。我们考虑应用这个损失函数在贝叶斯FWI，使不确定性可以捕获的解决方案。为了比较，还考虑了在实践中常用的其他损失函数。在对先验和模型的弱假设下，证明了所得Gibbs后验在函数空间上的存在性和稳定性。特别是，所产生的Wasserstein损失的分布被证明是相当稳定的高频噪声的数据。然后，我们用数值方法说明了所得分布之间的差异，使用拉普拉斯近似来估计未知的速度场和与估计相关的不确定性。
2021-04-16 cs.NA math.NA math.ST
Inferences from prior-based loss functions
由先前确定的损失函数所产生的推论被认为是，它表明，这些导致限制贝叶斯规则是密切相关的可能性。通过这些损失函数得到的程序是不变的下重新参数化和贝叶斯无偏或贝叶斯无偏推断的限制。这些推论作为基于MAP的推论的良好支持的替代品。
2011-04-16 math.ST stat.TH
Bayesian EWMA and CUSUM Control Charts Under Different Loss Functions
指数加权移动平均（EWMA）和累积和（Cumulative Sum）控制图已被用于剖面监控，以跟踪在监控过程中发生的漂移。我们使用不同的损失函数、先验分布和似然分布，根据后验和后验预测分布构建贝叶斯EWMA和贝叶斯CUSUM图表。进行模拟研究，并通过平均运行长度（ARL）、运行长度的标准差（SDRL）、平均信号时间（ATS）和信号时间的标准差（SDTS）评价图表的性能。敏感性分析使用平滑参数、失控偏移大小和分布的超参数的选择进行。根据所得结果，我们提供了使用贝叶斯EWMA和贝叶斯EWMA控制图的建议。
2020-07-20 stat.ME
Loss-based Bayesian Sequential Prediction of Value at Risk with a Long-Memory and Non-linear Realized Volatility Model
提出RNN-HAR模型，结合HAR与RNN处理长记忆和非线性动态，采用基于损失的贝叶斯推断和序列蒙特卡洛进行估计，在31个市场指数的VaR预测中优于其他模型。
2024-08-24 q-fin.RM stat.ML
Minimaxity and Admissibility of Bayesian Neural Networks
Department of Statistics and Data Science, Cornell University（康奈尔大学统计与数据科学系）
本文研究了基于ReLU激活函数的深度全连接前馈BNN在正态位置模型下的决策规则，证明其非极小大，并提出超前先验以获得同时可接受和极小大的决策规则，进一步扩展到KL损失下的预测密度估计。
2026-10-27 cs.LG math.ST stat.ML
Bayesian model selection of vine copulas: a loss-based perspective
Università Cattolica del Sacro Cuore（天主教撒科鲁尔圣心大学）；University of Turin（都灵大学）；University of Exeter（埃克塞特大学）；King’s College London（伦敦国王学院）；Duke Kunshan University（杜克昆山大学）
针对贝叶斯藤蔓Copula模型选择计算成本高的问题，提出结合基于损失的模型先验与散弹随机搜索策略的新框架，实现稀疏性、快速结构选择及联合推断。
2026-06-23 stat.ME stat.ML
Non-parametric Bayesian inference via loss functions under model misspecification
King’s College London（伦敦国王学院）；McGill University（麦吉尔大学）；Imperial College London（帝国理工学院）；London School of Economics and Political Science（伦敦政治经济学院）
本文提出了一种基于损失函数的非参数贝叶斯方法，在模型不规范情况下构建有效的后验分布，并通过模拟验证了其恢复真实参数的能力。
2026-01-19 stat.ME
Loss-based Objective and Penalizing Priors for Model Selection Problems
提出风险均衡先验和风险惩罚先验，作为贝叶斯模型选择中仅依赖模型空间和损失函数的客观先验，揭示了损失函数对先验属性的影响，并通过变量选择和聚类分析验证。
2023-11-22 stat.ME
Bayesian Reliability Analysis of the Power Law Process with Respect to the Higgins-Tsokos Loss Function for Modeling Software Failure Times
幂律过程，又称非齐次泊松过程，在软件可靠性评估中有着广泛的应用。具体地说，就是利用其强度函数来计算软件可靠性随时间变化的变化率。使用真实数据证明了贝叶斯分析对幂律过程的适用性。首先确定最能表征强度函数中关键参数行为的概率分布，然后得到Higgins-Tsokos损失函数下幂律过程的基于似然的Bayes可靠性估计.作为模拟研究和使用真实数据的结果，与使用不同样本量的最大似然估计相比，贝叶斯估计显示出出色的性能。此外，还进行了敏感性分析，结果表明贝叶斯估计对先验选择敏感;无论是参数还是非参数。
2020-02-02 stat.AP stat.CO
Loss-Based Variational Bayes Prediction
我们提出了一种新的方法贝叶斯预测，迎合了大量的参数模型，是强大的模型误指定。给定一类高维（但参数化）预测模型，这种新方法使用变分近似来构造后验预测，以直接关注预测准确性的广义后验。新的预测方法的理论行为进行了分析，并证明了一种形式的最优。使用高维贝叶斯神经网络和自回归混合模型的模拟和经验数据的应用表明，该方法提供了更准确的结果比各种替代品，包括错误指定的基于似然的预测。
2022-05-12 econ.EM stat.AP stat.ME
An approach for finding fully Bayesian optimal designs using normal-based approximations to loss functions
决策理论贝叶斯最优设计的生成是复杂的显着的计算挑战，最小化的分析棘手的预期损失函数在一个潜在的，高维的设计空间。提出了一种新的近似寻找贝叶斯最优设计的一般方法，该方法使用计算效率高的基于正态近似的后验摘要，以帮助近似的预期损失。这种新的方法是证明说明性的，但具有挑战性的，包括层次模型的阻塞实验，实验目标的参数估计和模型歧视的例子。在可能的情况下，所提出的方法的结果进行比较，无论是在性能和计算时间方面，从使用计算更昂贵，但可能更准确，蒙特卡罗近似的结果。此外，该方法还适用于使用蒙特卡罗近似在计算上不可行的问题。
2017-02-06 stat.ME
GLASSES: Relieving The Myopia Of Bayesian Optimisation
我们提出了眼镜：通过随机模拟和期望损失搜索的全局优化。大多数使用的全局优化方法都是短视的，只考虑下一个函数值的影响;确实存在的非短视方法只能考虑少数未来的评估。我们的新算法，眼镜，允许考虑几十个评估到未来。这是通过近似的理想的前瞻损失函数，这是昂贵的评估，通过一个更便宜的替代方案，其中的算法的未来步骤是预先模拟。期望传播算法被用来计算期望值的loss.We表明，远景规划，从而使实质性的性能收益的实证测试。
2015-10-21 stat.ML
A generalized Bayes framework for probabilistic clustering
基于损失的聚类方法，如k-means及其变体，是在数据中查找组的标准工具。然而，缺乏量化的不确定性估计集群是一个缺点。基于混合模型的基于模型的聚类提供了一种替代方案，但这样的方法面临计算问题和对核的选择很敏感。本文提出了一个广义贝叶斯框架，这两个范式之间的桥梁，通过使用吉布斯后验。在进行贝叶斯更新时，对数似然被聚类的损失函数所取代，从而产生了丰富的聚类方法家族。吉布斯后验表示贝叶斯信念的一致更新，而无需指定数据的可能性，并且可以用于表征聚类中的不确定性。我们认为损失的基础上Bregman分歧和成对的相似性，并制定有效的确定性算法的点估计以及采样算法的不确定性量化。几个现有的聚类算法，包括k-means，可以被解释为广义贝叶斯估计在我们的框架下，因此，我们提供了一种方法的不确定性量化这些方法。
2020-06-09 stat.ME stat.ML
Asymptotic global robustness in bayesian decision theory
在贝叶斯决策论中，已知关于损失和先验的鲁棒性可以通过添加新的观测来提高。在这篇文章中，我们研究了鲁棒性改善率相对于观测数n。考虑了后验全局鲁棒性的三个常用度量：一类损失函数的Bayes动作集的范围，当主观损失属于给定类时使用特定损失的最大后悔，以及当损失函数在一类范围内时后验期望损失的范围.我们表明，收敛速率的鲁棒性的第一个措施是\sqrtn，而其他措施的合理假设下的类损失函数。我们首先研究两个特殊的情况来说明我们的结果。
2004-10-05 math.ST stat.TH
General Bayesian Policy Learning
本文提出通用贝叶斯框架用于策略学习，通过平方损失替代品实现福利最大化，并提供理论保证。
2026-08-14 cs.LG econ.EM math.ST
Focused econometric estimation for noisy and small datasets: A Bayesian Minimum Expected Loss estimator approach
许多推理情形的中心是参数的有理函数的估计。统计学和计量经济学的主流估计这些数量的基础上插件的方法，而不考虑的主要目标的推理情况。我们提出了贝叶斯最小预期损失（MELO）的方法，明确关注的功能，并计算其频率变异。MELO估计量的渐近性质类似于插入式方法。然而，模拟实验表明，我们的建议是更好的情况下，其特征在于小样本量和噪声模型。此外，我们在应用程序中观察到，当数据集信息量不是很大时，我们的方法比常用的替代方法提供更低的标准误差。
2018-09-19 econ.EM stat.ME
On Reparameterization Invariant Bayesian Point Estimates and Credible Regions
本文考虑了用于科学推理和交流的模型参数的重参数化不变贝叶斯点估计和可信区域。研究了贝叶斯内在估计和区域中内在损失函数选择的影响，发现如下。使用从完整模型到限制模型的库尔贝克-莱布勒散度的特定固有损失函数与贝叶斯预测准则有很强的联系，贝叶斯预测准则产生具有最佳预测性能的点估计。另一种内在损失函数，使用从限制模型到完整模型的库尔贝克-莱布勒散度，产生至少一些常用分布的具有有趣频率特性的估计，即位置和尺度参数的无偏最小方差估计。
2021-09-22 stat.ME
A bayesian wavelet shrinkage rule under LINEX loss function
本文针对具有高斯误差的非参数回归模型，提出了一种基于非对称LINEX损失函数的贝叶斯小波收缩规则，采用零点质点与逻辑斯蒂分布的混合先验，推导了其统计性质，并通过模拟和红外光谱数据验证了其有效性。
2023-07-26 stat.ME
The Lindley paradox: The loss of resolution in Bayesian inference
统计学有三种主要范式：贝叶斯、频率论和基于信息的推理。虽然这些范式在某些情况下是一致的，林德利悖论描述了一类问题，未知维度的模型，其中相互矛盾的结论是由频率论和贝叶斯推理产生的。这种冲突会对科学结论产生实质性影响。因此，理解林德利悖论-它适用于何处，为什么会发生，以及如何避免-对于理解统计分析至关重要。在本文中，我们重温林德利悖论的背景下，一个简单的生物物理应用。我们描述了如何预测和postdictive模型性能的措施提供了一个自然的框架，理解林德利悖论。然后，我们确定的方法，导致最佳的实验分辨率的发现。
2017-08-16 math.ST stat.TH
Parameter Estimates of General Failure Rate Model: A Bayesian Approach
失效率函数在可靠性理论和寿命试验模型中研究寿命分布具有重要作用。在平方误差损失函数下，对一般失效率模型$r(t)=a+bt^{θ-1}$进行了研究，考虑了$a$和$b$独立指数随机变量。在本文中，我们认为$a$和$b$不一定是独立的。在平方误差损失、线性损失和熵损失下，得到了参数$a$和$b$的估计.
2014-05-22 stat.CO
Bayesian Mendelian randomization testing of interval causal null hypotheses: ternary decision rules and loss function calibration
我们的方法孟德尔随机化（MR）分析的目的是增加因果效应的“发现”的可重复性：（i）使用贝叶斯方法进行推理;（ii）用实际等效区域代替点原假设，该实际等效区域包括对于感兴趣的效应的可忽略量值的值，同时利用贝叶斯分析的能力来量化落在区域内/区域外的影响的证据;（iii）拒绝通常的二元决策逻辑，而赞成三元逻辑，其中假设检验可能导致接受或拒绝空值，同时还适应“不确定”的结果。我们提出了一种方法来校准所提出的方法，通过损失函数，我们用我们的方法与频率论的比较。我们说明的方法与援助的因果关系的影响，肥胖的青少年心肌梗死的风险的研究。
2022-08-10 stat.ME
