Bayesian Quadrature for Multiple Related Integrals
贝叶斯概率数值方法是一组提供数值方法输出的后验分布的工具。这些方法的使用通常是出于这样一个事实，即它们可以表示我们的不确定性，这是由于关于被近似的连续数学问题的不完整/有限信息。在本文中，我们证明了这种模式可以提供额外的优势，如几个数值方法之间的信息传输的可能性。这允许用户以更忠实的方式表示不确定性，并且作为副产品，提供了更高的数值效率。我们提出了第一个这样的数值方法，通过扩展著名的贝叶斯求积算法的情况下，我们有兴趣在计算几个相关函数的积分。然后，我们证明了该方法的收敛速度在指定和错误的情况下，并证明其效率的背景下，复杂的工程系统的多保真度模型和计算机图形学中的全局照明问题。
2018-07-30 cs.NA math.NA stat.CO
Loss convergence in a causal Bayesian neural network of retail firm performance
我们通过将有向无环图实现为因果贝叶斯神经网络来扩展结构方程模型（SEM）的实证结果，该模型发表在《零售购买、零售商店运营和企业绩效的产品组合规划》一文中。神经网络的收敛性，以改善与最弱的SEM路径的节点的删除时，变分推断提供扰动权重与Flipout层，而结果从扰动权重在输出与Vadam优化器是不确定的。
2020-08-29 cs.LG stat.ML
Post-hoc loss-calibration for Bayesian neural networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）
贝叶斯决策理论提供了一个优雅的框架下采取最佳行动的不确定性时，易于处理的后验分布。然而，现代贝叶斯模型通常涉及难以处理的后验，这些后验是用可能是粗糙的替代品近似的。这种困难产生了损失校准技术，旨在学习有利于高效用决策的后验近似。在本文中，专注于贝叶斯神经网络，我们开发的方法来纠正近似后验预测分布，鼓励他们喜欢高效用的决定。与以前的工作相比，我们的方法是不可知的近似推理算法的选择，允许有效的测试时间决策，通过摊销，并根据经验产生更高质量的决策。我们通过跨越各种任务和数据集的对照实验证明了我们方法的有效性。
2021-06-13 cs.LG stat.ML
PAC-Bayesian Theory Meets Bayesian Inference
INRIA Paris - École Normale Supérieure（法国国家信息与自动化研究所巴黎分部 - 巴黎高等师范学院）；Google（谷歌）
我们表现出一个强有力的联系之间的频率PAC贝叶斯风险界和贝叶斯边际似然。也就是说，对于负对数似然损失函数，我们表明，PAC-Bayesian泛化风险界的最小化最大化贝叶斯边际似然。这为贝叶斯奥卡姆剃刀准则提供了另一种解释，假设数据是由i.i.d分布生成的。此外，由于负对数似然是一个无界的损失函数，我们激励和提出了一个PAC贝叶斯定理为子伽玛损失家庭，我们表明，我们的方法是健全的经典贝叶斯线性回归任务。
2017-02-13 cs.LG stat.ML
Bayesian Integrals on Toric Varieties
我们探讨了正几何统计模型的设置复曲面品种。我们的重点在于模型的离散数据参数化的Cox坐标。我们发展了一个几何理论计算贝叶斯统计，如评估边际似然积分和抽样后验分布。这些都是基于热带抽样方法评估费曼积分在物理学。在这里，我们推广的方法从射影空间的任意环面品种。
2023-03-22 math.AG math.ST stat.TH
General Bayesian Updating and the Loss-Likelihood Bootstrap
在本文中，我们重新审视加权似然自助法，一种从参数模型的近似贝叶斯后验生成样本的方法。我们表明，相同的方法可以得到，没有近似，在贝叶斯非参数模型与参数定义为最小化预期的负对数似然未知的抽样分布下的利益。这种解释使我们能够将加权似然自助法扩展到参数的后验抽样，以最大限度地减少预期损失。我们称这种方法为损失似然自助法。我们在此和一般贝叶斯更新之间建立了联系，贝叶斯更新是一种更新先验置信分布的方法，而无需构建全局概率模型，但需要校准两种形式的损失函数。损失似然自举法用于通过匹配渐近费舍尔信息来校准一般贝叶斯后验。我们证明了一些例子的方法。
2018-05-22 stat.ME stat.ML
A path-integral approach to Bayesian inference for inverse problems using the semiclassical approximation
我们演示了如何路径积分经常使用的理论物理问题，可以适应于提供一个机器在函数空间中执行贝叶斯推断。这样的推论自然是在研究从常微分方程或偏微分方程（ODE，PDE）中恢复连续（无限维）系数函数的反问题中，这是一个典型的不适定问题。使用$L^2$函数空间对这些问题进行正则化（Tikhonov正则化）相当于使用高斯先验的贝叶斯概率推理。逆问题正则化的贝叶斯解释是有用的，因为它允许量化和表征逆问题解决方案中的误差和精度，以及检查在解决问题时所做的假设-即正则化的主观选择是否与先验知识兼容。使用路径积分形式主义，贝叶斯推断可以通过各种微扰技术，如半经典近似，我们在这篇手稿中使用。微扰路径积分方法，同时提供了替代计算方法，如马尔可夫链蒙特卡罗（MCMC），也提供了自然的出发点MCMC方法，可用于细化近似。在这篇手稿中，我们说明了一个路径积分制定反问题，并证明它在膜生物物理学的反问题，以及潜在的理论，涉及泊松方程的反问题。
2014-07-22 hep-th math.OC math.ST
Bayesian Posterior Perturbation Analysis with Integral Probability Metrics
近年来，在科学、工程和机器学习中发现的大规模反问题中的贝叶斯推断得到了极大的关注。本文通过分析后验测度对似然势和先验测度扰动的稳定性，研究了贝叶斯方法的鲁棒性。我们提出了新的稳定性的结果，使用一个家庭的积分概率距离（分歧）类似的双重问题，出现在最佳运输。我们的研究结果从以前的作品中脱颖而出，在三个方向：（1）我们构建了新的家庭的积分概率距离，是适应手头的问题;（2）这些新的度量使我们能够研究的可能性和先验扰动在一个方便的方式;（3）我们的分析容纳可能性潜力，只有局部Lipschitz，使它们适用于广泛的非线性反问题。我们的理论研究结果得到进一步加强，通过具体和新颖的例子，后验测量的近似率获得不同类型的扰动，并提供了一条路径，最近适应的机器学习技术的贝叶斯逆问题，如数据驱动的先验和神经网络代理的收敛分析。
2023-03-02 math.PR math.ST stat.ML
Loss-Calibrated Approximate Inference in Bayesian Neural Networks
University of Oxford（牛津大学）
贝叶斯神经网络的近似推理中的当前方法最小化库尔贝克-莱布勒散度以近似权重上的真实后验。然而，这种近似没有最终应用的知识，因此不能保证给定任务的最佳预测。为了使更合适的特定于任务的近似，我们引入了一个新的损失校准证据下限贝叶斯神经网络的监督学习的背景下，通知贝叶斯决策理论。通过引入依赖于效用函数的下限，我们确保我们的近似比具有非对称效用函数的应用程序的传统方法实现更高的效用。此外，在使用dropout推理时，我们强调我们的新目标与标准dropout神经网络的目标相同，只是增加了一个依赖于效用的惩罚项。我们展示了我们的新的损失校准模型与说明性的医疗例子和限制模型容量实验，并突出故障模式的可比加权交叉熵的方法。最后，我们展示了我们的方法的可扩展性，以现实世界的应用程序与自动驾驶数据集上的每像素语义分割。
2018-05-10 cs.LG stat.ML
Bayesian Analysis of Loss Ratios Using the Reversible Jump Algorithm
本文研究了一类保险赔付率模型的选择问题。我们使用一个可逆的跳跃算法，我们的模型歧视，并显示如何香草可逆跳跃算法可以改进使用可逆跳跃计算的最新方法进展。
2011-01-06 stat.AP stat.CO
Exact Bayesian Gaussian Cox Processes Using Random Integral
本文提出一种非参数贝叶斯方法，通过将强度函数与累积强度函数联合建模为变换后的高斯过程，并设计精确MCMC采样器，在不依赖数据增广或似然近似的情况下实现非齐次泊松过程的强度函数后验推断。
2024-06-28 stat.CO stat.ME stat.ML
PAC-Bayesian bounds for learning LTI-ss systems with input from empirical loss
Aalborg University（奥尔堡大学）；Laboratoire Signal et Automatique de Lille (CRIStAL)（里尔信号与自动化实验室（CRIStAL））
在本文中，我们得到了一个可能近似正确（PAC）的贝叶斯误差界的线性时不变（LTI）随机动力系统的输入。这样的界限在机器学习中很普遍，它们对于表征从大量数据点学习的模型的预测能力很有用。特别是，本文导出的边界将未来的平均预测误差与模型在用于学习的数据上产生的预测误差联系起来。反过来，这使我们能够提供有限样本误差界的广泛的学习/系统识别算法。此外，由于LTI系统是递归神经网络（RNN）的一个子类，这些误差范围可能是RNN迈向PAC-贝叶斯边界的第一步。
2023-03-29 cs.LG stat.ML
The Controlled Thermodynamic Integral for Bayesian Model Comparison
贝叶斯模型比较依赖于模型证据，但对于许多感兴趣的模型，模型证据是不可用的封闭形式，必须近似。在蒙特卡罗文献中提出的许多证据的估计量都具有很高的变异性。本文认为，减少方差，可以通过利用控制变量在这种设置。我们的方法是基于热力学积分和适用于任何时候的梯度的对数似然和对数先验相对于参数可以有效地评估。回归模型和流行的基准数据集上获得的结果表明，估计方差显着，有时显着减少，并提供了更广泛的适用性控制变量贝叶斯模型比较的洞察。
2014-05-01 stat.ME
The E-Bayesian Estimation and its E-MSE of Lomax distribution under different loss functions
研究了Lomax分布参数在不同损失函数下的E-Bayes估计。在不同的损失函数下，计算参数的贝叶斯估计，然后计算估计值的期望，得到E-Bayes估计。为了度量估计误差，引入了期望均方误差（E-MSE）。并给出了E-Bayes估计和E-MSE的计算公式。通过应用马尔可夫链蒙特卡罗技术，我们分析了所提出的方法的性能。结果进行了比较的基础上E-MSE。然后，在实际数据集的样本的情况下，为了说明。为了检验Lomax分布是否可以用于分析数据集，进行了Kolmogorov Smirnov检验。利用实际数据，我们可以同时得到极大似然估计，并与E-Bayes估计进行比较。最后，在三种不同的损失函数下，对贝叶斯和E-Bayesian估计方法进行了比较。
2022-09-02 math.ST stat.ME stat.TH
Bayesian Sampling Bias Correction: Training with the Right Loss Function
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）
我们推导出一个损失函数的家庭的训练模型中存在的抽样偏差。例如，当病理学的患病率与其在训练数据集中的采样率不同时，或者当机器学习从业者重新平衡其训练数据集时。采样偏差会导致实验室中的模型性能与更现实的设置之间存在很大差异。它在医学成像应用中无处不在，但在训练时经常被忽视或在特定的基础上解决。我们的方法是基于贝叶斯风险最小化。对于任意似然模型，我们推导出相关的偏差校正损失的训练，表现出直接连接到信息增益。该方法无缝集成在当前的（深度）学习范式中，使用随机反向传播并自然地与贝叶斯模型相结合。我们举例说明肺结节恶性程度分级的病例研究的方法。
2020-06-24 cs.LG q-bio.QM stat.AP
On the generalization of bayesian deep nets for multi-class classification
Bar-Ilan University（巴伊兰大学）；Technion（以色列理工学院）；University of Illinois（伊利诺伊大学）
评估真实风险和经验风险之间差异的泛化界限已经得到了广泛的研究。然而，为了获得边界，当前技术使用严格的假设，诸如一致有界或Lipschitz损失函数。为了避免这些假设，在本文中，我们通过利用Log-Sobolev不等式的收缩性，提出了一个新的贝叶斯深度网的推广界。使用这些不等式增加了一个额外的损失梯度范数项的推广界，这是直观的模型复杂性的替代品。从经验上讲，我们使用不同的深度网络分析了这种损失梯度范数项的影响。
2020-02-23 cs.LG stat.ML
Bayesian Reliability Analysis of the Power Law Process with Respect to the Higgins-Tsokos Loss Function for Modeling Software Failure Times
幂律过程，又称非齐次泊松过程，在软件可靠性评估中有着广泛的应用。具体地说，就是利用其强度函数来计算软件可靠性随时间变化的变化率。使用真实数据证明了贝叶斯分析对幂律过程的适用性。首先确定最能表征强度函数中关键参数行为的概率分布，然后得到Higgins-Tsokos损失函数下幂律过程的基于似然的Bayes可靠性估计.作为模拟研究和使用真实数据的结果，与使用不同样本量的最大似然估计相比，贝叶斯估计显示出出色的性能。此外，还进行了敏感性分析，结果表明贝叶斯估计对先验选择敏感;无论是参数还是非参数。
2020-02-02 stat.AP stat.CO
On permutation symmetries in Bayesian neural network posteriors: a variational perspective
Stellantis（斯泰兰蒂斯）
本研究将边缘化损失障碍形式化扩展到贝叶斯神经网络，提出一种基于置换矩阵对齐的匹配算法以搜索线性连接解，实验表明多种架构和数据集上边缘化损失障碍几乎为零。
2023-10-16 cs.LG stat.ML
Marginalized Bayesian filtering with Gaussian priors and posteriors
边缘化技术的贝叶斯滤波问题的假设下，高斯先验和后验和一组顺序更多的约束状态空间模型的假设。该技术提供了以下能力：1）将滤波问题简化为基本的边际矩积分，2）将模型和数值逼近结合到矩积分，以及3）解耦建模和系统组成。后验均值和协方差的封闭形式的表达式作为子空间投影矩阵，子系统模型，和边际矩积分的函数。最后，我们回顾以前的工作，以及如何将结果与卡尔曼和边缘化粒子滤波技术。
2016-07-11 math.ST stat.TH
Computing Bayes: Bayesian Computation from 1763 to the 21st Century
贝叶斯统计范式使用概率的语言来表达产生观测数据的现象的不确定性。因此，概率分布是贝叶斯分析的特征，概率规则用于将所有未知数（参数、潜在变量、模型）的先验概率分布转换为数据观察后的后验分布。进行贝叶斯分析需要对出现这些概率分布的积分进行评估。贝叶斯计算就是在没有解析解存在的典型情况下计算这样的积分。本文将带读者按时间顺序参观贝叶斯计算在过去的两个半世纪。从贝叶斯在1763年首次遇到的一维积分开始，到最近的问题，其中未知数数以百万计，我们将所有计算问题放入一个共同的框架，并使用一个共同的符号描述所有计算方法。其目的是帮助新的研究人员，特别是那些有兴趣采用贝叶斯方法进行实证研究的人，理解现在提供的大量计算技术;理解不同方法何时以及为什么有用;并看到它们之间确实存在的联系。
2020-12-05 stat.CO stat.ME
Parameter Estimates of General Failure Rate Model: A Bayesian Approach
失效率函数在可靠性理论和寿命试验模型中研究寿命分布具有重要作用。在平方误差损失函数下，对一般失效率模型$r(t)=a+bt^{θ-1}$进行了研究，考虑了$a$和$b$独立指数随机变量。在本文中，我们认为$a$和$b$不一定是独立的。在平方误差损失、线性损失和熵损失下，得到了参数$a$和$b$的估计.
2014-05-22 stat.CO
Neural Bayesian Anomaly Mitigation: A Robust Loss that Doubles as an Unsupervised Contamination Classifier
Astrophysics Group, Cavendish Laboratory, University of Cambridge（剑桥大学卡文迪许实验室天体物理组）；Institute of Astronomy, University of Cambridge（剑桥大学天文研究所）
提出神经贝叶斯异常缓解（NBAM）损失，基于贝叶斯潜变量混合模型，既提供鲁棒监督损失又输出无监督污染后验，在CIFAR-10上优于Huber等基线。
2026-06-16 astro-ph.CO cs.LG stat.ML
On the Importance of Gradient Norm in PAC-Bayesian Bounds
Technion（以色列理工学院）；Meta AI Research（元人工智能研究院）；The Hebrew University of Jerusalem（希伯来大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
评价真实风险和经验风险之间差异的泛化界限已被广泛研究。然而，为了获得边界，当前技术使用严格的假设，诸如一致有界或Lipschitz损失函数。为了避免这些假设，在本文中，我们遵循另一种方法：我们放松一致的边界假设，使用平均有界损失和平均有界梯度范数假设。在这种放松之后，我们提出了一个新的推广界，利用log-Sobolev不等式的收缩性。这些不等式增加了一个额外的损失梯度范数项的推广界，这是直观的模型复杂性的替代品。我们将提出的边界应用于贝叶斯深度网络，并实证分析了这种新的损失梯度范数项对不同神经架构的影响。
2022-11-02 cs.LG stat.ML
General Bayesian Loss Function Selection and the use of Improper Models
统计学家经常面临使用概率模型或通过最小化损失函数定义的范式之间的选择。这两种方法都是有用的，如果损失可以重新转换为一个适当的概率模型，有许多工具来决定哪个模型或损失更适合于观察到的数据，在解释数据的性质的意义上。但是，当损失导致一个不恰当的模式时，没有原则性的方法来指导这种选择。我们通过结合Hyvärinen评分（自然以无穷小的相对概率为目标）和一般贝叶斯更新（为损失和模型的推断提供统一的框架）来解决这一任务。具体来说，我们提出了H-分数，一般贝叶斯选择标准，并证明它始终选择（可能不正确的）模型最接近的数据生成的事实，在费舍尔的分歧。我们还证明了一个相关的H-后验始终学习最佳的超参数的损失函数，包括一个具有挑战性的回火参数广义贝叶斯推断。作为突出的例子，我们考虑强大的回归和非参数密度估计流行的损失函数定义不正确的模型的数据，因此不能处理使用标准的模型选择工具。这些例子说明了鲁棒性效率权衡的优势，并提供了一个贝叶斯实现内核密度估计，开辟了一个新的途径贝叶斯非参数。
2022-03-28 stat.ME
PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime
Google Research（谷歌研究院）
贝叶斯后验最小化“推断风险”，其本身限制了“预测风险”。当可能性和先验信息明确指定时，该界限很紧。然而，由于误设定导致间隙，贝叶斯后验预测分布可能具有较差的泛化性能。这项工作开发了一个多样本损失（PAC $^m$），它可以通过跨越两个风险之间的权衡来缩小差距。损失是计算上有利的，并提供PAC泛化保证。实证研究表明，改善的预测分布。
2022-05-23 cs.LG stat.ML
A Cramér-Rao Type Bound for Bayesian Risk with Bregman Loss
当潜在的损失函数是Bregman分歧的贝叶斯下界的一般类证明。这类可以被认为是一个扩展的Weinstein-Weiss家庭的均方误差的界限，并依赖于找到一个变分表征贝叶斯风险。该方法允许推导一个版本的Cramér-Rao界限，这是特定于一个给定的Bregman分歧。当损失函数取欧氏范数时，新推广的Cramér-Rao界退化为经典界.在泊松噪声和二项噪声环境下对新界的有效性进行了评估。
2020-06-15 cs.IT math.IT math.ST
Being Bayesian about Categorical Probability
ESTsoft
神经网络利用softmax作为分类任务的构建块，其包含过度自信问题并且缺乏不确定性表示能力。作为softmax的贝叶斯替代方案，我们考虑类标签上分类概率的随机变量。在这个框架中，先验分布显式地对观察到的标签中固有的假定噪声进行建模，这在多个具有挑战性的任务中提供了一致的泛化性能增益。该方法继承了贝叶斯方法的优点，实现了更好的不确定性估计和模型校准。我们的方法可以实现为一个即插即用的损失函数，与具有交叉熵损失函数的softmax相比，其计算开销可以忽略不计。
2020-06-29 cs.LG stat.ML
Bayesian Optimization with Expensive Integrands
Cornell University（康奈尔大学）；School of Operations Research & Information Engineering（运筹学与信息工程学院）
我们提出了一个贝叶斯优化算法的目标函数是昂贵的评估功能的总和或积分，允许嘈杂的评价。这些目标函数出现在用于调整机器学习超参数的多任务贝叶斯优化、通过模拟进行的优化以及具有随机环境条件的实验的顺序设计中。我们的方法是平均情况下最优的建设时，一个单一的评估被积保持在我们的评估预算。实现这种一步最优性需要解决一个具有挑战性的价值的信息优化问题，为此，我们提供了一种新的有效的离散化的计算方法。我们还提供了一致性证明，我们的方法在连续和离散有限域的目标函数的总和。在数值实验中，与以前的最先进的方法相比，包括那些也利用总和或积分结构，我们的方法在广泛的问题中表现良好或更好，并且在评估有噪声或被积函数在积分变量中平滑变化时提供了显着的改进。
2018-03-23 cs.LG stat.ML
Stability of Gibbs Posteriors from the Wasserstein Loss for Bayesian Full Waveform Inversion
最近，Wasserstein损失函数被证明是有效的，当应用于确定性全波形反演（FWI）问题。我们考虑应用这个损失函数在贝叶斯FWI，使不确定性可以捕获的解决方案。为了比较，还考虑了在实践中常用的其他损失函数。在对先验和模型的弱假设下，证明了所得Gibbs后验在函数空间上的存在性和稳定性。特别是，所产生的Wasserstein损失的分布被证明是相当稳定的高频噪声的数据。然后，我们用数值方法说明了所得分布之间的差异，使用拉普拉斯近似来估计未知的速度场和与估计相关的不确定性。
2021-04-16 cs.NA math.NA math.ST
Variational Bayesian Methods for Stochastically Constrained System Design Problems
Purdue University（普渡大学）
我们研究的系统设计问题表示为参数化随机规划的机会约束集。我们采用贝叶斯方法，需要计算的后验预测积分，这通常是棘手的。此外，对于一个定义良好的凸规划问题，我们必须保持可行集的凸性。因此，我们提出了一种基于变分贝叶斯的方法来近似计算后验预测积分，确保易处理性和保持凸性的可行集。在一定的正则条件下，我们还表明，使用变分贝叶斯得到的解决方案集收敛到真正的解决方案集的观测数趋于无穷大。我们还提供了一个真正的不可行的点（相对于真正的约束）的概率上的界限，作为可行的VB近似为给定数量的样本。
2020-01-06 cs.LG stat.ML
Bayesian EWMA and CUSUM Control Charts Under Different Loss Functions
指数加权移动平均（EWMA）和累积和（Cumulative Sum）控制图已被用于剖面监控，以跟踪在监控过程中发生的漂移。我们使用不同的损失函数、先验分布和似然分布，根据后验和后验预测分布构建贝叶斯EWMA和贝叶斯CUSUM图表。进行模拟研究，并通过平均运行长度（ARL）、运行长度的标准差（SDRL）、平均信号时间（ATS）和信号时间的标准差（SDTS）评价图表的性能。敏感性分析使用平滑参数、失控偏移大小和分布的超参数的选择进行。根据所得结果，我们提供了使用贝叶斯EWMA和贝叶斯EWMA控制图的建议。
2020-07-20 stat.ME
Integrals over Gaussians under Linear Domain Constraints
University of Tuebingen（图宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Munich（慕尼黑工业大学）
线性约束多变量高斯密度的积分是机器学习和统计学中的常见问题，出现在广义线性模型和贝叶斯优化等任务中。然而，它们是出了名的难以计算，并且使问题进一步复杂化的是，这样的积分的数值可能非常小。我们提出了一个有效的黑箱算法，利用几何估计的积分在一个小的，截断高斯体积，并从中模拟。我们的算法使用Holmes-Diaconis-Ross（HDR）方法结合椭圆切片采样（ESS）的分析版本。适应线性设置，ESS允许无拒绝采样，因为椭圆和域边界的交叉点有封闭形式的解决方案。HDR的核心思想是通过使用一系列嵌套域将积分分解为计算器计算的条件概率。值得注意的是，它允许直接计算积分值的对数，从而能够计算极小的概率质量。我们证明了HDR和ESS的定制组合在高维积分和贝叶斯优化的熵搜索上的有效性。
2020-03-02 cs.LG stat.ML
On the Construction and Implications of Low-Loss Valleys in LoRA-based Bayesian Inference
HTWG Konstanz（康斯坦茨应用科学大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出LoRA-Curve方法，通过分段贝塞尔曲线参数化在LoRA空间中连接独立最优解，形成连续低损失谷，并结合平坦极小扰动和JS散度正则化，在不牺牲性能的前提下提高预测分布的互信息，实现功能多样性。
2026-05-28 cs.LG stat.ML
Non-parametric Bayesian inference via loss functions under model misspecification
King’s College London（伦敦国王学院）；McGill University（麦吉尔大学）；Imperial College London（帝国理工学院）；London School of Economics and Political Science（伦敦政治经济学院）
本文提出了一种基于损失函数的非参数贝叶斯方法，在模型不规范情况下构建有效的后验分布，并通过模拟验证了其恢复真实参数的能力。
2026-01-19 stat.ME
A PAC-Bayesian Perspective on Structured Prediction with Implicit Loss Embeddings
Mines ParisTech – PSL（巴黎高等矿业学院——巴黎文理研究大学）；Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）；University College London（伦敦大学学院）
许多实际的机器学习任务可以被构造为结构化预测问题，其中多个输出变量被预测并被认为是相互依赖的。结构化预测的最新理论进展集中在获得快速收敛保证，特别是在隐损失嵌入（ILE）框架中。PAC-Bayes最近因其能够为预测分布产生严格的风险边界而引起了人们的兴趣。这项工作提出了一种新的PAC贝叶斯观点的ILE结构化预测框架。我们提出了两个推广的界限，风险和超额风险，从而产生洞察ILE预测的行为。两个学习算法推导出这些界限。算法的实现和他们的行为分析，源代码可在\url{https://github.com/theophilec/PAC-Bayes-ILE-Structured-Prediction}。
2020-12-21 cs.LG math.ST stat.ML
An approach for finding fully Bayesian optimal designs using normal-based approximations to loss functions
决策理论贝叶斯最优设计的生成是复杂的显着的计算挑战，最小化的分析棘手的预期损失函数在一个潜在的，高维的设计空间。提出了一种新的近似寻找贝叶斯最优设计的一般方法，该方法使用计算效率高的基于正态近似的后验摘要，以帮助近似的预期损失。这种新的方法是证明说明性的，但具有挑战性的，包括层次模型的阻塞实验，实验目标的参数估计和模型歧视的例子。在可能的情况下，所提出的方法的结果进行比较，无论是在性能和计算时间方面，从使用计算更昂贵，但可能更准确，蒙特卡罗近似的结果。此外，该方法还适用于使用蒙特卡罗近似在计算上不可行的问题。
2017-02-06 stat.ME
A PAC-Bayesian Tutorial with A Dropout Bound
本教程简要概述了现有的PAC贝叶斯理论，重点是三个泛化边界。第一个是奥卡姆界限，它处理具有有限精度参数的规则，并且当写入规则所需的位数与样本大小相比很小时，它指出泛化损失接近训练损失。第二个是PAC-Bayesian界，为后验分布而不是单个规则提供泛化保证。PAC-Bayesian界自然地处理无限精度规则参数、$L_2$正则化、{ \em提供了用于放弃训练的界}，并且定义了单个区分的PAC-Bayesian后验分布的自然概念。第三个界限是训练方差界限-一种偏差方差分析，但用预期训练损失代替偏差。训练方差界占主导地位的其他界限，但更难以解释。这似乎表明方差减少方法，如装袋，并可能最终提供一个更有意义的辍学分析。
2013-07-08 cs.LG
Robust Amortized Bayesian Inference with Self-Consistency Losses on Unlabeled Data
本文提出了一种半监督方法，利用 unlabeled 数据提升 amortized 贝叶斯推断在非模拟范围内的鲁棒性。
2026-03-03 cs.LG stat.ML
A Bayesian Collocation Integral Method for Parameter Estimation in Ordinary Differential Equations
针对含噪观测下常微分方程参数估计易受导数估计误差影响的问题，提出一种在积分形式上运行且避免使用数值求解器的贝叶斯配置框架，能处理一般非线性系统，仿真与真实数据验证了其准确性。
2023-10-23 stat.ME
Overcoming computational inability to predict clinical outcome from high-dimensional patient data using Bayesian methods
在只有相对少量样本的常见环境中，从高维数据预测临床结果是有问题的。这种不平衡导致数据过拟合，结果预测变得计算昂贵甚至不可能。我们提出了一种贝叶斯结果预测方法，可以应用于任意维d的数据，从2个结果类，并减少过拟合，而无需任何近似的参数水平。这是通过避免数值积分或近似，并解析求解贝叶斯积分。因此，我们减少了从2d维的数值积分的维数为4，对于任何d。对于大的d，这是进一步减少到3，我们得到一个简单的结果预测公式没有积分的领先秩序非常大的d。我们比较我们的方法的mclustDA方法（Fraley和Raftery 2002年），使用模拟和真实的数据集。我们的方法在低维d中表现得与mclustDA一样好或更好。在大尺寸d，mclustDA故障，由于计算的限制，而我们的方法提供了一个可行的和计算效率高的替代方案。
2014-06-19 stat.CO stat.ME
Loss Functions in Restricted Parameter Spaces and Their Bayesian Applications
平方误差损失仍然是最常用的损失函数，用于构建感兴趣的参数的贝叶斯估计。然而，当参数被定义在受限空间中时，它可能导致次最优解。在极端高估和/或低估导致严重后果的情况下，它也可能是一个不适当的选择，更保守的估计是首选。我们提倡一类损失函数的参数定义在有限的空间，无限惩罚边界的决定一样，平方误差损失在真正的线。我们还回顾了损失函数的几个性质，如对称性，凸性和不变性。我们提出了广义的平方误差损失函数的参数定义在正实数线和区间。我们提供了明确的解决方案，相应的贝叶斯估计，并讨论多元扩展。{四}著名的贝叶斯估计问题被用来证明推理的好处，新的贝叶斯估计可以提供在限制估计的上下文中。
2019-02-22 math.ST stat.TH
Batch-Incremental Triplet Sampling for Training Triplet Networks Using Bayesian Updating Theorem
University of Waterloo（滑铁卢大学）
Triplet网络的变体是用于学习判别嵌入子空间的鲁棒实体。存在不同的三元组挖掘方法来选择最合适的训练三元组。这些挖掘方法中的一些依赖于实例之间的极端距离，而另一些则使用采样。然而，从数据的随机分布中采样而不是仅仅从现有的嵌入实例中采样可以提供更多的判别信息。在这项工作中，我们从分布的数据，而不是从现有的实例中采样三元组。我们考虑一个多元正态分布的嵌入每一类。使用贝叶斯更新和共轭先验，我们动态更新类的分布，通过接收新的小批量的训练数据。所提出的具有贝叶斯更新的三元组挖掘可以与任何基于三元组的损失函数一起使用，例如，三重损失或邻域分量分析（NCA）损失。因此，我们的三元组挖掘方法被称为贝叶斯更新三元组（BUT）和贝叶斯更新NCA（BUNCA），这取决于使用的损失函数。两个公共数据集，即MNIST和组织病理学结直肠癌（CRC）的实验结果，证实了所提出的三元组挖掘方法的有效性。
2020-10-13 cs.CV cs.LG eess.IV
On integral priors for multiple comparison in Bayesian model selection
University of Murcia（穆尔西亚大学）；CIBER de Epidemiología y Salud Pública (CIBERESP)（公共卫生与流行病学网络中心（CIBERESP））；Biomedical Research Institute of Murcia Pascual Parrilla–IMIB（穆尔西亚生物医学研究所帕斯夸尔·帕里利亚-IMIB）；Université Paris Dauphine PSL（巴黎第九大学PSL）；University of Warwick（华威大学）
本文提出了一种用于贝叶斯模型选择中多重比较的积分先验方法，通过构建遍历马尔可夫链来获得先验分布，并展示了其在模型比较中的有效性。
2026-02-17 stat.ME
Differentiable TAN Structure Learning for Bayesian Network Classifiers
Graz University of Technology（格拉茨技术大学）
贝叶斯网络的结构学习是一个困难的组合优化问题。在本文中，我们考虑学习树增强朴素贝叶斯（TAN）结构的贝叶斯网络分类器与离散输入功能。所提出的方法不是在可能的图结构的空间上执行组合优化，而是学习图结构上的分布。在训练之后，我们选择这个分布的最可能的结构。这允许使用基于梯度的优化对贝叶斯网络参数及其TAN结构进行联合训练。所提出的方法是不可知的具体损失，只要求它是可微的。我们进行了广泛的实验，使用混合生成判别损失的基础上的判别概率余量。我们的方法始终优于随机TAN结构和Chow-Liu TAN结构。
2020-08-21 cs.AI cs.LG stat.ML
Focused econometric estimation for noisy and small datasets: A Bayesian Minimum Expected Loss estimator approach
许多推理情形的中心是参数的有理函数的估计。统计学和计量经济学的主流估计这些数量的基础上插件的方法，而不考虑的主要目标的推理情况。我们提出了贝叶斯最小预期损失（MELO）的方法，明确关注的功能，并计算其频率变异。MELO估计量的渐近性质类似于插入式方法。然而，模拟实验表明，我们的建议是更好的情况下，其特征在于小样本量和噪声模型。此外，我们在应用程序中观察到，当数据集信息量不是很大时，我们的方法比常用的替代方法提供更低的标准误差。
2018-09-19 econ.EM stat.ME
Loss-based Bayesian Sequential Prediction of Value at Risk with a Long-Memory and Non-linear Realized Volatility Model
提出RNN-HAR模型，结合HAR与RNN处理长记忆和非线性动态，采用基于损失的贝叶斯推断和序列蒙特卡洛进行估计，在31个市场指数的VaR预测中优于其他模型。
2024-08-24 q-fin.RM stat.ML
Approximate Bayesian Inference via Sparse grid Quadrature Evaluation for Hierarchical Models
我们结合条件技术与稀疏网格求积规则，开发一种计算效率高的方法来近似边缘，但不一定是单变量，后量，通过稀疏网格求积评估（BISQuE）分层模型产生近似贝叶斯推断。BISQuE将后验量重新表述为条件量的加权积分，例如密度和期望。稀疏网格求积规则允许计算高效的近似高维积分，这出现在具有许多超参数的分层模型中。BISQuE相对于标准的马尔可夫链蒙特卡罗方法减少了至少两个数量级的几个应用和说明性模型的计算工作量。我们还简要讨论了使用BISQuE将集成嵌套拉普拉斯近似（INLA）应用于具有比目前实际更多超参数的模型。
2019-04-15 stat.CO stat.ME
A Tight Excess Risk Bound via a Unified PAC-Bayesian-Rademacher-Shtarkov-MDL Complexity
Centrum Wiskunde & Informatica（荷兰数学与计算机科学中心）；Leiden University（莱顿大学）；University of Victoria（维多利亚大学）
我们提出了一个新的复杂性概念，它介于学习理论中的一些经典复杂性概念之间，并推广了这些复杂性概念：对于具有任意有界损失的经验风险最小化（ERM）估计，它在数据无关的Rademacher复杂性方面是上界的;对于广义贝叶斯估计，它的上界是数据相关信息复杂度（也称为随机或PAC-Bayesian，$\mathrm{KL}(\text{posterior} \operatorname{\|} \text{prior})$复杂性。对于（惩罚）ERM，新的复杂性降低到（广义）归一化最大似然（NML）的复杂性，即一个极大极小对数损失个别序列遗憾。我们的第一个主要结果限制了新的复杂性方面的过度风险。我们的第二个主要结果通过Rademacher复杂性将新的复杂性与$L_2(P)$熵联系起来，从而推广了Opper，Haussler，Lugosi和Cesa-Bianchi的早期结果，他们用$L_\infty$做了对数损失的情况。总之，这些结果恢复VC和大（多项式熵）类的最佳界限，取代本地化的Rademacher复杂性由一个更简单的分析，几乎完全分离的两个方面，确定可实现的速率：“容易”（伯恩斯坦）条件和模型的复杂性。
2017-10-21 cs.LG stat.ML
Precise Regret Bounds for Log-loss via a Truncated Bayesian Algorithm
Purdue University（普渡大学）
我们研究了序贯一般在线回归，也被称为序贯概率分配，对数损失下相比，对广泛的一类专家。我们专注于获得紧密的，往往匹配，下限和上限的顺序极大极小后悔，被定义为超额损失，它招致了一类专家。在证明了一个一般的上界后，我们考虑了从Lipschitz类到有界Hessian类的一些特定的专家类，并导出了匹配的上下界和可证明的最优常数。我们的边界适用于数据维度和轮数的广泛值。为了得到下限，我们使用来自信息论的工具（例如，Shtarkov和）和上界，我们诉诸新的“光滑截断覆盖”的专家类。这使我们能够找到建设性的证据，通过应用一个简单而新颖的截断贝叶斯算法。我们的证明比现有的证明简单得多，但提供了更严格的（通常是最优的）界限。
2022-05-07 cs.IT cs.LG math.IT
On Reparameterization Invariant Bayesian Point Estimates and Credible Regions
本文考虑了用于科学推理和交流的模型参数的重参数化不变贝叶斯点估计和可信区域。研究了贝叶斯内在估计和区域中内在损失函数选择的影响，发现如下。使用从完整模型到限制模型的库尔贝克-莱布勒散度的特定固有损失函数与贝叶斯预测准则有很强的联系，贝叶斯预测准则产生具有最佳预测性能的点估计。另一种内在损失函数，使用从限制模型到完整模型的库尔贝克-莱布勒散度，产生至少一些常用分布的具有有趣频率特性的估计，即位置和尺度参数的无偏最小方差估计。
2021-09-22 stat.ME
Generalised Mixability, Constant Regret, and Bayesian Updating
The Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息与通信技术研究院）；Microsoft Research（微软研究院）
当通过使用Vovk的聚合算法在具有专家建议的预测游戏中可以实现恒定的后悔界限时，损失的可混合性是已知的。我们提供了一个新的解释，通过凸分析，突出了Kullback-Leibler分歧在其定义中的作用。这自然地推广到我们称之为$Φ$的混合性，其中Bregman分歧$D_Φ$取代KL分歧。我们证明，损失是$Φ$ -混合也享有恒定的遗憾界通过一个广义的聚合算法，是类似于镜像下降。
2014-03-10 cs.LG stat.ML
Bayesian model selection of vine copulas: a loss-based perspective
Università Cattolica del Sacro Cuore（天主教撒科鲁尔圣心大学）；University of Turin（都灵大学）；University of Exeter（埃克塞特大学）；King’s College London（伦敦国王学院）；Duke Kunshan University（杜克昆山大学）
针对贝叶斯藤蔓Copula模型选择计算成本高的问题，提出结合基于损失的模型先验与散弹随机搜索策略的新框架，实现稀疏性、快速结构选择及联合推断。
2026-06-23 stat.ME stat.ML
When Is Generalized Bayes Bayesian? A Decision-Theoretic Characterization of Loss-Based Updating
Temple University（天普大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文通过决策理论特征化，区分了信念后验与决策后验，并证明基于损失的后验在特定条件下等同于普通贝叶斯，同时揭示了决策后验需要非线性偏好及熵惩罚的变分表示。
2026-02-02 stat.ME stat.ML
Risk and Regret of Hierarchical Bayesian Learners
MIT（麻省理工学院）
通常的统计实践表明，贝叶斯方法的全部功能在使用分层先验之前是无法实现的，因为这些先验允许更大的“鲁棒性”和“共享统计强度”的能力。“然而，这是一个持续的挑战，提供一个学习理论上健全的形式主义的概念，这些概念：提供有关何时以及如何最好地利用分层模型的实际指导;提供洞察什么是一个良好的分层先验;并且，当先验的形式已经选择，可以指导超参数设置的选择。我们提出了一套分析工具，用于理解在线和批处理学习设置中的分层先验。我们提供了遗憾的界限下的对数损失，这表明某些层次模型比较，在回顾中，最好的单一模型的模型类。我们还展示了如何转换贝叶斯日志损失的遗憾界到贝叶斯风险界的任何有界损失，结果可能是独立的利益。Student的$t$和分层高斯先验的风险和后悔界限允许我们形式化“鲁棒性”和“共享统计强度”的概念。“也研究了特征选择的先验。我们的研究结果表明，使用分层先验的学习理论的好处往往可以在实际问题上的成本很小。
2015-05-19 cs.LG stat.ML
