Grouping Priors and the Bayesian Elastic Net
在贝叶斯惩罚回归的文献中，回归系数的先验分布的两个主要选择是零均值高斯和拉普拉斯。虽然这两种方法都在数字和理论上进行了比较，但在现实生活中使用的指导仍然很少。我们提出了两个可行的解决方案，这个问题的先验分布的形式结合和拉普拉斯和高斯先验之间的妥协，分别。通过交叉验证，自动选择优化预测性能的先验。然后，我们证明了这些新的先验分布相对于拉普拉斯和高斯先验在模拟和实验环境中的改进性能。
2010-01-22 stat.ME
Regret bounds for meta Bayesian optimization with an unknown Gaussian process prior
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
贝叶斯优化通常假设贝叶斯先验是给定的。然而，在贝叶斯优化的强大的理论保证，往往是令人遗憾的是，在实践中，因为在先验的未知参数妥协。在本文中，我们采用了一种变体的经验贝叶斯，并表明，通过估计高斯过程之前从离线数据采样从相同的先验和构造无偏估计的后验，变体的GP-UCB和概率的改善实现了接近零的遗憾界，这减少到一个常数成比例的观测噪声的离线数据的数量和在线评估的数量增加。经验上，我们已经验证了我们的方法具有挑战性的模拟机器人问题的任务和运动规划。
2018-11-23 cs.AI cs.LG stat.ML
Sparse Bayesian ARX models with flexible noise distributions
研究了观测值受非标准分布随机干扰干扰时线性动态系统模型的估计问题。本文特别是由传感器的不完善的应用涉及到显着贡献的离群值或环绕的问题，导致多模态分布，如机器人应用中经常遇到的。如将要说明的，这些非标准的测量误差可以显着地损害标准估计方法的有效性，而这里开发的计算贝叶斯方法被证明是同样有效的标准方法在标准测量噪声的情况下，但显着更有效的非标准测量噪声分布的情况。
2018-07-06 eess.SP stat.AP stat.ME
Measurement Error in Meta-Analysis (MEMA) -- a Bayesian framework for continuous outcome data
理想情况下，荟萃分析将总结来自几项无偏倚研究的数据。在这里，我们考虑了不太理想的情况，其中贡献的研究可能会受到测量误差的影响。从随机对照试验到回顾性观察研究，测量误差影响着每一项研究设计。我们概述了一个灵活的贝叶斯框架连续的结果数据，它允许一个获得适当的点和区间估计与不同程度的先验知识的测量误差的大小。我们还演示了如何，如果个人参与者数据（IPD）是可用的，贝叶斯元分析模型可以调整多个参与者水平的协变量，测量或不测量测量误差。
2021-08-17 stat.ME
A Variant of AIC based on the Bayesian Marginal Likelihood
我们提出的信息标准，衡量预测密度的预测风险的贝叶斯边际似然从频率论的角度来看。假设回归系数具有先验分布，我们推导出了线性回归模型中变量的选择准则。然后，我们讨论了所提出的标准和相关标准之间的关系。我们的方法有三个优点。首先，这是频率论和贝叶斯观点之间的妥协，因为它评估了贝叶斯模型的频率论风险。因此，它受先前错误指定的影响较小。其次，在选择真实模型时，标准具有一致性。第三，当为回归系数假设均匀先验时，得到的准则等价于Shi和Tsai（2002）的残差信息准则（RIC）。
2017-10-19 stat.ME
High-Dimensional Bayesian Optimization with Sparse Axis-Aligned Subspaces
Facebook（脸书）；Broad Institute of Harvard and MIT（哈佛大学与麻省理工学院博德研究所）
贝叶斯优化（BO）是一个强大的范例，有效优化黑箱目标函数。高维BO提出了一个特殊的挑战，部分原因是维数灾难使得难以定义合适的一类代理模型，以及对其进行推理。我们认为，高斯过程代理模型定义在稀疏轴对齐的子空间提供了一个有吸引力的灵活性和简约性之间的妥协。我们证明，我们的方法，它依赖于汉密尔顿蒙特卡罗推理，可以快速识别稀疏子空间相关的建模未知的目标函数，使样本高效的高维BO。在一系列广泛的实验中，与现有的高维BO方法相比，我们证明了我们的算法，稀疏轴对齐子空间BO（SAASBO），在几个合成和现实世界的问题上实现了出色的性能，而无需设置特定于问题的超参数。
2021-06-10 cs.LG stat.ML
Joint Entropy Search for Multi-objective Bayesian Optimization
Imperial College London（帝国理工学院）；BASF SE（巴斯夫欧洲公司）
许多现实世界的问题可以被描述为多目标优化问题，其目标是确定竞争目标之间的最佳折衷方案。多目标贝叶斯优化（BO）是一种样本高效策略，可用于解决这些向量值优化问题，其中访问仅限于一些有噪声的目标函数评估。在本文中，我们提出了一种新的信息理论的收购功能BO称为联合熵搜索（JES），它认为联合信息增益的最佳输入和输出。我们提出了几个分析近似的JES采集功能，并引入了扩展的批量设置。我们展示了这种新方法在超体积及其加权变体方面对一系列合成和现实问题的有效性。
2022-10-06 cs.LG math.OC stat.ML
Nonparametric Bayesian Deep Networks with Local Competition
National and Kapodistrian University of Athens（雅典国立卡波季斯特里安大学）；Cyprus University of Technology（塞浦路斯理工大学）；The Chinese University of Hong Kong（香港中文大学）
这项工作的目的是实现深度网络的推理，以保持最低的模型复杂度的高准确性，后者是在推理过程中从数据中推导出来的。为此，我们重新审视包含竞争线性单元的深度网络，而不是不涉及任何形式（局部）竞争的非线性单元。在这种情况下，我们的主要技术创新在于一个推理的设置，利用可靠的参数从贝叶斯nonparametrics。我们推断出所需的连接集或局部竞争单元集，以及存储网络参数所需的浮点精度。具体来说，我们引入辅助离散潜变量，表示实际上需要哪些初始网络组件来对手头的数据进行建模，并通过施加适当的破棒先验对它们进行贝叶斯推理。正如我们使用基准数据集进行的实验所示，我们的方法产生的网络比最先进的网络具有更少的计算足迹，并且在预测准确性方面没有任何妥协。
2019-05-05 cs.LG stat.ML
Bayesian linear regression models with flexible error distributions
本文提出了一种新的基于有限混合t分布的方法来模拟线性回归模型中的误差分布。新颖性在于一个特定的层次结构的混合物分布，其中第一级模型的模式的数量，负责容纳多模态和偏态特征，和第二级模型尾部行为。此外，后者的方式，没有自由度参数的估计，因此，已知的统计困难时，处理这些参数得到缓解，但模型的灵活性不受影响。通过马尔可夫链蒙特卡罗和仿真研究进行推理，以评估所提出的方法的性能。两个实际数据集的分析也被提出。
2017-11-12 stat.ME
Improved learning of Bayesian networks
Univ. of Economics Prague（布拉格经济大学）；University of Utrecht（乌得勒支大学）
贝叶斯网络结构的搜索空间通常被定义为无环有向图（DAG），搜索通过DAG的局部变换来完成。但是贝叶斯网络的空间是由DAG马尔可夫模型包含来排序的，很自然地认为一个好的搜索策略应该考虑到这一点。第一次尝试（Chickering 1996）是使用DAG的等价类而不是DAG本身。这种方法可以产生更好的结果，但速度要慢得多。我们提出了这两种方法之间的妥协。它使用DAG来搜索空间，以这样一种方式，即考虑到包含的排序。这是通过在DAG的等价类内重复使用局部移动来实现的。我们表明，这种新的方法产生更好的结果比原来的DAG的方法没有实质性的变化，时间复杂度。我们目前的实证结果，启发式搜索和马尔可夫链蒙特卡罗的框架内，通过报警数据集提供。
2013-01-10 cs.AI cs.LG stat.ML
Frequentist and Bayesian measures of confidence via multiscale bootstrap for testing three regions
针对期望参数未知的多元正态模型，讨论了基于Bootstrap概率的频率论$p$值和贝叶斯后验概率的计算方法.原假设表示为任意形状的区域。我们引入了新的参数模型的比例律的自助概率，使多尺度自助方法，这是专为单侧检验，也可以计算置信度的双侧检验，扩大适用范围更广泛的一类假设。参数估计的两步多尺度自举，也包括高阶项。模型选择不仅是我们方法的激励应用，而且是方法中的基本成分。频率论和贝叶斯之间的妥协是试图通过显示贝叶斯后验概率与noninformative先验解释为一个频率论$p$ -值的“零侧”测试。
2008-07-01 math.ST stat.ME stat.TH
Harnessing Low-Fidelity Data to Accelerate Bayesian Optimization via Posterior Regularization
Nanjing University of Posts and Telecommunications（南京邮电大学）
贝叶斯优化（BO）是一个功能强大的范式，用于黑箱目标函数（BOF）的无导数全局优化，这是昂贵的评估。但是，对于具有高成本函数计算的问题，BO的开销仍然是过高的。在本文中，我们研究如何减少BO所需的函数求值的数量，而不影响解决方案的质量。我们探讨了后验正则化的思想，利用高斯过程置信上限（GP-UCB）框架内的低保真度（LF）数据。LF数据可以由BOF的LF近似或相关优化任务的先前评估产生。训练称为LF-GP的额外GP模型以拟合LF数据。我们开发了一个名为动态加权专家产品（DW-POE）融合算子。该算子在BOF的后验上引入正则化。LF GP模型对正则化后验的影响通过贝叶斯形式主义进行自适应调整。大量的基准BOF优化任务的实验结果表明，所提出的算法优于国家的最先进的性能。
2019-12-16 cs.LG stat.ML
Bayesian Power and Sample Size Calculations for Bayes Factors in the Binomial Setting
本文针对二项分布设定下贝叶斯因子检验，提出一种数值求根方法以快速计算达到预设贝叶斯功效和第一类错误率界限所需的样本量，并通过临床试验案例验证其有效性，相关方法已实现于R包bfpwr。
2025-02-05 stat.AP stat.ME
Knowledge Removal in Sampling-based Bayesian Inference
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
被遗忘的权利在许多国家都有立法，但在人工智能行业实施将造成无法承受的成本。当单个数据删除请求到来时，公司可能需要删除使用大量资源学习的整个模型。现有的工作提出了从显式参数化模型的数据中去除知识的方法，然而，这些方法不适用于基于采样的贝叶斯推理，即，马尔可夫链蒙特卡罗（MCMC），因为MCMC只能推断隐式分布。在本文中，我们提出了第一个机器遗忘算法MCMC。我们首先将MCMC学习问题转化为一个显式优化问题。在此基础上，设计了一个{ \it MCMC影响函数}来可证明地表征从数据中学习到的知识，从而实现MCMC去学习算法。理论分析表明，MCMC unlearning不会损害MCMC模型的泛化能力。在高斯混合模型和贝叶斯神经网络上的实验验证了该算法的有效性。代码可在\url{https://github.com/fshp971/mcmc-unlearning}上获得。
2022-03-24 cs.AI cs.LG stat.ML
A gradient-free subspace-adjusting ensemble sampler for infinite-dimensional Bayesian inverse problems
在高维空间中对尖锐后验样本进行采样是一个具有挑战性的问题，特别是当似然函数的梯度不可用时。在低到中等尺寸，仿射不变的方法，一类基于集成的无梯度的方法，已发现在采样集中后验的成功。然而，系综成员的数量必须超过未知状态的维度，以便正确的分布成为目标。相反，预处理Crank-Nicolson（pCN）算法在高维采样时成功，但当后验与前验显著不同时，样本变得高度相关。在这篇文章中，我们将上述方法以两种不同的方式结合起来，试图找到一种折衷的方法。第一种方法涉及用当前集合的协方差来膨胀pCN中的建议协方差，而第二种方法在不断适应的低维子空间上执行近似仿射不变的步骤，同时在其正交补上使用pCN。
2022-02-22 cs.NA math.NA stat.CO
BOtied: Multi-objective Bayesian optimization with tied multivariate ranks
Prescient Design（普雷赛特设计公司）；Genentech（基因泰克公司）；New York University（纽约大学）；Center for Data Science（数据科学中心）
本文提出BOtied，利用非支配解与联合CDF极端分位数的联系构建符合帕累托的采集函数，并通过copula实现高效扩展，在多目标贝叶斯优化中优于现有方法。
2024-06-07 cs.LG stat.ML
Free energy of Bayesian Convolutional Neural Network with Skip Connection
Tokyo Institute of Technology（东京工业大学）
本文研究带跳跃连接的贝叶斯卷积神经网络的自由能，证明其自由能上界不依赖过度参数化，且泛化误差具有类似性质。
2023-07-04 cs.LG stat.ML
Frequentist Oracle Properties of Bayesian Stacking Estimators
本文针对贝叶斯堆叠估计量缺乏频率学派神谕性质的问题，推导了堆叠贝叶斯线性与逻辑回归模型的该性质，并通过蒙特卡洛实验验证其可能优于最佳候选模型，为贝叶斯方法提供频率学依据并拓展了频率学派方法库。
2024-11-04 math.ST stat.TH
Classification and Bayesian Optimization for Likelihood-Free Inference
某些统计模型是通过数据生成过程指定的，对于该过程，似然函数不能以封闭形式计算。标准的基于似然的推断是不可行的，但模型参数可以通过找到产生类似于观察数据的模拟数据的值来推断。这种方法至少面临两个主要困难：第一个困难是用于判断模拟数据是否与观测数据相似的差异度量的选择。第二个困难是在参数空间中的差异低的区域的计算有效的识别。我们在这里给我们最近的工作，我们通过分类和贝叶斯优化解决这两个困难的介绍。
2015-02-19 stat.CO stat.ME stat.ML
A Semi-parametric Technique for the Quantitative Analysis of Dynamic Contrast-enhanced MR Images Based on Bayesian P-splines
动态对比增强磁共振成像（DCE-MRI）是检测癌组织中细微动态变化的重要工具。DCE-MRI的定量分析通常涉及动脉输入函数（AIF）与造影剂浓度的非线性药代动力学模型的卷积。动力学模型的参数具有生物学意义，但非线性模型的优化具有显著的计算问题。在实践中，优化算法的收敛性得不到保证，并且模型拟合的准确性可能受到损害。为了克服这个问题，本文提出了一种半参数惩罚样条平滑方法，其中AIF与一组B样条卷积，以产生一个设计矩阵，使用局部自适应平滑参数的基础上贝叶斯惩罚样条模型（P样条）。它已被证明，动力学参数估计，可以从得到的反卷积响应函数，这也包括对比度增强的发病。该方法的详细验证，无论是模拟和体内数据，提供。
2008-01-26 physics.med-ph stat.AP stat.ME
Fast $ε$-free Inference of Simulation Models with Bayesian Conditional Density Estimation
University of Edinburgh（爱丁堡大学）
许多统计模型可以向前模拟，但具有难以处理的可能性。近似贝叶斯计算（ABC）的方法来推断这些模型的属性从数据。传统上，这些方法通过在观测数据周围的$ε$球内调节数据来近似后验参数，这仅在极限$ε\!\rightarrow\!0$中是正确的。然后，蒙特卡罗方法可以从近似后验中抽取样本，以近似预测或参数的误差条。这些算法作为$ε\!\rightarrow\!0$严重减慢，并且在实践中从比后验更广泛的分布中抽取样本。提出了一种基于贝叶斯条件密度估计的无似然推理方法。基于有限的仿真数据的初步推断用于指导以后的仿真。在某些情况下，学习整个真实后验分布的准确参数表示需要比蒙特卡罗ABC方法从近似后验产生单个样本所需的模型模拟更少。
2018-04-02 cs.LG stat.CO stat.ML
Position: There Is No Free Bayesian Uncertainty Quantification
Department of Statistics LMU Munich（慕尼黑大学统计系）
本文从优化视角质疑贝叶斯不确定性量化的有效性，提出与优化表示一致的解释、推断质量度量及未来研究方向。
2025-06-04 cs.LG stat.ML
Scalable Bayesian Clustering for Integrative Analysis of Multi-View Data
National University of Singapore（新加坡国立大学）；A*STAR（新加坡科技研究局）
本文提出基于离散空间镶嵌和 medoids 的可扩展贝叶斯距离聚类模型，以降低推理复杂度并扩展至多视图数据，在钱币学真实数据上验证了有效性。
2026-10-20 stat.CO stat.ME
Cell-Free Data Power Control Via Scalable Multi-Objective Bayesian Optimisation
Ericsson Research（爱立信研究院）；KTH Royal Institute of Technology（KTH皇家理工学院）
无小区多用户多输入多输出网络是传统蜂窝结构的有希望的替代方案，因为它们具有在网络的整个覆盖区域上提供统一服务质量和高资源利用率的潜力。为了实现这一潜力，以前的工作已经开发了无线电资源管理机制，使用各种优化引擎。在这项工作中，我们考虑的问题，整体遍历频谱效率最大化的上下行数据功率控制在无小区网络的背景下。为了在大型网络中解决这个问题，并解决收敛时间的限制，我们应用可扩展的多目标贝叶斯优化。此外，我们讨论了如何交叉的多保真度仿真和贝叶斯优化可以提高无线电资源管理在无细胞网络。
2022-12-20 cs.LG cs.SY eess.SY
Bayesian Hierarchical Modeling and Inference for Mechanistic Systems in Industrial Hygiene
本文提出贝叶斯状态空间建模框架，融合机械式系统与现场数据，通过微分方程有限差分近似推导随机模型，可靠估计通风率等物理过程并量化不确定性，应用于铁路车厢病毒气溶胶暴露评估。
2024-06-27 stat.AP stat.ME
The Kalai-Smorodinski solution for many-objective Bayesian optimization
在多目标贝叶斯优化的研究正在进行的目标是将其适用性扩展到大量的目标。在应对有限的评价预算时，恢复一套最佳折衷解决方案通常需要进行大量观察，而且不太容易解释，因为这套解决方案往往随着目标的增加而增加。因此，我们建议专注于一个特定的解决方案源自对策论，Kalai-Smorodinsky解决方案，它具有吸引力的属性。特别是，它确保所有目标的边际收益相等。我们进一步使它不敏感的单调变换的目标，考虑Copula空间中的目标。提出了一种新的定制算法搜索的解决方案，在贝叶斯优化算法的形式：序贯抽样决定的基础上，从工具高斯过程之前获得的采集功能。我们的方法是测试四个问题，分别有四个，六个，八个和九个目标。该方法可在CRAN的Rpackage GPGame中获得，网址为https://cran.r-project.org/package=GPGame。
2019-10-03 math.OC stat.ML
Enhanced monitoring of atmospheric methane from space over the Permian basin with hierarchical Bayesian inference
甲烷是一种强烈的温室气体，与二氧化碳相比，每单位质量的辐射强迫更高，大气寿命更短。对工业活动地区的甲烷进行遥感是准确监测导致气候变化的排放的关键一步。虽然Sentinal-5 P卫星上的对流层监测仪器（TROPOMI）能够提供每日全球甲烷柱测量结果，但数据往往受到云层覆盖的影响。在这里，我们开发了一个统计模型，该模型使用来自TROPOMI的二氧化氮浓度数据来有效地预测甲烷柱的值，将二叠纪盆地观测的平均每日空间覆盖率从16%扩大到2019年的88%。在无法直接观测的地点增加预测的甲烷丰度，将支持反演方法，以在比目前可能的更短的时间尺度上估计甲烷排放率。
2022-05-19 physics.ao-ph physics.geo-ph stat.AP
Profit over Proxies: A Scalable Bayesian Decision Framework for Optimizing Multi-Variant Online Experiments
Manipal Academy of Higher Education（马尼帕尔高等教育学院）
针对A/B/n实验中p值窥视和代理指标误导利润的问题，提出融合转化与交易价值建模、期望损失停止规则的可扩展贝叶斯决策框架。
2025-09-16 cs.LG stat.AP stat.ML
A tutorial on generalizing the default Bayesian t-test via posterior sampling and encompassing priors
随着所谓的默认贝叶斯假设检验的出现，应用领域的科学家们已经获得了一个强大的和原则性的方法来测试假设。然而，这样的默认检验通常都有一个折衷方案，要求分析师接受一种通用的假设检验方法。此外，这样的测试可能没有灵活性来测试科学家真正关心的问题。在本教程中，我演示了一种灵活的方法来概括一个特定的默认测试（JZS t检验; Rouder等人，2009年），这是越来越流行的社会和行为科学。该方法使用两个理论结果，Savage-Dickey密度比（Dickey和Lientz，1980）和包含先验的技术（Klugkist等人，2005）结合MCMC抽样，通过一个易于使用的概率建模包R称为Greta。通过对这些技术的全面数学描述以及说明性示例，向读者呈现了一个通用的、灵活的工作流程，该工作流程可以扩展以解决与他或她自己的工作相关的问题。
2019-02-05 stat.CO
Discovery and inference beyond linearity for epidemiological data by integrating Bayesian regression, tree ensembles and Shapley values
Amsterdam UMC Leiden University（阿姆斯特丹大学医学中心-莱顿大学）；Leiden University（莱顿大学）；Amsterdam UMC（阿姆斯特丹大学医学中心）
提出RuleSHAP框架，结合贝叶斯稀疏回归、改进的树规则生成器和Shapley值，实现非线性与交互效应的检测及个体水平的不确定性量化，应用于流行病学数据发现高胆固醇和血压的影响因素。
2026-06-11 cs.LG stat.ML
Bayesian hierarchical models with calibrated mixtures of g-priors for assessing treatment effect moderation in meta-analysis
针对IPD-MA中传统贝叶斯收缩法无法区分异质性研究的问题，提出带试验样本量调整和调节因子收缩参数的校准g先验混合方法，模拟及抑郁治疗IPD实例验证其在高异质性等场景下效率与风险表现更优。
2024-10-31 stat.AP stat.ME
Bayesian Free Energy of Deep ReLU Neural Network in Overparametrized Cases
Tokyo Institute of Technology（东京工业大学）
本文研究过参数化深度 ReLU 神经网络，证明其 Bayesian 自由能有界，并由此说明充分过参数化不会增加 Bayesian 泛化误差。
2023-04-20 cs.LG stat.ML
Dimension-free mixing times of Gibbs samplers for Bayesian hierarchical models
本文利用贝叶斯渐近理论分析分层模型 Gibbs 采样器的总变差混合时间，在随机数据生成假设下为具有一般似然函数的两层模型建立了无维度收敛结果，并讨论了高斯、二项和分类似然的具体例子。
2023-10-30 math.ST stat.CO stat.ML
Power and Sample Size Calculations for Bayes Factors in two-arm clinical Phase II Trials with binary Endpoints
Institute of Medical Statistics and Computational Biology（医学统计与计算生物学研究所）；Faculty of Medicine（医学院）；University of Cologne（科隆大学）
本文提出了一种基于贝叶斯因子的II期临床试验样本量计算方法，通过数值方法高效计算功效和一类错误率，无需蒙特卡洛模拟。
2026-03-02 stat.AP stat.ME
Simulation-Free Bayesian Power and Sample Size Calculations for Bayes Factors in Single-Arm Phase II Trials with Binary Endpoints
研究具有二元终点的单臂II期试验中贝叶斯因子的无模拟功效和样本量计算方法，通过该方法设计试验并校准相关概率，以适应临床试验设计创新现代化，两个肿瘤学例子及代码展示了该方法。
2026-07-28 stat.AP stat.ME
Hierarchical Bayesian estimation for continual learning during model-informed precision dosing
针对模型指导精准给药中的持续学习问题，提出层次贝叶斯估计框架，并比较多种推断算法，发现单内嵌套粒子滤波器在精度与计算复杂度间取得最佳平衡。
2025-05-26 stat.CO
Model-free Bayesian Clustering and Multimodal Posterior Summarisation
University of Edinburgh（爱丁堡大学）
该研究提出无模型感知噪声贝叶斯聚类框架，结合Wasserstein型摘要方法，可避免复杂模型指定与昂贵采样，能有效捕捉聚类及噪声不确定性。
2026-10-12 cs.LG stat.ML
Bayesian decision theory for wildlife management under uncertainty: from inference to action
CEFE, Univ Montpellier, CNRS, EPHE, IRD（法国国家科学研究中心生态与功能演化中心）；University of California, Berkeley（加州大学伯克利分校）
本文提出基于贝叶斯决策理论的实用工作流程，通过两个案例展示如何在不确定性下平衡生态、经济和社会目标，提升管理决策的透明度和可重复性。
2026-08-26 stat.AP
Sampling-Free Learning of Bayesian Quantized Neural Networks
University of Maryland, College Park（马里兰大学帕克分校）；Amazon Web Services（亚马逊云科技）；Amazon.com, Inc.（亚马逊公司）
神经网络中模型参数的贝叶斯学习在具有良好校准的不确定性的估计是重要的情况下是重要的。在本文中，我们提出了贝叶斯量化网络（BQNs），量化神经网络（QNN），我们学习其离散参数的后验分布。我们提供了一组用于BQN中学习和预测的有效算法，而无需从其参数或激活中进行采样，这不仅允许QNN中的可微学习，而且还减少了梯度的方差。我们在MNIST，Fashion-MNIST，KMNIST和CIFAR 10图像分类数据集上评估BQN，并与QNN的自举集成（E-QNN）进行比较。我们证明了BQN比E-QNN实现了更低的预测误差和更好的校准不确定性（小于20%的负对数似然）。
2019-12-06 cs.LG stat.ML
Distributed Bayesian Detection with Byzantine Data
在本文中，我们考虑的问题，分布式贝叶斯检测在网络中的拜占庭的存在。假设网络中的一部分节点受到攻击并被对手重新编程，向融合中心（FC）发送错误信息，从而降低检测性能。分布式检测的问题制定为一个二元假设检验在FC的基础上发送的传感器的1位数据。得到了拜占庭人致盲FC所需的最小攻击力的表达式。更具体地说，我们表明，在一定比例的拜占庭攻击者在网络中，检测方案变得完全无法利用传感器数据进行检测。我们分析了不同的攻击方案下的问题，并得出不同的非渐近情况下的结果。据发现，现有的渐近为基础的结果不持有几个非渐近的情况下。当拜占庭的分数是不足以盲目的FC，我们也提供了封闭形式的表达式的最佳攻击策略的拜占庭，最降低检测性能。
2014-09-03 cs.CR cs.DC cs.GT
A Modular and Adaptive System for Business Email Compromise Detection
Cisco Systems（思科系统公司）；Czech Technical University in Prague（布拉格捷克理工大学）；Charles University（查理大学）
针对商业电子邮件入侵攻击传统检测手段不足的问题，提出模块化自适应系统CAPE，整合多模态多模型检测，经两年多生产验证，具备可解释性且可通过贝叶斯方法持续迭代。
2023-08-21 cs.CR cs.LG
ε-BMC: A Bayesian Ensemble Approach to Epsilon-Greedy Exploration in Model-Free Reinforcement Learning
University of Toronto（多伦多大学）
在强化学习（RL）算法的设计和实现中，如何解决探索-利用的权衡问题一直是一个基本问题。在本文中，我们专注于使用ε贪婪探索策略的无模型RL，尽管它很简单，但仍然是最常用的探索形式之一。然而，该策略的一个关键限制是$\varepsilon$的规范。在本文中，我们提供了一个新的贝叶斯观点的$\varepsilon$作为衡量的Q-价值函数的一致性。我们引入了一个封闭形式的贝叶斯模型更新的基础上贝叶斯模型组合（BMC），基于这个新的角度来看，这使我们能够适应$\varepsilon$使用的经验，在恒定的时间单调收敛的保证。我们证明，我们提出的算法，$\varepsilon$ - \texttt{BMC}，有效地平衡探索和开发不同的问题，执行优化或优于最佳调整的固定退火时间表和替代的数据相关的$\varepsilon$适应计划中提出的文献。
2020-07-02 cs.LG cs.RO stat.ML
Bayesian Learning of Conditional Kernel Mean Embeddings for Automatic Likelihood-Free Inference
The University of Sydney（悉尼大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；NVIDIA（英伟达）
在无似然设置的可能性评估是棘手的，近似贝叶斯计算（ABC）解决了艰巨的推理任务，发现合理的参数解释的观察模拟程序。然而，它们需要大量的模拟调用。重要的是，决定模拟差异度量的超参数至关重要地平衡了推理精度和样本效率，但很难调整。在本文中，我们提出了内核嵌入似然自由推理（KELFI），一个整体框架，自动学习模型超参数，以提高推理精度有限的模拟预算。通过利用条件均值嵌入的似然平滑性，我们非参数地近似似然和后验作为代理密度，并从封闭形式的后验均值嵌入中采样，其超参数在其近似边缘似然下学习。我们的模块化框架在生态学中具有挑战性的推理问题上表现出更高的准确性和效率。
2019-03-03 cs.LG stat.ML
Freeze-Thaw Bayesian Optimization
Harvard University（哈佛大学）；University of Toronto（多伦多大学）
在本文中，我们开发了一种动态形式的贝叶斯优化的机器学习模型的目标是快速找到良好的超参数设置。我们的方法使用在机器学习模型训练过程中获得的部分信息，以决定是否暂停训练并开始新模型，或恢复先前考虑的模型的训练。我们专门定制我们的方法来机器学习问题，通过开发一种新的正定协方差内核来捕获各种训练曲线。此外，我们开发了一个高斯过程之前，规模优雅的额外的时间观察。最后，我们提供了一个信息理论的框架来自动化的决策过程。在几种常见的机器学习模型上的实验表明，该方法在实践中是非常有效的。
2014-06-16 cs.LG stat.ML
Gradient-Free Sequential Bayesian Experimental Design via Interacting Particle Systems
Freie Universität Berlin, Fachbereich Mathematik und Informatik（柏林自由大学数学与计算机科学学院）；University of Canterbury（坎特伯雷大学）
本文提出一种无梯度序列贝叶斯最优实验设计框架，结合EKI与ALDI，并通过变分高斯和参数化拉普拉斯近似为EIG提供可处理上下界，在高维和PDE反问题中实现可扩展且高效的实验设计。
2025-09-19 cs.LG cs.NA math.NA
A Bayesian two-step multiple imputation approach based on mixed models for the missing in EMA data
本文提出一种基于混合模型的两步贝叶斯多重插补框架，以解决EMA数据缺失问题，通过模拟与实际应用验证了其优于单一插补，并指出选择最佳混合模型的两个关键因素。
2023-11-20 stat.AP stat.ME
Blade: A Derivative-free Bayesian Inversion Method using Diffusion Priors
California Institute of Technology（加州理工学院）；University of Toronto（多伦多大学）；Peking University（北京大学）
本文提出Blade方法，通过使用扩散模型作为数据驱动的先验，解决无导数贝叶斯反演中高维非线性问题的后验估计问题，实现了准确且校准良好的后验分布。
2026-06-03 cs.LG stat.ML
Penalized complexity priors for degrees of freedom in Bayesian P-splines
贝叶斯P-样条假设一个内在的高斯马尔可夫随机场之前的样条系数，条件是一个精确的超参数$τ$。$τ$的既往诱导是困难的。为了克服这个问题，我们的目标是建立先验模型的可解释的属性，表明平滑函数的复杂性估计。根据这个想法，我们提出了惩罚复杂性（PC）先验的有效自由度的数量。我们提出了这些新的PC先验的建设背后的一般思想，描述他们的属性，并显示如何实现它们在P-样条高斯数据。
2016-04-27 stat.ME
Bayesian Concept Bottleneck Models with LLM Priors
University of California, San Francisco（加州大学旧金山分校）；Microsoft Research（微软研究院）；National University of Singapore（新加坡国立大学）
本文提出BC-LLM模型，利用贝叶斯框架和LLM作为先验，实现高效的概念提取和可解释性提升。
2025-12-04 cs.AI cs.LG stat.ML
Calibration-Free Robust Bayesian Inference for Discrete Unnormalized Models
Texas A&M University（得克萨斯农工大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出DFD-BETEL，一种无需标定的半参数贝叶斯框架，通过离散Fisher散度矩条件实现非归一化离散模型的鲁棒推断，保证渐近校准的不确定性量化。
2026-10-08 stat.AP stat.ME
A Decision-Theoretic Approach for Model Interpretability in Bayesian Framework
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）；Curious AI（Curious AI 公司）；University of Manchester（曼彻斯特大学）
可解释的机器学习的一个突出方法是将建模限制为简单的模型。在贝叶斯框架中，这可以通过限制模型结构来实现，并且优先考虑可解释的模型。然而，从根本上说，可解释性是关于用户的偏好，而不是数据生成机制;将可解释性表述为效用函数更自然。在这项工作中，我们提出了一个可解释性的工具，它阐明了贝叶斯框架中的解释保真度和可解释性之间的权衡。该方法包括两个步骤。首先，将参考模型（可能是不损害精度的黑盒贝叶斯预测模型）拟合到训练数据。其次，从一个可解释的模型家族，最好的模仿参考模型的预测行为的代理模型，通过优化的可解释性效用函数。该方法是模型不可知的--可解释模型和参考模型都不限于某一类模型--并且可以使用标准工具解决优化问题。通过在真实数据集上的实验，使用决策树作为可解释模型，贝叶斯加性回归模型作为参考模型，我们表明，对于相同的可解释性水平，我们的方法比限制先验的替代方案产生更准确的模型。我们还提出了一个系统的方法来衡量不同的可解释性方法构建的可解释模型的稳定性，并表明我们提出的方法产生更稳定的模型。
2020-08-03 cs.AI cs.HC cs.LG
Robust and integrative Bayesian neural networks for likelihood-free parameter inference
Uppsala University（乌普萨拉大学）；University of California-Santa Barbara（加州大学圣塔芭芭拉分校）；Umeå University（于默奥大学）
最先进的基于神经网络的汇总统计学习方法已经为基于仿真的无似然参数推断提供了有希望的结果。现有的方法需要密度估计作为建立在确定性神经网络上的后处理步骤，并且不考虑网络预测的不确定性。本文提出了一种鲁棒的集成方法，使用贝叶斯神经网络学习汇总统计，并使用分类分布直接估计后验密度。自适应采样方案选择模拟位置，以有效地和迭代地改进以观测为条件的网络的预测后验。这允许在相对大的先验空间上更有效和鲁棒的收敛。我们展示了我们的方法对基准的例子，并与相关的方法进行比较。
2021-05-07 cs.LG q-bio.QM stat.ML
Training-Free Bayesianization for Low-Rank Adapters of Large Language Models
Rutgers University（新泽西罗格斯大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Red Hat AI Innovation（红帽AI创新）
本文提出免训练贝叶斯化（TFB）框架，无需额外训练即可将低秩适配器转为贝叶斯形式，通过搜索最优方差实现不确定性估计与泛化提升。
2025-09-26 cs.AI cs.CL cs.LG
Tuning Free Rank-Sparse Bayesian Matrix and Tensor Completion with Global-Local Priors
矩阵和张量补全是一系列问题的框架，包括协同过滤、缺失数据和图像重建。通过利用矩阵或张量是低秩的假设来估计缺失的条目。大多数现有的贝叶斯技术鼓励秩稀疏建模因子分解矩阵和张量与正常伽玛先验。然而，马蹄事先和其他“全球本地”配方提供调谐参数的解决方案，可以更好地实现同时秩稀疏和丢失值的恢复。我们发现这些全球本地先验优于常用的替代品在模拟和协同过滤任务预测棋盘游戏评级。
2019-05-27 stat.ME
