Specifying Weight Priors in Bayesian Deep Neural Networks with Empirical Bayes
Intel Labs(英特尔实验室)
贝叶斯深度神经网络(DNN)的随机变分推理需要指定神经网络权重的先验和近似后验分布。有意义的权重先验是一个具有挑战性的问题,特别是对于将变分推理扩展到涉及高维权重空间的更深体系结构。提出了一种基于DNN的经验贝叶斯先验模型(MOPED)方法,用于贝叶斯神经网络中先验权重的选择。我们制定了一个两阶段的分层建模,首先找到最大似然估计的权重DNN,然后设置权重先验经验贝叶斯方法推断后验变分推理。我们经验评估所提出的方法对现实世界的任务,包括图像分类,视频活动识别和音频分类与不同的复杂神经网络架构。我们还评估了我们提出的糖尿病视网膜病变诊断任务的方法和最先进的贝叶斯深度学习技术的基准。我们证明了MOPED方法可以实现可扩展的变分推理,并提供可靠的不确定性量化。
2019-12-28 cs.LG cs.NE stat.ML
Empirical PAC-Bayes Bounds for Markov Chains
本文提出了一种基于马尔可夫链伪谱间隙的经验PAC-Bayes界,解决了传统界中依赖未知常数的问题,并通过实验验证了其有效性。
2026-03-11 cs.LG stat.ML
Universal priors: solving empirical Bayes via Bayesian inference and pretraining
Courant Institute of Mathematical Sciences, NYU(纽约大学Courant数学科学研究所);Center for Data Science, NYU(纽约大学数据科学中心);Department of EECS, MIT(麻省理工学院电子工程与计算机科学系)
本文从理论上证明,在合成数据上预训练的Transformer能通过后验收缩自适应未知测试分布,实现经验贝叶斯问题的近最优遗憾界。
2026-06-23 cs.LG stat.ML
Empirical Bayes Regret Minimization
Google Research(谷歌研究院);DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
大多数的强盗算法设计都是纯理论的。因此,他们有很强的后悔保证,但在实践中也往往过于保守。在这项工作中,我们开创了算法设计的想法,最大限度地减少经验贝叶斯遗憾,平均遗憾的问题实例从一个已知的分布。我们重点讨论了这个问题的一个易处理的例子,置信区间和后验宽度调整,并提出了一个有效的算法来解决它。调整算法进行了分析和评估多臂,线性和广义线性土匪。我们报告了几倍减少贝叶斯遗憾的国家的最先进的强盗算法,简单地通过优化一个小样本的分布。
2020-06-10 cs.LG stat.ML
Empirical Bayes Method for Boltzmann Machines
Yamagata University(山形大学);Tokyo Institute of Technology(东京工业大学)
在这项研究中,我们考虑了一个经验贝叶斯方法的玻尔兹曼机,并提出了一个算法。经验贝叶斯方法允许估计的超参数的玻尔兹曼机的值最大化一个特定的似然函数称为经验贝叶斯似然函数在这项研究中。然而,最大化在计算上是困难的,因为经验贝叶斯似然函数涉及配分函数的难处理的积分。该算法通过使用副本方法和Plefka展开避免了这个计算问题。我们的方法不需要任何迭代过程,并且非常简单和快速,尽管它引入了估计偏差,这表现出相对于数据集大小的不自然行为。这种特殊的行为被认为是由于Plefka展开的近似处理。一个可能的扩展,以克服这种行为也进行了讨论。
2019-09-07 cond-mat.dis-nn cs.LG stat.ML
An Empirical Analysis of the Advantages of Finite- v.s. Infinite-Width Bayesian Neural Networks
Harvard University(哈佛大学)
比较具有不同宽度的贝叶斯神经网络(BNN)是具有挑战性的,因为随着宽度的增加,多个模型属性同时改变,并且有限宽度情况下的推理是难以处理的。在这项工作中,我们经验比较有限和无限宽BNN,并提供定量和定性的解释,他们的性能差异。我们发现,当模型被错误指定时,增加宽度会损害BNN的性能。在这些情况下,我们提供的证据表明,有限宽度BNN的泛化能力更好,部分原因是它们的频谱特性允许它们适应模型失配。
2022-11-28 cs.LG stat.ML
Coordination and Trajectory Prediction for Vehicle Interactions via Bayesian Generative Modeling
University of California, Berkeley(加州大学伯克利分校)
协调识别和未来轨迹的微妙模式预测在多个智能体的交互行为建模中起着重要的作用。由于未来演化的本质属性是不确定性,确定性预测器不够安全和鲁棒。为了解决多个交互实体的概率预测任务,我们提出了一个协调和轨迹预测系统(CTPS),它具有层次结构,包括一个宏观层面的协调识别模块和一个微观层面的微妙模式预测模块,解决了概率生成任务。我们说明了两种类型的表示的协调变量:分类和实值,并比较其效果和优势的基础上的实证研究。我们还将贝叶斯深度学习的思想引入深度生成模型,以生成多样化的预测假设。该系统在多种交通场景下的多个驾驶数据集上进行了测试,在一组评估指标方面,该系统比基线方法具有更好的性能。结果还表明,使用分类协调可以更好地捕捉多模态,并产生更多样化的样本比实值协调,而后者可以产生预测假设的误差较小,牺牲了样本的多样性。此外,采用具有权重不确定性的神经网络能够产生具有较大方差和多样性的样本。
2019-05-02 cs.AI cs.LG cs.RO
Bayesian Meta-Prior Learning Using Empirical Bayes
Foster School of Business, University of Washington(华盛顿大学福斯特商学院);Amazon(亚马逊);Graduate School of Business, Stanford University(斯坦福大学商学院)
将领域知识添加到学习系统中可以提高结果。在多参数贝叶斯框架中,这种知识被合并为先验知识。另一方面,在现实世界的问题中,不同的模型参数可能具有不同的学习率,特别是对于偏斜数据。在运营管理和管理科学应用中经常面临的两个挑战是缺乏信息先验和无法控制参数学习率。在这项研究中,我们提出了一个分层的经验贝叶斯方法,解决这两个挑战,并可以推广到任何贝叶斯框架。我们的方法从数据本身学习经验元先验,并使用它们来解耦广义线性模型中一阶和二阶特征(或任何其他给定特征分组)的学习率。由于一阶特征可能对结果产生更明显的影响,因此首先专注于学习一阶权重可能会提高性能和收敛时间。我们的经验贝叶斯方法将每组中的特征夹在一起,并使用部署模型的观察数据来经验性地计算事后的分层先验。我们报告的无偏性,强一致性,和最佳的频率累积后悔属性的元先验方差估计的理论结果。我们将我们的方法应用到一个标准的监督学习优化问题,以及在亚马逊生产系统中实现的上下文强盗设置中的在线组合优化问题。无论是在模拟和现场实验中,我们的方法显示出显着的改善,特别是在小流量的情况下。我们的发现是有希望的,因为在稀疏数据上进行优化通常是一个挑战。
2021-07-12 cs.LG stat.ML
A case study of Empirical Bayes in User-Movie Recommendation system
IIT Guwahati(印度理工学院古瓦哈提分校);Microsoft Research India(微软研究院印度分院)
在这篇文章中,我们提供了Atchade(2011)描述的经验贝叶斯公式,以调整用于协作过滤器的贝叶斯设置的先验超参数。我们在MovieLens小数据集中实现了相同的功能。我们看到,它可以用来得到一个很好的初始参数选择。它也可以用来猜测网格搜索过程中的超参数的初始选择,即使是MCMC在真值附近振荡或需要很长时间才能收敛的数据集。
2017-07-07 cs.LG stat.CO stat.ML
Empirical Bayes approach to Truth Discovery problems
Technion—Israel Institute of Technology(以色列理工学院)
当从相互冲突的来源收集信息时,人们的目标是找到真相。大多数实值\emph{truth discovery}(TD)算法试图通过估计每个源的能力,然后通过按比例加权每个源的答案来聚合冲突的信息来实现这一目标。然而,这些算法中的每一个都需要用于这种估计的多于单个源,并且通常不考虑除了加权平均之外的不同估计方法。因此,在这项工作中,我们制定,证明和经验测试的条件,经验贝叶斯估计(EBE)占主导地位的加权平均聚集。我们的主要结果表明,EBE,在温和的条件下,可以用作任何TD算法的第二步,以减少预期的误差。
2022-06-09 cs.AI cs.LG
Bayes and Biased Estimators Without Hyper-parameter Estimation: Comparable Performance to the Empirical-Bayes-Based Regularized Estimator
KTH Royal Institute of Technology(瑞典皇家理工学院);Competence Centre for Advanced BioProduction by Continuous Processing, AdBIOPRO(连续加工先进生物生产能力中心(AdBIOPRO))
本文针对岭回归中经验 Bayes 正则化估计依赖超参数估计的问题,利用大样本超额 MSE 构造无需调参的广义 Bayes 与闭式有偏估计量,实现相当性能且更高计算效率。
2025-03-14 cs.LG cs.SY eess.SY
Simulation-Based Empirical Bayes
Department of Statistics University of Washington(统计学系华盛顿大学);Department of Computer Science Cornell University(计算机科学系康奈尔大学);School of Mathematical Sciences and Center for Statistical Science Peking University(数学科学学院与统计科学中心北京大学);Departments of Computer Science and Statistics Columbia University(计算机科学与统计学系哥伦比亚大学)
研究针对似然只能通过模拟器获得的情况开发经验贝叶斯方法,引入基于模拟的经验贝叶斯(SBEB),通过观测数据、模拟器样本和推断网络计算估计,迭代细化先验,经实验证明其比固定先验的SBI提高了准确性。
2026-07-27 cs.LG stat.ML
A novel Empirical Bayes with Reversible Jump Markov Chain in User-Movie Recommendation system
IIT Guwahati(印度理工学院古瓦哈提分校)
在本文中,我们选择的未知维的特征,通过可逆跳MCMC内的模拟退火在协同过滤器的贝叶斯建立。我们在MovieLens小数据集中实现了相同的功能。我们还调整超参数,使用修改后的经验贝叶斯。它也可以用来猜测网格搜索过程中的超参数的初始选择,即使是MCMC在真值附近振荡或需要很长时间才能收敛的数据集。
2018-08-15 cs.IR cs.LG stat.CO
Bayesian Ensembling: Insights from Online Optimization and Empirical Bayes
Stony Brook University(石溪大学);Brookhaven National Laboratory(布鲁赫斯国家实验室);Basis Research Institute(基础研究机构)
本文提出在线贝叶斯堆叠(OBS)方法,通过优化预测分布的对数得分来适应性地组合贝叶斯模型,并将其与投资组合选择理论联系起来,提供了一种新的理论框架和高效算法。
2026-01-22 cs.LG stat.CO stat.ME
Neural Empirical Bayes: Source Distribution Estimation and its Applications to Simulation-Based Inference
SLAC National Accelerator Laboratory(SLAC国家加速器实验室);ULiège(列日大学)
我们重新审视经验贝叶斯的情况下,一个听话的似然函数,是典型的科学领域依赖于计算机模拟。我们研究了经验贝叶斯如何利用神经密度估计器,首先使用所有噪声损坏的观测来估计未损坏样本的先验或源分布,然后使用拟合的源分布进行单观测后验推断。我们提出了一种方法的基础上直接最大化的对数边际似然观测,检查有偏和去偏估计,并比较变分方法。我们发现,直到对称性,神经经验贝叶斯方法恢复地面真相源分布。随着学习的源分布在手,我们展示了适用于似然自由推理,并检查由此产生的后验估计的质量。最后,我们证明了神经经验贝叶斯对对撞机物理逆问题的适用性。
2021-02-26 cs.LG hep-ex hep-ph
An Ensemble of Epoch-wise Empirical Bayes for Few-shot Learning
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Singapore Management University(新加坡管理大学)
少样本学习的目的是用少量的例子来训练有效的预测模型。缺乏训练数据会导致执行高方差或低置信度预测的较差模型。在本文中,我们提出元学习逐时经验贝叶斯模型(E3 BM)的集成,以实现鲁棒的预测。“Epoch-wise”意味着每个训练epoch都有一个贝叶斯模型,其参数是专门学习和部署的。“经验”意味着超参数,例如,用于学习和集成的epoch-wise模型,是由超先验学习器条件的任务特定的数据。我们介绍了四种超先验学习者,考虑归纳与转导,时代依赖与时代独立,在元学习的范式。我们在三个具有挑战性的基准测试上对五类Few-Shot任务进行了广泛的实验:miniImageNet,tieredImageNet和FC 100,并使用epoch-dependent transductive hyperprior learner实现了最佳性能,它捕获了最丰富的信息。我们的烧蚀研究表明,无论是“逐时集成”和“经验”鼓励高效率和鲁棒性的模型性能。
2020-07-17 cs.CV cs.LG stat.ML
Empirical Bayes Estimation for Lasso-Type Regularizers: Analysis of Automatic Relevance Determination
Department of Computer Science and Engineering(计算机科学与工程系)
本文针对 lasso 和 group lasso 等稀疏正则化线性回归模型,推导了经验贝叶斯估计量,证明估计量在特定条件下发散从而触发自动相关性确定(ARD)机制,并系统阐明了 ridge、lasso 和 group lasso 产生 ARD 的条件。
2025-07-02 cs.IT cs.LG math.IT