Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes
EURECOM（欧洲通信研究院）；University of California, Irvine（加州大学欧文分校）
自动编码器及其变体是表示学习和生成建模中使用最广泛的模型之一。然而，基于自动编码器的模型通常假设学习的表示是i.i.d.。并且不能捕获数据样本之间的相关性。为了解决这个问题，我们提出了一种新的稀疏高斯过程贝叶斯自动编码器（SGPAE）模型，在该模型中，我们对贝叶斯自动编码器的潜在空间施加完全贝叶斯稀疏高斯过程先验。我们通过随机梯度Hamilton Monte Carlo对该模型进行后验估计。我们在广泛的表示学习和生成建模任务上定性和定量地评估了我们的方法，并表明我们的方法始终优于依赖于变分自编码器的多个替代方案。
2023-02-09 cs.LG stat.ML
Fully Bayesian inference for latent variable Gaussian process models
Northwestern University（西北大学）
真正的工程和科学应用通常涉及一个或多个定性输入。然而，标准高斯过程（GP）不能直接容纳定性输入。最近引入的潜变量高斯过程（LVGP）通过首先将每个定性因素映射到潜在的潜变量（LV），然后在这些LV上使用任何标准GP协方差函数来克服这个问题。通过极大似然估计，与其他GP超参数类似地估计LV，然后将其插入预测表达式。然而，这种插入式方法不会考虑LV估计中的不确定性，这可能很重要，特别是在训练数据有限的情况下。在这项工作中，我们开发了一个完全贝叶斯方法的LVGP模型和可视化的定性输入的影响，通过他们的LV。我们还开发了近似放大LVGP和完全贝叶斯推断的LVGP超参数。我们进行了数值研究比较插件推理对完全贝叶斯推断在几个工程模型和材料设计应用。与以前对标准GP建模的研究相比，这些研究在很大程度上得出结论，完全贝叶斯处理提供了有限的改进，我们的研究结果表明，对于LVGP建模，它在预测准确性和不确定性量化方面提供了显着的改进。
2023-03-19 cs.LG stat.ML
Unbounded Bayesian Optimization via Regularization
贝叶斯优化是近年来兴起的一种全局优化和超参数整定的有效工具。目前，已建立的贝叶斯优化实践需要用户定义的边界框，该边界框被假定为包含优化器。然而，当对探测的目标函数知之甚少时，可能很难规定这样的界限。在这项工作中，我们修改了标准的贝叶斯优化框架的原则性的方式，允许自动搜索空间。我们介绍了两种替代方法，并比较它们在两个常见的合成基准测试功能，以及调整随机梯度下降优化器的多层感知器和卷积神经网络MNIST的任务。
2015-08-14 stat.ML
A Tractable Fully Bayesian Method for the Stochastic Block Model
National Institute of Informatics（国立信息学研究所）；Tokyo Institute of Technology（东京工业大学）
随机块模型（SBM）是一个生成模型，揭示了图的宏观结构。贝叶斯方法用于（i）聚类分配推断和（ii）聚类数的模型选择。本文研究了大样本极限下SBM中贝叶斯推理的行为。结合变分逼近和拉普拉斯方法，建立了完全边缘化对数似然的一致性判据。在此基础上，我们导出了一个易于处理的算法，可以同时解决任务（i）和（ii），从而避免了需要外部循环来检查所有候选模型。我们的经验和理论结果表明，我们的方法是可扩展的计算，准确的近似，和简洁的模型选择。
2016-02-06 cs.LG stat.ML
Fully Nonparametric Bayesian Additive Regression Trees
University of Pennsylvania（宾夕法尼亚大学）；Medical College of Wisconsin（威斯康星医学院）；Arizona State University（亚利桑那州立大学）
贝叶斯加性回归树（Bayesian Additive Regression Trees，BART）是一种完全贝叶斯的建模方法。BART可以以相当自动的方式揭示具有高维回归量的复杂回归函数，并通过后验提供不确定性的贝叶斯量化。但是，BART假设IID正常错误。这种强参数假设可能导致误导性推断和不确定性量化。在本文中，我们使用经典的狄利克雷过程混合（Dirichlet process mixture）机制的非参数模型的误差分布。BART的一个关键优势是默认的先验设置在各种问题中都能很好地工作。扩展BART的挑战是选择BART的参数，以便在误差接近正态时不会失去标准BART方法的优势，但BART具有适应非正态误差的能力。
2018-07-09 cs.LG stat.ML
Generative, Fully Bayesian, Gaussian, Openset Pattern Classifier
AGNITIO Research（AGNITIO研究机构）
本报告详细介绍了一个封闭形式的，完全贝叶斯，多类，开集，生成模式分类器使用多元高斯似然，共轭先验。生成模型具有共同的类内协方差，其与共轭先验中的类间协方差成比例。标量比例常数是唯一的插件参数。所有其他模型参数都以封闭形式进行积分。给出了模型证据的表达式，该表达式可用于对比例常数进行插件估计。模式识别是通过训练数据可用的类的预测可能性以及任何尚未看到的类的预测可能性来完成的。
2013-07-24 cs.LG stat.ML
Approximate Inference for Fully Bayesian Gaussian Process Regression
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
高斯过程模型中的学习通过均值和协方差函数的超参数的自适应来进行。经典方法需要最大化边际似然，从而产生固定点估计（称为\textit{Type II maximum likelihood}或ML-II的方法）。另一种学习过程是在我们称为\textit{Fully Bayesian Gaussian Process Regression}（GPR）的GP的分层规范中推断超参数的后验。这项工作考虑了两种近似方案的棘手的超参数后验：1）哈密顿蒙特卡罗（HMC）产生基于采样的近似和2）变分推断（VI），其中超参数的后验近似的因式高斯（平均场）或满秩高斯帐户之间的相关性。我们分析的预测性能完全贝叶斯GPR的基准数据集的范围。
2020-04-06 cs.LG stat.ML
The case for fully Bayesian optimisation in small-sample trials
the University of Melbourne（墨尔本大学）
虽然样本效率是使用贝叶斯优化的主要动机时，黑盒功能是昂贵的评估，基于第二类最大似然（ML-II）的标准方法可能会失败，并导致在小样本试验中令人失望的性能。本文提供了三个令人信服的理由，采用完全贝叶斯优化（FBO）作为替代方案。首先，ML-II的失败比使用人为设置的现有研究所暗示的更常见。其次，FBO比ML-II更健壮，而健壮性的代价几乎是微不足道的。第三，FBO已经变得易于实现，并且速度足够快。本文使用相关实验来支持这一论点，这些实验反映了当前关于模型、算法和软件平台的实践。由于收益似乎超过了成本，研究人员应该考虑在他们的应用中采用FBO，这样他们就可以防止潜在的失败，最终浪费宝贵的研究资源。
2022-08-30 cs.LG stat.ML
Consistent estimation of the architecture of multilayer perceptrons
我们考虑回归模型，涉及多层感知器（MLP）与一个隐藏层和高斯噪声。MLP的参数的估计可以通过最大化模型的似然来完成。在这个框架中，它是很难确定的真实数量的隐藏单元使用的信息准则，如贝叶斯信息准则（BIC），因为Fisher的信息矩阵是不可逆的，如果隐藏单元的数量被高估。事实上，信息标准的经典理论证明完全依赖于该矩阵的可逆性。然而，使用最近的方法来处理模型的可识别性损失，我们证明了适当的信息准则导致一致的估计的真实数量的隐藏单元。
2008-02-22 math.ST stat.TH
Fully Bayesian Recurrent Neural Networks for Safe Reinforcement Learning
IBM Research UK（英国IBM研究院）；Sci-Tech Daresbury（达尔斯伯里科技中心）
强化学习（RL）已经在许多自治系统应用中展示了最先进的结果，然而许多底层算法依赖于黑盒预测。这导致这些系统的行为的可解释性差，引起了人们对它们在安全关键应用中的使用的关注。最近的工作表明，不确定性感知模型表现出更谨慎的行为，通过纳入模型的不确定性估计。在这项工作中，我们建立在概率反向传播的基础上，引入了一个完整的贝叶斯递归神经网络架构。我们将其应用在安全RL场景中，并证明所提出的方法显着优于一种流行的方法，用于在避碰任务中获得模型的不确定性。此外，我们证明了所提出的方法需要更少的训练，并且在计算资源和内存占用方面都比当前领先的方法更有效。
2019-11-26 cs.LG stat.ML
Variational Auto-encoder Based Bayesian Poisson Tensor Factorization for Sparse and Imbalanced Count Data
Monash University（莫纳什大学）；Beijing Shandesitong Technology（北京山德斯通科技）；Deakin University（迪肯大学）
非负张量因子分解模型能够对计数数据进行预测分析。其中，贝叶斯Poisson-Gamma模型可以推导出潜在因素的完整后验分布，并且对稀疏计数数据不太敏感。然而，目前的推理方法，这些贝叶斯模型采用限制更新规则的后验参数。它们也无法共享更新信息以更好地应对数据稀疏性。此外，这些模型没有被赋予处理计数数据值中的不平衡的组件。在本文中，我们提出了一种新的变分自动编码器框架称为VAE-BPTF，解决了上述问题。它使用多层感知器网络来编码和共享复杂的更新信息。然后对每个数据实例重新加权编码信息，以在聚合以计算潜在因素的后验参数之前惩罚公共数据值。在合成数据评估下，VAE-BPTF倾向于恢复正确数量的潜在因子和后验参数值。它在五个真实世界数据集的重建错误和潜在因素（语义）一致性方面也优于当前模型。此外，VAE-BPTF推断的潜在因素被认为是有意义的和一致的定性分析。
2020-12-14 cs.LG stat.ML
Challenges in Markov chain Monte Carlo for Bayesian neural networks
The University of Manchester（曼彻斯特大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
马尔可夫链蒙特卡罗（MCMC）方法在贝叶斯神经网络（BNN）中尚未得到广泛应用。本文首先回顾了用MCMC从神经网络的参数后验中采样的主要挑战。这些挑战最终导致缺乏对参数后验的收敛。尽管如此，本文表明，通过从神经网络参数空间进行MCMC采样生成的非收敛马尔可夫链可以通过贝叶斯边缘化产生神经网络输出的有价值的后验预测分布。基于多层感知器的分类示例展示了高度准确的后验预测分布。在BNN中MCMC发展的有限范围的假设是部分有效的;渐近精确的参数后验似乎不太合理，但准确的后验预测分布是一个站得住脚的研究途径。
2021-10-01 cs.LG stat.CO stat.ME
Posterior concentrations of fully-connected Bayesian neural networks with general priors on the weights
Seoul National University（首尔大学）
本文提出了参数有界的非稀疏深度神经网络新逼近理论，并证明了具有非稀疏一般先验的全连接贝叶斯神经网络能达到近极小化极大最优后验集中速率。
2024-03-21 cs.LG stat.ML
Neural Architecture Search with Bayesian Optimisation and Optimal Transport
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc（Petuum公司）
贝叶斯优化（BO）是指一类用于全局优化函数$f$的方法，该函数只能通过点评估来访问。它通常用于评估$f$成本较高的环境中。BO在机器学习中的一个常见用例是模型选择，在这种情况下，不可能对统计模型的泛化性能进行分析建模，我们求助于噪声和昂贵的训练和验证过程来选择最佳模型。传统的BO方法集中在欧几里得域和分类域，在模型选择的背景下，仅允许调整机器学习算法的标量超参数。然而，随着人们对深度学习的兴趣激增，对神经网络\emph{architectures}进行调优的需求也越来越大。在这项工作中，我们开发了NASBOT，一个基于高斯过程的BO神经结构搜索框架。为了实现这一点，我们开发了一个距离度量空间的神经网络架构，可以有效地计算通过一个最佳的运输计划。这个距离可能是深度学习社区的独立兴趣，因为它可能会在BO之外找到应用程序。我们证明，NASBOT优于其他替代方案的架构搜索在几个交叉验证的多层感知器和卷积神经网络的模型选择任务。
2019-03-15 cs.LG stat.ML
Do Bayesian Neural Networks Need To Be Fully Stochastic?
University of Oxford（牛津大学）；University of Amsterdam（阿姆斯特丹大学）
我们研究了贝叶斯神经网络随机过程中处理所有参数的好处，并发现了令人信服的理论和经验证据，表明这种标准结构可能是不必要的。为此，我们证明了表达预测分布只需要少量的随机性。特别是，部分随机网络只有$n$随机偏差是通用的概率预测$n$维预测问题。在实证研究中，我们发现在四种不同的推理模式和八个数据集上，完全随机性没有系统性的好处;部分随机网络可以匹配，有时甚至优于完全随机网络，尽管它们的内存成本降低了。
2023-02-20 cs.AI cs.LG stat.ML
Addressing Census data problems in race imputation via fully Bayesian Improved Surname Geocoding and name supplements
Harvard University（哈佛大学）；Institute for Quantitative Social Science（定量社会科学研究所）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Harvard Data Science Initiative（哈佛大学数据科学计划）；L2, Inc.（L2公司）
个体的种族和民族预测在社会科学和公共卫生研究中具有重要作用。这方面的例子包括对健康和选举方面的种族差异的研究。最近，贝叶斯改进的姓氏地理编码（BISG），它使用贝叶斯规则结合人口普查姓氏文件的信息与个人居住地的地理编码，已成为这一预测任务的领先方法。不幸的是，BISG遭受两个人口普查数据问题，导致少数民族的预测性能不令人满意。首先，十年一次的人口普查在少数民族群体的一些成员居住的人口普查区往往没有对这些群体的计数。第二，由于人口普查姓氏档案只包括常见的名字，许多姓氏-特别是少数民族的姓氏-没有列入名单。为了解决零计数的问题，我们引入了一个完全贝叶斯改进姓氏地理编码（fBISG）的方法，占人口普查计数的潜在测量误差，通过扩展天真的贝叶斯推断的BISG方法，充分后验推理。为了解决姓氏缺失的问题，我们补充了人口普查姓氏数据，并从六个南部州的选民档案中获取了姓氏、名字和中间名的额外数据，这些州的选民档案中有自我报告的种族。我们的实证验证表明，fBISG方法和名称补充显着提高了所有种族群体的种族插补的准确性，特别是对亚洲人。拟议的方法，连同其他名称数据，可通过开源软件WRU。
2022-08-31 cs.LG stat.ML
Scalable Bayesian Learning for State Space Models using Variational Inference with SMC Samplers
University College of London（伦敦大学学院）；Athens University of Economics and Business（雅典经济与商业大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们提出了一个可扩展的方法来执行近似完全贝叶斯推断在通用的状态空间模型。所提出的方法是一种替代粒子MCMC，提供完全贝叶斯推断的动态潜在状态和静态参数的模型。我们建立在计算统计学的最新进展，结合变分方法与序贯蒙特卡罗采样，我们证明了执行完整的贝叶斯推断的静态参数，而不仅仅是执行变分EM近似的优势。我们说明了我们的方法如何使可扩展的推理，在多变量随机波动模型和自激点过程模型，允许灵活的动态的潜在强度函数。
2019-02-12 cs.LG stat.ML
Fully Bayesian Analysis of the Relevance Vector Machine Classification for Imbalanced Data
相关向量机（RVM）是一种基于贝叶斯稀疏模型的支持向量机（SVM）的监督学习算法。与回归问题相比，RVM分类问题由于权参数的后验不存在封闭形式的解而难以进行。原有的RVM分类算法采用牛顿法进行优化，得到权值参数的后验模，然后用拉普拉斯法用高斯分布近似权值参数后验模。它会工作，但只是在贝叶斯框架中应用频率方法。本文提出了一种通用贝叶斯方法的RVM分类。我们猜想，我们的算法实现了收敛估计的数量相比，原来的RVM分类算法的非收敛估计。在此基础上，提出了一种基于层次超先验结构的全贝叶斯RVM分类方法，提高了分类性能，尤其是在不平衡数据问题中。通过数值实验，我们提出的算法获得了很高的分类准确率。对于不平衡数据的分类，全贝叶斯层次超先验方法优于一般方法。
2022-10-27 cs.LG stat.CO stat.ML
A Fully Bayesian Infinite Generative Model for Dynamic Texture Segmentation
Sharif University of Technology（谢里夫理工大学）；City University of Hong Kong（香港城市大学）
生成式动态纹理模型（GDTM）被广泛用于视频序列的动态纹理（DT）分割。GDTM将DT表示为一组线性动态系统（LDS）。这些模型的一个主要限制是自动选择适当数量的DT。Dirichlet过程混合模型是近年来出现的非参数贝叶斯统计的基石，是解决这一问题的一个乐观的候选者。在此动机下，以解决上述缺点，我们提出了一种新的非参数完全贝叶斯方法DT分割，制定的基础上，一个联合的DSPER和GDTM建设。这种相互作用使得算法能够适当地克服自动分割的问题。我们推导出变分贝叶斯期望最大化（VBEM）推断所提出的模型。此外，在E-步骤的推理，我们应用Rauch-Tung-Striebel平滑（RTSS）算法的变分贝叶斯LDSS。最后，对不同的视频序列进行了实验。实验结果表明，该算法在效率和准确性上明显优于以往的方法。
2019-01-13 cs.GR cs.LG stat.ML
Bayes without Underfitting: Fully Correlated Deep Learning Posteriors via Alternating Projections
Technical University of Denmark（丹麦技术大学）
本文针对贝叶斯深度学习易欠拟合的问题，提出在广义高斯-牛顿矩阵零空间中构建后验近似，并设计交替投影算法，在保证预测精度的同时实现可扩展的不确定性量化。
2024-10-22 cs.LG stat.ML
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）；OAKS srl（OAKS有限责任公司）
有一个共识是，只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差，导致不公平的预测和决策支持。最近，多目标超参数优化已经被提出来搜索机器学习模型，这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下，它们可能会大幅增加能耗。在本文中，我们提出了FangG-HPO，一个公平的和绿色的超参数优化（HPO）方法的基础上，多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集（又名信息源）来获得准确性和公平性的廉价近似值，并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准（公平性）数据集和两种机器学习算法（XGBoost和多层感知器），并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估，BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML
Work While They Sleep: Exploiting Evaluation Latency for Fully Bayesian Optimization
Vector Institute（向量研究所）；INRIA Saclay（法国国家信息与自动化研究所萨克雷研究中心）；University of Waterloo（滑铁卢大学）；Waterloo Institute for Nanotechnology（滑铁卢纳米技术研究所）；Western University（西安大略大学）
本文提出ELF-BO算法，利用评估延迟并行计算建议，实现全贝叶斯优化，在匹配性能的同时降低决策延迟，使全贝叶斯优化实用化。
2026-10-12 cs.AI cs.LG stat.ML
Development of a Multiprocessing Interface Genetic Algorithm for Optimising a Multilayer Perceptron for Disease Prediction
University of Maiduguri（迈杜古里大学）；Abubakar Tafawa Balewa University（阿布巴卡尔·塔法瓦·巴勒瓦大学）
本研究提出一种集成核主成分分析、多层感知机与多进程遗传算法的框架，通过并行优化超参数，在三个疾病数据集上分别达到99.12%、94.87%和100%的准确率，并显著缩短调优时间。
2025-05-27 cs.LG
FantastIC4: A Hardware-Software Co-Design Approach for Efficiently Running 4bit-Compact Multilayer Perceptrons
Technical University of Berlin（柏林工业大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
随着将深度学习模型部署到“边缘”的需求不断增长，开发允许在非常严格和有限的资源约束下执行最先进模型的技术至关重要。在这项工作中，我们提出了一个软件-硬件优化范例，以获得基于全连接层的深度神经网络（DNN）的高效执行引擎。我们的方法是围绕压缩作为一种手段，减少面积以及功率要求，具体地说，多层感知器（MLP）具有高预测性能。首先，我们设计了一种名为FantastIC 4的新型硬件架构，它（1）支持全连接层的多个紧凑表示的高效片上执行，（2）将推理所需的乘法器数量最小化到只有4个（因此得名）。此外，为了使模型能够在FantastIC 4上有效执行，我们引入了一种新的熵约束训练方法，使它们对4位量化具有鲁棒性，同时在大小上具有高度可压缩性。实验结果表明，在Virtual Ultrascale FPGA XCVU 440器件实现上，总功耗为3.6W，吞吐量为2.45 TOPS，在22 nm工艺ASIC版本上，总功耗效率为20.17 TOPS/W。与其他为Google Speech Command（GSC）数据集设计的最先进的加速器相比，FantastIC 4在吞吐量方面优于51 $\times$，在面积效率（GOPS/W）方面优于145 $\times$。
2020-12-17 cs.AR cs.LG
BayGo: Joint Bayesian Learning and Information-Aware Graph Optimization
Centre for Wireless Communication, University of Oulu（奥卢大学无线通信中心）
本文讨论分布式机器学习的问题，其中代理基于其本地数据集更新其模型，并以完全分散的方式协作地聚合更新的模型。在本文中，我们解决了多智能体网络中出现的信息异构性问题，其中信息代理的位置在学习动态中起着至关重要的作用。具体来说，我们提出了BayGo，一种新的完全分散的联合贝叶斯学习和图优化框架，在稀疏图上具有快速收敛性。在我们的框架下，智能体能够学习和交流的最翔实的代理自己的学习。与以前的作品不同，我们的框架假设没有先验知识的数据分布在代理，也不假设系统的真实参数的任何知识。所提出的交替最小化的框架，确保在一个完全分散的方式，同时最大限度地减少通信链路的数量的全球连通性。我们从理论上表明，通过优化建议的目标函数，后验概率分布的估计误差在每次迭代呈指数下降。通过大量的模拟，我们表明，我们的框架实现了更快的收敛速度和更高的精度相比，全连接和星形拓扑图。
2021-02-19 cs.LG stat.ML
BARK: A Fully Bayesian Tree Kernel for Black-box Optimization
Imperial College London（伦敦帝国理工学院）；BASF SE（巴斯夫公司）
提出 BARK，一种基于 BART 的完全贝叶斯树核，通过 MCMC 捕捉树结构与函数分布的不确定性，以构建采集函数并支持混合特征空间的黑盒全局优化。
2025-06-06 cs.LG math.OC stat.ML
PAC-Bayesian Margin Bounds for Convolutional Neural Networks
LTS2；EPFL（洛桑联邦理工学院）；IDCOM；University of Edinburgh（爱丁堡大学）
最近，深度神经网络的泛化误差已经通过PAC-Bayesian框架进行了分析，对于全连接层的情况。我们将这种方法适用于卷积设置。
2018-04-20 cs.LG stat.ML
Fully Distributed Bayesian Optimization with Stochastic Policies
Instituto de Investigacion en Ingenieria de Aragon（阿拉贡工程研究院）；University of Zaragoza（萨拉戈萨大学）；Centro Universitario de la Defensa（国防大学中心）
贝叶斯优化已经成为高通量计算的流行方法，如计算机实验设计或昂贵模型的超参数调整，其中样本效率是强制性的。在这些应用程序中，分布式和可扩展的架构是必要的。然而，贝叶斯优化主要是顺序的。即使是并行变体也需要在样本之间进行某些计算，从而限制了并行化带宽。汤普森抽样以前已被应用于分布式贝叶斯优化。但是，当与顺序设置中的其他采集功能相比时，已知汤普森采样的性能次优。在本文中，我们提出了一种新的方法，完全分布式贝叶斯优化，它可以结合任何采集功能。我们的方法认为贝叶斯优化作为一个部分可观察的马尔可夫决策过程。在这种情况下，随机政策，如玻尔兹曼政策，有一些有趣的性质，也可以研究贝叶斯优化。此外，玻尔兹曼政策平凡地允许分布式贝叶斯优化实现具有高水平的并行性和可扩展性。我们目前的结果在几个基准和应用程序，显示我们的方法的性能。
2019-07-05 cs.AI cs.DC cs.LG
Bayesian selection for the l2-Potts model regularization parameter: 1D piecewise constant signal denoising
Univ Lyon, Ens de Lyon, Univ Claude Bernard, CNRS, Laboratoire de Physique（里昂大学，里昂高等师范学院，克洛德·贝尔纳大学，法国国家科学研究中心，物理实验室）；IRIT/INP-ENSEEIHT, University of Toulouse（图卢兹大学 IRIT/INP-ENSEEIHT）
分段常数去噪可以通过基于Potts模型的确定性优化方法或通过随机贝叶斯过程来解决。前者导致低的计算时间，但需要选择的正则化参数，其值显着影响所获得的解决方案，其自动选择仍然是一个复杂的和具有挑战性的问题。相反，完全贝叶斯形式主义将正则化参数选择封装到分层模型中，代价是高计算成本。这方面的贡献提出了一个操作策略，结合层次贝叶斯和Potts模型配方，自动调整正则化参数和保持计算效率的双重目标。建议的程序依赖于正式连接贝叶斯框架的l2-Potts功能。所提出的分段常数去噪和正则化参数调整技术的行为和性能进行了定性研究和定量评估，并显示出与完全贝叶斯分层过程相比，在精度和计算负载方面都是有利的。
2017-02-27 cs.LG stat.ML
The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning
Stanford University（斯坦福大学）；NVIDIA（英伟达）
深度学习工具的主要挑战之一是它们无法捕捉模型的不确定性。虽然贝叶斯深度学习可以用来解决这个问题，但贝叶斯神经网络通常需要比确定性网络更多的时间和计算能力来进行训练。我们的工作探讨是否需要完全贝叶斯网络来成功地捕捉模型的不确定性。我们改变贝叶斯层在网络中的数量和位置，并将它们在主动学习上的性能与MNIST数据集进行比较。我们发现，我们可以充分捕捉模型的不确定性，只需使用几个贝叶斯层附近的网络输出，结合确定性和贝叶斯网络的优势。
2018-11-29 cs.AI cs.LG stat.ML
A Fully Bayesian Gradient-Free Supervised Dimension Reduction Method using Gaussian Processes
Georgia Institute of Technology（佐治亚理工学院）；GE Research（通用电气研究中心）
现代工程问题的普遍特征是复杂的计算机代码，这些代码将参数或输入映射到底层物理过程。在其他情况下，实验装置用于模拟实验室中的物理过程，确保高精度，同时在材料和物流方面成本高昂。在这两种情况下，通过在有限数量的输入或设计上查询昂贵的信息源，只能生成有限数量的数据。这个问题在高维输入空间的存在下进一步复杂化。现有技术的参数空间降维方法，例如主动子空间，旨在识别原始输入空间的子空间，该子空间足以解释输出响应。这些方法的限制，他们依赖于梯度评估或丰富的数据，使他们不足以昂贵的问题，没有直接访问梯度。所提出的方法是无梯度和完全贝叶斯，因为它量化的低维子空间和代理模型参数的不确定性。这使得认识的不确定性和鲁棒性有限的数据可用性的充分量化。它在来自工程和科学的多个数据集上进行了验证，并基于四个方面与其他两种最先进的方法进行了比较：a）活动子空间的恢复，b）确定性预测精度，c）概率预测精度和d）训练时间。比较表明，该方法提高了主动子空间恢复和预测精度，在确定性和概率意义上，只有少数模型观测可用于训练，在增加的训练时间的成本。
2021-07-01 cs.LG stat.ML
Max-Margin Nonparametric Latent Feature Models for Link Prediction
Tsinghua University（清华大学）
本文提出了一种最大间隔非参数潜在特征模型，该模型结合最大间隔学习和贝叶斯非参数化的思想，发现了用于链接预测的有鉴别力的潜在特征，并自动推断出未知的潜在社会维度。通过使用线性期望算子最小化铰链损失，我们可以有效地执行后验推理，而无需处理高度非线性的链接似然函数;通过使用完全贝叶斯公式，我们可以避免调整正则化常数。在真实数据集上的实验结果似乎证明了从最大间隔学习和完全贝叶斯非参数推理继承的好处。
2012-06-18 cs.LG stat.ML
Automatic Construction of Multi-layer Perceptron Network from Streaming Examples
Nanyang Technological University（南洋理工大学）；La Trobe University（乐卓博大学）；Nantong University（南通大学）
深度神经网络（DNN）的自主构建是数据流所期望的，因为它潜在地提供了两个优点：适当的模型容量和对漂移和移位的快速反应。虽然DNN的自组织机制仍然是一个悬而未决的问题，但与使用不同深度结构的DNN相比，为标准多层DNN开发此任务更具挑战性，因为添加新层会导致先前训练的知识的信息丢失。提出了一种容量动态演化的神经网络（NADINE）。NADINE具有完全开放的结构，其网络结构，深度和宽度可以以在线方式从零开始自动演变，而无需使用特定问题的阈值。NADINE是在标准的MLP结构下构造的，并使用软遗忘和自适应记忆方法的建议解决了隐藏层添加阶段的灾难性遗忘问题。NADINE的优势，即弹性结构和在线学习的特点，数值验证使用9个数据流分类和回归问题，它表明在所有问题的突出算法的性能改善。此外，它能够同样好地处理数据流回归和分类问题。
2020-01-09 cs.LG cs.NE stat.ML
Sparse Gaussian Processes Revisited: Bayesian Approaches to Inducing-Variable Approximations
EURECOM（欧洲通信与网络研究院）；Aalto University（阿尔托大学）；CSIRO’s Data61（联邦科学与工业研究组织数据61部门）
基于诱导变量的变分推断技术为高斯过程（GP）模型的可伸缩后验估计提供了一个优雅的框架。除了实现可扩展性之外，它们相对于使用直接边际似然最大化的稀疏近似的主要优点之一是，它们为诱导输入（即诱导变量的位置）的点估计提供了鲁棒的替代方案。在这项工作中，我们挑战的共同智慧，优化诱导输入的变分框架产生最佳性能。我们表明，通过重新审视旧的模型近似，例如具有强大的基于采样的推理方法的完全独立的训练条件，以贝叶斯方式处理诱导位置和GP超参数可以显着提高性能。基于随机梯度哈密顿蒙特卡罗，我们开发了一种完全贝叶斯方法来构建可扩展的GP和深度GP模型，并通过几个回归和分类问题的广泛实验活动来展示其最先进的性能。
2021-02-23 cs.LG stat.ML
Bayesian Multicategory Support Vector Machines
University of California（加利福尼亚大学）
我们表明，多类支持向量机（MSVM）提出的李等。（2004），可以被视为在分类器的适当概率解释下的MAP估计过程。我们还表明，这种解释可以扩展到一个分层贝叶斯架构和一个完全贝叶斯推理过程的多类分类的基础上数据增强。我们目前的实证结果表明，贝叶斯形式主义的优势，而不会损失的分类精度。
2012-06-27 cs.LG stat.ML
Density Estimation via Bayesian Inference Engines
University of Technology Sydney（悉尼科技大学）
我们解释如何有效的自动概率密度函数估计可以使用当代贝叶斯推断引擎，如那些基于无掉头采样和期望传播。广泛的模拟研究表明，建议的密度估计有很好的比较性能和规模非常大的样本量由于分箱策略。此外，该方法是完全贝叶斯和所有的估计都伴随着逐点可信区间。随附的R语言包便于使用新的密度估计。
2021-09-26 cs.LG stat.ML
Fully differentiable model discovery
Université de Paris（巴黎大学）；INSERM U1284（法国国家健康与医学研究院U1284）；Center for Research and Interdisciplinarity (CRI)（跨学科研究中心）
模型发现的目的是自主地发现数据集下的微分方程。基于物理信息神经网络（PINN）的方法已经显示出很大的前景，但显式学习方程的完全可微模型仍然难以捉摸。在本文中，我们提出了这样一种方法，通过集成神经网络为基础的代理与稀疏贝叶斯学习（SBL）。这种组合产生了一个强大的模型发现算法，我们在各种数据集上展示了它。然后，我们确定与多任务学习的连接，并在此基础上构建物理信息规范化流程（PINF）。我们提出了一个使用PINF直接从单粒子数据学习密度模型的概念验证。我们的工作将PINN扩展到各种类型的神经网络架构，并将基于神经网络的代理连接到贝叶斯参数推断的丰富领域。
2021-10-05 cs.LG stat.ML
Bayesian rules and stochastic models for high accuracy prediction of solar radiation
CHD Castelluccio（卡斯泰卢乔医院）；University of Corsica（科西嘉大学）；CNRS（法国国家科学研究中心）
必须找到太阳能预测方法，以便在配电网上大规模插入可再生能源。本研究的目的是找到最好的方法，可以预测高精度的每小时全球辐射。这个量的知识对于电网管理者或私人光伏生产商来说是必不可少的，以便预测与云发生相关的波动并稳定注入的光伏功率。在本文中，我们测试两种方法：单一和混合预测。在第一类中，我们包括多层感知器（MLP），自回归和移动平均（ARMA）和持久性模型。在第二类中，我们将这些预测因子与贝叶斯规则混合，以获得ad-hoc模型选择和与单个模型相关的贝叶斯平均输出。如果MLP和ARMA相等（两者的nRMSE接近40.5%），则与持久性估计相比，这种混合允许nRMSE增益高于14个百分点（nRMSE=37% vs 51%）。
2013-09-18 cs.LG stat.AP
Tractable Fully Bayesian Inference via Convex Optimization and Optimal Transport Theory
我们考虑的问题，从一个连续的源分布的样本转换成另一个目标分布的样本。我们证明了与最优传输理论，当源分布可以很容易地采样和目标分布是对数凹的，这可以用凸优化tractably解决。我们表明，一个特殊的情况下，当源是先验和目标是后验，是贝叶斯推断。在这里，我们可以计算归一化常数并绘制后验i.i.d.。样品值得注意的是，我们的贝叶斯易于处理的标准是简单的对数先验和似然：易于计算的最大后验点估计相同的标准。通过模拟数据，我们展示了如何在模拟中获得贝叶斯风险。通过生理数据，我们证明了在重症监护室结局预测和基于脑电图的睡眠分期中点估计的改进。
2015-09-29 stat.ML
Fully Automatic Brain Tumor Segmentation using a Normalized Gaussian Bayesian Classifier and 3D Fluid Vector Flow
University of Alberta（阿尔伯塔大学）
从磁共振图像（MRI）分割脑肿瘤是测量肿瘤对治疗的反应的重要任务。然而，自动分割非常具有挑战性。提出了一种基于归一化高斯贝叶斯分类和新的三维流体矢量流（FVF）算法的脑肿瘤自动分割方法。在我们的方法中，归一化高斯混合模型（NGMM）的建议，并用于健康的脑组织建模。利用高斯贝叶斯分类器从测试脑MR图像中获取高斯贝叶斯脑图（GBBM）。进一步处理GBBM以初始化3D FVF算法，该算法分割脑肿瘤。该算法有两个主要贡献。首先，我们提出了一个NGMM模型健康的大脑。其次，我们将我们的2D FVF算法扩展到3D空间，并将其用于脑肿瘤分割。所提出的方法是在一个公开的数据集上进行验证。
2019-05-01 cs.CV cs.LG cs.MM
Structure-Preserving Correction Learning for Sparse Bayesian Inference in Brain Source Imaging
Berlin Institute for the Foundations of Learning and Data (BIFOLD)（柏林学习与数据基础研究所（BIFOLD））；Technische Universität Berlin（柏林技术大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心（AIP））；Physikalisch-Technische Bundesanstalt（物理技术联邦机构）；Charité – Universitätsmedizin Berlin（柏林夏里特大学医学院）
提出一种结构保持的校正学习方法，通过展开经典联合超参数求解器为可训练神经网络，在保留贝叶斯结构的同时学习更新机制，提升M/EEG脑源成像的重建性能和收敛性。
2026-10-16 cs.LG
Stochastic processes and feedback-linearisation for online identification and Bayesian adaptive control of fully-actuated mechanical systems
Oxford University（牛津大学）
本文提出了一种新的方法，结合概率识别与控制，利用随机过程先验条件和拉格朗日力学结构知识，通过反馈线性化实现对完全驱动机械系统的灵活非参数贝叶斯学习。
2014-04-01 cs.LG cs.SY eess.SY
A Fully Bayesian, Logistic Regression Tracking Algorithm for Mitigating Disparate Misclassification
我们开发了一个完全贝叶斯，逻辑跟踪算法的目的是提供分类结果时，均匀地应用到个人与不同的敏感变量值是无偏的。在这里，我们考虑不同敏感变量组之间错误预测率差异形式的偏差。鉴于该方法是完全贝叶斯的，它非常适合于组参数或逻辑斯谛回归系数是动态量的情况。我们说明了我们的方法，与其他人相比，模拟数据集和著名的ProPublica COMPAS数据集。
2020-09-24 stat.AP
Efficient Model Compression for Bayesian Neural Networks
该研究提出一种模拟贝叶斯模型选择原理的贝叶斯神经网络压缩新策略，利用节点后验包含概率进行剪枝与特征选择，实验验证剪枝模型泛化性更优。
2024-11-01 cs.LG stat.AP stat.ML
Bespoke Approximation of Multiplication-Accumulation and Activation Targeting Printed Multilayer Perceptrons
University of Patras（帕特雷大学）；Aristotle University of Thessaloniki（亚里士多德大学塞萨洛尼基分校）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对印刷电子特征尺寸大阻碍复杂电路实现的问题，提出一种自动化框架，首次采用整体方法近似MLP神经元的乘法、累加和激活功能，实现超低功耗MLP分类器的电池供电运行，显著超越现有技术水平。
2024-11-14 cs.AR cs.LG
Fully Bayesian Logistic Regression with Hyper-Lasso Priors for High-dimensional Feature Selection
高维特征选择出现在现代科学的许多领域。例如，在基因组研究中，我们希望找到可以用于将不同类别的组织（例如癌症和正常组织）与在某些组织细胞中活跃（表达）的数万个基因分开的基因。为此，我们希望用大量的特征（也称为变量，预测因子）来拟合回归和分类模型。在过去的十年中，惩罚似然方法拟合回归模型的基础上hyper-LASSO惩罚受到越来越多的关注，在文献中。然而，使用马尔可夫链蒙特卡罗（MCMC）的完全贝叶斯方法在文献中仍然缺乏发展。本文介绍了一种基于超LASSO先验（非凸罚）的逻辑斯谛回归模型严重多模态后验的MCMC（fully Bayesian）学习方法。我们的MCMC算法使用哈密顿蒙特卡罗在一个限制性吉布斯抽样框架，我们称我们的方法贝叶斯逻辑斯谛回归与超LASSO（BLRHL）先验。我们已经使用模拟研究和真实数据分析，以证明超LASSO先验的优越性能，并探讨了超LASSO先验的选择沉重和规模的问题。
2018-05-12 stat.CO stat.ME stat.ML
PAC-Bayesian risk bounds for fully connected deep neural network with Gaussian priors
本文利用 PAC-Bayes 界研究高斯先验下全连接贝叶斯深度神经网络，建立了其在 Besov 空间中匹配极小极大最优速率的预测风险上界，适用于非参数回归和 logistic 损失二分类，并覆盖 Lipschitz 连续激活函数。
2025-05-07 math.ST stat.ML stat.TH
Asymptotics of representation learning in finite Bayesian neural networks
Harvard University（哈佛大学）
最近的研究表明，有限贝叶斯神经网络有时可能会胜过它们的无限表亲，因为有限网络可以灵活地调整它们的内部表示。然而，我们对有限网络的学习隐藏层表示与无限网络的固定表示之间的差异的理论理解仍然不完整。对网络先验和后验的扰动有限宽度校正已经被研究，但是学习特征的渐近性还没有被完全表征。在这里，我们认为，对于任何具有线性读出和高斯似然的贝叶斯网络，对平均特征内核的主要有限宽度校正具有很大程度上的通用形式。我们针对三种易于处理的网络架构明确说明了这一点：深度线性全连接和卷积网络，以及具有单个非线性隐藏层的网络。我们的研究结果开始阐明任务相关的学习信号如何塑造宽贝叶斯神经网络的隐藏层表示。
2022-02-08 cond-mat.dis-nn cs.LG stat.ML
A fully Bayesian sparse polynomial chaos expansion approach with joint priors on the coefficients and global selection of terms
针对传统PCE维度灾难与不确定性未被估计的问题，提出带联合收缩先验的全贝叶斯稀疏PCE方法，结合变量选择实现全局项选择，可处理欠定情况并估计不确定性，在基准测试中展现优势。
2023-01-13 stat.CO stat.ML
Bayesian SPLDA
在本文中，我们将推导出实现简化概率线性判别分析（SPLDA）模型参数的变分贝叶斯估计所需的方程。这可用于调整SPLDA从一个数据库到另一个几乎没有开发数据的数据库，或执行完全的贝叶斯配方。我们的方法类似于Bishop的VB PPCA。
2015-11-20 stat.ML
Fully Bayesian Spectral Clustering and Benchmarking with Uncertainty Quantification for Small Area Estimation
Department of Statistics and Data Science, University of California, Davis（加州大学戴维斯分校统计与数据科学系）
本文提出了一种基于频谱聚类的贝叶斯模型，用于小区域估计，通过引入条件后验均方误差来量化不确定性，并通过模拟和案例研究验证了其有效性。
2026-10-14 stat.ME stat.ML
Accelerated Execution of Bayesian Neural Networks using a Single Probabilistic Forward Pass and Code Generation
Heidelberg University（海德堡大学）；Graz University of Technology（格拉茨技术大学）
本文提出一种基于概率前向传递和代码生成的方法，显著提升贝叶斯神经网络在嵌入式系统中的计算效率和部署性能。
2026-10-19 cs.AR cs.DC cs.LG
Fully Bayesian Sequential Design for Heteroscedastic Stochastic Simulations
Department of Statistics and Actuarial Science, University of Waterloo（滑铁卢大学统计与精算科学系）
针对异方差随机模拟模型，提出一种基于双高斯过程和期望贝叶斯积分均方预测误差的完全贝叶斯序贯设计策略，有效提升有限预算下的预测精度和不确定性量化。
2026-07-03 stat.ME
Kernelized Bayesian Matrix Factorization
我们扩展了核化矩阵分解与完全贝叶斯处理，并能够与多个边信息源表示为不同的内核。核函数已经被引入矩阵因子分解以整合关于行和列的边信息（例如，推荐系统中的对象和用户），这对于使矩阵外（即，冷启动）预测。我们专门讨论二分图推理，其中输出矩阵是二进制的，但扩展到更一般的矩阵是直接的。我们在两个关键方面扩展了现有技术：（i）核化矩阵分解问题的完全共轭概率公式能够实现有效的变分近似，而完全贝叶斯处理在早期方法中在计算上是不可行的。(ii)多个边信息源被包括在内，在多核学习中被视为不同的核，这额外地揭示了哪些边信息源是信息性的。我们的方法在两个数据集上预测药物-蛋白质相互作用方面优于其他方法。然后，我们表明，我们的框架也可以用于解决多标签学习问题，考虑样本和标签的两个域，其中矩阵分解operationon. Our算法获得最低的汉明损失值10的14个多标签分类数据集相比，5个国家的最先进的多标签学习算法。
2013-05-08 stat.ML
