Decentralized Joint-Sparse Signal Recovery: A Sparse Bayesian Learning Approach
Indian Institute of Science(印度科学院)
这项工作提出了一种分散的,迭代的,贝叶斯算法称为CB-DSBL的多个联合稀疏向量的网络估计的网络节点,使用噪声和欠定线性测量。所提出的算法利用未知稀疏向量的网络范围联合稀疏性,与独立稀疏信号恢复方案相比,从数量显著较少的本地测量中恢复未知稀疏向量。为了减少节点间通信量和相关开销,节点仅与其单跳邻居的一小部分交换消息。在这种通信方案下,我们分别分析了我们所提出的算法中使用的交替方向乘法(ADMM)迭代的收敛性,并建立了其线性收敛速度。从分散ADMM的收敛性分析的结果被用来加速所提出的CB-DSBL算法的收敛性。使用Monte Carlo模拟,我们证明了优越的信号重建,以及支持恢复性能相比,我们提出的算法现有的分散式算法:DRL-1,DCOMP和DCSP。
2015-12-18 cs.IT cs.LG math.IT
Relaxing the Additivity Constraints in Decentralized No-Regret High-Dimensional Bayesian Optimization
ENS Lyon(里昂高等师范学院);CNRS(法国国家科学研究中心);IC, EPFL(洛桑联邦理工学院计算机科学系);UCBL(里昂第一大学);LIP(法国里昂计算机科学实验室)
本文提出DuMBO,一种渐近最优的去中心化贝叶斯优化算法,通过放宽可加性结构假设并解决过度探索问题,在高维因子场景下性能优于现有方法。
2024-02-08 cs.LG
Frequentist Guarantees of Distributed (Non)-Bayesian Inference
本文为通信网络上的分布式贝叶斯推断建立了后验相合性、渐近正态性和后验收缩速率等频率学派保证,并分析了通信图设计对统计效率与通信效率权衡的影响。
2025-07-05 math.ST stat.ML stat.TH
Asynchronous Decentralized Bayesian Optimization for Large Scale Hyperparameter Optimization
Université Paris-Saclay(巴黎萨克雷大学);Argonne National Laboratory(阿贡国家实验室);Google(谷歌);Oak Ridge National Laboratory(橡树岭国家实验室)
针对集中式并行贝叶斯优化难以扩展的问题,提出异步去中心化 BO,使各工作者独立运行顺序 BO 并经共享存储同步结果,在 1,920 个工作者上保持 95% 以上利用率并提升 CANDLE 基准性能。
2023-09-26 cs.LG
Decentralized Finance and Local Public Goods: A Bayesian Maximum Entropy Model of School District Spending in the U.S
本文采用贝叶斯最大熵模型研究2000-2016年美国学区公立学校支出分布,揭示辖区竞争与家庭选择在统计均衡框架下对教育支出分配的关键作用,为地方公共物品去中心化供给的政策制定提供统计依据。
2024-04-26 econ.GN q-fin.EC stat.AP
DIGing--SGLD: Decentralized and Scalable Langevin Sampling over Time--Varying Networks
本文提出DIGing-SGLD算法,解决时变网络下现有去中心化SGLD的静态拓扑限制与采样偏差问题,首次提供有限时间非渐近Wasserstein收敛保证,经实验验证其性能优异。
2026-08-25 cs.LG math.OC stat.ML
BayGo: Joint Bayesian Learning and Information-Aware Graph Optimization
Centre for Wireless Communication, University of Oulu(奥卢大学无线通信中心)
本文讨论分布式机器学习的问题,其中代理基于其本地数据集更新其模型,并以完全分散的方式协作地聚合更新的模型。在本文中,我们解决了多智能体网络中出现的信息异构性问题,其中信息代理的位置在学习动态中起着至关重要的作用。具体来说,我们提出了BayGo,一种新的完全分散的联合贝叶斯学习和图优化框架,在稀疏图上具有快速收敛性。在我们的框架下,智能体能够学习和交流的最翔实的代理自己的学习。与以前的作品不同,我们的框架假设没有先验知识的数据分布在代理,也不假设系统的真实参数的任何知识。所提出的交替最小化的框架,确保在一个完全分散的方式,同时最大限度地减少通信链路的数量的全球连通性。我们从理论上表明,通过优化建议的目标函数,后验概率分布的估计误差在每次迭代呈指数下降。通过大量的模拟,我们表明,我们的框架实现了更快的收敛速度和更高的精度相比,全连接和星形拓扑图。
2021-02-19 cs.LG stat.ML
Decreasing flow uncertainty in Bayesian inverse problems through Lagrangian drifter control
海洋学中的常见现象是收集海洋漂流者的位置。海洋漂移器是一种位于海洋表面并随水流移动的设备,通过GPS将其位置传输到陆地上的站点。使用漂移数据,可以获得底层流动的后验。然而,这个问题是高度低估的。通过控制海洋漂流物,我们试图提高我们对底层流动的认识。我们通过指示漂流者探索目前未被绘制的部分流动来做到这一点,从而获得新的观察结果。对照的有效性由其对后验分布方差的影响决定。较小的方差被解释为更好地理解流量。我们表明,可以通过利用控制来系统地减少方差,这些控制允许漂流者导航新的或有趣的流动结构,其中一个很好的例子是漩涡。
2014-08-27 stat.CO
Structured Cooperative Multi-Agent Reinforcement Learning: a Bayesian Network Perspective
本文提出基于贝叶斯网络的结构化合作MARL方法,通过定义价值依赖集构建P-DTDE范式,证明其策略梯度估计器方差小于CTDE,并开发可扩展actor-critic算法,在大规模多智能体应用中实现更高效收敛。
2025-10-11 cs.LG cs.MA cs.SY
Asymptotic Optimality Theory For Decentralized Sequential Multihypothesis Testing Problems
在分布式传感器网络系统的背景下,顺序测试$M \ge 3$假设的贝叶斯公式进行了研究。在这样的系统中,本地传感器观察原始观测值,并将量化的传感器消息发送到融合中心,融合中心在停止观测时做出最终决定。渐近最优分散序贯检验是从一类“两阶段”测试,允许传感器网络系统作出初步决定,在第一阶段,然后相应地优化每个本地传感器量化器在第二阶段。它示出,在每个本地传感器在第二阶段的最佳本地量化器可以被定义为一个最大最小量化器,它原来是一个随机化的最多$M-1$明确的似然量化器(ULQ)。我们首先详细介绍了我们的结果与一个单一的传感器和二进制传感器的消息系统,然后扩展到更一般的情况下,涉及任何有限的字母表传感器的消息,多个传感器,或复合假设。
2010-11-01 math.ST stat.TH
Decreasing the Computing Time of Bayesian Optimization using Generalizable Memory Pruning
Massachusetts Institute of Technology(麻省理工学院)
提出一种结合内存剪枝和有界优化的可泛化贝叶斯优化包装器,将计算时间从多项式增长转变为非递增锯齿状模式,且不牺牲收敛性能,适用于任意代理模型和采集函数。
2023-09-08 cs.LG
On optimal quantization rules for some problems in sequential decentralized detection
我们考虑系统的设计顺序分散检测,一个问题,需要几个相互依赖的选择:选择一个停止规则(指定的样本量),一个全球决策功能(两个相互竞争的假设之间的选择),和一组量化规则(本地决策的基础上,全球决策)。本文讨论了一个开放的问题,是否在贝叶斯制定的顺序分散检测,最佳的局部决策函数可以找到固定的规则类。我们开发了一个渐近近似的静态量化规则的最佳成本,并利用这种近似表明,静态量化器是不是最佳的,在广泛的设置类。我们还考虑了类的块平稳量化器,并表明,渐近最佳量化器是基于似然阈值规则。
2008-11-26 cs.IT math.IT math.ST
Decentralized Gaussian Mixture Fusion through Unified Quotient Approximations
University of Colorado Boulder(科罗拉多大学博尔德分校)
研究了在递归贝叶斯对等分布式数据融合中使用有限高斯混合(GM)概率密度函数的问题。它示出,算法精确和近似GM DDF导致相同的问题,找到一个合适的GM近似后融合PDF从分裂的“朴素贝叶斯”融合GM(代表直接组合的可能依赖的信息源)由另一个非高斯PDF(代表删除的实际或估计的“共同信息”之间的信息源)。一般GM融合的所得商pdf自然是混合pdf,尽管融合的混合是非高斯的,并且对于递归贝叶斯更新来说不是分析上可处理的。本文提出了一种直接局部逼近和间接全局逼近的重要性抽样算法,用于求解非高斯混合模型的GM逼近。多平台静态目标搜索和基于距离的目标跟踪的实际应用实例表明,与现有的GM DDF技术相比,所得到的近似结果具有更高的保真度,以及它们良好的计算特性。
2019-07-09 cs.RO cs.SY eess.SP
Bayesian sequential composite hypothesis testing in discrete time
研究了观测值为代价时指数族中未知参数的两个备择假设的序贯检验问题。在贝叶斯环境中,问题可以嵌入马尔可夫框架中。以其中一个假设的条件概率为空间变量,证明了费用函数是凹的,且随着时间的推移,后验分布变得更加集中,并研究了价值函数的时间单调性.对于一个大类的模型规格,费用函数是非递减的时间,最佳停止边界是单调的。
2021-08-16 math.PR math.ST stat.TH
Towards efficient compression and communication for prototype-based decentralized learning
Universidade de Vigo(维戈大学);Centro Tecnolóxico de Telecomunicacións de Galicia (GRADIANT)(加利西亚电信技术中心(GRADIANT))
本文研究基于原型的去中心化学习系统,通过双重数据压缩技术(信息论效用过滤与聚类压缩)和并行gossip通信,在不降低算法收敛速度的前提下大幅减少了通信负载。
2024-11-14 cs.LG
Bayesian High-dimensional Semi-parametric Inference beyond sub-Gaussian Errors
在高维情形下,考虑了具有未知对称误差的稀疏线性回归模型。假设真实误差分布属于局部$β$ -Hölder类,尾部呈指数下降,不需要是亚高斯分布。我们得到的回归系数和误差密度的后验收敛速度,这是近最优的和自适应的未知稀疏水平。此外,我们推导了半参数Bernstein-von Mises(BvM)定理来描述回归系数的边缘后验的渐近形状。在真得分函数为亚高斯分布的假设下,得到了回归系数的强模型选择相合性,从而证明了频率论可信集的有效性.
2020-08-30 math.ST stat.TH
Application of Bayesian Dynamic Linear Models to Random Allocation Clinical Trials
临床试验中使用的随机分配模型通过减少组间偏倚,帮助研究人员确定哪种特定治疗提供了最佳结果。然而,这种决心往往让研究人员与为患者提供不利治疗的伦理问题作斗争。历史上曾使用过许多方法(如“玩赢家”和“随机玩赢家”规则)来确定患者分配,然而,这些方法倾向于增加不利治疗的分配。最近,\citep{sabo2014adaptive}和后来的\citep{donahue2020allocation}提出了一种新的贝叶斯方法,该方法使用递减信息先验。然而,如果需要MCMC方法,则该方法可能是耗时的。我们建议使用一种新的方法,该方法使用动态线性模型(DLM)\citep{harrison1999bayesian}来提高分配速度,同时还减少了确定更有利治疗所需的患者分配样本。此外,对多个参数进行了敏感性分析。最后,计算贝叶斯因子,以确定在指定截止点处剩余的未使用患者预算的比例,这将用于确定有利于更好治疗的决定性证据。
2020-08-01 stat.AP
The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks
University of Warsaw(华沙大学);ETH Zurich(苏黎世联邦理工学院);University of Amsterdam(阿姆斯特丹大学);Google Research(谷歌研究院);Imperial College London(帝国理工学院);University of California, Irvine(加利福尼亚大学尔湾分校);Microsoft Research(微软研究院)
变分贝叶斯推理是一种用于近似贝叶斯神经网络权重的后验分布的流行方法。最近的工作开发这类方法探索了更丰富的参数化的近似后,希望提高性能。相反,在这里我们分享一个奇怪的实验发现,建议将变分分布限制为更紧凑的参数化。对于使用高斯平均场变分推理训练的各种深度贝叶斯神经网络,我们发现后验标准差在收敛后一致地表现出强的低秩结构。这意味着通过将这些变分参数分解为低秩因子分解,我们可以在不降低模型性能的情况下使变分近似更加紧凑。此外,我们发现,这样的因子化参数化提高了变分下界的随机梯度估计的信噪比,从而加快收敛速度。
2020-07-05 cs.LG stat.ML
High-dimensional Bayesian inference via the Unadjusted Langevin Algorithm
我们认为在本文中的采样问题的高维概率分布$π$具有密度相对于Lebesgue措施$\mathbb{R}^d$,已知的归一化常数$x \mapsto π(x)= \mathrm{e}^{-U(x)}/\int_{\mathbb{R}^d} \mathrm{e}^{-U(y)} \mathrm{d} y$。这样的问题自然发生在例如贝叶斯推理和机器学习中。在$U$连续可微、$\nabla U$全局Lipschitz和$U$强凸的假设下,得到了基于Langevin随机微分方程Euler离散化的抽样方法在步长为常数和递减的情况下,在$2$阶Wasserstein距离和全变差距离下收敛于平稳性的非渐近界.这些边界的状态空间的维数的依赖是明确的。适当加权的经验措施的收敛性也进行了研究,均方误差和指数偏差不等式的界报告的功能是可测的和有界的。一个例子来支持我们的主张,贝叶斯推理的二元回归。
2018-07-15 math.ST stat.ME stat.ML
Bayesian non-parametric survival estimation: stochastic hyperparameter sequences and distribution splicing
本文提出一种用于生存时间数据的贝叶斯非参数框架,允许先验分布依赖随机源并随样本量更新,利用混合非递减可加过程研究累积危险函数,证明了其渐近性质并提供精确模拟算法,为非参数拼接模型提供了新方案。
2025-05-02 stat.ME
Causal Bayesian Optimization
University of Warwick(华威大学);The Alan Turing Institute(艾伦·图灵研究所);Amazon(亚马逊)
本文研究的问题是全局优化的一个感兴趣的变量,是因果模型的一部分,其中可以执行一系列的干预措施。这个问题出现在生物学,运筹学,通信,更普遍的是,在所有领域的目标是优化一个系统的输出度量的互连节点。我们的方法结合了因果推断,不确定性量化和顺序决策的想法。特别是,它概括了贝叶斯优化,它把目标函数的输入变量作为独立的,因果信息是可用的情况。我们展示了如何知道因果图显着提高能力的原因,最佳决策策略,降低优化成本,同时避免次优的解决方案。我们提出了一种新的算法称为因果贝叶斯优化(CBO)。CBO自动平衡两个权衡:经典的探索-开发和新的观察-干预,这是在将真实的干预数据与通过do-calculus计算的估计干预效果相结合时出现的。我们证明了这种方法在合成环境中的实际好处,并在两个现实世界中的应用。
2020-05-26 cs.LG stat.ML
Modeling the Uncertainty in Electronic Health Records: a Bayesian Deep Learning Approach
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
随着电子健康记录(EHR)的爆炸性增长,深度学习模型在预测任务中表现出了卓越的性能。然而,由于缺乏透明度,深度学习模型的行为很难解释。没有可信度,深度学习模型将无法帮助医疗保健问题的现实决策过程。我们提出了一种基于贝叶斯神经网络(BNN)的深度学习模型来预测由数据噪声引起的不确定性。引入不确定性是为了提供具有额外置信度的模型预测。我们的实验验证了具有高不确定性的实例对模型性能是有害的。此外,通过研究模型预测和不确定性的分布,我们发现有可能识别出一组患者进行及时干预,从而降低数据噪声将更有利于这些患者的预测准确性。
2019-07-14 cs.LG stat.ML
Bayesian Estimation of the Kumaraswamy Inverse Weibull Distribution
Kumaraswamy逆韦布尔分布能够模拟具有单峰形状的失效率,并且在可靠性和生物学研究中非常常见。介绍了失效率为递减单峰的三参数Kumaraswamy逆韦布尔分布。我们提供了一个全面的治疗Kumaraswany逆韦布尔分布的数学性质,并推导出其矩母函数和$r$ -th广义矩的表达式。讨论了具有密度图和风险函数图的模型的一些性质。我们还讨论了这种分布的贝叶斯方法和应用程序是一个真实的数据集。
2015-05-20 stat.ME
Bayesian Robust Aggregation for Federated Learning
Scaleout Systems(Scaleout系统公司);Science for Life Laboratory(生命科学实验室)
针对联邦学习中恶意客户端数量未知且攻击随时间变化的问题,本文提出一种基于贝叶斯推理的自适应鲁棒聚合方法,在保持经典平均估计器简洁性的同时,在多个基准数据集上取得了最先进的鲁棒性能。
2025-05-05 cs.LG stat.ML
Decentralized Bayesian Learning with Metropolis-Adjusted Hamiltonian Monte Carlo
Czech Technical University in Prague(捷克布拉格技术大学);SRI International(SRI国际公司);University of California, San Diego(加州大学圣地亚哥分校);DEVCOM Army Research Laboratory(美国陆军DEVCOM研究实验室)
随着自主设备上嵌入式软件的普及,由分散的代理网络执行的联邦学习变得越来越重要。贝叶斯学习方法受益于提供更多关于随机量的不确定性的信息,而朗之万和汉密尔顿方法在实现从具有大参数维度的不确定分布中采样时是有效的。这种方法最近才出现在分散设置,或者专门使用随机梯度朗之万和汉密尔顿蒙特卡罗方法,需要一个递减的步长渐近采样后,在实践中被称为不确定性的特点不忠实于恒定步长方法与大都会调整,或假设强凸性的潜在功能。我们提出的第一种方法,将恒定步长的大都会调整HMC在分散的采样框架,显示理论上的保证共识和概率距离的后验平稳分布,并证明其有效性数值上的标准现实世界的问题,包括分散学习的神经网络,这是已知的高度非凸的。
2021-07-15 cs.LG math.OC stat.ML
Convex order and preservation of convexity for Bayesian posterior updates
University of Michigan(密歇根大学)
该研究针对单参数指数族观测的贝叶斯后验统计量,证明其满足凸序与凸性保持性质,可用于推导动态贝叶斯决策等问题的时间单调性结果,还能扩展到含无限可分分布的连续时间模型。
2026-09-07 math.PR math.ST stat.TH
Decentralized Stochastic Gradient Langevin Dynamics and Hamiltonian Monte Carlo
Rutgers Business School(罗格斯大学商学院);The Chinese University of Hong Kong(香港中文大学);Florida State University(佛罗里达州立大学)
随机梯度朗之万动力学(SGLD)和随机梯度哈密顿蒙特卡罗(SGHMC)是两种流行的马尔可夫链蒙特卡罗(MCMC)贝叶斯推断算法,可以扩展到大型数据集,允许从给定输入数据的统计模型参数的后验分布和模型参数的先验分布中采样。然而,这些算法不适用于分散式学习设置,当代理网络协作学习统计模型的参数时,由于隐私原因或通信限制,不共享他们的个人数据。我们研究两种算法:去中心化SGLD(DE-SGLD)和去中心化SGHMC(DE-SGHMC),它们是SGLD和SGHMC方法的改编,允许在去中心化设置中对大型数据集进行可扩展的贝叶斯推断。我们证明了当后验分布是强对数凹的光滑分布时,只要适当地选取参数,这些算法的迭代线性收敛到目标分布在2-瓦瑟斯坦距离上的一个邻域.我们说明了我们的算法的效率分散贝叶斯线性回归和贝叶斯逻辑斯谛回归问题。
2021-08-26 cs.LG math.OC stat.ML
The Reciprocal Bayesian LASSO
与对系数使用递增惩罚的传统惩罚方法相反,倒数LASSO(rLASSO)正则化采用递减惩罚函数,从而导致相对于传统收缩方法更强的简约性和更优的模型选择。在这里,我们考虑一个完全贝叶斯制定的rLASSO问题,这是基于观察的rLASSO估计线性回归参数可以被解释为贝叶斯后验模式估计时,回归参数被分配独立的逆拉普拉斯先验。贝叶斯推断从这个后验是可能的,使用扩展的层次结构的双重帕累托或截断正态分布的规模混合的动机。在模拟和真实的数据集上,我们表明贝叶斯公式在广泛的场景中在估计,预测和变量选择方面优于其经典表弟,同时提供后验推理的优势。最后,我们讨论了这种新方法的其他变体,并提供了一个统一的框架,使用灵活的倒数惩罚变量选择。本文中描述的所有方法都可以作为R包在https://github.com/himelmallick/BayesRecipe上公开获得。
2021-09-16 stat.CO stat.ME stat.ML
Modeling Complex Life Systems: Bayesian Inference for Weibull Failure Times Using Adaptive MCMC
本研究针对威布尔失效时间分析的先验选择难题,提出结合分层贝叶斯模型与NUTS的自适应半参数MCMC算法,通过模拟确定最优先验,可处理不同失效率场景,在前列腺癌剩余寿命预测中具实用价值,推动了复杂生命系统贝叶斯建模方法发展。
2025-06-13 stat.CO stat.ME
Federated Learning with Uncertainty and Personalization via Efficient Second-order Optimization
Department of Computer Science and Engineering, IIT Kanpur, India(计算机科学与工程系,印度IIT坎pur)
本文提出一种高效的联邦学习方法,利用二阶优化减少计算和通信成本,同时保留贝叶斯方法的不确定性与个性化优势。
2024-11-27 cs.CV cs.LG stat.ML
Approximate Bayesian Computation by Subset Simulation
本文提出了一种新的近似贝叶斯计算(ABC)算法,用于贝叶斯模型参数的更新。Au和J.L.贝克[1]。它被命名为ABC-SubSim。其思想是选择子集模拟中的嵌套递减区域序列作为与观测空间中实际数据向量的越来越接近的近似值相对应的区域。该算法的效率证明在两个例子中,说明了在现实世界中所面临的挑战,ABC的应用。我们表明,该算法优于其他最近的顺序ABC算法在计算效率方面,同时实现相同的,或更好的,准确性的测量后验分布。我们还表明,ABC-SubSim很容易提供后验模型类评估的证据(边际似然)的估计,作为副产品。
2014-04-24 stat.CO
Accurate parameter estimation for Bayesian Network Classifiers using Hierarchical Dirichlet Processes
Monash University(莫纳什大学)
本文介绍了一种新的贝叶斯网络分类器(BNC)的概率表的参数估计方法,使用分层Dirichlet过程(HDPs)。本文的主要结果是表明,改进的参数估计允许BNC优于领先的学习方法,如随机森林的0-1损失和RMSE,尽管只是在分类数据集。随着数据资产变得越来越大,进入被大肆宣传的“大”世界,高效准确的分类需要三个主要元素:(1)具有低偏差的分类器,可以捕获大型数据集的细节;(2)可以从数据中学习而不必将其全部保存在主内存中的非核心学习器;(3)可以非常有效地分类新数据的模型。最新的贝叶斯网络分类器(BNC)满足这些要求。它们的偏差可以通过增加图中节点的父节点的数量来容易地控制。它们的结构可以通过有限的数据传递次数在核心之外学习。然而,由于偏差被降低以准确地建模分类任务,因此其参数估计的准确性也降低,因为每个参数都是从不断减少的数据量中估计的。在本文中,我们介绍了使用分层Dirichlet过程的准确BNC参数估计。我们在68个标准数据集上进行了一系列广泛的实验,并证明了我们得到的分类器在预测方面与随机森林非常有竞争力,同时保持了核心外的能力和优越的分类时间。
2018-05-08 cs.LG stat.ML
Non-Coherent Over-the-Air Decentralized Gradient Descent
School of Electrical, Computer and Energy Engineering, Arizona State University(亚利桑那州立大学电气、计算机与能源工程学院)
针对无线系统中分散梯度下降的信令开销与可扩展性难题,提出无需调度、拓扑信息及CSI的非相干空基共识DGD算法,利用无线信道能量叠加特性实现无偏共识,强凸问题下达O(1/√k)收敛率,密集网络中图像分类任务运行时间收敛更优。
2024-09-11 cs.IT cs.LG eess.SP
On Generalized Bayesian Data Fusion with Complex Models in Large Scale Networks
1 Sibley School of Mechanical
本文提出新的广义贝叶斯分布式数据融合算法,用于处理动态网络拓扑和复杂信念模型,通过混合pdf和条件因子提升多机器人目标搜索中的融合效果。
2013-08-14 cs.RO cs.SY eess.SY
Assessing the Impact of Vaccination on Rotavirus Transmission Dynamics Using Bayesian Inference
本研究针对英国2013年引入轮状病毒疫苗后传播变化的问题,采用序贯蒙特卡洛方法校准随机仓室模型估计时变传播参数,揭示了疫苗推广前后传播能力的动态变化,为评估长期流行病学趋势提供了定量框架。
2025-06-17 q-bio.PE stat.AP
Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications
Purdue University(普渡大学)
在这项工作中,我们提出了一种贝叶斯类型的稀疏深度学习算法。该算法利用一组尖峰和厚板先验作为深度神经网络中的参数。分层贝叶斯混合将使用自适应经验方法进行训练。也就是说,人们将交替地使用预处理的随机梯度朗之万动力学(PSGLD)从后验中采样,并通过随机逼近优化潜变量。通过自适应搜索和惩罚优化超参数,实现了网络的稀疏性。一种流行的SG-MCMC方法是随机梯度朗之万动力学(SGLD)。然而,考虑到非凸学习中模型参数空间中的复杂几何形状,如在SGLD中那样在每个分量中使用通用步长来更新参数可能导致缓慢混合。为了解决这个问题,我们在更新规则中应用了一个计算上可管理的预条件子,它提供了一个步长参数来适应局部几何特性。此外,通过平滑地优化预处理矩阵中的超参数,我们提出的算法确保了减小的偏差,这是通过忽略预处理SGLD中的校正项而引入的。根据现有的理论框架,我们证明了所提出的算法可以渐近收敛到正确的分布在温和的条件下,具有可控的偏差。通过对合成回归问题和椭圆型偏微分方程解的学习,验证了本文方法的正确性和有效性。
2020-06-29 cs.LG cs.NA math.NA
A Bayesian Vertical Federated Learning Framework for Multivariate Reduced-Rank High-Dimensional Regression
Texas A&M University(德克萨斯农工大学)
提出BayesVFLReg,一种用于多元高维降秩回归的贝叶斯纵向联邦学习框架,通过随机草图保护隐私,实现精确系数估计与特征选择,并具有理论保证和实证有效性。
2026-09-29 cs.LG stat.CO stat.ML
Generalized Cumulative Shrinkage Process Priors with Applications to Sparse Bayesian Factor Analysis
本文讨论了收缩先验的参数序列中施加不断增加的收缩。我们回顾了Legramanti等人(2020)的累积收缩过程(CUSP)先验,这是一种尖峰和平板收缩先验,其中尖峰概率随机增加,并从Dirichlet过程先验的棒断裂表示构建。作为第一个贡献,这个CUSP先验扩展到任意棒断裂表示所产生的β分布。作为第二个贡献,我们证明了可交换的尖峰和板先验,这是流行和广泛使用的稀疏贝叶斯因子分析,可以表示为有限的广义CUSP先验,这是很容易从板概率的下降顺序统计量。因此,可交换钉和板收缩先验意味着增加收缩的列索引在加载矩阵中的增加,而不施加显式的顺序约束的板的概率。稀疏贝叶斯因子分析的应用程序说明了本文的研究结果的有用性。介绍了一种新的基于Cadonna等人(2020)的三重伽马先验的可交换钉板收缩先验,并证明其有助于估计模拟研究中未知数量的因素。
2023-03-01 econ.EM stat.CO stat.ME
Estimating the timing of stillbirths in countries worldwide using a Bayesian hierarchical penalized splines regression model
减少死产的全球负担对于改善儿童和孕产妇健康至关重要。人们感兴趣的是了解死产的时间模式-即死产是发生在产时还是产前-因为产时发生的死产在很大程度上是可以预防的。然而,世界各地关于死产时间的数据存在很大差异,低收入和中等收入国家通常很少有可靠的观察结果。在本文中,我们开发了一个贝叶斯惩罚样条回归框架,估计死产的比例是在世界各地的所有国家分娩。该模型考虑了与新生儿死亡率的已知关系,汇集了地理区域的信息,根据数据属性合并了不同的错误,并允许数据驱动的时间趋势。建议采用加权程序,以处理不具代表性的国家以下各级数据。结果表明,分娩期比例总体上随着时间的推移而下降,但在一些地区,特别是撒哈拉以南非洲,进展较慢。
2022-12-12 stat.AP
Scalable Vertical Federated Learning via Data Augmentation and Amortized Inference
Centre for Data Science, Queensland University of Technology(昆士兰科技大学数据科学中心);School of Mathematical Sciences, Queensland University of Technology(昆士兰科技大学数学科学学院);Euler Institute, Università della Svizzera italiana (USI)(瑞士意大利语区大学欧拉研究所);Insubria University(因苏布里亚大学)
提出首个面向VFL的贝叶斯建模综合框架,通过数据增强、似然分解与摊销变分近似实现与观测数无关的可扩展隐私保护推理。
2024-05-07 cs.LG stat.CO stat.ME
Graph-Enabled Efficient Federated Bayesian Modeling
University of California, Berkeley(加州大学伯克利分校);National University of Singapore(新加坡国立大学);Columbia University(哥伦比亚大学)
提出FLaG-MCMC框架,通过将历史后验样本编码到低维潜在空间并构建k近邻图,实现高效联邦贝叶斯学习,在阿片类药物使用障碍患病率估计和联邦主题建模中验证了其近似全局后验的能力。
2026-09-16 stat.AP stat.CO stat.ME
Robust Bayesian approach for reliability prognosis of nondestructive one-shot devices under cumulative risk model
本文针对非破坏性一次性装置在步进应力加速寿命试验下的寿命预测问题,提出基于密度幂散度的稳健贝叶斯方法,并结合哈密顿蒙特卡罗进行估计,通过模拟与实证验证了方法的稳健性。
2025-03-11 stat.AP stat.ME
Learning to Address Health Inequality in the United States with a Bayesian Decision Network
Stanford University(斯坦福大学);Indraprastha Institute of Information Technology, Delhi(德里英德拉普拉斯塔信息技术学院);Netaji Subhas University of Technology, Delhi(德里内塔吉·苏巴斯科技大学)
预期寿命是一个复杂的结果,受遗传、社会人口、环境和地理因素的影响。在美国,社会经济和健康方面的差距越来越大,正在扩大寿命差距,使其成为一个令人关切的问题。早期的研究探讨了个别因素,但缺乏一个综合的画面来揭示可量化的行动。人们越来越担心人工智能(AI)导致的医疗不平等进一步扩大,因为对AI驱动的服务的访问存在差异。因此,必须探索和利用人工智能的潜力,以阐明偏见,并使透明的政策决策能够产生积极的社会和健康影响。在这项工作中,我们通过分析包含医疗保健,社会经济,行为,教育和人口特征的县级数据资源,揭示了减少美国长寿差距的可行干预措施。我们学习一个整体平均结构,使用联合概率分布进行推断,并将其扩展到贝叶斯决策网络,以确定政策行动。我们在我们的决策网络的统一框架内对多样性、预防保健质量和稳定家庭的影响进行了定量估计。最后,我们将此分析和仪表板作为一个交互式网络应用程序提供,使用户和政策制定者能够验证我们报告的结果,并探索本工作中报告之外的影响。
2018-11-17 cs.LG stat.AP stat.ML
Bayesian system identification for structures considering spatial and temporal correlation
本文提出考虑模型预测误差空间与时间相关性的结构贝叶斯系统辨识方法,通过高效对数似然计算和嵌套采样实现模型选择,并在合成案例与真实钢桥上验证其有效性。
2023-08-18 stat.ME
A Probabilistic Representation of Deep Learning
University of Delaware(特拉华大学)
在这项工作中,我们引入了一种新的深度学习的概率表示,它在三个方面为深度神经网络(DNN)提供了明确的解释:(i)神经元定义了吉布斯分布的能量;(ii)DNN的隐藏层制定了吉布斯分布;(iii)DNN的整个架构可以被解释为贝叶斯神经网络。基于所提出的概率表示,我们研究了深度学习的两个基本属性:层次和泛化。首先,我们明确制定的层次属性从贝叶斯的角度来看,即一些隐藏层制定了先验分布和其余层制定了似然分布。其次,我们证明了DNN通过学习先验分布具有显式正则化,并且学习算法是降低DNN泛化能力的原因之一。此外,我们澄清了DNN的两个经验现象,不能用传统的泛化理论来解释。仿真结果验证了所提出的概率表示和基于合成数据集的深度学习的这些属性的见解。
2019-08-26 cs.LG stat.ML
Bayesian detection of piecewise linear trends in replicated time-series with application to growth data modelling
我们考虑的情况下,一个时间的过程是由连续的片段与不同的斜率和复制噪声损坏的时间序列测量观察。数据生成过程的未知均值被建模为具有未知数量的变点的时间的分段线性函数。我们发展了一个贝叶斯方法来推断联合后验分布的数量和位置的变化点,以及未知的平均参数。先验,所提出的模型使用过拟合的平均参数的数量,但有条件的一组变点,只有一个子集,他们影响的可能性。指数下降的变化点的数量的先验分布引起的后验分布集中在稀疏表示的基础序列。构造了一种用于逼近后验分布的Metropolis-Hastings马尔可夫链蒙特卡罗(MCMC)抽样器。我们的方法使用模拟数据进行基准测试,并应用于从不同菌株收集的成像时程数据中发现真菌生长动态的差异。源代码可以在CRAN上找到。
2019-07-08 stat.AP
Inference and dynamic decision-making for deteriorating systems with probabilistic dependencies through Bayesian networks and deep reinforcement learning
University of Liege(列日大学);Delft University of Technology(代尔夫特理工大学);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出一种基于贝叶斯网络与深度去中心化多智能体强化学习(DDMAC)的系统级推断与动态决策框架,用于退化工程系统的最优检测与维护规划,并在数值实验中验证其优于现有启发式方法。
2022-09-02 cs.AI cs.LG cs.SY
Bayesian Estimation of Population-Level Trends in Measures of Health Status
要改善全世界的健康状况,就需要对人口健康状况的趋势进行严格的量化。然而,全球一级的调查是不可用的,迫使研究人员依靠质量参差不齐的零碎的国别数据。我们提出了一个贝叶斯模型,系统地结合不同的数据,使国家,区域和全球一级的时间趋势估计的重要健康指标。该模型考虑到时间和年龄的非线性,它借用了时间、年龄、协变量以及区域国家集群内部和跨区域国家集群的力量,以便在数据稀疏的情况下进行估计。贝叶斯方法允许我们从缺失以及采样和参数不确定性的各个方面来考虑不确定性。MCMC采样允许在高维的、受约束的参数空间中进行推断,同时提供允许对各种感兴趣的泛函进行直接推断的后验绘制。在这里,我们使用血压作为健康指标的示例。高血压是心血管疾病的主要危险因素,心血管疾病是全球死亡的主要原因。研究结果强调了一个风险转变,高收入地区的血压水平下降,而许多低收入地区的血压水平上升。
2014-05-19 stat.ME
Posterior Probabilities: Nonmonotonicity, Asymptotic Rates, Log-Concavity, and Turán's Inequality
在标准贝叶斯框架中,假设数据由参数空间$Θ$中的由$θ$参数化的分布生成,在该参数空间上给出先验分布$π$。贝叶斯统计学家通过给定观测数据的后验概率来量化真实参数是$Θ$中的$θ_{0}$的信念。我们调查的行为后验信念$θ_{0}$下产生的数据时,一些参数$θ_{1},$可能是或可能不是相同的$θ_{0}.$从随机顺序,特别是似然比优势,获得后验分布,我们认为单调性的后验概率作为一个函数的样本量时,数据顺序到达。虽然$θ_{0}$ -后验是单调增加的(即,它是下鞅),当数据是在同一$θ_{0}$下生成时,它一般不需要单调递减,甚至在它的总体期望方面也不需要。当数据是在不同的$θ_{1}.$下生成时,它实际上可以保持多次上升和下降,甚至在简单的情况下,例如iid硬币投掷。我们获得精确的渐近速率时,数据来自广泛的类指数分布族,这些速率特别意味着,期望的$θ_{0}$ -后下$θ_{1}\neqθ_{0}$最终严格减少。最后,我们表明,在一些有趣的情况下,这个期望是一个对数凹函数的样本大小,因此单峰。在伯努利的情况下,我们得到这一点,通过发展一个不等式,这是有关图兰不等式勒让德多项式。
2022-09-23 econ.TH math.PR math.ST
A field- and time-normalized Bayesian approach to measuring the impact of a publication
针对文献计量中跨领域、跨年论文影响力公平衡量的难题,提出基于领域引用先验与后验分布归一化的贝叶斯影响力得分指标,并通过Scopus数据实证验证且与Field Citation Ratio对比。
2024-03-06 cs.DL stat.AP stat.CO
Bayesian probabilistic projections of proportions with limited data: An application to subnational contraceptive method supply shares
Monash University(莫纳什大学);Maynooth University(梅努斯大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对地方级避孕供应份额数据不足的问题,本研究提出基于贝叶斯层次模型、结合惩罚样条与空间相关结构的预测方法,利用DHS数据生成可靠的地方级公私部门避孕供应份额估计,优于现有方法,可为分权背景下的计划生育决策提供支持。
2025-10-29 stat.ME
Bayesian optimization of distributed neurodynamical controller models for spatial navigation
Johns Hopkins University/Applied Physics Laboratory(约翰斯·霍普金斯大学/应用物理实验室);Kavli Neuroscience Discovery Institute, Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins University School of Medicine(约翰斯·霍普金斯大学医学院)
用于控制多智能体群的动态系统模型已经证明了在弹性、分散式导航算法方面的进展。我们之前介绍了NeuroSwarms控制器,其中基于代理的相互作用通过类比神经元网络相互作用来建模,包括吸引子动力学和相位同步,理论上这些相互作用在导航啮齿动物的海马位置细胞回路中运行。这种复杂性排除了线性分析的稳定性,可控性和性能通常用于研究传统的群体模型。此外,调整动态控制器的手或网格搜索往往是不够的,由于目标的复杂性,模型参数的维数,和基于模拟的采样的计算成本。在这里,我们提出了一个框架,调整动态控制器模型的自治多智能体系统的基础上贝叶斯优化(BayesOpt)。我们的方法利用任务相关的目标函数训练高斯过程(GP)作为代理模型,实现自适应和有效的探索动态控制器模型的参数空间。我们证明了这种方法,通过研究一个目标函数选择NeuroSwarms的行为,合作本地化和捕获空间分布的奖励下的时间压力。我们通过结合不同几何形状的模拟得分来概括不同环境下的任务性能。为了验证搜索性能,我们通过可视化均匀流形近似和投影(UMAP)嵌入中的样本轨迹,比较了高与低似然参数点的高维聚类。我们的研究结果表明,自适应,样本效率的评估复杂系统的自组织行为能力,包括动态群控制器,可以加速翻译的神经科学理论应用领域。
2021-10-31 cs.LG cs.MA cs.NE
Bayesian Mediation Analysis for Individualized Treatment Rules
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Duke University(杜克大学)
本研究提出贝叶斯中介框架,将个体化治疗规则的价值对比分解为直接与间接成分,采用贝叶斯因果中介森林估计,经模拟与TRIUMPH试验数据验证,可实现ITR的机制评估与解释。
2026-08-03 stat.ME stat.ML
Asynchronous Local Computations in Distributed Bayesian Learning
Oklahoma State University(俄克拉荷马州立大学);DEVCOM Army Research Lab(DEVCOM陆军研究实验室)
针对多智能体分布式贝叶斯学习中的通信开销问题,提出基于gossip的异步通信与ULA MCMC局部计算方法,在理论上量化收敛速度,并在真实数据集上实现了更快的初始收敛与高分类准确率。
2024-01-07 cs.DC cs.LG cs.MA