Bayesian Robustness to Outliers in Linear Regression and Ratio Estimation
整体鲁棒性是统计模型的一个很好的属性。这意味着当离群值接近正负无穷大时,其影响逐渐消失。到目前为止,贝叶斯文献提供的结果,确保整体的鲁棒性的位置-尺度模型。在本文中,我们做了两个贡献。首先,我们推广的结果,以达到整个鲁棒性在简单的线性回归通过原点,这是一个必要的步骤,一般的线性回归模型的结果。我们允许误差项的方差依赖于解释变量。这种灵活性导致的第二个贡献:我们提供了一个简单的贝叶斯方法来鲁棒地估计有限的人口手段和比率。由于采用了超重尾分布假设代替了传统的误差项正态假设,因此获得全局鲁棒性的策略很简单。因此,用户可以像往常一样使用后验分布估计参数。
2018-08-12 stat.ME
General Bayesian Predictive Synthesis
本文提出GBPS方法,在贝叶斯框架下通过损失最小化整合专家预测分布,无需参数估计,并以模拟研究验证其用于贝叶斯集成决策的性能。
2024-06-13 stat.ME
Local Probabilistic Model for Bayesian Classification: a Generalized Local Classification Model
在贝叶斯分类中,重要的是为每个类别建立概率模型以进行似然估计。以前的方法大多是在整个样本空间中对概率分布进行建模。然而,现实世界中的问题通常过于复杂,无法在整个样本空间中建模,需要一些基本假设来简化全局模型,例如,朴素贝叶斯分类的类条件独立性假设。在本文中,洞察到在局部样本空间中的分布应该比在整个样本空间中的分布更简单,期望为局部区域建立的局部概率模型要简单得多,并且可以放松在整个样本空间中可能不成立的基本假设。基于这些优点,我们建议建立贝叶斯分类的局部概率模型。此外,采用局部概率模型的贝叶斯分类器甚至可以被看作是一种广义的局部分类模型,通过调整局部区域的大小和相应的局部模型假设,可以为特定的分类问题建立拟合模型。在实际数据集上的实验结果表明了局部概率模型在贝叶斯分类中的有效性。
2018-12-13 cs.LG stat.ML
Bayesian calibration of traffic flow fundamental diagrams using Gaussian processes
建立道路上车辆速度与密度关系的数学模型是交通流理论中的一个基本问题。近年来的研究发现,由于样本分布的不均匀性,用最小二乘法(LS)校正单区域速度-密度模型是有偏差的。本文从统计学的角度解释了LS方法的问题:有偏校准是由回归残差中的相关性/依赖性引起的。基于这一解释,我们提出了一种新的校准方法,通过零均值高斯过程(GP)的残差的协方差建模的单区速度-密度模型。我们的方法可以被视为具有特定协方差结构的广义最小二乘(GLS)方法(即,核函数),并且是现有LS和加权最小二乘(WLS)方法的推广。接下来,我们使用稀疏逼近来解决GP的可扩展性问题,并应用马尔可夫链蒙特卡罗(MCMC)采样方案来获得速度-密度模型和超参数的参数的后验分布(即,长度尺度和方差)。最后,我们校准六个著名的单区速度密度模型与所提出的方法。结果表明,所提出的基于GP的方法(1)显著降低了LS校准中的偏差,(2)实现了与WLS方法相似的效果,(3)可以用作非参数速度-密度模型,(4)提供了估计参数和速度-密度函数的后验分布的贝叶斯解决方案。
2022-08-04 stat.AP
Deep Learning and genetic algorithms for cosmological Bayesian inference speed-up
Instituto de Ciencias Físicas, Universidad Nacional Autónoma de México(墨西哥国立自治大学物理科学研究所);Department of Astronomy, University of Geneva(日内瓦大学天文系)
本文提出利用深度学习和遗传算法加速宇宙学 Bayesian 推断,通过前馈神经网络动态逼近似然函数并结合遗传算法优化超参数,显著提升了 nested sampling 的计算效率。
2024-10-15 astro-ph.CO astro-ph.IM cs.LG
Scaling Up Bayesian Uncertainty Quantification for Inverse Problems using Deep Neural Networks
由于不确定性量化(UQ)的重要性,贝叶斯反问题方法近年来在应用数学、物理和工程领域得到了广泛的应用。然而,传统的贝叶斯推理方法基于马尔可夫链蒙特卡罗(MCMC)往往是计算密集型和效率低下的高维问题。为了解决这个问题,已经提出了几种基于代理模型的方法来加快推理过程。更具体地说,校准仿真采样(CES)计划已被证明是成功的,在大尺寸的UQ问题。在这项工作中,我们提出了一种新的CES方法的贝叶斯推断的基础上,深神经网络模型的仿真阶段。由此产生的算法在计算上更有效,并且对训练集中的变化更鲁棒。此外,通过使用自动编码器(AE)的降维,我们已经能够加快我们的贝叶斯推断方法高达三个数量级。总的来说,我们的方法,此后称为\emph{Dimension-Reduced Emulative Autoencoder Monte Carlo (DREAMC)}算法,是能够规模贝叶斯UQ高达数千维的逆问题。使用两个低维(线性和非线性)反问题,我们说明了这种方法的有效性。接下来,我们将我们的方法应用到两个高维数值例子(椭圆和对流-微分),以证明其计算优势,现有的算法。
2022-04-25 stat.CO stat.ML
Amortized Bayesian Workflow
University of Helsinki(赫尔辛基大学);ELLIS Institute Finland, Aalto University(芬兰埃利斯研究所、阿尔托大学);TU Dortmund University(多特蒙德技术大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);Independent Scientist(独立研究者)
本文提出了一种结合快速近似推断与MCMC技术的自适应工作流,通过在处理大量数据集时平衡速度与精度,提升推断效率并保持高质量后验结果。
2026-02-17 cs.LG stat.ML
Kernel Bayesian Inference with Posterior Regularization
提出了一个向量值回归问题,其解等价于贝叶斯后验分布的再生核希尔伯特空间(RKHS)嵌入。这种等价性为核贝叶斯推断提供了一种新的理解。此外,优化问题导致了一个新的正则化的后验嵌入估计,这是更快,并具有可比性能的平方正则化核贝叶斯规则。这种正则化与核POMDPs中使用的前阈值方法一致,其一致性仍有待建立。我们的理论工作解决了这个开放的问题,并在回归设置中提供了一致性分析。基于我们的优化配方,我们提出了一个灵活的贝叶斯后验正则化框架,这是第一次使我们能够把正则化的分布水平。我们将此方法应用于具有极非线性动态的非参数状态空间滤波任务,并显示出超过所有其他基线的性能增益。
2016-10-26 stat.ML
Fast Bayesian Intensity Estimation for the Permanental Process
Cox过程是一个随机过程,它通过让潜在的强度函数本身是一个随机过程来推广泊松过程。在本文中,我们提出了一个快速的贝叶斯推断方案的永久过程,考克斯过程下的强度的平方根是一个高斯过程。特别是,我们利用再生核希尔伯特空间的连接,推导出有效的近似贝叶斯推断算法的基础上的预测分布和边际似然的拉普拉斯近似。我们得到一个简单的算法,我们适用于玩具和现实世界的问题,获得数量级的速度比以前的工作改进。
2018-06-19 stat.ME
Fast methods for training Gaussian processes on large data sets
高斯过程回归(GPR)是一种用于插值或拟合数据的非参数贝叶斯技术。进一步利用这一强大工具的主要障碍在于与处理大型数据集时出现的矩阵相关的计算成本。在这里,我们得出了一些简单的结果,我们发现有用的加快GPR算法的学习阶段,特别是进行贝叶斯模型比较不同的协方差函数。我们将我们的技术应用于合成数据和真实数据,并量化了相对于使用嵌套采样来数值评估模型证据的速度。
2016-05-13 stat.CO stat.ME stat.ML
Partial Trace-Class Bayesian Neural Networks
School of Mathematics University of Edinburgh(数学学院爱丁堡大学)
针对贝叶斯神经网络计算成本高的问题,提出三种部分迹类贝叶斯神经网络架构,通过减少贝叶斯参数数量,在保持不确定性量化能力的同时显著提升计算与统计效率。
2025-11-03 cs.LG stat.ME stat.ML
Bayesian vector autoregressive analysis of macroeconomic and transport influences on urban traffic accidents
城市交通安全的宏观影响因素分析对指导城市发展方向、降低交通事故发生频率具有重要意义。利用北京市小样本量交通年报数据,构建贝叶斯向量自回归模型,探讨人口、GDP、私家车保有量、公交车保有量、地铁里程和道路平均车速等6个宏观经济和交通因素对交通事故的影响。结果表明,BVAR模型适用于小样本情况下的交通事故时间序列分析。在宏观经济因素方面,国内生产总值的增长被认为在长期内减少了交通事故的数量,而人口的增长在短期内对交通事故有积极的影响。在宏观交通因素方面,道路平均速度和私家车拥有量在长期内会增加交通事故,而公交车拥有量和地铁里程则会产生长期的负面影响,其中道路平均速度的正面影响最大,地铁里程的负面影响最大。本研究建议政府部门可以通过增加对公共交通基础设施的投资、限制私人车辆和道路速度来减少交通事故的数量。
2022-04-07 stat.AP
A Bayesian Model for Online Activity Sample Sizes
University of Washington(华盛顿大学);Amazon.com Inc(亚马逊公司)
针对在线活动中个体发起时间异质性导致连续新增个体数分布不同的问题,提出一种贝叶斯方法,基于初始时期参与用户观测值预测后续时期额外参与个体数,并在在线实验中验证了其样本量预测性能。
2022-05-26 cs.LG stat.ML
Bayesian design and analysis of two-arm cluster randomised trials using assurance: extension to binary outcomes and comparison of MCMC and INLA
Newcastle University(纽卡斯尔大学);Islamic University of Madinah(麦地那伊斯兰大学)
本文针对连续和二分类结局的双臂整群随机试验,提出基于保证(assurance)的贝叶斯样本量计算方法,并通过 SPEEDY 试验案例比较 MCMC 与 INLA 两种推断方案在速度、准确性及适用场景上的差异,给出使用建议。
2025-11-10 stat.ME
Practical Bayesian Optimization with Threshold-Guided Marginal Likelihood Maximization
Pohang University of Science and Technology(浦项科技大学);BARO AI
我们提出了一个实用的贝叶斯优化方法,使用高斯过程回归,其边际似然最大化的模型选择步骤的数量是由一个预先定义的阈值。由于贝叶斯优化在寻找高斯过程回归的最佳自由参数时消耗了很大一部分执行时间,我们简单而直接的方法能够减轻时间复杂度并加快整个贝叶斯优化过程。实验结果表明,该方法在大多数情况下都能有效地减少执行时间,且优化质量损失较小。
2020-10-16 cs.LG stat.ML
Computational Methods in Bayesian Statistics
本文着重于利用两种不同的贝叶斯方法来处理数据分析中出现的各种玩具问题。特别是,我们实现了变分贝叶斯和嵌套采样方法来解决多项式选择和高斯混合模型的问题,比较算法的处理速度和精度。在这里解决的问题,它是变分贝叶斯算法是更快的,虽然这两个结果给出了类似的结果。
2010-03-22 stat.CO
Confidence biases and learning among intuitive Bayesians
我们设计了一个“要么加倍要么放弃”的游戏,来比较学习一个人的特定能力的速度和随着任务变得越来越困难而增加信心的速度。我们发现,平均而言,人们学会过度自信的速度比他们了解自己的真实能力,我们提出了一个直观的贝叶斯模型的信心,集成了信心偏差和学习。一个人的真实能力的不确定性,以执行一项任务的隔离可以负责大而稳定的信心偏差,即有限的歧视,难-容易的效果,邓宁-克鲁格效应,保守的学习经验和overprecision现象(没有欠精度),如果受试者作为贝叶斯学习者谁只依赖于顺序感知的性能线索和反向错觉信号引起的怀疑。此外,这些偏见可能会持续下去,因为贝叶斯汇总过去的信息巩固了积累的错误和反向错觉信号的感知产生保守主义和反应不足的事件。综合起来,这两个特征可以解释为什么直觉贝叶斯主义者会对自己的表现做出系统性的错误预测。
2017-07-10 math.PR stat.OT
Fast Bayesian whole-brain fMRI analysis with spatial 3D priors
任务相关功能磁共振成像(fMRI)的空间全脑贝叶斯建模是一个巨大的计算挑战。因此,目前提出的大多数方法分别在大脑的子区域中进行推断,或者在不与真实的后验分布进行比较的情况下进行近似推断。Penny等人(2005 b)介绍了一种流行的方法,现在是SPM软件中贝叶斯单受试者分析的标准方法。该方法处理的数据切片的切片,并使用近似变分贝叶斯(VB)估计算法,强制后验独立的活动系数在不同的体素之间。我们引入了一个快速和实用的马尔可夫链蒙特卡罗(MCMC)计划在同一模型中的精确推理,无论是切片和整个大脑使用的3D活动系数的先验。该算法利用稀疏性,并使用现代技术从高维高斯分布中进行有效采样,从而加快速度,否则MCMC将不是一个实用的选择。使用MCMC,我们是第一次能够评估近似VB后对确切的MCMC后,并表明,VB可以导致虚假激活。此外,我们开发了一种改进的VB方法,放弃了独立体素的假设后验。对于大型数据集,该算法比MCMC和原始VB快得多,与MCMC后验相比误差可以忽略不计。
2016-09-29 stat.AP stat.CO stat.ME
Building fast Bayesian computing machines out of intentionally stochastic, digital parts
MIT(麻省理工学院)
大脑使用比逻辑门更慢、更不可靠的神经元,比现代计算机更快、更可靠地解释模糊的感官信息。但是,贝叶斯推理是感知和认知的许多计算模型的基础,即使考虑到现代晶体管的速度和能量预算,它在计算上也具有挑战性。缩小这一差距所需的计算原理和结构是未知的。在这里,我们将展示如何使用有意随机的数字部件来构建快速的贝叶斯计算机器,从而将这种效率差距缩小多个数量级。我们发现,通过连接随机数字组件根据简单的数学规则,可以建立大规模并行,低精度的电路,解决贝叶斯推理问题,并与皮质神经元的泊松放电统计兼容。我们评估电路的深度和运动感知、感知学习和因果推理,每个电路都能实时的对10,000多个潜在变量进行推理-比商品微处理器的速度快1,000倍。这些结果表明,在智能计算的工程和逆向工程的随机性的一个新的角色。
2014-02-20 cs.AI cs.AR stat.CO
Assessment of System-Level Cyber Attack Vulnerability for Connected and Autonomous Vehicles Using Bayesian Networks
Benedict College(本尼迪克特学院);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Clemson University(克莱姆森大学)
本研究提出了一种方法来量化网络攻击的脆弱性及其影响的基础上概率图形模型的智能交通系统下连接和自动驾驶汽车的框架。基于选定的性能指标,计算智能信号和协同自适应巡航控制(CACC)应用的各种类型的网络攻击漏洞及其影响。数值算例表明,在平均交叉口排队长度,停车次数,平均速度和延误方面的脆弱性的影响。在具有和不具有冗余系统的信号化网络中,脆弱性可分别使平均队列和延迟增加$3\%$和$15\%$以及$4\%$和$17\%$。对于CACC应用,当少量速度信息被扰动时,影响水平平均达到$50\%$延迟差。当攻击者插入显著不同的速度特性时,延迟差增加到超过正常业务条件的$100\%$。
2020-11-18 cs.AI cs.CR cs.SY
Efficient Aerosol Retrieval for Multi-angle Imaging SpectroRadiometer (MISR): A Bayesian Approach
针对多角度成像光谱辐射计(MISR)气溶胶光学厚度(AOD)反演算法的研究现状,提出了一种分层贝叶斯模型。然而,在他们的工作中使用的推理算法是马尔可夫链蒙特卡罗(MCMC),据报道,这是令人望而却步的缓慢。MCMC的速度差,大大限制了生产的可行性贝叶斯框架,如果大规模(如全球范围内)的气溶胶检索是理想的。在本文中,我们提出了一种替代的优化方法,以减轻速度问题。特别是,我们采用最大化后验概率(MAP)方法,并应用无梯度的“爬山”算法:坐标随机搜索。我们的方法比MCMC快得多(约100倍),更容易收敛,对超参数不敏感。为了进一步扩展我们的方法,我们使用Apache Spark并行化了我们的方法,它实现了CPU核心数量高达16的线性加速。由于这些努力,我们能够检索AOD在更精细的分辨率(1.1公里)与一小部分的时间消耗相比,现有的方法。在我们的研究中,我们发现,在低AOD水平,贝叶斯网络往往会产生高估的检索。我们还发现,高吸收气溶胶类型的检索在同一时间。这可能是由气溶胶类型的狄利克雷先验引起的,因为它表明在实践中鼓励选择吸收类型。将Dirichlet变换为均匀分布后,反演的气溶胶光学厚度与地面观测值在各层均表现出良好的一致性。
2017-08-06 stat.AP
Push Puppet Networks: Structured Bayesian Pruning Algorithm for Language Model Compression
提出推杆网络,一种结构化贝叶斯剪枝算法,通过层次惩罚函数学习门控参数,在不加载完整模型的情况下将网络剪枝至特定大小,在高剪枝率下优于现有方法并实现GPU加速。
2026-06-29 stat.AP
BAMBI: blind accelerated multimodal Bayesian inference
在本文中,我们提出了一种快速贝叶斯分析算法,结合嵌套抽样和人工神经网络的好处。盲加速多模态贝叶斯推断(BAMBI)算法实现了用于嵌套采样的MultiNest包以及人工神经网络(NN)的训练以学习似然函数。在计算昂贵的似然性的情况下,这允许替换更快速的近似,以显著提高分析的速度。我们首先通过一些玩具示例来演示NN学习复杂似然曲面的能力。BAMBI的能力,以减少运行时间的贝叶斯推断,然后证明在背景下估计宇宙学参数从威尔金森微波各向异性探测器和其他观测。我们表明,除了获得在不同模型和数据组合的似然函数上训练的NN外,还实现了有价值的速度提高。然后,这些NN可以用于使用相同的可能性和不同的先验的更快的后续分析。这是一个完全通用的算法,可以应用,没有任何预处理,计算昂贵的似然函数的其他问题。
2012-02-17 astro-ph.CO astro-ph.IM physics.data-an
Bayesian Coresets: Revisiting the Nonconvex Optimization Perspective
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Berkeley(加州大学伯克利分校);Rice University(莱斯大学)
贝叶斯核心集已成为一种很有前途的方法,实现可扩展的贝叶斯推断。贝叶斯核心集问题涉及选择数据样本的(加权)子集,使得使用所选子集的后验推理非常接近使用完整数据集的后验推理。这篇手稿通过稀疏约束优化的镜头重新审视贝叶斯核心集。利用最新的进展,加速优化方法,我们提出并分析了一种新的算法的核心选择。我们提供了明确的收敛速度保证,并提出了一个经验评估的各种基准数据集,以突出我们提出的算法的优越性能相比,国家的最先进的速度和准确性。
2021-02-25 cs.LG stat.CO stat.ML
Bayesian Inference of Whole-Brain Networks
在脑结构网络中,感兴趣的连接由空间隔离的脑区域之间的白质纤维束组成。这些白质束的存在,位置和方向可以通过使用扩散MRI结合概率纤维束成像来得出。不幸的是,到目前为止,还没有任何方法可以提供一种无可争议的方法来从纤维束描记术中推断大脑网络。在本文中,我们提供了一个计算框架,我们称之为贝叶斯连接。我们不是应用任意阈值来获得单个网络,而是考虑由数据支持的网络的后验分布,结合指数随机图(ERGM)先验,该先验捕获了关于全脑网络的图论属性的先验知识。我们表明,在模拟的概率纤维束成像数据,我们的方法是能够重建全脑网络。此外,我们的方法直接支持多模型数据融合和组级网络推理。
2012-02-08 q-bio.NC stat.AP
A Physics Based Surrogate Model in Bayesian Uncertainty Quantification involving Elliptic PDEs
针对含线性椭圆偏微分方程正演映射的贝叶斯反问题计算成本高的问题,提出基于物理的代理模型,证明后验分布一致性,实验显示其将计算时间从数月缩至数分钟且精度损失极小。
2023-12-14 stat.ME
Prior and Likelihood Choices for Bayesian Matrix Factorisation on Small Datasets
在本文中,我们研究了贝叶斯矩阵分解的不同先验和似然选择的影响,重点是小数据集。这些选择可以极大地影响方法的预测性能。我们确定了四组方法:高斯似然与实值先验,非负先验,半非负模型,最后泊松似然方法。对于每一组,我们回顾了文献中的几种模型,总共考虑了16种,并讨论了不同先验和矩阵范数之间的关系。我们在三个应用领域的八个真实数据集上广泛比较了这些方法,并进行了组间和组内比较。我们测量收敛运行时速度,交叉验证性能,稀疏和噪声预测性能,以及模型选择鲁棒性。我们提供了几个见解的先验和似然选择之间的权衡贝叶斯矩阵因式分解小数据集-如泊松模型给出差的预测,非负模型比实值的约束。
2017-12-01 stat.ML
Bayesian estimation for large scale multivariate Ornstein-Uhlenbeck model of brain connectivity
Center for Brain and Cognition(脑与认知中心);University Pompeu Fabra(庞培法布拉大学);Columbia University(哥伦比亚大学)
可靠的全脑连接的估计是一个关键的一步,使用定量的方法来研究神经精神疾病的连接信息。当估计大脑连接性时,时间样本的缺乏和测量的大维度带来了挑战。贝叶斯网络模型的估计方法在这方面提供了许多优势,但并不常用。在这里,我们比较了三种不同的估计方法的多变量Ornstein-Uhlenbeck模型,最近获得了一些流行的特征全脑连接。我们首先表明,贝叶斯估计的模型参数假设一致的先验是等效的矩量法的应用。然后,使用合成数据,我们表明,贝叶斯估计规模与网络中的节点数相比,迭代李雅普诺夫优化。特别是当网络大小是用于全脑研究的顺序(约100个节点)时,贝叶斯方法需要比李雅普诺夫方法多约8倍的时间样本,以达到相似的估计精度。我们还表明,更高的估计精度的李雅普诺夫方法是反映在一个更好的分类的基础上估计连接从一个真正的数据集BOLD功能磁共振成像的个人。最后,我们表明,贝叶斯方法的精度差是由于数值误差,当虚部的连接估计得到大相比,其实部。
2018-05-25 cs.LG stat.ML
A Bayesian Edge-Space Framework for Whole-Connectome Inference in Multisite Autism Neuroimaging
St. Edward’s University(圣爱德华大学);Rice University(莱斯大学)
该研究提出贝叶斯边空间回归框架,用于多站点自闭症神经影像全连接组推断,在模拟和ABIDE数据中识别出ASD相关连接的异质性变化,支持分布式神经系统的异质性重组。
2026-08-21 stat.CO stat.ME
Bayesian selection for the l2-Potts model regularization parameter: 1D piecewise constant signal denoising
Univ Lyon, Ens de Lyon, Univ Claude Bernard, CNRS, Laboratoire de Physique(里昂大学,里昂高等师范学院,克洛德·贝尔纳大学,法国国家科学研究中心,物理实验室);IRIT/INP-ENSEEIHT, University of Toulouse(图卢兹大学 IRIT/INP-ENSEEIHT)
分段常数去噪可以通过基于Potts模型的确定性优化方法或通过随机贝叶斯过程来解决。前者导致低的计算时间,但需要选择的正则化参数,其值显着影响所获得的解决方案,其自动选择仍然是一个复杂的和具有挑战性的问题。相反,完全贝叶斯形式主义将正则化参数选择封装到分层模型中,代价是高计算成本。这方面的贡献提出了一个操作策略,结合层次贝叶斯和Potts模型配方,自动调整正则化参数和保持计算效率的双重目标。建议的程序依赖于正式连接贝叶斯框架的l2-Potts功能。所提出的分段常数去噪和正则化参数调整技术的行为和性能进行了定性研究和定量评估,并显示出与完全贝叶斯分层过程相比,在精度和计算负载方面都是有利的。
2017-02-27 cs.LG stat.ML
Advances in exact Bayesian structure discovery in Bayesian networks
我们考虑一个贝叶斯方法学习贝叶斯网络结构从完整的数据。最近,Koivisto和Sood(2004)提出了一种算法,对于任何一条边,都可以在O(n 2^n)时间内计算其边际后验概率,其中n是属性的数量;每个属性的父节点数量受一个常数的限制。本文证明了所有n(n - 1)条潜在边的后验概率可以在O(n2^n)总时间内计算。这个结果是通过一个向前向后的技术和快速Moebius变换算法,这是独立的利益。由此产生的约n^2倍的加速,使我们能够通过实验研究学习中等规模网络的统计能力。我们报告了一个模拟研究的结果,该研究涵盖了具有5到25个离散属性的20到10,000个记录的数据集
2012-06-27 cs.AI cs.LG stat.ML
Trajectory-based real-time pedestrian crash prediction at intersections: A novel non-linear link function for block maxima led Bayesian GEV framework addressing heterogeneous traffic condition
University of Central Florida(中佛罗里达大学);Bangladesh University of Engineering and Technology(孟加拉国工程与技术大学)
本研究提出一种基于轨迹的实时行人碰撞预测框架,采用贝叶斯GEV模型和非线性连接函数,结合行为归一化MRC指标,在异构交通下提高预测精度与置信度。
2025-10-14 physics.soc-ph stat.AP stat.ME
Bayesian $l_0$-regularized Least Squares
贝叶斯$l_0$ -正则化最小二乘法是一种用于高维预测的变量选择技术。挑战是通过在由所有可能的预测器组合组成的模型空间上搜索来优化非凸目标函数。钉板(又称Bernoulli-Gaussian)先验是贝叶斯变量选择的黄金标准,但需要注意计算速度和可扩展性。单一最佳替换(SBR)提供了一种快速可扩展的替代方案。我们提供了贝叶斯正则化和最近更新之间的联系,这提供了一个等价的后验模式和后验均值与不同的正则化先验。这允许我们使用SBR来找到尖峰和板估计器。为了说明我们的方法,我们提供了模拟证据和一个真实的数据的统计特性和计算效率的SBR与直接后验抽样使用穗和板先验的例子。最后,我们总结了未来研究的方向。
2018-12-18 stat.CO stat.ML
Approach of variable clustering and compression for learning large Bayesian networks
ITMO University(圣彼得堡国立信息技术机械与光学大学)
本文提出了一种基于特征空间聚类的块学习大型贝叶斯网络结构的新方法。该聚类是使用归一化互信息获得的。块的后续聚合使用经典学习方法完成,除了它们被输入关于每个块的特征值组合的压缩信息。这种方法的验证完成爬山作为两个得分函数:BIC和MI的图枚举算法。以这种方式,即使对于被认为不适合于可并行化学习的那些得分函数,也可以实现潜在的可并行化块学习。该方法的优点是评估的工作速度以及所发现的结构的准确性。
2022-08-29 cs.LG stat.ML
A Variational Approximation for Bayesian Networks with Discrete and Continuous Latent Variables
我们展示了如何使用变分近似的逻辑函数进行近似推理的贝叶斯网络包含连续的父母离散节点。从本质上讲,我们将逻辑函数转换为高斯函数,这有助于精确的推断,然后迭代地调整变分参数以提高近似的质量。我们通过实验证明,这种近似比采样更快,可能更准确。我们还介绍了一个简单的新技术来处理证据,这使我们能够处理观察到的节点上的任意分布,以及在具有大基数离散变量的网络中实现显着的加速。
2013-01-23 cs.AI cs.LG stat.ML
UltraNest -- a robust, general purpose Bayesian inference engine
UltraNest是一个用于参数估计和模型比较的通用贝叶斯推断包。它允许拟合指定为用Python、C、C++、Fortran、Julia或R编写的似然函数的任意模型。UltraNest专注于正确性和速度(按此顺序),特别适用于多模态或非高斯参数空间,计算昂贵的模型,在强大的管道中。可对计算集群进行并行化并恢复未完成的运行。
2021-04-07 astro-ph.IM stat.CO
Bayesian Numerical Integration with Neural Networks
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Tübingen(蒂宾根大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University College London(伦敦大学学院);The Alan Turing Institute(艾伦·图灵研究所)
针对贝叶斯求积计算成本高的问题,提出基于贝叶斯神经网络的贝叶斯Stein网络,利用Stein算子架构与拉普拉斯近似实现数量级加速。
2023-09-10 cs.LG stat.ML
Fitting Bayesian item response models in Stata and Stan
Stata用户可以访问两个易于使用的贝叶斯推断实现:Stata的原生{ \tt bayesmh}函数和StataStan,它调用通用贝叶斯引擎Stan。我们比较了这两个模型,是重要的教育研究:拉希模型和层次拉希模型。Stan(Stata中的名称)比{ \tt bayesmh}拟合的模型范围更广,并且具有更高的可扩展性,因为它可以轻松地拟合具有至少十倍于Stata原生贝叶斯实现的参数的模型。此外,以每秒有效样本量衡量,Stan的运行速度比{ \tt bayesmh}快2到10倍:也就是说,与Stan相比,Stata的内置贝叶斯引擎需要2到10倍的时间才能获得同等精度的推断。我们属性斯坦的灵活性,其通用的建模语言的优势,其在可扩展性和速度的一个有效的采样算法:哈密顿蒙特卡罗使用无掉头采样器的优势。为了进一步研究可扩展性,我们还比较了软件包Jags,它比Stata的原生贝叶斯引擎性能更好,但不如StataStan。鉴于Stan在速度、通用性和可扩展性方面的优势,并且Stan是开源的,可以使用StataStan直接从Stata运行,我们建议Stata用户采用Stan作为他们的贝叶斯推断引擎。
2016-12-14 stat.CO
Bayesian Computation in Dynamic Latent Factor Models
贝叶斯计算的过滤和预测分析开发了广泛的一类动态模型。在非高斯、非线性多变量时间序列模型中,通过引入一种新的Copula结构,在动态广义线性模型的耦合集的顺序滤波中,提高了这种分析的能力。新的Copula方法被集成到最近推出的多尺度模型,其中单变量时间序列耦合通过非线性形式,涉及动态的潜在因素,代表跨系列的关系。由此产生的方法提供了显着的速度加快在线贝叶斯计算顺序过滤和预测在这个广泛的,灵活的类的多变量模型。非负计数的非常异质的时间序列的非线性模型中的两个例子展示了相对于现有的基于模拟的方法的巨大的计算效率,同时定义了类似的过滤和预测结果。
2020-07-09 stat.CO stat.ME
Lifelong Bayesian Optimization
University of Cambridge(剑桥大学);University of Oxford(牛津大学);University of California, Los Angeles(加州大学洛杉矶分校)
自动机器学习(Auto-ML)系统解决了数据科学预测模型或管道设计自动化的问题。在本文中,我们提出了终身贝叶斯优化(LBO),一个在线的,多任务的贝叶斯优化(BO)算法,旨在解决问题的模型选择的数据集到达和随着时间的推移而演变。为了适用于“终身”贝叶斯优化,算法需要随着不断增加的采集数量而扩展,并且应该能够在学习当前最佳模型时利用过去的优化。我们将模型选择问题转化为一个黑箱函数优化问题。在LBO中,我们利用函数之间的相关性,通过使用先前学习的函数的组件来加速新到达的数据集的学习过程。在真实数据和合成数据上的实验表明,LBO算法优于标准BO算法。
2019-06-21 cs.LG stat.ML
Bayesian Sparsification of Gated Recurrent Neural Networks
National Research University Higher School of Economics(国立研究型大学高等经济学院);Samsung AI Center(三星人工智能中心)
贝叶斯方法已成功地应用于神经网络权值的稀疏化和网络结构单元的去除。G.神经元我们应用并进一步发展这种方法的门控经常性架构。具体来说,除了单个权重和神经元的稀疏化之外,我们还建议稀疏化LSTM中的门和信息流的预激活。它使某些门和信息流分量保持不变,加快了前向传递速度,提高了压缩率。此外,由此产生的门稀疏结构是可解释的,并取决于任务。代码可以在github上找到:https://github.com/tipt0p/SparseBayesianRNN
2018-12-12 cs.CL cs.LG stat.ML
Bayesian Compression for Deep Learning
University of Amsterdam(阿姆斯特丹大学);TNO Intelligent Imaging(荷兰应用科学研究组织智能成像);CIFAR(加拿大高等研究院)
深度学习中的压缩和计算效率已经成为一个具有重要意义的问题。在这项工作中,我们认为解决这个问题的最有原则和最有效的方法是采用贝叶斯的观点,通过稀疏诱导先验,我们修剪了网络的大部分。本文介绍了两个新的:1)我们使用分层先验来修剪节点,而不是单独的权重,2)我们使用后验不确定性来确定最佳的固定点精度来编码的权重。这两个因素都显著有助于在压缩率方面达到最先进的水平,同时仍然与旨在优化速度或能源效率的方法保持竞争力。
2017-11-06 cs.LG stat.ML
Bayesian Transfer Reinforcement Learning with Prior Knowledge Rules
Athens University of Economics and Business(雅典经济与商业大学)
我们提出了一个概率框架,直接插入先验知识的强化学习(RL)算法定义的行为政策作为贝叶斯后验分布。这样的后验将任务特定信息与先验知识相结合,从而允许实现跨任务的迁移学习。所得到的方法是灵活的,它可以很容易地结合到任何标准的政策和政策上的算法,如那些基于时间差异和策略梯度。我们通过将先验知识表达为一般确定性规则来开发这种贝叶斯传输RL框架的具体实例,这些规则可以在各种各样的任务(例如导航任务)中使用。此外,我们详细阐述了最近的概率和熵正则化RL开发一种新的时间学习算法,并展示了如何将其与贝叶斯传输RL。最后,我们展示了我们的方法解决迷宫,并表明可以获得显着的速度提升。
2018-09-30 cs.LG stat.ML
Generalized Bayesian Posterior Expectation Distillation for Deep Neural Networks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);US Army Research Laboratory(美国陆军研究实验室)
在本文中,我们提出了一个通用框架,用于提取深度神经网络分类器的贝叶斯后验分布的预期,扩展了贝叶斯暗知识框架的先前工作。建议的框架作为输入“教师”和学生模型架构和一般的后验期望的兴趣。蒸馏方法使用迭代生成的Monte Carlo样本对选定的后验期望进行在线压缩。我们专注于后验预测分布和期望熵作为蒸馏目标。我们调查了这个框架的几个方面,包括不确定性的影响和学生模型架构的选择。我们从速度-存储-准确性的角度研究学生模型架构搜索的方法,并利用熵蒸馏评估下游任务,包括不确定性排名和分布外检测。
2020-05-16 cs.LG stat.ML
Population-aware Hierarchical Bayesian Domain Adaptation
Tandon School of Engineering(坦登工程学院)
人口属性对于理解数据代表谁和精准医疗工作至关重要。即使在疾病感染标签中,患者也可能表现出显著的变异性;在医生办公室报告的“发烧”与在线应用程序报告的“发烧”可能意味着不同的东西,从而排除了针对相同预测任务在不同数据集之间直接学习。这个问题属于域适应范式。然而,迄今为止,这一领域的研究没有考虑到谁产生数据;例如,女性与男性报告的症状也可能有不同的影响。我们提出了一种新的人口意识的领域适应方法,制定的领域适应任务作为一个多源层次贝叶斯框架。该模型通过利用域和群体不变信息,在很大程度上未标记的目标数据的情况下提高了预测。
2018-11-21 cs.LG stat.ML
Modeling Compositional Regression with uncorrelated and correlated errors: a Bayesian approach
组成数据由已知的组成向量组成,其分量是正的,并且在表示“整体”的比例或分数的区间(0,1)中定义。这些分量之和必须等于1。成分数据存在于不同的知识领域,如地质学,经济学,医学等。在本文中,我们介绍了一个贝叶斯分析的组成回归应用加性对数比(ALR)转换和假设不相关和相关的错误。基于马尔可夫链蒙特卡罗方法的贝叶斯推断过程。该方法说明了一个人工和一个真正的数据集排球。
2015-07-01 stat.AP
Bayesian Nonparametric Calibration and Combination of Predictive Distributions
我们介绍了贝叶斯方法预测密度校准和组合,占参数的不确定性和模型集的不完整性,通过使用随机校准泛函和随机组合权重。在Ranjan,R.和Gneiting,T.(2010)和Gneiting,T.和Ranjan,R.(2013),我们使用无限beta混合物进行校准。所提出的贝叶斯非参数方法利用Dirichlet过程混合物的灵活性来实现线性组合预测分布的任何连续变形。推理过程是基于吉布斯抽样,并允许占混合物组分,混合物重量,和校准参数的数量的不确定性。在适当的条件下,给出了真密度未知时贝叶斯非参数校正的弱后验一致性。我们研究的方法,在模拟的例子与肥尾和多模态密度,并将其应用于密度预测的每日标准普尔回报和每日最大风速在法兰克福机场。
2016-10-25 stat.AP stat.ME
PABO: Pseudo Agent-Based Multi-Objective Bayesian Hyperparameter Optimization for Efficient Neural Accelerator Design
Purdue University(普渡大学);Oak Ridge National Laboratory(橡树岭国家实验室)
深度神经网络(DNN)不断增加的计算成本以及对DNN加速的节能硬件的需求使得DNN的准确性和硬件成本协同优化变得非常重要,特别是对于边缘设备。由于大的参数空间和在搜索空间中评估每个参数的成本,DNN超参数的手动调整是不切实际的。自动联合DNN和硬件超参数优化是必不可少的这样的问题。基于贝叶斯优化的方法在DNN的超参数优化方面已经显示出了有希望的结果。然而,这些技术中的大多数都是在没有考虑底层硬件的情况下开发的,从而导致设计效率低下。此外,少数作品进行联合优化是不可推广的,主要集中在基于CMOS的架构。在这项工作中,我们提出了一种新的基于伪代理的多目标超参数优化(PABO),以最大限度地提高DNN的性能,同时获得低硬件成本。与现有的方法相比,我们的工作提出了一种理论上不同的方法,用于精度和硬件成本的联合优化,并专注于基于忆阻交叉杆的加速器。PABO使用一个管理代理建立网络精度和硬件成本要求的后验高斯分布模型之间的连接。该代理通过消除不必要的计算和更新的采集功能,从而实现显着的加速优化过程,降低了协同优化问题的数学复杂性。PABO输出了一个帕累托边界,强调了设计高精度和硬件效率之间的权衡。我们的研究结果表明,与最先进的方法相比,在准确性和计算速度方面(约100倍的速度)都具有优越的性能。
2019-06-11 cs.ET cs.LG cs.NE
Noise Benefits in Expectation-Maximization Algorithms
University of Southern California(南加州大学)
本文表明,在样本数据中小心地注入噪声可以大大加快期望最大化算法的速度。期望最大化算法是一类用于从损坏或不完整数据中提取最大似然估计的迭代算法。收敛加速是统计信号处理中的噪声益处或“随机共振”的示例。本文给出了这种噪声效益的充分条件的推导,并证明了一些普遍存在的信号处理算法的加速。这些算法包括混合模型的参数估计、$k$均值聚类算法、训练隐马尔可夫模型的Baum-Welch算法和训练前馈人工神经网络的反向传播算法。本文还分析了数据和模型损坏对更一般的贝叶斯推断估计框架的影响。主要发现是一个定理,保证贝叶斯模型函数的均匀逼近器通过贝叶斯定理产生后验概率密度函数的均匀逼近器。这一结果也适用于分层和多维贝叶斯模型。
2014-11-24 cs.LG math.ST stat.ML
Bayesian active learning for production, a systematic study and a reusable library
Element AI(Element AI公司)
主动学习能够通过使用机器学习模型向用户查询特定输入来减少标记工作量。虽然有许多关于新的主动学习技术的论文,但这些技术很少满足现实世界项目的约束。在本文中,我们分析了当前的主动学习技术的主要缺点,我们提出了方法来减轻他们。我们系统地研究了现实世界数据集最常见的问题对深度主动学习过程的影响:模型收敛,注释错误和数据集不平衡。我们得到两种技术,可以加快主动学习循环,如部分不确定性采样和更大的查询大小。最后,我们介绍了我们的开源贝叶斯主动学习库BaaL。
2020-06-17 cs.LG stat.ML
Covariance-Controlled Adaptive Langevin Thermostat for Large-Scale Bayesian Sampling
University of Edinburgh(爱丁堡大学)
贝叶斯后验推理的蒙特卡罗抽样是机器学习中常用的方法。所使用的马尔可夫链蒙特卡罗程序通常是相关随机微分方程(SDEs)的离散时间模拟。这些随机微分方程保证所需的后验分布不变。当前研究的一个领域是在这种情况下随机梯度方法的计算优势。现有技术依赖于估计子采样误差的方差或协方差,并且通常假设方差恒定。在这篇文章中,我们提出了一个协方差控制的自适应Langevin恒温器,可以有效地消散参数相关的噪声,同时保持所需的目标分布。所提出的方法实现了大规模机器学习应用程序的流行的替代方案的大幅加速。
2020-02-12 cs.LG stat.ML
Peace Sells, But Whose Songs Connect? Bayesian Multilayer Network Analysis of the Big 4 of Thrash Metal
Universidad Nacional de Colombia(哥伦比亚国立大学)
本文提出了一种贝叶斯多层网络模型,用于分析激进金属乐队的歌曲相似性,揭示了音乐作品间的结构化连接和潜在社区。
2025-12-11 math.ST stat.AP stat.ME
Bayesian Inference on Matrix Manifolds for Linear Dimensionality Reduction
我们将线性降维问题转化为矩阵流形上的贝叶斯推断问题。这种自然范式将贝叶斯框架扩展到更高维度的降维任务,具有更简单的模型和更快的速度。这里,正交基被视为流形上的单个点,并且与观测值变化最大的线性子空间相关联。在本文中,我们采用格拉斯曼和Stiefel流形的各种降维问题,探索两个流形之间的连接,并使用混合蒙特卡罗的后验抽样格拉斯曼第一次。我们描绘在哪些情况下,任何多方面应予以考虑。此外,矩阵流形模型被用来产生科学的洞察力,在认知神经科学的背景下,我们的结论是,我们的方法是适合于基本的推理,以及准确的预测。
2016-06-14 stat.CO stat.ML
Bayesian task embedding for few-shot Bayesian optimization
GE Research(通用电气研究院)
我们描述了一种贝叶斯优化的方法,其中一个可以将数据从多个系统的定量相互关系是未知的先验。系统的所有一般(非实值)特征都与连续潜变量相关联,这些变量作为输入进入一个元模型,该元模型同时学习所有系统的响应曲面。贝叶斯推理用于确定关于潜在变量的适当信念。我们解释了如何得到的概率元模型可用于贝叶斯优化任务,并展示了它的实现在各种合成和现实世界的例子,比较其性能下零,一,和Few-Shot设置对传统的贝叶斯优化,这通常需要更多的数据从系统的利益。
2020-01-02 cs.LG stat.ML