Transmission of Macroeconomic Shocks to Risk Parameters: Their uses in Stress Testing
在本文中，我们感兴趣的是在极端经济条件下的金融投资组合的弹性评估。因此，我们使用经验的措施来表征宏观经济冲击的风险参数的传递过程。我们建议使用一个广泛的家庭的模型，称为一般传递函数模型，以及压缩的影响措施所描述的传输特性。估计这些模型的参数的程序描述采用贝叶斯方法和使用的影响措施提供的先验信息。此外，我们说明了使用的估计模型的信用风险数据的投资组合。
2019-05-17 econ.EM stat.AP stat.OT
Scenario Analysis with Multivariate Bayesian Machine Learning Models
WU Vienna（维也纳经济大学）；Oesterreichische Nationalbank（奥地利国家银行）
本文提出利用多变量贝叶斯机器学习模型进行情景分析，通过压力测试情景预测、宏观经济风险评估和金融冲击的非对称效应研究，揭示了非线性和不对称性的重要性。
2025-11-27 econ.EM stat.AP
Beyond Aggregate VARs: A Bayesian Benchmark for HANK Models
University of Salzburg（萨尔茨堡大学）；University of Strathclyde（斯特拉斯克莱德大学）；University of Notre Dame（圣母大学）
本文提出一个联合建模宏观总量与重复横截面边际分布的贝叶斯基准，用于估计HANK模型的分布效应，无需面板数据或独立密度估计。
2026-09-09 econ.EM stat.AP
Subspace Shrinkage in Conjugate Bayesian Vector Autoregressions
使用大型数据集的宏观经济学家经常面临使用大型向量自回归（VAR）或因子模型的选择。在本文中，我们开发的方法结合使用子空间收缩前两者。子空间先验朝着一类函数收缩，而不是直接迫使模型的参数朝着某个预先指定的位置。我们开发了一种共轭VAR先验，它向因子模型定义的子空间收缩。我们的方法允许估计收缩的强度以及因子的数量。在建立了我们提出的先验的理论属性后，我们进行了模拟，并将其应用于美国宏观经济数据。使用模拟，我们表明，我们的框架成功地检测到的因素的数量。在涉及大型宏观经济数据集的预测实践中，我们发现将VAR与使用我们的先验知识的因子模型相结合可以改善预测。
2021-07-16 econ.EM stat.AP
Large Order-Invariant Bayesian VARs with Stochastic Volatility
由于对误差协方差矩阵使用了Cholesky分解，许多流行的具有多变量随机波动率的向量自回归（VAR）的规范对变量的排序方式并不不变。我们表明，现有方法中的顺序不变性问题可能会变得更加严重，在大型VAR。我们建议使用的规范，避免使用这种Cholesky分解。我们表明，多元随机波动的存在允许识别所提出的模型，并证明它是不变的顺序。我们开发了一个马尔可夫链蒙特卡罗算法，它允许贝叶斯估计和预测。在涉及人工和真实宏观经济数据的练习中，我们证明了变量排序的选择对实证结果有不可忽视的影响。在一个宏观经济预测练习涉及VAR与20个变量，我们发现，我们的顺序不变的方法导致最好的预测和变量排序的一些选择可能会导致使用传统的，非顺序不变的方法预测不佳。
2021-11-14 econ.EM stat.ME
Macroeconomic Forecasting for the G7 countries under Uncertainty Shocks
SAFIR, Sorbonne University Abu Dhabi（索邦大学阿布扎比分校 SAFIR）；BITS Pilani, Hyderabad Campus（印度皮拉尼博拉理工学院海得拉巴校区）；Fidelity Investments（富达投资）；Sorbonne Center for Artificial Intelligence, Sorbonne University（索邦大学人工智能中心）
针对传统VAR在高维和时变结构下的局限，本文扩展SZBVARx模型并融合四种新闻不确定性冲击，利用G7数据结合小波相干性与非线性局部投影，实证表明其在12和24个月预测中优于14个基准模型，为政策制定者提供稳健的预测工具。
2025-10-27 cs.LG econ.EM stat.AP
Vector autoregression models with skewness and heavy tails
由于经济环境的不确定性变化，经济衰退和危机期间的宏观经济下滑很难用高斯结构性冲击来解释。有证据表明，宏观经济变量的分布是倾斜的和厚尾的。在本文中，我们通过扩展向量自回归（VAR）模型来解释宏观经济变量的多变量分布的更现实的假设，从而为文献做出贡献。我们提出了一个一般类的广义双曲斜学生的t分布与随机波动率的VAR模型中的误差项，使我们能够考虑偏度和重尾。提供了使用吉布斯采样器进行贝叶斯推断和模型选择的工具。在实证研究中，我们提出了偏态和重尾的月度宏观经济变量的证据。分析还给出了一个明确的信息，即在经济衰退和危机期间，为了更好地预测，应该考虑偏度。
2021-05-24 econ.EM stat.AP
Macroeconomic forecasting and sovereign risk assessment using deep learning techniques
在这项研究中，我们提出了一种使用深度学习技术进行临近预报和预测一个国家宏观经济状况的新方法。我们特别关注美国经济，但该方法也适用于其他经济体。特别是美国经济在2008年至2010年遭受了严重的衰退，这实际上打破了传统的计量经济学模型的尝试。深度学习的优势在于，它可以同时对所有宏观变量进行建模，同时考虑到它们之间的所有相互依赖性，并检测在单变量建模框架下无法轻松解决的非线性模式。我们的实证结果表明，与传统的计量经济学技术（如贝叶斯模型平均（BMA））相比，深度学习方法具有更好的样本外性能。因此，我们的研究结果提供了一个更强大的方法来评估主权风险，这是一个重要组成部分，在投资和货币决策的简洁视图。
2023-01-24 q-fin.CP stat.AP
Bayesian dynamic variable selection in high dimensions
提出了一种变分贝叶斯算法，用于时变参数（TVP）模型的后验和预测推理。在这种情况下，我们指定了一个新的动态变量/模型选择策略的TVP动态回归模型中存在大量的预测。该策略允许在单个时间段内评估哪些预测因子与预测因变量相关（或不相关）。新的算法进行了评估，数值模拟使用合成数据，其计算优势。使用美国的宏观经济数据，我们发现，回归模型，结合了随时间变化的参数与信息，在许多预测有可能改善预测的价格通胀的替代预测模型。
2020-05-06 econ.EM stat.CO
Forecasting the Price of Carbon with Macroeconomic and Financial variables
University of Milan（米兰大学）；Fondazione Eni Enrico Mattei (FEEM)（埃尼·恩里科·马泰伊基金会）；Study Center Gerzensee, Foundation of the Swiss National Bank（瑞士国家银行格尔岑塞研究中心）；ClearBlue Markets
本文研究欧盟碳市场月度实际价格的点预测、变动方向预测和密度预测，提出增强型贝叶斯向量自回归模型并引入因子，显著提升了预测准确性，并构建了市场监测工具。
2026-10-06 econ.EM stat.AP
Bayesian estimation of large dimensional time varying VARs using copulas
本文提供了一个简单的，但可靠的，替代（贝叶斯）估计的条件均值方程和/或协方差结构中随时间变化的大型多元VAR。与我们的新方法，原来的多变量，n维模型被视为一组n个单变量估计问题，交叉依赖是通过使用Copula处理。因此，在估计单个方程时，仅需要单变量分布函数，其通常以封闭形式可用，并且易于使用MCMC（或其他技术）处理。对各个方程进行并行估计。然后，将各个后验与copula相结合，从而获得可以容易地重新采样的联合后验。我们说明了我们的方法，将其应用到一个大的时变参数VAR与25个宏观经济变量。
2019-12-28 econ.EM stat.OT
Sparse Bayesian vector autoregressions in huge dimensions
我们建立了一个具有多维随机波动率的贝叶斯向量自回归（VAR）模型，该模型能够处理大量的多维信息集。引入三个功能，以允许可靠的估计模型。首先，我们假设VAR中的简化形式误差具有因子随机波动率结构，允许有条件的逐方程估计。其次，我们应用最近开发的全局-局部收缩先验的VAR系数治愈灾难的维度。第三，我们利用最近的创新，有效地从高维多变量高斯分布采样。这使得基于模拟的完全贝叶斯推断可行的维数是大的，但时间序列长度是中等。我们展示了我们的方法在广泛的模拟研究的优点，并将该模型应用于美国的宏观经济数据，以评估其预测能力。
2019-12-04 econ.EM stat.AP stat.CO
Dimensionality Reduction and State Space Systems: Forecasting the US Treasury Yields Using Frequentist and Bayesian VARs
使用状态空间系统，我预测美国国债收益率采用频率和贝叶斯方法后，首先分解成其不可观测的期限结构因素的不同期限的收益率。然后，利用状态空间模型的结构对国债收益率进行预测，并利用均方预测误差比较了各个模型的预测性能。在频率论方法中，我采用了两步Diebold-Li，两步主成分和一步卡尔曼滤波方法。同样，我在贝叶斯VAR中使用了五种不同的先验：扩散、明尼苏达、自然共轭、独立正态逆（Wishart）和随机搜索变量选择先验。在对9个不同预测期的国债收益率进行预测后，我发现具有明尼苏达先验的BVAR通常使损失函数最小化。我增加了上述BVAR包括宏观经济变量和构造脉冲响应函数与递归排序识别计划。最后，我用虚拟观测值拟合了一个符号限制的BVAR。
2021-08-14 econ.EM stat.AP
Bayesian Optimization of Hyperparameters from Noisy Marginal Likelihood Estimates
贝叶斯模型通常涉及通过最大化边际似然来确定的一小组超参数。贝叶斯优化是一种流行的迭代方法，其中底层函数的高斯过程后验通过新的函数评估顺序地更新。获取策略使用该后验分布来决定在何处放置下一个函数评估。我们提出了一种新的贝叶斯优化框架的情况下，用户控制的计算工作量，因此精度的功能评估。这是计量经济学中常见的情况，通常通过马尔可夫链蒙特卡罗（MCMC）或重要性抽样方法计算边际似然，边际似然估计量的精度由样本数量决定。新的获取策略使优化器可以选择使用廉价的噪声评估来探索函数，从而更快地找到最佳值。该方法被应用于估计先验超参数在两个流行的模型对美国宏观经济时间序列数据：稳态贝叶斯向量自回归（BVAR）和随机波动率的时变参数BVAR。该方法比传统的贝叶斯优化或网格搜索更快地找到最优解。
2022-08-17 econ.EM stat.CO
Exploring Monetary Policy Shocks with Large-Scale Bayesian VARs
本文提出高维BVAR框架，以潜在因子和Gibbs采样识别常规货币政策冲击，发现美联储对分项消费价格的影响在2022—2024年显著波动。
2025-05-10 econ.EM stat.AP
Bayesian Outlier Detection for Matrix-variate Models
本文提出基于预测贝叶斯因子的序贯贝叶斯异常值检测框架，将单变量方法扩展至矩阵变量模型，并通过模拟及宏观经济、金融数据应用验证其准确、可扩展且支持在线检测。
2025-08-29 econ.EM stat.ME
Instrumental Variable Bayesian Model Averaging via Conditional Bayes Factors
我们发展了一种方法来执行两阶段线性回归系统的模型平均值受到内消。我们的方法扩展了现有的吉布斯采样器的工具变量，将模型的不确定性的组成部分。在这种情况下，模型概率的直接评估是棘手的。我们表明，通过嵌套模型移动内的吉布斯采样器，模型比较可以通过条件贝叶斯因子，导致简单的计算。这个新的吉布斯采样器只是比原来的算法稍微多一点，并没有表现出混合困难的证据。最后，我们研究了两种不同的建模挑战：将不确定性纳入宏观经济增长的决定因素，并通过对零售价格的批发来估计需求函数。
2012-03-19 stat.AP stat.ME
Joint Quantile Shrinkage: A State-Space Approach toward Non-Crossing Bayesian Quantile Models
针对分位数回归模型中拟合条件分位数交叉的普遍问题，提出一种贝叶斯建模框架，通过带分位数适应性的融合收缩先验联合估计多个分位数，形成分位数变参数模型，在参数恢复和预测性能上更优。
2025-08-20 econ.EM math.ST stat.ME
Dynamic Sparse Factor Analysis
它的概念吸引力和有效性，使潜在因素建模的多变量分析不可或缺的工具。尽管它在许多领域很受欢迎，但仍存在阻碍实际部署的突出方法挑战。一个主要的挑战是选择的因素，这是加剧了动态因素模型，其中因素可以消失，出现，和/或重新出现随着时间的推移。假设固定数量的因子的现有工具可能提供对数据机制的误导性表示，特别是当因子的数量被粗略地错误指定时。另一个挑战是要素结构的可解释性，由于缺乏可识别性，这往往被视为一个无法实现的目标。受宏观经济应用的启发，我们开发了一种灵活的贝叶斯动态因素分析（DFA）方法，可以同时容纳随时间变化的因素数量，并提高可解释性，而无需严格的可识别性约束。为此，我们转向动态稀疏性采用动态尖峰和板（DSS）的先验DFA。可扩展贝叶斯EM估计提出了快速后验模式识别，通过旋转稀疏，使贝叶斯数据分析的规模，以前会很耗时。我们研究了一个涵盖美国经济多个方面的宏观经济变量的大规模平衡面板，重点是大衰退，以突出我们提出的方法的有效性和实用性。
2018-12-11 stat.ME
Assessment of mortgage default risk via Bayesian state space models
按照《巴塞尔协议三》框架的要求，管理总体风险对银行和金融机构至关重要。在本文中，我们引入离散时间贝叶斯状态空间模型的泊松测量模型的总体抵押贷款违约率。讨论了用马尔可夫链蒙特卡罗方法进行参数更新、滤波、平滑、预测和估计。此外，我们研究了违约率的动态行为和宏观经济变量的影响。我们说明了使用实际的美国住宅抵押贷款数据，并讨论从贝叶斯分析中获得的见解所提出的模型。
2013-11-28 stat.AP
Asymmetric Conjugate Priors for Large Bayesian VARs
大型贝叶斯VAR现在被广泛用于经验宏观经济学。在这种情况下，一个流行的收缩先验是自然共轭先验，因为它有助于后验模拟，并导致一系列有用的分析结果。然而，这是以牺牲建模灵活性为代价的，因为它排除了交叉变量收缩-即，收缩系数滞后的其他变量更积极地比那些自己的滞后。我们开发了一个具有两全其美的先验：它可以容纳交叉变量收缩，同时保持许多有用的分析结果，例如边缘似然的封闭形式表达。这种新的先验也导致快速后验模拟-对于具有100个变量和4个滞后的BVAR，在标准桌面上获得10，000个后验绘制需要不到半分钟。我们证明了新的先验的有用性，通过结构分析，使用15个变量的VAR与符号限制，以确定5个结构性冲击。
2021-11-13 econ.EM math.ST stat.CO
Nowcasting in a Pandemic using Non-Parametric Mixed Frequency VARs
本文发展了贝叶斯计量经济学方法，用于非参数混合频率VAR的后验推断。我们认为，回归树模型非常适合面对极端观测（例如2020年COVID-19大流行产生的观测）的宏观经济即时预测。这是由于它们的灵活性和对离群值建模的能力。在涉及四个主要的欧元区国家的应用程序中，我们发现显着改善临近预报性能相对于线性混合频率VAR。
2020-12-01 econ.EM stat.AP stat.ML
Fast and Order-invariant Inference in Bayesian VARs with Non-Parametric Shocks
本文针对VAR模型中冲击的非高斯性，提出基于狄利克雷过程混合的加性误差结构，实现大型VAR中计算快速且顺序不变的贝叶斯非参数推断，并在金融危机和疫情期间展现出显著优势。
2023-05-26 econ.EM stat.ME
Bayesian Estimation of the Degrees of Freedom Parameter of the Student-$t$ Distribution---A Beneficial Re-parameterization
研究了Student- $t$分布的自由度参数$ν$的条件数据增广（DA）问题.基于一个限制版本的预期增广费舍尔信息，它被证明，辅助DA是逐步更有效的MCMC估计比充分DA $ν$增加，与盈亏平衡点躺在低至$ν\approx4$。通过一个大型的模拟研究和美国宏观经济时间序列的应用，进一步研究和推广的索赔。最后，辅助充分交织策略的经验表明，结合两个DA的好处。所提出的算法可以设置用于估计作为任何模型的一部分的$ν$的新标准。
2021-09-03 stat.ME
Regularizing Bayesian Predictive Regressions
我们表明，正则化贝叶斯预测回归提供了一个框架，事先敏感性分析。我们开发了一个程序，联合正则化的期望和方差-协方差阵使用一对收缩先验。我们的方法直接适用于向量自回归（VAR）和看似无关回归（SUR）。正则化路径提供先验灵敏度诊断。通过利用正则化惩罚和预测先验分布之间的二元性，我们重新解释了宏观金融研究的两个经典贝叶斯分析：股票溢价可预测性和预测宏观经济增长率。我们发现，存在合理的先验规范的可预测性超过标准普尔500指数收益率使用账面市值比，CAY（消费，财富，收入比），和国库券利率。我们使用市场时机策略评估预测，我们表明最佳正则化的解决方案优于买入并持有的方法。第二个实证应用涉及预测工业生产，通货膨胀和消费增长率，并证明了我们的方法的可行性。
2017-09-13 stat.ME
BVARs and Stochastic Volatility
本文综述了适用于大型BVARs的随机波动率模型的最新进展，包括顺序不变性和对COVID-19异常值的鲁棒性等特性，并指出了未来在时变系数和非线性简约方法上的研究方向。
2023-10-22 econ.EM stat.AP
Bayesian Bi-level Sparse Group Regressions for Macroeconomic Density Forecasting
提出一种基于双层稀疏性的贝叶斯机器学习方法，用于高维且含已知组结构数据的宏观经济密度预测，理论证明其具备一致性与极小化极大最优性，并通过蒙特卡洛实验与美国GDP即时预测验证了性能。
2024-11-15 econ.EM
Conditional projection methods for large-scale Bayesian VARs
University of Strathclyde（斯特拉斯克莱德大学）；WU Vienna（维也纳经济大学）
该研究针对大规模贝叶斯向量自回归模型开发快速条件投影方法，通过因子结构实现高效估计，用于美国宏观金融变量的油价情景反事实预测，揭示相同油价路径对应不同经济结果的冲击机制。
2026-10-30 econ.EM stat.CO
A Flexible Approach to Augmenting a Bayesian VAR with Nonlinear Factors
Federal Reserve Bank of Cleveland（克利夫兰联邦储备银行）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Salzburg（萨尔茨堡大学）；University of Strathclyde（斯特拉斯克莱德大学）
本文提出一种用回归树非参数建模非线性因子的向量自回归模型，通过因子方法简洁建模非线性，避免误设，实现高效贝叶斯计算，并适用于结构冲击识别。
2026-06-08 econ.EM stat.ME
Geographically Weighted Regression Analysis for Spatial Economics Data: a Bayesian Recourse
地理加权回归（GWR）是空间数据分析中研究回归关系空间非平稳性的一种著名的统计方法。在本文中，我们讨论了贝叶斯追索权的GWR。本文详细讨论了基于钉板先验的贝叶斯变量选择、基于范围先验的带宽选择以及基于修正的偏差信息准则和修正的伪边缘似然对数的模型评估。介绍了图距离在面数据建模中的应用。进行了广泛的仿真研究，以检查所提出的方法与小和大量的位置的情况下的经验性能，并与经典的频率论GWR的比较。在不同的情况下，所提出的方法的变量选择和估计的性能是令人满意的。我们进一步应用所提出的方法分析了中国30个省的省级宏观经济数据。估计和变量选择的结果揭示了中国经济的见解是令人信服的，并与以前的研究和事实相一致。
2020-07-05 stat.AP
Sensitivity Analysis for Predictive Uncertainty in Bayesian Neural Networks
我们推导出一种新的敏感性分析的输入变量预测认知和任意的不确定性。我们使用贝叶斯神经网络作为一个模型类的潜在变量，并说明我们的敏感性分析对现实世界的数据集的有用性。我们的方法增加了复杂的黑盒概率模型的可解释性。
2017-12-10 stat.ML
Bayesian nonparametric graphical models for time-varying parameters VAR
在过去的十年中，大数据已经涌入计量经济学，需要新的统计方法来分析高维数据和复杂的非线性关系。解决维度问题的常见方法依赖于使用静态图形结构来提取感兴趣的变量之间最重要的依赖关系。最近，贝叶斯非参数技术已经成为流行的建模复杂的现象在一个灵活和有效的方式，但只有很少的尝试已经在计量经济学。在本文中，我们提供了一个创新的贝叶斯非参数（BNP）的时变图形框架，在高维时间序列的推断。我们通过Nieto-Barajas et al.（2012）中的时间序列DPP在系数矩阵和协方差矩阵上包括贝叶斯非参数依赖先验规范。继Billio等人（2019）之后，我们的分层先验通过将向量自回归（VAR）系数聚类到组中并将每组的系数缩小到一个共同的位置来克服过度参数化和过度拟合问题。我们的BNP时变VAR模型基于钉板结构，结合相关狄利克雷过程先验（DPP），允许：（i）从时间序列推断时变格兰杰因果关系网络;（ii）灵活建模和聚类非零时变系数;（iii）适应潜在的非线性。为了评估模型的性能，我们通过考虑一个著名的宏观经济数据集来研究我们的方法的优点。此外，我们检查的鲁棒性的方法，通过比较两种替代规格，狄拉克和扩散尖峰先验分布。
2019-06-03 econ.EM stat.ME
Bayesian inference, on-line forecasting and model choice for large VAR models with Cholesky stochastic volatility
CREST, ENSAE（CREST，ENSAE）；ESSEC Business School（ESSEC高等商学院）；CREST, CNRS, École Polytechnique, ENSAE（CREST，CNRS，巴黎综合理工学院，ENSAE）
本文提出一种改进的MCMC核和SMC²采样器，用于Cholesky-SV BVAR模型，实现高效后验推断、在线预测和模型选择，显著提升有效样本量。
2026-09-24 stat.CO stat.ME
Dependence between Bayesian neural network units
贝叶斯神经网络和高斯过程之间的联系在过去几年中得到了很多关注，其旗舰结果是当层宽度趋于无穷大时，隐藏单元收敛到高斯过程极限。支持这一结果的事实是，隐藏单元在无限宽的限制下变得独立。我们的目标是揭示一些在实际的有限宽度贝叶斯神经网络的隐藏单元的依赖性质。除了理论结果，我们经验性地评估了深度和宽度对隐藏单元依赖特性的影响。
2021-11-29 stat.ML
Bayesian Shrinkage in High-Dimensional VAR Models: A Comparative Study
UCLA（加州大学洛杉矶分校）；Airbnb（爱彼迎）；UCLA Fielding School of Public Health（加州大学洛杉矶分校菲尔丁公共卫生学院）
本文比较了贝叶斯收缩先验和频率学正则化方法在高维VAR模型中的表现，发现马蹄型贝叶斯方法在参数估计和预测中表现优异。
2026-02-07 econ.EM stat.AP stat.ME
Model Selection in Bayesian Neural Networks via Horseshoe Priors
贝叶斯神经网络（BNN）最近受到越来越多的关注，因为它们能够提供良好校准的后验不确定性。然而，模型选择-甚至选择节点的数量-仍然是一个悬而未决的问题。在这项工作中，我们将马蹄铁先验应用于贝叶斯神经网络的节点预激活，这有效地关闭了无助于解释数据的节点。我们证明了我们的先验知识可以防止BNN拟合不足，即使所需的节点数量被严重高估。此外，这种对节点数量的模型选择并不以牺牲预测或计算性能为代价;事实上，我们学习的是更小的网络，其预测性能与当前方法相当。
2017-05-29 stat.ML
Dynamic Mixed Frequency Synthesis for Economic Nowcasting
我们开发了一种新的贝叶斯框架，用于对混合频率数据进行动态建模，以预测美国季度GDP增长。引入的框架利用基础贝叶斯理论，并将以不同频率采样的数据视为后来合成的潜在因素，允许基于兴趣和效用的灵活方法规范。混合频率数据之间随时间变化的相互依赖性被学习并有效地映射到易于解释的参数上。一项使用多个月度经济变量对美国季度GDP增长进行即时预测的宏观经济研究表明，与文献中的标准相比，即时预测的表现和可解释性有所改善。该研究进一步表明，在一个季度内纳入信息显着提高性能的点和密度nowcasts。
2018-06-07 stat.ME
Probabilistic Backpropagation for Scalable Learning of Bayesian Neural Networks
大型多层神经网络训练的反向传播最近取得了国家的最先进的结果，在广泛的问题。然而，使用反向传播进行神经网络学习仍然存在一些缺点，例如，必须将大量超参数调整到数据，缺乏校准的概率预测，以及过度拟合训练数据的趋势。原则上，学习神经网络的贝叶斯方法不存在这些问题。然而，现有的贝叶斯技术缺乏对大数据集和网络规模的可扩展性。在这项工作中，我们提出了一种新的可扩展的方法学习贝叶斯神经网络，称为概率反向传播（PBP）。与经典的反向传播类似，PBP的工作原理是通过网络计算概率的前向传播，然后进行梯度的后向计算。在10个真实世界数据集上进行的一系列实验表明，PBP比其他技术快得多，同时提供了有竞争力的预测能力。我们的实验还表明，PBP提供了准确的估计后验方差的网络权重。
2015-07-15 stat.ML
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
University College Dublin（都柏林大学学院）
深度神经网络（DNN）是一种通用的参数模型，已成功应用于各种任务和领域。然而，他们有局限性-特别是从他们缺乏鲁棒性和过度敏感的分布样本。贝叶斯神经网络由于其在贝叶斯框架下的公式化，提供了构建解决这些限制的神经网络的原则性方法。本文描述了一项研究，经验评估和比较贝叶斯神经网络，他们的等效点估计深度神经网络量化的预测不确定性引起的参数，以及他们的表现，鉴于这种不确定性。在这项研究中，我们评估和比较了三点估计深度神经网络对可比贝叶斯神经网络替代品使用两个著名的基准图像分类数据集（CIFAR-10和SVHN）。
2019-12-29 cs.LG stat.ML
PAC-Bayesian Margin Bounds for Convolutional Neural Networks
LTS2；EPFL（洛桑联邦理工学院）；IDCOM；University of Edinburgh（爱丁堡大学）
最近，深度神经网络的泛化误差已经通过PAC-Bayesian框架进行了分析，对于全连接层的情况。我们将这种方法适用于卷积设置。
2018-04-20 cs.LG stat.ML
Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure
Tsinghua University（清华大学）
贝叶斯神经网络（BNN）通过贝叶斯处理网络权重来增强具有不确定性量化的深度网络。然而，这样的模型面临的挑战，贝叶斯推理在一个高维的，通常过参数化的空间。本文通过对网络结构进行贝叶斯推理来研究贝叶斯深度学习的一条新路线。我们不是从零开始低效地构建结构，而是从神经架构搜索中获得灵感来表示网络结构。然后，我们开发了一个有效的随机变分推理方法，它统一了网络结构和权重的学习。从经验上讲，我们的方法表现出有竞争力的预测性能，同时保留了贝叶斯原理在具有挑战性的场景中的优势。我们还提供了令人信服的实验理由，我们的建模选择。
2021-03-27 cs.LG stat.ML
Efficient variational Bayesian neural network ensembles for outlier detection
Imperial College London（帝国理工学院）
在这项工作中，我们进行离群值检测使用的神经网络的集合通过变分近似的贝叶斯神经网络设置中的后验。变分参数通过梯度下降法从真实后验样本中采样得到。我们表明，我们的离群值检测结果与使用其他有效的集成方法获得的结果相当。
2017-04-22 cs.LG stat.ML
Stochastic Bayesian Neural Networks
贝叶斯神经网络执行变分推理的权重，但后验分布的计算仍然是一个挑战。我们的工作建立在变分推理技术的baidu神经网络使用原来的证据下限。本文提出了一个随机贝叶斯神经网络，在该网络中，我们使用一个新的目标函数，我们命名为随机证据下限最大化的证据下限。我们使用测试RMSE和对数似然作为评估指标，在5个公开可用的UCI数据集上评估我们的网络。我们证明，我们的工作不仅击败了以前的最先进的算法，但也可扩展到更大的数据集。
2021-06-21 cs.LG stat.ML
Hands-on Bayesian Neural Networks -- a Tutorial for Deep Learning Users
University of Western Australia（西澳大学）；Murdoch University（莫道克大学）；Monash University（莫纳什大学）
现代深度学习方法是解决无数挑战性问题的强大工具。然而，由于深度学习方法作为黑箱运行，因此与其预测相关的不确定性通常难以量化。贝叶斯统计提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和一个完整的工具集，用于设计，实施，训练，使用和评估贝叶斯神经网络，即使用贝叶斯方法训练的随机人工神经网络。
2022-01-03 cs.LG stat.ML
Bayesian nonparametric copulas with tail dependence
本研究提出一种基于贝叶斯非参数方法、带断棍表示的新型双变量copula模型，可捕捉联合分布的中心与尾部相关性，经模拟与真实数据验证，其尾部相关性捕捉能力和样本外预测性能优于Joe、Clayton等传统copula模型。
2025-07-30 stat.AP stat.ME
Model Averaging and its Use in Economics
模型平均方法已成为处理模型不确定性的重要工具，例如在经济学中常见的存在大量不同理论的情况下。在贝叶斯框架中，模型平均是对模型不确定性的自然和正式的响应，本文的大部分内容都涉及贝叶斯模型平均。在这些贝叶斯过程中的先验假设的重要作用被突出。此外，还讨论了频率模型平均方法。数值方法来实现这些方法的解释，我指出读者一些免费提供的计算资源。主要关注的是关于正常线性回归模型中协变量选择的不确定性，但本文也涵盖了其他更具挑战性的设置，特别强调经济学中常用的抽样模型。模型平均在经济学中的应用进行了广泛的回顾和讨论，其中包括增长经济学，生产建模，金融和预测宏观经济量。
2019-02-04 stat.AP stat.CO stat.ME
Depth induces scale-averaging in overparameterized linear Bayesian neural networks
Harvard University（哈佛大学）
深度贝叶斯神经网络中的推理只有在无限宽度限制下才能得到充分理解，其中深度增加所提供的后验灵活性消失，后验预测崩溃为浅高斯过程。在这里，我们将有限深度线性贝叶斯神经网络解释为跨输出通道的高斯过程预测器的数据依赖尺度混合。我们利用这一观察来研究这些网络中的表示学习，使我们能够在一个统一的框架内连接以前研究中获得的有限结果。总的来说，这些结果推进了我们对深度如何影响简单贝叶斯神经网络中的推理的分析理解。
2021-11-23 cs.LG stat.ML
Implicit Priors for Knowledge Sharing in Bayesian Neural Networks
University of Oxford（牛津大学）
神经网络的贝叶斯解释有着悠久的历史，可以追溯到20世纪90年代的早期工作，最近又重新受到关注，因为它们的理想属性，如不确定性估计，模型鲁棒性和正则化。我们想在这里讨论贝叶斯模型在神经网络之间的知识共享中的应用。知识共享来自不同的方面，例如迁移学习，模型蒸馏和共享嵌入。所有这些任务都有一个共同点，即学习到的“特征”应该在不同的网络中共享。从理论上讲，这项工作植根于贝叶斯神经网络的概念，广泛应用于一般的深度学习。
2019-12-02 cs.LG stat.ML
Dichotomize and Generalize: PAC-Bayesian Binary Activated Deep Neural Networks
Université Laval（拉瓦尔大学）；Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
我们提出了一个全面的研究多层神经网络与二进制激活，依赖于PAC贝叶斯理论。我们的贡献是双重的：（i）我们开发了一个端到端的框架来训练二进制激活的深度神经网络，（ii）我们为二进制激活的深度神经网络提供了非空的PAC-贝叶斯泛化界。我们的结果是通过最小化二进制激活的深度神经网络的结构相关聚合的预期损失来获得的。我们的分析内在地克服了二元激活函数不可微的事实。我们的方法的性能进行了评估，在现实生活中的数据集上的一个彻底的数值实验协议。
2020-02-04 cs.LG stat.ML
Split personalities in Bayesian Neural Networks: the case for full marginalisation
Kavli Institute for Cosmology（卡弗里宇宙学研究所）；University of Cambridge（剑桥大学）；University of Sussex（萨塞克斯大学）
贝叶斯神经网络的真实后验分布是大量多模态的。虽然这些模式中的大多数在功能上是等效的，但我们证明了即使在最简单的神经网络设置中也存在一定程度的真正多模态。只有通过使用适当的贝叶斯抽样工具，完全边缘化所有后验模式，我们才能捕捉到网络的分裂个性。以这种方式训练的网络在多个候选解决方案之间进行推理的能力极大地提高了模型的通用性，我们认为贝叶斯神经网络训练的替代方法并没有始终如一地捕捉到这一特征。我们提供了一个简洁的最小的例子，这可以提供正确利用贝叶斯神经网络的可解释性和可解释性的教训和未来的前进道路。
2022-05-23 cs.LG stat.ML
Multiplicative Normalizing Flows for Variational Bayesian Neural Networks
University of Amsterdam（阿姆斯特丹大学）；TNO Intelligent Imaging（荷兰应用科学研究组织智能成像）；Canadian Institute For Advanced Research (CIFAR)（加拿大高级研究院）
我们重新解释神经网络中的乘性噪声作为辅助随机变量，增加贝叶斯神经网络的变分设置中的近似后验。我们表明，通过这种解释，它是有效的和简单的，以提高近似采用规范化流，同时仍然允许局部重新参数化和一个听话的下限。在实验中，我们表明，这种新的近似，我们可以显着改善经典的贝叶斯神经网络的平均场的预测精度以及预测的不确定性。
2017-06-12 cs.LG stat.ML
Scalable Bayesian neural networks by layer-wise input augmentation
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
我们介绍了隐式贝叶斯神经网络，这是一种用于深度学习中不确定性表示的简单且可扩展的方法。深度学习的标准贝叶斯方法需要对数百万个参数的后验分布进行不切实际的推断。相反，我们建议通过用潜变量增加每层的输入来诱导一个分布，该分布捕获神经网络上的不确定性。我们提出了适当的输入分布，并展示了最先进的性能，在大规模，数百万参数的图像分类任务的校准，鲁棒性和不确定性特征。
2020-10-26 cs.LG stat.ML
Free energy of Bayesian Convolutional Neural Network with Skip Connection
Tokyo Institute of Technology（东京工业大学）
本文研究带跳跃连接的贝叶斯卷积神经网络的自由能，证明其自由能上界不依赖过度参数化，且泛化误差具有类似性质。
2023-07-04 cs.LG stat.ML
Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations
University of Toronto（多伦多大学）；Stanford Unviersity（斯坦福大学）
我们在连续深度贝叶斯神经网络中进行可扩展的近似推理。在这个模型类中，每个层中单独权重的不确定性给出了遵循随机微分方程的隐藏单元。我们证明了基于梯度的随机变分推断在这个无限参数设置，产生任意灵活的近似后验。我们还得到了一个新的梯度估计，接近零方差的近似后验权重接近真正的后验。这种方法将连续深度贝叶斯神经网络与离散深度替代方案进行了竞争性比较，同时继承了神经ODE的内存高效训练和可调精度。
2022-01-30 cs.LG stat.ML
