Concentration of discrepancy-based approximate Bayesian computation via Rademacher complexity
本文提出一个基于Rademacher复杂度的统一理论框架，分析差异度量ABC后验的极限性质，提供均匀集中界限，适用于非i.i.d.和模型误设场景，并通过IPS族扩展理解无摘要ABC。
2025-01-24 math.ST stat.CO stat.ME
Benchmarking Bayesian neural networks and evaluation metrics for regression tasks
Safran Tech（赛峰科技）；ENSAI（法国国立统计与信息分析学院）；CREST（法国统计与经济研究所）
由于深度神经网络在科学和工程的许多领域中越来越多地被采用，建模和估计其不确定性已变得至关重要。尽管关于深度学习中不确定性量化的文献越来越多，但不确定性估计的质量仍然是一个悬而未决的问题。在这项工作中，我们第一次评估贝叶斯神经网络回归任务的几个近似方法的性能，通过评估的质量的置信区域与几个覆盖度量。所选算法的预测性，核化Stein差异和最大平均差异方面进行了比较，相对于一个参考后，在重量和功能空间。我们的研究结果表明：（i）一些算法具有出色的预测性能，但往往在很大程度上高估或低估了不确定性;（ii）通过微调超参数可以实现良好的准确性和给定的目标覆盖率;（iii）不能完全依赖于有前途的内核Stein差异来评估后验近似。作为该基准的副产品，我们还计算和可视化了所有算法和相应超参数的相似性：有趣的是，我们识别了一些在权重空间中具有相似行为的算法集群，从而对它们如何探索后验分布提供了新的见解。
2023-02-14 cs.LG physics.class-ph
Calibrating Bayesian Learning via Regularization, Confidence Minimization, and Selective Inference
King’s Communications, Learning & Information Processing (KCLIP) lab（国王通讯、学习与信息处理（KCLIP）实验室）；Centre for Intelligent Information Processing Systems (CIIPS)（智能信息处理系统中心）；Department of Engineering, King’s College London（伦敦国王学院工程系）
本文扩展了基于变分推断的贝叶斯学习，集成校准正则化、置信度最小化与选择性校准，提出SCBNN-OCM模型，在以拒绝部分输入为代价下实现了最优的分布内与分布外性能。
2025-11-03 cs.AI cs.LG eess.SP
Regularization Parameter Selection for a Bayesian Multi-Level Group Lasso Regression Model with Application to Imaging Genomics
我们调查的贝叶斯多层次组套索模型的神经影像和遗传数据的联合分析的调整参数的选择。我们考虑的回归模型涉及多变量表型组成的大脑汇总措施（体积和皮质厚度值）的单核苷酸多态性（SNP）的数据，并施加惩罚在两个嵌套的水平，第一个对应于基因和第二个对应于SNP。与惩罚中的每个水平相关联的是调谐参数，其对应于分层贝叶斯公式中的超参数。根据以前的工作贝叶斯套索，我们考虑通过分层贝叶斯的基础上hyperpriors和吉布斯抽样或通过经验贝叶斯的基础上最大化的边际似然使用蒙特卡洛期望最大化算法的调整参数的估计。对于正在考虑的特定模型，我们发现，这些方法可能会导致严重的过度收缩的回归参数估计在高维设置或遗传效应弱时。我们通过模拟的例子证明了这些问题，并研究了近似的边际似然揭示了这个问题的原因。然后，我们提出了一种替代方法的基础上广泛适用的信息准则（WAIC），一个渐进的近似留一交叉验证，可以方便地计算MCMC框架内。
2016-03-27 stat.AP stat.CO stat.ML
Optimally-Weighted Estimators of the Maximum Mean Discrepancy for Likelihood-Free Inference
本文提出一种改进样本复杂度的最大均值差异（MMD）最优加权估计器，用于似然无关推断，特别适用于计算昂贵的中低维平滑模拟器，并通过理论和模拟研究验证其有效性。
2023-05-10 stat.CO stat.ME stat.ML
DANR: Discrepancy-aware Network Regularization
University of California, Santa Barbara（加州大学圣巴巴拉分校）
网络正则化是一种有效的工具，用于结合结构先验知识来学习网络上的相干模型，并在从空间经济学到神经成像研究的应用中产生了可证明的准确估计。最近，有越来越多的兴趣在扩展网络正则化的时空的情况下，以适应网络的演变。然而，在静态和时空情况下，丢失或损坏的边缘权重可能会损害网络正则化发现所需解决方案的能力。为了解决这些差距，我们提出了一种新的方法--{ \it disperpancy-aware network regularization}（DANR）--这是鲁棒的不充分的正则化，并有效地捕捉模型的演变和时空网络的结构变化。我们开发了一个分布式和可扩展的算法的基础上交替方向的乘法器（ADMM）来解决所提出的问题，保证收敛到全局最优解。在合成网络和真实网络上的实验结果表明，我们的方法在各种任务上都实现了性能的提高，并能够解释不断发展的网络中的模型变化。
2020-05-31 cs.LG stat.ML
Approximate Bayesian Computation with Statistical Distances for Model Selection
University of Sydney（悉尼大学）；ARC Training Centre in Data Analytics for Resources and Environments (DARE)（资源与环境数据分析 ARC 培训中心）
本文探讨基于统计距离的ABC方法在模型选择中的应用，通过比较不同度量指标和方法，揭示其在稳定性、校准性和模型复杂度下的表现差异。
2026-02-28 stat.CO stat.ME
Approximate Bayesian computation via the energy statistic
近似贝叶斯计算（ABC）已经成为贝叶斯工具箱的重要组成部分，用于解决可能性非常昂贵或完全未知的问题，使其难以处理。ABC通过比较观测数据和模拟数据来定义伪后验，传统上基于一些汇总统计量，其中的启发被认为是一个关键的难点。最近，有人提议使用数据差异计量，以绕过汇总统计的编制。在这里，我们建议使用的重要性采样ABC（IS-ABC）算法依赖于所谓的双样本能量统计。我们建立了一个新的渐近结果的情况下，观察到的样本量和模拟数据的样本量增加到无穷大，这突出了在何种程度上的数据差异措施的影响渐近伪后验。结果持有广泛的IS-ABC方法的设置，从而概括了以前的结果，已经建立了拒绝ABC算法。此外，我们提出了一个一致的V-统计量估计的能量统计量，在此情况下，我们表明，大样本的结果持有，并证明拒绝ABC算法，基于能量统计，产生伪后验分布，实现收敛到正确的限制，当实施拒绝阈值收敛到零，在有限样本设置。我们提出的基于能量统计的ABC算法在各种模型上进行了验证，包括高斯混合模型、二阶移动平均模型、二元Beta模型和多元$g$ -和- $k$分布。我们发现，我们提出的方法比较以及替代差异措施。
2020-06-30 stat.CO stat.ME stat.ML
Proximal MCMC for Bayesian Inference of Constrained and Regularized Estimation
UCLA（加州大学洛杉矶分校）；Rice University（莱斯大学）
本研究扩展了最初用于贝叶斯成像的ProxMCMC框架，实现全参数数据自适应的完全贝叶斯推断，并引入哈密顿蒙特卡洛算法适配高维场景，为约束与正则化问题提供通用模块化推断方案，在多类传统难处理的统计与机器学习任务中验证了有效性。
2023-11-24 stat.ME
Bayesian Trend Filtering via Proximal Markov Chain Monte Carlo
近似马尔可夫链蒙特卡罗是贝叶斯计算和凸优化的交叉点，它有助于推广贝叶斯统计中不可微先验的使用。然而，现有的近端MCMC公式需要预先指定超参数和正则化参数。在这项工作中，我们通过引入一类新的不可微先验称为epigraph先验扩展了近端MCMC的范例。作为概念的证明，我们将趋势过滤，这本来是一个非参数回归问题，在参数设置提供后验中值拟合连同可信区间作为不确定性的措施。其关键思想是用Moreau-Yosida包络代替后验密度中的非光滑项，这使得基于梯度的MCMC采样器哈密顿蒙特卡罗的应用成为可能。所提出的方法以数据驱动的方式识别适当的平滑量，从而自动化正则化参数选择。与传统的近端MCMC方法相比，我们的方法主要是调整自由，实现了同时校准的均值，规模和正则化参数在一个完全贝叶斯框架。本文的补充材料可在网上查阅。
2023-01-21 stat.CO
Explicitly Bayesian Regularizations in Deep Learning
University of Delaware（特拉华大学）
泛化对于深度学习至关重要。与之前声称深度神经网络（DNN）具有由随机梯度下降实现的隐式正则化的作品相比，我们明确展示了特定类别DNN中的贝叶斯正则化，即，卷积神经网络（CNN）。首先，我们介绍了一种新的概率表示的CNN的隐藏层，并证明CNN对应于贝叶斯网络的串行连接。此外，我们还证明了接近输入的隐藏层形成先验分布，因此CNN具有基于贝叶斯正则化理论的显式贝叶斯正则化。此外，我们澄清了两个最近观察到的经验现象，是不符合传统的理论的泛化。最后，我们在一个合成数据集上验证了所提出的理论
2019-10-22 cs.LG stat.ML
Fair Bayesian Data Selection via Generalized Discrepancy Measures
本文提出一种基于贝叶斯数据选择的公平性框架，通过多种分布差异度量对齐组特定后验分布与共享中心分布，以数据为中心减轻群体偏差，在公平性和准确性上均优于现有方法。
2025-11-10 cs.LG stat.ML
Bayesian selection for the l2-Potts model regularization parameter: 1D piecewise constant signal denoising
Univ Lyon, Ens de Lyon, Univ Claude Bernard, CNRS, Laboratoire de Physique（里昂大学，里昂高等师范学院，克洛德·贝尔纳大学，法国国家科学研究中心，物理实验室）；IRIT/INP-ENSEEIHT, University of Toulouse（图卢兹大学 IRIT/INP-ENSEEIHT）
分段常数去噪可以通过基于Potts模型的确定性优化方法或通过随机贝叶斯过程来解决。前者导致低的计算时间，但需要选择的正则化参数，其值显着影响所获得的解决方案，其自动选择仍然是一个复杂的和具有挑战性的问题。相反，完全贝叶斯形式主义将正则化参数选择封装到分层模型中，代价是高计算成本。这方面的贡献提出了一个操作策略，结合层次贝叶斯和Potts模型配方，自动调整正则化参数和保持计算效率的双重目标。建议的程序依赖于正式连接贝叶斯框架的l2-Potts功能。所提出的分段常数去噪和正则化参数调整技术的行为和性能进行了定性研究和定量评估，并显示出与完全贝叶斯分层过程相比，在精度和计算负载方面都是有利的。
2017-02-27 cs.LG stat.ML
Deep Network Regularization via Bayesian Inference of Synaptic Connectivity
Cyprus University of Technology（塞浦路斯理工大学）
深度神经网络（DNN）通常需要好的正则化器来很好地泛化。目前，最先进的DNN正则化技术包括在训练算法的每次迭代中随机丢弃单元和/或连接。Dropout和DropConnect是这种正则化器的典型例子，在实践者中广泛流行。然而，这种方法的缺点在于，它们假定的随机单元/连接省略的概率是一个常数，必须基于在某个验证集中获得的性能来选择该常数。为了减轻这一负担，在本文中，我们从贝叶斯推理的角度考虑DNN正则化问题：我们在网络突触权重上施加一个稀疏诱导先验，其中稀疏性是由一组Bernoulli分布的二进制变量与其先验参数的Beta（超）先验引起的。通过这种方式，我们最终允许在DNN突触连接上进行边缘化以生成输出，从而产生一种有效的、无复杂性的网络正则化方案。我们通过一个有效的黑盒变分推理方案进行贝叶斯推理的层次模型。通过使用基准数据集进行广泛的实验评估，我们展示了我们的方法比现有方法的优势。
2018-03-04 cs.LG stat.ML
Bayesian regularization of empirical MDPs
Carnegie Mellon University（卡内基梅隆大学）；Amazon.com, Inc.（亚马逊公司）；Stanford Unviersity（斯坦福大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
在基于模型的马尔可夫决策过程的大多数应用中，未知的底层模型的参数往往是从经验数据估计。由于噪声的存在，从估计模型中学习到的策略往往与底层模型的最优策略相差甚远。当应用到底层模型的环境中时，学习到的策略会导致次优性能，因此需要具有更好泛化性能的解决方案。在这项工作中，我们采取贝叶斯的观点和规范的马尔可夫决策过程的目标函数与先验信息，以获得更强大的政策。提出了基于$L^1$正则化和基于相对熵正则化的两种方法。我们评估我们提出的算法合成模拟和现实世界中的搜索日志的大型网上购物商店。我们的研究结果证明了正则化MDP政策对模型中存在的噪声的鲁棒性。
2022-09-21 cs.LG stat.ML
Harnessing Low-Fidelity Data to Accelerate Bayesian Optimization via Posterior Regularization
Nanjing University of Posts and Telecommunications（南京邮电大学）
贝叶斯优化（BO）是一个功能强大的范式，用于黑箱目标函数（BOF）的无导数全局优化，这是昂贵的评估。但是，对于具有高成本函数计算的问题，BO的开销仍然是过高的。在本文中，我们研究如何减少BO所需的函数求值的数量，而不影响解决方案的质量。我们探讨了后验正则化的思想，利用高斯过程置信上限（GP-UCB）框架内的低保真度（LF）数据。LF数据可以由BOF的LF近似或相关优化任务的先前评估产生。训练称为LF-GP的额外GP模型以拟合LF数据。我们开发了一个名为动态加权专家产品（DW-POE）融合算子。该算子在BOF的后验上引入正则化。LF GP模型对正则化后验的影响通过贝叶斯形式主义进行自适应调整。大量的基准BOF优化任务的实验结果表明，所提出的算法优于国家的最先进的性能。
2019-12-16 cs.LG stat.ML
Bayesian Counterfactual Risk Minimization
Amazon（亚马逊）
我们提出了一个贝叶斯观点的反事实风险最小化（CRM）离线学习记录的强盗反馈。利用PAC-Bayesian分析，我们得到了一个新的广义界截断逆倾向得分估计。我们将约束应用于一类贝叶斯策略，这激发了一种新的，潜在的数据依赖性，CRM的正则化技术。实验结果表明，该技术优于标准的$L_2$正则化，它是有竞争力的方差正则化，同时更简单的实现和更高的计算效率。
2020-04-02 cs.LG stat.ML
Regularization Strategies and Empirical Bayesian Learning for MKL
The University of Tokyo（东京大学）
多核学习（MKL），结构化稀疏性和多任务学习最近受到了相当大的关注。在本文中，我们展示了如何将不同的MKL算法理解为核权重正则化或基于块范数的正则化的应用程序，这在结构化稀疏性和多任务学习中更常见。我们表明，这两个正则化策略可以系统地映射到彼此通过凹共轭运算。当基于核权重的正则化器可分离为组件时，我们可以自然地考虑MKL背后的生成概率模型。在此模型的基础上，我们提出了学习算法的核权重通过最大化的边际似然。我们通过数值实验表明，$\ell_2$ -norm MKL和弹性网络MKL实现可比的精度均匀内核组合。虽然统一的内核组合可能更简单，但$\ell_2$ -norm MKL和Elastic-net MKL可以学习表示为内核的信息源的有用性。特别是，Elastic-net MKL在内核权重中实现了稀疏性。
2011-03-02 cs.LG stat.ML
Maximum Discrepancy Generative Regularization and Non-Negative Matrix Factorization for Single Channel Source Separation
NTNU – Norwegian University of Science and Technology（挪威科技大学）
本文提出最大差异生成正则化方法，通过对抗训练非负矩阵分解（NMF）基，有效提升了图像与音频的单通道源分离效果，尤其在缺乏强监督数据时表现突出。
2024-03-26 cs.LG cs.NA eess.SP
Bayesian Masking: Sparse Bayesian Estimation with Weaker Shrinkage Bias
Kyoto University（京都大学）；National Institute of Informatics（国立信息学研究所）
稀疏线性回归的一个常见策略是引入正则化，通过使相应的权重为零来消除不相关的特征。然而，正则化经常缩小相关特征的估计量，这导致不正确的特征选择。出于上述问题，我们提出了贝叶斯掩蔽（BM），稀疏估计方法，不施加正则化的权重。BM的关键概念是引入随机屏蔽特征的二进制潜变量。估计掩蔽率自动确定特征的相关性。我们推导出一个变分贝叶斯推断算法，最大限度地提高了下界的因子分解信息准则（FIC），这是最近开发的渐近标准，用于评估边际对数似然。此外，我们提出了重新参数化，以加速收敛的派生算法。最后，我们表明，BM优于Lasso和自动相关性确定（ARD）的稀疏收缩权衡。
2015-10-06 cs.LG stat.ML
MMD-Bayes: Robust Bayesian Estimation via Maximum Mean Discrepancy
CREST（Crest研究中心）；ENSAE（法国国立统计与经济管理学院）；Institut Polytechnique de Paris（巴黎理工学院）；RIKEN Center for AI Project（理化学研究所人工智能项目中心）
在某些错误指定的设置中，贝叶斯统计中的后验分布可能导致不一致的估计。为了解决这个问题，已经建议用伪似然代替似然，伪似然是享受适当鲁棒性特性的损失函数的指数。在本文中，我们建立了一个伪似然最大均值离散的基础上，定义通过嵌入的概率分布到再生核希尔伯特空间。我们表明，这种MMD-Bayes后验是一致的和强大的模型误设定。由于以这种方式获得的后验可能是棘手的，我们还证明了合理的变分近似后享有相同的属性。我们提供的随机梯度算法来计算这些变分近似的细节。数值模拟确实表明，我们的估计是更强大的误指定比的基础上的可能性。
2019-12-11 cs.LG math.ST stat.ML
Posterior Regularization on Bayesian Hierarchical Mixture Clustering
Tencent（腾讯）；University College Dublin（都柏林大学学院）；Trinity College Dublin（都柏林圣三一学院）
针对贝叶斯层次混合聚类（BHMC）高层节点分离度弱的问题，提出对各层节点施加最大间隔约束的后验正则化方法，有效提升了BHMC模型的聚类分离效果。
2023-05-05 cs.AI cs.LG stat.ML
A Bayesian Approach to Low-Discrepancy Subset Selection
本文提出了一种基于贝叶斯优化的子集选择方法，证明了针对核偏差的子集选择问题为NP难，并展示了该方法在最小化偏差度量方面的有效性。
2026-02-16 cs.LG cs.NA math.NA
Active Learning of Model Discrepancy with Bayesian Experimental Design
Department of Mechanical Engineering, University of Wisconsin–Madison, Madison, WI 53706（机械工程系，威斯尼根大学，麦迪逊，WI 53706）
针对数字孪生中普遍存在的模型差异影响贝叶斯实验设计性能的问题，提出一种基于序贯BED迭代学习模型差异的高效方法，利用基于集合的信息增益近似评估数据信息量，验证了其在高维模型差异主动学习中的高效性与鲁棒性。
2025-08-10 cs.LG
Least Square Variational Bayesian Autoencoder with Regularization
Indian Institute of Science, Bangalore（印度科学院）
近年来，变分自编码器（Variational Autoencoder，VAE）已成为复杂分布的最流行的无监督学习方法之一，与传统的自编码器相比，它具有更好的重构性能。变分自动编码器比MCMC有更好的近似性。VAE定义了一个生成过程，通过隐藏的随机层级联的祖先采样。它们是有向的图形模型。训练变分自动编码器以最大化变分下限。在这里，我们试图最大化可能性，同时我们也试图对数据进行良好的近似。它基本上是交易的数据对数似然和库尔贝克-莱布勒散度从真正的后验。本文描述的情况下，我们希望找到一个点估计的参数$θ$的一些参数模型中，我们产生的每个观察，首先采样的本地潜在变量，然后采样相关的观察。在这里，我们使用正则化的最小二乘损失函数在图像的重建，最小二乘损失函数被发现可以提供更好的重建图像，并具有更快的训练时间。
2017-07-11 cs.LG stat.ML
Bayesian Experimental Design for Model Discrepancy Calibration: An Auto-Differentiable Ensemble Kalman Inversion Approach
Department of Mechanical Engineering, University of Wisconsin–Madison（威斯康星大学麦迪逊分校机械工程系）
本文提出了一种基于自动可微集合卡尔曼反演的混合贝叶斯实验设计框架，用于高效校准模型偏差并推断未知物理参数。
2025-11-22 cs.LG
(De)-regularized Maximum Mean Discrepancy Gradient Flow
University College London（伦敦大学学院）；Pennsylvania State University（宾夕法尼亚州立大学）；Institut Polytechnique de Paris（巴黎理工学院）
DrMMD流通过去正则化方法实现了最大均值差的梯度流，能够在连续和离散时间下保证近全局收敛，并以闭式形式仅使用样本进行实现。
2025-11-24 cs.LG stat.ML
Regularization Guarantees Generalization in Bayesian Reinforcement Learning through Algorithmic Stability
Technion – Israel Institute of Technology（以色列理工学院）
在贝叶斯强化学习（RL）设置中，假设未知问题参数（奖励和转换）的先验分布，并寻求优化（后验）预期回报的策略。一个常见的近似，最近已被推广为元RL，是训练代理上的样本$N$问题的实例，从以前的，希望对于足够大的$N$，良好的泛化行为，一个看不见的测试实例将获得。在这项工作中，我们研究推广贝叶斯RL下的可能近似正确（PAC）的框架，使用算法稳定性的方法。我们的主要贡献是通过增加正则化，最优策略在适当的意义下变得稳定。文献中的大多数稳定性结果建立在正则化损失的强凸性上-这种方法不适合RL，因为马尔可夫决策过程（MDP）不是凸的。相反，建立在最近的结果的镜像下降在正则化MDPs的快速收敛速度，我们表明，正则化MDPs满足一定的二次增长标准，这是足以建立稳定性。这个结果，这可能是独立的利益，使我们能够研究正则化的效果推广贝叶斯RL设置。
2021-09-24 cs.AI cs.LG stat.ML
Correcting Mode Proportion Bias in Generalized Bayesian Inference via a Weighted Kernel Stein Discrepancy
本文提出加权KSD方法，用于纠正通用贝叶斯推断中的模式比例偏差，提升多模式后验处理能力。
2026-01-06 cs.LG stat.ME stat.ML
Overcoming Catastrophic Forgetting by Generative Regularization
UCLA（加州大学洛杉矶分校）；Google Cloud（谷歌云）；Google Brain（谷歌大脑）
本文提出了一种新的方法来克服灾难性遗忘通过添加生成正则化贝叶斯推理框架。贝叶斯方法为持续学习提供了一个通用框架。我们可以进一步为所有给定的分类模型构建一个生成正则化项，通过利用基于能量的模型和Langevin动态采样来丰富每个任务中学习到的特征。通过将区分性损失和生成性损失结合在一起，我们的经验表明，所提出的方法在各种任务上优于最先进的方法，避免了持续学习中的灾难性遗忘。特别是，该方法优于基线方法超过15%的时尚MNIST数据集和10%的CUB数据集
2021-06-19 cs.LG stat.ML
Bayesian Inference with Posterior Regularization and applications to Infinite Latent SVMs
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
现有的贝叶斯模型，特别是非参数贝叶斯方法，依赖于专门构思的先验知识，以发现改进的潜在表示。虽然先验可以通过贝叶斯规则影响后验分布，但施加后验正则化可以说更直接，在某些情况下更自然和一般。在本文中，我们提出了正则化贝叶斯推理（RegBayes），一种新的计算框架，执行后验推理与信息理论公式下所需的后验数据分布的正则化项。RegBayes比通过先验知识来推断专家知识的过程更灵活，并且它涵盖了有向贝叶斯网络和无向马尔可夫网络，其贝叶斯公式导致混合链图模型。当正则化是由后验分布上的线性算子（如期望算子）诱导时，我们给出了一个一般的凸分析定理来刻画RegBayes的解。此外，我们提出了两个具体的例子，RegBayes，无限潜在的支持向量机（iLSVM）和多任务无限潜在的支持向量机（MT-iLSVM），探索大利润的想法结合非参数贝叶斯模型发现预测的潜在特征分类和多任务学习，分别。我们提出了有效的推理方法，并报告了几个基准数据集的实证研究，这似乎证明了继承大利润率学习和贝叶斯nonparametrics的优点。这些结果直到现在才出现，并有助于推动这两个重要子领域之间的接口，这两个子领域在社区中基本上被视为孤立的。
2014-02-12 cs.AI cs.LG stat.ME
Bayesian Matrix Completion via Adaptive Relaxed Spectral Regularization
Tsinghua University（清华大学）
本文提出一种基于谱正则化的贝叶斯矩阵补全方法，通过放松奇异向量的正交约束，设计出适用于贝叶斯推断的自适应谱正则化方法，无需参数调优即可自动推断潜在因子数量，在稀疏矩阵上表现优异。
2015-12-25 cs.AI cs.LG cs.NA
A Semi-Bayesian Nonparametric Estimator of the Maximum Mean Discrepancy Measure: Applications in Goodness-of-Fit Testing and Generative Adversarial Networks
University of Hong Kong（香港大学）；University of Maryland（马里兰大学）
针对难以处理似然的模型，提出半贝叶斯非参数MMD估计器用于拟合优度检验，并嵌入GAN框架，实现更低的错误率、增强样本多样性和推断准确性。
2023-11-10 cs.LG stat.AP stat.ME
Online Bayesian Calibration under Gradual and Abrupt System Changes
Department of Industrial and Systems Engineering（工业与系统工程系）；University of Washington（华盛顿大学）；Seattle, WA 98195（华盛顿州西雅图98195）
本文提出BRPC框架，用于处理流数据中的系统渐进变化和突发变化，通过分离校准参数更新和偏差更新，提升校准精度和鲁棒性。
2026-11-03 cs.ET cs.LG stat.ML
Semi-Supervised Learning with Variational Bayesian Inference and Maximum Uncertainty Regularization
Applied Artificial Intelligence Institute (A2I2), Deakin University（应用人工智能研究所（A2I2），迪肯大学）
我们提出了两个通用的方法来改善半监督学习（SSL）。第一个集成的权重扰动（WP）到现有的“一致性正则化”（CR）为基础的方法。我们实现WP利用变分贝叶斯推理（VBI）。第二种方法提出了一种新的一致性损失称为“最大不确定性正则化”（MUR）。虽然大多数一致性损失作用于每个数据点附近的扰动，但MUR积极搜索位于该区域之外的“虚拟”点，这些点导致最不确定的类预测。这允许MUR在输入-输出歧管中的更宽区域上施加平滑。我们的实验表明，当它们与VBI或MUR或两者结合时，各种基于CR的方法的分类错误有了明显的改善。
2021-03-18 cs.AI cs.LG
A Bayesian Non-parametric Approach to Generative Models: Integrating Variational Autoencoder and Generative Adversarial Networks using Wasserstein and Maximum Mean Discrepancy
Department of Statistics and Actuarial Science University of Hong Kong（统计与精算科学系香港大学）
本文提出一种基于贝叶斯非参数框架的生成模型，整合VAE、GAN及CGAN，采用Wasserstein距离和最大均值差异损失，以解决过拟合和噪声样本问题，提升训练稳定性并生成高质量多样样本。
2025-06-22 cs.LG stat.AP stat.CO
Bayesian Experimental Design for Model Discrepancy Calibration: A Rivalry between Kullback--Leibler Divergence and Wasserstein Distance
Department of Mechanical Engineering, University of Wisconsin–Madison, Madison, WI 53706（机械工程系，威斯康星大学麦迪逊分校，麦迪逊，WI 53706）
本文比较了KL散度与瓦瑟斯坦距离在贝叶斯实验设计中的应用，发现KL散度在无模型偏差时收敛更快，而瓦瑟斯坦距离在存在模型偏差时更稳健。
2026-08-31 cs.LG
The Polynomial Stein Discrepancy for Assessing Moment Convergence
School of Mathematical Sciences, Queensland University of Technology, Australia（昆士兰技术大学数学科学学院，澳大利亚）；Centre for Data Science, Queensland University of Technology, Australia（昆士兰技术大学数据科学中心，澳大利亚）；School of Mathematics and Physics, University of Queensland, Brisbane, Australia（昆士兰大学数学与物理学院，布里斯班，澳大利亚）
本文提出多项式Stein偏差（PSD）用于评估贝叶斯推断中样本与后验分布的偏差，证明其能检测高斯目标的前r矩差异，并在计算成本更低的情况下优于现有方法。
2026-04-30 cs.LG stat.CO stat.ML
Bayesian Structure Learning for Markov Random Fields with a Spike and Slab Prior
University of California, Irvine（加州大学欧文分校）
近年来，已经开发了许多方法来自动学习马尔可夫随机场的（稀疏）连接结构。这些方法大多基于L1正则化优化，其具有许多缺点，例如无法评估模型的不确定性和昂贵的交叉验证以找到最佳正则化参数。此外，模型的预测性能可能会随着正则化参数的次优值（有时需要引入稀疏性）而急剧下降。我们提出了一个完全贝叶斯方法的基础上的“尖峰和板坯”前（类似于L0正则化），不受这些缺点。我们开发了一个近似MCMC方法结合朗之万动力学和可逆跳MCMC进行推断在这个模型。实验表明，该模型学习的结构和参数值的良好组合，而不需要单独的超参数调整。此外，该模型的预测性能比基于L1的方法更鲁棒，超参数设置会导致高度稀疏的模型结构。
2012-06-23 cs.LG stat.ML
Bayesian and regularization approaches to multivariable linear system identification: the role of rank penalties
University of Padova（帕多瓦大学）
本文提出一种基于ℓ2正则化和秩惩罚的冲击响应估计器，用于处理多输入多输出系统中输入输出通道的耦合问题，通过优化边际似然估计超参数，实现闭式解。
2014-09-29 cs.LG cs.SY eess.SY
Bayesian Structure Learning for Markov Random Fields with a Spike and Slab Prior
University of California, Irvine（加州大学欧文分校）
近年来，已经开发了许多方法来自动学习马尔可夫随机场的（稀疏）连接结构。这些方法大多基于L1正则化优化，其具有许多缺点，例如无法评估模型的不确定性和昂贵的交叉验证以找到最佳正则化参数。此外，模型的预测性能可能会随着正则化参数的次优值（有时需要引入稀疏性）而急剧下降。我们提出了一个完全贝叶斯方法的基础上的“尖峰和板坯”前（类似于L0正则化），不受这些缺点。我们开发了一个近似MCMC方法结合朗之万动力学和可逆跳MCMC进行推断在这个模型。实验表明，该模型学习的结构和参数值的良好组合，而不需要单独的超参数调整。此外，该模型的预测性能比基于L1的方法更鲁棒，超参数设置会导致高度稀疏的模型结构。
2014-08-09 cs.LG stat.ML
Understanding Priors in Bayesian Neural Networks at the Unit Level
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）；University of Granada（格拉纳达大学）
我们研究了具有高斯权重先验和一类ReLU非线性的深度贝叶斯神经网络。众所周知，具有高斯先验的贝叶斯神经网络会引起L2，“权重衰减”，正则化。我们的研究结果表征了一个更复杂的正则化效应的水平上的单位激活。我们的主要结果建立了诱导先验分布的单位之前和之后的激活变得越来越重尾层的深度。我们发现，第一层单位是高斯，第二层单位是次指数，和单位在更深的层的特点是分韦布尔分布。我们的研究结果为深度贝叶斯神经网络提供了新的理论见解，并与模拟实验进行了验证。
2019-05-10 cs.LG stat.ML
How Regularization Terms Make Invertible Neural Networks Bayesian Point Estimators
Center for Industrial Mathematics, University of Bremen（工业数学中心，不莱梅大学）
本文针对可逆神经网络在反问题中的优化局限，提出并分析了两种网络训练正则化项，证明其网络求逆后分别能恢复后验均值与MAP估计器的性质，理论分析与数值实验均表明该方法能稳定、可解释地引入数据依赖性。
2025-10-30 cs.LG cs.NA math.NA
Rank regularization and Bayesian inference for tensor completion and extrapolation
University of Minnesota（明尼苏达大学）
本文提出了一种新的正则化的PARAFAC分解因子捕获张量的秩，作为完成的三路数据阵列的缺失条目的关键使能器。在贝叶斯框架中，张量完成方法结合了先验信息，以增强其平滑和预测能力。这种概率方法可以自然地适应数据分布的一般模型，从而适应各种拟合标准，从而在最大后验意义上产生最佳估计。特别是，两个算法的高斯分布和泊松分布的数据，最小化秩正则化最小二乘误差和Kullback-Leibler发散，分别设计。所提出的技术是能够恢复“地面实况”的张量秩测试时，合成数据，并完成脑成像和酵母基因表达数据集分别与50%和15%的缺失条目，导致在-10 dB和-15 dB的恢复误差。
2013-01-31 cs.IT cs.LG math.IT
Bayesian post-hoc regularization of random forests
Institute for Medical Informatics, Statistics and Documentation（医学信息学、统计学与文献学研究所）；Medical University Graz（格拉茨医科大学）
针对随机森林易过拟合噪声特征的问题，提出贝叶斯事后正则化，依据叶节点距根节点的远近调整其影响，在多个数据集上取得优于或可比现有方法的泛化表现。
2023-06-06 cs.AI cs.LG
Sparse Bayesian Optimization
Princeton University（普林斯顿大学）；Meta
贝叶斯优化（BO）是一个强大的方法，样本效率优化的黑箱目标函数。然而，BO在推荐系统等领域的应用通常需要考虑配置的可解释性和简单性，这是BO文献中以前没有研究过的设置。为了使BO对这种设置有用，我们提出了几种基于正则化的方法，使我们能够发现稀疏和更可解释的配置。我们提出了一种新的可微松弛同伦连续的基础上，使得它可以直接与$L_0$正则化的目标稀疏。我们确定规则化BO的故障模式，并开发了一种无超参数的方法，稀疏性探索贝叶斯优化（SEBO），旨在同时最大限度地提高目标目标和稀疏性。SEBO和固定正则化的基础上的方法进行评估合成和现实世界的问题，我们表明，我们能够有效地优化稀疏性。
2023-03-03 cs.AI cs.LG math.OC
A Bayesian regularization-backpropagation neural network model for peeling computations
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；RWTH Aachen University（亚琛工业大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Gdańsk University of Technology（格但斯克理工大学）
采用贝叶斯正则化-反向传播神经网络（BR-BPNN）模型对壁虎铲剥离过程中的最大法向和切向剥离力以及剥离合力角随剥离角的变化规律进行了预测。为了提高模型的有效性，采用了K折交叉验证方法。输入数据取自有限元（FE）剥离结果。神经网络用75%的FE数据集进行训练。剩余的25%用于预测剥离行为。针对隐层神经元数量的每次变化评估训练性能，以确定最佳网络结构。计算了相对误差，以便将预测结果与有限元结果进行比较。结果表明，BR-BPNN模型结合k-折叠技术具有显着的潜力，以估计剥离行为。
2022-01-24 cs.CE cs.LG
Neural Posterior Regularization for Likelihood-Free Inference
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；University of Seoul（首尔市立大学）；EWHA Womans University（梨花女子大学）
当感兴趣的现象再生成本很高或在相同的背景下不可再生时，模拟是有用的。最近，贝叶斯推理的模拟输入参数的分布已经实现顺序，以尽量减少所需的模拟预算的任务，模拟验证到现实世界。然而，贝叶斯推理仍然是具有挑战性的，当地面真实后验是多模态的高维模拟输出。本文介绍了一种正则化技术，即神经后验正则化（NPR），它强制模型有效地探索输入参数空间。之后，我们提供了正则化优化的封闭形式的解决方案，使分析正则化的效果。我们的经验验证，NPR达到统计上的显着增益的基准性能不同的模拟任务。
2022-11-04 cs.AI cs.LG stat.ML
Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization
University of Cambridge（剑桥大学）；The Alan Turing Institute（阿兰·图灵研究所）
本文提出贝叶斯自适应矩正则化（BAdam）方法，通过更好地约束参数增长来减少灾难性遗忘，在Split MNIST等基准上实现基于先验方法的最先进性能，且无需任务标签或离散边界。
2024-07-24 cs.LG
Bayesian Regularization for Graphical Models with Unequal Shrinkage
Department of Statistics, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校统计学系）
我们考虑一个贝叶斯框架估计高维稀疏精度矩阵，其中自适应收缩和稀疏性诱导的拉普拉斯先验的混合物。除了讨论我们的配方从贝叶斯的角度来看，我们调查的MAP（最大后验概率）估计从惩罚的可能性的角度来看，产生了一个新的非凸罚款近似的$\ell_0$罚款。最佳的误差率估计一致性的各种矩阵范数以及稀疏结构恢复的选择一致性的唯一MAP估计在温和的条件下。为了快速有效地计算，提出了一种期望最大化算法来计算精度矩阵的MAP估计和底层稀疏结构边缘上的（近似）后验概率。通过广泛的模拟研究和实际应用的呼叫中心数据，我们已经证明了我们的方法与现有的替代品相比，优良的性能。
2018-05-20 cs.LG math.ST stat.CO
Learning Representation for Bayesian Optimization with Collision-free Regularization
University of Chicago（芝加哥大学）；Fermi National Accelerator Laboratory（费米国家加速器实验室）
贝叶斯优化一直受到具有大规模，高维和非平稳特征的数据集的挑战，这些特征在现实世界中很常见。最近的工作试图通过在经典高斯过程之前应用神经网络来学习潜在表示来处理这样的输入。我们表明，即使有适当的网络设计，这种学习表示往往会导致潜在空间中的碰撞：两个点具有显着不同的观察碰撞在学习的潜在空间，导致优化性能下降。为了解决这个问题，我们提出了LOCo，这是一个高效的深度贝叶斯优化框架，它采用了一种新的正则化器来减少学习的潜在空间中的冲突，并鼓励从潜在空间到目标值的映射是Lipschitz连续的。LOCo采用成对的数据点，并惩罚那些在潜在空间中与其目标空间距离相比过于接近的数据点。我们提供了一个严格的理论依据LOCo检查遗憾的动态嵌入为基础的贝叶斯优化算法，其中的神经网络迭代再训练的正则化。我们的实证结果表明，几个合成和现实世界的基准贝叶斯优化任务的有效性LOCo。
2022-03-16 cs.AI cs.LG
Adaptive regularization parameter selection for high-dimensional inverse problems: A Bayesian approach with Tucker low-rank constraints
School of Science, University of Science and Technology Liaoning（辽宁科技大学科学学院）
本文提出一种结合Tucker分解的变分贝叶斯方法，通过降低维度核心张量空间减少计算复杂度，引入每模式精度参数实现对各向异性结构的自适应正则化，实验显示在图像去模糊、热传导和Fredholm积分方程中均优于传统方法。
2026-03-17 cs.LG
Domain Generalization via Selective Consistency Regularization for Time Series Classification
Institute for Infocomm Research, A*STAR（A*STAR资讯通信研究院）；Centre for Frontier AI Research, A*STAR（A*STAR前沿人工智能研究中心）
领域泛化方法的目标是利用来自有限数量的源域的数据并且在训练期间不访问目标域样本来学习对域移位鲁棒的模型。用于领域泛化的流行领域对齐方法寻求通过最小化跨所有领域的特征分布之间的差异来提取领域不变特征，而不考虑领域间的关系。在本文中，我们提出了一种新的表示学习方法，选择性地执行预测的一致性估计密切相关的源域之间。具体来说，我们假设域共享不同的类信息表示，所以不是对齐所有可能导致负迁移的域，我们只调整密切相关的域之间的差异。我们将我们的方法应用于时间序列分类任务，并在三个公开的真实世界数据集上进行了全面的实验。我们的方法显着提高了基线，并实现了更好的或有竞争力的性能相比，国家的最先进的方法在精度和模型校准。
2022-06-16 cs.LG
An Equivalence between Bayesian Priors and Penalties in Variational Inference
Université Paris-Saclay（巴黎萨克雷大学）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）；Meta AI Research（元人工智能研究部门）
本文证明了变分推断中贝叶斯先验与正则化惩罚之间的等价性，给出了从惩罚计算先验的系统方法，并揭示了保持贝叶斯性质的约束条件。
2024-02-07 cs.LG math.ST stat.ML
