Unified PAC-Bayesian Study of Pessimism for Offline Policy Learning with Regularized Importance Sampling
CREST（CREST（法国统计研究中心））；ENSAE（法国国立统计与经济管理学校）；IP Paris（巴黎理工学院）；Criteo AI Lab（Criteo人工智能实验室）
针对离线策略学习悲观主义缺乏统一分析框架的问题，提出全面的PAC-Bayesian框架，推导出适用于常见重要性权重正则化的泛化界，并在单一框架内比较，实证证明了标准IW正则化技术的有效性。
2024-06-05 cs.AI cs.LG stat.ML
Optimal PAC-Bayesian Posteriors for Stochastic Classifiers and their use for Choice of SVM Regularization Parameter
Indian Institute of Technology Bombay（印度理工学院孟买分校）
PAC-Bayesian设置涉及以分类器集合上的后验分布为特征的随机分类器，提供其平均真实风险的高概率界限，并且对所使用的训练样本是鲁棒的。对于一个给定的后验，这个界限捕捉平均经验风险和KL-分歧的模型复杂性之间的权衡。我们的目标是确定一个最佳的后验与最小的PAC-Bayesian界。我们考虑一个有限的分类器集和5个距离函数：KL-散度，其Pinsker的和六次多项式近似，线性和平方距离。基于线性距离的模型导致凸优化问题。我们得到了其最优后验的封闭形式表达式。对于均匀先验，该后验具有与误分类数量成负指数比例的权重的完全支持。平方距离和Pinsker的近似边界可能是准凸的，并观察到有单一的局部最小值。利用严格正性约束下的部分KKT系统导出了不动点方程。这避免了对最优后验的子集支持的组合搜索。对于均匀先验，全维单纯形上的指数搜索可以限于具有增加的经验风险值的分类器的有序子集。这些FPE快速收敛到一个固定点，即使是一个大型分类器集时，求解器失败。我们将这些方法应用于使用9个UCI数据集上的有限SVM正则化参数值生成的SVM。这些后验产生的随机SVM分类器与紧的界限。基于KL-发散的边界是最紧的，但是由于非凸性和对根查找算法的多次调用而计算昂贵。所有5个距离函数的最佳后验在大多数数据集上具有最低的10%测试误差值，其中线性距离最容易获得。
2019-12-14 cs.LG stat.ML
Semi-Supervised Learning with Variational Bayesian Inference and Maximum Uncertainty Regularization
Applied Artificial Intelligence Institute (A2I2), Deakin University（应用人工智能研究所（A2I2），迪肯大学）
我们提出了两个通用的方法来改善半监督学习（SSL）。第一个集成的权重扰动（WP）到现有的“一致性正则化”（CR）为基础的方法。我们实现WP利用变分贝叶斯推理（VBI）。第二种方法提出了一种新的一致性损失称为“最大不确定性正则化”（MUR）。虽然大多数一致性损失作用于每个数据点附近的扰动，但MUR积极搜索位于该区域之外的“虚拟”点，这些点导致最不确定的类预测。这允许MUR在输入-输出歧管中的更宽区域上施加平滑。我们的实验表明，当它们与VBI或MUR或两者结合时，各种基于CR的方法的分类错误有了明显的改善。
2021-03-18 cs.AI cs.LG
Bayesian Matrix Completion via Adaptive Relaxed Spectral Regularization
Tsinghua University（清华大学）
本文提出一种基于谱正则化的贝叶斯矩阵补全方法，通过放松奇异向量的正交约束，设计出适用于贝叶斯推断的自适应谱正则化方法，无需参数调优即可自动推断潜在因子数量，在稀疏矩阵上表现优异。
2015-12-25 cs.AI cs.LG cs.NA
Bayesian post-hoc regularization of random forests
Institute for Medical Informatics, Statistics and Documentation（医学信息学、统计学与文献学研究所）；Medical University Graz（格拉茨医科大学）
针对随机森林易过拟合噪声特征的问题，提出贝叶斯事后正则化，依据叶节点距根节点的远近调整其影响，在多个数据集上取得优于或可比现有方法的泛化表现。
2023-06-06 cs.AI cs.LG
Posterior Regularization on Bayesian Hierarchical Mixture Clustering
Tencent（腾讯）；University College Dublin（都柏林大学学院）；Trinity College Dublin（都柏林圣三一学院）
针对贝叶斯层次混合聚类（BHMC）高层节点分离度弱的问题，提出对各层节点施加最大间隔约束的后验正则化方法，有效提升了BHMC模型的聚类分离效果。
2023-05-05 cs.AI cs.LG stat.ML
Regularization Guarantees Generalization in Bayesian Reinforcement Learning through Algorithmic Stability
Technion – Israel Institute of Technology（以色列理工学院）
在贝叶斯强化学习（RL）设置中，假设未知问题参数（奖励和转换）的先验分布，并寻求优化（后验）预期回报的策略。一个常见的近似，最近已被推广为元RL，是训练代理上的样本$N$问题的实例，从以前的，希望对于足够大的$N$，良好的泛化行为，一个看不见的测试实例将获得。在这项工作中，我们研究推广贝叶斯RL下的可能近似正确（PAC）的框架，使用算法稳定性的方法。我们的主要贡献是通过增加正则化，最优策略在适当的意义下变得稳定。文献中的大多数稳定性结果建立在正则化损失的强凸性上-这种方法不适合RL，因为马尔可夫决策过程（MDP）不是凸的。相反，建立在最近的结果的镜像下降在正则化MDPs的快速收敛速度，我们表明，正则化MDPs满足一定的二次增长标准，这是足以建立稳定性。这个结果，这可能是独立的利益，使我们能够研究正则化的效果推广贝叶斯RL设置。
2021-09-24 cs.AI cs.LG stat.ML
Bayesian selection for the l2-Potts model regularization parameter: 1D piecewise constant signal denoising
Univ Lyon, Ens de Lyon, Univ Claude Bernard, CNRS, Laboratoire de Physique（里昂大学，里昂高等师范学院，克洛德·贝尔纳大学，法国国家科学研究中心，物理实验室）；IRIT/INP-ENSEEIHT, University of Toulouse（图卢兹大学 IRIT/INP-ENSEEIHT）
分段常数去噪可以通过基于Potts模型的确定性优化方法或通过随机贝叶斯过程来解决。前者导致低的计算时间，但需要选择的正则化参数，其值显着影响所获得的解决方案，其自动选择仍然是一个复杂的和具有挑战性的问题。相反，完全贝叶斯形式主义将正则化参数选择封装到分层模型中，代价是高计算成本。这方面的贡献提出了一个操作策略，结合层次贝叶斯和Potts模型配方，自动调整正则化参数和保持计算效率的双重目标。建议的程序依赖于正式连接贝叶斯框架的l2-Potts功能。所提出的分段常数去噪和正则化参数调整技术的行为和性能进行了定性研究和定量评估，并显示出与完全贝叶斯分层过程相比，在精度和计算负载方面都是有利的。
2017-02-27 cs.LG stat.ML
Bayesian Inference with Posterior Regularization and applications to Infinite Latent SVMs
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
现有的贝叶斯模型，特别是非参数贝叶斯方法，依赖于专门构思的先验知识，以发现改进的潜在表示。虽然先验可以通过贝叶斯规则影响后验分布，但施加后验正则化可以说更直接，在某些情况下更自然和一般。在本文中，我们提出了正则化贝叶斯推理（RegBayes），一种新的计算框架，执行后验推理与信息理论公式下所需的后验数据分布的正则化项。RegBayes比通过先验知识来推断专家知识的过程更灵活，并且它涵盖了有向贝叶斯网络和无向马尔可夫网络，其贝叶斯公式导致混合链图模型。当正则化是由后验分布上的线性算子（如期望算子）诱导时，我们给出了一个一般的凸分析定理来刻画RegBayes的解。此外，我们提出了两个具体的例子，RegBayes，无限潜在的支持向量机（iLSVM）和多任务无限潜在的支持向量机（MT-iLSVM），探索大利润的想法结合非参数贝叶斯模型发现预测的潜在特征分类和多任务学习，分别。我们提出了有效的推理方法，并报告了几个基准数据集的实证研究，这似乎证明了继承大利润率学习和贝叶斯nonparametrics的优点。这些结果直到现在才出现，并有助于推动这两个重要子领域之间的接口，这两个子领域在社区中基本上被视为孤立的。
2014-02-12 cs.AI cs.LG stat.ME
How Regularization Terms Make Invertible Neural Networks Bayesian Point Estimators
Center for Industrial Mathematics, University of Bremen（工业数学中心，不莱梅大学）
本文针对可逆神经网络在反问题中的优化局限，提出并分析了两种网络训练正则化项，证明其网络求逆后分别能恢复后验均值与MAP估计器的性质，理论分析与数值实验均表明该方法能稳定、可解释地引入数据依赖性。
2025-10-30 cs.LG cs.NA math.NA
Calibrating Bayesian Learning via Regularization, Confidence Minimization, and Selective Inference
King’s Communications, Learning & Information Processing (KCLIP) lab（国王通讯、学习与信息处理（KCLIP）实验室）；Centre for Intelligent Information Processing Systems (CIIPS)（智能信息处理系统中心）；Department of Engineering, King’s College London（伦敦国王学院工程系）
本文扩展了基于变分推断的贝叶斯学习，集成校准正则化、置信度最小化与选择性校准，提出SCBNN-OCM模型，在以拒绝部分输入为代价下实现了最优的分布内与分布外性能。
2025-11-03 cs.AI cs.LG eess.SP
On the Joint Minimization of Regularization Loss Functions in Deep Variational Bayesian Methods for Attribute-Controlled Symbolic Music Generation
针对属性控制符号音乐生成中变分贝叶斯方法难以联合最小化正则化损失的问题，本文探索KLD与AR损失的权衡，发现合适的属性变换可同时实现潜维度的可控性与正则化，提升生成模型性能。
2025-11-10 cs.AI cs.LG eess.AS
Regularization by denoising: Bayesian model and Langevin-within-split Gibbs sampling
Institut Denis Poisson, University of Orléans（德尼·泊松研究所，奥尔良大学）；University of Toulouse, IRIT/INP-ENSEEIHT, CNRS（图卢兹大学，法国国家信息与自动化研究所/国立高等电子、电子技术、计算机与机械学院，法国国家科学研究中心）
本文提出一种基于去噪正则化（RED）的图像反演贝叶斯框架，并设计了内含Langevin Monte Carlo步骤的分裂Gibbs采样算法，通过去模糊等任务验证了其有效性。
2024-02-19 cs.CV cs.LG stat.ML
Deep Network Regularization via Bayesian Inference of Synaptic Connectivity
Cyprus University of Technology（塞浦路斯理工大学）
深度神经网络（DNN）通常需要好的正则化器来很好地泛化。目前，最先进的DNN正则化技术包括在训练算法的每次迭代中随机丢弃单元和/或连接。Dropout和DropConnect是这种正则化器的典型例子，在实践者中广泛流行。然而，这种方法的缺点在于，它们假定的随机单元/连接省略的概率是一个常数，必须基于在某个验证集中获得的性能来选择该常数。为了减轻这一负担，在本文中，我们从贝叶斯推理的角度考虑DNN正则化问题：我们在网络突触权重上施加一个稀疏诱导先验，其中稀疏性是由一组Bernoulli分布的二进制变量与其先验参数的Beta（超）先验引起的。通过这种方式，我们最终允许在DNN突触连接上进行边缘化以生成输出，从而产生一种有效的、无复杂性的网络正则化方案。我们通过一个有效的黑盒变分推理方案进行贝叶斯推理的层次模型。通过使用基准数据集进行广泛的实验评估，我们展示了我们的方法比现有方法的优势。
2018-03-04 cs.LG stat.ML
Bayesian regularization of empirical MDPs
Carnegie Mellon University（卡内基梅隆大学）；Amazon.com, Inc.（亚马逊公司）；Stanford Unviersity（斯坦福大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
在基于模型的马尔可夫决策过程的大多数应用中，未知的底层模型的参数往往是从经验数据估计。由于噪声的存在，从估计模型中学习到的策略往往与底层模型的最优策略相差甚远。当应用到底层模型的环境中时，学习到的策略会导致次优性能，因此需要具有更好泛化性能的解决方案。在这项工作中，我们采取贝叶斯的观点和规范的马尔可夫决策过程的目标函数与先验信息，以获得更强大的政策。提出了基于$L^1$正则化和基于相对熵正则化的两种方法。我们评估我们提出的算法合成模拟和现实世界中的搜索日志的大型网上购物商店。我们的研究结果证明了正则化MDP政策对模型中存在的噪声的鲁棒性。
2022-09-21 cs.LG stat.ML
AlignGuard-LoRA: Alignment-Preserving Fine-Tuning via Fisher-Guided Decomposition and Riemannian-Geodesic Collision Regularization
BITS Goa；Manipal University（曼尼帕尔大学）；Meta AI；Amazon AI
针对LoRA微调导致的对齐漂移问题，提出AlignGuard-LoRA框架，结合Fisher信息正则化与黎曼测地线碰撞正则化，在安全基准上减少最多50%的对齐漂移且不损性能，并开源实现。
2025-08-04 cs.AI cs.LG
Regularization Strategies and Empirical Bayesian Learning for MKL
The University of Tokyo（东京大学）
多核学习（MKL），结构化稀疏性和多任务学习最近受到了相当大的关注。在本文中，我们展示了如何将不同的MKL算法理解为核权重正则化或基于块范数的正则化的应用程序，这在结构化稀疏性和多任务学习中更常见。我们表明，这两个正则化策略可以系统地映射到彼此通过凹共轭运算。当基于核权重的正则化器可分离为组件时，我们可以自然地考虑MKL背后的生成概率模型。在此模型的基础上，我们提出了学习算法的核权重通过最大化的边际似然。我们通过数值实验表明，$\ell_2$ -norm MKL和弹性网络MKL实现可比的精度均匀内核组合。虽然统一的内核组合可能更简单，但$\ell_2$ -norm MKL和Elastic-net MKL可以学习表示为内核的信息源的有用性。特别是，Elastic-net MKL在内核权重中实现了稀疏性。
2011-03-02 cs.LG stat.ML
Variation Due to Regularization Tractably Recovers Bayesian Deep Learning
Netflix Research（Netflix研究）
提出基于正则化变分的RegVar方法，通过微调阶段调整训练损失来量化深度网络的不确定性，可扩展至大网络，并在极限下恢复贝叶斯拉普拉斯近似，实验验证其有效性与稳定性洞察。
2025-04-24 cs.LG stat.ML
A Bayesian regularization-backpropagation neural network model for peeling computations
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；RWTH Aachen University（亚琛工业大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Gdańsk University of Technology（格但斯克理工大学）
采用贝叶斯正则化-反向传播神经网络（BR-BPNN）模型对壁虎铲剥离过程中的最大法向和切向剥离力以及剥离合力角随剥离角的变化规律进行了预测。为了提高模型的有效性，采用了K折交叉验证方法。输入数据取自有限元（FE）剥离结果。神经网络用75%的FE数据集进行训练。剩余的25%用于预测剥离行为。针对隐层神经元数量的每次变化评估训练性能，以确定最佳网络结构。计算了相对误差，以便将预测结果与有限元结果进行比较。结果表明，BR-BPNN模型结合k-折叠技术具有显着的潜力，以估计剥离行为。
2022-01-24 cs.CE cs.LG
Neural Posterior Regularization for Likelihood-Free Inference
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；University of Seoul（首尔市立大学）；EWHA Womans University（梨花女子大学）
当感兴趣的现象再生成本很高或在相同的背景下不可再生时，模拟是有用的。最近，贝叶斯推理的模拟输入参数的分布已经实现顺序，以尽量减少所需的模拟预算的任务，模拟验证到现实世界。然而，贝叶斯推理仍然是具有挑战性的，当地面真实后验是多模态的高维模拟输出。本文介绍了一种正则化技术，即神经后验正则化（NPR），它强制模型有效地探索输入参数空间。之后，我们提供了正则化优化的封闭形式的解决方案，使分析正则化的效果。我们的经验验证，NPR达到统计上的显着增益的基准性能不同的模拟任务。
2022-11-04 cs.AI cs.LG stat.ML
Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization
University of Cambridge（剑桥大学）；The Alan Turing Institute（阿兰·图灵研究所）
本文提出贝叶斯自适应矩正则化（BAdam）方法，通过更好地约束参数增长来减少灾难性遗忘，在Split MNIST等基准上实现基于先验方法的最先进性能，且无需任务标签或离散边界。
2024-07-24 cs.LG
Bayesian and regularization approaches to multivariable linear system identification: the role of rank penalties
University of Padova（帕多瓦大学）
本文提出一种基于ℓ2正则化和秩惩罚的冲击响应估计器，用于处理多输入多输出系统中输入输出通道的耦合问题，通过优化边际似然估计超参数，实现闭式解。
2014-09-29 cs.LG cs.SY eess.SY
Bayesian Evidential Deep Learning with PAC Regularization
Heidelberg University（海德堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
本文提出了一种新的神经网络预测分布模型的方法。在量化预测不确定性时，我们建立在证据深度学习的基础上，它既易于实现，又能以封闭形式访问预测不确定性。我们用它来模拟任意的不确定性，并将其扩展到考虑到认知的不确定性，将其转换为贝叶斯神经网络。在扩展其不确定性量化功能的同时，我们通过首次执行渐进矩匹配以近似权重边缘化来保持其可分析的预测分布模型。最终的模型引入了大量的超参数来进行稳定的训练。我们克服了这个缺点，推导出一个空洞的PAC界，包括边际似然预测和复杂性惩罚。我们在回归，分类和域外检测基准上观察到，我们的方法改进了模型拟合和不确定性量化。
2021-01-21 cs.LG stat.ML
Adaptive regularization parameter selection for high-dimensional inverse problems: A Bayesian approach with Tucker low-rank constraints
School of Science, University of Science and Technology Liaoning（辽宁科技大学科学学院）
本文提出一种结合Tucker分解的变分贝叶斯方法，通过降低维度核心张量空间减少计算复杂度，引入每模式精度参数实现对各向异性结构的自适应正则化，实验显示在图像去模糊、热传导和Fredholm积分方程中均优于传统方法。
2026-03-17 cs.LG
Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization
Zhejiang University of Science and Technology（浙江科技大学）
超参数优化是机器学习中的一个关键问题，因为它的目标是在任何模型中实现最先进的性能。在这一领域人们已经做了大量的努力，如随机搜索、网格搜索、贝叶斯优化等。本文将超参数优化过程建模为马尔可夫决策过程，并采用强化学习对其进行处理。提出了一种新的基于软演员评判和分层混合正则化的超参数优化方法。实验表明，该方法能在较短的时间内获得较好的超参数。
2021-12-08 cs.AI cs.LG
Function-Space Regularization for Deep Bayesian Classification
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Darmstadt（达姆施塔特工业大学）
针对权重空间先验难以解释和设定的问题，本文提出在预测空间使用 Dirichlet 先验并进行近似函数空间变分推断，使先验可跨模型复用，并提升不确定性量化与对抗鲁棒性。
2023-07-12 cs.LG stat.ML
Least Square Variational Bayesian Autoencoder with Regularization
Indian Institute of Science, Bangalore（印度科学院）
近年来，变分自编码器（Variational Autoencoder，VAE）已成为复杂分布的最流行的无监督学习方法之一，与传统的自编码器相比，它具有更好的重构性能。变分自动编码器比MCMC有更好的近似性。VAE定义了一个生成过程，通过隐藏的随机层级联的祖先采样。它们是有向的图形模型。训练变分自动编码器以最大化变分下限。在这里，我们试图最大化可能性，同时我们也试图对数据进行良好的近似。它基本上是交易的数据对数似然和库尔贝克-莱布勒散度从真正的后验。本文描述的情况下，我们希望找到一个点估计的参数$θ$的一些参数模型中，我们产生的每个观察，首先采样的本地潜在变量，然后采样相关的观察。在这里，我们使用正则化的最小二乘损失函数在图像的重建，最小二乘损失函数被发现可以提供更好的重建图像，并具有更快的训练时间。
2017-07-11 cs.LG stat.ML
Rank regularization and Bayesian inference for tensor completion and extrapolation
University of Minnesota（明尼苏达大学）
本文提出了一种新的正则化的PARAFAC分解因子捕获张量的秩，作为完成的三路数据阵列的缺失条目的关键使能器。在贝叶斯框架中，张量完成方法结合了先验信息，以增强其平滑和预测能力。这种概率方法可以自然地适应数据分布的一般模型，从而适应各种拟合标准，从而在最大后验意义上产生最佳估计。特别是，两个算法的高斯分布和泊松分布的数据，最小化秩正则化最小二乘误差和Kullback-Leibler发散，分别设计。所提出的技术是能够恢复“地面实况”的张量秩测试时，合成数据，并完成脑成像和酵母基因表达数据集分别与50%和15%的缺失条目，导致在-10 dB和-15 dB的恢复误差。
2013-01-31 cs.IT cs.LG math.IT
Bayesian Regularization for Graphical Models with Unequal Shrinkage
Department of Statistics, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校统计学系）
我们考虑一个贝叶斯框架估计高维稀疏精度矩阵，其中自适应收缩和稀疏性诱导的拉普拉斯先验的混合物。除了讨论我们的配方从贝叶斯的角度来看，我们调查的MAP（最大后验概率）估计从惩罚的可能性的角度来看，产生了一个新的非凸罚款近似的$\ell_0$罚款。最佳的误差率估计一致性的各种矩阵范数以及稀疏结构恢复的选择一致性的唯一MAP估计在温和的条件下。为了快速有效地计算，提出了一种期望最大化算法来计算精度矩阵的MAP估计和底层稀疏结构边缘上的（近似）后验概率。通过广泛的模拟研究和实际应用的呼叫中心数据，我们已经证明了我们的方法与现有的替代品相比，优良的性能。
2018-05-20 cs.LG math.ST stat.CO
Overcoming Catastrophic Forgetting by Generative Regularization
UCLA（加州大学洛杉矶分校）；Google Cloud（谷歌云）；Google Brain（谷歌大脑）
本文提出了一种新的方法来克服灾难性遗忘通过添加生成正则化贝叶斯推理框架。贝叶斯方法为持续学习提供了一个通用框架。我们可以进一步为所有给定的分类模型构建一个生成正则化项，通过利用基于能量的模型和Langevin动态采样来丰富每个任务中学习到的特征。通过将区分性损失和生成性损失结合在一起，我们的经验表明，所提出的方法在各种任务上优于最先进的方法，避免了持续学习中的灾难性遗忘。特别是，该方法优于基线方法超过15%的时尚MNIST数据集和10%的CUB数据集
2021-06-19 cs.LG stat.ML
Bayesian Neural Networks With Maximum Mean Discrepancy Regularization
Sapienza University of Rome（罗马第一大学）
贝叶斯神经网络（BNN）被训练以优化其权重的整个分布而不是单个集合，在例如以下方面具有显著的优点：可解释性、多任务学习和校准。由于所产生的优化问题的棘手性，大多数BNN要么通过Monte Carlo方法进行采样，要么通过最小化变分近似的合适证据下限（ELBO）进行训练。在本文中，我们提出了后者的一个变体，其中我们取代了Kullback-Leibler发散的ELBO项与最大平均离散（MMD）估计，最近的工作在变分推理的启发。在激励我们的建议的基础上的MMD项的属性，我们继续展示了一些经验的优势，所提出的配方在国家的最先进的。特别是，我们的BNN实现更高的精度在多个基准，包括几个图像分类任务。此外，它们对权重的先验选择更鲁棒，并且它们被更好地校准。作为第二个贡献，我们提供了一个新的公式来估计给定预测的不确定性，表明它以更强大的方式对抗对抗攻击和在其输入上注入噪声，与更经典的标准（如微分熵）相比。
2020-09-30 cs.LG stat.ML
Bayesian Structure Learning for Markov Random Fields with a Spike and Slab Prior
University of California, Irvine（加州大学欧文分校）
近年来，已经开发了许多方法来自动学习马尔可夫随机场的（稀疏）连接结构。这些方法大多基于L1正则化优化，其具有许多缺点，例如无法评估模型的不确定性和昂贵的交叉验证以找到最佳正则化参数。此外，模型的预测性能可能会随着正则化参数的次优值（有时需要引入稀疏性）而急剧下降。我们提出了一个完全贝叶斯方法的基础上的“尖峰和板坯”前（类似于L0正则化），不受这些缺点。我们开发了一个近似MCMC方法结合朗之万动力学和可逆跳MCMC进行推断在这个模型。实验表明，该模型学习的结构和参数值的良好组合，而不需要单独的超参数调整。此外，该模型的预测性能比基于L1的方法更鲁棒，超参数设置会导致高度稀疏的模型结构。
2012-06-23 cs.LG stat.ML
Bayesian Structure Learning for Markov Random Fields with a Spike and Slab Prior
University of California, Irvine（加州大学欧文分校）
近年来，已经开发了许多方法来自动学习马尔可夫随机场的（稀疏）连接结构。这些方法大多基于L1正则化优化，其具有许多缺点，例如无法评估模型的不确定性和昂贵的交叉验证以找到最佳正则化参数。此外，模型的预测性能可能会随着正则化参数的次优值（有时需要引入稀疏性）而急剧下降。我们提出了一个完全贝叶斯方法的基础上的“尖峰和板坯”前（类似于L0正则化），不受这些缺点。我们开发了一个近似MCMC方法结合朗之万动力学和可逆跳MCMC进行推断在这个模型。实验表明，该模型学习的结构和参数值的良好组合，而不需要单独的超参数调整。此外，该模型的预测性能比基于L1的方法更鲁棒，超参数设置会导致高度稀疏的模型结构。
2014-08-09 cs.LG stat.ML
An Equivalence between Bayesian Priors and Penalties in Variational Inference
Université Paris-Saclay（巴黎萨克雷大学）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）；Meta AI Research（元人工智能研究部门）
本文证明了变分推断中贝叶斯先验与正则化惩罚之间的等价性，给出了从惩罚计算先验的系统方法，并揭示了保持贝叶斯性质的约束条件。
2024-02-07 cs.LG math.ST stat.ML
Quantization-Based Regularization for Autoencoders
KTH Royal Institute of Technology（瑞典皇家理工学院）；Research Institutes of Sweden（瑞典研究机构）
自动编码器及其变体提供了无监督模型，用于学习下游任务的低维表示。如果没有适当的正则化，自动编码器模型容易受到过拟合问题和所谓的后验崩溃现象的影响。在本文中，我们在自动编码器模型的瓶颈阶段引入了一个基于量化的正则化器来学习有意义的潜在表示。我们结合了矢量量化-变分自编码器（VQ-VAE）和神经网络的经典去噪正则化方法。我们将量化器解释为正则化器，其约束潜在表示，同时在编码器处促进保持相似性的映射。在量化之前，我们对潜在代码施加噪声，并使用贝叶斯估计器来优化基于量化器的表示。引入的瓶颈贝叶斯估计器输出的后验均值的质心的解码器，因此，正在执行软量化的噪声潜在的代码。我们表明，我们提出的正则化方法相比，使用其他瓶颈结构的自动编码器，在改进的潜在表示的监督学习和集群下游任务。
2020-01-22 cs.LG stat.ML
Understanding Priors in Bayesian Neural Networks at the Unit Level
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）；University of Granada（格拉纳达大学）
我们研究了具有高斯权重先验和一类ReLU非线性的深度贝叶斯神经网络。众所周知，具有高斯先验的贝叶斯神经网络会引起L2，“权重衰减”，正则化。我们的研究结果表征了一个更复杂的正则化效应的水平上的单位激活。我们的主要结果建立了诱导先验分布的单位之前和之后的激活变得越来越重尾层的深度。我们发现，第一层单位是高斯，第二层单位是次指数，和单位在更深的层的特点是分韦布尔分布。我们的研究结果为深度贝叶斯神经网络提供了新的理论见解，并与模拟实验进行了验证。
2019-05-10 cs.LG stat.ML
Revised Regularization for Efficient Continual Learning through Correlation-Based Parameter Update in Bayesian Neural Networks
IIT Bombay（印度理工学院孟买分校）
本文提出一种基于贝叶斯神经网络和变分推断的持续学习方法，通过参数分布学习降低存储、引入修正正则化项及重要性加权证据下界来缓解灾难性遗忘，并在多种数据集上验证了其优越性能。
2024-11-21 cs.CV cs.LG
Bayesian Low-rank Matrix Completion with Dual-graph Embedding: Prior Analysis and Tuning-free Inference
The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）
最近，通过双图正则化的镜头，基于低秩矩阵完成的无监督学习重新引起了人们的兴趣，它显著提高了多学科机器学习任务的性能，例如推荐系统，基因型填充和图像修补。虽然双图正则化贡献了成功的主要部分，但通常涉及计算成本高的超参数调整。为了克服这一缺陷，提高矩阵完备化的性能，提出了一种新的贝叶斯学习算法，该算法能够自动学习与对偶图正则化相关的超参数，同时保证矩阵完备化的低秩性.值得注意的是，一个新的先验设计，以促进低秩矩阵和编码的双图信息的同时，这是更具有挑战性的单图。一个非平凡的条件共轭之间的建议先验和似然函数，然后探索，从而得到一个有效的算法下变分推理框架。使用合成和真实世界的数据集进行的大量实验证明了所提出的学习算法在各种数据分析任务中的最新性能。
2022-09-05 cs.LG math.PR
Walsh-Hadamard Variational Inference for Bayesian Deep Learning
EURECOM（欧洲通信学院）
过度参数化的模型，如DeepNets和ConvNets，形成了一类在各种应用中常规采用的模型，并且贝叶斯推断是可取的，但极具挑战性。变分推断提供了以可扩展的方式解决这一挑战的工具，并且在近似上具有一定程度的灵活性，但是对于过参数化模型，由于变分目标的过度正则化属性，这是具有挑战性的。受核方法的文献，特别是随机矩阵分布的结构化近似的启发，本文提出了Walsh-Hadamard变分推断（WHVI），它使用基于Walsh-Hadamard的因子分解策略来减少参数化和加速计算，从而避免了变分目标的过度正则化问题。广泛的理论和实证分析表明，WHVI产生相当大的加速比和模型减少相比，其他技术进行近似推理过参数化模型，并最终显示如何在核方法的进步可以转化为近似贝叶斯推断的进步。
2020-11-23 cs.LG stat.ML
Scale invariant process regression: Towards Bayesian ML with minimal assumptions
Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心（BCAI））
当前用于机器学习中的正则化的方法需要非常具体的模型假设（例如，核形状），这些模型假设不是从关于应用的先验知识导出的，而是必须仅仅为了使方法工作而强加的。在本文中，我们证明了正则化确实可以通过假设不变性原理（w.r.t.输入和输出空间的缩放、平移和旋转）以及真实函数的可微程度。具体地说，我们从上述最小假设导出了一个新的（非高斯）随机过程，并给出了相应的回归贝叶斯推断方法。平均后验结果是一个多调和样条，后验过程是一个混合的t-过程。与高斯过程回归相比，该方法表现出相同的性能，并具有以下优点：（i）较少的任意性（无需选择核）;（ii）潜在的更快（无需核参数优化）;（iii）具有更好的外推行为。我们相信，所提出的理论对于正则化和机器学习的概念基础具有核心重要性，并且具有巨大的潜力，可以在回归之外的ML领域取得实际进展。
2022-10-29 cs.LG math.ST stat.ML
Structured Dropout Variational Inference for Bayesian Neural Networks
VinAI Research（VinAI研究院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Hanoi University of Science and Technology（河内科技大学）
贝叶斯深度网络中的近似推理表现出如何在保持计算效率和可扩展性的同时产生高保真后验近似的困境。我们通过引入一种新颖的变分结构逼近来应对这一挑战，该逼近的灵感来自Dropout正则化的贝叶斯解释。具体地说，我们重点研究了Dropout后验模型中因子分解结构的可分解性，并提出了一种改进的方法，称为变分结构Dropout（VSD）。VSD采用正交变换来学习具有合理复杂度的变分高斯噪声的结构化表示，从而在近似后验中引入统计依赖性。从理论上讲，VSD成功地解决了以前的变差丢弃方法的病理，从而提供了一个标准的贝叶斯理由。我们进一步表明，VSD诱导自适应正则化项与几个理想的属性，有助于更好的推广。最后，我们进行了广泛的实验，标准的基准测试，以证明VSD的有效性超过国家的最先进的变分方法的预测精度，不确定性估计，和分布外检测。
2021-10-29 cs.LG stat.ML
Block-Term Tensor Decomposition Model Selection and Computation: The Bayesian Way
Johns Hopkins University（约翰斯·霍普金斯大学）；National Observatory of Athens（雅典国家天文台）；University of Piraeus（比雷埃夫斯大学）；Computer Technology Institute & Press “Diophantus”（“丢番图”计算机技术研究所与出版社）
所谓的块项分解（BTD）张量模型，特别是在其秩- $(L_r,L_r,1)$版本中，由于其增强的表示由秩高于1的\emph{blocks}组成的系统和信号的能力，最近受到越来越多的关注，这是在许多不同的应用中遇到的情况。因此，对唯一性条件和拟合方法进行了深入的研究。然而，估计BTD模型结构的挑战性问题，即块项的数量，$R$，以及它们的各个秩，$L_r$，直到最近才开始引起人们的极大关注，主要是通过基于正则化的方法，这需要调整正则化参数。在这项工作中，我们建立在稀疏贝叶斯学习（SBL）的思想，并提出了一个完全自动化的贝叶斯方法。通过一个适当制作的多层次\emph{hierarchical}概率模型，它产生了重尾先验分布的BTD因素，结构稀疏性是\emph{jointly}强加。然后根据不可忽略能量的块数（$R$）和列数（$L_r$）估计等级。在变分推断框架内实现了近似后验推理。由此产生的迭代算法完全避免了超参数调整，这是基于正则化的方法的一个显著缺陷。替代的概率模型也进行了探讨，并与他们的正规化为基础的同行的连接带来光与相关的最大后验（MAP）估计的帮助。我们报告的模拟结果与合成和真实的字数据，这表明所提出的方法的优点，在秩估计和模型拟合相比，国家的最先进的相关方法。
2021-07-05 cs.LG cs.NA math.NA
Bayesian Graph Neural Networks with Adaptive Connection Sampling
Texas A&M University（德克萨斯A&M大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一个统一的框架，自适应连接采样的图神经网络（GNNs），概括了现有的随机正则化方法训练GNNs。所提出的框架不仅消除了深度GNN的过度平滑和过度拟合趋势，而且还可以在使用GNN的图分析任务中进行不确定性学习。与现有随机正则化方法中使用固定采样率或手动调整它们作为模型超参数不同，我们的自适应连接采样可以与GNN模型参数以全局和局部方式联合训练。使用自适应连接采样的GNN训练在数学上等价于训练贝叶斯GNN的有效近似。在基准数据集上进行消融研究的实验结果验证了自适应学习给定图训练数据的采样率是提高GNNs在半监督节点分类中性能的关键，不易于过平滑和过拟合，具有更强大的预测能力。
2020-06-30 cs.LG stat.ML
Diversity-Promoting Bayesian Learning of Latent Variable Models
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；Petuum Inc.（Petuum 公司）
为了解决隐变量模型（LVMs）中涉及的三个重要问题，包括捕获不频繁模式、实现小规模但具有表达力的模型和减轻过拟合，一些研究致力于“多样化”LVMs，旨在鼓励LVMs中的组件多样化。大多数现有的研究都属于频率主义风格的正则化框架，其中组件是通过点估计来学习的。在本文中，我们研究了如何在贝叶斯学习的范式中“多样化”LVMs。我们提出了两种具有互补优势的方法。一种是定义一个多样性促进的相互角先验，它将较大的密度分配给具有较大相互角的分量，并使用此先验通过贝叶斯规则影响后验。我们开发了两个有效的近似后验推理算法的基础上变分推理和MCMC抽样。另一种方法是直接在组件的后数据分布上施加多样性促进正则化。我们还扩展了我们的方法，“多样化”贝叶斯非参数模型的组件的数量是无限的。提出了一种基于切片采样和哈密顿蒙特卡罗的采样算法。我们将这些方法应用于“多样化”贝叶斯混合专家模型模型和无限潜在特征模型。在不同数据集上的实验证明了该方法的有效性和效率。
2017-11-23 cs.LG stat.ML
Revisiting Explicit Regularization in Neural Networks for Well-Calibrated Predictive Uncertainty
ESTsoft（ESTsoft公司）
从统计学习的角度来看，通过显式正则化的复杂性控制是提高过参数化模型泛化能力的必要条件。然而，仅使用隐式正则化的神经网络令人印象深刻的泛化性能可能与这种传统智慧不一致。在这项工作中，我们重新审视了显式正则化的重要性，以获得良好的校准预测的不确定性。具体来说，我们引入了校准性能的概率度量，这是由对数似然下界。然后，我们探索显式正则化技术，以提高未见过的样本的对数似然，这提供了良好的校准预测的不确定性。我们的研究结果提出了一个新的方向，以提高确定性神经网络的预测概率质量，这可以是一个有效的和可扩展的替代贝叶斯神经网络和集成方法。
2021-02-06 cs.LG stat.ML
A Variational Bayesian Approach for Image Restoration. Application to Image Deblurring with Poisson-Gaussian Noise
University Paris-Est（巴黎东大学）；IBM Research China（IBM中国研究院）；CentraleSupelec（中央理工-高等电力学院）；University Paris-Saclay（巴黎萨克雷大学）
在本文中，一种方法是研究在非高斯噪声的存在下的信号恢复。与文献中经常采用的正则化最小化方法相比，在我们的算法中，正则化参数是从观测值可靠地估计的。由于后验密度的未知参数是解析棘手的，估计问题是来自变分贝叶斯框架，其目标是提供一个很好的近似的后验分布，以计算后验均值估计。此外，一个majorization技术是用来规避的困难所提出的复杂形式的非高斯似然和先验密度。我们证明了所提出的方法的潜力，通过比较与国家的最先进的技术，是专门针对混合泊松-高斯噪声的存在下的信号恢复。结果表明，所提出的方法是有效的，并实现与其他方法的正则化参数是手动调整地面真相的性能相当。
2017-01-20 cs.LG math.OC stat.ML
