PAC-Bayesian Margin Bounds for Convolutional Neural Networks
LTS2;EPFL(洛桑联邦理工学院);IDCOM;University of Edinburgh(爱丁堡大学)
最近,深度神经网络的泛化误差已经通过PAC-Bayesian框架进行了分析,对于全连接层的情况。我们将这种方法适用于卷积设置。
2018-04-20 cs.LG stat.ML
PAC-Bayesian Transportation Bound
IBM Research(IBM研究院)
经验上,已知PAC-Bayesian分析为实际机器学习算法产生严格的风险界限。然而,在其朴素的形式,它只能处理随机预测,而这样的预测很少使用和确定性预测往往在实践中表现良好。为了填补这一空白,我们开发了一个新的泛化误差界,PAC-Bayesian运输界,统一的PAC-Bayesian分析和链接方法的最优运输。它是第一个PAC-Bayesian界,根据它们的距离将任何两个预测变量的风险联系起来,并且能够评估面临连续损失函数的随机预测变量的去随机化成本。作为一个例子,我们给出了一个上界的谱归一化神经网络(NN)的去随机化成本,以评估有多少随机性有助于NN的推广。
2019-11-21 cs.LG stat.ML
PAC-Bayesian theory for stochastic LTI systems
Aalborg University(奥尔堡大学);Laboratoire Signal et Automatique de Lille (CRIStAL)(里尔信号与自动化实验室(CRIStAL))
在本文中,我们得到了一个PAC贝叶斯误差界自治随机LTI状态空间模型。推导这种误差界的动机是,它们将允许推导更一般的动力系统,包括递归神经网络类似的误差界。反过来,PACBayesian误差界已知对于分析机器学习算法和导出新算法是有用的。
2021-03-25 cs.LG stat.ML
PAC-Bayesian Analysis of Martingales and Multiarmed Bandits
Max Planck Institute(马克斯·普朗克研究所);Université Laval(拉瓦尔大学);University College London(伦敦大学学院);University of Leoben(莱奥本大学)
我们提出了两种替代的方法来应用PAC贝叶斯分析的相依随机变量序列。第一个是基于一个新的引理,使约束期望的凸函数的某些依赖随机变量的期望相同的功能的独立伯努利随机变量。这个引理为Hoeffding-Azuma不等式提供了一个替代工具,以限制鞅值的集中。我们的第二种方法是基于整合Hoeffding-Azuma不等式与PAC-Bayesian分析。我们还介绍了一种方法,应用PAC贝叶斯分析的情况下,有限的反馈。我们结合新的工具,以获得PAC贝叶斯推广和遗憾界的多臂强盗问题。虽然我们的遗憾边界还没有像基于其他成熟技术的最先进的遗憾边界那样紧密,但我们的结果显着扩展了PAC贝叶斯分析的潜在应用范围,并为强化学习和许多其他领域引入了一种新的分析工具,其中遇到了鞅和有限反馈。
2011-05-19 cs.LG stat.ML
PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime
Google Research(谷歌研究院)
贝叶斯后验最小化“推断风险”,其本身限制了“预测风险”。当可能性和先验信息明确指定时,该界限很紧。然而,由于误设定导致间隙,贝叶斯后验预测分布可能具有较差的泛化性能。这项工作开发了一个多样本损失(PAC $^m$),它可以通过跨越两个风险之间的权衡来缩小差距。损失是计算上有利的,并提供PAC泛化保证。实证研究表明,改善的预测分布。
2022-05-23 cs.LG stat.ML
Wide stochastic networks: Gaussian limit and PAC-Bayesian training
University of Oxford(牛津大学)
无限宽度的限制允许在过参数化神经网络的分析研究中进行实质性的简化。通过适当的随机初始化,一个非常大的网络表现出近似高斯的行为。在目前的工作中,我们建立了一个简单的随机结构,其参数是随机变量,在训练前和训练过程中保持类似的结果。输出分布的显式评估允许PAC-贝叶斯训练过程直接优化泛化边界。对于一个大型但有限宽度的网络,我们在MNIST上凭经验证明,这种训练方法可以优于标准的PAC-Bayesian方法。
2023-02-13 cs.LG stat.ML
Self-Bounding Majority Vote Learning Algorithms by the Direct Minimization of a Tight PAC-Bayesian C-Bound
Univ Lyon, UJM-Saint-Etienne, CNRS, Institut d Optique Graduate School, Laboratoire Hubert Curien UMR 5516(里昂大学,圣艾蒂安大学,法国国家科学研究中心,光学研究所研究生院,于贝尔·居里安实验室);Université Laval(拉瓦尔大学)
在PAC-Bayesian文献中,C-Bound是指多数投票分类器的风险(在0 - 1损失下)与其边际的前两个时刻(即,(1)选民的期望差距和选民的多样性。到目前为止,在这个框架中开发的学习算法最小化的经验版本的C-界,而不是显式的PAC贝叶斯泛化界。在本文中,通过直接优化PAC-Bayesian保证的C-界,我们得到了自约束多数投票学习算法。此外,我们基于梯度下降的算法是可扩展的,并导致准确的预测与非空保证配对。
2021-08-31 cs.LG stat.ML
Dichotomize and Generalize: PAC-Bayesian Binary Activated Deep Neural Networks
Université Laval(拉瓦尔大学);Inria(法国国家信息与自动化研究所);University College London(伦敦大学学院)
我们提出了一个全面的研究多层神经网络与二进制激活,依赖于PAC贝叶斯理论。我们的贡献是双重的:(i)我们开发了一个端到端的框架来训练二进制激活的深度神经网络,(ii)我们为二进制激活的深度神经网络提供了非空的PAC-贝叶斯泛化界。我们的结果是通过最小化二进制激活的深度神经网络的结构相关聚合的预期损失来获得的。我们的分析内在地克服了二元激活函数不可微的事实。我们的方法的性能进行了评估,在现实生活中的数据集上的一个彻底的数值实验协议。
2020-02-04 cs.LG stat.ML
Efron-Stein PAC-Bayesian Inequalities
DeepMind
证明了随机变量为独立随机变量的可能非线性函数的半经验集中不等式。这些不等式描述的浓度的随机变量的数据/分布相关的Efron-Stein(ES)估计的方差,他们不需要任何额外的假设的时刻。特别是,这使我们能够陈述无界随机变量一般函数的半经验伯恩斯坦型不等式,这为相关方法(例如有界差)可能应用起来更具挑战性的情况提供了用户友好的浓度界限。我们将这些结果扩展到Efron-Stein PAC-贝叶斯不等式,该不等式适用于任意概率核,定义了一个随机的,数据相关的函数选择。最后,我们展示了一些应用程序,包括PAC贝叶斯推广界的无界损失函数,经验伯恩斯坦型推广界,新的截断自由界的政策外评估加权重要性采样(WIS),和政策外PAC贝叶斯学习与WIS。
2020-02-03 cs.LG stat.ML
A PAC-Bayesian Generalization Bound for Equivariant Networks
Qualcomm AI Research(高通人工智能研究院)
等变网络通过将这些对称性构建到模型中来捕获关于学习任务对称性的归纳偏差。本文利用PAC贝叶斯分析方法研究了等变网络中特征空间的变换规律由群表示确定时,等变网络的等变与泛化误差的关系。通过对每一层的傅立叶域中的等变网络进行扰动分析,我们得到了基于范数的PAC-Bayesian推广界。该界表征了群体规模、不可约表示的多重性和程度对泛化误差的影响,从而为选择它们提供了指导。在一般情况下,界限表明,在模型中使用更大的组大小改善了泛化误差证实了广泛的数值实验。
2022-10-24 cs.LG stat.ML
An Improvement to the Domain Adaptation Bound in a PAC-Bayesian context
Université Laval(拉瓦尔大学);Univ. of St-Etienne(圣艾蒂安大学)
本文基于PAC-Bayesian理论对领域自适应进行了理论分析。我们提出了一个改进以前的域自适应界得到的Germain等人。在两个方面。我们首先给出了另一个更紧、更易于解释的泛化界。此外,我们提供了一个新的分析的常数项出现在界,可以开发新的算法解决方案的高度兴趣。
2015-01-13 cs.LG stat.ML
Risk Bounds for the Majority Vote: From a PAC-Bayesian Analysis to a Learning Algorithm
Université Laval(拉瓦尔大学)
我们提出了一个广泛的分析行为的多数票在二进制分类。特别是,我们引入了一个风险约束的多数票,称为C界,考虑到选民的平均质量和他们的平均分歧。我们还提出了一个广泛的PAC-Bayesian分析,展示了如何从训练数据中包含的各种观察来估计C界。该分析旨在是独立的,可以用作PAC贝叶斯统计学习理论的介绍材料。它从一般的PAC-Bayesian角度开始,并以不常见的PAC-Bayesian边界结束。其中一些边界不包含库尔贝克-莱布勒散度,而另一些边界允许将内核函数用作投票者(通过样本压缩设置)。最后,在分析的基础上,我们提出了MinCq学习算法,该算法基本上最小化了C界。MinCq简化为一个简单的二次规划。除了理论上的基础,MinCq实现了最先进的性能,如我们与AdaBoost和支持向量机的广泛实证比较所示。
2015-07-28 cs.LG stat.ML
A New PAC-Bayesian Perspective on Domain Adaptation
INRIA, SIERRA Project-Team(法国国家信息与自动化研究所,SIERRA项目组);D.I., Ecole Normale Superieure(巴黎高等师范学校计算机科学系);Univ Lyon, UJM-Saint-Etienne, CNRS, IOGS, Laboratoire Hubert Curien UMR 5516(里昂大学,圣艾蒂安让·莫内大学,法国国家科学研究中心,IOGS,于贝尔·居里安实验室);Université Laval(拉瓦尔大学)
我们研究PAC-Bayesian域自适应问题:我们希望从源域学习一个专用于目标域的多数投票模型。我们的理论贡献带来了一个新的视角,推导出一个上限的目标风险分布的分歧-表示为一个比率-控制之间的权衡源误差测量和目标选民的分歧。我们的界表明,一个人必须关注的区域,源数据是信息。从这个结果,我们得到了一个PAC贝叶斯泛化界,并专门用于线性分类器。然后,我们推导了一个学习算法,并在真实数据上进行了实验。
2016-07-26 cs.LG stat.ML
PAC-Bayesian Analysis of the Exploration-Exploitation Trade-off
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Università degli Studi di Milano(米兰大学);Université Laval(拉瓦尔大学);University of Leoben(莱奥本大学);University College London(伦敦大学学院)
我们开发了一个连贯的框架,综合同时分析的勘探开发和模型顺序选择的权衡。我们改进了我们以前在同一主题上的结果(Seldin等人,2011)通过结合PAC-Bayesian分析和鞅的Bernstein型不等式。这样的组合对于研究多个同时发展的鞅也有独立的意义。
2011-05-23 cs.LG stat.ML
PAC-Bayesian bounds for learning LTI-ss systems with input from empirical loss
Aalborg University(奥尔堡大学);Laboratoire Signal et Automatique de Lille (CRIStAL)(里尔信号与自动化实验室(CRIStAL))
在本文中,我们得到了一个可能近似正确(PAC)的贝叶斯误差界的线性时不变(LTI)随机动力系统的输入。这样的界限在机器学习中很普遍,它们对于表征从大量数据点学习的模型的预测能力很有用。特别是,本文导出的边界将未来的平均预测误差与模型在用于学习的数据上产生的预测误差联系起来。反过来,这使我们能够提供有限样本误差界的广泛的学习/系统识别算法。此外,由于LTI系统是递归神经网络(RNN)的一个子类,这些误差范围可能是RNN迈向PAC-贝叶斯边界的第一步。
2023-03-29 cs.LG stat.ML
Uniform Generalization Bounds on Data-Dependent Hypothesis Sets via PAC-Bayesian Theory on Random Sets
INRIA(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学);Univ Rennes(雷恩大学);CNRS(法国国家科学研究中心);University of Oxford(牛津大学)
本文通过将PAC-Bayesian理论严格应用于随机集,提出数据依赖的统一泛化界,并用于统一基于分形维数的泛化界及证明Langevin动力学轨迹上的新泛化性质。
2025-02-10 cs.LG stat.ML
Shedding a PAC-Bayesian Light on Adaptive Sliced-Wasserstein Distances
Flatiron Institute(熨斗研究所);MIT(麻省理工学院);Criteo AI Lab(科韬人工智能实验室)
本文利用PAC-贝叶斯理论为自适应切片-Wasserstein距离建立泛化界,并提出通过优化理论界学习最具判别力的切片分布,辅以实验验证。
2023-05-31 cs.LG stat.ML
Improved PAC-Bayesian Bounds for Linear Regression
INRIA Lille Nord-Europe(法国国家信息与自动化研究所里尔-北欧分部);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);CRIStAL - Centre de Recherche en Informatique Signal et Automatique de Lille(里尔信息、信号与自动化研究中心)
本文改进了Germain等人[10]中线性回归的PAC-Bayesian误差界。改进是双重的。首先,所提出的误差界更紧,并收敛到推广损失与一个精心选择的温度参数。第二,误差界也适用于不是独立采样的训练数据。特别是,误差界适用于某些时间序列所产生的众所周知的类的动态模型,如ARX模型。
2019-12-06 cs.LG stat.ML
Statistical Guarantees for Variational Autoencoders using PAC-Bayesian Theory
Université Laval(拉瓦尔大学);McGill University(麦吉尔大学)
本文利用 PAC-Bayesian 理论推导以单样本条件后验为对象的首个界,并据此为 VAE 的重建损失、分布距离及生成分布的 Wasserstein 距离提供统计保证。
2023-12-07 cs.LG stat.ML
PAC-Bayesian Domain Adaptation Bounds for Multi-view learning
Galilé Group(加利莱集团);Université Lyon 1(里昂第一大学);LIRIS(里昂信息与图像研究实验室)
本文针对多视图学习中的域适应问题,提出基于Pac-Bayesian理论的泛化界分析方法,通过引入适用于多视图域适应的新距离度量,并给出相应的Pac-Bayesian界估计,整合了两种分离的研究范式。
2024-01-02 cs.LG stat.ML
Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice
ETH Zurich(苏黎世联邦理工学院);EPFL Lausanne(洛桑联邦理工学院);Helmholtz AI(亥姆霍兹人工智能);TU Munich(慕尼黑工业大学)
本文通过PAC-贝叶斯理论推导出最优超后验PACOH的闭式解,提出可扩展的元学习方法,避免双层优化,实验表明其在预测精度和不确定性估计上达到最先进水平。
2023-12-22 cs.LG stat.ML
Conditionally Gaussian PAC-Bayes
University of Oxford(牛津大学)
最近的研究经验调查不同的方法来训练随机神经网络的分类任务,通过优化PAC贝叶斯约束通过随机梯度下降。这些程序中的大多数都需要用替代损失来替换误分类错误,从而导致优化目标与实际泛化范围之间的不匹配。本文提出了一种新的训练算法,优化PAC贝叶斯界,而不依赖于任何代理损失。实验结果表明,该方法优于目前可用的PAC-Bayesian训练方法。
2022-02-24 cs.LG stat.ML
SMAC3: A Versatile Bayesian Optimization Package for Hyperparameter Optimization
Leibniz University Hannover(莱布尼茨汉诺威大学);University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
算法参数,特别是机器学习算法的超参数,可以显著影响它们的性能。为了支持用户为其算法、数据集和应用程序确定性能良好的超参数配置,SMAC3为贝叶斯优化提供了一个强大而灵活的框架,可以在几次评估中提高性能。它为典型用例提供了几个外观和预设,例如优化超参数,解决低维连续(人工)全局优化问题,以及配置算法以在多个问题实例中表现良好。SMAC3软件包可以在https://github.com/automl/SMAC3上获得许可的BSD许可证。
2022-02-08 cs.LG stat.ML
A PAC-Bayesian Analysis of Distance-Based Classifiers: Why Nearest-Neighbour works!
摘要本文给出了K-近邻分类器(K-NN)泛化误差的PAC-贝叶斯界。这是通过铸造的K-NN分类到核空间框架的限制消失的核带宽。我们建立了核展开系数上的先验测度与核空间权向量上的诱导测度之间的关系。在系数上定义稀疏先验允许应用PAC-贝叶斯民间定理,该定理导致作为冗余训练样本的数量的函数的泛化界:那些可以被省略而不改变解决方案的训练样本。所提出的界限需要量化的解决方案的稀疏性的先验信念,并在学习后的实际冗余水平是已知的。即使对于小样本量(m ~ 100),当期望稀疏度和实际冗余度都很高时,该界也给出了非平凡的结果。
2021-09-28 cs.LG stat.ML
A PAC-Bayesian bound for Lifelong Learning
IST Austria (Institute of Science and Technology Austria)(奥地利科学技术研究所)
在过去的几年里,迁移学习在机器学习社区中受到了很多关注,并且已经开发了几种有效的算法。然而,人们对它们的理论特性知之甚少,特别是在终身学习的背景下,其目标是将信息转移到迄今为止没有观察到数据的任务中。在这项工作中,我们从理论的角度研究终身学习。我们的主要结果是一个PAC贝叶斯泛化界,提供了一个统一的观点现有的范式迁移学习,如参数的转移或低维表示的转移。我们还使用的约束,以获得两个原则性的终身学习算法,我们表明,这些结果与现有的方法相媲美。
2014-05-10 cs.LG stat.ML
PAC-Bayesian Learning of Optimization Algorithms
University of Tübingen(蒂宾根大学)
我们将PAC-Bayes理论应用于学习优化的设置。据我们所知,我们提出了第一个框架来学习优化算法与可证明的泛化保证(PAC界)和明确的高概率收敛和高收敛速度之间的权衡。即使在极限的情况下,收敛性得到保证,我们学到的优化算法证明优于相关算法的基础上(确定性)的最坏情况分析。我们的研究结果依赖于PAC贝叶斯界一般,无界损失函数的指数家庭的基础上。通过推广现有的想法,我们重新制定的学习过程成一个一维的最小化问题,并研究的可能性,找到一个全局最小值,这使得算法实现的学习过程。作为概念验证,我们学习标准优化算法的超参数,以经验方式强调我们的理论。
2023-02-15 cs.LG stat.ML
A combinatorial conjecture from PAC-Bayesian machine learning
University of Hawaii Manoa(夏威夷大学马诺阿分校);Coveo Solutions Inc.(Coveo解决方案公司)
我们提出了一个证明的组合猜想从第二作者的博士学位。论文证明依赖于二项式和多项式和身份。我们还讨论了PAC贝叶斯机器学习的上下文中的相关性的猜想。
2020-06-04 cs.LG math.CO stat.ML
PAC-Bayesian Bound for the Conditional Value at Risk
The Australian National University(澳大利亚国立大学);Data61;Inria(法国国家信息与自动化研究所);University College London(伦敦大学学院)
条件风险价值(CVaR)是一类推广了传统数学期望的“一致性风险度量”。它广泛应用于数学金融学,在机器学习中引起了越来越多的兴趣,例如,作为正规化的一种替代方法,并作为确保公平的一种手段。本文提出了一个广义界的学习算法,最大限度地减少经验损失的CVaR。该界是PAC-Bayesian型的,当经验CVaR较小时,该界保证较小。我们通过将估计CVaR的问题简化为仅仅估计期望值来实现这一点。这使我们能够,作为一个副产品,即使在所讨论的随机变量是无界的CVaR的浓度不等式。
2020-06-26 cs.LG stat.ML
PAC-Bayesian Theorems for Domain Adaptation with Specialization to Linear Classifiers
INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);Univ Lyon(里昂大学);UJM-Saint-Etienne(圣艾蒂安大学);CNRS(法国国家科学研究中心);Institut d’Optique Graduate School(光学研究所研究生院);Université Laval(拉瓦尔大学)
在本文中,我们提供了两个主要贡献PAC贝叶斯理论域适应的目标是学习,从一个源分布,一个表现良好的多数票在不同的目标分布。一方面,我们提出了对Germain等人(2013)提出的先前方法的改进,该方法依赖于基于不一致平均的新分布伪距离,使我们能够为随机Gibbs分类器推导出一个新的更严格的PAC-Bayesian域自适应边界。我们将其专门用于线性分类器,并设计了一种学习算法,该算法在合成问题和流行的情感注释任务上显示了有趣的结果。另一方面,我们将这些结果推广到多频域适应,使我们能够考虑到不同的源域。这项研究打开了大门,以解决域适应任务,利用所有的PAC贝叶斯工具。
2016-08-09 cs.LG stat.ML
Analyzing Lottery Ticket Hypothesis from PAC-Bayesian Theory Perspective
The University of Tokyo(东京大学)
彩票假说(LTH)因其能解释过参数模型为何表现出较高的泛化能力而受到关注。众所周知,当我们使用迭代幅度修剪(IMP)时,这是一种寻找具有高泛化能力的稀疏网络的算法,可以从初始权重独立训练,称为中奖票,初始大学习率在ResNet等深度神经网络中效果不佳。然而,由于初始大的学习率通常有助于优化器收敛到更平坦的最小值,因此我们假设中奖彩票具有相对尖锐的最小值,这被认为是泛化能力方面的缺点。在本文中,我们证实了这一假设,并表明,PAC贝叶斯理论可以提供一个明确的理解LTH和泛化行为之间的关系。我们的实验结果的基础上,平坦度是有用的,以提高准确性和鲁棒性的标签噪声和距离的初始权重是深入参与中奖门票,我们提供了PAC贝叶斯界使用尖峰和板分布分析中奖门票。最后,我们重新审视现有的算法,从PAC贝叶斯的角度寻找中奖彩票,并提供新的见解,这些方法。
2022-09-28 cs.LG stat.ML
PAC-Bayesian Learning and Domain Adaptation
Université Laval(拉瓦尔大学);Laboratoire Hubert Curien UMR CNRS 5516(于贝尔·居里安实验室 CNRS UMR 5516);Univ. Jean Monnet(让·莫内大学);Aix-Marseille Univ.(艾克斯-马赛大学);CNRS(法国国家科学研究中心)
在机器学习中,当生成测试(目标)数据的分布不同于生成学习(源)数据的分布时,出现域自适应(DA)。众所周知,即使在强假设下,DA也是一项艰巨的任务,其中,源分布和目标分布仅在边缘处发散的协变量移位,即它们具有相同的标记函数。另一种流行的方法是考虑一个假设类,它更接近两个分布,同时意味着两个任务的错误率都很低。这是一种VC-dim方法,它限制了假设类的复杂性,以获得良好的泛化。相反,我们提出了一个PAC贝叶斯方法,寻求合适的权重,以建立一个多数票给每个假设。我们证明了一个新的DA界的PAC贝叶斯上下文中。这导致我们设计的第一个DA-PAC-贝叶斯算法的基础上提出的界限的最小化。这样做,我们寻求一个ρ加权多数票,考虑到三个数量之间的权衡。在PAC-贝叶斯方法中,前两个量通常是:(a)多数票的复杂性(用库尔贝克-莱布勒散度衡量)和(b)其经验风险(用源样本的ρ平均误差衡量)。第三个量是(c)多数票区分源样本和目标样本之间的某些结构差异的能力。
2012-12-11 cs.LG stat.ML
Normalized Flat Minima: Exploring Scale Invariant Definition of Flat Minima for Neural Networks using PAC-Bayesian Analysis
The University of Tokyo(东京大学);RIKEN(理化学研究所)
平坦极小值的概念在深度学习模型的泛化研究中发挥了关键作用。然而,已知平坦度的现有定义对参数的重新缩放敏感。这个问题表明,以前的平坦度定义可能不是一个很好的泛化度量,因为泛化对于这种重新缩放是不变的。在本文中,从PAC-Bayesian的角度来看,我们仔细检查有关的平坦极小值的讨论,并介绍了归一化平坦极小值的概念,这是免费的已知的规模依赖问题。此外,我们强调了现有的基于矩阵范数的泛化误差界的尺度依赖性,类似于现有的平坦极小值定义。我们修改后的平坦性概念也没有受到不足的影响,这表明它可能在假设类中提供更好的层次结构。
2019-01-28 cs.LG stat.ML
PAC-Bayesian Reconstruction Guarantees for Time Series Variational Autoencoders
LPSM, Sorbonne Université(索邦大学 LPSM);EDF R&D(法国电力集团研发部);University College London(伦敦大学学院);Inria(法国国家信息与自动化研究所)
本研究针对时间序列变分自编码器泛化保证有限的问题,开发了适用于马尔可夫隐变量结构的PAC-贝叶斯框架,该框架的保证不随轨迹长度增长,且所需假设限制较小。
2026-09-07 cs.LG stat.ML
Learning Gaussian Processes by Minimizing PAC-Bayesian Generalization Bounds
Bosch Center for Artificial Intelligence(博世人工智能中心)
高斯过程(GPs)是一种用于监督学习的通用建模工具。虽然它们已成功应用于大型数据集,但由于缺乏良好的性能保证,它们在安全关键型应用程序中的使用受到阻碍。为此,我们提出了一种方法来学习GP及其稀疏近似直接优化PAC贝叶斯约束其泛化性能,而不是最大化的边际似然。除了理论上的吸引力,我们在评估中发现,我们的学习方法是鲁棒的,并且在几个回归基准数据集上比其他常见的GP方法具有更好的泛化保证。
2018-12-28 cs.LG stat.ML
Bayesian Evidential Deep Learning with PAC Regularization
Heidelberg University(海德堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
本文提出了一种新的神经网络预测分布模型的方法。在量化预测不确定性时,我们建立在证据深度学习的基础上,它既易于实现,又能以封闭形式访问预测不确定性。我们用它来模拟任意的不确定性,并将其扩展到考虑到认知的不确定性,将其转换为贝叶斯神经网络。在扩展其不确定性量化功能的同时,我们通过首次执行渐进矩匹配以近似权重边缘化来保持其可分析的预测分布模型。最终的模型引入了大量的超参数来进行稳定的训练。我们克服了这个缺点,推导出一个空洞的PAC界,包括边际似然预测和复杂性惩罚。我们在回归,分类和域外检测基准上观察到,我们的方法改进了模型拟合和不确定性量化。
2021-01-21 cs.LG stat.ML
PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees
ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
元学习可以成功地从数据中获取有用的归纳偏差。然而,它的泛化性能看不见的学习任务知之甚少。特别是如果元训练任务的数量很少,这会引起过度拟合的担忧。我们提供了一个理论分析,使用PAC贝叶斯框架,并获得新的泛化界的元学习。使用这些界限,我们开发了一类具有性能保证和原则性元级正则化的PAC最优元学习算法。与以前的PAC-Bayesian元学习器不同,我们的方法导致了一个标准的随机最优化问题,可以有效地解决,规模很好。当使用高斯过程和贝叶斯神经网络作为基础学习器实例化我们的PAC最优超后验(PACOH)时,所得到的方法在预测精度和不确定性估计的质量方面都具有最先进的性能。由于他们对不确定性的原则性处理,我们的元学习者也可以成功地用于顺序决策问题。
2021-06-18 cs.LG stat.ML
PAC-Bayesian Generalization Bound on Confusion Matrix for Multi-Class Classification
Aix-Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心)
在这项工作中,我们提出了一个PAC-Bayes界的推广风险的吉布斯分类器在多类分类框架。我们的工作的新颖性是关键使用的混淆矩阵的分类器作为错误的措施,这把我们的贡献,在工作线,旨在处理比单纯的标量标准,如误分类率更丰富的性能指标。由于最近和美丽的结果矩阵集中不等式,我们得到两个界限表明,真正的混淆风险的吉布斯分类器的上限是由其经验风险加上一项取决于在每个类中的训练样本的数量。据我们所知,这是第一个基于混淆矩阵的PAC-Bayes界。
2013-10-22 cs.LG stat.ML
PAC-Bayesian Generalization Guarantees for Fairness on Stochastic and Deterministic Classifiers
CNRS(法国国家科学研究中心);Institut d Optique Graduate School(高等光学学院);Inria(法国国家信息与自动化研究所);Institut Universitaire de France(法国大学研究院);Universite Claude Bernard Lyon 1(里昂第一大学);Univ Rennes(雷恩大学)
本文提出了一种PAC-Bayesian框架,用于推导公平性的泛化界,适用于随机和确定性分类器,并通过实验验证了其有效性。
2026-02-12 cs.LG stat.ML
PAC-Bayesian Bounds on Constrained f-Entropic Risk Measures
Université Jean Monnet, CNRS, Institut d’Optique Graduate School, Laboratoire Hubert Curien UMR 5516, Inria(让·莫内大学,法国国家科学研究中心,光学研究所,于贝尔·居里实验室 UMR 5516,法国国家信息与自动化研究所);Université Lumière Lyon 2, Universite Claude Bernard Lyon 1, ERIC(里昂第二大学,克洛德·贝尔纳里昂第一大学,ERIC 实验室);Univ Rennes, Inria, CNRS IRISA - UMR 6074(雷恩大学,法国国家信息与自动化研究所,法国国家科学研究中心 IRISA - UMR 6074)
本文提出约束f-熵风险度量,通过f-散度控制分布偏移和子组不平衡,推导了经典和解构的PAC-Bayesian界限,并设计了自界算法,实验证明其有效性。
2026-04-08 cs.LG stat.ML
PAC-Bayesian Soft Actor-Critic Learning
University of Southern Denmark(南丹麦大学)
本文首次将PAC贝叶斯界用作SAC评论家训练目标,并结合评论家引导的随机搜索,在经典控制与运动任务上提升了样本效率和遗憾表现。
2024-06-10 cs.LG stat.ML
More Flexible PAC-Bayesian Meta-Learning by Learning Learning Algorithms
Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所);Sharif University of Technology(谢里夫理工大学)
我们引入了一个基于PAC-Bayesian理论的元学习新框架,通过将元学习直接表达为学习未来任务的学习算法,实现了更灵活的任务间知识转移,并在理论和实验上均证明了其能提升预测质量。
2024-05-29 cs.LG stat.ML
Bayesian Poisson process partition calculus with an application to Bayesian Lévy moving averages
这篇文章发展,并介绍了如何使用,结果有关的泊松随机措施的解体。这些结果被塑造成简单的工具,可以量身定制,以解决推理问题所产生的各种贝叶斯非参数和空间统计模型。Poisson分解方法是基于关于Laplace测度变分和Poisson Palm/Fubini演算的两个结果的形式陈述,这两个结果是关于整数{1,…,n}。该技术是类似的,但更普遍的比,技术的狄利克雷过程和加权伽马过程中开发的[安。12(1984)351-357]和[Ann. Inst. Statist. 41(1989)227-245]。为了说明该方法的灵活性,大类的随机概率测度和随机风险或强度,可以表示为泊松随机措施的泛函进行了说明。我们描述了一个统一的后验分析类的离散随机概率,识别和利用所有这些模型的共同特点。分析规避了许多困难的问题,涉及贝叶斯非参数演算,包括组合组件。这使得人们能够集中于通过实值函数h表征的每个过程的独特特征。该技术的适用性得到明确的后验表达式的Lévy-Cox移动平均过程中的一般设置的乘法强度模型进一步说明。
2005-08-16 math.ST stat.TH
Multi-View Majority Vote Learning Algorithms: Direct Minimization of PAC-Bayesian Bounds
Omundu, Lyon, France(法国里昂大学);ESI-SBA, Algeria(阿尔及利亚ESI-SBA);Université Lyon 2, ERIC, France(法国里昂2大学);Université Lyon 1, LIRIS, UMR CNRS 5205, France(法国里昂1大学)
本文扩展PAC-贝叶斯理论至多视图学习,提出基于Rényi散度的泛化边界及oracle边界,并设计自边界优化算法,实现理论与实践的桥接。
2025-10-13 cs.AI cs.LG stat.ML
A PAC-Bayesian Approach to Spectrally-Normalized Margin Bounds for Neural Networks
Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
本文给出了前馈神经网络的一个推广界,它是由层的谱范数和权值的Frobenius范数的乘积表示的。泛化界是使用PAC-Bayes分析。
2018-02-23 cs.LG
A PAC-Bayesian Tutorial with A Dropout Bound
本教程简要概述了现有的PAC贝叶斯理论,重点是三个泛化边界。第一个是奥卡姆界限,它处理具有有限精度参数的规则,并且当写入规则所需的位数与样本大小相比很小时,它指出泛化损失接近训练损失。第二个是PAC-Bayesian界,为后验分布而不是单个规则提供泛化保证。PAC-Bayesian界自然地处理无限精度规则参数、$L_2$正则化、{ \em提供了用于放弃训练的界},并且定义了单个区分的PAC-Bayesian后验分布的自然概念。第三个界限是训练方差界限-一种偏差方差分析,但用预期训练损失代替偏差。训练方差界占主导地位的其他界限,但更难以解释。这似乎表明方差减少方法,如装袋,并可能最终提供一个更有意义的辍学分析。
2013-07-08 cs.LG
Demystify Optimization and Generalization of Over-parameterized PAC-Bayesian Learning
University of Technology Sydney(悉尼科技大学);University of California San Diego(加州大学圣地亚哥分校)
PAC-Bayesian是一种分析框架,其中训练误差可以表示为后验分布中假设的加权平均值,同时结合先验知识。除了作为一个纯粹的泛化界分析工具,PAC-Bayesian界也可以被合并到一个目标函数中来训练概率神经网络,使它们成为一个强大的和相关的框架,可以在数字上为监督学习提供一个严格的泛化界。为了简单起见,我们将使用从PAC-Bayesian边界导出的训练目标学习的概率神经网络称为{ \it PAC-Bayesian学习}。尽管他们的经验成功,PAC贝叶斯学习神经网络的理论分析很少探索。本文提出了一类新的收敛性和推广性分析的PAC-Bayes学习时,它用于训练过参数神经网络的梯度下降的方法。对于一个广泛的概率神经网络,我们表明,当PAC-Bayes学习应用,收敛结果对应于解决核岭回归时,概率神经切线核(PNTK)作为其内核。基于这一发现,我们进一步刻画了非概率神经网络的统一PAC-Bayesian推广界,它改进了Rademacher基于复杂度的界。最后,借鉴我们的理论结果,我们提出了一个有效的超参数选择的代理措施,这被证明是节省时间。
2022-02-04 cs.LG
A PAC-Bayesian Analysis of Graph Clustering and Pairwise Clustering
Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
我们制定加权图聚类作为一个预测问题:给定一个子集的边缘权重,我们分析的能力图聚类预测剩余的边缘权重。该公式使实际和理论上的比较不同的方法图聚类,以及比较图聚类与其他可能的方式来建模的图。我们采用了PAC-Bayesian协聚类分析(Seldin and Tishby,2008; Seldin,2009)来推导图聚类的PAC-Bayesian泛化界。该界限表明,图聚类应该优化经验数据拟合和聚类在图节点上保留的互信息之间的权衡。从信息理论考虑导出的类似权衡已经显示在实践中产生最先进的结果(Slonim等人,2005年; Yom-Tov和Slonim,2009年)。本文通过提供更好的理论基础,提出形式化的推广保证,并提供更准确的方法来处理有限样本问题,从而支持了经验证据。我们推导出一个界最小化算法,并表明它在现实生活中的问题提供了很好的结果,所得出的PAC贝叶斯界是合理的紧。
2010-09-02 cs.DS cs.LG stat.ML
PAC-Bayesian Generalization Bounds for Adversarial Generative Models
Université Laval(拉瓦尔大学);McGill University(麦吉尔大学)
本文扩展PAC-Bayesian理论至生成模型,基于Wasserstein距离和全变差距离推导泛化界,为Wasserstein GAN和能量基GAN提供新训练目标,并通过实验验证非空界。
2023-11-13 cs.AI cs.LG stat.ML
PACTran: PAC-Bayesian Metrics for Estimating the Transferability of Pretrained Models to Classification Tasks
Google Research(谷歌研究院)
近年来,随着预训练模型的日益丰富,为特定的下游分类任务选择最佳预训练检查点的问题越来越受到关注。虽然最近已经提出了几种方法来解决选择问题(例如LEEP,H-评分),这些方法诉诸于应用学习理论没有很好的动机。在本文中,我们提出了PACTran,这是一个用于预训练模型选择和可移植性测量的理论基础指标家族。我们首先展示了如何在迁移学习设置下从最佳PAC-Bayesian界导出PACTran度量。然后,我们凭经验评估PACTran的三个度量实例的视觉任务(VTAB)以及语言和视觉(OKVQA)的任务。结果分析表明,PACTran是一个更一致和有效的可转移性措施相比,现有的选择方法。
2022-07-19 cs.LG
Unified PAC-Bayesian Study of Pessimism for Offline Policy Learning with Regularized Importance Sampling
CREST(CREST(法国统计研究中心));ENSAE(法国国立统计与经济管理学校);IP Paris(巴黎理工学院);Criteo AI Lab(Criteo人工智能实验室)
针对离线策略学习悲观主义缺乏统一分析框架的问题,提出全面的PAC-Bayesian框架,推导出适用于常见重要性权重正则化的泛化界,并在单一框架内比较,实证证明了标准IW正则化技术的有效性。
2024-06-05 cs.AI cs.LG stat.ML
Bayesian structure learning and sampling of Bayesian networks with the R package BiDAG
R包BiDAG实现了马尔可夫链蒙特卡罗(MCMC)方法,用于贝叶斯网络的结构学习和采样。该软件包包括搜索最大后验(MAP)图和从给定数据的后验分布中采样图的工具。一种新的混合结构学习方法可以在大型图中进行推理。在第一步中,我们通过PC算法或基于先验知识定义一个缩减的搜索空间。在第二步中,迭代顺序MCMC方案进行优化的限制搜索空间内,估计MAP图。从后验分布采样是使用顺序或分区MCMC。模型和算法可以处理离散和连续数据。BiDAG包还提供了MCMC方案的实现,用于动态贝叶斯网络的结构学习和采样。
2021-05-02 stat.CO stat.ML
PAC-Bayesian-Like Error Bound for a Class of Linear Time-Invariant Stochastic State-Space Models
Aalborg University(奥尔堡大学);Laboratoire Signal et Automatique de Lille (CRIStAL)(里尔信号与自动化实验室(CRIStAL))
本文给出了一类带输入的随机动力系统,即线性时不变随机状态空间模型(简称随机LTI系统)的PAC-Bayesian-Like误差界。这类系统广泛应用于控制工程和计量经济学,特别是,它们代表了递归神经网络的一种特殊情况。本文1)形式化了带输入的随机LTI系统的学习问题,2)导出了此类系统的PAC-Bayesian-Like误差界,3)讨论了该误差界的各种结果。
2022-12-30 cs.LG math.DS math.ST
BCDAG: An R package for Bayesian structure and Causal learning of Gaussian DAGs
Università Cattolica del Sacro Cuore(天主教圣心大学);Università degli Studi di Milano-Bicocca(米兰比可卡大学)
有向无环图(DAG)提供了一个强大的框架来模拟多变量环境中变量之间的因果关系;此外,通过do-calculus理论,它们允许从纯观测数据中识别和估计变量之间的因果关系。在这种情况下,从数据中推断DAG结构的过程被称为因果结构学习或因果发现。我们介绍了BCDAG,一个用于贝叶斯因果发现和高斯观测数据因果效应估计的R包,实现了Castelletti和Mascaro(2021)提出的马尔可夫链蒙特卡罗(MCMC)方案。我们的实现可以有效地扩展观测的数量,并且只要DAG足够稀疏,就可以扩展数据集中的变量数量。该软件包还提供了收敛诊断和可视化和总结后验推理的功能。在本文中,我们提出了基本方法的主要特点,以及其在BCDAG中的实现。然后,我们说明了真实和模拟数据集上的主要功能和算法。
2022-01-28 cs.LG stat.ME stat.ML
NUBO: A Transparent Python Package for Bayesian Optimization
Newcastle University(新castle大学);Queen’s University Belfast(女王大学贝尔法斯特)
NUBO是一个用于优化昂贵评估的黑盒函数的贝叶斯优化框架,强调透明性和用户体验,提供模块化设计和易用语法,支持多种优化模式。
2026-04-28 cs.LG cs.MS stat.ML