Misclassification excess risk bounds for PAC-Bayesian classification via convexified loss
Norwegian University of Science and Technology（挪威科技大学）
针对现有PAC-贝叶斯界多针对凸替代损失的局限，本研究利用期望型PAC-贝叶斯相对界，推导了使用凸替代损失时PAC-贝叶斯分类的误分类超额风险界，并在多个重要应用中验证了方法有效性。
2024-08-16 cs.LG stat.ML
PAC-Bayesian Margin Bounds for Convolutional Neural Networks
LTS2；EPFL（洛桑联邦理工学院）；IDCOM；University of Edinburgh（爱丁堡大学）
最近，深度神经网络的泛化误差已经通过PAC-Bayesian框架进行了分析，对于全连接层的情况。我们将这种方法适用于卷积设置。
2018-04-20 cs.LG stat.ML
A General framework for PAC-Bayes Bounds for Meta-Learning
Chalmers University of Technology（查尔姆斯理工大学）
元学习通过观察来自有限数量的相关任务的数据来自动推断归纳偏差，其包括基础学习算法的超参数。研究了Meta推广间隙的PAC-Bayes界。元泛化差距包括两个来源的泛化差距：环境级和任务级的差距所造成的有限数量的任务和数据样本，每个任务的观察，分别。在本文中，通过上界任意凸函数，它连接的预期和经验损失的环境和每个任务的水平，我们得到了新的PAC-Bayes界。使用这些界限，我们开发新的PAC贝叶斯元学习算法。数值例子表明，所提出的新的界限和算法相比，以前的PAC-Bayes界的元学习的优点。
2022-06-11 cs.LG stat.ML
PAC-Bayesian Transportation Bound
IBM Research（IBM研究院）
经验上，已知PAC-Bayesian分析为实际机器学习算法产生严格的风险界限。然而，在其朴素的形式，它只能处理随机预测，而这样的预测很少使用和确定性预测往往在实践中表现良好。为了填补这一空白，我们开发了一个新的泛化误差界，PAC-Bayesian运输界，统一的PAC-Bayesian分析和链接方法的最优运输。它是第一个PAC-Bayesian界，根据它们的距离将任何两个预测变量的风险联系起来，并且能够评估面临连续损失函数的随机预测变量的去随机化成本。作为一个例子，我们给出了一个上界的谱归一化神经网络（NN）的去随机化成本，以评估有多少随机性有助于NN的推广。
2019-11-21 cs.LG stat.ML
PAC-Bayes with Backprop
DeepMind（深度思考（DeepMind））
我们探索家庭的方法“PAC贝叶斯与反向传播”（PBB）训练概率神经网络通过最小化PAC贝叶斯界限。我们提出了两个训练目标，一个来自以前已知的PAC贝叶斯界，第二个来自一个新的PAC贝叶斯界。这两个培训目标进行评估MNIST和各种UCI数据集。我们的实验显示了两个惊人的观察：我们获得了有竞争力的测试集误差估计（在MNIST上约为1.4%），同时我们计算了比以前结果更严格的值（在MNIST上约为2.3%）的非空界。这些观察结果表明，由PBB训练的神经网络可能会导致自约束学习，其中可用数据可用于同时学习预测因子并验证其风险，而无需遵循数据拆分协议。
2019-10-04 cs.LG stat.ML
PAC-Bayes under potentially heavy tails
Osaka University（大阪大学）
我们推导出PAC-Bayesian学习保证的重尾损失，并获得了一个新的最佳吉布斯后验，享有有限样本超额风险界对数置信度。我们的核心技术本身利用PAC-Bayesian不等式来推导出一个鲁棒的风险估计器，该估计器易于计算。特别地，仅假设损失分布的前三个矩是有界的，从该估计器导出的学习算法实现了接近亚高斯的统计误差，直到先验的质量。
2019-12-18 cs.LG stat.ML
PAC-Bayes Bounds for Bandit Problems: A Survey and Experimental Comparison
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Southern Denmark（南丹麦大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
本文综述了多臂老虎机问题中的PAC-Bayes界并开展实验比较，发现其在离线上下文老虎机算法中能提供非空洞性能保证，而在线算法的累积遗憾界仍较宽松。
2023-07-16 cs.LG stat.ML
How good is PAC-Bayes at explaining generalisation?
Inria（法国国家信息与自动化研究所）；SUEZ（苏伊士集团）；Universitat Pompeu Fabra（庞培法布拉大学）；UCL（伦敦大学学院）
本文分析 PAC-Bayes 界提供有意义泛化保证的必要条件，指出最优保证仅取决于先验诱导的风险分布，并讨论数据依赖先验对 PAC-Bayes 解释泛化主张的影响。
2025-03-11 cs.LG stat.ML
PAC-Bayes with Minimax for Confidence-Rated Transduction
University of California, San Diego（加州大学圣地亚哥分校）
我们考虑使用一个二进制分类器的合奏的转导预测，当未标记的测试数据是已知的。在这种情况下，我们推导出最小最大最优规则的信心评级预测。通过对这些规则进行PAC-Bayes分析，我们获得了数据相关的性能保证，而无需对数据进行分布假设。我们的分析技术很容易扩展到一个设置中，预测是允许弃权。
2015-01-15 cs.LG stat.ML
Improving Generalization of Complex Models under Unbounded Loss Using PAC-Bayes Bounds
Michigan State University（密歇根州立大学）
本文提出一种新的PAC-Bayes训练算法，通过建立无界损失下的新界并联合训练先验与后验，在多种任务上超越现有PAC-Bayes方法并接近最优正则化ERM的测试准确率。
2024-10-20 cs.LG stat.ML
Self-Bounding Majority Vote Learning Algorithms by the Direct Minimization of a Tight PAC-Bayesian C-Bound
Univ Lyon, UJM-Saint-Etienne, CNRS, Institut d Optique Graduate School, Laboratoire Hubert Curien UMR 5516（里昂大学，圣艾蒂安大学，法国国家科学研究中心，光学研究所研究生院，于贝尔·居里安实验室）；Université Laval（拉瓦尔大学）
在PAC-Bayesian文献中，C-Bound是指多数投票分类器的风险（在0 - 1损失下）与其边际的前两个时刻（即，（1）选民的期望差距和选民的多样性。到目前为止，在这个框架中开发的学习算法最小化的经验版本的C-界，而不是显式的PAC贝叶斯泛化界。在本文中，通过直接优化PAC-Bayesian保证的C-界，我们得到了自约束多数投票学习算法。此外，我们基于梯度下降的算法是可扩展的，并导致准确的预测与非空保证配对。
2021-08-31 cs.LG stat.ML
Chebyshev-Cantelli PAC-Bayes-Bennett Inequality for the Weighted Majority Vote
University of Copenhagen（哥本哈根大学）；University of Aalborg（奥尔堡大学）
我们提出了一个新的二阶预言界的加权多数票的预期风险。该界是基于Chebyshev- Cantelli不等式的一种新的参数形式（a.k.a.单边切比雪夫的），这是服从有效的最小化。新形式解决了基于Chebyshev-Cantelli不等式的先验预言界所面临的优化挑战，C界[Germain等人，2015]，同时改进了Masegosa等人[2020]提出的基于二阶Markov不等式的预言界。我们还得到了一个新的浓度测量不等式，我们命名为PAC-Bayes-Bennett，因为它结合了PAC-Bayesian边界和Bennett不等式。我们使用它的经验估计的预言界。PAC-Bayes-Bennett不等式改进了Seldin等人的PAC-Bayes-Bernstein不等式[2012]。我们提供了一个实证评估，证明新的边界可以改进Masegosa等人的工作。[2020]。Chebyshev-Cantelli不等式和PAC-Bayes-Bennett不等式的参数形式对于其他领域测度集中的研究可能具有独立的意义。
2023-01-17 cs.LG stat.ML
Empirical PAC-Bayes Bounds for Markov Chains
本文提出了一种基于马尔可夫链伪谱间隙的经验PAC-Bayes界，解决了传统界中依赖未知常数的问题，并通过实验验证了其有效性。
2026-03-11 cs.LG stat.ML
Bridging the Gap Between Practice and PAC-Bayes Theory in Few-Shot Meta-Learning
Google Research（谷歌研究院）
尽管最近的进展，在其理论理解，仍然存在着显着的差距，现有的PAC贝叶斯理论的能力，元学习解释性能改善的少样本学习设置，在目标任务中的训练样本的数量是非常有限的。这种差距源于现有理论中的假设，该假设假定观察任务中的训练样本的数量和目标任务中的训练样本的数量遵循相同的分布，该假设在实践中很少成立。通过放松这一假设，我们开发了两个PAC贝叶斯边界量身定制的少样本学习设置，并表明，现有的两个元学习算法（MAML和爬行动物）可以从我们的边界，从而弥合实践和PAC贝叶斯理论之间的差距。此外，我们推导出一个新的计算效率的PACMAML算法，并显示它优于现有的元学习算法在几个Few-Shot基准数据集。
2021-10-25 cs.LG stat.ML
Efron-Stein PAC-Bayesian Inequalities
DeepMind
证明了随机变量为独立随机变量的可能非线性函数的半经验集中不等式。这些不等式描述的浓度的随机变量的数据/分布相关的Efron-Stein（ES）估计的方差，他们不需要任何额外的假设的时刻。特别是，这使我们能够陈述无界随机变量一般函数的半经验伯恩斯坦型不等式，这为相关方法（例如有界差）可能应用起来更具挑战性的情况提供了用户友好的浓度界限。我们将这些结果扩展到Efron-Stein PAC-贝叶斯不等式，该不等式适用于任意概率核，定义了一个随机的，数据相关的函数选择。最后，我们展示了一些应用程序，包括PAC贝叶斯推广界的无界损失函数，经验伯恩斯坦型推广界，新的截断自由界的政策外评估加权重要性采样（WIS），和政策外PAC贝叶斯学习与WIS。
2020-02-03 cs.LG stat.ML
Estimating optimal PAC-Bayes bounds with Hamiltonian Monte Carlo
University of Cambridge（剑桥大学）；Helmholtz AI, TU Munich（亥姆霍兹人工智能，慕尼黑工业大学）
本文研究PAC-Bayes界优化中因子化高斯后验限制造成的紧致性损失，通过哈密顿蒙特卡洛采样最优吉布斯后验并结合热力学积分估计KL散度，在MNIST上发现与MFVI相比差距可达5-6%。
2023-10-30 cs.LG stat.ML
PAC-Bayes bounds for stable algorithms with instance-dependent priors
UCL（伦敦大学学院）；University Carlos III of Madrid（马德里卡洛斯三世大学）；East China Normal University（华东师范大学）；Deepmind
PAC-Bayes界已经被提出来基于训练样本获得风险估计。在本文中，PAC-Bayes方法与Hilbert空间值算法学习的假设的稳定性相结合。PAC-Bayes设置与以预期输出为中心的高斯先验一起使用。因此，我们的论文的新颖之处是使用先验定义的数据生成分布。我们的主要结果估计的假设稳定性系数的随机算法的风险。我们还提供了一个新的界限的SVM分类器，这是比较其他已知的界限实验。我们的似乎是第一个基于稳定性的界限，评估非平凡值。
2018-08-30 cs.LG stat.ML
PAC-Bayesian Learning of Optimization Algorithms
University of Tübingen（蒂宾根大学）
我们将PAC-Bayes理论应用于学习优化的设置。据我们所知，我们提出了第一个框架来学习优化算法与可证明的泛化保证（PAC界）和明确的高概率收敛和高收敛速度之间的权衡。即使在极限的情况下，收敛性得到保证，我们学到的优化算法证明优于相关算法的基础上（确定性）的最坏情况分析。我们的研究结果依赖于PAC贝叶斯界一般，无界损失函数的指数家庭的基础上。通过推广现有的想法，我们重新制定的学习过程成一个一维的最小化问题，并研究的可能性，找到一个全局最小值，这使得算法实现的学习过程。作为概念验证，我们学习标准优化算法的超参数，以经验方式强调我们的理论。
2023-02-15 cs.LG stat.ML
Split-kl and PAC-Bayes-split-kl Inequalities for Ternary Random Variables
University of Copenhagen（哥本哈根大学）
给出了独立有界随机变量和的一个新的集中测度不等式，我们称之为split-kl不等式.这个不等式特别适合于三元随机变量，它自然会出现在各种问题中，包括分类中的超额损失分析，加权多数投票分析，以及学习与预防。我们证明了对于三元随机变量，该不等式与kl不等式、经验Bernstein不等式和意外Bernstein不等式同时竞争，并且在某些情况下优于它们.它解决了Tolstikhin和Seldin [2013]和Mhammedi等人[2019]提出的一个悬而未决的问题，即当分布碰巧接近二进制时，如何同时匹配kl不等式的组合能力，以及当概率质量集中在中间值时，伯恩斯坦不等式利用低方差的能力。我们还推导了一个PAC-Bayes-split-kl不等式，并将其与PAC-Bayes-kl，PAC-Bayes-Empirical-Bennett和PAC-Bayes-Unexpected-Bernstein不等式进行了比较，分析了超额损失和几个UCI数据集的加权多数投票。最后但并非最不重要的是，我们的研究提供了第一个直接比较的经验伯恩斯坦和意外伯恩斯坦不等式及其PAC-Bayes扩展。
2023-01-17 cs.LG stat.ML
Generalisation under gradient descent via deterministic PAC-Bayes
Universitat Pompeu Fabra（庞培法布拉大学）；University of Oxford（牛津大学）；UCL（伦敦大学学院）；Inria London（法国国家信息与自动化研究所伦敦分部）
针对梯度下降类模型泛化性问题，提出解耦的确定性PAC-Bayesian泛化界，无需去随机化且可计算，适用于SGD、动量法等多种迭代优化算法，为泛化分析提供新框架。
2025-02-11 cs.LG stat.ML
A PAC-Bayesian Generalization Bound for Equivariant Networks
Qualcomm AI Research（高通人工智能研究院）
等变网络通过将这些对称性构建到模型中来捕获关于学习任务对称性的归纳偏差。本文利用PAC贝叶斯分析方法研究了等变网络中特征空间的变换规律由群表示确定时，等变网络的等变与泛化误差的关系。通过对每一层的傅立叶域中的等变网络进行扰动分析，我们得到了基于范数的PAC-Bayesian推广界。该界表征了群体规模、不可约表示的多重性和程度对泛化误差的影响，从而为选择它们提供了指导。在一般情况下，界限表明，在模型中使用更大的组大小改善了泛化误差证实了广泛的数值实验。
2022-10-24 cs.LG stat.ML
Differentiable PAC-Bayes Objectives with Partially Aggregated Neural Networks
Centre for Artificial Intelligence（人工智能中心）；University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）
我们做了三个相关的贡献，激励的挑战，训练随机神经网络，特别是在PAC贝叶斯设置：（1）我们显示如何平均在一个合奏的随机神经网络，使一类新的\emph{partially-aggregated}估计;（2）我们表明，这些导致可证明的低方差梯度估计的不可微的符号输出网络;（3）我们重新制定了这些网络的PAC贝叶斯界，以获得一个直接可优化的，可微的目标和泛化保证，而不使用代理损失或放松界。这个界限是Letarte等人（2019）在类似网络类型上的两倍。我们的经验表明，这些创新使培训更容易，并导致竞争力的保证。
2020-06-22 cs.LG stat.ML
Risk Bounds for the Majority Vote: From a PAC-Bayesian Analysis to a Learning Algorithm
Université Laval（拉瓦尔大学）
我们提出了一个广泛的分析行为的多数票在二进制分类。特别是，我们引入了一个风险约束的多数票，称为C界，考虑到选民的平均质量和他们的平均分歧。我们还提出了一个广泛的PAC-Bayesian分析，展示了如何从训练数据中包含的各种观察来估计C界。该分析旨在是独立的，可以用作PAC贝叶斯统计学习理论的介绍材料。它从一般的PAC-Bayesian角度开始，并以不常见的PAC-Bayesian边界结束。其中一些边界不包含库尔贝克-莱布勒散度，而另一些边界允许将内核函数用作投票者（通过样本压缩设置）。最后，在分析的基础上，我们提出了MinCq学习算法，该算法基本上最小化了C界。MinCq简化为一个简单的二次规划。除了理论上的基础，MinCq实现了最先进的性能，如我们与AdaBoost和支持向量机的广泛实证比较所示。
2015-07-28 cs.LG stat.ML
PAC-Bayesian Generalization Guarantees for Fairness on Stochastic and Deterministic Classifiers
CNRS（法国国家科学研究中心）；Institut d Optique Graduate School（高等光学学院）；Inria（法国国家信息与自动化研究所）；Institut Universitaire de France（法国大学研究院）；Universite Claude Bernard Lyon 1（里昂第一大学）；Univ Rennes（雷恩大学）
本文提出了一种PAC-Bayesian框架，用于推导公平性的泛化界，适用于随机和确定性分类器，并通过实验验证了其有效性。
2026-02-12 cs.LG stat.ML
PAC-Bayes Iterated Logarithm Bounds for Martingale Mixtures
University of California, San Diego（加州大学圣地亚哥分校）
我们给出了严格的浓度边界的混合物的鞅，同时均匀的（a）混合分布，在PAC贝叶斯意义上，和（b）所有有限的时间。这些界限证明的鞅方差，扩展经典的伯恩斯坦不等式，锐化和简化以前的工作。
2015-06-22 cs.LG math.PR stat.ML
PAC-Bayes meta-learning with implicit task-specific posteriors
Australian Institute for Machine Learning, University of Adelaide（阿德莱德大学机器学习研究所）；Monash University（莫纳什大学）
我们引入了一个新的和严格制定的PAC-Bayes元学习算法，解决了少样本学习。我们提出的方法将PAC-Bayes框架从单个任务设置扩展到元学习多任务设置，以上限对任何任务和样本（即使是看不见的任务和样本）进行评估的错误。我们还提出了一种基于生成的方法来估计任务特定的模型参数的后验更有表现力相比，通常的假设的基础上的多元正态分布与对角协方差矩阵。我们表明，使用我们提出的元学习算法训练的模型经过了良好的校准和准确性，在Few-Shot分类（mini-ImageNet和tiered-ImageNet）和回归方面具有最先进的校准和分类结果（多模式任务分配回归）基准。
2021-10-30 cs.LG stat.ML
PAC-Bayesian Generalization Bound on Confusion Matrix for Multi-Class Classification
Aix-Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
在这项工作中，我们提出了一个PAC-Bayes界的推广风险的吉布斯分类器在多类分类框架。我们的工作的新颖性是关键使用的混淆矩阵的分类器作为错误的措施，这把我们的贡献，在工作线，旨在处理比单纯的标量标准，如误分类率更丰富的性能指标。由于最近和美丽的结果矩阵集中不等式，我们得到两个界限表明，真正的混淆风险的吉布斯分类器的上限是由其经验风险加上一项取决于在每个类中的训练样本的数量。据我们所知，这是第一个基于混淆矩阵的PAC-Bayes界。
2013-10-22 cs.LG stat.ML
Uniform Generalization Bounds on Data-Dependent Hypothesis Sets via PAC-Bayesian Theory on Random Sets
INRIA（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）；Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；University of Oxford（牛津大学）
本文通过将PAC-Bayesian理论严格应用于随机集，提出数据依赖的统一泛化界，并用于统一基于分形维数的泛化界及证明Langevin动力学轨迹上的新泛化性质。
2025-02-10 cs.LG stat.ML
Data-dependent PAC-Bayes priors via differential privacy
University of Cambridge（剑桥大学）；Element AI；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
可能近似正确（PAC）贝叶斯框架（McAllester，1999）可以通过使用分布相关先验来整合有关学习算法和（数据）分布的知识，从而在数据相关后验上产生更严格的泛化边界。然而，使用这种灵活性是困难的，特别是当数据分布被假定为未知时。我们展示了ε-差分私有数据依赖先验如何产生有效的PAC-Bayes界，然后展示了选择先验的非私有机制如何也可以产生泛化界。作为该结果的应用，我们证明了通过随机梯度Langevin动力学（SGLD; Welling and Teh，2011）选择的高斯先验均值导致有效的PAC-Bayes界，给定对ε-差分私有平稳分布的2-Wasserstein距离的控制。我们研究我们的数据依赖的界限经验，并表明，他们可以是nonvacuous，即使当其他分布依赖的界限是空的。
2019-04-19 cs.LG stat.ML
Tighter PAC-Bayes Generalisation Bounds by Leveraging Example Difficulty
University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）
我们引入了一个修改后的版本的超额风险，它可以用来获得更严格的，快速的PAC贝叶斯概括的界限。这种修正后的超额风险利用了关于数据实例相对硬度的信息，以减少其经验对应物的方差，从而收紧了边界。我们将其与$[-1, 1]$值（和潜在的非独立）有符号损失的新界限相结合，当它们在$0$周围具有低方差时，这是更有利的。主要的新技术工具是一个新的结果，相互依赖的随机向量序列可能是独立的利益。我们在一些真实世界的数据集上经验性地评估了这些新的界限。
2022-10-20 cs.LG stat.ML
Shedding a PAC-Bayesian Light on Adaptive Sliced-Wasserstein Distances
Flatiron Institute（熨斗研究所）；MIT（麻省理工学院）；Criteo AI Lab（科韬人工智能实验室）
本文利用PAC-贝叶斯理论为自适应切片-Wasserstein距离建立泛化界，并提出通过优化理论界学习最具判别力的切片分布，辅以实验验证。
2023-05-31 cs.LG stat.ML
Symmetries in PAC-Bayesian Learning
Technical University of Munich（慕尼黑技术大学）
本文在PAC-Bayes框架下，将对称性的泛化保证扩展到非紧致群和非不变数据分布，通过调整和收紧现有界，实验验证了其有效性。
2026-06-01 cs.LG stat.ML
Fast-rate PAC-Bayes Generalization Bounds via Shifted Rademacher Processes
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
Rademacher复杂性和PAC-Bayesian理论的发展在很大程度上是独立的。一个例外是Kakade，Sridharan和Tewari（2008）的PAC-Bayes定理，它是通过Rademacher复杂性理论将Gibbs分类器视为线性算子而建立的。本文的目标是扩展Rademacher复杂性和最先进的PAC-Bayesian理论之间的桥梁。我们首先证明了可以使用移位Rademacher过程（Wegkamp，2003; Lecué和Mitchell，2012; Zhivotovskiy和Hanneke，2018）来匹配Catoni的PAC-Bayes边界（Catoni，2007）的快速速率。然后，我们推导出一个新的快速PAC-Bayes界的经验风险表面上的后集中的“平坦度”。我们的分析建立了一个新的框架，推导出快速PAC-Bayes界，并产生新的见解PAC-Bayes理论。
2019-12-01 cs.LG math.ST stat.ML
Cold Posteriors through PAC-Bayes
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
我们通过PAC-Bayes推广界的透镜来研究冷后验效应。我们认为，在非渐近设置，当训练样本的数量是（相对）小，冷后验效应的讨论应考虑到近似贝叶斯推理不容易提供保证的样本外数据的性能。相反，样本外误差通过泛化界更好地描述。在这种情况下，我们探讨ELBO目标变分推理和PAC贝叶斯目标之间的联系。我们注意到，虽然ELBO和PAC-Bayes目标是相似的，但后者的目标自然包含温度参数$λ$，其不限于$λ=1$。对于回归和分类任务，在各向同性拉普拉斯近似的情况下，后，我们展示了如何PAC贝叶斯解释的温度参数捕获冷后验效应。
2022-06-22 cs.AI cs.LG stat.ML
PAC-Bayes, MAC-Bayes and Conditional Mutual Information: Fast rate bounds that handle general VC classes
CWI Amsterdam（阿姆斯特丹数学与计算机科学国家研究所）；Leiden University（莱顿大学）；Google Research（谷歌研究院）；Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）
我们给出了一个新的，统一的推导条件PAC贝叶斯和互信息（MI）的推广界。我们推导出条件MI界限作为一个实例，与特殊的选择之前，条件MAC贝叶斯（平均近似正确）界限，本身来自条件PAC贝叶斯界限，其中“有条件”的意思是，可以使用先验条件的联合训练和鬼样本。这使我们能够得到一般VC类的非平凡PAC贝叶斯和MI风格的界限，最近证明标准PAC贝叶斯/MI界限是不可能的。第二，如果Bernstein条件成立，它允许我们获得$γ> 1/2$和指数凹损失（使用$γ=1$）的更快的$O \left(({\text{KL}}/n)^γ\right)$阶速率，这在标准PAC贝叶斯推广和MI边界下都是不可能的。我们的工作扩展了Steinke和Zakynthinou [2020]最近的工作，他们用VC处理MI，但既不是PAC-Bayes也不是快速的，Hellström和Durisi [2020]最近的工作通过统一的指数不等式将后者扩展到PAC-Bayes设置，以及Mhammedi等人。[2019]启动了快速PAC-Bayes泛化误差界，但既不处理MI也不处理一般的VC类。
2021-06-17 cs.IT cs.LG math.IT
PAC-Bayes-Chernoff bounds for unbounded losses
Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心）；Universidad Autónoma de Madrid（马德里自治大学）；Aalborg University（奥尔堡大学）
该研究提出适用于无界损失的新型PAC-Bayes-Chernoff界，通过控制含Cramér变换的随机变量尾部拓展相关理论，可复现推广已有结果、得到更紧的界，并为现有正则化技术提供新理论支撑。
2024-10-30 cs.LG stat.ML
Analyzing Lottery Ticket Hypothesis from PAC-Bayesian Theory Perspective
The University of Tokyo（东京大学）
彩票假说（LTH）因其能解释过参数模型为何表现出较高的泛化能力而受到关注。众所周知，当我们使用迭代幅度修剪（IMP）时，这是一种寻找具有高泛化能力的稀疏网络的算法，可以从初始权重独立训练，称为中奖票，初始大学习率在ResNet等深度神经网络中效果不佳。然而，由于初始大的学习率通常有助于优化器收敛到更平坦的最小值，因此我们假设中奖彩票具有相对尖锐的最小值，这被认为是泛化能力方面的缺点。在本文中，我们证实了这一假设，并表明，PAC贝叶斯理论可以提供一个明确的理解LTH和泛化行为之间的关系。我们的实验结果的基础上，平坦度是有用的，以提高准确性和鲁棒性的标签噪声和距离的初始权重是深入参与中奖门票，我们提供了PAC贝叶斯界使用尖峰和板分布分析中奖门票。最后，我们重新审视现有的算法，从PAC贝叶斯的角度寻找中奖彩票，并提供新的见解，这些方法。
2022-09-28 cs.LG stat.ML
Integral Probability Metrics PAC-Bayes Bounds
Technion - Israel Institute of Technology（以色列理工学院）；Google Research（谷歌研究院）
我们提出了一个PAC-Bayes风格的泛化界，使各种积分概率距离（IPM）的KL发散的替代。我们提供了这个界限的实例与IPM的总变差度量和瓦瑟斯坦距离。一个显着的特点，所获得的界限是，他们自然插值之间的经典一致收敛界在最坏的情况下（当前和后是远离对方），并在有利的情况下（当后和前是关闭）改进的界限。这说明了加强经典的泛化界与算法和数据相关的组件的可能性，从而使它们更适合于分析算法，使用一个大的假设空间。
2022-12-25 cs.LG stat.ML
Learning Partially Known Stochastic Dynamics with Empirical PAC Bayes
Heidelberg University（海德堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
神经随机微分方程模型的动态环境与神经网络分配到他们的漂移和扩散条款。他们的非线性的高表达能力是以牺牲不稳定的大自由参数的识别。本文提出了一个配方，以提高预测精度的模型，在三个步骤：i）占认知不确定性假设概率权重，ii）纳入部分知识的状态动态，和iii）训练所得的混合模型的目标来自PAC贝叶斯泛化界。我们在实验中观察到，这种方法有效地将部分和噪声先验知识转化为改进的模型拟合。
2021-02-26 cs.LG stat.ML
Refined PAC-Bayes Bounds for Offline Bandits
KTH Royal Institute of Technology（瑞典皇家理工学院）
针对离线赌博机离策略学习的经验奖励估计，本文结合事件空间离散化参数优化，提出基于 Hoeffding-Azuma 与 Bernstein 不等式的两个无参数 PAC-Bayes 界，并证明其几乎最优。
2025-02-17 cs.LG stat.ML
SMAC3: A Versatile Bayesian Optimization Package for Hyperparameter Optimization
Leibniz University Hannover（莱布尼茨汉诺威大学）；University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
算法参数，特别是机器学习算法的超参数，可以显著影响它们的性能。为了支持用户为其算法、数据集和应用程序确定性能良好的超参数配置，SMAC3为贝叶斯优化提供了一个强大而灵活的框架，可以在几次评估中提高性能。它为典型用例提供了几个外观和预设，例如优化超参数，解决低维连续（人工）全局优化问题，以及配置算法以在多个问题实例中表现良好。SMAC3软件包可以在https://github.com/automl/SMAC3上获得许可的BSD许可证。
2022-02-08 cs.LG stat.ML
A General Framework for the Practical Disintegration of PAC-Bayesian Bounds
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Université Laval（拉瓦尔大学）；Université Jean Monnet Saint-Étienne（圣艾蒂安让·莫内大学）；Institut d Optique Graduate School（光学研究所研究生院）；Institut Universitaire de France（法兰西大学研究院）
本文提出一种新的 PAC-Bayesian 分解界框架，可直接对单个假设给出泛化保证，避免传统去随机化步骤，并在神经网络上取得显著优于现有方法的实际效果。
2023-09-18 cs.LG stat.ML
Entropy-SGD optimizes the prior of a PAC-Bayes bound: Generalization properties of Entropy-SGD and data-dependent priors
Vector Institute（向量研究所）
我们表明，熵SGD（Chaudhari等人，2017），当被视为一种学习算法时，优化了吉布斯（后验）分类器风险的PAC-Bayes界限，即，一个随机化的分类器获得的风险敏感扰动的权重的学习分类。熵-SGD通过优化边界的先验来工作，违反了PAC-贝叶斯定理的假设，即先验是独立于数据选择的。事实上，Entropy-SGD的可用实现在随机标签上快速获得零训练误差，并与Gibbs后验保持相同。为了得到一个有效的泛化界，我们依赖于一个结果表明，由随机梯度Langevin动力学（SGLD）获得的数据相关先验产生有效的PAC-Bayes界，提供的目标分布的SGLD是ε-差分私有的。我们观察到，MNIST和CIFAR 10的测试误差落在（经验非空）的风险范围内计算的假设下，SGLD达到平稳。特别是，熵-SGLD可以配置为产生相对紧密的泛化界，并且仍然适合真实标签，尽管这些相同的设置无法获得最先进的性能。
2019-04-19 cs.LG stat.ML
PAC-Bayesian Bound for the Conditional Value at Risk
The Australian National University（澳大利亚国立大学）；Data61；Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
条件风险价值（CVaR）是一类推广了传统数学期望的“一致性风险度量”。它广泛应用于数学金融学，在机器学习中引起了越来越多的兴趣，例如，作为正规化的一种替代方法，并作为确保公平的一种手段。本文提出了一个广义界的学习算法，最大限度地减少经验损失的CVaR。该界是PAC-Bayesian型的，当经验CVaR较小时，该界保证较小。我们通过将估计CVaR的问题简化为仅仅估计期望值来实现这一点。这使我们能够，作为一个副产品，即使在所讨论的随机变量是无界的CVaR的浓度不等式。
2020-06-26 cs.LG stat.ML
PAC-Bayes Analysis of Sentence Representation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
从未标记语料库中学习句子向量已经引起了人们的关注，因为这样的向量可以在低维和连续的空间中表示句子。使用预先训练的词向量的简单语法广泛应用于机器学习任务。然而，从理论的角度来看，它们并没有得到很好的理解。我们从迁移学习的角度分析学习句子向量，使用PAC贝叶斯界，使我们能够理解现有的语法。我们表明，简单的算法，如平均和逆文档频率加权平均，来自我们的配方。此外，我们提出了新的句子向量学习算法的基础上，我们的PAC-Bayes分析。
2019-02-13 cs.CL cs.LG stat.ML
PAC-Bayes Mini-tutorial: A Continuous Union Bound
当我第一次遇到PAC贝叶斯集中不等式，他们似乎对我来说，而断开良好的老式的结果，如Hoeffding的和伯恩斯坦的不平等。但是，至少对于PAC-Bayesian界的一种类型，实际上有非常密切的关系，主要的创新是联合界的连续版本，以及一些巧妙的应用。以下是从机器学习的角度介绍的要点。
2014-05-07 stat.ML
A PAC-Bayesian Approach to Spectrally-Normalized Margin Bounds for Neural Networks
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文给出了前馈神经网络的一个推广界，它是由层的谱范数和权值的Frobenius范数的乘积表示的。泛化界是使用PAC-Bayes分析。
2018-02-23 cs.LG
Online PAC-Bayes Learning
Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
大多数PAC-Bayesian边界在批量学习设置中保持不变，其中在推断或预测之前立即收集数据。这在某种程度上背离了许多当代学习问题，其中收集数据流并且算法必须动态调整。我们证明了新的PAC贝叶斯边界在这个在线学习框架，利用更新的定义后悔，我们重温经典的PAC贝叶斯结果与一批在线转换，扩展其职权范围的情况下，依赖数据。我们的研究结果持有有限的损失，潜在的\emph{non-convex}，铺平了道路，有前途的发展在线学习。
2022-10-13 cs.LG math.ST stat.ML
Demystify Optimization and Generalization of Over-parameterized PAC-Bayesian Learning
University of Technology Sydney（悉尼科技大学）；University of California San Diego（加州大学圣地亚哥分校）
PAC-Bayesian是一种分析框架，其中训练误差可以表示为后验分布中假设的加权平均值，同时结合先验知识。除了作为一个纯粹的泛化界分析工具，PAC-Bayesian界也可以被合并到一个目标函数中来训练概率神经网络，使它们成为一个强大的和相关的框架，可以在数字上为监督学习提供一个严格的泛化界。为了简单起见，我们将使用从PAC-Bayesian边界导出的训练目标学习的概率神经网络称为{ \it PAC-Bayesian学习}。尽管他们的经验成功，PAC贝叶斯学习神经网络的理论分析很少探索。本文提出了一类新的收敛性和推广性分析的PAC-Bayes学习时，它用于训练过参数神经网络的梯度下降的方法。对于一个广泛的概率神经网络，我们表明，当PAC-Bayes学习应用，收敛结果对应于解决核岭回归时，概率神经切线核（PNTK）作为其内核。基于这一发现，我们进一步刻画了非概率神经网络的统一PAC-Bayesian推广界，它改进了Rademacher基于复杂度的界。最后，借鉴我们的理论结果，我们提出了一个有效的超参数选择的代理措施，这被证明是节省时间。
2022-02-04 cs.LG
PAC-Bayes Analysis of Multi-view Learning
East China Normal University（华东师范大学）；University College London（伦敦大学学院）
本文提出了八个PAC-Bayes界来分析多视图分类器的泛化性能。这些界限采用数据相关的高斯先验，强调高视图协议的分类器。前两个边界的先验中心是原点，而第三和第四边界的先验中心由数据相关向量给出。获得这些界的一个重要技术是两个导出的对数行列式不等式，其区别在于是否涉及数据的维数。第五和第六边界的中心是在训练集的单独子集上计算的。最后两个边界使用未标记的数据来表示视图协议，因此适用于半监督多视图学习。我们评估所有提出的多视图PAC-Bayes边界的基准数据，并将它们与以前的单视图PAC-Bayes边界进行比较。讨论了多视图边界的实用性和性能。
2016-06-04 cs.AI cs.LG stat.ML
Multi-View Majority Vote Learning Algorithms: Direct Minimization of PAC-Bayesian Bounds
Omundu, Lyon, France（法国里昂大学）；ESI-SBA, Algeria（阿尔及利亚ESI-SBA）；Université Lyon 2, ERIC, France（法国里昂2大学）；Université Lyon 1, LIRIS, UMR CNRS 5205, France（法国里昂1大学）
本文扩展PAC-贝叶斯理论至多视图学习，提出基于Rényi散度的泛化边界及oracle边界，并设计自边界优化算法，实现理论与实践的桥接。
2025-10-13 cs.AI cs.LG stat.ML
Wasserstein PAC-Bayes Learning: Exploiting Optimisation Guarantees to Explain Generalisation
Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）；Université de Lille（里尔大学）
本文扩展 Wasserstein PAC-Bayes 理论，用 Wasserstein 距离替代 KL 散度建立新泛化界，并利用优化性质为 Bures-Wasserstein SGD 提供泛化保证，从而将优化保证与泛化能力联系起来。
2023-05-30 cs.LG math.OC stat.ML
A PAC-Bayesian Tutorial with A Dropout Bound
本教程简要概述了现有的PAC贝叶斯理论，重点是三个泛化边界。第一个是奥卡姆界限，它处理具有有限精度参数的规则，并且当写入规则所需的位数与样本大小相比很小时，它指出泛化损失接近训练损失。第二个是PAC-Bayesian界，为后验分布而不是单个规则提供泛化保证。PAC-Bayesian界自然地处理无限精度规则参数、$L_2$正则化、{ \em提供了用于放弃训练的界}，并且定义了单个区分的PAC-Bayesian后验分布的自然概念。第三个界限是训练方差界限-一种偏差方差分析，但用预期训练损失代替偏差。训练方差界占主导地位的其他界限，但更难以解释。这似乎表明方差减少方法，如装袋，并可能最终提供一个更有意义的辍学分析。
2013-07-08 cs.LG
A PAC-Bayes Analysis of Adversarial Robustness
Univ Lyon, UJM-Saint-Etienne, CNRS, Institut d Optique Graduate School, Laboratoire Hubert Curien UMR 5516（里昂大学，圣埃蒂安让·莫内大学，法国国家科学研究中心，光学研究生院，于贝尔·居里安实验室 UMR 5516）；Airbus Opération S.A.S（空中客车运营公司）；University of Toulouse, Institut de Recherche en Informatique de Toulouse（图卢兹大学，图卢兹信息研究所）
我们提出了对抗鲁棒性的第一个通用PAC-贝叶斯泛化边界，该边界估计在测试时，模型对输入中不可感知的扰动具有多大的不变性。我们利用PAC-Bayesian框架来约束大多数投票（在整个假设类中）的扰动的平均风险，而不是在所有可能的扰动中得出假设风险的最坏情况分析。我们理论上建立的分析具有提供对任何类型的攻击有效的一般界限（i）的优点（即，对抗攻击），（ii）由于PAC-贝叶斯框架而紧密，（iii）可以在学习阶段直接最小化，以在测试时获得对不同攻击的鲁棒模型。
2021-10-27 cs.AI cs.LG stat.ML
