Adversarial Consistency and the Uniqueness of the Adversarial Bayes Classifier
Mathematics, Courant Institute, New York, USA（数学，Courant研究所，纽约，美国）
本文研究对抗学习中的凸替代损失一致性，发现其等价于对抗贝叶斯分类器的唯一性，为鲁棒分类器设计提供理论指导。
2024-10-21 cs.LG math.ST stat.ML
Multi-View Majority Vote Learning Algorithms: Direct Minimization of PAC-Bayesian Bounds
Omundu, Lyon, France（法国里昂大学）；ESI-SBA, Algeria（阿尔及利亚ESI-SBA）；Université Lyon 2, ERIC, France（法国里昂2大学）；Université Lyon 1, LIRIS, UMR CNRS 5205, France（法国里昂1大学）
本文扩展PAC-贝叶斯理论至多视图学习，提出基于Rényi散度的泛化边界及oracle边界，并设计自边界优化算法，实现理论与实践的桥接。
2025-10-13 cs.AI cs.LG stat.ML
Black-box Adversarial Attacks with Bayesian Optimization
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Bosch Center for AI（博世人工智能中心）；CMU（卡内基梅隆大学）
我们专注于黑盒对抗攻击的问题，其目的是生成对抗的例子使用的信息仅限于输入输出对的损失函数评估。我们使用贝叶斯优化~（BO），专门迎合涉及低查询预算的情况下，开发查询有效的对抗攻击。我们通过有效的维度上采样技术来缓解围绕BO的关于优化高维深度学习模型的问题。我们所提出的方法实现了最先进的黑盒对抗攻击的性能相媲美，虽然有一个低得多的平均查询计数。特别是，在低查询预算制度，我们提出的方法减少查询计数高达$80\%$相对于最先进的方法。
2019-09-30 cs.LG stat.ML
A Primer on PAC-Bayesian Learning
Inria Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）；University College London（伦敦大学学院）
广义贝叶斯学习算法在机器学习中越来越受欢迎，这是由于其PAC泛化特性和灵活性。本文件的目的是提供一个独立的调查所产生的PAC贝叶斯框架和一些主要的理论和算法的发展。
2019-05-07 cs.LG stat.ML
A Limitation of the PAC-Bayes Framework
Tel Aviv University（特拉维夫大学）；Google AI（谷歌人工智能）；Princeton（普林斯顿大学）
PAC-Bayes是McAllester（'98）提出的一个用于推导推广界的有用框架。该框架具有导出依赖于分布和算法的边界的灵活性，这些边界通常比VC相关的一致收敛边界更严格。在这篇手稿中，我们提出了一个PAC贝叶斯框架的限制。我们证明了一个简单的学习任务，是不适合PAC贝叶斯分析。具体来说，我们考虑一维线性分类的任务;众所周知，这个任务只使用$O(\log(1/δ)/ε)$示例是可学习的。另一方面，我们表明，这一事实不能证明使用PAC-贝叶斯分析：对于任何学习1维线性分类器的算法，存在一个（可实现的）分布，其中PAC-贝叶斯界是任意大的。
2021-09-03 cs.LG stat.ML
A Note on the Efficient Evaluation of PAC-Bayes Bounds
University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）
当利用PAC-Bayes理论进行风险认证时，通常需要估计和限制PAC-Bayes后验的Gibbs风险。在文献中的许多作品采用的方法，这需要大量的数据集的通行证，招致高的计算成本。这份手稿提出了一个非常一般的替代方案，使计算节省的数据集大小的顺序。
2022-10-20 cs.LG stat.ML
Conditionally Gaussian PAC-Bayes
University of Oxford（牛津大学）
最近的研究经验调查不同的方法来训练随机神经网络的分类任务，通过优化PAC贝叶斯约束通过随机梯度下降。这些程序中的大多数都需要用替代损失来替换误分类错误，从而导致优化目标与实际泛化范围之间的不匹配。本文提出了一种新的训练算法，优化PAC贝叶斯界，而不依赖于任何代理损失。实验结果表明，该方法优于目前可用的PAC-Bayesian训练方法。
2022-02-24 cs.LG stat.ML
Misclassification excess risk bounds for PAC-Bayesian classification via convexified loss
Norwegian University of Science and Technology（挪威科技大学）
针对现有PAC-贝叶斯界多针对凸替代损失的局限，本研究利用期望型PAC-贝叶斯相对界，推导了使用凸替代损失时PAC-贝叶斯分类的误分类超额风险界，并在多个重要应用中验证了方法有效性。
2024-08-16 cs.LG stat.ML
PAC-Bayesian Margin Bounds for Convolutional Neural Networks
LTS2；EPFL（洛桑联邦理工学院）；IDCOM；University of Edinburgh（爱丁堡大学）
最近，深度神经网络的泛化误差已经通过PAC-Bayesian框架进行了分析，对于全连接层的情况。我们将这种方法适用于卷积设置。
2018-04-20 cs.LG stat.ML
A General framework for PAC-Bayes Bounds for Meta-Learning
Chalmers University of Technology（查尔姆斯理工大学）
元学习通过观察来自有限数量的相关任务的数据来自动推断归纳偏差，其包括基础学习算法的超参数。研究了Meta推广间隙的PAC-Bayes界。元泛化差距包括两个来源的泛化差距：环境级和任务级的差距所造成的有限数量的任务和数据样本，每个任务的观察，分别。在本文中，通过上界任意凸函数，它连接的预期和经验损失的环境和每个任务的水平，我们得到了新的PAC-Bayes界。使用这些界限，我们开发新的PAC贝叶斯元学习算法。数值例子表明，所提出的新的界限和算法相比，以前的PAC-Bayes界的元学习的优点。
2022-06-11 cs.LG stat.ML
PAC-Bayesian Transportation Bound
IBM Research（IBM研究院）
经验上，已知PAC-Bayesian分析为实际机器学习算法产生严格的风险界限。然而，在其朴素的形式，它只能处理随机预测，而这样的预测很少使用和确定性预测往往在实践中表现良好。为了填补这一空白，我们开发了一个新的泛化误差界，PAC-Bayesian运输界，统一的PAC-Bayesian分析和链接方法的最优运输。它是第一个PAC-Bayesian界，根据它们的距离将任何两个预测变量的风险联系起来，并且能够评估面临连续损失函数的随机预测变量的去随机化成本。作为一个例子，我们给出了一个上界的谱归一化神经网络（NN）的去随机化成本，以评估有多少随机性有助于NN的推广。
2019-11-21 cs.LG stat.ML
PAC-Bayes with Backprop
DeepMind（深度思考（DeepMind））
我们探索家庭的方法“PAC贝叶斯与反向传播”（PBB）训练概率神经网络通过最小化PAC贝叶斯界限。我们提出了两个训练目标，一个来自以前已知的PAC贝叶斯界，第二个来自一个新的PAC贝叶斯界。这两个培训目标进行评估MNIST和各种UCI数据集。我们的实验显示了两个惊人的观察：我们获得了有竞争力的测试集误差估计（在MNIST上约为1.4%），同时我们计算了比以前结果更严格的值（在MNIST上约为2.3%）的非空界。这些观察结果表明，由PBB训练的神经网络可能会导致自约束学习，其中可用数据可用于同时学习预测因子并验证其风险，而无需遵循数据拆分协议。
2019-10-04 cs.LG stat.ML
PAC-Bayes under potentially heavy tails
Osaka University（大阪大学）
我们推导出PAC-Bayesian学习保证的重尾损失，并获得了一个新的最佳吉布斯后验，享有有限样本超额风险界对数置信度。我们的核心技术本身利用PAC-Bayesian不等式来推导出一个鲁棒的风险估计器，该估计器易于计算。特别地，仅假设损失分布的前三个矩是有界的，从该估计器导出的学习算法实现了接近亚高斯的统计误差，直到先验的质量。
2019-12-18 cs.LG stat.ML
PAC-Bayes Bounds for Bandit Problems: A Survey and Experimental Comparison
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Southern Denmark（南丹麦大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
本文综述了多臂老虎机问题中的PAC-Bayes界并开展实验比较，发现其在离线上下文老虎机算法中能提供非空洞性能保证，而在线算法的累积遗憾界仍较宽松。
2023-07-16 cs.LG stat.ML
PAC-Bayesian Adversarially Robust Generalization Bounds for Graph Neural Network
Center for Data Science, Zhejiang University（浙江大学数据科学中心）
本文利用PAC-贝叶斯框架为GCN和消息传递图神经网络建立对抗鲁棒泛化界，揭示扩散矩阵谱范数、权重谱范数和扰动因子的关键作用，并避免了对最大节点度的指数依赖，改进了现有结果。
2024-07-06 cs.LG stat.ML
How good is PAC-Bayes at explaining generalisation?
Inria（法国国家信息与自动化研究所）；SUEZ（苏伊士集团）；Universitat Pompeu Fabra（庞培法布拉大学）；UCL（伦敦大学学院）
本文分析 PAC-Bayes 界提供有意义泛化保证的必要条件，指出最优保证仅取决于先验诱导的风险分布，并讨论数据依赖先验对 PAC-Bayes 解释泛化主张的影响。
2025-03-11 cs.LG stat.ML
Adversarial Attacks on Graph Classification via Bayesian Optimisation
University of Oxford（牛津大学）
图神经网络是一种在广泛的基于图的学习任务中有效的流行模型，已被证明容易受到对抗性攻击。虽然大多数文献都集中在节点级分类任务中的这种脆弱性上，但很少有人致力于分析对图级分类的对抗性攻击，这是生物化学和社交网络分析等众多现实应用的一个重要问题。现有的几种方法通常需要不切实际的设置，例如访问受害者模型的内部信息，或者不切实际的大量查询。我们提出了一种新的贝叶斯优化为基础的攻击方法的图分类模型。我们的方法是黑盒，查询效率和吝啬的扰动。我们经验验证了所提出的方法的有效性和灵活性，广泛的图形分类任务，涉及不同的图形属性，约束和攻击模式。最后，我们分析了产生的对抗样本背后的常见可解释模式，这可能会进一步揭示图分类模型的对抗鲁棒性。
2021-11-04 cs.AI cs.CR cs.LG
PAC-Bayes with Minimax for Confidence-Rated Transduction
University of California, San Diego（加州大学圣地亚哥分校）
我们考虑使用一个二进制分类器的合奏的转导预测，当未标记的测试数据是已知的。在这种情况下，我们推导出最小最大最优规则的信心评级预测。通过对这些规则进行PAC-Bayes分析，我们获得了数据相关的性能保证，而无需对数据进行分布假设。我们的分析技术很容易扩展到一个设置中，预测是允许弃权。
2015-01-15 cs.LG stat.ML
Fast-rate PAC-Bayes Generalization Bounds via Shifted Rademacher Processes
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
Rademacher复杂性和PAC-Bayesian理论的发展在很大程度上是独立的。一个例外是Kakade，Sridharan和Tewari（2008）的PAC-Bayes定理，它是通过Rademacher复杂性理论将Gibbs分类器视为线性算子而建立的。本文的目标是扩展Rademacher复杂性和最先进的PAC-Bayesian理论之间的桥梁。我们首先证明了可以使用移位Rademacher过程（Wegkamp，2003; Lecué和Mitchell，2012; Zhivotovskiy和Hanneke，2018）来匹配Catoni的PAC-Bayes边界（Catoni，2007）的快速速率。然后，我们推导出一个新的快速PAC-Bayes界的经验风险表面上的后集中的“平坦度”。我们的分析建立了一个新的框架，推导出快速PAC-Bayes界，并产生新的见解PAC-Bayes理论。
2019-12-01 cs.LG math.ST stat.ML
Improving Generalization of Complex Models under Unbounded Loss Using PAC-Bayes Bounds
Michigan State University（密歇根州立大学）
本文提出一种新的PAC-Bayes训练算法，通过建立无界损失下的新界并联合训练先验与后验，在多种任务上超越现有PAC-Bayes方法并接近最优正则化ERM的测试准确率。
2024-10-20 cs.LG stat.ML
PAC-Bayes Iterated Logarithm Bounds for Martingale Mixtures
University of California, San Diego（加州大学圣地亚哥分校）
我们给出了严格的浓度边界的混合物的鞅，同时均匀的（a）混合分布，在PAC贝叶斯意义上，和（b）所有有限的时间。这些界限证明的鞅方差，扩展经典的伯恩斯坦不等式，锐化和简化以前的工作。
2015-06-22 cs.LG math.PR stat.ML
PAC-Bayes, MAC-Bayes and Conditional Mutual Information: Fast rate bounds that handle general VC classes
CWI Amsterdam（阿姆斯特丹数学与计算机科学国家研究所）；Leiden University（莱顿大学）；Google Research（谷歌研究院）；Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）
我们给出了一个新的，统一的推导条件PAC贝叶斯和互信息（MI）的推广界。我们推导出条件MI界限作为一个实例，与特殊的选择之前，条件MAC贝叶斯（平均近似正确）界限，本身来自条件PAC贝叶斯界限，其中“有条件”的意思是，可以使用先验条件的联合训练和鬼样本。这使我们能够得到一般VC类的非平凡PAC贝叶斯和MI风格的界限，最近证明标准PAC贝叶斯/MI界限是不可能的。第二，如果Bernstein条件成立，它允许我们获得$γ> 1/2$和指数凹损失（使用$γ=1$）的更快的$O \left(({\text{KL}}/n)^γ\right)$阶速率，这在标准PAC贝叶斯推广和MI边界下都是不可能的。我们的工作扩展了Steinke和Zakynthinou [2020]最近的工作，他们用VC处理MI，但既不是PAC-Bayes也不是快速的，Hellström和Durisi [2020]最近的工作通过统一的指数不等式将后者扩展到PAC-Bayes设置，以及Mhammedi等人。[2019]启动了快速PAC-Bayes泛化误差界，但既不处理MI也不处理一般的VC类。
2021-06-17 cs.IT cs.LG math.IT
Self-Bounding Majority Vote Learning Algorithms by the Direct Minimization of a Tight PAC-Bayesian C-Bound
Univ Lyon, UJM-Saint-Etienne, CNRS, Institut d Optique Graduate School, Laboratoire Hubert Curien UMR 5516（里昂大学，圣艾蒂安大学，法国国家科学研究中心，光学研究所研究生院，于贝尔·居里安实验室）；Université Laval（拉瓦尔大学）
在PAC-Bayesian文献中，C-Bound是指多数投票分类器的风险（在0 - 1损失下）与其边际的前两个时刻（即，（1）选民的期望差距和选民的多样性。到目前为止，在这个框架中开发的学习算法最小化的经验版本的C-界，而不是显式的PAC贝叶斯泛化界。在本文中，通过直接优化PAC-Bayesian保证的C-界，我们得到了自约束多数投票学习算法。此外，我们基于梯度下降的算法是可扩展的，并导致准确的预测与非空保证配对。
2021-08-31 cs.LG stat.ML
Chebyshev-Cantelli PAC-Bayes-Bennett Inequality for the Weighted Majority Vote
University of Copenhagen（哥本哈根大学）；University of Aalborg（奥尔堡大学）
我们提出了一个新的二阶预言界的加权多数票的预期风险。该界是基于Chebyshev- Cantelli不等式的一种新的参数形式（a.k.a.单边切比雪夫的），这是服从有效的最小化。新形式解决了基于Chebyshev-Cantelli不等式的先验预言界所面临的优化挑战，C界[Germain等人，2015]，同时改进了Masegosa等人[2020]提出的基于二阶Markov不等式的预言界。我们还得到了一个新的浓度测量不等式，我们命名为PAC-Bayes-Bennett，因为它结合了PAC-Bayesian边界和Bennett不等式。我们使用它的经验估计的预言界。PAC-Bayes-Bennett不等式改进了Seldin等人的PAC-Bayes-Bernstein不等式[2012]。我们提供了一个实证评估，证明新的边界可以改进Masegosa等人的工作。[2020]。Chebyshev-Cantelli不等式和PAC-Bayes-Bennett不等式的参数形式对于其他领域测度集中的研究可能具有独立的意义。
2023-01-17 cs.LG stat.ML
Reducing Adversarially Robust Learning to Non-Robust PAC Learning
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们研究的问题，减少对抗强大的学习标准PAC学习，即学习对抗强大的预测使用访问只有一个黑盒非强大的学习者的复杂性。我们给出了一个减少，可以鲁棒地学习任何假设类$\mathcal{C}$使用任何非鲁棒学习器$\mathcal{A}$为$\mathcal{C}$。调用$\mathcal{A}$的次数在数学上取决于每个示例允许的对抗性扰动的数量，我们给出了一个下限，表明这是不可避免的。
2020-10-22 cs.LG
Empirical PAC-Bayes Bounds for Markov Chains
本文提出了一种基于马尔可夫链伪谱间隙的经验PAC-Bayes界，解决了传统界中依赖未知常数的问题，并通过实验验证了其有效性。
2026-03-11 cs.LG stat.ML
Bridging the Gap Between Practice and PAC-Bayes Theory in Few-Shot Meta-Learning
Google Research（谷歌研究院）
尽管最近的进展，在其理论理解，仍然存在着显着的差距，现有的PAC贝叶斯理论的能力，元学习解释性能改善的少样本学习设置，在目标任务中的训练样本的数量是非常有限的。这种差距源于现有理论中的假设，该假设假定观察任务中的训练样本的数量和目标任务中的训练样本的数量遵循相同的分布，该假设在实践中很少成立。通过放松这一假设，我们开发了两个PAC贝叶斯边界量身定制的少样本学习设置，并表明，现有的两个元学习算法（MAML和爬行动物）可以从我们的边界，从而弥合实践和PAC贝叶斯理论之间的差距。此外，我们推导出一个新的计算效率的PACMAML算法，并显示它优于现有的元学习算法在几个Few-Shot基准数据集。
2021-10-25 cs.LG stat.ML
Efron-Stein PAC-Bayesian Inequalities
DeepMind
证明了随机变量为独立随机变量的可能非线性函数的半经验集中不等式。这些不等式描述的浓度的随机变量的数据/分布相关的Efron-Stein（ES）估计的方差，他们不需要任何额外的假设的时刻。特别是，这使我们能够陈述无界随机变量一般函数的半经验伯恩斯坦型不等式，这为相关方法（例如有界差）可能应用起来更具挑战性的情况提供了用户友好的浓度界限。我们将这些结果扩展到Efron-Stein PAC-贝叶斯不等式，该不等式适用于任意概率核，定义了一个随机的，数据相关的函数选择。最后，我们展示了一些应用程序，包括PAC贝叶斯推广界的无界损失函数，经验伯恩斯坦型推广界，新的截断自由界的政策外评估加权重要性采样（WIS），和政策外PAC贝叶斯学习与WIS。
2020-02-03 cs.LG stat.ML
Estimating optimal PAC-Bayes bounds with Hamiltonian Monte Carlo
University of Cambridge（剑桥大学）；Helmholtz AI, TU Munich（亥姆霍兹人工智能，慕尼黑工业大学）
本文研究PAC-Bayes界优化中因子化高斯后验限制造成的紧致性损失，通过哈密顿蒙特卡洛采样最优吉布斯后验并结合热力学积分估计KL散度，在MNIST上发现与MFVI相比差距可达5-6%。
2023-10-30 cs.LG stat.ML
PAC-Bayes bounds for stable algorithms with instance-dependent priors
UCL（伦敦大学学院）；University Carlos III of Madrid（马德里卡洛斯三世大学）；East China Normal University（华东师范大学）；Deepmind
PAC-Bayes界已经被提出来基于训练样本获得风险估计。在本文中，PAC-Bayes方法与Hilbert空间值算法学习的假设的稳定性相结合。PAC-Bayes设置与以预期输出为中心的高斯先验一起使用。因此，我们的论文的新颖之处是使用先验定义的数据生成分布。我们的主要结果估计的假设稳定性系数的随机算法的风险。我们还提供了一个新的界限的SVM分类器，这是比较其他已知的界限实验。我们的似乎是第一个基于稳定性的界限，评估非平凡值。
2018-08-30 cs.LG stat.ML
Adversarial Causal Bayesian Optimization
ETH Zürich（苏黎世联邦理工学院）
本文将因果贝叶斯优化推广为对抗因果贝叶斯优化（ACBO），以应对其他智能体或外部事件干预导致的非平稳性，并提出首个具有有界遗憾的算法CBO-MW，通过在因果图中传播不确定性计算乐观反事实奖励估计，在合成与真实数据环境中表现优于基线方法。
2023-07-31 cs.LG stat.ML
PAC-Bayesian Learning of Optimization Algorithms
University of Tübingen（蒂宾根大学）
我们将PAC-Bayes理论应用于学习优化的设置。据我们所知，我们提出了第一个框架来学习优化算法与可证明的泛化保证（PAC界）和明确的高概率收敛和高收敛速度之间的权衡。即使在极限的情况下，收敛性得到保证，我们学到的优化算法证明优于相关算法的基础上（确定性）的最坏情况分析。我们的研究结果依赖于PAC贝叶斯界一般，无界损失函数的指数家庭的基础上。通过推广现有的想法，我们重新制定的学习过程成一个一维的最小化问题，并研究的可能性，找到一个全局最小值，这使得算法实现的学习过程。作为概念验证，我们学习标准优化算法的超参数，以经验方式强调我们的理论。
2023-02-15 cs.LG stat.ML
Split-kl and PAC-Bayes-split-kl Inequalities for Ternary Random Variables
University of Copenhagen（哥本哈根大学）
给出了独立有界随机变量和的一个新的集中测度不等式，我们称之为split-kl不等式.这个不等式特别适合于三元随机变量，它自然会出现在各种问题中，包括分类中的超额损失分析，加权多数投票分析，以及学习与预防。我们证明了对于三元随机变量，该不等式与kl不等式、经验Bernstein不等式和意外Bernstein不等式同时竞争，并且在某些情况下优于它们.它解决了Tolstikhin和Seldin [2013]和Mhammedi等人[2019]提出的一个悬而未决的问题，即当分布碰巧接近二进制时，如何同时匹配kl不等式的组合能力，以及当概率质量集中在中间值时，伯恩斯坦不等式利用低方差的能力。我们还推导了一个PAC-Bayes-split-kl不等式，并将其与PAC-Bayes-kl，PAC-Bayes-Empirical-Bennett和PAC-Bayes-Unexpected-Bernstein不等式进行了比较，分析了超额损失和几个UCI数据集的加权多数投票。最后但并非最不重要的是，我们的研究提供了第一个直接比较的经验伯恩斯坦和意外伯恩斯坦不等式及其PAC-Bayes扩展。
2023-01-17 cs.LG stat.ML
Generalisation under gradient descent via deterministic PAC-Bayes
Universitat Pompeu Fabra（庞培法布拉大学）；University of Oxford（牛津大学）；UCL（伦敦大学学院）；Inria London（法国国家信息与自动化研究所伦敦分部）
针对梯度下降类模型泛化性问题，提出解耦的确定性PAC-Bayesian泛化界，无需去随机化且可计算，适用于SGD、动量法等多种迭代优化算法，为泛化分析提供新框架。
2025-02-11 cs.LG stat.ML
A PAC-Bayesian Generalization Bound for Equivariant Networks
Qualcomm AI Research（高通人工智能研究院）
等变网络通过将这些对称性构建到模型中来捕获关于学习任务对称性的归纳偏差。本文利用PAC贝叶斯分析方法研究了等变网络中特征空间的变换规律由群表示确定时，等变网络的等变与泛化误差的关系。通过对每一层的傅立叶域中的等变网络进行扰动分析，我们得到了基于范数的PAC-Bayesian推广界。该界表征了群体规模、不可约表示的多重性和程度对泛化误差的影响，从而为选择它们提供了指导。在一般情况下，界限表明，在模型中使用更大的组大小改善了泛化误差证实了广泛的数值实验。
2022-10-24 cs.LG stat.ML
Differentiable PAC-Bayes Objectives with Partially Aggregated Neural Networks
Centre for Artificial Intelligence（人工智能中心）；University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）
我们做了三个相关的贡献，激励的挑战，训练随机神经网络，特别是在PAC贝叶斯设置：（1）我们显示如何平均在一个合奏的随机神经网络，使一类新的\emph{partially-aggregated}估计;（2）我们表明，这些导致可证明的低方差梯度估计的不可微的符号输出网络;（3）我们重新制定了这些网络的PAC贝叶斯界，以获得一个直接可优化的，可微的目标和泛化保证，而不使用代理损失或放松界。这个界限是Letarte等人（2019）在类似网络类型上的两倍。我们的经验表明，这些创新使培训更容易，并导致竞争力的保证。
2020-06-22 cs.LG stat.ML
Risk Bounds for the Majority Vote: From a PAC-Bayesian Analysis to a Learning Algorithm
Université Laval（拉瓦尔大学）
我们提出了一个广泛的分析行为的多数票在二进制分类。特别是，我们引入了一个风险约束的多数票，称为C界，考虑到选民的平均质量和他们的平均分歧。我们还提出了一个广泛的PAC-Bayesian分析，展示了如何从训练数据中包含的各种观察来估计C界。该分析旨在是独立的，可以用作PAC贝叶斯统计学习理论的介绍材料。它从一般的PAC-Bayesian角度开始，并以不常见的PAC-Bayesian边界结束。其中一些边界不包含库尔贝克-莱布勒散度，而另一些边界允许将内核函数用作投票者（通过样本压缩设置）。最后，在分析的基础上，我们提出了MinCq学习算法，该算法基本上最小化了C界。MinCq简化为一个简单的二次规划。除了理论上的基础，MinCq实现了最先进的性能，如我们与AdaBoost和支持向量机的广泛实证比较所示。
2015-07-28 cs.LG stat.ML
A Characterization of Semi-Supervised Adversarially-Robust PAC Learnability
Ben-Gurion University（本古里安大学）；Purdue University（普渡大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
本文刻画了半监督PAC模型下对抗鲁棒学习的样本复杂度，证明充足未标注数据可使已标注样本需求任意减小，并给出几乎匹配的上下界，揭示了半监督鲁棒学习相较监督学习的显著优势。
2024-05-05 cs.LG stat.ML
PAC-Bayesian Generalization Guarantees for Fairness on Stochastic and Deterministic Classifiers
CNRS（法国国家科学研究中心）；Institut d Optique Graduate School（高等光学学院）；Inria（法国国家信息与自动化研究所）；Institut Universitaire de France（法国大学研究院）；Universite Claude Bernard Lyon 1（里昂第一大学）；Univ Rennes（雷恩大学）
本文提出了一种PAC-Bayesian框架，用于推导公平性的泛化界，适用于随机和确定性分类器，并通过实验验证了其有效性。
2026-02-12 cs.LG stat.ML
Online PAC-Bayes Learning
Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
大多数PAC-Bayesian边界在批量学习设置中保持不变，其中在推断或预测之前立即收集数据。这在某种程度上背离了许多当代学习问题，其中收集数据流并且算法必须动态调整。我们证明了新的PAC贝叶斯边界在这个在线学习框架，利用更新的定义后悔，我们重温经典的PAC贝叶斯结果与一批在线转换，扩展其职权范围的情况下，依赖数据。我们的研究结果持有有限的损失，潜在的\emph{non-convex}，铺平了道路，有前途的发展在线学习。
2022-10-13 cs.LG math.ST stat.ML
PAC-Bayes Analysis of Sentence Representation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
从未标记语料库中学习句子向量已经引起了人们的关注，因为这样的向量可以在低维和连续的空间中表示句子。使用预先训练的词向量的简单语法广泛应用于机器学习任务。然而，从理论的角度来看，它们并没有得到很好的理解。我们从迁移学习的角度分析学习句子向量，使用PAC贝叶斯界，使我们能够理解现有的语法。我们表明，简单的算法，如平均和逆文档频率加权平均，来自我们的配方。此外，我们提出了新的句子向量学习算法的基础上，我们的PAC-Bayes分析。
2019-02-13 cs.CL cs.LG stat.ML
PAC-Bayes Mini-tutorial: A Continuous Union Bound
当我第一次遇到PAC贝叶斯集中不等式，他们似乎对我来说，而断开良好的老式的结果，如Hoeffding的和伯恩斯坦的不平等。但是，至少对于PAC-Bayesian界的一种类型，实际上有非常密切的关系，主要的创新是联合界的连续版本，以及一些巧妙的应用。以下是从机器学习的角度介绍的要点。
2014-05-07 stat.ML
A PAC-Bayesian Approach to Spectrally-Normalized Margin Bounds for Neural Networks
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文给出了前馈神经网络的一个推广界，它是由层的谱范数和权值的Frobenius范数的乘积表示的。泛化界是使用PAC-Bayes分析。
2018-02-23 cs.LG
Mitigating Closed-model Adversarial Examples with Bayesian Neural Modeling for Enhanced End-to-End Speech Recognition
Amazon Alexa AI（亚马逊Alexa人工智能部门）
在这项工作中，我们的目标是提高系统的鲁棒性的端到端的自动语音识别（ASR）对不利的噪声语音的例子。我们专注于严格和经验的“封闭模型对抗鲁棒性”设置（例如，设备上或云应用）。对抗性噪声仅由闭模型优化（例如，进化和零阶估计），而不直接访问目标ASR模型的梯度信息。我们提出了一种先进的贝叶斯神经网络（BNN）为基础的对抗检测器，它可以模拟潜在的分布对自适应对抗扰动与分歧的测量。我们进一步模拟了RNN Transducer，Conformer和基于wav 2 vec-2.0的ASR系统的部署场景。利用所提出的基于BNN的检测系统，与当前针对对抗性语音示例的模型增强方法相比，我们将LibriSpeech数据集的检测率提高了+2.77%至+5.42%（相对+3.03%至+6.26%），并将单词错误率降低了5.02%至7.47%。
2022-02-17 cs.AI cs.LG cs.NE
Demystify Optimization and Generalization of Over-parameterized PAC-Bayesian Learning
University of Technology Sydney（悉尼科技大学）；University of California San Diego（加州大学圣地亚哥分校）
PAC-Bayesian是一种分析框架，其中训练误差可以表示为后验分布中假设的加权平均值，同时结合先验知识。除了作为一个纯粹的泛化界分析工具，PAC-Bayesian界也可以被合并到一个目标函数中来训练概率神经网络，使它们成为一个强大的和相关的框架，可以在数字上为监督学习提供一个严格的泛化界。为了简单起见，我们将使用从PAC-Bayesian边界导出的训练目标学习的概率神经网络称为{ \it PAC-Bayesian学习}。尽管他们的经验成功，PAC贝叶斯学习神经网络的理论分析很少探索。本文提出了一类新的收敛性和推广性分析的PAC-Bayes学习时，它用于训练过参数神经网络的梯度下降的方法。对于一个广泛的概率神经网络，我们表明，当PAC-Bayes学习应用，收敛结果对应于解决核岭回归时，概率神经切线核（PNTK）作为其内核。基于这一发现，我们进一步刻画了非概率神经网络的统一PAC-Bayesian推广界，它改进了Rademacher基于复杂度的界。最后，借鉴我们的理论结果，我们提出了一个有效的超参数选择的代理措施，这被证明是节省时间。
2022-02-04 cs.LG
Wasserstein PAC-Bayes Learning: Exploiting Optimisation Guarantees to Explain Generalisation
Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）；Université de Lille（里尔大学）
本文扩展 Wasserstein PAC-Bayes 理论，用 Wasserstein 距离替代 KL 散度建立新泛化界，并利用优化性质为 Bures-Wasserstein SGD 提供泛化保证，从而将优化保证与泛化能力联系起来。
2023-05-30 cs.LG math.OC stat.ML
A PAC-Bayesian Perspective on Structured Prediction with Implicit Loss Embeddings
Mines ParisTech – PSL（巴黎高等矿业学院——巴黎文理研究大学）；Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）；University College London（伦敦大学学院）
许多实际的机器学习任务可以被构造为结构化预测问题，其中多个输出变量被预测并被认为是相互依赖的。结构化预测的最新理论进展集中在获得快速收敛保证，特别是在隐损失嵌入（ILE）框架中。PAC-Bayes最近因其能够为预测分布产生严格的风险边界而引起了人们的兴趣。这项工作提出了一种新的PAC贝叶斯观点的ILE结构化预测框架。我们提出了两个推广的界限，风险和超额风险，从而产生洞察ILE预测的行为。两个学习算法推导出这些界限。算法的实现和他们的行为分析，源代码可在\url{https://github.com/theophilec/PAC-Bayes-ILE-Structured-Prediction}。
2020-12-21 cs.LG math.ST stat.ML
A PAC-Bayesian Tutorial with A Dropout Bound
本教程简要概述了现有的PAC贝叶斯理论，重点是三个泛化边界。第一个是奥卡姆界限，它处理具有有限精度参数的规则，并且当写入规则所需的位数与样本大小相比很小时，它指出泛化损失接近训练损失。第二个是PAC-Bayesian界，为后验分布而不是单个规则提供泛化保证。PAC-Bayesian界自然地处理无限精度规则参数、$L_2$正则化、{ \em提供了用于放弃训练的界}，并且定义了单个区分的PAC-Bayesian后验分布的自然概念。第三个界限是训练方差界限-一种偏差方差分析，但用预期训练损失代替偏差。训练方差界占主导地位的其他界限，但更难以解释。这似乎表明方差减少方法，如装袋，并可能最终提供一个更有意义的辍学分析。
2013-07-08 cs.LG
PAC-Bayes unleashed: generalisation bounds with unbounded losses
Inria（法国国家信息与自动化研究所）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）；University College London（伦敦大学学院）
我们提出了新的PAC贝叶斯广义界的学习问题的无界损失函数。这扩展了PAC-Bayes学习框架的相关性和适用性，其中大多数现有文献都集中在具有有界损失函数的监督学习问题（通常假设在区间[0;1]中取值）。为了放宽这一假设，我们提出了一个新的概念，称为HYPE（代表\emph{HYPothesis-dependent rangE}），它有效地允许损失的范围取决于每个预测。基于这个新的概念，我们得到了一个新的PAC贝叶斯广义界的无界损失函数，我们实例化它的线性回归问题。为了使我们的理论可用的最大的观众可能，我们包括讨论实际计算，实用性和我们的假设的局限性。
2020-09-30 cs.LG math.ST stat.ML
Adversarial Query Synthesis via Bayesian Optimization
University of Pennsylvania（宾夕法尼亚大学）
本文提出利用贝叶斯优化技术自动合成对抗查询，以提升数据库基准工作的优化余地。
2026-03-02 cs.DB cs.LG
Query-Efficient and Scalable Black-Box Adversarial Attacks on Discrete Sequential Data via Bayesian Optimization
Seoul National University（首尔国立大学）
我们专注于对离散序列数据模型进行对抗攻击的问题，在黑盒设置中，攻击者的目标是制作对抗示例，对受害者模型进行有限的查询访问。现有的黑盒攻击，主要是基于贪心算法，发现敌对的例子使用预先计算的关键位置扰动，这严重限制了搜索空间，并可能导致次优的解决方案。为此，我们提出了一个查询高效的黑盒攻击，使用贝叶斯优化，动态计算重要的位置，使用自动相关性确定（ARD）分类内核。当输入序列变长时，我们引入块分解和历史子采样技术来提高贝叶斯优化的可扩展性。此外，我们开发了一个后优化算法，发现具有较小扰动大小的对抗性示例。在自然语言和蛋白质分类任务上的实验表明，与现有的方法相比，该方法具有更高的攻击成功率，查询次数和修改率显著降低.
2022-06-17 cs.CR cs.LG
PAC-Bayes Analysis Beyond the Usual Bounds
University College London（伦敦大学学院）；DeepMind（深度思维）
我们专注于一个随机学习模型，其中学习者观察一组有限的训练样本，学习过程的输出是一个假设空间上的数据依赖分布。然后使用学习到的数据相关分布进行随机预测，这里讨论的高级主题是保证在训练期间未看到的示例的预测质量，即泛化。在这种情况下，感兴趣的未知量是数据相关随机预测因子的预期风险，其上限可以通过PAC-Bayes分析得出，从而得出PAC-Bayes边界。具体来说，我们提出了一个基本的PAC贝叶斯不等式的随机内核，从中可以得到各种已知的PAC贝叶斯界的扩展，以及新的界限。我们澄清了固定的“无数据”先验，有界损失和独立同分布的要求的作用。数据我们强调，这些要求用于上限指数矩项，而基本的PAC-贝叶斯定理在没有这些限制的情况下仍然有效。我们提出了三个界限，说明使用数据相关的先验，包括一个无限平方损失。
2020-12-28 cs.LG stat.AP stat.ML
User-friendly introduction to PAC-Bayes bounds
ESSEC Business School（埃塞克商学院）
本文为 PAC-Bayes 理论提供友好入门，介绍其核心概念、发展历程及近期应用，旨在填补该领域缺乏入门介绍的空白。
2025-02-28 cs.LG math.ST stat.ML
Lower Bounds for Adversarially Robust PAC Learning
University of Virginia（弗吉尼亚大学）
在这项工作中，我们发起了一个正式的研究可能近似正确（PAC）学习规避攻击，其中对手的目标是\emph{misclassify}的adversarially扰动样本点$\widetilde{x}$，即，$h(\widetilde{x})\neq c(\widetilde{x})$，其中$c$是基础事实概念，$h$是学习假设。以前关于对抗性示例的PAC学习的工作都将对抗性示例建模为损坏的输入，其中对手的目标是实现$h(\widetilde{x}) \neq c(x)$，其中$x$是原始的未篡改实例。对抗风险的这两个定义在许多自然分布（如图像）中是一致的，但在一般情况下是不可比较的。我们首先证明，对于许多理论上自然的高维PDMATHAMT输入空间（例如，在$\ell_2$扰动下的维度$n$中的各向同性高斯），如果允许对手对测试实例应用高达次线性$o(||x||)$量的扰动，则PAC学习需要在$n$中呈指数的样本复杂度。这与使用损坏输入框架证明的结果相反，在该框架中，鲁棒学习的样本复杂度仅为多项式。然后，我们正式混合攻击，其中逃避攻击之前的中毒攻击。这可能让人想起“陷阱攻击”，其中也涉及中毒阶段，但这里的规避阶段使用了风险的错误区域定义，旨在对扰动实例进行错误分类。在这种情况下，我们表明PAC学习有时是不可能的，即使在没有攻击的情况下也是可能的（例如，由于有界VC维度）。
2019-06-13 cs.CC cs.CR cs.LG
