PAC-Bayes unleashed: generalisation bounds with unbounded losses
Inria（法国国家信息与自动化研究所）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）；University College London（伦敦大学学院）
我们提出了新的PAC贝叶斯广义界的学习问题的无界损失函数。这扩展了PAC-Bayes学习框架的相关性和适用性，其中大多数现有文献都集中在具有有界损失函数的监督学习问题（通常假设在区间[0;1]中取值）。为了放宽这一假设，我们提出了一个新的概念，称为HYPE（代表\emph{HYPothesis-dependent rangE}），它有效地允许损失的范围取决于每个预测。基于这个新的概念，我们得到了一个新的PAC贝叶斯广义界的无界损失函数，我们实例化它的线性回归问题。为了使我们的理论可用的最大的观众可能，我们包括讨论实际计算，实用性和我们的假设的局限性。
2020-09-30 cs.LG math.ST stat.ML
PAC-Bayes Generalisation Bounds for Dynamical Systems Including Stable RNNs
Aalborg University（奥尔堡大学）；Laboratoire Signal et Automatique de Lille (CRIStAL)（里尔信号与自动化实验室（CRIStAL））
针对含稳定RNN的离散时间非线性动力系统，在有监督时间序列场景下推导了适用于非独立同分布数据、不随RNN步数增长的PAC-Bayes泛化界，并给出形式化定义、推论及计算示例。
2023-12-15 cs.LG stat.ML
Tighter Generalisation Bounds via Interpolation
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（信息与信号处理研究所）；University College London（伦敦大学学院）；Université de Lille（里尔大学）；Ecole Normale Supérieure（高等师范学院）；PSL Research University（巴黎文理研究大学）
本文提出基于$(f, \Gamma)$-散度的PAC-Bayes泛化界配方，并通过在多种概率散度间插值获得更紧的界，且可实例化为训练目标，兼具理论保证与实际性能。
2024-02-07 cs.LG stat.ML
PAC-Bayes Generalisation Bounds for Heavy-Tailed Losses through Supermartingales
Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）；Université de Lille（里尔大学）
针对重尾损失下 PAC-Bayes 泛化界不足的问题，本文仅以有界方差为假设，利用超鞅的马尔可夫不等式扩展，统一给出无界鞅、批量及在线学习界。
2023-04-24 cs.LG math.ST stat.ML
Learning via Wasserstein-Based High Probability Generalisation Bounds
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；University College London（伦敦大学学院）；Université de Lille（里尔大学）
本文提出基于Wasserstein距离的PAC-Bayesian高概率泛化界，适用于批量与在线学习及无界损失，并据此设计可优化的SRM学习算法，实验验证其优势。
2023-10-27 cs.LG stat.ML
A Primer on PAC-Bayesian Learning
Inria Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）；University College London（伦敦大学学院）
广义贝叶斯学习算法在机器学习中越来越受欢迎，这是由于其PAC泛化特性和灵活性。本文件的目的是提供一个独立的调查所产生的PAC贝叶斯框架和一些主要的理论和算法的发展。
2019-05-07 cs.LG stat.ML
PAC-Bayesian Contrastive Unsupervised Representation Learning
The University of Tokyo（东京大学）；RIKEN（日本理化学研究所）；Université Laval（拉瓦尔大学）；Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
对比无监督表示学习（CURL）是从未标记数据中学习表示（作为一组特征）的最先进技术。虽然CURL最近取得了一些经验上的成功，但仍然缺乏对其性能的理论理解。在最近的一项工作中，Arora et al.（2019）提供了CURL的第一个泛化边界，依赖于Rademacher复杂性。我们将他们的框架扩展到灵活的PAC贝叶斯设置，使我们能够处理非iid设置。我们提出了PAC贝叶斯泛化界限的CURL，然后用它来推导出一个新的表示学习算法。在真实数据集上的数值实验表明，我们的算法达到了有竞争力的精度，并产生非空的广义界。
2020-07-17 cs.LG math.ST stat.ML
Non-Vacuous Generalisation Bounds for Shallow Neural Networks
University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）
我们专注于一类特定的浅神经网络与一个单一的隐藏层，即那些与$L_2$规范化的数据和S形高斯误差函数（“erf”）激活或高斯误差线性单元（GELU）激活。对于这些网络，我们通过PAC-贝叶斯理论得到新的泛化边界;与大多数现有的此类边界不同，它们适用于具有确定性参数而不是随机参数的神经网络。当网络在MNIST和Fashion-MNIST上使用香草随机梯度下降进行训练时，我们的边界是经验非空的。
2022-06-15 cs.LG stat.ML
A PAC-Bayesian Analysis of Distance-Based Classifiers: Why Nearest-Neighbour works!
摘要本文给出了K-近邻分类器（K-NN）泛化误差的PAC-贝叶斯界。这是通过铸造的K-NN分类到核空间框架的限制消失的核带宽。我们建立了核展开系数上的先验测度与核空间权向量上的诱导测度之间的关系。在系数上定义稀疏先验允许应用PAC-贝叶斯民间定理，该定理导致作为冗余训练样本的数量的函数的泛化界：那些可以被省略而不改变解决方案的训练样本。所提出的界限需要量化的解决方案的稀疏性的先验信念，并在学习后的实际冗余水平是已知的。即使对于小样本量（m ~ 100），当期望稀疏度和实际冗余度都很高时，该界也给出了非平凡的结果。
2021-09-28 cs.LG stat.ML
Conditionally Gaussian PAC-Bayes
University of Oxford（牛津大学）
最近的研究经验调查不同的方法来训练随机神经网络的分类任务，通过优化PAC贝叶斯约束通过随机梯度下降。这些程序中的大多数都需要用替代损失来替换误分类错误，从而导致优化目标与实际泛化范围之间的不匹配。本文提出了一种新的训练算法，优化PAC贝叶斯界，而不依赖于任何代理损失。实验结果表明，该方法优于目前可用的PAC-Bayesian训练方法。
2022-02-24 cs.LG stat.ML
How does Weight Correlation Affect the Generalisation Ability of Deep Neural Networks
University of Liverpool（利物浦大学）；State Key Laboratory of Computer Science, Institute of Software, CAS（中国科学院软件研究所计算机科学国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Intellegence Software, Guangzhou（广州智能软件研究所）
本文研究了深度神经网络中权重相关性的新概念，并讨论了其对网络泛化能力的影响。对于全连接层，权重相关性被定义为神经元权重向量之间的平均余弦相似性，对于卷积层，权重相关性被定义为滤波器矩阵之间的余弦相似性。从理论上讲，我们表明，权重相关性可以，而且应该，被纳入到PAC贝叶斯框架的泛化的神经网络，由此产生的泛化界是单调的权重相关性。我们制定了一个新的复杂性的措施，提升PAC贝叶斯测量与权重相关性，并通过实验证实，它是能够排名的泛化错误的一组网络比现有的措施更精确。更重要的是，我们开发了一种新的正则化器用于训练，并提供了大量的实验，表明我们的新方法可以大大减少泛化误差。
2020-10-17 cs.AI cs.LG
Federated Learning with Nonvacuous Generalisation Bounds
Université Paris-Saclay CEA（巴黎-萨克雷大学CEA）；Inria, CNRS, Ecole Normale Supérieure, PSL Research University（法国国家科学研究中心Inria、高等师范学院、巴黎-萨克雷研究大学）；University College London（伦敦大学学院）
本文提出了一种在联邦学习中训练随机预测器的新策略，通过在保持隐私的同时，释放本地预测器并保护训练数据不被其他节点知晓。研究构建了一个全局随机预测器，继承本地私有预测器的属性，基于PAC-Bayesian泛化界限。通过数值实验展示了该方法在预测性能上与批量方法相当，同时保持隐私。
2026-05-19 cs.LG stat.ML
On Margins and Generalisation for Voting Classifiers
University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）；ServiceNow Research（ServiceNow研究院）
我们研究了有限分类器集合上多数表决的推广性质，通过PAC贝叶斯理论证明了基于边际的推广界。这些为一些分类任务提供了最先进的保证。我们的中心结果利用了Zantedeschi等人最近研究的Dirichlet后验。[2021]用于训练投票分类器;与此相反，我们的边界通过使用边缘适用于非随机投票。我们的贡献增加了视角的“边缘理论”提出的Schapire等人的辩论。[1998]的概括合奏分类。
2022-10-20 cs.LG math.ST stat.ML
PAC-Bayes Bounds for Meta-learning with Data-Dependent Prior
元学习算法通过利用以往任务的经验，在遇到新任务时能够实现有效的快速适应能力。然而，尚不清楚泛化属性如何应用于新任务。概率近似正确贝叶斯界理论为元学习的泛化性能分析提供了一个理论框架。基于PAC-Bayes相对熵界，我们推导出了三个新的元学习泛化误差界。此外，使用经验风险最小化（ERM）方法，一个PAC贝叶斯界的元学习与数据相关的先验。实验结果表明，提出的3种元学习PAC-Bayes界具有较好的泛化性能，而基于数据相关先验的扩展PAC-Bayes界具有快速收敛能力.
2021-02-07 cs.LG stat.ML
Approximability and Generalisation
University of Birmingham（伯明翰大学）
近似学习机器在小型设备时代已经变得流行，包括量化、因子分解、散列或其他压缩预测器，而解释和保证这些方法良好泛化能力的探索才刚刚开始。在本文中，我们研究的作用，学习的近似性，无论是在全精度和近似设置的预测是从数据中学习，通过一个概念的灵敏度预测的近似算子的行动在手。我们证明了这样的预测的泛化上限，产生以下主要结果，任何PAC学习类和任何给定的近似算子。1)我们表明，在温和的条件下，近似的目标概念是从一个较小的标记样本，提供足够的未标记的数据学习。2)我们给出的算法，保证一个很好的预测，其近似也享有同样的泛化保证。3)我们突出了敏感性类中结构的自然例子，这减少了，甚至可能消除了额外的未标记数据的丰富需求，并从此揭示了什么使一个问题实例比另一个更容易学习。这些结果将现代模型压缩方法的范围嵌入到统计学习理论的总体目标中，从而通过最小化统一边界来建议适当的算法。
2022-03-15 cs.LG stat.ML
Wide stochastic networks: Gaussian limit and PAC-Bayesian training
University of Oxford（牛津大学）
无限宽度的限制允许在过参数化神经网络的分析研究中进行实质性的简化。通过适当的随机初始化，一个非常大的网络表现出近似高斯的行为。在目前的工作中，我们建立了一个简单的随机结构，其参数是随机变量，在训练前和训练过程中保持类似的结果。输出分布的显式评估允许PAC-贝叶斯训练过程直接优化泛化边界。对于一个大型但有限宽度的网络，我们在MNIST上凭经验证明，这种训练方法可以优于标准的PAC-Bayesian方法。
2023-02-13 cs.LG stat.ML
How Tight Can PAC-Bayes be in the Small Data Regime?
University of Cambridge（剑桥大学）；Invenia Labs（Invenia实验室）
在本文中，我们调查的问题：给定少量的数据点，例如N = 30，有多紧可以PAC贝叶斯和测试集的界限？对于这样的小数据集，测试集边界通过从训练过程中扣留数据而对泛化性能产生不利影响。在这种情况下，PAC-Bayes边界特别有吸引力，因为它们能够使用所有数据同时学习后验并限制其泛化风险。我们把重点放在身份识别的案子上。有界损失的数据，并考虑通用PAC-贝叶斯定理的Germain等。虽然他们的定理是已知的恢复许多现有的PAC贝叶斯界限，这是不清楚的最紧的界限是从他们的框架。对于一个固定的学习算法和数据集，我们表明，最紧密的可能的界限与Catoni考虑的界限相一致;并且，在数据集上分布的更自然的情况下，我们建立了预期中可实现的最佳界限的下限。有趣的是，如果后验概率等于前验概率，则该下界恢复了Buckoff测试集的界。此外，为了说明这些边界可以有多紧，我们研究了合成一维分类任务，其中可以元学习先验和边界的形式，以数字优化可能的最紧边界。我们发现，在这个简单的，受控的情况下，PAC贝叶斯界限具有竞争力的可比性，常用的BASHFF测试集的界限。然而，最尖锐的测试集界限仍然导致更好的保证泛化误差比我们考虑的PAC贝叶斯界限。
2022-01-13 cs.LG math.ST stat.ML
Chained Generalisation Bounds
University of Oxford（牛津大学）
这项工作讨论了如何通过链接技术来获得监督学习算法的预期泛化误差的上界。通过开发一个一般的理论框架，我们建立了一个对偶的广义界的损失函数的规律性的基础上，和他们的连锁同行，这可以通过解除规则性假设从损失到其梯度。这使我们能够重新推导出的链接互信息的约束从文献中，并获得新的链式信息理论的概括界限，基于瓦瑟斯坦距离和其他概率距离。我们展示了一些玩具的例子，链式的泛化界可以显着比它的标准对应更紧，特别是当算法选择的假设的分布是非常集中的。关键词：广义界限;链接;信息论界限;互信息;瓦瑟斯坦距离; PAC-贝叶斯。
2022-06-30 cs.IT cs.LG math.IT
Differentiable PAC-Bayes Objectives with Partially Aggregated Neural Networks
Centre for Artificial Intelligence（人工智能中心）；University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）
我们做了三个相关的贡献，激励的挑战，训练随机神经网络，特别是在PAC贝叶斯设置：（1）我们显示如何平均在一个合奏的随机神经网络，使一类新的\emph{partially-aggregated}估计;（2）我们表明，这些导致可证明的低方差梯度估计的不可微的符号输出网络;（3）我们重新制定了这些网络的PAC贝叶斯界，以获得一个直接可优化的，可微的目标和泛化保证，而不使用代理损失或放松界。这个界限是Letarte等人（2019）在类似网络类型上的两倍。我们的经验表明，这些创新使培训更容易，并导致竞争力的保证。
2020-06-22 cs.LG stat.ML
PAC-Bayes with Minimax for Confidence-Rated Transduction
University of California, San Diego（加州大学圣地亚哥分校）
我们考虑使用一个二进制分类器的合奏的转导预测，当未标记的测试数据是已知的。在这种情况下，我们推导出最小最大最优规则的信心评级预测。通过对这些规则进行PAC-Bayes分析，我们获得了数据相关的性能保证，而无需对数据进行分布假设。我们的分析技术很容易扩展到一个设置中，预测是允许弃权。
2015-01-15 cs.LG stat.ML
Normalized Flat Minima: Exploring Scale Invariant Definition of Flat Minima for Neural Networks using PAC-Bayesian Analysis
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
平坦极小值的概念在深度学习模型的泛化研究中发挥了关键作用。然而，已知平坦度的现有定义对参数的重新缩放敏感。这个问题表明，以前的平坦度定义可能不是一个很好的泛化度量，因为泛化对于这种重新缩放是不变的。在本文中，从PAC-Bayesian的角度来看，我们仔细检查有关的平坦极小值的讨论，并介绍了归一化平坦极小值的概念，这是免费的已知的规模依赖问题。此外，我们强调了现有的基于矩阵范数的泛化误差界的尺度依赖性，类似于现有的平坦极小值定义。我们修改后的平坦性概念也没有受到不足的影响，这表明它可能在假设类中提供更好的层次结构。
2019-01-28 cs.LG stat.ML
A note on regularised NTK dynamics with an application to PAC-Bayesian training
University of Oxford（牛津大学）；Universitat Pompeu Fabra（庞培法布拉大学）；University College London（伦敦大学学院）；Inria London（法国国家信息与自动化研究所伦敦分所）
本文为带参数接近初始值正则化的神经网络建立显式动力学，在懒惰训练机制下线性化，并指出正则化在NTK动力学微分方程中引入额外项，为研究优化PAC-Bayes界等泛化目标的宽网络提供理论框架。
2023-12-20 cs.LG stat.ML
PAC-Bayesian Reconstruction Guarantees for Time Series Variational Autoencoders
LPSM, Sorbonne Université（索邦大学 LPSM）；EDF R&D（法国电力集团研发部）；University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）
本研究针对时间序列变分自编码器泛化保证有限的问题，开发了适用于马尔可夫隐变量结构的PAC-贝叶斯框架，该框架的保证不随轨迹长度增长，且所需假设限制较小。
2026-09-07 cs.LG stat.ML
On PAC-Bayesian reconstruction guarantees for VAEs
University of Oxford（牛津大学）；University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）
尽管它的广泛使用和经验的成功，理论上的理解和研究的行为和性能的变分自编码器（VAE）只是在过去的几年中才出现。我们通过分析VAE对看不见的测试数据的重建能力，利用PAC贝叶斯理论的参数，为最近的工作做出贡献。我们提供的理论重建误差的泛化范围，并提供VAE目标的正则化效果的见解。我们说明了我们的理论结果与支持经典基准数据集上的实验。
2022-02-23 cs.CV cs.LG math.ST
Minimax optimality of deep neural networks on dependent data via PAC-Bayes bounds
ESSEC Business School, Asia-Pacific campus, Singapore（ESSEC商学院，亚太校区，新加坡）；Université Jean Monnet, ICJ UMR5208, CNRS, Ecole Centrale de Lyon, INSA Lyon, Université Claude Bernard Lyon 1, Saint-Étienne, France（Jean Monnet大学，ICJ UMR5208，CNRS， Lyon中央理工大学， Lyon国立应用科学学院， Lyon第一大学，圣艾蒂安，法国）
本文利用 PAC-Bayes oracle 不等式与 Paulin 的 Bernstein 不等式，将深度神经网络的极小极大最优性推广到具有伪谱隙的 Markov 依赖数据及广义回归与分类问题。
2025-06-11 cs.LG stat.ML
Progress in Self-Certified Neural Networks
AI Centre, University College London（伦敦大学学院人工智能中心）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Inria, Lille Nord-Europe Research Centre（法国国家信息与自动化研究所里尔北欧研究中心）
如果一个学习方法使用所有可用的数据来同时学习一个预测器，并通过一个对未知数据有效的严格统计证书来证明其质量，那么它就是自认证的。最近的研究表明，通过优化PAC-Bayes边界训练的神经网络模型不仅可以获得准确的预测值，还可以获得严格的风险证书，有望实现自我认证学习。在这种情况下，基于PAC-Bayes边界的学习和认证策略特别有吸引力，因为它们能够利用所有数据来学习后验，同时用严格的数字证书证明其风险。在本文中，我们评估的进展，自我认证的概率神经网络学习PAC贝叶斯启发的目标。我们经验比较（在4个分类数据集）经典的测试集界限确定性预测和PAC贝叶斯界随机自我认证的预测。我们首先表明，这两个泛化界是不太远的样本外测试集的错误。然后，我们表明，在数据饥饿制度，保持数据的测试集边界的泛化性能产生不利影响，而自我认证的策略的基础上PAC-Bayes边界不受这个缺点，证明他们可能是一个合适的选择小数据制度。我们还发现，概率神经网络学习PAC贝叶斯启发目标导致证书，可以令人惊讶的竞争力与常用的测试集界限。
2021-12-10 cs.CV cs.LG
Controlling Multiple Errors Simultaneously with a PAC-Bayes Bound
University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）
针对现有PAC-Bayes泛化界仅支持标量性能指标的局限，提出首个约束M种误差类型的经验与真实概率KL散度的PAC-Bayes界，转化为可微训练目标，可同时控制所有误差加权组合，适配误分类严重程度动态变化的场景。
2024-12-07 cs.LG math.ST stat.ML
When Is Accuracy Evidence? A Unified Theory of Generalisation, Validation, and Information Fusion
Data Science and Computational Intelligence Institute（数据科学与计算智能研究所）；University of Granada（格拉纳达大学）；University of Cambridge（剑桥大学）
本文提出gamma-CUBV统一框架，将K折交叉验证的准确率转化为真实风险上界，分离性能、不确定性与依赖性，为异质小样本提供原则性验证标准。
2026-10-05 cs.LG physics.data-an stat.ML
One Size Does Not Fit All: Curvature-Aware Adaptive Perturbation for SAM
University of Bristol（布里斯托大学）
针对SAM固定扰动半径忽略局部曲率的缺陷，提出CAP-SAM方法，通过基于尖锐度比率调节扰动半径，在非凸随机设置中保持与SAM相同收敛速率，且在多数据集多架构上性能优于SAM及其变体。
2026-10-14 cs.AI cs.LG
On progressive sharpening, flat minima and generalisation
Mathematical Institute for Data Science（数据科学数学研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Adelaide（阿德莱德大学）
本文通过联系损失 Hessian 与输入-输出 Jacobian 的拟设，证明 Jacobian 对 Lipschitz 范数的近似及新泛化界，用以解释渐进锐化和平坦极小值的泛化。
2023-09-26 cs.LG stat.ML
Change of measure through the Legendre transform
Suez, CIRSEE, France（苏伊士，CIRSEE，法国）；University College London, United Kingdom（伦敦大学学院，英国）；Inria, France（法国国家信息与自动化技术研究所）
本文研究基于f-分歧度的测度变换不等式，结合Legendre变换与Fenchel-Young不等式，推导出PAC-Bayes界限，扩展了PAC-Bayesian保证的应用条件。
2026-05-14 cs.IT cs.LG math.IT
Generalised Bayes Linear Inference
本文提出广义贝叶斯线性推断，将贝叶斯推断统一为在用户指定几何与信念体系下寻找最接近数据生成过程的解，并验证其在单调回归和空间计数推断中的有效性。
2024-10-17 math.ST stat.ME stat.TH
PAC-Bayesian Lifelong Learning For Multi-Armed Bandits
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Southern Denmark（南丹麦大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一个PAC贝叶斯分析终身学习。在终身学习问题中，一系列的学习任务被一次一个地观察，目标是将从以前的任务中获得的信息转移到新的学习任务中。我们考虑的情况下，每个学习任务是一个多臂强盗问题。我们得到的预期平均奖励，将获得下界，如果一个给定的多臂强盗算法运行在一个新的任务与特定的先验和一组步骤。我们提出了终身学习算法，使用我们的新的边界作为学习目标。我们提出的算法进行了评估，在几个终身多臂土匪问题，并发现执行比基线方法，不使用泛化界限。
2022-03-07 cs.LG stat.ML
PAC Mode Estimation using PPR Martingale Confidence Sequences
我们考虑的问题，正确识别的\textit{mode}的离散分布$\mathcal{P}$具有足够高的概率，通过观察一个序列的i.i.d.从$\mathcal{P}$中抽取样本。当$\mathcal{P}$具有大小为$K = 2$的支持集时，该问题简化为单个参数的估计。在注意到这种特殊情况下，解决了很好的先验后验比（PPR）鞅置信序列\citep{waudby-ramdas-ppr}，我们提出了一个推广模式估计，其中$\mathcal{P}$可能采取$K \geq 2$值。首先，我们表明，“一对一”的原则，从$K = 2$推广到$K \geq 2$类是更有效的“一对休息”的替代。然后，我们证明了我们得到的停止规则，表示为PPR-1v 1，是渐近最优的（作为错误概率采取$0$）。PPR-1v 1是无参数和计算量轻，即使在非渐近制度中，也比竞争对手产生更少的样本。我们在采样的两个实际应用中展示了它的收益：选举预测和区块链中智能合约的验证。
2022-04-11 math.ST stat.AP stat.ME
