Adversarially Robust PAC Learning with Optimal VC Rates
Purdue University（普渡大学）
研究对抗鲁棒PAC学习，提出二项式装袋算法，证明可实现与不可知设置下最优样本复杂度与经典PAC学习匹配，对抗鲁棒性不增加统计成本。
2026-09-22 cs.LG math.ST stat.ML
PAC-Bayesian Generalization Bounds for MultiLayer Perceptrons
University of Delaware（特拉华大学）
研究了交叉熵损失下多层感知器的PAC-Bayes推广界。首先，我们从两个方面对MLP问题进行了概率解释：（i）MLP问题形成了一个Gibbs分布族;（ii）MLP问题的交叉熵损失最小化等价于贝叶斯变分推理，这为研究MLP问题的PAC-Bayesian界奠定了坚实的概率基础。基于证据下界（ELBO），证明了具有交叉熵损失的MLP本质上保证了PAC-Bayesian泛化界，并且最小化MLP的PAC-Bayesian泛化界等价于最大化ELBO.最后，我们在基准数据集上验证了所提出的PAC-Bayesian泛化界。
2020-06-17 cs.LG stat.ML
A PAC-Bayesian Generalization Bound for Equivariant Networks
Qualcomm AI Research（高通人工智能研究院）
等变网络通过将这些对称性构建到模型中来捕获关于学习任务对称性的归纳偏差。本文利用PAC贝叶斯分析方法研究了等变网络中特征空间的变换规律由群表示确定时，等变网络的等变与泛化误差的关系。通过对每一层的傅立叶域中的等变网络进行扰动分析，我们得到了基于范数的PAC-Bayesian推广界。该界表征了群体规模、不可约表示的多重性和程度对泛化误差的影响，从而为选择它们提供了指导。在一般情况下，界限表明，在模型中使用更大的组大小改善了泛化误差证实了广泛的数值实验。
2022-10-24 cs.LG stat.ML
Uniform Generalization Bounds on Data-Dependent Hypothesis Sets via PAC-Bayesian Theory on Random Sets
INRIA（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）；Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；University of Oxford（牛津大学）
本文通过将PAC-Bayesian理论严格应用于随机集，提出数据依赖的统一泛化界，并用于统一基于分形维数的泛化界及证明Langevin动力学轨迹上的新泛化性质。
2025-02-10 cs.LG stat.ML
Conditionally Gaussian PAC-Bayes
University of Oxford（牛津大学）
最近的研究经验调查不同的方法来训练随机神经网络的分类任务，通过优化PAC贝叶斯约束通过随机梯度下降。这些程序中的大多数都需要用替代损失来替换误分类错误，从而导致优化目标与实际泛化范围之间的不匹配。本文提出了一种新的训练算法，优化PAC贝叶斯界，而不依赖于任何代理损失。实验结果表明，该方法优于目前可用的PAC-Bayesian训练方法。
2022-02-24 cs.LG stat.ML
Generalization Certificates for Adversarially Robust Bayesian Linear Regression
Data61, CSIRO（联邦科学与工业研究组织数据61研究院）；Monash University（莫纳什大学）
本文研究分布式预测器的对抗鲁棒性，提出对抗 Bregman 负对数似然、闭式扰动与鲁棒后验，并基于 PAC-Bayes 给出贝叶斯线性回归的首个泛化证书。
2025-02-20 cs.LG stat.ML
PAC-Bayesian Generalization Bounds for Adversarial Generative Models
Université Laval（拉瓦尔大学）；McGill University（麦吉尔大学）
本文扩展PAC-Bayesian理论至生成模型，基于Wasserstein距离和全变差距离推导泛化界，为Wasserstein GAN和能量基GAN提供新训练目标，并通过实验验证非空界。
2023-11-13 cs.AI cs.LG stat.ML
Adversarially Robust PAC Learnability of Real-Valued Functions
Ben-Gurion University（本-古里安大学）；Purdue University（普渡大学）
本文研究回归设定下测试时对抗攻击的鲁棒PAC可学习性，证明有限fat-shattering维数的函数类在可实现和不可知设定下均可学习，凸函数类可适当学习，而非凸函数类需要不适当学习，并构造了基于fat-shattering维数的对抗鲁棒样本压缩方案。
2024-05-05 cs.LG stat.ML
Online PAC-Bayes Learning
Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
大多数PAC-Bayesian边界在批量学习设置中保持不变，其中在推断或预测之前立即收集数据。这在某种程度上背离了许多当代学习问题，其中收集数据流并且算法必须动态调整。我们证明了新的PAC贝叶斯边界在这个在线学习框架，利用更新的定义后悔，我们重温经典的PAC贝叶斯结果与一批在线转换，扩展其职权范围的情况下，依赖数据。我们的研究结果持有有限的损失，潜在的\emph{non-convex}，铺平了道路，有前途的发展在线学习。
2022-10-13 cs.LG math.ST stat.ML
Self-Adversarially Learned Bayesian Sampling
State University of New York at Buffalo（纽约州立大学布法罗分校）；Fudan University（复旦大学）
可扩展贝叶斯采样在现代机器学习中发挥着重要作用，特别是在快速发展的无监督（深度）学习模型中。虽然通过可扩展的贝叶斯采样（如随机梯度MCMC（SG-MCMC）和Stein变分梯度下降（SVGD））已经取得了巨大的进展，但生成的样本通常高度相关。此外，他们的样本生成过程经常被批评为效率低下。在本文中，我们提出了一种新的自对抗学习框架，该框架自动学习条件生成器来模仿马尔可夫核（过渡核）的行为。高质量的样本可以通过直接向前传递通过学习生成器来有效地生成。最重要的是，学习过程采用自学习范例，不需要关于现有马尔可夫核的信息，例如，如何从中提取样本的知识。具体来说，我们的框架学习使用当前样本，无论是来自生成器还是预先提供的训练数据，来更新生成器，使得生成的样本逐渐接近目标分布，因此它被称为自学习。在合成数据集和真实数据集上的实验验证了该框架的优势，在抽样效率和样本质量方面优于相关方法。
2018-11-21 cs.LG stat.ML
A PAC-Bayesian Perspective on Structured Prediction with Implicit Loss Embeddings
Mines ParisTech – PSL（巴黎高等矿业学院——巴黎文理研究大学）；Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）；University College London（伦敦大学学院）
许多实际的机器学习任务可以被构造为结构化预测问题，其中多个输出变量被预测并被认为是相互依赖的。结构化预测的最新理论进展集中在获得快速收敛保证，特别是在隐损失嵌入（ILE）框架中。PAC-Bayes最近因其能够为预测分布产生严格的风险边界而引起了人们的兴趣。这项工作提出了一种新的PAC贝叶斯观点的ILE结构化预测框架。我们提出了两个推广的界限，风险和超额风险，从而产生洞察ILE预测的行为。两个学习算法推导出这些界限。算法的实现和他们的行为分析，源代码可在\url{https://github.com/theophilec/PAC-Bayes-ILE-Structured-Prediction}。
2020-12-21 cs.LG math.ST stat.ML
Fast-rate PAC-Bayes Generalization Bounds via Shifted Rademacher Processes
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
Rademacher复杂性和PAC-Bayesian理论的发展在很大程度上是独立的。一个例外是Kakade，Sridharan和Tewari（2008）的PAC-Bayes定理，它是通过Rademacher复杂性理论将Gibbs分类器视为线性算子而建立的。本文的目标是扩展Rademacher复杂性和最先进的PAC-Bayesian理论之间的桥梁。我们首先证明了可以使用移位Rademacher过程（Wegkamp，2003; Lecué和Mitchell，2012; Zhivotovskiy和Hanneke，2018）来匹配Catoni的PAC-Bayes边界（Catoni，2007）的快速速率。然后，我们推导出一个新的快速PAC-Bayes界的经验风险表面上的后集中的“平坦度”。我们的分析建立了一个新的框架，推导出快速PAC-Bayes界，并产生新的见解PAC-Bayes理论。
2019-12-01 cs.LG math.ST stat.ML
Comment on "Adv-BNN: Improved Adversarial Defense through Robust Bayesian Neural Network"
Georg-August University of Göttingen（哥廷根乔治-奥古斯特大学）；University of Tübingen（图宾根大学）
Liu等人最近的一篇论文结合了对抗训练和贝叶斯神经网络（BNN）的主题，并表明对抗训练的BNN比非贝叶斯网络更能抵抗对抗攻击。在这里，我分析了拟议的防御，并建议需要调整对抗攻击，以纳入贝叶斯网络的随机性，以执行其鲁棒性的准确评估。使用这种新型的攻击，我表明，似乎没有强有力的证据，更高的鲁棒性的对抗训练的BNN。
2019-07-01 cs.LG stat.ML
PAC-Bayesian aggregation and multi-armed bandits
本文对以下几个方面做出了贡献：（1）统计学习的PAC-Bayesian分析，（2）三个聚集问题：给定d函数，如何预测以及（i）这些d函数中的最佳函数（模型选择类型聚合），（ii）这些d函数的最佳凸组合，（iii）这些d函数的最佳线性组合，（3）多臂强盗问题。
2010-11-15 math.ST stat.TH
The Complexity of Adversarially Robust Proper Learning of Halfspaces with Agnostic Noise
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Google Research, Mountain View（谷歌研究院（山景城））
我们研究了在分布无关的PAC模型中半空间的对抗鲁棒正确学习的计算复杂性，重点是$L_p$扰动。我们给出了一个计算效率高的学习算法和一个几乎匹配的计算硬度的结果，这个问题。我们的研究结果的一个有趣的含义是，$L_{\infty}$扰动的情况下，可证明计算困难的情况下$2 \leq p < \infty$。
2020-07-30 cs.CC cs.DS cs.LG
Bias-Robust Bayesian Optimization via Dueling Bandits
ETH Zurich（苏黎世联邦理工学院）
我们考虑贝叶斯优化的设置，观察可以是不利的偏见，例如由一个不受控制的隐藏混杂。我们的第一个贡献是减少了决斗强盗模型的混杂设置。然后，我们提出了一种基于信息定向采样（IDS）的决斗强盗新方法。因此，我们获得了第一个有效的核化算法决斗强盗，带有累积遗憾的保证。我们的分析进一步推广了以前提出的半参数线性强盗模型的非线性奖励函数，并揭示了有趣的链接到双重稳健估计。
2021-06-09 cs.LG stat.ML
PAC-Bayesian Theory Meets Bayesian Inference
INRIA Paris - École Normale Supérieure（法国国家信息与自动化研究所巴黎分部 - 巴黎高等师范学院）；Google（谷歌）
我们表现出一个强有力的联系之间的频率PAC贝叶斯风险界和贝叶斯边际似然。也就是说，对于负对数似然损失函数，我们表明，PAC-Bayesian泛化风险界的最小化最大化贝叶斯边际似然。这为贝叶斯奥卡姆剃刀准则提供了另一种解释，假设数据是由i.i.d分布生成的。此外，由于负对数似然是一个无界的损失函数，我们激励和提出了一个PAC贝叶斯定理为子伽玛损失家庭，我们表明，我们的方法是健全的经典贝叶斯线性回归任务。
2017-02-13 cs.LG stat.ML
PAC-Bayesian Policy Evaluation for Reinforcement Learning
McGill University（麦吉尔大学）；University of Alberta（阿尔伯塔大学）
贝叶斯先验提供了一种紧凑而通用的方法，将领域知识纳入许多学习任务。然而，贝叶斯分析和推理的正确性在很大程度上取决于这些先验的准确性和正确性。PAC-Bayesian方法通过提供与先验分布的正确性无关的界限来克服这个问题。针对具有函数逼近的批量强化学习问题，给出了PAC-Bayesian第一界。我们展示了如何使用此界限在迁移学习场景中执行模型选择。我们的实证结果证实，PAC贝叶斯政策评估是能够利用先验分布时，他们是翔实的，不像标准的贝叶斯RL方法，忽略他们时，他们是误导。
2012-02-14 cs.LG stat.ML
A Primer on PAC-Bayesian Learning
Inria Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）；University College London（伦敦大学学院）
广义贝叶斯学习算法在机器学习中越来越受欢迎，这是由于其PAC泛化特性和灵活性。本文件的目的是提供一个独立的调查所产生的PAC贝叶斯框架和一些主要的理论和算法的发展。
2019-05-07 cs.LG stat.ML
Misclassification excess risk bounds for PAC-Bayesian classification via convexified loss
Norwegian University of Science and Technology（挪威科技大学）
针对现有PAC-贝叶斯界多针对凸替代损失的局限，本研究利用期望型PAC-贝叶斯相对界，推导了使用凸替代损失时PAC-贝叶斯分类的误分类超额风险界，并在多个重要应用中验证了方法有效性。
2024-08-16 cs.LG stat.ML
PAC-Bayesian Margin Bounds for Convolutional Neural Networks
LTS2；EPFL（洛桑联邦理工学院）；IDCOM；University of Edinburgh（爱丁堡大学）
最近，深度神经网络的泛化误差已经通过PAC-Bayesian框架进行了分析，对于全连接层的情况。我们将这种方法适用于卷积设置。
2018-04-20 cs.LG stat.ML
PAC-Bayesian Transportation Bound
IBM Research（IBM研究院）
经验上，已知PAC-Bayesian分析为实际机器学习算法产生严格的风险界限。然而，在其朴素的形式，它只能处理随机预测，而这样的预测很少使用和确定性预测往往在实践中表现良好。为了填补这一空白，我们开发了一个新的泛化误差界，PAC-Bayesian运输界，统一的PAC-Bayesian分析和链接方法的最优运输。它是第一个PAC-Bayesian界，根据它们的距离将任何两个预测变量的风险联系起来，并且能够评估面临连续损失函数的随机预测变量的去随机化成本。作为一个例子，我们给出了一个上界的谱归一化神经网络（NN）的去随机化成本，以评估有多少随机性有助于NN的推广。
2019-11-21 cs.LG stat.ML
PAC-Bayesian theory for stochastic LTI systems
Aalborg University（奥尔堡大学）；Laboratoire Signal et Automatique de Lille (CRIStAL)（里尔信号与自动化实验室（CRIStAL））
在本文中，我们得到了一个PAC贝叶斯误差界自治随机LTI状态空间模型。推导这种误差界的动机是，它们将允许推导更一般的动力系统，包括递归神经网络类似的误差界。反过来，PACBayesian误差界已知对于分析机器学习算法和导出新算法是有用的。
2021-03-25 cs.LG stat.ML
PAC-Bayesian Analysis of Martingales and Multiarmed Bandits
Max Planck Institute（马克斯·普朗克研究所）；Université Laval（拉瓦尔大学）；University College London（伦敦大学学院）；University of Leoben（莱奥本大学）
我们提出了两种替代的方法来应用PAC贝叶斯分析的相依随机变量序列。第一个是基于一个新的引理，使约束期望的凸函数的某些依赖随机变量的期望相同的功能的独立伯努利随机变量。这个引理为Hoeffding-Azuma不等式提供了一个替代工具，以限制鞅值的集中。我们的第二种方法是基于整合Hoeffding-Azuma不等式与PAC-Bayesian分析。我们还介绍了一种方法，应用PAC贝叶斯分析的情况下，有限的反馈。我们结合新的工具，以获得PAC贝叶斯推广和遗憾界的多臂强盗问题。虽然我们的遗憾边界还没有像基于其他成熟技术的最先进的遗憾边界那样紧密，但我们的结果显着扩展了PAC贝叶斯分析的潜在应用范围，并为强化学习和许多其他领域引入了一种新的分析工具，其中遇到了鞅和有限反馈。
2011-05-19 cs.LG stat.ML
PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime
Google Research（谷歌研究院）
贝叶斯后验最小化“推断风险”，其本身限制了“预测风险”。当可能性和先验信息明确指定时，该界限很紧。然而，由于误设定导致间隙，贝叶斯后验预测分布可能具有较差的泛化性能。这项工作开发了一个多样本损失（PAC $^m$），它可以通过跨越两个风险之间的权衡来缩小差距。损失是计算上有利的，并提供PAC泛化保证。实证研究表明，改善的预测分布。
2022-05-23 cs.LG stat.ML
Wide stochastic networks: Gaussian limit and PAC-Bayesian training
University of Oxford（牛津大学）
无限宽度的限制允许在过参数化神经网络的分析研究中进行实质性的简化。通过适当的随机初始化，一个非常大的网络表现出近似高斯的行为。在目前的工作中，我们建立了一个简单的随机结构，其参数是随机变量，在训练前和训练过程中保持类似的结果。输出分布的显式评估允许PAC-贝叶斯训练过程直接优化泛化边界。对于一个大型但有限宽度的网络，我们在MNIST上凭经验证明，这种训练方法可以优于标准的PAC-Bayesian方法。
2023-02-13 cs.LG stat.ML
Self-Bounding Majority Vote Learning Algorithms by the Direct Minimization of a Tight PAC-Bayesian C-Bound
Univ Lyon, UJM-Saint-Etienne, CNRS, Institut d Optique Graduate School, Laboratoire Hubert Curien UMR 5516（里昂大学，圣艾蒂安大学，法国国家科学研究中心，光学研究所研究生院，于贝尔·居里安实验室）；Université Laval（拉瓦尔大学）
在PAC-Bayesian文献中，C-Bound是指多数投票分类器的风险（在0 - 1损失下）与其边际的前两个时刻（即，（1）选民的期望差距和选民的多样性。到目前为止，在这个框架中开发的学习算法最小化的经验版本的C-界，而不是显式的PAC贝叶斯泛化界。在本文中，通过直接优化PAC-Bayesian保证的C-界，我们得到了自约束多数投票学习算法。此外，我们基于梯度下降的算法是可扩展的，并导致准确的预测与非空保证配对。
2021-08-31 cs.LG stat.ML
Dichotomize and Generalize: PAC-Bayesian Binary Activated Deep Neural Networks
Université Laval（拉瓦尔大学）；Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
我们提出了一个全面的研究多层神经网络与二进制激活，依赖于PAC贝叶斯理论。我们的贡献是双重的：（i）我们开发了一个端到端的框架来训练二进制激活的深度神经网络，（ii）我们为二进制激活的深度神经网络提供了非空的PAC-贝叶斯泛化界。我们的结果是通过最小化二进制激活的深度神经网络的结构相关聚合的预期损失来获得的。我们的分析内在地克服了二元激活函数不可微的事实。我们的方法的性能进行了评估，在现实生活中的数据集上的一个彻底的数值实验协议。
2020-02-04 cs.LG stat.ML
Efron-Stein PAC-Bayesian Inequalities
DeepMind
证明了随机变量为独立随机变量的可能非线性函数的半经验集中不等式。这些不等式描述的浓度的随机变量的数据/分布相关的Efron-Stein（ES）估计的方差，他们不需要任何额外的假设的时刻。特别是，这使我们能够陈述无界随机变量一般函数的半经验伯恩斯坦型不等式，这为相关方法（例如有界差）可能应用起来更具挑战性的情况提供了用户友好的浓度界限。我们将这些结果扩展到Efron-Stein PAC-贝叶斯不等式，该不等式适用于任意概率核，定义了一个随机的，数据相关的函数选择。最后，我们展示了一些应用程序，包括PAC贝叶斯推广界的无界损失函数，经验伯恩斯坦型推广界，新的截断自由界的政策外评估加权重要性采样（WIS），和政策外PAC贝叶斯学习与WIS。
2020-02-03 cs.LG stat.ML
PAC-Bayesian Matrix Completion with a Spectral Scaled Student Prior
Norwegian University of Science and Technology（挪威科技大学）
本文研究了矩阵完备化问题。一个频谱缩放的学生先验被利用，有利于底层的低秩结构的数据矩阵。我们提供了一个彻底的理论研究，我们的方法，通过PAC贝叶斯界限。更准确地说，我们的PAC-Bayesian方法享有最小最大最优的预言不等式，这保证了我们的方法在模型误设定和一般抽样分布下工作良好。有趣的是，我们还提供了有效的基于梯度的采样实现我们的方法，通过使用朗之万蒙特卡罗。更具体地说，我们表明，我们的算法是显着快于吉布斯采样在这个问题上。为了说明我们的推理策略的吸引力的功能，进行了一些数值模拟和图像修复的应用程序。
2022-01-07 cs.LG stat.ML
Novel Change of Measure Inequalities with Applications to PAC-Bayesian Bounds and Monte Carlo Estimation
Purdue University（普渡大学）
本文针对两类发散性：$f$ -发散性和$α$ -发散性，引入了几个新的测度变化不等式.我们展示了如何变分表示$f$ -分歧导致新的变化的措施不等式。给出了$α$ -分歧的乘性测度变换不等式和Hammersley-Chapman-Robbins不等式的推广.最后，我们提出了几个应用程序，我们的测量不等式的变化，包括PAC贝叶斯界的各种损失和非渐近区间的Monte Carlo估计。
2020-06-25 cs.LG stat.ML
An Improvement to the Domain Adaptation Bound in a PAC-Bayesian context
Université Laval（拉瓦尔大学）；Univ. of St-Etienne（圣艾蒂安大学）
本文基于PAC-Bayesian理论对领域自适应进行了理论分析。我们提出了一个改进以前的域自适应界得到的Germain等人。在两个方面。我们首先给出了另一个更紧、更易于解释的泛化界。此外，我们提供了一个新的分析的常数项出现在界，可以开发新的算法解决方案的高度兴趣。
2015-01-13 cs.LG stat.ML
Risk Bounds for the Majority Vote: From a PAC-Bayesian Analysis to a Learning Algorithm
Université Laval（拉瓦尔大学）
我们提出了一个广泛的分析行为的多数票在二进制分类。特别是，我们引入了一个风险约束的多数票，称为C界，考虑到选民的平均质量和他们的平均分歧。我们还提出了一个广泛的PAC-Bayesian分析，展示了如何从训练数据中包含的各种观察来估计C界。该分析旨在是独立的，可以用作PAC贝叶斯统计学习理论的介绍材料。它从一般的PAC-Bayesian角度开始，并以不常见的PAC-Bayesian边界结束。其中一些边界不包含库尔贝克-莱布勒散度，而另一些边界允许将内核函数用作投票者（通过样本压缩设置）。最后，在分析的基础上，我们提出了MinCq学习算法，该算法基本上最小化了C界。MinCq简化为一个简单的二次规划。除了理论上的基础，MinCq实现了最先进的性能，如我们与AdaBoost和支持向量机的广泛实证比较所示。
2015-07-28 cs.LG stat.ML
A New PAC-Bayesian Perspective on Domain Adaptation
INRIA, SIERRA Project-Team（法国国家信息与自动化研究所，SIERRA项目组）；D.I., Ecole Normale Superieure（巴黎高等师范学校计算机科学系）；Univ Lyon, UJM-Saint-Etienne, CNRS, IOGS, Laboratoire Hubert Curien UMR 5516（里昂大学，圣艾蒂安让·莫内大学，法国国家科学研究中心，IOGS，于贝尔·居里安实验室）；Université Laval（拉瓦尔大学）
我们研究PAC-Bayesian域自适应问题：我们希望从源域学习一个专用于目标域的多数投票模型。我们的理论贡献带来了一个新的视角，推导出一个上限的目标风险分布的分歧-表示为一个比率-控制之间的权衡源误差测量和目标选民的分歧。我们的界表明，一个人必须关注的区域，源数据是信息。从这个结果，我们得到了一个PAC贝叶斯泛化界，并专门用于线性分类器。然后，我们推导了一个学习算法，并在真实数据上进行了实验。
2016-07-26 cs.LG stat.ML
PAC-Bayesian Analysis of the Exploration-Exploitation Trade-off
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Università degli Studi di Milano（米兰大学）；Université Laval（拉瓦尔大学）；University of Leoben（莱奥本大学）；University College London（伦敦大学学院）
我们开发了一个连贯的框架，综合同时分析的勘探开发和模型顺序选择的权衡。我们改进了我们以前在同一主题上的结果（Seldin等人，2011）通过结合PAC-Bayesian分析和鞅的Bernstein型不等式。这样的组合对于研究多个同时发展的鞅也有独立的意义。
2011-05-23 cs.LG stat.ML
PAC-Bayesian bounds for learning LTI-ss systems with input from empirical loss
Aalborg University（奥尔堡大学）；Laboratoire Signal et Automatique de Lille (CRIStAL)（里尔信号与自动化实验室（CRIStAL））
在本文中，我们得到了一个可能近似正确（PAC）的贝叶斯误差界的线性时不变（LTI）随机动力系统的输入。这样的界限在机器学习中很普遍，它们对于表征从大量数据点学习的模型的预测能力很有用。特别是，本文导出的边界将未来的平均预测误差与模型在用于学习的数据上产生的预测误差联系起来。反过来，这使我们能够提供有限样本误差界的广泛的学习/系统识别算法。此外，由于LTI系统是递归神经网络（RNN）的一个子类，这些误差范围可能是RNN迈向PAC-贝叶斯边界的第一步。
2023-03-29 cs.LG stat.ML
Shedding a PAC-Bayesian Light on Adaptive Sliced-Wasserstein Distances
Flatiron Institute（熨斗研究所）；MIT（麻省理工学院）；Criteo AI Lab（科韬人工智能实验室）
本文利用PAC-贝叶斯理论为自适应切片-Wasserstein距离建立泛化界，并提出通过优化理论界学习最具判别力的切片分布，辅以实验验证。
2023-05-31 cs.LG stat.ML
Improved PAC-Bayesian Bounds for Linear Regression
INRIA Lille Nord-Europe（法国国家信息与自动化研究所里尔-北欧分部）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；CRIStAL - Centre de Recherche en Informatique Signal et Automatique de Lille（里尔信息、信号与自动化研究中心）
本文改进了Germain等人[10]中线性回归的PAC-Bayesian误差界。改进是双重的。首先，所提出的误差界更紧，并收敛到推广损失与一个精心选择的温度参数。第二，误差界也适用于不是独立采样的训练数据。特别是，误差界适用于某些时间序列所产生的众所周知的类的动态模型，如ARX模型。
2019-12-06 cs.LG stat.ML
Statistical Guarantees for Variational Autoencoders using PAC-Bayesian Theory
Université Laval（拉瓦尔大学）；McGill University（麦吉尔大学）
本文利用 PAC-Bayesian 理论推导以单样本条件后验为对象的首个界，并据此为 VAE 的重建损失、分布距离及生成分布的 Wasserstein 距离提供统计保证。
2023-12-07 cs.LG stat.ML
PAC-Bayesian Domain Adaptation Bounds for Multi-view learning
Galilé Group（加利莱集团）；Université Lyon 1（里昂第一大学）；LIRIS（里昂信息与图像研究实验室）
本文针对多视图学习中的域适应问题，提出基于Pac-Bayesian理论的泛化界分析方法，通过引入适用于多视图域适应的新距离度量，并给出相应的Pac-Bayesian界估计，整合了两种分离的研究范式。
2024-01-02 cs.LG stat.ML
Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice
ETH Zurich（苏黎世联邦理工学院）；EPFL Lausanne（洛桑联邦理工学院）；Helmholtz AI（亥姆霍兹人工智能）；TU Munich（慕尼黑工业大学）
本文通过PAC-贝叶斯理论推导出最优超后验PACOH的闭式解，提出可扩展的元学习方法，避免双层优化，实验表明其在预测精度和不确定性估计上达到最先进水平。
2023-12-22 cs.LG stat.ML
A combinatorial conjecture from PAC-Bayesian machine learning
University of Hawaii Manoa（夏威夷大学马诺阿分校）；Coveo Solutions Inc.（Coveo解决方案公司）
我们提出了一个证明的组合猜想从第二作者的博士学位。论文证明依赖于二项式和多项式和身份。我们还讨论了PAC贝叶斯机器学习的上下文中的相关性的猜想。
2020-06-04 cs.LG math.CO stat.ML
A PAC-Bayesian Analysis of Distance-Based Classifiers: Why Nearest-Neighbour works!
摘要本文给出了K-近邻分类器（K-NN）泛化误差的PAC-贝叶斯界。这是通过铸造的K-NN分类到核空间框架的限制消失的核带宽。我们建立了核展开系数上的先验测度与核空间权向量上的诱导测度之间的关系。在系数上定义稀疏先验允许应用PAC-贝叶斯民间定理，该定理导致作为冗余训练样本的数量的函数的泛化界：那些可以被省略而不改变解决方案的训练样本。所提出的界限需要量化的解决方案的稀疏性的先验信念，并在学习后的实际冗余水平是已知的。即使对于小样本量（m ~ 100），当期望稀疏度和实际冗余度都很高时，该界也给出了非平凡的结果。
2021-09-28 cs.LG stat.ML
A PAC-Bayesian bound for Lifelong Learning
IST Austria (Institute of Science and Technology Austria)（奥地利科学技术研究所）
在过去的几年里，迁移学习在机器学习社区中受到了很多关注，并且已经开发了几种有效的算法。然而，人们对它们的理论特性知之甚少，特别是在终身学习的背景下，其目标是将信息转移到迄今为止没有观察到数据的任务中。在这项工作中，我们从理论的角度研究终身学习。我们的主要结果是一个PAC贝叶斯泛化界，提供了一个统一的观点现有的范式迁移学习，如参数的转移或低维表示的转移。我们还使用的约束，以获得两个原则性的终身学习算法，我们表明，这些结果与现有的方法相媲美。
2014-05-10 cs.LG stat.ML
A General Framework for the Practical Disintegration of PAC-Bayesian Bounds
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Université Laval（拉瓦尔大学）；Université Jean Monnet Saint-Étienne（圣艾蒂安让·莫内大学）；Institut d Optique Graduate School（光学研究所研究生院）；Institut Universitaire de France（法兰西大学研究院）
本文提出一种新的 PAC-Bayesian 分解界框架，可直接对单个假设给出泛化保证，避免传统去随机化步骤，并在神经网络上取得显著优于现有方法的实际效果。
2023-09-18 cs.LG stat.ML
PAC-Bayesian Learning of Optimization Algorithms
University of Tübingen（蒂宾根大学）
我们将PAC-Bayes理论应用于学习优化的设置。据我们所知，我们提出了第一个框架来学习优化算法与可证明的泛化保证（PAC界）和明确的高概率收敛和高收敛速度之间的权衡。即使在极限的情况下，收敛性得到保证，我们学到的优化算法证明优于相关算法的基础上（确定性）的最坏情况分析。我们的研究结果依赖于PAC贝叶斯界一般，无界损失函数的指数家庭的基础上。通过推广现有的想法，我们重新制定的学习过程成一个一维的最小化问题，并研究的可能性，找到一个全局最小值，这使得算法实现的学习过程。作为概念验证，我们学习标准优化算法的超参数，以经验方式强调我们的理论。
2023-02-15 cs.LG stat.ML
PAC-Bayesian Bound for the Conditional Value at Risk
The Australian National University（澳大利亚国立大学）；Data61；Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
条件风险价值（CVaR）是一类推广了传统数学期望的“一致性风险度量”。它广泛应用于数学金融学，在机器学习中引起了越来越多的兴趣，例如，作为正规化的一种替代方法，并作为确保公平的一种手段。本文提出了一个广义界的学习算法，最大限度地减少经验损失的CVaR。该界是PAC-Bayesian型的，当经验CVaR较小时，该界保证较小。我们通过将估计CVaR的问题简化为仅仅估计期望值来实现这一点。这使我们能够，作为一个副产品，即使在所讨论的随机变量是无界的CVaR的浓度不等式。
2020-06-26 cs.LG stat.ML
PAC-Bayesian Theorems for Domain Adaptation with Specialization to Linear Classifiers
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣艾蒂安大学）；CNRS（法国国家科学研究中心）；Institut d’Optique Graduate School（光学研究所研究生院）；Université Laval（拉瓦尔大学）
在本文中，我们提供了两个主要贡献PAC贝叶斯理论域适应的目标是学习，从一个源分布，一个表现良好的多数票在不同的目标分布。一方面，我们提出了对Germain等人（2013）提出的先前方法的改进，该方法依赖于基于不一致平均的新分布伪距离，使我们能够为随机Gibbs分类器推导出一个新的更严格的PAC-Bayesian域自适应边界。我们将其专门用于线性分类器，并设计了一种学习算法，该算法在合成问题和流行的情感注释任务上显示了有趣的结果。另一方面，我们将这些结果推广到多频域适应，使我们能够考虑到不同的源域。这项研究打开了大门，以解决域适应任务，利用所有的PAC贝叶斯工具。
2016-08-09 cs.LG stat.ML
Analyzing Lottery Ticket Hypothesis from PAC-Bayesian Theory Perspective
The University of Tokyo（东京大学）
彩票假说（LTH）因其能解释过参数模型为何表现出较高的泛化能力而受到关注。众所周知，当我们使用迭代幅度修剪（IMP）时，这是一种寻找具有高泛化能力的稀疏网络的算法，可以从初始权重独立训练，称为中奖票，初始大学习率在ResNet等深度神经网络中效果不佳。然而，由于初始大的学习率通常有助于优化器收敛到更平坦的最小值，因此我们假设中奖彩票具有相对尖锐的最小值，这被认为是泛化能力方面的缺点。在本文中，我们证实了这一假设，并表明，PAC贝叶斯理论可以提供一个明确的理解LTH和泛化行为之间的关系。我们的实验结果的基础上，平坦度是有用的，以提高准确性和鲁棒性的标签噪声和距离的初始权重是深入参与中奖门票，我们提供了PAC贝叶斯界使用尖峰和板分布分析中奖门票。最后，我们重新审视现有的算法，从PAC贝叶斯的角度寻找中奖彩票，并提供新的见解，这些方法。
2022-09-28 cs.LG stat.ML
On the disintegration of the stochastic majority vote: From PAC-Bayesian bounds to a self-bounding algorithm
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Institut Universitaire de France（法国大学研究院）；Univ Rennes（雷恩大学）
本文提出去随机化框架，利用分解PAC-贝叶斯理论将随机多数投票的保证转化为确定性多数投票的证书，推导两类泛化界并引出自界学习算法。
2026-09-16 cs.LG stat.ML
PAC-Bayesian Learning and Domain Adaptation
Université Laval（拉瓦尔大学）；Laboratoire Hubert Curien UMR CNRS 5516（于贝尔·居里安实验室 CNRS UMR 5516）；Univ. Jean Monnet（让·莫内大学）；Aix-Marseille Univ.（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
在机器学习中，当生成测试（目标）数据的分布不同于生成学习（源）数据的分布时，出现域自适应（DA）。众所周知，即使在强假设下，DA也是一项艰巨的任务，其中，源分布和目标分布仅在边缘处发散的协变量移位，即它们具有相同的标记函数。另一种流行的方法是考虑一个假设类，它更接近两个分布，同时意味着两个任务的错误率都很低。这是一种VC-dim方法，它限制了假设类的复杂性，以获得良好的泛化。相反，我们提出了一个PAC贝叶斯方法，寻求合适的权重，以建立一个多数票给每个假设。我们证明了一个新的DA界的PAC贝叶斯上下文中。这导致我们设计的第一个DA-PAC-贝叶斯算法的基础上提出的界限的最小化。这样做，我们寻求一个ρ加权多数票，考虑到三个数量之间的权衡。在PAC-贝叶斯方法中，前两个量通常是：（a）多数票的复杂性（用库尔贝克-莱布勒散度衡量）和（b）其经验风险（用源样本的ρ平均误差衡量）。第三个量是（c）多数票区分源样本和目标样本之间的某些结构差异的能力。
2012-12-11 cs.LG stat.ML
Normalized Flat Minima: Exploring Scale Invariant Definition of Flat Minima for Neural Networks using PAC-Bayesian Analysis
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
平坦极小值的概念在深度学习模型的泛化研究中发挥了关键作用。然而，已知平坦度的现有定义对参数的重新缩放敏感。这个问题表明，以前的平坦度定义可能不是一个很好的泛化度量，因为泛化对于这种重新缩放是不变的。在本文中，从PAC-Bayesian的角度来看，我们仔细检查有关的平坦极小值的讨论，并介绍了归一化平坦极小值的概念，这是免费的已知的规模依赖问题。此外，我们强调了现有的基于矩阵范数的泛化误差界的尺度依赖性，类似于现有的平坦极小值定义。我们修改后的平坦性概念也没有受到不足的影响，这表明它可能在假设类中提供更好的层次结构。
2019-01-28 cs.LG stat.ML
PAC-Bayesian Reconstruction Guarantees for Time Series Variational Autoencoders
LPSM, Sorbonne Université（索邦大学 LPSM）；EDF R&D（法国电力集团研发部）；University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）
本研究针对时间序列变分自编码器泛化保证有限的问题，开发了适用于马尔可夫隐变量结构的PAC-贝叶斯框架，该框架的保证不随轨迹长度增长，且所需假设限制较小。
2026-09-07 cs.LG stat.ML
Learning Gaussian Processes by Minimizing PAC-Bayesian Generalization Bounds
Bosch Center for Artificial Intelligence（博世人工智能中心）
高斯过程（GPs）是一种用于监督学习的通用建模工具。虽然它们已成功应用于大型数据集，但由于缺乏良好的性能保证，它们在安全关键型应用程序中的使用受到阻碍。为此，我们提出了一种方法来学习GP及其稀疏近似直接优化PAC贝叶斯约束其泛化性能，而不是最大化的边际似然。除了理论上的吸引力，我们在评估中发现，我们的学习方法是鲁棒的，并且在几个回归基准数据集上比其他常见的GP方法具有更好的泛化保证。
2018-12-28 cs.LG stat.ML
