A Note on the PAC Bayesian Theorem
Andreas Maurer
本文证明了[0，1]-值iid随机变量均值的一般指数矩不等式，并利用它们加强了PAC贝叶斯定理。PAC贝叶斯界的枚举数对样本计数的对数依赖性减半。
We prove general exponential moment inequalities for averages of [0,1]-valued iid random variables and use them to tighten the PAC Bayesian Theorem. The logarithmic dependence on the sample count in the enumerator of the PAC Bayesian bound is halved.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Improving Robust Generalization by Direct PAC-Bayesian Bound Minimization
鲁棒优化的最新研究表明了一种过拟合现象，即与测试集相比，针对对抗攻击训练的模型在训练集上表现出更高的鲁棒性。虽然以前的工作提供了理论解释这种现象使用一个强大的PAC-Bayesian界的对抗测试错误，相关的算法推导充其量只是松散地连接到这个界，这意味着他们的经验成功和我们的理解之间仍然存在差距对抗鲁棒性理论。为了缩小这一差距，在本文中，我们考虑了一种不同形式的鲁棒PAC-Bayesian界，并直接将其最小化。最佳解决方案的推导通过测量表面平坦度的Hessian（TrH）正则化器的踪迹将PAC贝叶斯学习与鲁棒损失表面的几何形状连接起来。在实践中，我们将TrH正则化子仅限制在顶层，这导致了边界的解析解，其计算成本不依赖于网络深度。最后，我们使用视觉Transformer（ViT）在CIFAR-10/100和ImageNet上评估了我们的TrH正则化方法，并与基线对抗鲁棒性算法进行了比较。实验结果表明，TrH正则化导致改进的ViT鲁棒性，匹配或超过以前的最先进的方法，同时需要更少的内存和计算成本。
PAC-Bayesian Generalization Bounds for MultiLayer Perceptrons
研究了交叉熵损失下多层感知器的PAC-Bayes推广界。首先，我们从两个方面对MLP问题进行了概率解释：（i）MLP问题形成了一个Gibbs分布族;（ii）MLP问题的交叉熵损失最小化等价于贝叶斯变分推理，这为研究MLP问题的PAC-Bayesian界奠定了坚实的概率基础。基于证据下界（ELBO），证明了具有交叉熵损失的MLP本质上保证了PAC-Bayesian泛化界，并且最小化MLP的PAC-Bayesian泛化界等价于最大化ELBO.最后，我们在基准数据集上验证了所提出的PAC-Bayesian泛化界。
PAC-Bayesian Theory Meets Bayesian Inference
我们表现出一个强有力的联系之间的频率PAC贝叶斯风险界和贝叶斯边际似然。也就是说，对于负对数似然损失函数，我们表明，PAC-Bayesian泛化风险界的最小化最大化贝叶斯边际似然。这为贝叶斯奥卡姆剃刀准则提供了另一种解释，假设数据是由i.i.d分布生成的。此外，由于负对数似然是一个无界的损失函数，我们激励和提出了一个PAC贝叶斯定理为子伽玛损失家庭，我们表明，我们的方法是健全的经典贝叶斯线性回归任务。
Multi-View Majority Vote Learning Algorithms: Direct Minimization of PAC-Bayesian Bounds
本文扩展PAC-贝叶斯理论至多视图学习，提出基于Rényi散度的泛化边界及oracle边界，并设计自边界优化算法，实现理论与实践的桥接。
A PAC-Bayesian Approach to Spectrally-Normalized Margin Bounds for Neural Networks
本文给出了前馈神经网络的一个推广界，它是由层的谱范数和权值的Frobenius范数的乘积表示的。泛化界是使用PAC-Bayes分析。
A PAC-Bayesian Tutorial with A Dropout Bound
本教程简要概述了现有的PAC贝叶斯理论，重点是三个泛化边界。第一个是奥卡姆界限，它处理具有有限精度参数的规则，并且当写入规则所需的位数与样本大小相比很小时，它指出泛化损失接近训练损失。第二个是PAC-Bayesian界，为后验分布而不是单个规则提供泛化保证。PAC-Bayesian界自然地处理无限精度规则参数、$L_2$正则化、{ \em提供了用于放弃训练的界}，并且定义了单个区分的PAC-Bayesian后验分布的自然概念。第三个界限是训练方差界限-一种偏差方差分析，但用预期训练损失代替偏差。训练方差界占主导地位的其他界限，但更难以解释。这似乎表明方差减少方法，如装袋，并可能最终提供一个更有意义的辍学分析。
Demystify Optimization and Generalization of Over-parameterized PAC-Bayesian Learning
PAC-Bayesian是一种分析框架，其中训练误差可以表示为后验分布中假设的加权平均值，同时结合先验知识。除了作为一个纯粹的泛化界分析工具，PAC-Bayesian界也可以被合并到一个目标函数中来训练概率神经网络，使它们成为一个强大的和相关的框架，可以在数字上为监督学习提供一个严格的泛化界。为了简单起见，我们将使用从PAC-Bayesian边界导出的训练目标学习的概率神经网络称为{ \it PAC-Bayesian学习}。尽管他们的经验成功，PAC贝叶斯学习神经网络的理论分析很少探索。本文提出了一类新的收敛性和推广性分析的PAC-Bayes学习时，它用于训练过参数神经网络的梯度下降的方法。对于一个广泛的概率神经网络，我们表明，当PAC-Bayes学习应用，收敛结果对应于解决核岭回归时，概率神经切线核（PNTK）作为其内核。基于这一发现，我们进一步刻画了非概率神经网络的统一PAC-Bayesian推广界，它改进了Rademacher基于复杂度的界。最后，借鉴我们的理论结果，我们提出了一个有效的超参数选择的代理措施，这被证明是节省时间。
PAC-Bayesian Policy Evaluation for Reinforcement Learning
贝叶斯先验提供了一种紧凑而通用的方法，将领域知识纳入许多学习任务。然而，贝叶斯分析和推理的正确性在很大程度上取决于这些先验的准确性和正确性。PAC-Bayesian方法通过提供与先验分布的正确性无关的界限来克服这个问题。针对具有函数逼近的批量强化学习问题，给出了PAC-Bayesian第一界。我们展示了如何使用此界限在迁移学习场景中执行模型选择。我们的实证结果证实，PAC贝叶斯政策评估是能够利用先验分布时，他们是翔实的，不像标准的贝叶斯RL方法，忽略他们时，他们是误导。
A Note on Bayesian Networks with Latent Root Variables
本文研究含潜在根变量的贝叶斯网络，提出经验贝叶斯网络概念，并证明原始模型似然受经验模型全局最大值支配且一致性条件等价。
A Primer on PAC-Bayesian Learning
广义贝叶斯学习算法在机器学习中越来越受欢迎，这是由于其PAC泛化特性和灵活性。本文件的目的是提供一个独立的调查所产生的PAC贝叶斯框架和一些主要的理论和算法的发展。
Misclassification excess risk bounds for PAC-Bayesian classification via convexified loss
针对现有PAC-贝叶斯界多针对凸替代损失的局限，本研究利用期望型PAC-贝叶斯相对界，推导了使用凸替代损失时PAC-贝叶斯分类的误分类超额风险界，并在多个重要应用中验证了方法有效性。
PAC-Bayesian Margin Bounds for Convolutional Neural Networks
最近，深度神经网络的泛化误差已经通过PAC-Bayesian框架进行了分析，对于全连接层的情况。我们将这种方法适用于卷积设置。
PACTran: PAC-Bayesian Metrics for Estimating the Transferability of Pretrained Models to Classification Tasks
近年来，随着预训练模型的日益丰富，为特定的下游分类任务选择最佳预训练检查点的问题越来越受到关注。虽然最近已经提出了几种方法来解决选择问题（例如LEEP，H-评分），这些方法诉诸于应用学习理论没有很好的动机。在本文中，我们提出了PACTran，这是一个用于预训练模型选择和可移植性测量的理论基础指标家族。我们首先展示了如何在迁移学习设置下从最佳PAC-Bayesian界导出PACTran度量。然后，我们凭经验评估PACTran的三个度量实例的视觉任务（VTAB）以及语言和视觉（OKVQA）的任务。结果分析表明，PACTran是一个更一致和有效的可转移性措施相比，现有的选择方法。
PAC-Bayesian Transportation Bound
经验上，已知PAC-Bayesian分析为实际机器学习算法产生严格的风险界限。然而，在其朴素的形式，它只能处理随机预测，而这样的预测很少使用和确定性预测往往在实践中表现良好。为了填补这一空白，我们开发了一个新的泛化误差界，PAC-Bayesian运输界，统一的PAC-Bayesian分析和链接方法的最优运输。它是第一个PAC-Bayesian界，根据它们的距离将任何两个预测变量的风险联系起来，并且能够评估面临连续损失函数的随机预测变量的去随机化成本。作为一个例子，我们给出了一个上界的谱归一化神经网络（NN）的去随机化成本，以评估有多少随机性有助于NN的推广。
PAC-Bayesian Generalization Bounds for Adversarial Generative Models
本文扩展PAC-Bayesian理论至生成模型，基于Wasserstein距离和全变差距离推导泛化界，为Wasserstein GAN和能量基GAN提供新训练目标，并通过实验验证非空界。
A combinatorial conjecture from PAC-Bayesian machine learning
我们提出了一个证明的组合猜想从第二作者的博士学位。论文证明依赖于二项式和多项式和身份。我们还讨论了PAC贝叶斯机器学习的上下文中的相关性的猜想。
Note on Equivalence Between Recurrent Neural Network Time Series Models and Variational Bayesian Models
我们观察到，标准的对数似然训练目标的循环神经网络（RNN）模型的时间序列数据是等价的变分贝叶斯训练目标，给出了适当的选择生成和推理模型。这种观点可能会激发对RNN和变分贝叶斯模型的扩展。我们提出了一个这样的扩展，其中多个粒子用于RNN的隐藏状态，允许不确定性或多模态的自然表示。
PAC-Bayesian Domain Adaptation Bounds for Multiclass Learners
多类神经网络是现代无监督领域自适应的常用工具，但在自适应文献中缺乏对其非均匀样本复杂性的适当理论描述。为了填补这一空白，我们提出了第一个多类学习者的PAC贝叶斯适应界限。我们还提出了我们考虑的多类分布发散的第一近似技术，以方便我们的边界的实际使用。对于依赖于吉布斯预测的分歧，我们提出了额外的PAC贝叶斯适应范围，消除了效率低下的蒙特卡洛估计的需要。从经验上讲，我们测试我们提出的近似技术的有效性，以及一些新的设计概念，我们包括在我们的界限。最后，我们应用我们的边界来分析一个常见的适应算法，使用神经网络。
PAC-Bayesian theory for stochastic LTI systems
在本文中，我们得到了一个PAC贝叶斯误差界自治随机LTI状态空间模型。推导这种误差界的动机是，它们将允许推导更一般的动力系统，包括递归神经网络类似的误差界。反过来，PACBayesian误差界已知对于分析机器学习算法和导出新算法是有用的。
PAC-Bayesian Analysis of Martingales and Multiarmed Bandits
我们提出了两种替代的方法来应用PAC贝叶斯分析的相依随机变量序列。第一个是基于一个新的引理，使约束期望的凸函数的某些依赖随机变量的期望相同的功能的独立伯努利随机变量。这个引理为Hoeffding-Azuma不等式提供了一个替代工具，以限制鞅值的集中。我们的第二种方法是基于整合Hoeffding-Azuma不等式与PAC-Bayesian分析。我们还介绍了一种方法，应用PAC贝叶斯分析的情况下，有限的反馈。我们结合新的工具，以获得PAC贝叶斯推广和遗憾界的多臂强盗问题。虽然我们的遗憾边界还没有像基于其他成熟技术的最先进的遗憾边界那样紧密，但我们的结果显着扩展了PAC贝叶斯分析的潜在应用范围，并为强化学习和许多其他领域引入了一种新的分析工具，其中遇到了鞅和有限反馈。
PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime
贝叶斯后验最小化“推断风险”，其本身限制了“预测风险”。当可能性和先验信息明确指定时，该界限很紧。然而，由于误设定导致间隙，贝叶斯后验预测分布可能具有较差的泛化性能。这项工作开发了一个多样本损失（PAC $^m$），它可以通过跨越两个风险之间的权衡来缩小差距。损失是计算上有利的，并提供PAC泛化保证。实证研究表明，改善的预测分布。
Unified PAC-Bayesian Study of Pessimism for Offline Policy Learning with Regularized Importance Sampling
针对离线策略学习悲观主义缺乏统一分析框架的问题，提出全面的PAC-Bayesian框架，推导出适用于常见重要性权重正则化的泛化界，并在单一框架内比较，实证证明了标准IW正则化技术的有效性。
Federated PAC-Bayesian Learning on Non-IID data
针对联邦学习中非独立同分布数据的挑战，提出首个非空联邦PAC贝叶斯界，采用客户端独特先验与可变聚合权重，并设计目标函数和基于Gibbs的优化算法，在真实数据集上验证了有效性。
Wide stochastic networks: Gaussian limit and PAC-Bayesian training
无限宽度的限制允许在过参数化神经网络的分析研究中进行实质性的简化。通过适当的随机初始化，一个非常大的网络表现出近似高斯的行为。在目前的工作中，我们建立了一个简单的随机结构，其参数是随机变量，在训练前和训练过程中保持类似的结果。输出分布的显式评估允许PAC-贝叶斯训练过程直接优化泛化边界。对于一个大型但有限宽度的网络，我们在MNIST上凭经验证明，这种训练方法可以优于标准的PAC-Bayesian方法。
Self-Bounding Majority Vote Learning Algorithms by the Direct Minimization of a Tight PAC-Bayesian C-Bound
在PAC-Bayesian文献中，C-Bound是指多数投票分类器的风险（在0 - 1损失下）与其边际的前两个时刻（即，（1）选民的期望差距和选民的多样性。到目前为止，在这个框架中开发的学习算法最小化的经验版本的C-界，而不是显式的PAC贝叶斯泛化界。在本文中，通过直接优化PAC-Bayesian保证的C-界，我们得到了自约束多数投票学习算法。此外，我们基于梯度下降的算法是可扩展的，并导致准确的预测与非空保证配对。
Dichotomize and Generalize: PAC-Bayesian Binary Activated Deep Neural Networks
我们提出了一个全面的研究多层神经网络与二进制激活，依赖于PAC贝叶斯理论。我们的贡献是双重的：（i）我们开发了一个端到端的框架来训练二进制激活的深度神经网络，（ii）我们为二进制激活的深度神经网络提供了非空的PAC-贝叶斯泛化界。我们的结果是通过最小化二进制激活的深度神经网络的结构相关聚合的预期损失来获得的。我们的分析内在地克服了二元激活函数不可微的事实。我们的方法的性能进行了评估，在现实生活中的数据集上的一个彻底的数值实验协议。
Efron-Stein PAC-Bayesian Inequalities
证明了随机变量为独立随机变量的可能非线性函数的半经验集中不等式。这些不等式描述的浓度的随机变量的数据/分布相关的Efron-Stein（ES）估计的方差，他们不需要任何额外的假设的时刻。特别是，这使我们能够陈述无界随机变量一般函数的半经验伯恩斯坦型不等式，这为相关方法（例如有界差）可能应用起来更具挑战性的情况提供了用户友好的浓度界限。我们将这些结果扩展到Efron-Stein PAC-贝叶斯不等式，该不等式适用于任意概率核，定义了一个随机的，数据相关的函数选择。最后，我们展示了一些应用程序，包括PAC贝叶斯推广界的无界损失函数，经验伯恩斯坦型推广界，新的截断自由界的政策外评估加权重要性采样（WIS），和政策外PAC贝叶斯学习与WIS。
PAC-Bayesian Matrix Completion with a Spectral Scaled Student Prior
本文研究了矩阵完备化问题。一个频谱缩放的学生先验被利用，有利于底层的低秩结构的数据矩阵。我们提供了一个彻底的理论研究，我们的方法，通过PAC贝叶斯界限。更准确地说，我们的PAC-Bayesian方法享有最小最大最优的预言不等式，这保证了我们的方法在模型误设定和一般抽样分布下工作良好。有趣的是，我们还提供了有效的基于梯度的采样实现我们的方法，通过使用朗之万蒙特卡罗。更具体地说，我们表明，我们的算法是显着快于吉布斯采样在这个问题上。为了说明我们的推理策略的吸引力的功能，进行了一些数值模拟和图像修复的应用程序。
A PAC-Bayesian Generalization Bound for Equivariant Networks
等变网络通过将这些对称性构建到模型中来捕获关于学习任务对称性的归纳偏差。本文利用PAC贝叶斯分析方法研究了等变网络中特征空间的变换规律由群表示确定时，等变网络的等变与泛化误差的关系。通过对每一层的傅立叶域中的等变网络进行扰动分析，我们得到了基于范数的PAC-Bayesian推广界。该界表征了群体规模、不可约表示的多重性和程度对泛化误差的影响，从而为选择它们提供了指导。在一般情况下，界限表明，在模型中使用更大的组大小改善了泛化误差证实了广泛的数值实验。
A PAC-Bayesian Approach to Generalization Bounds for Graph Neural Networks
在本文中，我们推导出的两个主要类别的图神经网络（GNNs），即图卷积网络（GCN）和消息传递GNNs（MPGNNs），通过PAC-Bayesian方法的推广界。我们的结果表明，最大节点度和谱范数的权重支配的推广界的两个模型。我们还表明，我们对GCN的界是arXiv：1707.09564v2 [cs.LG]中针对全连接和卷积神经网络开发的结果的自然推广。对于消息传递GNN，我们的PAC-Bayes界优于arXiv：2002.06157v1 [cs.LG]中基于Rademacher复杂度的界，显示出对最大节点度和最大隐藏维度的更紧密依赖。我们证明的关键成分是GNNs的扰动分析和PAC-Bayes分析对非齐次GNNs的推广。我们在几个真实世界的图数据集上进行了实证研究，并验证了我们的PAC-Bayes界比其他人更紧。
Novel Change of Measure Inequalities with Applications to PAC-Bayesian Bounds and Monte Carlo Estimation
本文针对两类发散性：$f$ -发散性和$α$ -发散性，引入了几个新的测度变化不等式.我们展示了如何变分表示$f$ -分歧导致新的变化的措施不等式。给出了$α$ -分歧的乘性测度变换不等式和Hammersley-Chapman-Robbins不等式的推广.最后，我们提出了几个应用程序，我们的测量不等式的变化，包括PAC贝叶斯界的各种损失和非渐近区间的Monte Carlo估计。
A unified PAC-Bayesian framework for machine unlearning via information risk minimization
机器遗忘是指可以根据来自训练模型的请求去除训练数据的子集的影响而不引起从头开始重新训练的成本的机制。本文为机器遗忘开发了一个统一的PAC-贝叶斯框架，该框架恢复了两个最近的设计原则-变分遗忘（Nguyen et.al.，2020）和忘记拉格朗日（Golatkar等人，信息风险最小化问题（Zhang，2006）。因此，这两个标准可以被解释为PAC贝叶斯上界的测试损失的未学习的模型，采取自由能度量的形式。
An Improvement to the Domain Adaptation Bound in a PAC-Bayesian context
本文基于PAC-Bayesian理论对领域自适应进行了理论分析。我们提出了一个改进以前的域自适应界得到的Germain等人。在两个方面。我们首先给出了另一个更紧、更易于解释的泛化界。此外，我们提供了一个新的分析的常数项出现在界，可以开发新的算法解决方案的高度兴趣。
Risk Bounds for the Majority Vote: From a PAC-Bayesian Analysis to a Learning Algorithm
我们提出了一个广泛的分析行为的多数票在二进制分类。特别是，我们引入了一个风险约束的多数票，称为C界，考虑到选民的平均质量和他们的平均分歧。我们还提出了一个广泛的PAC-Bayesian分析，展示了如何从训练数据中包含的各种观察来估计C界。该分析旨在是独立的，可以用作PAC贝叶斯统计学习理论的介绍材料。它从一般的PAC-Bayesian角度开始，并以不常见的PAC-Bayesian边界结束。其中一些边界不包含库尔贝克-莱布勒散度，而另一些边界允许将内核函数用作投票者（通过样本压缩设置）。最后，在分析的基础上，我们提出了MinCq学习算法，该算法基本上最小化了C界。MinCq简化为一个简单的二次规划。除了理论上的基础，MinCq实现了最先进的性能，如我们与AdaBoost和支持向量机的广泛实证比较所示。
A New PAC-Bayesian Perspective on Domain Adaptation
我们研究PAC-Bayesian域自适应问题：我们希望从源域学习一个专用于目标域的多数投票模型。我们的理论贡献带来了一个新的视角，推导出一个上限的目标风险分布的分歧-表示为一个比率-控制之间的权衡源误差测量和目标选民的分歧。我们的界表明，一个人必须关注的区域，源数据是信息。从这个结果，我们得到了一个PAC贝叶斯泛化界，并专门用于线性分类器。然后，我们推导了一个学习算法，并在真实数据上进行了实验。
PAC-Bayesian Analysis of the Exploration-Exploitation Trade-off
我们开发了一个连贯的框架，综合同时分析的勘探开发和模型顺序选择的权衡。我们改进了我们以前在同一主题上的结果（Seldin等人，2011）通过结合PAC-Bayesian分析和鞅的Bernstein型不等式。这样的组合对于研究多个同时发展的鞅也有独立的意义。
PAC-Bayesian bounds for learning LTI-ss systems with input from empirical loss
在本文中，我们得到了一个可能近似正确（PAC）的贝叶斯误差界的线性时不变（LTI）随机动力系统的输入。这样的界限在机器学习中很普遍，它们对于表征从大量数据点学习的模型的预测能力很有用。特别是，本文导出的边界将未来的平均预测误差与模型在用于学习的数据上产生的预测误差联系起来。反过来，这使我们能够提供有限样本误差界的广泛的学习/系统识别算法。此外，由于LTI系统是递归神经网络（RNN）的一个子类，这些误差范围可能是RNN迈向PAC-贝叶斯边界的第一步。
Uniform Generalization Bounds on Data-Dependent Hypothesis Sets via PAC-Bayesian Theory on Random Sets
本文通过将PAC-Bayesian理论严格应用于随机集，提出数据依赖的统一泛化界，并用于统一基于分形维数的泛化界及证明Langevin动力学轨迹上的新泛化性质。
PAC-Bayesian-Like Error Bound for a Class of Linear Time-Invariant Stochastic State-Space Models
本文给出了一类带输入的随机动力系统，即线性时不变随机状态空间模型（简称随机LTI系统）的PAC-Bayesian-Like误差界。这类系统广泛应用于控制工程和计量经济学，特别是，它们代表了递归神经网络的一种特殊情况。本文1）形式化了带输入的随机LTI系统的学习问题，2）导出了此类系统的PAC-Bayesian-Like误差界，3）讨论了该误差界的各种结果。
Shedding a PAC-Bayesian Light on Adaptive Sliced-Wasserstein Distances
本文利用PAC-贝叶斯理论为自适应切片-Wasserstein距离建立泛化界，并提出通过优化理论界学习最具判别力的切片分布，辅以实验验证。
A Note on the Efficient Evaluation of PAC-Bayes Bounds
当利用PAC-Bayes理论进行风险认证时，通常需要估计和限制PAC-Bayes后验的Gibbs风险。在文献中的许多作品采用的方法，这需要大量的数据集的通行证，招致高的计算成本。这份手稿提出了一个非常一般的替代方案，使计算节省的数据集大小的顺序。
Improved PAC-Bayesian Bounds for Linear Regression
本文改进了Germain等人[10]中线性回归的PAC-Bayesian误差界。改进是双重的。首先，所提出的误差界更紧，并收敛到推广损失与一个精心选择的温度参数。第二，误差界也适用于不是独立采样的训练数据。特别是，误差界适用于某些时间序列所产生的众所周知的类的动态模型，如ARX模型。
Statistical Guarantees for Variational Autoencoders using PAC-Bayesian Theory
本文利用 PAC-Bayesian 理论推导以单样本条件后验为对象的首个界，并据此为 VAE 的重建损失、分布距离及生成分布的 Wasserstein 距离提供统计保证。
PAC-Bayesian Domain Adaptation Bounds for Multi-view learning
本文针对多视图学习中的域适应问题，提出基于Pac-Bayesian理论的泛化界分析方法，通过引入适用于多视图域适应的新距离度量，并给出相应的Pac-Bayesian界估计，整合了两种分离的研究范式。
Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice
本文通过PAC-贝叶斯理论推导出最优超后验PACOH的闭式解，提出可扩展的元学习方法，避免双层优化，实验表明其在预测精度和不确定性估计上达到最先进水平。
Conditionally Gaussian PAC-Bayes
最近的研究经验调查不同的方法来训练随机神经网络的分类任务，通过优化PAC贝叶斯约束通过随机梯度下降。这些程序中的大多数都需要用替代损失来替换误分类错误，从而导致优化目标与实际泛化范围之间的不匹配。本文提出了一种新的训练算法，优化PAC贝叶斯界，而不依赖于任何代理损失。实验结果表明，该方法优于目前可用的PAC-Bayesian训练方法。
Learning-to-Optimize with PAC-Bayesian Guarantees: Theoretical Considerations and Practical Implementation
本文提出首个基于PAC-Bayesian理论的学习优化框架，提供可证明的泛化保证并显式权衡收敛性与速度，实验表明其优化算法优于最先进方法数个数量级。
A PAC-Bayesian Analysis of Graph Clustering and Pairwise Clustering
我们制定加权图聚类作为一个预测问题：给定一个子集的边缘权重，我们分析的能力图聚类预测剩余的边缘权重。该公式使实际和理论上的比较不同的方法图聚类，以及比较图聚类与其他可能的方式来建模的图。我们采用了PAC-Bayesian协聚类分析（Seldin and Tishby，2008; Seldin，2009）来推导图聚类的PAC-Bayesian泛化界。该界限表明，图聚类应该优化经验数据拟合和聚类在图节点上保留的互信息之间的权衡。从信息理论考虑导出的类似权衡已经显示在实践中产生最先进的结果（Slonim等人，2005年; Yom-Tov和Slonim，2009年）。本文通过提供更好的理论基础，提出形式化的推广保证，并提供更准确的方法来处理有限样本问题，从而支持了经验证据。我们推导出一个界最小化算法，并表明它在现实生活中的问题提供了很好的结果，所得出的PAC贝叶斯界是合理的紧。
A PAC-Bayesian Analysis of Distance-Based Classifiers: Why Nearest-Neighbour works!
摘要本文给出了K-近邻分类器（K-NN）泛化误差的PAC-贝叶斯界。这是通过铸造的K-NN分类到核空间框架的限制消失的核带宽。我们建立了核展开系数上的先验测度与核空间权向量上的诱导测度之间的关系。在系数上定义稀疏先验允许应用PAC-贝叶斯民间定理，该定理导致作为冗余训练样本的数量的函数的泛化界：那些可以被省略而不改变解决方案的训练样本。所提出的界限需要量化的解决方案的稀疏性的先验信念，并在学习后的实际冗余水平是已知的。即使对于小样本量（m ~ 100），当期望稀疏度和实际冗余度都很高时，该界也给出了非平凡的结果。
A PAC-Bayesian bound for Lifelong Learning
在过去的几年里，迁移学习在机器学习社区中受到了很多关注，并且已经开发了几种有效的算法。然而，人们对它们的理论特性知之甚少，特别是在终身学习的背景下，其目标是将信息转移到迄今为止没有观察到数据的任务中。在这项工作中，我们从理论的角度研究终身学习。我们的主要结果是一个PAC贝叶斯泛化界，提供了一个统一的观点现有的范式迁移学习，如参数的转移或低维表示的转移。我们还使用的约束，以获得两个原则性的终身学习算法，我们表明，这些结果与现有的方法相媲美。
A General Framework for the Practical Disintegration of PAC-Bayesian Bounds
本文提出一种新的 PAC-Bayesian 分解界框架，可直接对单个假设给出泛化保证，避免传统去随机化步骤，并在神经网络上取得显著优于现有方法的实际效果。
PAC-Bayesian Learning of Optimization Algorithms
我们将PAC-Bayes理论应用于学习优化的设置。据我们所知，我们提出了第一个框架来学习优化算法与可证明的泛化保证（PAC界）和明确的高概率收敛和高收敛速度之间的权衡。即使在极限的情况下，收敛性得到保证，我们学到的优化算法证明优于相关算法的基础上（确定性）的最坏情况分析。我们的研究结果依赖于PAC贝叶斯界一般，无界损失函数的指数家庭的基础上。通过推广现有的想法，我们重新制定的学习过程成一个一维的最小化问题，并研究的可能性，找到一个全局最小值，这使得算法实现的学习过程。作为概念验证，我们学习标准优化算法的超参数，以经验方式强调我们的理论。
PAC-Bayesian Bound for the Conditional Value at Risk
条件风险价值（CVaR）是一类推广了传统数学期望的“一致性风险度量”。它广泛应用于数学金融学，在机器学习中引起了越来越多的兴趣，例如，作为正规化的一种替代方法，并作为确保公平的一种手段。本文提出了一个广义界的学习算法，最大限度地减少经验损失的CVaR。该界是PAC-Bayesian型的，当经验CVaR较小时，该界保证较小。我们通过将估计CVaR的问题简化为仅仅估计期望值来实现这一点。这使我们能够，作为一个副产品，即使在所讨论的随机变量是无界的CVaR的浓度不等式。
PAC-Bayesian Theorems for Domain Adaptation with Specialization to Linear Classifiers
在本文中，我们提供了两个主要贡献PAC贝叶斯理论域适应的目标是学习，从一个源分布，一个表现良好的多数票在不同的目标分布。一方面，我们提出了对Germain等人（2013）提出的先前方法的改进，该方法依赖于基于不一致平均的新分布伪距离，使我们能够为随机Gibbs分类器推导出一个新的更严格的PAC-Bayesian域自适应边界。我们将其专门用于线性分类器，并设计了一种学习算法，该算法在合成问题和流行的情感注释任务上显示了有趣的结果。另一方面，我们将这些结果推广到多频域适应，使我们能够考虑到不同的源域。这项研究打开了大门，以解决域适应任务，利用所有的PAC贝叶斯工具。
Analyzing Lottery Ticket Hypothesis from PAC-Bayesian Theory Perspective
彩票假说（LTH）因其能解释过参数模型为何表现出较高的泛化能力而受到关注。众所周知，当我们使用迭代幅度修剪（IMP）时，这是一种寻找具有高泛化能力的稀疏网络的算法，可以从初始权重独立训练，称为中奖票，初始大学习率在ResNet等深度神经网络中效果不佳。然而，由于初始大的学习率通常有助于优化器收敛到更平坦的最小值，因此我们假设中奖彩票具有相对尖锐的最小值，这被认为是泛化能力方面的缺点。在本文中，我们证实了这一假设，并表明，PAC贝叶斯理论可以提供一个明确的理解LTH和泛化行为之间的关系。我们的实验结果的基础上，平坦度是有用的，以提高准确性和鲁棒性的标签噪声和距离的初始权重是深入参与中奖门票，我们提供了PAC贝叶斯界使用尖峰和板分布分析中奖门票。最后，我们重新审视现有的算法，从PAC贝叶斯的角度寻找中奖彩票，并提供新的见解，这些方法。
On the disintegration of the stochastic majority vote: From PAC-Bayesian bounds to a self-bounding algorithm
本文提出去随机化框架，利用分解PAC-贝叶斯理论将随机多数投票的保证转化为确定性多数投票的证书，推导两类泛化界并引出自界学习算法。
Personalized Federated Learning of Probabilistic Models: A PAC-Bayesian Approach
提出PAC-PFL框架，通过共享超后验和个性化后验推断，最小化PAC-Bayesian泛化界，实现异构客户端下概率模型的个性化联邦学习，缓解过拟合并提供新客户端泛化保证。
PAC-Bayesian Learning and Domain Adaptation
在机器学习中，当生成测试（目标）数据的分布不同于生成学习（源）数据的分布时，出现域自适应（DA）。众所周知，即使在强假设下，DA也是一项艰巨的任务，其中，源分布和目标分布仅在边缘处发散的协变量移位，即它们具有相同的标记函数。另一种流行的方法是考虑一个假设类，它更接近两个分布，同时意味着两个任务的错误率都很低。这是一种VC-dim方法，它限制了假设类的复杂性，以获得良好的泛化。相反，我们提出了一个PAC贝叶斯方法，寻求合适的权重，以建立一个多数票给每个假设。我们证明了一个新的DA界的PAC贝叶斯上下文中。这导致我们设计的第一个DA-PAC-贝叶斯算法的基础上提出的界限的最小化。这样做，我们寻求一个ρ加权多数票，考虑到三个数量之间的权衡。在PAC-贝叶斯方法中，前两个量通常是：（a）多数票的复杂性（用库尔贝克-莱布勒散度衡量）和（b）其经验风险（用源样本的ρ平均误差衡量）。第三个量是（c）多数票区分源样本和目标样本之间的某些结构差异的能力。
Normalized Flat Minima: Exploring Scale Invariant Definition of Flat Minima for Neural Networks using PAC-Bayesian Analysis
平坦极小值的概念在深度学习模型的泛化研究中发挥了关键作用。然而，已知平坦度的现有定义对参数的重新缩放敏感。这个问题表明，以前的平坦度定义可能不是一个很好的泛化度量，因为泛化对于这种重新缩放是不变的。在本文中，从PAC-Bayesian的角度来看，我们仔细检查有关的平坦极小值的讨论，并介绍了归一化平坦极小值的概念，这是免费的已知的规模依赖问题。此外，我们强调了现有的基于矩阵范数的泛化误差界的尺度依赖性，类似于现有的平坦极小值定义。我们修改后的平坦性概念也没有受到不足的影响，这表明它可能在假设类中提供更好的层次结构。
Distributionally Robust PAC-Bayesian Control
本文提出一种分布鲁棒的PAC-Bayesian框架，用于验证基于学习的有限时间 horizon 控制器性能。通过结合PAC-Bayes泛化理论和基于类型1 Wasserstein距离的分布鲁棒优化，解决无界损失和环境分布偏移问题，提供高概率安全证书。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。