PAC-Bayesian theory for stochastic LTI systems
Aalborg University（奥尔堡大学）；Laboratoire Signal et Automatique de Lille (CRIStAL)（里尔信号与自动化实验室（CRIStAL））
在本文中，我们得到了一个PAC贝叶斯误差界自治随机LTI状态空间模型。推导这种误差界的动机是，它们将允许推导更一般的动力系统，包括递归神经网络类似的误差界。反过来，PACBayesian误差界已知对于分析机器学习算法和导出新算法是有用的。
2021-03-25 cs.LG stat.ML
PAC-Bayesian Analysis of Martingales and Multiarmed Bandits
Max Planck Institute（马克斯·普朗克研究所）；Université Laval（拉瓦尔大学）；University College London（伦敦大学学院）；University of Leoben（莱奥本大学）
我们提出了两种替代的方法来应用PAC贝叶斯分析的相依随机变量序列。第一个是基于一个新的引理，使约束期望的凸函数的某些依赖随机变量的期望相同的功能的独立伯努利随机变量。这个引理为Hoeffding-Azuma不等式提供了一个替代工具，以限制鞅值的集中。我们的第二种方法是基于整合Hoeffding-Azuma不等式与PAC-Bayesian分析。我们还介绍了一种方法，应用PAC贝叶斯分析的情况下，有限的反馈。我们结合新的工具，以获得PAC贝叶斯推广和遗憾界的多臂强盗问题。虽然我们的遗憾边界还没有像基于其他成熟技术的最先进的遗憾边界那样紧密，但我们的结果显着扩展了PAC贝叶斯分析的潜在应用范围，并为强化学习和许多其他领域引入了一种新的分析工具，其中遇到了鞅和有限反馈。
2011-05-19 cs.LG stat.ML
PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime
Google Research（谷歌研究院）
贝叶斯后验最小化“推断风险”，其本身限制了“预测风险”。当可能性和先验信息明确指定时，该界限很紧。然而，由于误设定导致间隙，贝叶斯后验预测分布可能具有较差的泛化性能。这项工作开发了一个多样本损失（PAC $^m$），它可以通过跨越两个风险之间的权衡来缩小差距。损失是计算上有利的，并提供PAC泛化保证。实证研究表明，改善的预测分布。
2022-05-23 cs.LG stat.ML
Self-Bounding Majority Vote Learning Algorithms by the Direct Minimization of a Tight PAC-Bayesian C-Bound
Univ Lyon, UJM-Saint-Etienne, CNRS, Institut d Optique Graduate School, Laboratoire Hubert Curien UMR 5516（里昂大学，圣艾蒂安大学，法国国家科学研究中心，光学研究所研究生院，于贝尔·居里安实验室）；Université Laval（拉瓦尔大学）
在PAC-Bayesian文献中，C-Bound是指多数投票分类器的风险（在0 - 1损失下）与其边际的前两个时刻（即，（1）选民的期望差距和选民的多样性。到目前为止，在这个框架中开发的学习算法最小化的经验版本的C-界，而不是显式的PAC贝叶斯泛化界。在本文中，通过直接优化PAC-Bayesian保证的C-界，我们得到了自约束多数投票学习算法。此外，我们基于梯度下降的算法是可扩展的，并导致准确的预测与非空保证配对。
2021-08-31 cs.LG stat.ML
Dichotomize and Generalize: PAC-Bayesian Binary Activated Deep Neural Networks
Université Laval（拉瓦尔大学）；Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
我们提出了一个全面的研究多层神经网络与二进制激活，依赖于PAC贝叶斯理论。我们的贡献是双重的：（i）我们开发了一个端到端的框架来训练二进制激活的深度神经网络，（ii）我们为二进制激活的深度神经网络提供了非空的PAC-贝叶斯泛化界。我们的结果是通过最小化二进制激活的深度神经网络的结构相关聚合的预期损失来获得的。我们的分析内在地克服了二元激活函数不可微的事实。我们的方法的性能进行了评估，在现实生活中的数据集上的一个彻底的数值实验协议。
2020-02-04 cs.LG stat.ML
Efron-Stein PAC-Bayesian Inequalities
DeepMind
证明了随机变量为独立随机变量的可能非线性函数的半经验集中不等式。这些不等式描述的浓度的随机变量的数据/分布相关的Efron-Stein（ES）估计的方差，他们不需要任何额外的假设的时刻。特别是，这使我们能够陈述无界随机变量一般函数的半经验伯恩斯坦型不等式，这为相关方法（例如有界差）可能应用起来更具挑战性的情况提供了用户友好的浓度界限。我们将这些结果扩展到Efron-Stein PAC-贝叶斯不等式，该不等式适用于任意概率核，定义了一个随机的，数据相关的函数选择。最后，我们展示了一些应用程序，包括PAC贝叶斯推广界的无界损失函数，经验伯恩斯坦型推广界，新的截断自由界的政策外评估加权重要性采样（WIS），和政策外PAC贝叶斯学习与WIS。
2020-02-03 cs.LG stat.ML
An Improvement to the Domain Adaptation Bound in a PAC-Bayesian context
Université Laval（拉瓦尔大学）；Univ. of St-Etienne（圣艾蒂安大学）
本文基于PAC-Bayesian理论对领域自适应进行了理论分析。我们提出了一个改进以前的域自适应界得到的Germain等人。在两个方面。我们首先给出了另一个更紧、更易于解释的泛化界。此外，我们提供了一个新的分析的常数项出现在界，可以开发新的算法解决方案的高度兴趣。
2015-01-13 cs.LG stat.ML
Risk Bounds for the Majority Vote: From a PAC-Bayesian Analysis to a Learning Algorithm
Université Laval（拉瓦尔大学）
我们提出了一个广泛的分析行为的多数票在二进制分类。特别是，我们引入了一个风险约束的多数票，称为C界，考虑到选民的平均质量和他们的平均分歧。我们还提出了一个广泛的PAC-Bayesian分析，展示了如何从训练数据中包含的各种观察来估计C界。该分析旨在是独立的，可以用作PAC贝叶斯统计学习理论的介绍材料。它从一般的PAC-Bayesian角度开始，并以不常见的PAC-Bayesian边界结束。其中一些边界不包含库尔贝克-莱布勒散度，而另一些边界允许将内核函数用作投票者（通过样本压缩设置）。最后，在分析的基础上，我们提出了MinCq学习算法，该算法基本上最小化了C界。MinCq简化为一个简单的二次规划。除了理论上的基础，MinCq实现了最先进的性能，如我们与AdaBoost和支持向量机的广泛实证比较所示。
2015-07-28 cs.LG stat.ML
A New PAC-Bayesian Perspective on Domain Adaptation
INRIA, SIERRA Project-Team（法国国家信息与自动化研究所，SIERRA项目组）；D.I., Ecole Normale Superieure（巴黎高等师范学校计算机科学系）；Univ Lyon, UJM-Saint-Etienne, CNRS, IOGS, Laboratoire Hubert Curien UMR 5516（里昂大学，圣艾蒂安让·莫内大学，法国国家科学研究中心，IOGS，于贝尔·居里安实验室）；Université Laval（拉瓦尔大学）
我们研究PAC-Bayesian域自适应问题：我们希望从源域学习一个专用于目标域的多数投票模型。我们的理论贡献带来了一个新的视角，推导出一个上限的目标风险分布的分歧-表示为一个比率-控制之间的权衡源误差测量和目标选民的分歧。我们的界表明，一个人必须关注的区域，源数据是信息。从这个结果，我们得到了一个PAC贝叶斯泛化界，并专门用于线性分类器。然后，我们推导了一个学习算法，并在真实数据上进行了实验。
2016-07-26 cs.LG stat.ML
PAC-Bayesian Analysis of the Exploration-Exploitation Trade-off
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Università degli Studi di Milano（米兰大学）；Université Laval（拉瓦尔大学）；University of Leoben（莱奥本大学）；University College London（伦敦大学学院）
我们开发了一个连贯的框架，综合同时分析的勘探开发和模型顺序选择的权衡。我们改进了我们以前在同一主题上的结果（Seldin等人，2011）通过结合PAC-Bayesian分析和鞅的Bernstein型不等式。这样的组合对于研究多个同时发展的鞅也有独立的意义。
2011-05-23 cs.LG stat.ML
PAC-Bayesian bounds for learning LTI-ss systems with input from empirical loss
Aalborg University（奥尔堡大学）；Laboratoire Signal et Automatique de Lille (CRIStAL)（里尔信号与自动化实验室（CRIStAL））
在本文中，我们得到了一个可能近似正确（PAC）的贝叶斯误差界的线性时不变（LTI）随机动力系统的输入。这样的界限在机器学习中很普遍，它们对于表征从大量数据点学习的模型的预测能力很有用。特别是，本文导出的边界将未来的平均预测误差与模型在用于学习的数据上产生的预测误差联系起来。反过来，这使我们能够提供有限样本误差界的广泛的学习/系统识别算法。此外，由于LTI系统是递归神经网络（RNN）的一个子类，这些误差范围可能是RNN迈向PAC-贝叶斯边界的第一步。
2023-03-29 cs.LG stat.ML
A combinatorial conjecture from PAC-Bayesian machine learning
University of Hawaii Manoa（夏威夷大学马诺阿分校）；Coveo Solutions Inc.（Coveo解决方案公司）
我们提出了一个证明的组合猜想从第二作者的博士学位。论文证明依赖于二项式和多项式和身份。我们还讨论了PAC贝叶斯机器学习的上下文中的相关性的猜想。
2020-06-04 cs.LG math.CO stat.ML
Shedding a PAC-Bayesian Light on Adaptive Sliced-Wasserstein Distances
Flatiron Institute（熨斗研究所）；MIT（麻省理工学院）；Criteo AI Lab（科韬人工智能实验室）
本文利用PAC-贝叶斯理论为自适应切片-Wasserstein距离建立泛化界，并提出通过优化理论界学习最具判别力的切片分布，辅以实验验证。
2023-05-31 cs.LG stat.ML
Improved PAC-Bayesian Bounds for Linear Regression
INRIA Lille Nord-Europe（法国国家信息与自动化研究所里尔-北欧分部）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；CRIStAL - Centre de Recherche en Informatique Signal et Automatique de Lille（里尔信息、信号与自动化研究中心）
本文改进了Germain等人[10]中线性回归的PAC-Bayesian误差界。改进是双重的。首先，所提出的误差界更紧，并收敛到推广损失与一个精心选择的温度参数。第二，误差界也适用于不是独立采样的训练数据。特别是，误差界适用于某些时间序列所产生的众所周知的类的动态模型，如ARX模型。
2019-12-06 cs.LG stat.ML
Statistical Guarantees for Variational Autoencoders using PAC-Bayesian Theory
Université Laval（拉瓦尔大学）；McGill University（麦吉尔大学）
本文利用 PAC-Bayesian 理论推导以单样本条件后验为对象的首个界，并据此为 VAE 的重建损失、分布距离及生成分布的 Wasserstein 距离提供统计保证。
2023-12-07 cs.LG stat.ML
PAC-Bayesian Domain Adaptation Bounds for Multi-view learning
Galilé Group（加利莱集团）；Université Lyon 1（里昂第一大学）；LIRIS（里昂信息与图像研究实验室）
本文针对多视图学习中的域适应问题，提出基于Pac-Bayesian理论的泛化界分析方法，通过引入适用于多视图域适应的新距离度量，并给出相应的Pac-Bayesian界估计，整合了两种分离的研究范式。
2024-01-02 cs.LG stat.ML
Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice
ETH Zurich（苏黎世联邦理工学院）；EPFL Lausanne（洛桑联邦理工学院）；Helmholtz AI（亥姆霍兹人工智能）；TU Munich（慕尼黑工业大学）
本文通过PAC-贝叶斯理论推导出最优超后验PACOH的闭式解，提出可扩展的元学习方法，避免双层优化，实验表明其在预测精度和不确定性估计上达到最先进水平。
2023-12-22 cs.LG stat.ML
Gaussian mixture modeling of nodes in Bayesian network according to maximal parental cliques
Zhejiang University（浙江大学）
本文用混合高斯模型代替线性高斯模型来拟合贝叶斯网络中每个节点的分布。我们将解释为什么以及如何在贝叶斯网络中使用高斯混合模型。同时，本文提出了一种新的混合模型优化方法--双重迭代算法，该算法结合了期望最大化算法和梯度下降算法，在混合模型的贝叶斯网络上有较好的性能。在实验中，我们在实际数据集上对不同结构的学习算法生成的不同图进行了高斯混合模型和优化算法的测试，并给出了每个实验的细节。
2022-05-16 cs.LG stat.ML
SMAC3: A Versatile Bayesian Optimization Package for Hyperparameter Optimization
Leibniz University Hannover（莱布尼茨汉诺威大学）；University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
算法参数，特别是机器学习算法的超参数，可以显著影响它们的性能。为了支持用户为其算法、数据集和应用程序确定性能良好的超参数配置，SMAC3为贝叶斯优化提供了一个强大而灵活的框架，可以在几次评估中提高性能。它为典型用例提供了几个外观和预设，例如优化超参数，解决低维连续（人工）全局优化问题，以及配置算法以在多个问题实例中表现良好。SMAC3软件包可以在https://github.com/automl/SMAC3上获得许可的BSD许可证。
2022-02-08 cs.LG stat.ML
A PAC-Bayesian Analysis of Distance-Based Classifiers: Why Nearest-Neighbour works!
摘要本文给出了K-近邻分类器（K-NN）泛化误差的PAC-贝叶斯界。这是通过铸造的K-NN分类到核空间框架的限制消失的核带宽。我们建立了核展开系数上的先验测度与核空间权向量上的诱导测度之间的关系。在系数上定义稀疏先验允许应用PAC-贝叶斯民间定理，该定理导致作为冗余训练样本的数量的函数的泛化界：那些可以被省略而不改变解决方案的训练样本。所提出的界限需要量化的解决方案的稀疏性的先验信念，并在学习后的实际冗余水平是已知的。即使对于小样本量（m ~ 100），当期望稀疏度和实际冗余度都很高时，该界也给出了非平凡的结果。
2021-09-28 cs.LG stat.ML
A PAC-Bayesian bound for Lifelong Learning
IST Austria (Institute of Science and Technology Austria)（奥地利科学技术研究所）
在过去的几年里，迁移学习在机器学习社区中受到了很多关注，并且已经开发了几种有效的算法。然而，人们对它们的理论特性知之甚少，特别是在终身学习的背景下，其目标是将信息转移到迄今为止没有观察到数据的任务中。在这项工作中，我们从理论的角度研究终身学习。我们的主要结果是一个PAC贝叶斯泛化界，提供了一个统一的观点现有的范式迁移学习，如参数的转移或低维表示的转移。我们还使用的约束，以获得两个原则性的终身学习算法，我们表明，这些结果与现有的方法相媲美。
2014-05-10 cs.LG stat.ML
A General Framework for the Practical Disintegration of PAC-Bayesian Bounds
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Université Laval（拉瓦尔大学）；Université Jean Monnet Saint-Étienne（圣艾蒂安让·莫内大学）；Institut d Optique Graduate School（光学研究所研究生院）；Institut Universitaire de France（法兰西大学研究院）
本文提出一种新的 PAC-Bayesian 分解界框架，可直接对单个假设给出泛化保证，避免传统去随机化步骤，并在神经网络上取得显著优于现有方法的实际效果。
2023-09-18 cs.LG stat.ML
PAC-Bayesian Learning of Optimization Algorithms
University of Tübingen（蒂宾根大学）
我们将PAC-Bayes理论应用于学习优化的设置。据我们所知，我们提出了第一个框架来学习优化算法与可证明的泛化保证（PAC界）和明确的高概率收敛和高收敛速度之间的权衡。即使在极限的情况下，收敛性得到保证，我们学到的优化算法证明优于相关算法的基础上（确定性）的最坏情况分析。我们的研究结果依赖于PAC贝叶斯界一般，无界损失函数的指数家庭的基础上。通过推广现有的想法，我们重新制定的学习过程成一个一维的最小化问题，并研究的可能性，找到一个全局最小值，这使得算法实现的学习过程。作为概念验证，我们学习标准优化算法的超参数，以经验方式强调我们的理论。
2023-02-15 cs.LG stat.ML
PAC-Bayesian Bound for the Conditional Value at Risk
The Australian National University（澳大利亚国立大学）；Data61；Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
条件风险价值（CVaR）是一类推广了传统数学期望的“一致性风险度量”。它广泛应用于数学金融学，在机器学习中引起了越来越多的兴趣，例如，作为正规化的一种替代方法，并作为确保公平的一种手段。本文提出了一个广义界的学习算法，最大限度地减少经验损失的CVaR。该界是PAC-Bayesian型的，当经验CVaR较小时，该界保证较小。我们通过将估计CVaR的问题简化为仅仅估计期望值来实现这一点。这使我们能够，作为一个副产品，即使在所讨论的随机变量是无界的CVaR的浓度不等式。
2020-06-26 cs.LG stat.ML
PAC-Bayesian Theorems for Domain Adaptation with Specialization to Linear Classifiers
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣艾蒂安大学）；CNRS（法国国家科学研究中心）；Institut d’Optique Graduate School（光学研究所研究生院）；Université Laval（拉瓦尔大学）
在本文中，我们提供了两个主要贡献PAC贝叶斯理论域适应的目标是学习，从一个源分布，一个表现良好的多数票在不同的目标分布。一方面，我们提出了对Germain等人（2013）提出的先前方法的改进，该方法依赖于基于不一致平均的新分布伪距离，使我们能够为随机Gibbs分类器推导出一个新的更严格的PAC-Bayesian域自适应边界。我们将其专门用于线性分类器，并设计了一种学习算法，该算法在合成问题和流行的情感注释任务上显示了有趣的结果。另一方面，我们将这些结果推广到多频域适应，使我们能够考虑到不同的源域。这项研究打开了大门，以解决域适应任务，利用所有的PAC贝叶斯工具。
2016-08-09 cs.LG stat.ML
Adaptive Gaussian process surrogates for Bayesian inference
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了一种自适应的方法来建设高斯过程代理贝叶斯推断昂贵的评估前向模型。我们的方法依赖于完全贝叶斯方法来训练高斯过程模型，并利用贝叶斯全局优化的预期改进思想。我们自适应地构造训练设计，通过最大化期望的改善，在适合的高斯过程模型的噪声观测数据。与合成数据的模型问题的数值实验表明，所获得的自适应设计的有效性相比，固定的非自适应设计在精确的后验估计的一小部分的成本与正向模型的推理。
2018-09-27 cs.LG stat.ML
Analyzing Lottery Ticket Hypothesis from PAC-Bayesian Theory Perspective
The University of Tokyo（东京大学）
彩票假说（LTH）因其能解释过参数模型为何表现出较高的泛化能力而受到关注。众所周知，当我们使用迭代幅度修剪（IMP）时，这是一种寻找具有高泛化能力的稀疏网络的算法，可以从初始权重独立训练，称为中奖票，初始大学习率在ResNet等深度神经网络中效果不佳。然而，由于初始大的学习率通常有助于优化器收敛到更平坦的最小值，因此我们假设中奖彩票具有相对尖锐的最小值，这被认为是泛化能力方面的缺点。在本文中，我们证实了这一假设，并表明，PAC贝叶斯理论可以提供一个明确的理解LTH和泛化行为之间的关系。我们的实验结果的基础上，平坦度是有用的，以提高准确性和鲁棒性的标签噪声和距离的初始权重是深入参与中奖门票，我们提供了PAC贝叶斯界使用尖峰和板分布分析中奖门票。最后，我们重新审视现有的算法，从PAC贝叶斯的角度寻找中奖彩票，并提供新的见解，这些方法。
2022-09-28 cs.LG stat.ML
On the disintegration of the stochastic majority vote: From PAC-Bayesian bounds to a self-bounding algorithm
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Institut Universitaire de France（法国大学研究院）；Univ Rennes（雷恩大学）
本文提出去随机化框架，利用分解PAC-贝叶斯理论将随机多数投票的保证转化为确定性多数投票的证书，推导两类泛化界并引出自界学习算法。
2026-09-16 cs.LG stat.ML
PAC-Bayesian Learning and Domain Adaptation
Université Laval（拉瓦尔大学）；Laboratoire Hubert Curien UMR CNRS 5516（于贝尔·居里安实验室 CNRS UMR 5516）；Univ. Jean Monnet（让·莫内大学）；Aix-Marseille Univ.（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
在机器学习中，当生成测试（目标）数据的分布不同于生成学习（源）数据的分布时，出现域自适应（DA）。众所周知，即使在强假设下，DA也是一项艰巨的任务，其中，源分布和目标分布仅在边缘处发散的协变量移位，即它们具有相同的标记函数。另一种流行的方法是考虑一个假设类，它更接近两个分布，同时意味着两个任务的错误率都很低。这是一种VC-dim方法，它限制了假设类的复杂性，以获得良好的泛化。相反，我们提出了一个PAC贝叶斯方法，寻求合适的权重，以建立一个多数票给每个假设。我们证明了一个新的DA界的PAC贝叶斯上下文中。这导致我们设计的第一个DA-PAC-贝叶斯算法的基础上提出的界限的最小化。这样做，我们寻求一个ρ加权多数票，考虑到三个数量之间的权衡。在PAC-贝叶斯方法中，前两个量通常是：（a）多数票的复杂性（用库尔贝克-莱布勒散度衡量）和（b）其经验风险（用源样本的ρ平均误差衡量）。第三个量是（c）多数票区分源样本和目标样本之间的某些结构差异的能力。
2012-12-11 cs.LG stat.ML
Bayesian Meta-Learning Through Variational Gaussian Processes
Stanford University（斯坦福大学）
元学习领域的最新进展已经解决了由大量小（“Few-Shot”）监督学习任务组成的领域。元学习算法必须能够快速适应任何单个的Few-Shot任务，适应任务中的小支持集，并使用它来预测任务查询集的标签。这个问题设置可以扩展到贝叶斯上下文，其中不是为每个查询数据点预测单个标签，而是模型预测捕获其不确定性的标签分布。这一领域的成功方法包括基于MAML的模型的贝叶斯集成、贝叶斯神经网络和具有学习的深度核和均值函数的高斯过程。虽然高斯过程在元学习上下文中具有鲁棒的贝叶斯解释，但它们并不自然地对用于表达不确定性的非高斯预测后验进行建模。在本文中，我们设计了一个理论上的原则性方法，VMGP，扩展高斯过程为基础的元学习，允许高质量，任意非高斯不确定性预测。在具有复杂非光滑或不连续结构的基准环境中，我们发现我们的VMGP方法的性能明显优于现有的贝叶斯元学习基线。
2021-10-21 cs.LG stat.ML
Normalized Flat Minima: Exploring Scale Invariant Definition of Flat Minima for Neural Networks using PAC-Bayesian Analysis
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
平坦极小值的概念在深度学习模型的泛化研究中发挥了关键作用。然而，已知平坦度的现有定义对参数的重新缩放敏感。这个问题表明，以前的平坦度定义可能不是一个很好的泛化度量，因为泛化对于这种重新缩放是不变的。在本文中，从PAC-Bayesian的角度来看，我们仔细检查有关的平坦极小值的讨论，并介绍了归一化平坦极小值的概念，这是免费的已知的规模依赖问题。此外，我们强调了现有的基于矩阵范数的泛化误差界的尺度依赖性，类似于现有的平坦极小值定义。我们修改后的平坦性概念也没有受到不足的影响，这表明它可能在假设类中提供更好的层次结构。
2019-01-28 cs.LG stat.ML
PAC-Bayesian Reconstruction Guarantees for Time Series Variational Autoencoders
LPSM, Sorbonne Université（索邦大学 LPSM）；EDF R&D（法国电力集团研发部）；University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）
本研究针对时间序列变分自编码器泛化保证有限的问题，开发了适用于马尔可夫隐变量结构的PAC-贝叶斯框架，该框架的保证不随轨迹长度增长，且所需假设限制较小。
2026-09-07 cs.LG stat.ML
Learning Gaussian Processes by Minimizing PAC-Bayesian Generalization Bounds
Bosch Center for Artificial Intelligence（博世人工智能中心）
高斯过程（GPs）是一种用于监督学习的通用建模工具。虽然它们已成功应用于大型数据集，但由于缺乏良好的性能保证，它们在安全关键型应用程序中的使用受到阻碍。为此，我们提出了一种方法来学习GP及其稀疏近似直接优化PAC贝叶斯约束其泛化性能，而不是最大化的边际似然。除了理论上的吸引力，我们在评估中发现，我们的学习方法是鲁棒的，并且在几个回归基准数据集上比其他常见的GP方法具有更好的泛化保证。
2018-12-28 cs.LG stat.ML
Bayesian Evidential Deep Learning with PAC Regularization
Heidelberg University（海德堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
本文提出了一种新的神经网络预测分布模型的方法。在量化预测不确定性时，我们建立在证据深度学习的基础上，它既易于实现，又能以封闭形式访问预测不确定性。我们用它来模拟任意的不确定性，并将其扩展到考虑到认知的不确定性，将其转换为贝叶斯神经网络。在扩展其不确定性量化功能的同时，我们通过首次执行渐进矩匹配以近似权重边缘化来保持其可分析的预测分布模型。最终的模型引入了大量的超参数来进行稳定的训练。我们克服了这个缺点，推导出一个空洞的PAC界，包括边际似然预测和复杂性惩罚。我们在回归，分类和域外检测基准上观察到，我们的方法改进了模型拟合和不确定性量化。
2021-01-21 cs.LG stat.ML
Multi-View Majority Vote Learning Algorithms: Direct Minimization of PAC-Bayesian Bounds
Omundu, Lyon, France（法国里昂大学）；ESI-SBA, Algeria（阿尔及利亚ESI-SBA）；Université Lyon 2, ERIC, France（法国里昂2大学）；Université Lyon 1, LIRIS, UMR CNRS 5205, France（法国里昂1大学）
本文扩展PAC-贝叶斯理论至多视图学习，提出基于Rényi散度的泛化边界及oracle边界，并设计自边界优化算法，实现理论与实践的桥接。
2025-10-13 cs.AI cs.LG stat.ML
A PAC-Bayesian Analysis of Graph Clustering and Pairwise Clustering
Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
我们制定加权图聚类作为一个预测问题：给定一个子集的边缘权重，我们分析的能力图聚类预测剩余的边缘权重。该公式使实际和理论上的比较不同的方法图聚类，以及比较图聚类与其他可能的方式来建模的图。我们采用了PAC-Bayesian协聚类分析（Seldin and Tishby，2008; Seldin，2009）来推导图聚类的PAC-Bayesian泛化界。该界限表明，图聚类应该优化经验数据拟合和聚类在图节点上保留的互信息之间的权衡。从信息理论考虑导出的类似权衡已经显示在实践中产生最先进的结果（Slonim等人，2005年; Yom-Tov和Slonim，2009年）。本文通过提供更好的理论基础，提出形式化的推广保证，并提供更准确的方法来处理有限样本问题，从而支持了经验证据。我们推导出一个界最小化算法，并表明它在现实生活中的问题提供了很好的结果，所得出的PAC贝叶斯界是合理的紧。
2010-09-02 cs.DS cs.LG stat.ML
Bayesian structure learning and sampling of Bayesian networks with the R package BiDAG
R包BiDAG实现了马尔可夫链蒙特卡罗（MCMC）方法，用于贝叶斯网络的结构学习和采样。该软件包包括搜索最大后验（MAP）图和从给定数据的后验分布中采样图的工具。一种新的混合结构学习方法可以在大型图中进行推理。在第一步中，我们通过PC算法或基于先验知识定义一个缩减的搜索空间。在第二步中，迭代顺序MCMC方案进行优化的限制搜索空间内，估计MAP图。从后验分布采样是使用顺序或分区MCMC。模型和算法可以处理离散和连续数据。BiDAG包还提供了MCMC方案的实现，用于动态贝叶斯网络的结构学习和采样。
2021-05-02 stat.CO stat.ML
PAC-Bayesian-Like Error Bound for a Class of Linear Time-Invariant Stochastic State-Space Models
Aalborg University（奥尔堡大学）；Laboratoire Signal et Automatique de Lille (CRIStAL)（里尔信号与自动化实验室（CRIStAL））
本文给出了一类带输入的随机动力系统，即线性时不变随机状态空间模型（简称随机LTI系统）的PAC-Bayesian-Like误差界。这类系统广泛应用于控制工程和计量经济学，特别是，它们代表了递归神经网络的一种特殊情况。本文1）形式化了带输入的随机LTI系统的学习问题，2）导出了此类系统的PAC-Bayesian-Like误差界，3）讨论了该误差界的各种结果。
2022-12-30 cs.LG math.DS math.ST
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University（迪肯大学）
该研究围绕贝叶斯优化，提出结合导数信息与可扩展稀疏高斯过程，以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Bayesian Optimization using Deep Gaussian Processes
Université de Lille（里尔大学）；CNRS/CRIStAL（法国国家科学研究中心/CRIStAL实验室）；Inria Lille（法国里尔国家信息与自动化研究所）
使用高斯过程的贝叶斯优化是处理昂贵的黑盒函数优化的流行方法。然而，由于经典高斯过程的协方差阵的平稳性是先验的，这种方法可能不适用于非平稳函数的优化问题。为了克服这个问题，提出了一种新的贝叶斯优化方法。它基于深度高斯过程作为代理模型，而不是经典的高斯过程。这种建模技术通过简单地考虑平稳高斯过程的功能组成来增加表示的能力以捕获非平稳性，从而提供多层结构。本文提出了一种耦合深度高斯过程和贝叶斯优化的全局优化算法。这种优化方法的特殊性进行了讨论，并突出了学术测试案例。分析测试用例和航空航天设计优化问题的性能评估所提出的算法相比，最先进的静态和非静态的贝叶斯优化方法。
2019-05-07 cs.CE cs.LG stat.ML
Learning Large-Scale Bayesian Networks with the sparsebn Package
University of California Los Angeles（加州大学洛杉矶分校）
从数据中学习图形模型是一个重要的问题，具有广泛的应用，从基因组学到社会科学。如今的数据集通常有上千个--有时是数万或数十万个--变量和更少的样本。为了应对这一挑战，我们开发了一个新的R包，称为sparsebn，用于学习大型稀疏图形模型的结构，重点是贝叶斯网络。虽然有许多现有的软件包用于此任务，但此软件包侧重于从高维数据中学习大型网络的独特设置，可能需要干预。因此，所提供的方法在高维环境中重视可伸缩性和一致性。此外，在存在干预措施的情况下，这里实施的方法实现了从数据中学习因果网络的目标。此外，sparsebn软件包与现有的网络分析软件包完全兼容。
2018-03-10 cs.LG stat.CO stat.ME
Momentum-Space Renormalization Group Transformation in Bayesian Image Modeling by Gaussian Graphical Model
Tohoku University（东北大学）；Yamagata University（山形大学）
针对高斯图模型，提出了一种将边际似然最大化与动量空间重整化群变换相结合的贝叶斯建模方法。此外，我们提出了一个计划计算的统计平均值的超参数和均方误差在我们提出的方法的基础上动量空间重整化变换。
2018-03-20 cond-mat.stat-mech cs.LG stat.ML
Simpler PAC-Bayesian Bounds for Hostile Data
PAC-Bayesian学习边界是学习社区最感兴趣的。它们的作用是将聚合分布$ρ$的泛化能力与其经验风险以及相对于某些先验分布$π$的库尔贝克-莱布勒散度联系起来。不幸的是，大多数可用的边界通常依赖于沉重的假设，如有界性和独立的观察。本文旨在放松这些限制，并提供PAC贝叶斯学习边界，持有依赖，重尾观测（以下简称为\emph{hostile data}）。在这些界限中，Kullack-Leibler发散被Csiszár的$f$ -发散的一般形式所取代。我们证明了一个一般的PAC贝叶斯界，并展示了如何使用它在各种敌对的设置。
2019-05-23 math.ST stat.ML stat.TH
PAC-Bayesian AUC classification and scoring
我们开发了一个评分和分类程序的基础上的PAC贝叶斯方法和AUC（曲线下面积）标准。我们首先集中在类的线性得分函数。我们推导出两种类型的先验的评分参数的PAC贝叶斯非渐近界：高斯先验，和尖峰和板先验;后者使得有可能进行特征选择。我们的方法的一个重要优势是，它是服从于强大的贝叶斯计算工具。我们特别推导出一个序贯蒙特卡罗算法，作为一个有效的方法，可用作黄金标准，和期望传播算法，作为一个更快，但近似的方法。我们还将我们的方法扩展到一类非线性得分函数，基本上导致一个非参数的过程，通过考虑一个高斯过程前。
2014-10-13 stat.CO stat.ML
PAC-Bayesian Analysis for a two-step Hierarchical Multiview Learning Approach
本文在PAC-Bayesian框架下研究了一个两层多视图学习问题。这种方法有时被称为后期融合，包括在第一级顺序学习多个视图特定分类器，然后在第二级组合这些视图特定分类器。我们的主要理论结果是一个泛化界的风险，多数票表现出一个长期的多样性的预测的特定于视图的分类。从这个结果可以看出，控制多样性和准确性之间的权衡是多视图学习的关键因素，这补充了多视图学习中的其他结果。最后，我们实验我们的原则，从路透社RCV 1/RCV 2收集提取的多视图数据集。
2017-07-13 stat.ML
PAC-Bayesian Contrastive Unsupervised Representation Learning
The University of Tokyo（东京大学）；RIKEN（日本理化学研究所）；Université Laval（拉瓦尔大学）；Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
对比无监督表示学习（CURL）是从未标记数据中学习表示（作为一组特征）的最先进技术。虽然CURL最近取得了一些经验上的成功，但仍然缺乏对其性能的理论理解。在最近的一项工作中，Arora et al.（2019）提供了CURL的第一个泛化边界，依赖于Rademacher复杂性。我们将他们的框架扩展到灵活的PAC贝叶斯设置，使我们能够处理非iid设置。我们提出了PAC贝叶斯泛化界限的CURL，然后用它来推导出一个新的表示学习算法。在真实数据集上的数值实验表明，我们的算法达到了有竞争力的精度，并产生非空的广义界。
2020-07-17 cs.LG math.ST stat.ML
PAC-Bayesian Bounds for Randomized Empirical Risk Minimizers
本文的目的是推广的PAC贝叶斯定理证明的Catoni在分类设置更一般的问题的统计推断。我们展示了如何控制随机估计的风险偏差。一个特别注意的是在一个小邻域的经典估计，其研究导致控制后者的风险随机估计。这些结果允许约束非常一般的估计程序的风险，以及执行模型选择。
2009-01-09 math.ST stat.ML stat.TH
PAC-Bayesian High Dimensional Bipartite Ranking
本文研究了高维环境下的经典统计学习任务--二分排序问题。我们提出了一个基于PAC-Bayesian方法的评分和排名策略。我们考虑非线性加性评分函数，我们推导出非渐近风险界下的稀疏性假设。特别地，在保证金条件下概率保持的预言不等式评估了我们的程序的性能，并证明了它的极大极小最优性。提出了一种MCMC风格的算法来实现我们的方法，以及它在合成和现实数据集上的行为。
2019-05-16 math.ST stat.ML stat.TH
A sparse PAC-Bayesian approach for high-dimensional quantile prediction
Norwegian University of Science and Technology（挪威科技大学）
本文提出一种面向高维分位数预测的稀疏PAC-Bayes方法，结合尺度化Student-t先验与Langevin Monte Carlo，通过非渐近oracle不等式证明其极小极大最优性与稀疏适应性，并在模拟和真实数据中验证了竞争力。
2024-09-03 cs.LG math.ST stat.ML
PAC-Bayesian Inequalities for Martingales
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University College London（伦敦大学学院）；Université Laval（拉瓦尔大学）；Università degli Studi di Milano（米兰大学）；Montanuniversität Leoben（莱奥本矿业大学）
我们提出了一组高概率不等式，控制多个（可能不可数）同时发展和相互依赖的鞅的加权平均值的浓度。我们的研究结果扩展了学习理论中的PAC贝叶斯分析从i.i.d.设置为鞅，为它在重要性加权采样、强化学习和其他交互式学习领域以及概率论和统计中遇到鞅的许多其他领域的应用开辟了道路。我们还提出了一个比较不等式，该不等式将鞅差序列的凸函数的期望限定在由独立Bernoulli变量的同一函数的期望所限定的[0，1]区间上.这个不等式被应用于导出Hoeffding-Azuma不等式的一个更严格的模拟。
2012-07-30 cs.IT cs.LG math.IT
New frontiers in Bayesian modeling using the INLA package in R
INLA软件包为各种广泛使用的模型（更正式的是潜在高斯模型类）提供了一种计算效率高的贝叶斯建模和推理工具。它是一个基于非采样的框架，使用稀疏矩阵为贝叶斯推断提供近似结果。这种贝叶斯建模框架的迅速采用植根于该方法的计算效率，并受到大数据时代提出的需求的催化。在本文中，我们提出了新的发展内的INLA包的目的是提供一个计算效率高的机制，贝叶斯推断的相关挑战性的情况。
2019-07-25 stat.CO stat.ME
Aggregation by exponential weighting, sharp PAC-Bayesian bounds and sparsity
研究了确定性设计回归模型中平方损失下的聚集问题。我们得到尖锐的PAC贝叶斯风险界定义通过指数权重的聚集，在一般假设下的分布误差和聚集的功能。然后，我们应用这些结果来推导稀疏预言不等式。
2013-03-22 math.ST stat.TH
FBMS: An R Package for Flexible Bayesian Model Selection and Model Averaging
Stockholm University（斯德哥尔摩大学）；University of Oslo（奥斯陆大学）；NMBU（挪威生命科学大学）
本研究推出R包FBMS，核心采用高效MJMCMC算法优化贝叶斯广义线性模型的多峰后验混合，还提供GMJMCMC算法支持非线性特征生成与贝叶斯广义非线性模型估计，可适配多种复杂回归建模场景。
2025-08-31 cs.LG stat.AP stat.CO
On PAC-Bayesian reconstruction guarantees for VAEs
University of Oxford（牛津大学）；University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）
尽管它的广泛使用和经验的成功，理论上的理解和研究的行为和性能的变分自编码器（VAE）只是在过去的几年中才出现。我们通过分析VAE对看不见的测试数据的重建能力，利用PAC贝叶斯理论的参数，为最近的工作做出贡献。我们提供的理论重建误差的泛化范围，并提供VAE目标的正则化效果的见解。我们说明了我们的理论结果与支持经典基准数据集上的实验。
2022-02-23 cs.CV cs.LG math.ST
