"No free lunch" results state the impossibility of obtaining meaningful bounds on the error of a learning algorithm without prior assumptions and modelling. Some models are expensive (strong assumptions, such as as subgaussian tails), others are cheap (simply finite variance). As it is well known, the more you pay, the more you get: in other words, the most expensive models yield the more interesting bounds. Recent advances in robust statistics have investigated procedures to obtain tight bounds while keeping the cost minimal. The present paper explores and exhibits what the limits are for obtaining tight PAC-Bayes bounds in a robust setting for cheap models, addressing the question: is PAC-Bayes good value for money?
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（信息与信号处理研究所）；University College London（伦敦大学学院）；Université de Lille（里尔大学）；Ecole Normale Supérieure（高等师范学院）；PSL Research University（巴黎文理研究大学）
Tighter Generalization Bounds for Iterative Differentially Private Learning Algorithms
UBTECH Sydney AI Centre, School of Computer Science, Faculty of Engineering, the University of Sydney（悉尼大学工程学院计算机科学学院优必选悉尼人工智能中心）；University of Science and Technology of China（中国科学技术大学）
Tighter Information-Theoretic Generalization Bounds via a Novel Class of Change of Measure Inequalities
Department of Electrical and Electronic Engineering, Imperial College London（帝国理工学院伦敦分校电子与电气工程系）；Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程系）
Data-dependent PAC-Bayes priors via differential privacy
University of Cambridge（剑桥大学）；Element AI；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
可能近似正确（PAC）贝叶斯框架（McAllester，1999）可以通过使用分布相关先验来整合有关学习算法和（数据）分布的知识，从而在数据相关后验上产生更严格的泛化边界。然而，使用这种灵活性是困难的，特别是当数据分布被假定为未知时。我们展示了ε-差分私有数据依赖先验如何产生有效的PAC-Bayes界，然后展示了选择先验的非私有机制如何也可以产生泛化界。作为该结果的应用，我们证明了通过随机梯度Langevin动力学（SGLD; Welling and Teh，2011）选择的高斯先验均值导致有效的PAC-Bayes界，给定对ε-差分私有平稳分布的2-Wasserstein距离的控制。我们研究我们的数据依赖的界限经验，并表明，他们可以是nonvacuous，即使当其他分布依赖的界限是空的。
PAC-Bayes Bounds for Gibbs Posteriors via Singular Learning Theory
Department of Statistics, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校统计系）；Department of Mathematics, University of Maryland, College Park（马里兰大学学院市数学系）
Towards A Unified PAC-Bayesian Framework for Norm-based Generalization Bounds
School of Information Science and Engineering, Southeast University（信息科学与工程学院，东南大学）；Department of Computer Science, University of Exeter（计算机科学系，埃克塞特大学）；Department of Computer Science, University of Liverpool（计算机科学系，利物浦大学）
Improved PAC-Bayesian Bounds for Linear Regression
INRIA Lille Nord-Europe（法国国家信息与自动化研究所里尔-北欧分部）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；CRIStAL - Centre de Recherche en Informatique Signal et Automatique de Lille（里尔信息、信号与自动化研究中心）
泛化误差（也称为样本外误差）衡量从训练数据学习的假设推广到以前未见过的数据的程度。证明紧的泛化误差界是统计学习理论的核心问题。在本文中，我们获得了泛化误差界学习一般的非凸目标，这是近年来引起了极大的关注。我们开发了一个新的框架，称为贝叶斯稳定性，证明算法依赖的泛化误差界。新的框架结合了PAC贝叶斯理论和算法稳定性的概念。应用贝叶斯稳定性方法，我们获得了随机梯度Langevin动力学（SGLD）和其他几种噪声梯度方法（例如，具有动量、小批量和加速、熵-SGD）。我们的结果恢复了Mou et al.（2018）的最近结果（通常比Mou et al.（2018）更严格），并改进了Pensia et al.（2018）的结果。我们的实验表明，我们的数据依赖边界可以区分随机标记的数据和正常数据，这为Zhang et al.（2017 a）中观察到的有趣现象提供了解释。我们还研究了总损失是有界损失和一个额外的\ell_2正则化项的总和的设置。通过对任意时刻的参数分布建立一个新的Log-Sobolev不等式，我们得到了连续Langevin动力学的新的推广界。当过程的噪声水平不小时，我们的新边界更令人满意，并且即使当T趋于无穷大时也不会变得空洞。
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University College London（伦敦大学学院）；Université Laval（拉瓦尔大学）；Università degli Studi di Milano（米兰大学）；Montanuniversität Leoben（莱奥本矿业大学）
Distribution-Free Confidence Ellipsoids for Ridge Regression with PAC Bounds
Institute for Computer Science；Control (SZTAKI), Hungarian Research Network (HUN-REN), 13-17 Kende utca, H-1111, Budapest, Hungary (e-mail: ).；Department of Probability Theory；Statistics, Institute of Mathematics, E\"otv\"os Lor\'；University (ELTE), 1/C Pázmány Péter sétány, H-1117, Budapest, Hungary (e-mail: )
Tight PAC-Bayesian Risk Certificates for Contrastive Learning
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎高等理工学院）；School of Computation Information and Technology, Technical University of Munich（计算信息与技术学院，慕尼黑技术大学）
