arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2402.05101stat.MLcs.LG
收藏

通过插值得到更紧的泛化界

Tighter Generalisation Bounds via Interpolation

Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(信息与信号处理研究所);University College London(伦敦大学学院);Université de Lille(里尔大学);Ecole Normale Supérieure(高等师范学院);PSL Research University(巴黎文理研究大学)

Paul Viallard, Maxime Haddouche, Umut Şimşekli, Benjamin Guedj

AI总结:

本文提出基于$(f, \Gamma)$-散度的PAC-Bayes泛化界配方,并通过在多种概率散度间插值获得更紧的界,且可实例化为训练目标,兼具理论保证与实际性能。

摘要:

本文提出了一种基于$(f, \Gamma)$-散度推导新的PAC-Bayes泛化界的配方,此外,还提出了在一系列概率散度(包括但不限于KL、Wasserstein和全变差)之间进行插值的PAC-Bayes泛化界,根据后验分布的性质,充分利用多种散度的优势。我们探讨了这些界的紧性,并将它们与统计学习中的早期结果联系起来,这些早期结果是其特例。我们还将这些界实例化为训练目标,从而获得非平凡的保证和实际性能。

英文摘要:

This paper contains a recipe for deriving new PAC-Bayes generalisation bounds based on the $(f, Γ)$-divergence, and, in addition, presents PAC-Bayes generalisation bounds where we interpolate between a series of probability divergences (including but not limited to KL, Wasserstein, and total variation), making the best out of many worlds depending on the posterior distributions properties. We explore the tightness of these bounds and connect them to earlier results from statistical learning, which are specific cases. We also instantiate our bounds as training objectives, yielding non-trivial guarantees and practical performances.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑