Supervised Learning as Lossy Compression: Characterizing Generalization and Sample Complexity via Finite Blocklength Analysis
Waseda University(早稻田大学)
本文通过将学习问题置于有损压缩框架中并应用有限块长分析,从信息论角度推导了固定随机学习算法及其最优采样策略的样本复杂度和泛化误差下界,显式分离了过拟合程度与归纳偏置-任务不匹配项。
2026-05-29 cs.IT cs.LG math.IT
Equations of States in Singular Statistical Estimation
Precision and Intelligence Laboratory(精密智能实验室);Tokyo Institute of Technology(东京工业大学)
具有层次结构或隐变量的学习机是奇异统计模型,因为它们是不可识别的,并且它们的Fisher信息矩阵是奇异的。在奇异统计模型中,贝叶斯后验分布不收敛于正态分布,极大似然估计也不满足渐近正态性。这就是为什么很难从训练状态预测其泛化性能的主要原因。本文研究了(1)Bayes泛化误差,(2)Bayes训练误差,(3)Gibbs泛化误差,(4)Gibbs训练误差四种误差,并证明了这些误差之间存在数学关系。本文证明的公式是统计估计中的状态方程,因为它们对任何真分布、任何参数模型和任何先验分布都成立。我们还表明,贝叶斯和吉布斯泛化误差估计贝叶斯和吉布斯训练误差,并提出了广泛适用的信息准则,可适用于定期和奇异统计模型。
2009-05-11 cs.LG
Distribution-Dependent Analysis of Gibbs-ERM Principle
Università degli Studi di Milano(米兰大学);DeepMind(深度思维)
Gibbs-ERM学习是一种自然的理想化学习模型,使用随机优化算法(例如随机梯度朗之万动力学和-在某种程度上-随机梯度下降),同时它也出现在其他环境中,包括PAC-贝叶斯理论和采样机制。在这项工作中,我们研究了Gibbs-ERM学习者所遭受的超额风险,该学习者使用非凸的,正则化的经验风险,其目标是了解数据生成分布和大假设空间中的学习之间的相互作用。我们的主要结果是分布依赖的上界的几个概念的超额风险。我们发现,在所有情况下,分布相关的超额风险基本上是由有效的尺寸$\mathrm{tr}\left(\boldsymbol{H}^{\star} (\boldsymbol{H}^{\star} + λ\boldsymbol{I})^{-1}\right)$的问题,其中$\boldsymbol{H}^{\star}$是海森矩阵的风险在局部最小值控制。这是一个行之有效的概念,有效的尺寸出现在以前的几个作品,包括SGD和岭回归的分析,但我们的工作是第一次把这个维度的学习分析使用吉布斯密度。我们在这里提倡的分布依赖观点改进了Raginsky et al.(2017)的早期结果,并且可以根据数据生成分布和损失函数之间的相互作用产生更紧密的边界。我们的分析的第一部分集中在一个固定的局部极小点附近的局部超额风险。然后,这一结果扩展到全球超额风险的界限,通过描述吉布斯密度下的局部极小值(及其补充)的概率,…
2019-02-05 cs.LG stat.ML
PAC-Bayes Bounds for Gibbs Posteriors via Singular Learning Theory
Department of Statistics, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校统计系);Department of Mathematics, University of Maryland, College Park(马里兰大学学院市数学系)
本文通过奇异学习理论推导了吉布斯后验的非渐近PAC-Bayes泛化界,适用于过参数化模型并适应数据结构与内在模型复杂度,结果在低秩矩阵补全和ReLU神经网络回归分类中表现更紧。
2026-04-19 cs.LG stat.ML
PAC-Bayesian Generalization Bound on Confusion Matrix for Multi-Class Classification
Aix-Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心)
在这项工作中,我们提出了一个PAC-Bayes界的推广风险的吉布斯分类器在多类分类框架。我们的工作的新颖性是关键使用的混淆矩阵的分类器作为错误的措施,这把我们的贡献,在工作线,旨在处理比单纯的标量标准,如误分类率更丰富的性能指标。由于最近和美丽的结果矩阵集中不等式,我们得到两个界限表明,真正的混淆风险的吉布斯分类器的上限是由其经验风险加上一项取决于在每个类中的训练样本的数量。据我们所知,这是第一个基于混淆矩阵的PAC-Bayes界。
2013-10-22 cs.LG stat.ML
Characterizing the Generalization Error of Random Feature Regression with Arbitrary Data-Augmentation
Qube Research & Technologies(Qube研究与技术);École Polytechnique(巴黎政治学院)
本文研究了数据增强在比例 regime 中对监督回归方法的正则化效应,通过仅依赖真实数据的总体量及增强方案的一阶和二阶统计量,精确表征了测试误差。结果适用于不规范特征映射和仅训练最后一层的网络架构。
2026-05-11 cs.LG math.ST stat.ML
Chaining Meets Chain Rule: Multilevel Entropic Regularization and Training of Neural Nets
Princeton University(普林斯顿大学);EPFL(洛桑联邦理工学院)
我们推导出的神经网络的泛化和过度风险的界限,使用一个家庭的复杂性措施的基础上,一个多级相对熵。通过引入神经网络的生成层次覆盖的概念并通过使用Asadi等人在NeurIPS'18中引入的链接互信息的技术来获得边界。由此产生的界限依赖于算法,并利用神经网络的多级结构。这反过来又导致了一个经验风险最小化问题的多级熵正则化。最小化问题的解决,通过引入一个多尺度的推广著名的吉布斯后验分布,证明派生的分布达到唯一的最小值。这导致了一种新的具有性能保证的神经网络训练过程,它利用了相对熵的链式规则,而不是导数的链式规则(如反向传播)。为了获得后者的有效实现,我们进一步开发了一个多层次的Metropolis算法模拟多尺度吉布斯分布,与实验的两层神经网络的MNIST数据集。
2019-06-26 cs.IT cs.LG math.IT
Entropy-SGD optimizes the prior of a PAC-Bayes bound: Generalization properties of Entropy-SGD and data-dependent priors
Vector Institute(向量研究所)
我们表明,熵SGD(Chaudhari等人,2017),当被视为一种学习算法时,优化了吉布斯(后验)分类器风险的PAC-Bayes界限,即,一个随机化的分类器获得的风险敏感扰动的权重的学习分类。熵-SGD通过优化边界的先验来工作,违反了PAC-贝叶斯定理的假设,即先验是独立于数据选择的。事实上,Entropy-SGD的可用实现在随机标签上快速获得零训练误差,并与Gibbs后验保持相同。为了得到一个有效的泛化界,我们依赖于一个结果表明,由随机梯度Langevin动力学(SGLD)获得的数据相关先验产生有效的PAC-Bayes界,提供的目标分布的SGLD是ε-差分私有的。我们观察到,MNIST和CIFAR 10的测试误差落在(经验非空)的风险范围内计算的假设下,SGLD达到平稳。特别是,熵-SGLD可以配置为产生相对紧密的泛化界,并且仍然适合真实标签,尽管这些相同的设置无法获得最先进的性能。
2019-04-19 cs.LG stat.ML
PAC-Bayesian Generalization Bounds for MultiLayer Perceptrons
University of Delaware(特拉华大学)
研究了交叉熵损失下多层感知器的PAC-Bayes推广界。首先,我们从两个方面对MLP问题进行了概率解释:(i)MLP问题形成了一个Gibbs分布族;(ii)MLP问题的交叉熵损失最小化等价于贝叶斯变分推理,这为研究MLP问题的PAC-Bayesian界奠定了坚实的概率基础。基于证据下界(ELBO),证明了具有交叉熵损失的MLP本质上保证了PAC-Bayesian泛化界,并且最小化MLP的PAC-Bayesian泛化界等价于最大化ELBO.最后,我们在基准数据集上验证了所提出的PAC-Bayesian泛化界。
2020-06-17 cs.LG stat.ML
Machine Unlearning for Gibbs Supervised Learning Algorithms
INRIA(法国国家信息与自动化研究所);Université de la Polynésie française(法属波利尼西亚大学);University of Sheffield(谢菲尔德大学);Princeton University(普林斯顿大学)
本文提出一种基于ERM-RER变分公式的精确机器遗忘方法,通过最大化待遗忘数据上的经验风险并施加相对熵正则化,得到新的Gibbs算法,其分布与重训练一致,并由此构建了数据点重加权框架。
2026-09-25 cs.LG stat.ML
Information Complexity and Generalization Bounds
MPI MiS(马克斯·普朗克数学研究所);UCLA(加州大学洛杉矶分校)
我们提出了一个统一的图片PAC贝叶斯和互信息为基础的随机学习算法的泛化误差的上界。正如我们所展示的,张彤的信息指数不等式(IEI)给出了构造这两种味道的界的一般方法。我们表明,在文献中的几个重要结果可以得到简单的推论的IEI在不同的假设下的损失函数。此外,我们还得到了数据相关先验和无界损失函数的新的界。优化边界会产生吉布斯算法的变体,为此我们讨论了两个用神经网络学习的实际例子,即熵和PAC-Bayes- SGD。此外,我们使用一个奥卡姆的因素参数,以显示一个PAC-Bayesian界,结合二阶曲率信息的训练损失。
2021-10-24 cs.IT cs.LG math.IT
Characterizing Membership Privacy in Stochastic Gradient Langevin Dynamics
Peking University(北京大学);Ant Financial Service Group(蚂蚁金融服务集团);IBM Reseach(IBM研究);HongKong University of Science and Technology(香港科技大学)
贝叶斯深度学习最近被认为是表征深度神经网络~(DNN)权重不确定性的内在方法。随机梯度朗之万动力学(SGLD)是一种在大规模数据集上实现贝叶斯深度学习的有效方法。以前的理论研究已经显示出各种吸引人的性质SGLD,从收敛性的推广界。在本文中,我们从成员隐私保护的新角度研究了SGLD的属性(即,防止成员攻击)。成员攻击旨在确定特定样本是否用于训练给定的DNN模型,已成为深度学习算法的常见威胁。为此,本文构建了一个分析信息泄漏的理论框架。训练数据集)。基于该框架,我们证明了SGLD可以在一定程度上防止训练数据集的信息泄漏。此外,我们的理论分析可以自然地扩展到其他类型的随机梯度马尔可夫链蒙特卡罗(SG-MCMC)方法。在不同数据集和模型上的实验结果验证了我们的理论研究结果,并表明SGLD算法不仅可以减少信息泄漏,而且可以提高DNN模型在实际应用中的泛化能力。
2019-10-05 cs.LG stat.ML
Generalization Bounds for Convolutional Neural Networks
University of Sydney(悉尼大学)
卷积神经网络(CNN)在图像分类、语义分割和目标检测等广泛应用中取得了突破性的性能。以往表征神经网络泛化能力的研究大多集中在全连接神经网络(FNN)上,将CNN视为FNN的特例,而没有考虑卷积层的特殊结构。在这项工作中,我们提出了一个更严格的泛化界CNN利用其权重矩阵的稀疏和置换结构。由于泛化界依赖于权矩阵的谱范数,本文进一步研究了标准卷积、深度卷积和逐点卷积三种常用卷积运算的谱范数。理论和实验结果都表明,我们的CNN的界限比现有的界限更紧。
2019-10-03 cs.LG stat.ML
Characterizing Pattern Matching and Its Limits on Compositional Task Structures
KAIST AI(韩国科学技术院人工智能研究中心);UCL(伦敦大学学院);LG AI Research(LG人工智能研究)
研究通过形式化模式匹配为函数等价性,分析LLMs在组合任务中的泛化能力及其限制,揭示路径模糊性对模型性能的影响,并提出链式思维的局限性。
2026-03-02 cs.AI cs.CL cs.LG
On-Average KL-Privacy and its equivalence to Generalization for Max-Entropy Mechanisms
我们定义了平均KL隐私,并介绍了它的性质和连接到差分隐私,推广和信息理论的数量,包括最大信息和互信息。新的定义大大削弱了差异隐私,同时保留了其极简的设计特征,如小组和多个查询的组成以及接近后处理。此外,我们表明,平均KL隐私是 ** 等效 ** 的统计学和机器学习中的一大类常用工具的泛化,这些工具从吉布斯分布中采样--一类自然产生于最大熵原理的分布。此外,我们的分析的副产品产生了一个下界的泛化误差的互信息,揭示了一个有趣的相互作用与已知的上限,使用相同的数量。
2016-05-08 cs.CR stat.ML
Data Augmentation vs. Equivariant Networks: A Theory of Generalization on Dynamics Forecasting
University of California San Diego(加州大学圣地亚哥分校);Northeastern University(东北大学)
利用动力系统中的对称性是提高深度学习泛化能力的有力途径。该模型学习对变换不变性,因此对分布偏移更鲁棒。数据增强和等变网络是将对称性注入学习的两种主要方法。然而,它们在提高泛化能力方面的确切作用还没有得到很好的理解。在这项工作中,我们推导出数据增强和等变网络的泛化界,在一个统一的框架中表征它们对学习的影响。不像大多数先前关于i.i.d.设置,我们专注于非平稳动态预测与复杂的时间依赖性。
2022-06-19 cs.LG
How You Start Matters for Generalization
University of Adelaide(阿德莱德大学);Australian National University(澳大利亚国立大学)
过参数化神经网络的泛化性能是一个有待解决的问题。在本文中,我们促进了对初始化的重点转移,而不是神经架构或(随机)梯度下降来解释这种隐式正则化。通过傅立叶透镜,我们推导出一个一般性的结果的频谱偏置的神经网络和神经网络的推广严重依赖于它们的初始化。此外,我们使用实际的深度网络来经验性地巩固所开发的理论见解。最后,我们提出了一个反对有争议的平坦极小猜想的案例,并表明傅立叶分析为理解神经网络的泛化提供了一个更可靠的框架。
2022-07-10 cs.LG
Fast-rate PAC-Bayes Generalization Bounds via Shifted Rademacher Processes
University of Toronto(多伦多大学);Vector Institute(向量研究所)
Rademacher复杂性和PAC-Bayesian理论的发展在很大程度上是独立的。一个例外是Kakade,Sridharan和Tewari(2008)的PAC-Bayes定理,它是通过Rademacher复杂性理论将Gibbs分类器视为线性算子而建立的。本文的目标是扩展Rademacher复杂性和最先进的PAC-Bayesian理论之间的桥梁。我们首先证明了可以使用移位Rademacher过程(Wegkamp,2003; Lecué和Mitchell,2012; Zhivotovskiy和Hanneke,2018)来匹配Catoni的PAC-Bayes边界(Catoni,2007)的快速速率。然后,我们推导出一个新的快速PAC-Bayes界的经验风险表面上的后集中的“平坦度”。我们的分析建立了一个新的框架,推导出快速PAC-Bayes界,并产生新的见解PAC-Bayes理论。
2019-12-01 cs.LG math.ST stat.ML
Characterizing Dynamical Stability of Stochastic Gradient Descent in Overparameterized Learning
Fachbereich Mathematik und Informatik Freie Universität Berlin(自由大学柏林数学与计算机科学系);KdV Institute for Mathematics University of Amsterdam(阿姆斯特丹大学KdV数学研究所)
本文通过引入特征Lyapunov指数,刻画了过参数化学习中确定性梯度下降与SGD下全局极小点的动力学稳定性,并证明其符号决定SGD能否收敛到相应极小点。
2025-07-17 cs.LG math.DS math.PR
Generalization of Gibbs and Langevin Monte Carlo Algorithms in the Interpolation Regime
ETH Zurich(苏黎世联邦理工学院)
本文在过参数化插值机制下,通过数据依赖的期望误差界,证明了低温区的泛化可由高温区的小训练误差预示,并利用朗之万蒙特卡洛算法稳定逼近,在MNIST、CIFAR-10和SVHN数据集上给出非平凡且接近真实标签测试误差的预测。
2026-05-29 cs.LG stat.ML
Generalization Analysis of Machine Learning Algorithms via the Worst-Case Data-Generating Probability Measure
INRIA(法国国家信息与自动化研究所);Princeton University(普林斯顿大学);Université de la Polynésie Française(法属波利尼西亚大学);University of Sheffield(谢菲尔德大学)
该研究引入最坏情况数据生成Gibbs概率测度作为分析工具,推导了多种泛化指标的闭式表达式,复现了现有Gibbs算法相关结果,并揭示了Gibbs概率测度是机器学习模型空间与数据空间的共通核心要素。
2023-12-19 cs.IT cs.LG math.IT
Measuring and Characterizing Generalization in Deep Reinforcement Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Brown University(布朗大学)
深度学习方法在具有挑战性的控制任务中取得了卓越的性能。对结果行为的观察给人的印象是,智能体已经构建了一个支持有见地的行动决策的广义表示。我们重新审视RL中的泛化意味着什么,并根据代理在策略上,策略外和不可达状态下的表现提出了几个定义。我们提出了一套实用的方法来评估这些定义的泛化代理。我们在深度强化学习的一个常见基准任务上演示了这些技术,并且我们表明,学习后的网络对于与策略状态仅略有不同的状态做出了糟糕的决策,即使这些状态没有被对抗性地选择。总之,这些结果对深度Q网络学习广义表征的程度提出了质疑,并表明在支持表示学习的主张之前,需要进行更多的实验和分析。
2018-12-11 cs.AI cs.LG stat.ML
Characterizing Generalization under Out-Of-Distribution Shifts in Deep Metric Learning
LMU Munich(慕尼黑大学);Heidelberg University(海德堡大学);University of Toronto(多伦多大学);University of Washington(华盛顿大学);MIT(麻省理工学院)
深度度量学习(DML)旨在找到适合于zero-shot转移到先验未知测试分布的表示。然而,常见的评估协议仅测试单个固定的数据分割,其中训练和测试类被随机分配。更现实的评价应考虑具有潜在不同程度和难度的广泛的分布偏移。在这项工作中,我们系统地构建训练测试分裂的难度越来越大,并提出了ooDML基准,以表征泛化下的分布偏移在DML。ooDML旨在探索更具挑战性的多样化训练到测试分布偏移的泛化性能。基于我们的新基准,我们进行了彻底的实证分析国家的最先进的DML方法。我们发现,虽然泛化往往会不断降低难度,但随着分布偏移的增加,一些方法在保持性能方面会更好。最后,我们提出了Few-Shot DML作为一种有效的方法,以不断提高泛化响应未知的测试转移ooDML。代码可在这里:https://github.com/CompVis/Characterizing_Generalization_in_DML.
2021-11-29 cs.CV cs.LG
Characterizing the Action-Generalization Gap in Deep Q-Learning
Brown University(布朗大学);Amazon Web Services(亚马逊云科技)
我们研究了深度Q学习在离散动作空间中的动作泛化能力。泛化对于有效的强化学习(RL)至关重要,因为它允许代理使用从过去经验中学到的知识来执行新任务。但是,虽然函数近似为深度RL代理提供了一种自然的方法来概括状态输入,但相同的概括机制并不适用于离散动作输出。然而,令人惊讶的是,我们的实验表明,使用这种类型的函数近似器的深度Q网络(DQN)仍然能够实现适度的动作泛化。我们的主要贡献是两方面的:第一,我们提出了一种使用动作相似性的专家知识来评估动作泛化的方法,并从经验上证实了动作泛化会导致更快的学习;第二,我们描述了不同领域中的动作泛化差距(DQN和专家之间的学习性能差异)。我们发现,DQN确实可以概括在几个简单的领域的行动,但它的能力,这样做的行动空间变得越来越大。
2022-05-11 cs.AI cs.LG
On the Validation of Gibbs Algorithms: Training Datasets, Test Datasets and their Aggregation
INRIA(法国国家信息与自动化研究所);Princeton University(普林斯顿大学);Université de la Polynésie Française(法属波利尼西亚大学);University of Sheffield(谢菲尔德大学)
本文解析刻画了吉布斯算法对训练数据的依赖性,以期望经验风险为指标推导灵敏度闭式解,并研究数据集聚合,建立杰弗里斯散度与训练及测试误差的关联。
2023-06-21 cs.IT cs.LG math.IT
Generalization of Hamiltonian algorithms
Istituto Italiano di Tecnologia(意大利技术研究院)
本文证明了一类随机学习算法的泛化界,适用于Radon-Nikodym导数具有亚高斯集中性的情形,并应用于Gibbs算法、稳定确定性算法随机化及数据依赖先验的PAC-Bayesian界。
2024-08-29 cs.LG
Transductive Boltzmann Machines
National Institute of Informatics(国立情报学研究所);The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心);NIMS(国立材料科学研究所);RIKEN Center for Brain Science(理化学研究所脑科学研究中心)
我们提出了转导玻尔兹曼机(TBMs),它首先实现了吉布斯分布的转导学习。虽然由于样本空间的组合爆炸,现有玻尔兹曼机家族不可能精确学习吉布斯分布,但TBMs通过自适应地从数据构造所需的最小样本空间以避免不必要的泛化来克服该问题。从理论上对TBMs中的库尔贝克-莱布勒散度进行了偏差-方差分解,分析了TBMs的可学习性,并从实验上证明了TBMs在效率和有效性方面优于完全可见的玻尔兹曼机和常用的受限玻尔兹曼机.
2018-05-21 cs.LG stat.ML
Practical calibration of the temperature parameter in Gibbs posteriors
EPFL(洛桑联邦理工学院);RIKEN(理化学研究所)
PAC-Bayesian算法和Gibbs后验因其对模型误设的鲁棒性而越来越受欢迎,即使在Bayesian推断不一致的情况下。PAC-Bayesian alpha-posterior是标准贝叶斯后验的推广,可以使用参数alpha来处理不一致性。已经提出了用于调整alpha的数据驱动方法,但仍然很少,并且通常计算量很大。此外,在我们使用变分近似而不是精确的α-后验的情况下,这些方法的充分性尚不清楚。这将它们的使用范围缩小到简单的模型,并防止它们应用于大规模的问题。因此,我们需要快速的方法来调整alpha,同时使用精确和变分的alpha后验。首先,我们提出了两种数据驱动的方法来调整alpha,分别基于样本分裂和自举。其次,我们制定了(精确或变分)后验的三个流行的统计模型,并修改成α后验。对于每个模型,我们测试我们的策略,并将其与标准贝叶斯和Grunwald的SafeBayes进行比较。虽然自举实现了混合的结果,样本分裂和SafeBayes表现良好的精确和变化的α后验,我们描述,并实现更好的结果比标准贝叶斯在错误指定或复杂的模型。此外,样本分割在速度方面优于SafeBayes。样本分割提供了一个快速和简单的解决方案,不一致,通常执行类似或优于贝叶斯推理。我们的研究结果提供了在PAC贝叶斯和吉布斯后验的α校准的提示,并可能有助于在大型和复杂的模型中使用这些方法。
2020-04-22 cs.LG math.ST stat.ML
Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks
New York University(纽约大学);NYU Grossman School of Medicine(纽约大学格罗斯曼医学院);Courant Institute of Mathematical Sciences(库朗数学科学研究所);Genentech(基因泰克);CIFAR LMB(加拿大高等研究院分子生物学实验室)
我们假设,由于多模态深度神经网络中学习的贪婪性质,这些模型往往只依赖于一种模态,而不适合其他模态。正如我们根据经验观察到的那样,这种行为是违反直觉的,并且损害了模型的泛化。为了估计模型对每种模态的依赖性,我们计算当模型除了另一种模态之外还可以访问它时的准确性增益。我们把这种收益称为条件利用率。在实验中,我们始终观察到在多个任务和架构之间的模态条件利用率的不平衡。由于在训练过程中无法有效地计算条件利用率,因此我们根据模型从每种模态学习的速度(我们称之为条件学习速度)为其引入了一个代理。我们提出了一种算法来平衡训练过程中模态之间的条件学习速度,并证明它确实解决了贪婪学习的问题。该算法改进了模型在三个数据集上的泛化:Colored MNIST、ModelNet 40和NVIDIA Dynamic Hand Gesture。
2022-09-16 cs.CV cs.LG