Higher Order Generalization Error for First Order Discretization of Langevin Diffusion
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Borealis AI(Borealis人工智能公司);LG Toronto AI Lab(LG多伦多人工智能实验室)
我们提出了一种新的方法来分析推广误差的离散朗之万扩散,如随机梯度朗之万动力学(SGLD)。对于预期泛化误差的$ε$容限,已知如果我们用$Ω(ε^{-1})$样本运行$Ω(ε^{-1} \log (ε^{-1}) )$迭代,则一阶离散化可以达到该目标。在这篇文章中,我们将证明,在附加平滑性假设的情况下,即使是一阶方法也可以实现任意的运行时复杂度。更准确地说,对于每个$N>0$,我们提供了一个充分的平滑条件的损失函数,使得一阶离散化可以达到$ε$预期的泛化误差给定$Ω( ε^{-1/N} \log (ε^{-1}) )$迭代与$Ω(ε^{-1})$样本。
2021-02-11 cs.LG stat.ML
Beyond Lipschitz: Sharp Generalization and Excess Risk Bounds for Full-Batch GD
我们提供了清晰的路径依赖的泛化和超额风险保证的全批梯度下降(GD)算法的平滑损失(可能非Lipschitz,可能非凸)。在我们的分析的核心是上界的泛化误差,这意味着平均输出稳定性和有界的预期优化误差终止导致泛化。这一结果表明,沿优化路径发生小的泛化误差,并允许我们绕过Lipschitz或亚高斯假设的损失普遍在以前的作品。对于非凸的,凸的,强凸的损失,我们表现出显式依赖的泛化误差的累积路径相关的优化误差,终端优化误差,样本数,迭代次数。对于非凸光滑损失,我们证明了全批GD有效地推广到任何稳定点的终止,并恢复了随机算法的泛化误差保证较少的假设。对于光滑凸损失,我们证明了泛化误差比SGD的现有界更紧(高达一个误差量级)。因此,超额风险匹配SGD的二次方更少的迭代。最后,对于强凸平滑损失,我们表明,与SGD的最新技术相比,全批GD实现了基本相同的超额风险率,但迭代次数呈指数级减少(数据集大小为对数)。
2023-02-09 cs.LG stat.ML
Confidence intervals for the random forest generalization error
Insper Institute of Education and Research(Insper教育与研究学院)
该研究提出利用随机森林标准训练的副产品直接计算泛化误差置信区间的方法,无需数据拆分与重训练,兼具低计算成本与良好覆盖率和合适宽度收缩率的优势。
2022-03-11 cs.LG stat.ML
SGD Implicitly Regularizes Generalization Error
MIT(麻省理工学院);Salesforce(赛富时)
我们推导出一个简单的和模型无关的公式,由于梯度下降更新的泛化差距的变化。然后,我们比较了测试误差的变化随机梯度下降的变化,从一个相等数量的梯度下降更新的测试误差,并明确表明,随机梯度下降的行为,以规范化泛化误差通过去相关附近的更新。这些计算仅通过梯度分布的均值和协方差取决于模型的细节,对于感兴趣的特定模型,可以容易地测量梯度分布的均值和协方差。我们讨论进一步改进这些计算和评论可能的影响随机优化。
2021-04-10 cs.LG stat.ML
Generalization Error Bounds with Probabilistic Guarantee for SGD in Nonconvex Optimization
Duke University(杜克大学);The Ohio State University(俄亥俄州立大学);Microsoft Research, Asia(微软研究院亚洲研究院(微软亚洲研究院))
深度学习的成功使得人们对随机梯度下降(SGD)方法的推广特性越来越感兴趣,稳定性是研究SGD方法的一种常用方法,已有的基于稳定性的研究工作研究了非凸损失函数,但只考虑了SGD方法的推广误差。在本文中,我们建立了各种推广误差界的概率保证的SGD。具体来说,对于一般的非凸损失函数和梯度主导损失函数,我们的平均稳定性的随机梯度的平均方差的SGD生成的迭代。这样的特征导致改进的SGD的泛化误差的界限。然后,我们研究了具有强凸正则化的正则化风险最小化问题,得到了改进的推广误差界。利用强凸正则化子,我们进一步建立了具有高概率保证的近似SGD下非凸损失函数的推广误差界,即,概率的指数集中
2019-03-07 cs.LG math.OC stat.ML
Overparameterization and generalization error: weighted trigonometric interpolation
University of Texas at Austin(德克萨斯大学奥斯汀分校);RWTH Aachen University(亚琛工业大学)
受超参数化场景中学习后的深度神经网络令人惊讶的良好泛化特性以及相关的双下降现象的启发,本文分析了超参数化线性学习问题中平滑度与低泛化误差之间的关系。我们研究了一个随机傅里叶级数模型,其中的任务是从等距样本估计未知的傅里叶系数。我们推导出精确表达式的泛化误差的平原和加权最小二乘估计。我们精确地展示了如何偏向光滑插值,在加权三角插值的形式,可以导致较小的泛化误差在overparameterized政权相比,underparameterized政权。这提供了对过度参数化的力量的洞察,这在现代机器学习中很常见。
2021-10-27 cs.LG math.OC stat.ML
Generalized Optimization: A First Step Towards Category Theoretic Learning Theory
University of Oxford(牛津大学)
笛卡尔反导数是反模式自动微分的范畴推广。我们使用这个算子来推广几种优化算法,包括梯度下降的简单推广和牛顿法的新推广。然后,我们探讨这些算法的属性保存在这个广义的设置。首先,我们证明了这些算法的变换不变性是保留的:而广义牛顿法是不变的所有可逆的线性变换,广义梯度下降是不变的正交线性变换。接下来,我们表明,我们可以表示损失的变化的广义梯度下降的内积样的表达,从而推广的非增和收敛性能的梯度下降优化流。最后,我们包括几个数值实验来说明本文中的想法,并演示如何使用它们来优化有序环上的多项式函数。
2021-09-20 cs.LG math.OC stat.ML
Information-Theoretic Bounds on the Moments of the Generalization Error of Learning Algorithms
University College London(伦敦大学学院)
泛化误差界对于理解机器学习模型的性能至关重要。在这项工作中,建立在一个新的约束的期望值的任意函数的人口和经验风险的学习算法,我们提供了一个更精细的分析的泛化行为的机器学习模型的基础上的表征(边界),他们的泛化误差时刻。我们讨论了如何建议的界限-其中也包括新的界限,预期的泛化误差-与现有的界限在文献中。我们还讨论了如何建议的泛化误差矩界可以用来构建新的泛化误差高概率界。
2021-05-05 cs.IT cs.LG math.IT
Generalization Error Bounds of Gradient Descent for Learning Over-parameterized Deep ReLU Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
实证研究表明,基于梯度的方法可以学习深度神经网络(DNN),在过参数化机制中具有非常好的泛化性能,其中DNN可以很容易地适应训练数据的随机标记。最近,一系列工作在理论上解释了,通过过度参数化和适当的随机初始化,基于梯度的方法可以找到DNN训练损失的全局最小值。然而,现有的泛化误差界无法解释过参数DNN的良好泛化性能。现有的推广界的主要局限性是它们是基于一致收敛的,并且与训练算法无关。在这项工作中,我们推导出深度ReLU网络的算法相关泛化误差界,并表明在对数据分布的某些假设下,具有适当随机初始化的梯度下降(GD)能够训练一个充分过参数化的DNN,以实现任意小的泛化误差。我们的工作有助于解释过参数化深度神经网络的良好泛化性能。
2019-11-27 cs.LG math.OC stat.ML
Linear Regression with Distributed Learning: A Generalization Error Perspective
Uppsala University(乌普萨拉大学)
分布式学习提供了一个有吸引力的框架,通过在网络中的多个节点上共享计算负载来扩展学习任务。在这里,我们研究了大规模线性回归的分布式学习性能,其中模型参数,即,未知数分布在网络上。我们采用统计学习方法。与专注于训练数据性能的工作相反,我们专注于泛化误差,即,看不见的数据上的性能。我们提供了高概率的各向同性和相关的高斯数据以及亚高斯数据的泛化误差的界限。这些结果揭示了模型在网络上的划分对泛化性能的依赖性。特别是,我们的研究结果表明,分布式解决方案的泛化误差可以大大高于集中式解决方案,即使在训练数据的错误是在同一水平的集中式和分布式的方法。我们的数值结果说明了与现实世界的图像数据以及合成数据的性能。
2021-08-18 cs.LG eess.SP stat.ML
Generalization Error for Linear Regression under Distributed Learning
Uppsala University(乌普萨拉大学)
分布式学习通过将计算负担分布在多个节点上来促进数据处理的规模化。尽管对分布式学习有着广泛的兴趣,但这种方法的泛化性能还没有得到很好的理解。我们通过关注线性回归设置来解决这个差距。我们考虑未知数分布在节点网络上的设置。我们提出了一个分析表征的依赖性的泛化误差的分割的未知数节点。特别是,对于过参数化的情况下,我们的研究结果表明,虽然训练数据的误差保持在相同的范围内的集中式解决方案,分布式解决方案的泛化误差显着增加相比,集中式解决方案时,在任何节点估计的未知数的数量是接近的观察数。我们进一步提供数值例子来验证我们的解析表达式。
2020-05-04 cs.LG eess.SP stat.ML
Generalization Error in Deep Learning
Tel Aviv University(特拉维夫大学);University College London(伦敦大学学院)
深度学习模型最近在计算机视觉、语音识别、语音翻译和自然语言处理等各个领域都表现出了出色的性能。然而,除了他们的最先进的性能,它仍然是普遍不清楚是什么来源,他们的泛化能力。因此,一个重要的问题是,是什么让深度神经网络能够很好地从训练集推广到新数据。在这篇文章中,我们提供了一个概述的现有理论和边界的表征深度神经网络的泛化误差,结合经典和最近的理论和实证结果。
2019-04-06 cs.AI cs.LG stat.ML
Modify Training Directions in Function Space to Reduce Generalization Error
Fudan University(复旦大学)
提出基于神经正切核与Fisher信息矩阵特征分解的改进自然梯度法,在无限宽度极限下解析推导泛化误差,通过分解核特征空间平衡训练误差与分布差异,证明函数空间中修改训练方向可降低总泛化误差,并解释多种现有泛化增强方法。
2023-07-25 cs.LG math.OC stat.ML
Learning Trajectories are Generalization Indicators
Microsoft Research Asia(微软亚洲研究院);University of Science and Technology of China(中国科学技术大学)
本文探讨了深度神经网络(DNN)的学习轨迹与使用(随机)梯度下降算法优化时的泛化能力之间的联系。而不是仅仅集中在DNN后训练的泛化误差,我们提出了一个新的视角来分析泛化误差,通过调查每个更新步骤的贡献,在泛化误差的变化。这种观点允许更直接地理解学习轨迹如何影响泛化误差。在此基础上分析,我们提出了一个新的泛化范围,采用更广泛的轨迹信息。我们提出的泛化界取决于学习轨迹的复杂性和训练集的偏差和多样性之间的比率。实验结果表明,我们的方法有效地捕捉整个训练过程中的泛化误差。此外,我们的方法还可以跟踪泛化误差的变化时,调整学习率和标签噪声水平。这些结果表明,学习轨迹信息是模型泛化能力的有价值的指标。
2023-10-31 cs.LG
Generalization Through The Lens Of Leave-One-Out Error
ETH Zürich(苏黎世联邦理工学院);University of Basel(巴塞尔大学)
尽管深度学习模型在解决各种学习任务方面取得了巨大的经验成功,但我们对其泛化能力的理论理解非常有限。基于VC维或Rademacher复杂度等工具的经典泛化边界到目前为止不适合深度模型,即使在最理想的环境中,这些技术也可能产生严格的边界(Nagarajan & Kolter,2019)。在这项工作中,我们重新审视了留一(LOO)错误的概念,以衡量所谓的内核机制中深度模型的泛化能力。虽然LOO错误在统计学中很流行,但在深度学习的背景下,它在很大程度上被忽视了。通过建立在最近建立的神经网络和内核学习之间的联系,我们利用了留一错误的封闭形式表达式,使我们能够访问测试错误的有效代理。我们从理论和经验上证明了留一错误能够捕获泛化理论中的各种现象,如双下降,随机标签或迁移学习。因此,我们的工作表明,留一法误差提供了一种易于处理的方法来估计核机制中深度神经网络的泛化能力,为泛化领域潜在的新研究方向打开了大门。
2022-03-07 cs.LG
Generalization error bounds for learning to rank: Does the length of document lists matter?
University of Michigan(密歇根大学)
我们考虑的泛化能力的算法学习排序在查询级别,一个问题也称为子集排名。现有的泛化误差界限必然会随着与查询相关联的文档列表的大小的增加而降低。我们表明,这样的退化是不是固有的问题。对于几个损失函数,包括在众所周知的ListNet方法中使用的交叉熵损失,随着文档列表变得更长,在泛化能力方面存在\emph{no}降级。我们还提供了新的泛化误差界下$\ell_1$正则化和更快的收敛速度,如果损失函数是光滑的。
2016-03-06 cs.LG
The Generalization Error of the Minimum-norm Solutions for Over-parameterized Neural Networks
Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
研究了随机特征模型、两层神经网络模型和残差网络模型三种过参数化机器学习模型的最小范数解的泛化性质。我们证明了,对于所有三个模型,最小范数解的推广误差与蒙特卡罗速率相当,直到一些对数项,只要模型充分过参数化。
2021-01-28 cs.LG math.ST stat.ML
The Exact Asymptotic Form of Bayesian Generalization Error in Latent Dirichlet Allocation
NTT DATA Mathematical Systems Inc.(NTT数据数学系统公司);Tokyo Institute of Technology(东京工业大学)
潜在狄利克雷分配(LDA)通过贝叶斯推断从数据中获取基本信息。它通过降维和聚类的方法在许多领域中被应用于知识发现。然而,它的泛化错误尚未澄清,因为它是一个奇异的统计模型,其中没有一对一的映射从参数到概率分布。本文利用代数几何的方法,通过对其学习系数的理论分析,给出了其推广误差和边际似然的精确渐近形式。理论结果表明,LDA中的贝叶斯推广误差可以用矩阵分解中的贝叶斯推广误差和LDA参数区域的单纯形约束所带来的惩罚来表示。数值实验结果与理论结果一致。
2021-01-25 cs.LG math.ST stat.ML
Upper Bound of Bayesian Generalization Error in Non-negative Matrix Factorization
非负矩阵分解(NMF)是一种新的知识发现方法,用于文本挖掘,信号处理,生物信息学和消费者分析。然而,由于它不是一个规则的统计模型,其作为学习机的基本性质还不清楚,导致NMF的理论最优化方法尚未建立。本文研究了NMF的实对数典型阈值,并给出了贝叶斯学习中推广误差的一个上界。结果表明,如果应用贝叶斯学习,可以使矩阵分解的泛化误差小于常规统计模型。
2017-10-01 cs.LG math.ST stat.ML
Tighter Expected Generalization Error Bounds via Convexity of Information Measures
University College London(伦敦大学学院);Massachusetts Institute of Technology(麻省理工学院)
泛化误差界对于理解机器学习算法至关重要。基于输出假设与输入训练样本的平均联合分布,提出了一种新的期望泛化误差上界。给出了基于不同信息测度的多个泛化误差上界,包括Wasserstein距离、总变差距离、KL散度和Jensen-Shannon散度。由于凸性的信息措施,建议的界Wasserstein距离和总变异距离被证明是紧比他们的同行的基础上,在文献中的个别样本。最后给出了一个例子来验证所提出的泛化误差界的严密性。
2022-02-24 cs.IT cs.LG math.IT
Generalization error in high-dimensional perceptrons: Approaching Bayes error with convex optimization
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CEA(法国原子能和替代能源委员会);Institut de physique théorique(理论物理研究所);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
我们考虑了一个普遍研究的合成数据集的监督分类,其标签是通过向单层神经网络提供随机iid输入来生成的。我们研究了标准分类器的推广性能在高维制度,其中$α=n/d$保持有限的限制在一个高的维度$d$和样本数$n$。我们的贡献有三个方面:首先,我们证明了$\ell_2$正则化分类器实现的泛化误差公式,该公式可最大限度地减少凸损失。该公式首先由统计物理的启发式复制方法得到。其次,关注常用的损失函数并优化$\ell_2$正则化强度,我们观察到,虽然岭回归性能较差,但逻辑回归和铰链回归却能够非常接近贝叶斯最优泛化误差。作为$α\to \infty$,它们导致贝叶斯最优速率,这一事实并不遵循基于边缘的泛化误差界的预测。第三,我们设计了一个最佳的损失和正则化,可证明导致贝叶斯最优泛化错误。
2020-11-07 cond-mat.dis-nn cs.LG math.ST
Characterizing the Generalization Error of Gibbs Algorithm with Symmetrized KL information
University College London(伦敦大学学院);Massachusetts Institute of Technology(麻省理工学院)
确定监督学习算法的泛化误差是学习理论中的一个重要问题,人们已经提出了各种方法。然而,现有的界限往往是松散的,缺乏保障。因此,它们可能无法表征学习算法的精确泛化能力。我们的主要贡献是一个精确的表征的预期泛化误差的著名的吉布斯算法在输入训练样本和输出假设之间的对称KL信息。该结果可用于收紧已有的期望泛化误差界。我们的分析提供了更多的洞察力的基本作用的对称KL信息控制的泛化误差的吉布斯算法。
2021-07-28 cs.IT cs.LG math.IT
An analysis of training and generalization errors in shallow and deep networks
Institute of Mathematical Sciences, Claremont Graduate University(克莱蒙特研究生大学数学科学学院);Center for Brains, Minds, and Machines, McGovern Institute for Brain Research, Massachusetts Institute of Technology(麻省理工学院麦戈文脑研究所脑、心智与机器中心)
本文的动机是围绕深度网络的一个开放性问题,即尽管有大量的过度参数化,但明显没有过度拟合,这使得训练数据能够完美拟合。在本文中,我们分析了这种现象的情况下,回归问题时,每个单元评估一个周期性的激活函数。我们认为,平方损失的最小期望值是不适当的,以衡量泛化误差的组合函数的近似,以充分利用的组合结构。相反,我们在最大损失的意义上测量泛化误差,有时,作为逐点误差。我们给出了估计究竟有多少参数确保零训练误差以及良好的泛化误差。我们证明了一个正则化问题的解决方案是保证产生一个良好的训练误差以及良好的泛化误差,并估计有多少误差,预计在测试数据。
2019-08-27 cs.LG cs.NA math.NA
Generalization Error Analysis for Attack-Free and Byzantine-Resilient Decentralized Learning with Data Heterogeneity
School of Computer Science and Engineering, Sun Yat-Sen University(中山大学计算机科学与工程学院);College of Computer, National University of Defense Technology(国防科技大学计算机学院)
本文针对异构数据下的无攻击与拜占庭容错去中心化学习建立细粒度泛化误差分析,揭示数据异构性、初始化、梯度噪声及拜占庭攻击的影响,并通过凸与非凸实验验证理论。
2025-06-11 cs.DC cs.LG
Singular ridge regression with homoscedastic residuals: generalization error with estimated parameters
本文描述了有限样本岭回归估计的条件分布特性,并使用该结果来评估总的回归和泛化误差,包括在参数估计时所犯的不准确性。文中给出了这些误差的显式计算公式。与其他经典的参考文献在此设置,我们的结果发生在一个完全奇异的设置,不假设存在一个解决方案的非正则化回归问题。作为交换,我们对正则化回归残差调用条件同方差假设,这在我们的发展中至关重要。
2016-05-29 stat.ME stat.ML
Generalization Error Analysis of Neural networks with Gradient Based Regularization
Hong Kong Baptist University(香港浸会大学);Southern University of Science and Technology(南方科技大学)
研究了基于梯度的神经网络正则化方法。我们主要研究了两种正则化方法:全变分正则化和Tikhonov正则化。应用这些方法等价于使用神经网络来求解某些偏微分方程,在实际应用中大多是高维的。在这项工作中,我们介绍了一个通用的框架来分析正则化网络的泛化误差。误差估计依赖于近似误差和正交误差的两个假设。此外,我们进行了一些图像分类任务的实验表明,基于梯度的方法可以显着提高神经网络的泛化能力和对抗鲁棒性。在实验中还考虑了基于梯度的方法的图形扩展。
2021-07-06 cs.LG cs.NA math.NA
Generalization Error Curves for Analytic Spectral Algorithms under Power-law Decay
Tsinghua University(清华大学)
本文在温和假设下,完整刻画了核梯度下降等解析谱算法在核回归中的泛化误差曲线,揭示了核插值的不一致性和高资格算法的饱和效应,并通过神经正切核理论加深了对宽神经网络泛化行为的理解。
2026-06-08 cs.LG math.ST stat.TH
Generalization error for decision problems
在这篇文章中,我们回顾了分类和单阶段决策问题的泛化错误。我们区分三种替代定义的泛化误差,有时,被合并在统计文献中,并表明这些定义不需要是等价的,甚至渐近。因为泛化误差是底层生成模型的非平滑函数,所以标准渐近近似,例如,自举或正常近似不能保证正确的频率操作特性而不进行修改。我们提供了简单的数据自适应程序,可用于构建渐近有效的置信集的推广误差。最后,我们将讨论扩展和相关问题。
2018-12-20 stat.ME
Asymptotic Behavior of Bayesian Generalization Error in Multinomial Mixtures
Tokyo Institute of Technology(东京工业大学)
多项混合模型在信息工程领域有着广泛的应用,但由于其是奇异学习模型,其数学性质还不清楚。事实上,这些模型是不可辨识的,它们的Fisher信息矩阵不是正定的。近年来,人们利用代数几何方法阐明了奇异统计模型的数学基础。在本文中,我们澄清了实对数正则阈值和多重性的多项式混合,并阐明了它们的渐近行为的泛化误差和自由能。
2022-03-14 cs.LG math.ST stat.TH
A Priori Generalization Error Analysis of Two-Layer Neural Networks for Solving High Dimensional Schrödinger Eigenvalue Problems
本文分析了计算$d$维超立方体上薛定谔算子基态的两层神经网络的泛化误差。在基态位于谱Barron空间的先验假设下,证明了推广误差的收敛速度与维数$d$无关.我们通过证明谱Barron空间中基态的一个新的正则性估计来验证这样的假设。后者通过基于Krein-Rutman定理的不动点论证来实现。
2021-05-04 cs.NA math-ph math.AP
Jensen-Shannon Information Based Characterization of the Generalization Error of Learning Algorithms
泛化误差界对于理解机器学习模型的性能至关重要。在这项工作中,我们提出了一个新的信息理论为基础的泛化误差上限适用于监督学习的情况。我们表明,我们的一般界可以专门在各种以前的界限。我们还表明,在某些条件下,我们的一般界限可以专门化为一个新的界限,该界限涉及建模训练样本集的随机变量和建模假设的另一个随机变量之间的Jensen-Shannon信息。我们还证明了在一定条件下,我们的界可以比基于互信息的界更紧。
2021-01-08 cs.IT math.IT math.ST
Bounding the generalization error of convex combinations of classifiers: balancing the dimensionality and the margins
一个问题的边界的泛化误差的分类器f在H,其中H是一个“基地”类的功能(分类器),被认为是。这个问题经常出现在计算机学习中,其中将简单分类器组合成复杂分类器的有效算法(例如boosting和bagging)吸引了很多关注。使用Talagrand的浓度不等式的经验过程中,我们得到新的更清晰的界限综合分类器的泛化误差,考虑到经验分布的“分类余量”和“近似尺寸”的分类器和学习算法的几个实验中研究这些界限的性能。
2004-05-18 math.PR math.ST stat.TH
Generalized Resubstitution for Classification Error Estimation
Texas A&M University(德克萨斯农工大学)
我们提出了家庭的广义再替代分类器误差估计的基础上的经验措施。这些误差估计是计算效率高,不需要重新训练的分类器。简单的再替换误差估计对应于选择标准的经验测量。其他选择的经验措施导致支持,后验概率,高斯过程,贝叶斯误差估计,此外,我们提出支持后验概率误差估计作为一个新的家庭的广义resubstitution估计。在两类的情况下,我们证明了广义再替换估计是一致的和渐近无偏的,无论分布的功能和标签,如果相应的广义经验措施一致收敛到标准的经验措施和分类规则有一个有限的VC维。广义重替换估计量通常具有超参数,可以调整这些超参数以控制其偏差和方差,这增加了灵活性。用合成数据训练的各种分类规则的数值实验评估了几种有代表性的广义重替换误差估计的有限样本性能。此外,使用LeNet-5卷积神经网络和MNIST数据集进行的图像分类实验结果证明了这类误差估计器在计算机视觉深度学习中的潜力。
2021-10-23 cs.LG stat.ML
Position Paper: Generalized grammar rules and structure-based generalization beyond classical equivariance for lexical tasks and transduction
PUC Chile(智利天主教大学);CSAIL(计算机科学与人工智能实验室)
针对神经网络组合泛化能力弱于人类词汇学习的问题,提出基于广义语法规则(GGRs)的通用建模框架,将其作为转导任务中等变性的对应物,可涵盖现有研究并关联强化学习等领域。
2024-02-02 cs.CL cs.LG stat.ML
Improving Zero-shot Generalization in Offline Reinforcement Learning using Generalized Similarity Functions
McGill University(麦吉尔大学);Quebec AI Institute(魁北克人工智能研究所);UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
强化学习(RL)代理被广泛用于解决复杂的顺序决策任务,但仍然表现出难以推广到训练过程中看不到的场景。虽然先前的在线方法表明,使用奖励函数之外的额外信号可以在RL代理中产生更好的泛化能力,即使用自监督学习(SSL),但它们在离线RL设置中挣扎,即从静态数据集学习。我们发现,在RL的泛化在线算法的性能可能会受到阻碍,由于观察之间的相似性估计不良的离线设置。我们提出了一个新的理论动机的框架,称为广义相似性函数(GSF),它使用对比学习训练离线RL代理聚合观察的基础上,他们的预期未来行为的相似性,在那里我们量化这种相似性使用\emph{generalized value functions}。我们表明,GSF是一般的,足以恢复现有的SSL目标,同时也提高了zero-shot泛化性能的一个复杂的离线RL基准测试,离线Procgen。
2021-11-29 cs.AI cs.LG
Estimates on the generalization error of Physics Informed Neural Networks (PINNs) for approximating PDEs
ETH Zürich(苏黎世联邦理工学院)
针对 PINNs 求解 PDE 正问题,本文建立抽象框架并利用 PDE 稳定性,给出以训练误差和样本数表示的严格泛化误差上界,且通过非线性 PDE 示例与数值实验验证。
2023-12-06 cs.LG cs.NA math.AP