A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization
Yonsei University（延世大学）
深度强化学习（Deep Reinforcement Learning，DRL）旨在创建智能代理，这些智能代理可以学习在现实环境中有效地解决复杂问题。通常，两个学习目标：适应和泛化用于基线DRL算法的性能在不同的任务和领域。本文综述了基于DRL的自适应和泛化方法的最新进展。我们首先在任务和领域的背景下制定这些目标。然后，我们回顾了这些方法下的最新工作，并讨论了未来的研究方向，通过DRL算法的适应性和泛化能力可以提高，并可能使它们适用于广泛的现实世界的问题。
2022-02-17 cs.AI cs.LG
Bootstrap State Representation using Style Transfer for Better Generalization in Deep Reinforcement Learning
Purdue University（普渡大学）
深度强化学习（RL）代理通常会过拟合训练环境，导致泛化性能差。在本文中，我们提出了思想者，一个自举的方法，以消除对抗性的影响，从观察的混淆功能，在无监督的方式，从而提高RL代理的泛化。思想者的第一个集群经历了几个集群的轨迹。然后通过应用样式转换生成器自举这些轨迹，该生成器将轨迹从一个集群的样式转换为另一个，同时保持观察的内容。自举轨迹然后用于策略学习。Thinker在许多RL设置中具有广泛的适用性。实验结果表明，思想者导致更好的泛化能力在Procgen基准测试环境相比，基本算法和几个数据增强技术。
2022-07-15 cs.AI cs.LG
On Improving Cross-dataset Generalization of Deepfake Detectors
School of Computing（计算机学院）；Wichita State University（威奇托州立大学）
深度伪造的面部操作已经造成了重大的安全风险，并引起了严重的社会问题。作为对策，最近已经提出了许多深度伪造检测方法。他们中的大多数人使用为任务预先训练的骨干卷积神经网络（CNN）架构将深度虚假检测建模为二进制分类问题。这些基于CNN的方法在深度虚假检测中表现出非常高的效率，曲线下面积（AUC）高达0.99。然而，这些方法的性能显着下降时，跨数据集进行评估。在本文中，我们将深度虚假检测描述为监督和强化学习（RL）的混合组合，以提高其跨数据集泛化性能。所提出的方法通过RL代理以特定于图像的方式为每个测试样本选择前k个增强。使用CNN获得的每个测试图像的所有增强的分类分数被一起平均，用于最终的真实或虚假分类。通过广泛的实验验证，我们证明了我们的方法在深度伪检测器的跨数据集泛化方面优于现有的已发表研究，从而获得了最先进的性能。
2022-04-08 cs.AI cs.CV cs.LG
Uniform Generalization Bounds on Data-Dependent Hypothesis Sets via PAC-Bayesian Theory on Random Sets
INRIA（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）；Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；University of Oxford（牛津大学）
本文通过将PAC-Bayesian理论严格应用于随机集，提出数据依赖的统一泛化界，并用于统一基于分形维数的泛化界及证明Langevin动力学轨迹上的新泛化性质。
2025-02-10 cs.LG stat.ML
Enhancing NLP Robustness and Generalization through LLM-Generated Contrast Sets: A Scalable Framework for Systematic Evaluation and Adversarial Training
College of Natural Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校自然科学学院）
本文提出利用LLM自动生成多样化对比集，并在SNLI上构建3000样本对比集，通过微调提升模型鲁棒性和泛化能力，为NLP系统评估与对抗训练提供可扩展框架。
2025-03-09 cs.AI cs.CL cs.LG
Generalization Error in Deep Learning
Tel Aviv University（特拉维夫大学）；University College London（伦敦大学学院）
深度学习模型最近在计算机视觉、语音识别、语音翻译和自然语言处理等各个领域都表现出了出色的性能。然而，除了他们的最先进的性能，它仍然是普遍不清楚是什么来源，他们的泛化能力。因此，一个重要的问题是，是什么让深度神经网络能够很好地从训练集推广到新数据。在这篇文章中，我们提供了一个概述的现有理论和边界的表征深度神经网络的泛化误差，结合经典和最近的理论和实证结果。
2019-04-06 cs.AI cs.LG stat.ML
Hypothesis Set Stability and Generalization
Massachusetts Institute of Technology（麻省理工学院）；Spark Wave（火花波公司）；Google Research（谷歌研究院）；University of Southern California（南加利福尼亚大学）；Courant Institute（库朗研究所）；Cornell University（康奈尔大学）
我们提出了一个数据依赖的假设集的泛化研究。我们给出了一个一般的学习保证数据依赖的假设集的基础上的概念的转导Rademacher复杂性。我们的主要结果是一个泛化的数据依赖的假设集表示的假设集的稳定性和Rademacher复杂性的概念，我们介绍的数据依赖的假设集的概念。这个界限承认作为特殊情况下，标准的Rademacher复杂性界限和算法相关的一致稳定性界限。我们还说明了使用这些学习边界的几种情况下的分析。
2020-10-05 cs.LG stat.ML
Deep Learning: Generalization Requires Deep Compositional Feature Space Design
Indian Institute of Technology, Guwahati（印度理工学院古瓦哈提分校）
泛化误差定义了深度模型的可辨别性和表示能力。在这项工作中，我们声称，使用深层组合函数的特征空间设计在泛化以及显式和隐式正则化中起着重要作用。我们的主张正在建立与几个图像分类实验。我们表明，由于卷积和最大池的信息损失可以边缘化的组合设计，提高泛化性能。此外，我们将证明学习率衰减在深度模型训练中充当隐式正则化器。
2017-07-08 cs.LG stat.ML
Lecture Notes on Linear Neural Networks: A Tale of Optimization and Generalization in Deep Learning
Tel Aviv University（特拉维夫大学）
本讲义基于普林斯顿大学讲座，提出线性神经网络理论，利用动态数学工具研究深度学习中的优化与泛化，并讨论实际应用。
2024-11-06 cs.AI cs.LG stat.ML
Deeper Insights into Deep Graph Convolutional Networks: Stability and Generalization
Department of Mathematics, College of Mathematics and Informatics, South China Agricultural University, Guangzhou, China（数学系，数学与信息学学院，华南农业大学，广州，中国）；Zhejiang Key Laboratory of Intelligent Education Technology and Application, Zhejiang Normal University, Jinhua, China（智能教育技术与应用浙江省重点实验室，浙江师范大学，金华，中国）；Department of Mathematics, City University of Hong Kong, Hong Kong, China（数学系，香港城市大学，香港，中国）
针对深度图卷积网络理论分析不足的问题，本文严格刻画其稳定性与泛化性上界，揭示图滤波器最大绝对特征值和网络深度的关键影响。
2025-09-29 cs.AI cs.LG stat.ML
Tight Margin-Based Generalization Bounds for Voting Classifiers over Finite Hypothesis Sets
Aarhus University（奥胡斯大学）
本文提出了一种针对有限假设集的投票分类器的紧边际泛化界限，解决了在假设集大小、边际、训练点比例、样本数量和失败概率之间的权衡问题。
2025-11-25 cs.LG math.ST stat.TH
Explaining generalization in deep learning: progress and fundamental limits
Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
本论文研究了深度学习理论中的一个基本的开放性挑战：为什么深度网络即使在过参数化、非正则化和将训练数据拟合为零误差的情况下也能很好地泛化？在论文的第一部分，我们将实证研究通过随机梯度下降训练深度网络如何隐式地控制网络的容量。随后，为了说明这如何导致更好的泛化，我们将推导出{ \em数据相关} { \em基于一致收敛的}泛化边界，并改进对参数计数的依赖性。一致收敛实际上是深度学习文献中使用最广泛的工具，这要归功于它的简单性和通用性。鉴于它的流行，在这篇论文中，我们也将后退一步，以确定一致收敛的基本限制，作为解释推广的工具。特别是，我们将证明，在某些示例过参数化设置，{ \em any}一致收敛界将提供一个空洞的推广界。考虑到这一点，在论文的最后一部分，我们将改变课程，并介绍了一个{ \em经验}技术来估计泛化使用未标记的数据。我们的技术不依赖于任何基于一致收敛的复杂性的概念，并且非常精确。我们将从理论上说明为什么我们的技术如此精确。最后，我们将讨论未来的工作如何探索新的方法来将分布假设纳入泛化边界（例如以未标记数据的形式），并探索其他工具来导出边界，可能是通过修改一致收敛或开发全新的工具。
2021-10-17 cs.AI cs.LG stat.ML
Labeled Directed Acyclic Graphs: a generalization of context-specific independence in directed graphical models
Åbo Akademi University（奥布学术大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Helsinki（赫尔辛基大学）
我们引入了一类新的标记有向无环图（LDAG）模型的有限集的离散变量。LDAG概括了早期的提议，允许节点的条件概率分布中的局部结构，使得不受限制的标签集确定对于给定上下文可以从底层有向无环图（DAG）中删除哪些边。这些模型的几个属性的推导，包括推广的马尔可夫等价类的概念。LDAG的有效贝叶斯学习通过引入模型参数的Dirichlet先验的基于LDAG的因式分解来实现，使得可以解析地计算边际似然。此外，我们开发了一种新的先验分布的模型结构，可以适当地惩罚模型的标签复杂性。一个不可逆的马尔可夫链蒙特卡罗算法结合贪婪爬山方法被用来说明LDAG模型的有用属性的真实和合成的数据集。
2013-10-04 cs.AI cs.LG stat.ML
A Note on Connectivity of Sublevel Sets in Deep Learning
研究表明，对于深度神经网络，单个宽层的宽度$N+1$（$N$是训练样本的数量）足以证明训练损失函数的子水平集的连通性。在两层设置中，即使只少了一个神经元，相同的属性也可能不成立（即宽度$N$可能导致断开的子级集）。
2021-01-21 cs.LG stat.ML
On a Built-in Conflict between Deep Learning and Systematic Generalization
在本文中，我们假设内部功能共享是削弱o.o.d.的原因之一。或者在用于分类任务的深度学习中的系统泛化。在等效预测下，模型将输入空间划分为由边界分隔的多个部分。功能共享更倾向于重用边界，导致新输出的部分更少，这与系统泛化相冲突。我们在标准的深度学习模型中展示了这种现象，例如全连接、卷积、残差网络、LSTM和（Vision）Transformers。我们希望这项研究提供了新的见解系统的推广，并形成新的研究方向的基础。
2022-08-24 cs.AI cs.LG
Predicting Generalization in Deep Learning via Local Measures of Distortion
University of California, San Francisco（加州大学旧金山分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
我们通过诉诸最初在近似和信息论中开发的复杂性度量来研究深度学习中的泛化。虽然这些概念受到深度学习的高维和数据定义性质的挑战，但我们表明，简单的矢量量化方法（如PCA，GARCH和SVM）在逐层应用于深度提取的特征时捕捉到了它们的精神，从而产生了相对廉价的复杂性度量，与泛化性能密切相关。我们在2020年NeurIPS PGDL挑战中讨论了我们的结果。
2020-12-16 cs.LG stat.ML
Stacked Generalizations in Imbalanced Fraud Data Sets using Resampling Methods
Northwestern University（西北大学）
这项研究使用堆叠式泛化，这是一个两步结合机器学习方法的过程，称为Meta学习者或超级学习者，为了提高第一步中算法的性能（通过最小化每个单独算法的出错率以减少其在学习集中的偏差），然后在步骤2中，将结果输入到具有其堆叠混合输出的Meta学习器中（证明了最弱算法学习得更好的改进性能）。该方法本质上是一种增强的交叉验证策略。虽然该过程使用了大量的计算资源，但对重新采样的欺诈数据的性能指标表明，增加的系统成本是合理的。欺诈数据的一个根本关键是它本质上是不系统的，而且迄今为止，尚未确定最佳的重新调查方法。构建一个解释算法样本集对的所有排列的测试工具，证明了复杂的、内在的数据结构都得到了彻底的测试。使用对欺诈数据的比较分析，应用堆叠概括提供了有用的洞察力，需要找到用于不平衡的欺诈数据集的最佳数学公式。
2020-04-03 cs.LG stat.AP stat.ML
NeurIPS 2020 Competition: Predicting Generalization in Deep Learning
Google Research（谷歌研究院）；University of Toronto（多伦多大学）；Element AI；Microsoft Research（微软研究院）；University Paris-Saclay（巴黎-萨克雷大学）；ChaLearn
理解深度学习中的泛化可以说是深度学习中最重要的问题之一。深度学习已经成功地应用于从模式识别到复杂决策的大量问题，但最近许多研究人员对深度学习提出了许多担忧，其中最重要的是泛化。尽管进行了许多尝试，但传统的统计学习方法仍然无法对深度学习的工作原理提供令人满意的解释。最近的一系列工作旨在解决这个问题，试图通过复杂性的措施来预测泛化性能。在这个竞赛中，我们邀请社区提出可以准确预测模型泛化的复杂性度量。一个强大而通用的复杂性度量可能会更好地理解深度学习的底层机制和深度模型在不可见数据上的行为，或者揭示更好的泛化边界。所有这些结果对于使深度学习更加强大和可靠都很重要。
2020-12-14 cs.LG stat.ML
Predicting Generalization in Deep Learning via Metric Learning -- PGDL Shared task
Jožef Stefan Institute（约瑟夫·斯特凡研究所）；Jožef Stefan International Postgraduate School（约瑟夫·斯特凡国际研究生院）
“预测深度学习的泛化（PGDL）”竞赛旨在为严格研究深度学习模型的泛化提供一个平台，并深入了解理解和解释这些模型的进展。本报告介绍了用户\emph{smeznar}提交的解决方案，该解决方案在竞赛中获得了第八名。在所提出的方法中，我们创建简单的度量，并在所提供的数据集上自动测试，找到它们的最佳组合，探索如何将输入神经网络架构的各种属性的组合用于预测其泛化。
2020-12-16 cs.LG stat.ML
Using noise resilience for ranking generalization of deep neural networks
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
最近的论文表明，充分过参数化的神经网络甚至可以完美地拟合随机标签。因此，理解网络在真实世界数据上泛化性能背后的根本原因至关重要。在这项工作中，我们提出了几种措施来预测泛化误差的网络给定的训练数据和它的参数。使用其中一种基于网络抗噪能力的措施，我们在NeurIPS 2020的深度学习（PGDL）竞赛中获得了预测泛化的第五名。
2020-12-16 cs.LG stat.ML
On the generalization of bayesian deep nets for multi-class classification
Bar-Ilan University（巴伊兰大学）；Technion（以色列理工学院）；University of Illinois（伊利诺伊大学）
评估真实风险和经验风险之间差异的泛化界限已经得到了广泛的研究。然而，为了获得边界，当前技术使用严格的假设，诸如一致有界或Lipschitz损失函数。为了避免这些假设，在本文中，我们通过利用Log-Sobolev不等式的收缩性，提出了一个新的贝叶斯深度网的推广界。使用这些不等式增加了一个额外的损失梯度范数项的推广界，这是直观的模型复杂性的替代品。从经验上讲，我们使用不同的深度网络分析了这种损失梯度范数项的影响。
2020-02-23 cs.LG stat.ML
Generalization bounds for neural ordinary differential equations and deep residual networks
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Laboratoire de Probabilités, Statistique et Modélisation（概率、统计与建模实验室）
本文针对连续时间参数的神经常微分方程及相应深度残差网络，基于Lipschitz论证推导泛化界，并数值验证权重差异对泛化能力的影响。
2023-10-11 cs.LG stat.ML
PAC Confidence Sets for Deep Neural Networks via Calibrated Prediction
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种算法，将校准的预测和学习理论的泛化边界相结合，为具有PAC保证的深度神经网络构建置信集-即，给定输入的置信度集合包含具有高概率的真实标签。我们演示了如何使用我们的方法在ResNet上为ImageNet构建PAC置信集，这是一个视觉对象跟踪模型，以及半猎豹强化学习问题的动力学模型。
2020-02-15 cs.LG stat.ML
A Generalization Bound of Deep Neural Networks for Dependent Data
University of Science, Vietnam National University Ho Chi Minh City（越南国家大学胡志明市分校科学大学）；AISIA Research Lab（AISIA研究实验室）；Dalhousie University（达尔豪斯大学）
针对现有深度神经网络泛化界依赖独立同分布假设、不适用于实际依赖数据场景的问题，该研究建立了非平稳$\phi$-混合数据下前馈神经网络的泛化界。
2023-10-09 cs.LG stat.ML
Granular Generalized Variable Precision Rough Sets and Rational Approximations
Indian Statistical Institute, Kolkata（印度统计研究所加尔各答分所）
在最近的研究论文中，第一作者在粒度分级粗糙集及其推广中引入并研究了有理逼近。合理性的概念是由相关的本体论和粒度、部分论和近似在上下文中的一致性决定的。此外，她在上述论文中介绍了一个有理逼近的框架。根据变精度粗糙集（VPRS）方法构造的粒度近似在一定条件下可能比从经典角度构造的粒度近似更合理。对于前者的某些概括，这可能继续成立。然而，在以前发表的文献中没有对这种情况进行正式表征。在这项研究中，理论方面的问题进行了严格的审查，统一推广的粒度VPRS，新的连接与粒度分级粗糙集证明，适当的概念，大量的parhood引入，其程度的兼容性与框架的访问，和框架的扩展。基本假设进行了详细解释，并构造了额外的例子，可读性。此外，Meta应用集群验证，图像分割和动态排序发明。扩展到直接概括的VPRS，如概率粗糙集是一个自然的结果的工作。
2022-10-30 cs.AI cs.LG cs.LO
Generalization in Deep Learning
MIT（麻省理工学院）；University of Montreal（蒙特利尔大学）
该研究针对深度学习高容量下仍能良好泛化的公开问题给出理论洞见，探讨非空泛化保证方法，提出新公开问题并说明结果局限。
2023-08-22 cs.AI cs.LG cs.NE
Deep network as memory space: complexity, generalization, disentangled representation and interpretability
Southeast University（东南大学）
通过将深度网络和物理学联系起来，提出了深度网络几何化方案，作为深度学习系统可解释性的框架。根据这个计划，我们可以将物理学的两个关键思想，物理学的几何化和最小作用原理应用于深度网络，并提供深度网络的新图景：深度网络作为信息的存储空间，其中存储器的容量，鲁棒性和效率与深度网络的复杂性，泛化性和解纠缠密切相关。这种理解的关键组成部分包括：（1）基于Fisher度量的网络复杂性公式;（2）深度网络上的最小作用（复杂性=作用）原则;（3）建立在深度网络配置上的几何结构。我们将展示这幅图将如何为我们带来对深度学习系统可解释性的新理解。
2019-07-12 cs.AI cs.LG
Sparsity-aware generalization theory for deep neural networks
Johns Hopkins University（约翰斯·霍普金斯大学）
本文利用隐藏层激活的稀疏性建立深度ReLU网络泛化分析框架，揭示稀疏性与泛化性的权衡，并在过参数化模型中给出非空泛化界。
2023-07-04 cs.AI cs.LG
On Connected Sublevel Sets in Deep Learning
Saarland University（萨尔兰大学）
本文证明了一类具有分段线性激活函数的深度过参数神经网络的损失函数的每一个子水平集是连通且无界的。这意味着损失没有坏的局部谷，并且其所有全局最小值都连接在唯一且可能非常大的全局谷内。
2019-05-14 cs.LG stat.ML
On Tighter Generalization Bound for Deep Neural Networks: CNNs, ResNets, and Beyond
Princeton University（普林斯顿大学）；Northwestern University（西北大学）；University of Minnesota（明尼苏达大学）；Georgia Institute of Technology（佐治亚理工学院）
我们建立了一个基于间隔的数据依赖泛化误差界的深度和宽度，以及网络的雅可比矩阵的一般家庭的深度神经网络。通过对神经网络族的Lipschitz性质引入一个新的刻画，得到了比已有结果更严格的推广界.此外，我们证明了推广界可以进一步提高有界损失。除了一般的前馈深度神经网络之外，我们的结果还可以用于推导流行架构的新边界，包括卷积神经网络（CNN）和残差网络（ResNets）。当达到与以前的技术相同的泛化误差时，我们的边界允许选择更大的权重矩阵参数空间，从而诱导神经网络潜在的更强的表达能力。数值计算也支持我们的理论。
2019-07-03 cs.LG stat.ML
An analytic theory of generalization dynamics and transfer learning in deep linear networks
Stanford University（斯坦福大学）
最近，人们对深度学习中的泛化难题给予了很大的关注：大型深度网络可以很好地泛化，但现有的泛化误差理论非常松散，因此无法解释这种惊人的性能。此外，一个主要的希望是知识可以在任务之间转移，因此多任务学习可以提高单个任务的泛化能力。然而，我们缺乏分析理论，可以定量地预测知识转移的程度如何取决于任务之间的关系。我们开发了一个分析理论的非线性动力学的泛化在深度线性网络，无论是内部和跨任务。特别是，我们的理论为深度网络的训练和测试误差提供了解析解，这些误差是训练时间、样本数量、网络大小和初始化以及任务结构和SNR的函数。我们的理论表明，深度网络首先逐步学习最重要的任务结构，因此早期停止时的泛化误差主要取决于任务结构，而与网络大小无关。这表明泛化误差的任何严格限制都必须考虑任务结构，并解释了关于真实数据比随机数据学习得更快的观察结果。有趣的是，我们的理论还揭示了一种学习算法的存在，这种算法可以证明通过梯度下降进行神经网络训练。最后，对于迁移学习，我们的理论揭示了知识转移敏感地依赖于任务对的SNR和输入特征对齐，但可计算。
2019-01-04 cs.LG stat.ML
Bias and Generalization in Deep Generative Models: An Empirical Study
Stanford University（斯坦福大学）
在高维环境中，密度估计算法关键地依赖于它们的归纳偏差。尽管最近的经验成功，深生成模型的归纳偏差还没有得到很好的理解。在本文中，我们提出了一个框架来系统地研究图像深度生成模型中的偏差和泛化。受认知心理学实验方法的启发，我们使用精心设计的训练数据集来探索每种学习算法，以表征现有模型何时以及如何生成新的属性及其组合。我们确定了与人类心理学的相似之处，并验证了这些模式在常用的模型和架构中是一致的。
2018-11-08 cs.LG stat.ML
Towards Better Generalization: BP-SVRG in Training Deep Neural Networks
Peking University（北京大学）
随机方差缩减梯度法（SVRG）是一种经典的优化方法。虽然理论上证明了它比随机梯度下降（SGD）具有更好的收敛性能，但SVRG的泛化性能仍然是开放的。本文研究了最小化和学习率衰减等训练技术对SVRG泛化性能的影响，并验证了B-SVRG的泛化性能。就优化和泛化之间的关系而言，我们认为每个训练样本上的平均梯度范数以及平均梯度范数表明景观有多平坦以及模型的泛化能力有多好。基于对这些指标的经验观察，我们对B-SVRG进行了符号切换，并推导出一种实用的算法BatchPlus-SVRG（BP-SVRG），数值显示该算法比B-SVRG具有更好的泛化性能，甚至在深度神经网络的某些场景中具有SGD。
2019-08-18 cs.LG stat.ML
Uniform convergence may be unable to explain generalization in deep learning
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
为了解释超参数化深度网络令人惊讶的良好泛化行为，最近的工作已经为深度学习开发了各种泛化范围，所有这些都基于一致收敛的基本学习理论技术。虽然众所周知，这些现有的边界中有许多在数值上很大，但通过大量的实验，我们揭示了这些边界的一个更令人关注的方面：在实践中，这些边界可以随着训练数据集的大小{ \em增加}。在我们的观察的指导下，我们提出了过参数化线性分类器和梯度下降（GD）训练的神经网络的例子，其中一致收敛可证明不能“解释泛化”-即使我们考虑到GD { \em尽可能大的范围}的隐式偏差。更准确地说，即使我们只考虑GD输出的分类器集，在我们的设置中，这些分类器的测试误差小于一些小的$ε$，我们表明，在这组分类器上应用（双侧）一致收敛只会产生大于$1-ε$的空洞的泛化保证。通过这些发现，我们对基于一致收敛的泛化界限的能力表示怀疑，以提供过度参数化深度网络泛化良好的完整解释。
2021-10-17 cs.LG stat.ML
Generalization Comparison of Deep Neural Networks via Output Sensitivity
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
尽管最近的研究成果已经为最先进的深度学习模型中使用的技术的性能改进带来了一些见解，但还需要更多的工作来理解它们的泛化特性。我们通过将损失函数与输出对其输入的灵敏度联系起来来阐明这一问题。我们发现输出灵敏度和损失函数的偏差方差分解中的方差之间存在相当强的经验关系，这暗示了使用灵敏度作为比较网络泛化性能的度量，而不需要标记数据。我们发现，通过应用提高模型泛化性能的流行方法，例如（1）使用深度网络而不是宽网络，（2）向基线分类器添加卷积层而不是添加全连接层，（3）使用批量归一化，dropout和max-pooling，以及（4）应用参数初始化技术，灵敏度降低。
2020-07-30 cs.LG stat.ML
Depth Selection for Deep ReLU Nets in Feature Extraction and Generalization
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所机器人学国家重点实验室）
深度学习被认为能够通过利用人类的独创性和先验知识来发现用于表示学习和模式识别的深度特征，而不需要优雅的特征工程技术。因此，它引发了机器学习和模式识别的大量研究活动。深度学习最重要的挑战之一是弄清楚深度神经网络（简称深度网络）的特征和深度之间的关系，以反映深度的必要性。我们的目的是在特征提取和泛化中量化这种特征深度对应。我们提出的自适应功能的深度和反之亦然，通过显示在提取单一功能和复合功能的深度参数的权衡。基于这些结果，我们证明了在深度网络上实现经典的经验风险最小化可以为许多学习任务实现最佳的泛化性能。我们的理论结果得到了一系列数值实验的验证，包括玩具模拟和地震烈度预测的实际应用。
2020-04-01 cs.LG stat.ML
Classifying Unordered Feature Sets with Convolutional Deep Averaging Networks
Louisiana Tech University（路易斯安那理工大学）；Quinnipiac University（昆尼皮亚克大学）；Concordia University（康考迪亚大学）
无序特征集是传统神经网络无法以原则性方式解决的非标准数据结构。以任意顺序提供特征的串联可能导致学习实际上不存在的虚假模式或偏差。如果每个集合之间的特征数量不同，则会引入另一个复杂性。我们提出了卷积深度平均网络（CDAN），用于分类和学习数据集的表示，这些数据集的实例包括可变大小的无序特征集。CDAN是高效的，置换不变的，并且能够接受任意大小的集合。我们强调的重要性，非线性特征嵌入获得有效的CDAN分类器，并说明其优势，在实验中与线性嵌入和替代置换不变和等变架构。
2017-09-10 cs.LG stat.ML
Improving Generalization of Deep Neural Networks by Leveraging Margin Distribution
Nanjing University（南京大学）
针对现有DNN泛化分析多基于最小间隔、忽略整体间隔分布信息的问题，本文证明了由全间隔分布统计量主导的泛化上界，提出间隔标准差与期望间隔的比值这一关键复杂度度量，通过凸间隔分布损失优化该比值，实验验证了方法有效性及泛化间隙与该比值的相关性。
2022-03-29 cs.LG stat.ML
DeepNNK: Explaining deep models and their generalization using polytope interpolation
University of Southern California（南加州大学）
基于神经网络的现代机器学习系统在学习复杂数据模式方面取得了巨大成功，同时能够对看不见的数据点进行良好的预测。然而，这些系统的有限的可解释性阻碍了进一步的进展和应用到现实世界中的几个领域。这种困境体现在耗时的模型选择和预测可解释性面临的困难，特别是在存在对抗性例子的情况下。在本文中，我们采取了一个步骤，更好地理解神经网络通过引入局部多面体插值方法。提出的深度非负核回归（NNK）插值框架是非参数的，理论上简单，几何直观。我们展示了基于实例的深度学习模型的可解释性，并开发了一种方法来识别具有良好泛化特性的模型，使用留一估计。最后，我们从机器学习的插值观点出发，对不可避免的对抗性和生成性示例进行了合理化。
2020-07-20 cs.LG stat.ML
On Generalization Bounds for Neural Networks with Low Rank Layers
Center for Brains, Minds and Machines, MIT（麻省理工学院脑、心智与机器中心）；Department of Data Science, NJIT（新泽西理工学院数据科学系）
本文利用 Maurer 高斯复杂度链式法则分析低秩层对深度网络泛化界的影响，证明低秩层可避免秩和维度因子跨层累积，从而获得优于满秩网络的泛化保证，并为神经坍缩现象提供新解释。
2024-11-20 cs.LG stat.ML
Higher-Order Generalization Bounds: Learning Deep Probabilistic Programs via PAC-Bayes Objectives
Yale University（耶鲁大学）
深度概率编程（DPP）允许使用高效的深度学习优化技术来学习基于递归计算的强大模型。此外，DPP提供了一个统一的视角，其中推理和学习算法被视为与随机程序的模型相同。在这里，我们提供了一个框架，用于表示和学习灵活的PAC-Bayes边界的随机程序使用基于DPP的方法。特别是，我们表明，DPP技术可以利用，以获得概括的界限，利用组合的DPP表示。反过来，我们引入的界限为高阶概率程序提供了原则性的训练目标。我们提供了一个高阶泛化界的定义，它自然包括单任务和多任务泛化的角度（包括转移和元学习）和一类新的基于模型复杂性的学习措施的界限。此外，我们展示了如何修改形式的所有高阶界限可以有效地优化为目标的DPP培训，使用变分技术。我们使用合成和生物数据的单任务和多任务泛化设置来测试我们的框架，使用灵活的DPP模型表示和学习的复杂性度量来显示改进的性能和泛化预测。
2022-03-30 cs.LG stat.ML
Abstraction Mechanisms Predict Generalization in Deep Neural Networks
深度神经网络（DNN）的一个长期问题是理解它们令人困惑的泛化能力。我们通过\textit{cognitive abstraction mechanisms}的非传统角度来处理这个问题，从最近的神经科学工作中汲取灵感，使我们能够定义DNN的认知神经激活度量（CNA），这是给定输入的信息复杂性（熵）与网络深层中较高激活值的集中度之间的相关性。CNA对泛化能力具有高度预测性，在对超过100个小网络和网络架构组合的广泛评估中，表现优于基于范数和边缘的泛化度量，特别是在存在加性噪声和/或训练标签损坏的情况下。这些强有力的实证结果表明了CNA作为泛化度量的有用性，并鼓励进一步研究信息复杂性与网络深层表示之间的联系，以便更好地理解DNN的泛化能力。
2020-04-17 cs.LG q-bio.NC stat.ML
Generalization bounds for deep convolutional neural networks
Google Brain（谷歌大脑）
我们证明了卷积网络的泛化误差的界。边界是根据训练损失，参数的数量，损失的Lipschitz常数和从权重到初始权重的距离。它们独立于输入中的像素数量以及隐藏特征图的高度和宽度。我们使用CIFAR-10与深度卷积网络的不同超参数进行了实验，将我们的边界与实际的泛化差距进行了比较。
2020-04-08 cs.AI cs.LG cs.NE
The intriguing role of module criticality in the generalization of deep networks
University of California, Berkeley（加州大学伯克利分校）；Google（谷歌）
我们研究了深度神经网络（DNN）的某些模块比其他模块更关键的现象。这意味着将它们的参数值倒回初始化，同时保持其他模块固定在训练参数上，会导致网络性能大幅下降。我们的分析揭示了损失景观的有趣特性，这使得我们提出了一种称为模块临界度的复杂性度量，该度量基于连接模块参数的初始值和最终值的山谷的形状。我们制定如何泛化与模块的关键性，并表明，这种措施是能够解释优越的泛化性能的一些架构比其他人，而早期的措施未能做到这一点。
2020-02-14 cs.LG stat.ML
Generalization Error Bounds of Gradient Descent for Learning Over-parameterized Deep ReLU Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
实证研究表明，基于梯度的方法可以学习深度神经网络（DNN），在过参数化机制中具有非常好的泛化性能，其中DNN可以很容易地适应训练数据的随机标记。最近，一系列工作在理论上解释了，通过过度参数化和适当的随机初始化，基于梯度的方法可以找到DNN训练损失的全局最小值。然而，现有的泛化误差界无法解释过参数DNN的良好泛化性能。现有的推广界的主要局限性是它们是基于一致收敛的，并且与训练算法无关。在这项工作中，我们推导出深度ReLU网络的算法相关泛化误差界，并表明在对数据分布的某些假设下，具有适当随机初始化的梯度下降（GD）能够训练一个充分过参数化的DNN，以实现任意小的泛化误差。我们的工作有助于解释过参数化深度神经网络的良好泛化性能。
2019-11-27 cs.LG math.OC stat.ML
Deep Message Passing on Sets
UNC-Chapel Hill（北卡罗来纳大学教堂山分校）
用于在图输入数据上学习的现代方法已经显示出考虑集合中的元素之间的关系的有效性。然而，在集合输入数据上学习的大多数方法仅使用基本方法来利用集合内关系。在这项工作中，我们介绍了集上的深度消息传递（DMPS），这是一种结合了集合关系学习的新方法。DMPS不仅通过深度内核学习将图上的学习与集合上的学习联系起来，而且还将集合上的消息传递与去噪模型中常用的传统扩散动力学联系起来。基于这些连接，我们开发了两个新的集合上的关系学习块：集合去噪块和集合残差块。前者的动机是一般图上的消息传递和基于扩散的去噪模型之间的联系，而后者的灵感来自于众所周知的残差网络。除了通过实验学习真实的底层关系结构来证明我们模型的可解释性之外，我们还通过实现与最先进的竞争或优于最先进的结果来证明我们的方法在合成和真实世界数据集上的有效性。
2019-09-21 cs.LG stat.ML
Improved Generalization Bounds of Group Invariant / Equivariant Deep Networks via Quotient Feature Spaces
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）；The University of Tokyo（东京大学）
许多不变（或等变）神经网络已经成功地处理不变的数据，如点云和图形。然而，神经网络的推广理论还没有得到很好的发展，因为该理论的几个基本因素，如网络大小和边缘分布，没有深入联系的不变性和等变性。在这项研究中，我们开发了一个新的泛化误差界不变和等变深度神经网络。为了描述不变性和等变性对推广的影响，我们提出了一个\textit{quotient feature space}的概念，它度量了群作用对性质的影响。我们的主要结果证明了商特征空间的体积可以描述泛化误差。此外，该界表明，不变性和等变性显着改善的领先项的界。我们将我们的结果应用于特定的不变和等变网络，例如DeepSets（Zaheer et al.（2017）），并表明它们的泛化界被$\sqrt{n!}$大大提高，其中$n!$是排列的数量。我们还讨论了不变DNN的表达能力，并表明它们可以实现最佳近似率。我们的实验结果支持了我们的理论主张。
2021-06-19 cs.LG stat.ML
Generalization Bounds for Deep Transfer Learning Using Majority Predictor Accuracy
Florida International University（佛罗里达国际大学）；Dalhousie University（达尔豪斯大学）；University of Delaware（特拉华大学）；Meta AI
我们分析了通过从源任务到目标任务的迁移学习训练的深度学习模型的新泛化边界。我们的边界利用了一个称为多数预测精度的量，可以从数据中有效地计算出来。我们表明，我们的理论在实践中是有用的，因为它意味着多数预测的准确性可以被用来作为一个可转移性的措施，这一事实也验证了我们的实验。
2022-09-13 cs.AI cs.LG
Predicting the Generalization Gap in Deep Networks with Margin Distributions
Google Research（谷歌研究院）
正如最近的研究所示，深度神经网络可以完美地拟合随机标记的数据，但对保留的数据的准确性非常差。这种现象表明，损失函数，如交叉熵是不是一个可靠的指标泛化。这就引出了如何从训练数据和网络参数中预测泛化间隙的关键问题。在本文中，我们提出了这样一个措施，并进行了广泛的实证研究，以及如何以及它可以预测的泛化差距。我们的测量是基于边缘分布的概念，这是训练点到决策边界的距离。我们发现，有必要在深度网络的多个层上使用边缘分布。在CIFAR-10和CIFAR-100数据集上，我们提出的度量与泛化差距非常密切相关。此外，我们还发现以下其他因素也很重要：对保证金值进行标准化以实现尺度独立性，使用保证金分布的特征而不仅仅是保证金（距离决策边界最近），以及在对数空间而不是线性空间中工作（有效地使用保证金的乘积而不是总和）。我们的测量可以很容易地应用于具有任何架构的前馈深度网络，并且可以指向新的训练损失函数，从而可以实现更好的泛化。
2019-06-12 cs.LG stat.ML
Hessian based analysis of SGD for Deep Nets: Dynamics and Generalization
虽然随机梯度下降（SGD）及其变体在训练深度网络方面取得了惊人的成功，但优化动态和泛化的几个方面仍然没有得到很好的理解。在本文中，我们基于训练损失和相关量的Hessian，对深度网络的SGD的优化动态和泛化行为提出了新的经验观察和理论结果。我们考虑三个具体的研究问题：（1）损失的Hessian和随机梯度的二阶矩之间的关系是什么？(2)我们如何能够表征随机优化动力学的SGD与固定和自适应步长和对角预处理的基础上的第一和第二时刻的SG？以及（3）我们如何基于损失的Hessian来表征深度网络的尺度不变泛化界，而它本身不是尺度不变的？我们阐明了这三个问题，使用理论结果支持广泛的经验观察，与实验合成数据，MNIST，和CIFAR-10，不同的批量大小，并与不同的难度水平，通过合成添加随机标签。
2019-07-24 cs.LG stat.ML
Generalization Performance of Empirical Risk Minimization on Over-parameterized Deep ReLU Nets
University of Sydney（悉尼大学）
在本文中，我们研究了在过参数化深度ReLU网络上实现经验风险最小化（ERM）的全局极小值的泛化性能。使用深度ReLU网络的一种新的深化方案，我们严格证明了在温和的条件下，存在完美的全局最小值，对于许多类型的数据，这些最小值几乎达到了最佳的泛化误差界。由于过度参数化对于确保深度ReLU网络上的ERM全局最小值可以通过广泛使用的随机梯度下降（SGD）算法实现至关重要，因此我们的结果确实填补了优化和泛化之间的空白。
2023-02-28 cs.LG
Non-vacuous Generalization Bounds for Deep Neural Networks without any modification to the trained models
Hanoi University of Science and Technology（河内科学与技术大学）；VinBigdata Institute（VinBigdata研究院）
提出一类新的数据依赖泛化界，直接应用于未修改的训练模型，通过分解泛化误差为分布复杂度和局部模型行为项，首次在大型未修改深度网络上实现非平凡泛化保证。
2026-06-01 cs.LG stat.ML
Deep Sets
Carnegie Mellon University（卡内基梅隆大学）；Amazon Web Services（亚马逊网络服务公司）
我们研究了在\emph{sets}上定义的机器学习任务的模型设计问题。与传统的操作固定维向量的方法相比，我们考虑定义在集合上的目标函数是不变的排列。这样的问题是普遍存在的，从人口统计\cite{poczos13aistats}的估计，异常检测堤坝\cite{Jung15Exploration}的测压计数据，宇宙学\cite{Ntampaka16Dynamical,Ravanbakhsh16ICML1}。我们的主要定理的特点置换不变的功能，并提供了一个家庭的功能，任何置换不变的目标函数必须属于。这一系列函数具有特殊的结构，使我们能够设计一个可以对集合进行操作的深度网络架构，并且可以部署在各种场景中，包括无监督和监督学习任务。我们还得到了置换等方差的必要条件和充分条件在深模型。我们证明了我们的方法在人口统计估计，点云分类，集合扩展和离群点检测的适用性。
2018-04-14 cs.LG stat.ML
Predicting Deep Neural Network Generalization with Perturbation Response Curves
IBM Watson（IBM沃森）；IBM Research（IBM研究院）
深度学习领域有丰富的经验证据表明，在各种预测任务中，深度学习的表现与人类相似。然而，尽管取得了这些成功，但最近的深度学习预测泛化（PGDL）NeurIPS 2020竞赛表明，需要更强大和更有效的网络泛化措施。在这项工作中，我们提出了一个新的框架来评估训练网络的泛化能力。我们使用扰动响应（PR）曲线来捕获给定网络的准确性变化，作为不同水平的训练样本扰动的函数。从这些PR曲线，我们得到新的统计，捕捉泛化能力。具体来说，我们引入了两个新的措施，准确地预测泛化差距：GI得分和Pal-score，这是由基尼系数和帕尔马比率（收入不平等的措施），准确地预测泛化差距的启发。使用我们的框架适用于类内和类间样本混合，我们获得了更好的预测分数比目前的国家的最先进的措施，在PGDL竞争的大多数任务。此外，我们还证明了我们的框架和提出的统计数据可以用来捕捉训练后的网络在多大程度上对给定的参数输入变换（如旋转或平移）是不变的。因此，这些泛化间隙预测统计也提供了一种有用的手段，用于选择对特定扰动不变的最佳网络架构和超参数。
2021-10-27 cs.AI cs.LG
