Out-Of-Distribution Generalization on Graphs: A Survey
Tsinghua University(清华大学)
图机器学习在学术界和工业界都得到了广泛的研究。尽管随着大量新兴方法和技术的出现而蓬勃发展,但大多数文献都建立在分布假设的基础上,即,测试和训练图数据是相同分布的。然而,在许多真实世界的图形场景中,当测试和训练图形数据之间存在分布偏移时,模型性能大大降低时,这种分布内假设很难得到满足。为了解决这一关键问题,图的分布外推广(out-of-distribution generalization,OOD)超越了分布内假设,取得了很大的进展,引起了研究界越来越多的关注。本文对图上的面向对象的推广进行了全面的综述,并对这一领域的最新进展进行了详细的回顾。首先,我们提供了一个正式的问题定义的图上的OOD推广。其次,我们从概念上不同的角度将现有的方法分为三类,即,数据、模型和学习策略,基于它们在图机器学习管道中的位置,然后对每个类别进行详细讨论。我们还回顾了与图上的OOD推广相关的理论,并介绍了常用的图数据集进行全面评估。最后,我们分享了我们对未来研究方向的见解。本文是第一个系统的和全面的审查图上的OOD推广,尽我们所知。
2022-12-29 cs.LG
OoD-Bench: Quantifying and Understanding Two Dimensions of Out-of-Distribution Generalization
Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学)
深度学习在独立同分布(independent and identical distributed,i.i.d.)数据然而,神经网络的性能通常在遇到分布外(OoD)数据时急剧退化,即,当训练和测试数据从不同的分布中采样时。虽然已经提出了过多的算法用于OoD泛化,但我们对用于训练和评估这些算法的数据的理解仍然停滞不前。在这项工作中,我们首先确定和测量两种不同的分布偏移,是普遍存在于各种数据集。接下来,通过大量的实验,我们比较OoD泛化算法在两组基准测试,每个占主导地位的分布偏移,揭示他们的优势,以及对其他移动的限制。总的来说,我们将来自不同研究领域的现有数据集和算法定位为同一个连贯的图像。它可以作为一个立足点,可以诉诸未来的面向对象的泛化研究。我们的代码可在www.example.com上获得。
2022-03-30 cs.LG
Understanding Robust Overfitting from the Feature Generalization Perspective
The University of Sydney(悉尼大学);University of Science and Technology of China(中国科学技术大学);Hong Kong Baptist University(香港浸会大学)
本文从特征泛化视角研究鲁棒过拟合,发现对抗扰动会降低自然数据特征的泛化能力,并提出通过调整攻击强度和数据增强来缓解过拟合并提升对抗鲁棒性。
2024-07-29 cs.LG
Unknown Examples & Machine Learning Model Generalization
在过去的几十年里,研究人员和ML从业者已经提出了越来越好的方法来构建,理解和提高ML模型的质量,但大多数情况下都假设训练数据与测试数据分布相同。然而,在许多现实世界的应用中,由于样本选择偏差,或者更一般地,由于协变量偏移,一些潜在的训练样本对于建模者是未知的,即,培训和部署阶段之间的分布偏移。训练分布和测试分布之间的差异导致ML模型的泛化性能较差,从而导致预测有偏差。我们提供了新的算法,估计这些未知的训练样本-未知的未知数的数量和属性。然后,在看到任何测试数据之前,可以使用该信息来校正训练集。其核心思想是将物种估计技术与数据驱动的方法相结合,用于估计未知未知的特征值。在各种ML模型和数据集上的实验表明,考虑未知示例可以产生更强大的ML模型,从而更好地泛化。
2019-10-11 cs.LG stat.ML
Distribution Shift Inversion for Out-of-Distribution Prediction
National University of Singapore(新加坡国立大学)
针对分布外预测中无法获取测试分布、难以直接缓解测试集分布偏移的问题,提出可移植的分布偏移反转算法,通过高斯噪声线性组合与源分布训练的扩散模型反转偏移,理论可行且能提升多种OoD算法性能。
2023-06-14 cs.CV cs.LG
Single Domain Generalization with Adversarial Memory
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院)
本文提出一种基于对抗记忆库的单域泛化方法,通过将训练和测试特征映射到由多样化记忆特征张成的不变子空间来隐式对齐域分布,并利用对抗特征生成扩展训练域分布,在标准基准上取得了最先进性能。
2025-03-08 cs.AI cs.LG
Rearranging the Familiar: Testing Compositional Generalization in Recurrent Networks
Facebook AI Research(脸书人工智能研究院);New York University(纽约大学)
系统组合性是将有意义的单位与规则和可预测的结果重新组合的能力,它被视为人类语言概括能力的关键。最近的工作研究了现代seq2seq模型中的系统组合性,在接地环境中使用泛化到新的导航指令作为探测工具,要求模型快速引导新单词的含义。我们在这里将这个框架扩展到模型只需要在新的上下文中重新组合训练有素的功能词(如“around”和“right”)的设置。我们的研究结果证实并加强了早期的研究结果:seq2seq模型可以令人印象深刻地善于推广到以前看到的输入的新组合,但只有当它们接受了关于要推广的特定模式的广泛训练时(例如,从“右周围X”到“右周围跳跃”的许多示例中概括),而当概括需要合成规则的新颖应用时失败(例如,从“右”和“左右”的含义推断“左右”的含义)。
2018-07-19 cs.AI cs.CL cs.LG
Towards Understanding the Generalization of Graph Neural Networks
Renmin University of China(中国人民大学)
本文从泛化性角度理论分析图神经网络,建立转导学习下泛化差距与梯度的概率上界,揭示架构因素影响,并通过实验验证理论一致性。
2023-05-14 cs.AI cs.LG
Robustness and Generalization
University of Texas at Austin(德克萨斯大学奥斯汀分校);Technion, Israel Institute of Technology(以色列理工学院)
我们根据学习算法的鲁棒性推导出其泛化界:如果测试样本与训练样本“相似”,则测试误差接近训练误差。这为研究学习算法的泛化提供了一种不同于复杂性或稳定性的新途径。我们进一步表明,一个弱的鲁棒性的概念是充分的和必要的推广,这意味着鲁棒性是一个基本属性的学习算法的工作。
2010-05-13 cs.LG
Context-Aware Self-Adaptation for Domain Generalization
Carleton University(卡尔顿大学);Amii(Amii研究院)
提出用于领域泛化的两阶段方法CASA,利用小批量特征均值等上下文信息自适应调整预训练模型,并通过多模型集成在标准基准上实现最先进性能。
2025-04-03 cs.AI cs.LG
BTFL: A Bayesian-based Test-Time Generalization Method for Internal and External Data Distributions in Federated learning
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出基于贝叶斯的测试时泛化方法BTFL,通过双头架构和双贝叶斯框架在样本层面平衡个性化与泛化,以应对联邦学习中内部与外部分布测试时的性能下降问题,并在多数据集上以更低时间成本取得更优效果。
2025-03-09 cs.AI cs.LG
Principled Understanding of Generalization for Generative Transformer Models in Arithmetic Reasoning Tasks
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);ShanghaiTech University(上海科技大学);University of Hong Kong(香港大学);Fudan University(复旦大学)
本文提出统一理论框架,通过分析加法、乘法及模运算,揭示平移不变性与相对位置编码对长度泛化的作用,并经GPT系列实验验证,强调任务结构与数据分布的重要性。
2025-05-30 cs.AI cs.LG
Understanding What Affects the Generalization Gap in Visual Reinforcement Learning: Theory and Empirical Evidence
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Tsinghua University(清华大学);IEG, Tencent(腾讯IEG);School of Computer Science, Peking University(北京大学计算机学院)
本文从理论与实证两方面揭示了视觉强化学习中测试环境存在干扰物时影响泛化差距的关键因素,证明最小化训练与测试环境间的表征距离是缩小泛化差距的最核心手段,并在 DMC-GB 基准上验证了该结论。
2024-10-16 cs.AI cs.LG stat.ML
Practical Assessment of Generalization Performance Robustness for Deep Networks via Contrastive Examples
University of Pennsylvania(宾夕法尼亚大学);Baidu Research, Baidu Inc.(百度公司百度研究院);Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
具有数据变换的训练图像已被建议作为对比示例,以补充用于深度神经网络(DNN)的泛化性能评估的测试集。在这项工作中,我们提出了一个实用的框架ContRE(“contre”一词在法语中的意思是“反对”或“反对”)。使用对比示例进行DNN泛化性能估计。具体来说,ContRE遵循对比学习中的假设,即具有良好泛化性能的鲁棒DNN模型能够在不同的数据变换下从同一图像中提取一致的特征集并进行一致的预测。ContRE使用一组随机化策略对训练集进行精心设计的数据转换,在生成的对比示例上采用分类错误和Fisher比率来评估和分析深度模型的泛化性能,并与测试集进行补充。为了证明ContRE的有效性和效率,已经在三个开源基准数据集上使用各种DNN模型进行了广泛的实验,并进行了彻底的消融研究和适用性分析。我们的实验结果证实:(1)对比示例上的深度模型行为与测试集上的行为密切相关;(2)ContRE是一种鲁棒的泛化性能度量,可以在各种设置下补充测试集。
2021-06-20 cs.CV cs.LG
Learning to Generalize: Meta-Learning for Domain Generalization
Queen Mary University of London(伦敦玛丽女王大学);University of Edinburgh(爱丁堡大学)
域偏移是指在一个源域中训练的模型在应用于具有不同统计数据的目标域时表现不佳的众所周知的问题。领域泛化(DG)技术试图通过产生模型来缓解这个问题,所述模型通过设计很好地泛化到新的测试领域。提出了一种新的领域泛化{元学习}方法。而不是设计一个特定的模型,是强大的域转移在大多数以前的DG工作,我们提出了一个模型不可知的训练过程DG。我们的算法模拟训练/测试域转移在训练过程中合成虚拟测试域内的每个小批量。元优化目标要求提高训练域性能的步骤也应该提高测试域性能。这个元学习过程训练具有良好泛化能力的模型到新的领域。我们评估了我们的方法,并在最近的跨域图像分类基准上取得了最先进的结果,同时在两个经典的强化学习任务上展示了其潜力。
2017-10-10 cs.LG
Testing Relational Understanding in Text-Guided Image Generation
Harvard University(哈佛大学)
关系是人类认知的基本组成部分。经典和最近的工作表明,许多关系是早期发展的,并很快被感知。渴望达到人类水平感知和推理的机器模型应该反映出对关系进行识别和生成性推理的能力。我们报告了一个系统的实证研究最近的文本引导的图像生成模型(DALL-E 2),使用一组15个基本的物理和社会关系的研究或提出的文献,并从人类参与者(N = 169)的判断。总体而言,我们发现只有约22%的图像匹配基本关系提示。基于对人们判断的定量研究,我们认为目前的图像生成模型还没有掌握涉及简单对象和代理的基本关系。我们研究模型成功和失败的原因,并根据在生物智能中观察到的计算提出可能的改进。
2022-07-29 cs.AI cs.CV cs.LG
Testing the Generalization of Neural Language Models for COVID-19 Misinformation Detection
University of Wuppertal(伍珀塔尔大学);Indian Institute of Technology Patna(巴特那印度理工学院);Charles University(查理大学)
本研究评估十五个Transformer模型在五个COVID-19错误信息数据集上的泛化能力,发现专用模型无显著优势,为未来检测系统提供现实基准。
2022-11-10 cs.AI cs.CL cs.LG
Understanding the Generalization Benefit of Normalization Layers: Sharpness Reduction
Princeton University(普林斯顿大学)
归一化层(例如,批量归一化、层归一化)被引入来帮助解决非常深的网络中的优化困难,但它们显然也有助于泛化,即使在不那么深的网络中。出于长期以来的信念,平坦的最小值导致更好的泛化,本文给出了数学分析和支持实验表明,归一化(连同伴随的重量衰减)鼓励GD,以减少损失表面的尖锐性。这里的“锐度”是仔细定义的,因为损失是尺度不变的,这是归一化的一个已知结果。具体来说,对于一个相当广泛的类神经网络与规范化,我们的理论解释了如何GD与有限的学习率进入所谓的边缘稳定(EoS)制度,并通过一个连续的尖锐度降低流的GD在这个制度的轨迹特征。
2023-01-17 cs.AI cs.LG
Powderworld: A Platform for Understanding Generalization via Rich Task Distributions
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出Powderworld,一个基于GPU的轻量级模拟环境,通过丰富任务分布研究泛化,实验显示环境复杂性对世界模型和强化学习智能体的泛化有不同影响。
2023-10-15 cs.AI cs.LG
Limitations of the NTK for Understanding Generalization in Deep Learning
MIT(麻省理工学院);Harvard University(哈佛大学);Apple(苹果公司);UCSD(加州大学圣地亚哥分校)
"神经切线核"(NTK)(Jacot et al 2018)及其经验变体已被提出作为捕获真实神经网络某些行为的代理。在这项工作中,我们研究NTK通过镜头的缩放定律,并证明他们没有解释神经网络推广的重要方面。特别是,我们展示了现实的设置,有限宽度神经网络有显着更好的数据缩放指数相比,其相应的经验和无限NTK在初始化。这揭示了真实网络和NTK之间更根本的差异,而不仅仅是测试准确率的几个百分点。此外,我们表明,即使允许经验NTK在恒定数量的样本上进行预训练,内核缩放也不会赶上神经网络缩放。最后,我们表明,经验NTK继续发展,在整个大部分的培训,与以前的工作,这表明它稳定后,几个时代的培训。总而言之,我们的工作建立了NTK方法在理解自然数据集上真实网络的泛化方面的具体限制。
2022-06-20 cs.AI cs.LG
The Erasure Illusion: Stress-Testing the Generalization of LLM Forgetting Evaluation
University of Toronto and Vector Institute(多伦多大学和向量研究所)
本文提出PSG框架,通过生成语义衍生但嵌入空间不同的替代数据集,揭示LLM无学习评估中普遍存在的度量不准确问题。
2025-12-23 cs.AI cs.CR cs.LG
CSI-4CAST: A Hybrid Deep Learning Model for CSI Prediction with Comprehensive Robustness and Generalization Testing
H. Milton Stewart School of Industrial and Systems Engineering, NSF AI Institute for Advances in Optimization (AI4OPT), Georgia Institute of Technology(H.米尔顿·斯图尔特工业与系统工程学院,国家科学基金会人工智能优化先进研究所(AI4OPT),佐治亚理工学院)
本文提出CSI-4CAST模型,结合卷积神经网络残差、自适应校正层、ShuffleNet块和Transformer,提升CSI预测的鲁棒性和泛化能力,并通过大规模数据集验证其高效性与准确性。
2026-03-23 cs.LG
Towards a Common Testing Terminology for Software Engineering and Data Science Experts
Fraunhofer Institute for Experimental Software Engineering IESE(弗劳恩霍夫实验软件工程研究所);Algorithm Accountability Lab, TU Kaiserslautern(凯泽斯劳滕工业大学算法问责实验室)
分析质量保证,特别是测试,是软件密集型系统开发的一个组成部分。随着人工智能(AI)和机器学习(ML)作为此类系统的一部分的使用越来越多,这变得更加困难,因为众所周知的软件测试方法无法直接应用于系统的AI支持部分。经典测试方法的必要调整和人工智能新概念的开发将受益于人工智能和软件工程专家之间更深入的理解和交流。我们认为,两个社区使用的不同术语是这方面的主要障碍。由于我们认为测试术语的相互理解是一个关键,本文贡献了经典软件测试和人工智能测试的最重要的概念之间的映射。在映射中,我们突出了映射概念的相关性和命名方面的差异。
2021-10-06 cs.AI cs.LG cs.SE
Understanding Deep Learning Generalization by Maximum Entropy
University of Science and Technology of China(中国科学技术大学);Beijing Jiaotong University(北京交通大学)
深度学习通过大量的模型参数实现了卓越的泛化能力。对深度学习泛化的理论理解最近受到关注,但尚未得到充分探索。本文试图从最大熵的角度提供另一种理解。首先推导出softmax回归严格应用最大熵原理的两个特征条件。然后,DNN被认为是近似的特征条件与多层特征学习,并证明了最大熵原则的递归解决方案。DNN和最大熵之间的联系很好地解释了为什么诸如捷径和正则化之类的典型设计可以提高模型的泛化能力,并为未来的模型开发提供了指导。
2017-11-21 cs.LG
Unified Regularity Measures for Sample-wise Learning and Generalization
Xi'an Jiaotong University(西安交通大学)
基础机器学习理论表明,不同的样本在学习和测试过程中的贡献是不平等的。DNN的当代研究表明,这种样本差异根源于内在模式信息的分布,即样本规则性。受最近发现的网络记忆和泛化的启发,我们提出了一对样本的规律性措施,这两个过程与配方一致的表示。具体来说,提出了累积二进制训练/泛化损失(CBTL/CBGL),即训练/测试样本在训练阶段内的正确分类的累积数量,以验证记忆泛化过程的稳定性;而遗忘/错误泛化事件,即,利用先前学习或广义样本的误分类来表示样本规则性相对于优化动态的不确定性。实验验证了所提方法在小批量SGD优化中的有效性和鲁棒性。进一步的训练/测试样本选择的应用表明,所提出的措施共享统一的计算过程,可以受益于这两个任务。
2021-08-09 cs.CV cs.LG
A Benchmark for Systematic Generalization in Grounded Language Understanding
University of Amsterdam(阿姆斯特丹大学);Massachusetts Institute of Technology(麻省理工学院);ICREA(加泰罗尼亚高等研究院);Facebook Artificial Intelligence Research(脸书人工智能研究院);Facebook AI Research(脸书人工智能研究院);New York University(纽约大学)
人类很容易理解由熟悉的部分组成的描述不熟悉情况的表达(“在摩天轮旁迎接粉红雷龙”)。相比之下,现代神经网络很难解释新的作品。在本文中,我们介绍了一个新的基准,gSCAN,用于评估成分概括在情境语言理解。gSCAN超越了专注于泛化的语法方面的相关基准,定义了一种基于网格世界状态的语言,促进了对获取语言动机规则的新评估。例如,代理人必须了解如何解释形容词,如“小”相对于当前的世界状态,或如何副词,如“谨慎”与新的动词结合。我们测试了一个强大的多模态基线模型和最先进的合成方法,发现在大多数情况下,当泛化需要系统的合成规则时,它们会显着失败。
2020-10-17 cs.AI cs.CL cs.LG
Understanding the Behaviour of the Empirical Cross-Entropy Beyond the Training Distribution
Mila(米拉)
机器学习理论主要集中在对来自与训练数据相同分布的样本的泛化。而更好地理解训练分布之外的泛化,其中观察到的分布变化对于实现更强大的泛化形式也非常重要。在本文中,我们试图通过信息度量的镜头来研究当样本的真实概率规律在训练和测试时可能不同时,特定架构的行为。我们的主要结果是,经验交叉熵和它的统计期望(相对于测试概率法测量)之间的测试差距可以有界的输入测试样本和相应的表示,在训练时获得的编码器之间的互信息的概率很高。这些理论性质的结果得到了数值模拟的支持,表明上述互信息代表了测试间隙,定性地捕捉了网络超参数的动态。
2019-05-28 cs.IT cs.LG math.IT
Towards Understanding Generalization via Decomposing Excess Risk Dynamics
Tsinghua University(清华大学);University of Michigan(密歇根大学);Shanghai Qi Zhi Institute(上海期智研究院)
泛化是机器学习的基本问题之一。然而,传统的技术,如一致收敛可能无法解释泛化下过参数化。作为替代方法,基于稳定性的技术分析训练动态并导出算法依赖的泛化界。不幸的是,基于稳定性的界限仍然远远不能解释深度学习中令人惊讶的泛化,因为神经网络通常具有不令人满意的稳定性。本文提出了一种新的分解框架,通过对信号和噪声进行更细粒度的分析来提高基于稳定性的边界,这是受到神经网络在拟合噪声时收敛相对较慢(这表明稳定性更好)的观察的启发。具体地说,我们分解的过度风险动态和应用基于稳定性的界限上的噪声分量。分解框架在线性制度(过参数化线性回归)和非线性制度(对角矩阵恢复)中表现良好。神经网络上的实验验证了分解框架的实用性。
2022-03-19 cs.AI cs.LG stat.ML
Understanding Generalization via Set Theory
\ Researcher
本文运用集合论定义泛化概念,提出替代泛化过程定理,并通过MNIST实验验证,发现样本基和网络结构对性能影响显著。
2023-11-11 cs.LG
Improving Generalization in Reinforcement Learning with Mixture Regularization
National University of Singapore(新加坡国立大学);ByteDance AI Lab(字节跳动人工智能实验室)
深度强化学习(RL)在有限的环境中训练的代理往往会遭受过拟合,并且无法推广到看不见的测试环境。为了提高其通用性,数据增强的方法(如剪切和随机卷积),以前探索增加数据的多样性。然而,我们发现这些方法只是局部扰动的观察,无论训练环境,提高数据的多样性和泛化性能表现出有限的效果。在这项工作中,我们介绍了一种简单的方法,名为mixreg,它训练代理的混合观察来自不同的训练环境,并施加线性约束的观察插值和监督(例如相关的奖励)插值。Mixreg更有效地增加了数据多样性,并帮助学习更顺畅的策略。我们验证了其有效性,提高泛化进行了广泛的实验上的大型Procgen基准。结果显示,mixreg在看不见的测试环境中的性能远远优于成熟的基线。Mixreg简单、有效、通用。它可以应用于基于策略和基于值的RL算法。代码可在https://github.com/kaixin96/mixreg上获得。
2020-10-21 cs.AI cs.LG stat.ML
From Feelings to Metrics: Understanding and Formalizing How Users Vibe-Test LLMs
Technion – Israel Institute of Technology(技术离子-以色列理工学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
研究用户通过非正式经验评估LLM的方式,并形式化该过程以支持系统分析,通过个性化测试和用户感知标准改进模型评估。
2026-08-06 cs.AI cs.CL cs.LG
Understanding Understanding: A Pragmatic Framework Motivated by Large Language Models
AI21 Labs(AI21实验室);University of British Columbia(不列颠哥伦比亚大学);Stanford University(斯坦福大学)
针对大语言模型是否具备人类级理解能力的争议,提出了基于问答表现、通过随机抽样和概率置信边界判断智能体理解能力的实用框架,还发现附解释可降低样本复杂度,该框架可用于测试和构建有理解能力的AI。
2024-06-19 cs.AI cs.CL cs.LG
With Greater Distance Comes Worse Performance: On the Perspective of Layer Utilization and Model Generalization
CyCraft AI Lab(CyCraft AI实验室)
深度神经网络的泛化仍然是机器学习中的主要开放问题之一。以前的理论工作集中在推导模型复杂性的严格界限,而经验工作表明,神经网络表现出双下降的训练样本计数和神经网络的大小。在本文中,我们实证研究了神经网络的不同层如何对模型做出不同的贡献;我们发现,早期层通常会学习与训练数据和测试数据的性能相关的表示。实际上,更深的层只能最大限度地降低训练风险,并且无法很好地推广测试或错误标记的数据。我们进一步说明训练的权重到最终层的初始值的距离与泛化误差具有高度相关性,并且可以作为模型过拟合的指标。此外,我们通过重新初始化最终层的权重来支持训练后正则化。我们的研究结果提供了一种有效的方法来估计神经网络的泛化能力,这些定量结果的洞察力可能会启发推导出更好的泛化范围,考虑到神经网络的内部结构。
2022-01-28 cs.LG
Understanding diffusion models requires rethinking (again) generalization
Inria(法国国家信息与自动化研究所);École Normale Supérieure, PSL Research University(法国国家科学研究中心-巴黎高等师范学院);LPSM, Sorbonne University(巴黎高等师范学院-勒维克概率与统计实验室);Google DeepMind(谷歌DeepMind)
本文探讨扩散模型泛化问题需新的理论框架,指出记忆训练数据与泛化矛盾,提出研究模型预记忆阶段学习内容的重要性。
2026-05-07 cs.LG
Scale Calibrated Training: Improving Generalization of Deep Networks via Scale-Specific Normalization
Georgia Institute of Technology(佐治亚理工学院);SenseTime Research(商汤科技研究院)
标准的卷积神经网络(CNN)在训练和测试阶段都需要一致的图像分辨率。然而,在实践中,使用较小的图像尺寸进行测试对于快速推断是必要的。我们发现,在用高分辨率图像训练的网络上对低分辨率图像进行平凡的评估会导致标准CNN架构的准确性出现灾难性的下降。我们提出了一种新的训练机制,称为尺度校准训练(SCT),它允许网络同时从各种尺度的输入中学习。通过利用SCT的优势,单个网络可以在测试时间提供相当的准确性,以响应多个测试尺度。在我们的分析中,我们惊讶地发现,香草批量归一化可以导致次优性能的SCT。因此,一种新的规范化方案,称为规模特定批量规范化配备给SCT,以取代批量归一化。实验结果表明,当测试224和128的图像尺寸时,SCT将ImageNet上单个Resnet-50的准确率分别提高了1.7%和11.5%。
2020-09-07 cs.CV cs.LG
Understanding Generalization through Visualizations
University of Maryland(马里兰大学)
神经网络的强大之处在于它们能够概括看不见的数据,但这种现象的根本原因仍然难以捉摸。已经进行了许多严格的尝试来解释泛化,但可用的界限仍然相当松散,分析并不总是导致真正的理解。这项工作的目标是使泛化更直观。使用可视化方法,我们讨论了泛化的奥秘,损失景观的几何形状,以及维度的诅咒(或者说祝福)如何导致优化器陷入最小值,推广良好。
2020-11-15 cs.LG cs.NE stat.ML
Understanding Generalization in Quantum Machine Learning with Margins
Department of Statistics and Data Science(统计与数据科学系);Yonsei University(延世大学);Department of Applied Statistics(应用统计学系)
本文提出基于边距的泛化界限,通过量子信息理论与经典-量子混合方法提升量子机器学习的泛化能力。
2024-11-11 cs.LG quant-ph
GenEFT: Understanding Statics and Dynamics of Model Generalization via Effective Theory
Massachusetts Institute of Technology(麻省理工学院)
本研究提出GenEFT有效理论框架,结合图学习实验揭示神经网络泛化的静力学与动力学规律,解释泛化相变现象,为衔接机器学习理论与实践提供物理学启发的新路径。
2025-03-20 cs.LG
Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing
Sun Yat-sen University(中山大学);University of Oxford(牛津大学)
提出了一种权值相似性度量方法,可以量化非凸神经网络的权值相似性。为了理解不同训练模型的权重相似性,我们提出从神经网络的权重中提取特征表示。我们首先通过引入一个链规范化规则来规范化神经网络的权值,该规则用于权值表示学习和权值相似性度量。我们将传统的假设检验方法扩展为假设训练检验统计推断方法来验证关于神经网络权值相似性的假设。利用链归一化规则和新的统计推断方法,研究了多层感知器(MLP)、卷积神经网络(CNN)和递归神经网络(RNN)的权值相似性度量,发现用随机梯度下降(SGD)算法优化的同一神经网络的权值在度量空间中收敛到相似的局部解.权值相似性度量提供了对神经网络局部解的更深入的了解。在多个数据集上的实验一致地验证了权重相似性度量的假设。
2022-08-08 cs.CV cs.LG math.ST
Understanding the Generalization of In-Context Learning in Transformers: An Empirical Study
Tsinghua University(清华大学)
该研究通过三维任务框架实证探究Transformer上下文学习的泛化能力,发现其缺乏问题间泛化但任务内、问题内泛化优异,混合多样训练任务可显著提升泛化效果,为训练数据设计提供指导。
2025-03-19 cs.LG
Generalization of Graph Neural Networks is Robust to Model Mismatch
University of Pennsylvania(宾夕法尼亚大学);Massachusetts Institute of Technology(麻省理工学院)
本文分析几何图GNN在训练与测试流形模型失配下的泛化界,证明其对节点特征和边扰动具有鲁棒性,并揭示节点数、流形维度、失配程度及高频分辨能力的影响。
2024-09-10 cs.LG eess.SP
A Formal Framework for Understanding Length Generalization in Transformers
Saarland University(萨尔大学);University of Notre Dame(圣母大学);University of Oxford(牛津大学);Apple(苹果公司)
本文引入了一个严格的理论框架,分析具有可学习绝对位置编码的因果 Transformer 的长度泛化问题,刻画了可识别函数并证明了其泛化可能性,且通过实验验证了该理论能有效预测长度泛化的成功与失败。
2025-04-30 cs.LG
Understanding the Generalization Benefits of Late Learning Rate Decay
Stanford University(斯坦福大学)
本文通过可视化训练与测试损失轨迹并构建非线性模型,证明延长的大学习率阶段可引导 SGD 趋向最小范数解并实现近最优泛化。
2024-01-21 cs.LG stat.ML
Self-Challenging Improves Cross-Domain Generalization
Carnegie Mellon University(卡内基梅隆大学)
卷积神经网络(CNN)通过激活与标签相关的主导特征来进行图像分类。当训练数据和测试数据处于相似的分布下时,它们的主要特征是相似的,这通常有助于在测试数据上表现出良好的性能。然而,当对来自不同分布的样本进行测试时,性能未得到满足,从而导致跨域图像分类的挑战。我们引入了一个简单的训练启发式,表示自适应(RSC),显着提高了CNN到域外数据的泛化。RSC迭代地挑战(丢弃)在训练数据上激活的主要特征,并迫使网络激活与标签相关的剩余特征。这个过程似乎激活适用于域外数据的特征表示,而无需事先了解新的域,也无需学习额外的网络参数。本文给出了改进跨领域泛化的RSC的理论性质和条件。实验结果表明,我们的RSC方法简单,有效和架构不可知的性质。
2020-07-05 cs.CV cs.LG
Evaluating natural language processing models with generalization metrics that do not need access to any training or testing data
Dartmouth College(达特茅斯学院);University of California, Berkeley(加州大学伯克利分校);University of Melbourne(墨尔本大学);Calculation Consulting(计算咨询公司);International Computer Science Institute(国际计算机科学研究所);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文面向NLP任务评估无需训练或测试数据的泛化指标,通过51个Huggingface预训练Transformer和28种指标,发现重尾类指标更能预测测试误差。
2023-06-04 cs.CL cs.LG
Understanding Generalization in Node and Link Prediction
Computer Science Department, RWTH Aachen University(亚琛工业大学计算机科学系)
本文提出统一框架分析MPNNs在归纳式和直推式节点与链路预测中的泛化性质,整合架构参数与损失函数并量化图结构影响,该框架也适用于任何分类任务,实证研究支持了理论见解。
2025-10-30 cs.LG
Improved Generalization of Heading Direction Estimation for Aerial Filming Using Semi-supervised Regression
Carnegie Mellon University(卡内基梅隆大学);Yamaha Motor Co., Ltd.(雅马哈发动机有限公司)
在移动演员(例如,人或车辆)的自主空中拍摄任务中,根据视觉输入对演员进行良好的航向方向估计是至关重要的。然而,在其他类似的任务,如行人碰撞风险分析和人机交互,获得的模型是非常困难的,推广到空中拍摄任务,因为数据分布的差异。为了在较少的标记数据量下提高泛化能力,提出了一种半监督航向估计算法。我们利用时间连续性作为无监督信号来正则化模型,并获得更好的泛化能力。这种半监督算法被应用于训练和测试阶段,这大大提高了测试性能。我们表明,通过利用未标记的序列,所需的标记数据量可以显着减少。我们还讨论了通过平衡标记和未标记损失以及进行良好的组合来提高性能的几个重要细节。实验结果表明,我们的方法鲁棒输出的航向不同类型的演员。在航拍任务中,视频的美学价值也得到了提升。
2019-03-26 cs.AI cs.CV cs.LG
Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks
Institute for Advanced Study(高等研究院);Princeton University(普林斯顿大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);New York University(纽约大学);Facebook AI Research & Courant Institute(脸书人工智能研究和库朗研究所)
尽管现有的工作,以确保推广的神经网络的规模敏感的复杂性措施,如规范,利润和锐度,这些复杂性措施没有提供一个解释,为什么神经网络更好地推广过参数化。在这项工作中,我们提出了一种新的基于单位容量的复杂性度量,从而为双层ReLU网络提供了更严格的泛化范围。我们的容量界限与测试误差的行为相关,随着网络规模的增加,并且可以潜在地解释过度参数化在泛化方面的改进。我们进一步给出了Rademacher复杂度的匹配下界,该下界比之前的神经网络容量下界有所改进。
2018-05-30 cs.LG stat.ML
Understanding training and generalization in deep learning by Fourier analysis
New York University Abu Dhabi(纽约大学阿布扎比分校);Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所)
背景资料:从理论上理解为什么深度神经网络(DNN)-配备了比训练数据更多的参数并通过(随机)基于梯度的方法进行训练-通常可以实现非常低的泛化误差,这仍然是一个开放的研究领域。贡献:我们通过傅立叶分析来研究DNN训练。我们的理论框架解释了:i)基于(随机)梯度方法的DNN通常在训练过程中赋予目标函数的低频分量更高的优先级; ii)小的初始化导致DNN具有良好的泛化能力,同时保留DNN拟合任何函数的能力。这些结果进一步证实了DNN拟合以下数据集,即自然图像,一维函数和MNIST数据集的实验。
2018-11-29 cs.AI cs.LG math.OC
Learning to generate imaginary tasks for improving generalization in meta-learning
City University of Hong Kong(香港城市大学);Tencent AI Lab(腾讯人工智能实验室)
元学习在现有基准上的成功是基于元训练任务的分布覆盖元测试任务的假设。在任务不足或元训练任务分布非常窄的应用中,经常违反假设会导致记忆或学习者过拟合。最近的解决方案追求元训练任务的增强,而生成正确和足够想象的任务仍然是一个悬而未决的问题。在本文中,我们寻求一种方法,通过任务上采样网络从任务表示中对元训练任务进行上采样。此外,由此产生的方法称为对抗任务上采样(ATU)足以生成任务,可以通过最大化对抗损失来最大限度地为最新的元学习者做出贡献。在Few-Shot正弦回归和图像分类数据集上,我们经验性地验证了ATU在元测试性能和上采样任务的质量方面比最先进的任务增强策略有显著的改进。
2022-06-09 cs.LG
Towards Understanding the Generalization Bias of Two Layer Convolutional Linear Classifiers with Gradient Descent
Carnegie Mellon University(卡内基梅隆大学)
理解深度学习泛化的一个主要挑战是解释为什么(随机)梯度下降可以利用网络架构找到在使用高容量模型时具有良好泛化性能的解决方案。我们发现简单但现实的例子表明,即使在学习线性分类器时也存在这种现象-在两个具有相同容量的线性网络之间,当数据分布具有某种潜在的空间结构时,具有卷积层的网络可以比另一个网络更好地泛化。我们认为,这种差异是由卷积架构、数据分布和梯度下降的组合造成的,所有这些都是有意义的分析所必需的。我们提供了一个一般的分析的泛化性能作为数据分布和卷积滤波器大小的函数,给定的梯度下降的优化算法,然后解释使用具体的例子的结果。实验结果表明,我们的分析是能够解释发生在我们介绍的例子。
2019-02-10 cs.LG stat.ML
A New Perspective for Understanding Generalization Gap of Deep Neural Networks Trained with Large Batch Sizes
Spire Global(斯派尔全球);Post Luxembourg(卢森堡邮政);University of Luxembourg(卢森堡大学)
深度神经网络(DNN)通常使用各种形式的小批量梯度下降算法来优化。小批量梯度下降的一个主要动机是,通过适当选择的批量大小,可以最佳地利用(包括并行化)可用的计算资源进行快速模型训练。然而,许多作品报告了当训练批量大小增加超过一定限度时,模型泛化能力的逐渐丧失。这是一个通常被称为泛化差距的场景。虽然一些工作提出了不同的方法来缓解推广差距的问题,一个统一的解释理解推广差距仍然缺乏文献。这一点尤其重要,因为最近的研究发现,针对泛化缺口问题提出的几种解决方案,如学习率缩放和增加训练预算,并没有真正解决这个问题。因此,本文的主要论述是调查并提供新的视角,以研究大批量训练的DNN的泛化损失来源。我们的分析表明,大的训练批量会导致单元激活(即输出)张量的近秩损失增加,从而影响模型优化和泛化。使用CIFAR-10、CIFAR-100、Fashion-MNIST和MNIST数据集对流行的DNN模型(如VGG-16、残差网络(ResNet-56)和LeNet-5)进行了广泛的实验验证。
2022-10-21 cs.CV cs.LG
Mind the Gap: Towards Generalizable Autonomous Penetration Testing via Domain Randomization and Meta-Reinforcement Learning
College of Electronic Engineering, National University of Defense Technology(国防科技大学电子工程学院);Beijing National Research Center for Information Science and Technology, Tsinghua University(清华大学北京信息科学与技术国家研究中心);College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机学院)
针对基于强化学习的自主渗透测试存在的训练环境困境和泛化能力差问题,提出GAP框架,通过Real-to-Sim-to-Real流水线、大语言模型驱动的域随机化及元强化学习,实现现实环境高效训练与跨场景泛化。
2025-02-11 cs.CR cs.LG
Towards Understanding Sharpness-Aware Minimization
EPFL(洛桑联邦理工学院)
Sharpness-Aware Minimization(SAM)是最近的一种训练方法,它依赖于最坏情况下的权重扰动,从而显着提高了各种设置中的泛化能力。我们认为,现有的理由SAM的成功,这是基于PAC贝叶斯推广界和平坦的最小值收敛的想法是不完整的。此外,没有解释SAM中使用$m$ -锐度的成功,这已被证明是推广的必要条件。为了更好地理解SAM的这一方面,我们从理论上分析了对角线性网络的隐式偏差。我们证明了SAM总是选择一个解决方案,享有更好的推广性能比标准的梯度下降的某一类问题,这种效果被放大使用$m$ -sharpness。我们进一步研究了非线性网络上隐式偏差的性质,我们表明,用SAM微调标准模型可以导致显着的泛化改进。最后,我们提供了收敛结果SAM的非凸目标时,使用随机梯度。我们在深度网络中实证说明了这些结果,并讨论了它们与SAM泛化行为的关系。我们的实验代码可在https://github.com/tml-epfl/understanding-sam上获得。
2022-06-13 cs.LG