Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics
Calculation Consulting（计算咨询公司）；ICSI（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
为了更好地理解最先进的神经网络（NN）模型的良好泛化性能，特别是基于重尾自正则化（HT-SR）理论的ALPHAHAT度量的成功，我们分析了一个公开的模型语料库，用于预测NN的泛化精度。这些模型包括广泛的质量，并使用一系列架构和正则化超参数进行训练。我们将ALPHAHAT分解为两个子组件度量：基于尺度的度量和基于形状的度量。我们确定了什么是辛普森悖论：“规模”指标（来自传统统计学习理论）在总体上表现良好，但是当正则化超参数变化时，在给定深度的数据的子分区上表现不佳;并且其中“形状”度量（来自HT-SR理论）在数据的每个子分区上表现良好，当超参数对于给定深度的模型变化时，但是当聚集具有变化深度的模型时，总体上表现不佳。我们的研究结果强调了当架构和超参数都不同时比较模型的微妙性;隐式尺度与隐式形状参数在理解NN模型质量方面的互补作用;以及需要超越基于泛化理论上限的一刀切度量来描述NN模型的性能。我们的研究结果还进一步阐明了为什么HT-SR理论的ALPHAHAT度量在预测广泛的CV和NLP模型的泛化方面效果如此之好。
2022-02-08 cs.LG stat.ML
Tight and fast generalization error bound of graph embedding in metric space
King’s College London（伦敦国王学院）；RIKEN（理化学研究所）；Kyushu Institute of Technology（九州工业大学）；University of Greenwich（格林威治大学）；Duke Kunshan University（昆山杜克大学）
本文针对非欧几里得度量空间中的图嵌入，通过局部Rademacher复杂度提出了更紧且更快的泛化误差上界，证明其性能优于现有理论预测，且所需训练数据更少。
2023-05-13 cs.LG stat.ML
Supervised Categorical Metric Learning with Schatten p-Norms
University of New South Wales（新南威尔士大学）；University of Joseph Fourier（约瑟夫·傅里叶大学）
度量学习在学习适应数值数据集的新度量方面已经取得了成功。然而，它在分类数据上的发展仍需要进一步的探索。在本文中，我们提出了一种方法，称为CPML的\emph{categorical projected metric learning}，试图有效地~（即更少的计算时间和更好的预测精度）解决问题的度量学习分类数据。我们使用值距离度量来表示我们的数据，并基于此表示提出新的距离。然后，我们展示了如何有效地学习新的指标。我们还通过Schatten $p$ -范数推广了几个以前的正则化器，并为其提供了一个泛化界，补充了度量学习的标准泛化界。实验结果表明，我们的方法提供了
2020-02-26 cs.LG stat.ML
Adaptive Metric Dimensionality Reduction
Ariel University（阿里埃勒大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Weizmann Institute of Science（魏茨曼科学研究所）
在一般度量空间中，我们研究了监督学习背景下的自适应数据相关降维问题。我们的主要统计贡献是一个推广的Lipschitz函数在度量空间的两倍，或接近一倍。在算法方面，我们描述了一个类似的PCA度量空间：即一个有效的程序，近似数据的内在维度，这往往是远低于环境维度。因此，我们的方法利用了低维度的双重好处：（1）更有效的算法，例如，用于邻近搜索，以及（2）更乐观的泛化边界。
2015-03-25 cs.DS cs.LG stat.ML
Understanding Generalization in Quantum Machine Learning with Margins
Department of Statistics and Data Science（统计与数据科学系）；Yonsei University（延世大学）；Department of Applied Statistics（应用统计学系）
本文提出基于边距的泛化界限，通过量子信息理论与经典-量子混合方法提升量子机器学习的泛化能力。
2024-11-11 cs.LG quant-ph
Integral Probability Metrics PAC-Bayes Bounds
Technion - Israel Institute of Technology（以色列理工学院）；Google Research（谷歌研究院）
我们提出了一个PAC-Bayes风格的泛化界，使各种积分概率距离（IPM）的KL发散的替代。我们提供了这个界限的实例与IPM的总变差度量和瓦瑟斯坦距离。一个显着的特点，所获得的界限是，他们自然插值之间的经典一致收敛界在最坏的情况下（当前和后是远离对方），并在有利的情况下（当后和前是关闭）改进的界限。这说明了加强经典的泛化界与算法和数据相关的组件的可能性，从而使它们更适合于分析算法，使用一个大的假设空间。
2022-12-25 cs.LG stat.ML
Domain Generalization via Optimal Transport with Metric Similarity Learning
Laval University（拉瓦尔大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Western Ontario（西安大略大学）
将知识推广到数据和标签不可用的未知领域，对于机器学习模型至关重要。我们解决了领域泛化问题，从多个源域学习，并推广到一个目标域未知的统计数据。关键的思想是提取所有领域的基本不变特征。以往的领域泛化方法主要集中在学习不变特征和堆叠学习的特征从每个源域推广到一个新的目标域，而忽略了标签信息，这将导致不可区分的特征和模糊的分类边界。为此，一种可能的解决方案是在提取不变特征时约束标签相似性，并利用标签相似性来实现跨域特征的类特定内聚和分离。因此，我们采用Wasserstein距离的最佳传输，这可以约束类标签相似性，用于对抗训练，并进一步部署度量学习目标，以利用标签信息来实现可区分的分类边界。实证结果表明，我们提出的方法可以优于大多数的基线。此外，消融研究也证明了我们的方法的每个组成部分的有效性。
2022-04-04 cs.CV cs.LG
Exploiting Explainable Metrics for Augmented SGD
University of New Brunswick（新不伦瑞克大学）；University of Toronto（多伦多大学）
解释深度学习的泛化特性是高级机器学习中的一个新兴课题。关于随机优化下的学习如何真正起作用以及为什么某些策略比其他策略更好，有几个问题没有得到解答。在本文中，我们解决了以下问题：\textit{can we probe intermediate layers of a deep neural network to identify and quantify the learning quality of each layer?}考虑到这个问题，我们提出了新的可解释性指标，测量冗余信息的网络层使用低秩分解框架和量化的复杂性措施，是高度相关的泛化性能的一个给定的优化器，网络和数据集。随后，我们利用这些指标来增强随机梯度下降（SGD）优化器，自适应地调整每一层的学习率，以提高泛化性能。我们的增强SGD -被称为RMSGD -与SOTA方法相比，引入了最小的计算开销，并通过在应用程序，架构和数据集上表现出强大的泛化特性来超越它们。
2022-03-31 cs.CV cs.LG
Hausdorff Dimension, Heavy Tails, and Generalization in Neural Networks
LTCI Télécom Paris（巴黎电信）；Institut Polytechnique de Paris（巴黎综合理工学院）；University of Oxford（牛津大学）；Intel Labs（英特尔研究院）；The Alan Turing Institute（艾伦·图灵研究所）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
尽管在广泛的应用中取得了成功，但在非凸深度学习问题中表征随机梯度下降（SGD）的泛化特性仍然是一个重要的挑战。虽然最近通过重尾梯度噪声下的随机微分方程（SDEs）对SGD的轨迹进行建模，揭示了SGD的几个独特特征，但在学习理论框架中对此类SDEs的泛化特性进行严格处理仍然缺失。为了弥补这一差距，在本文中，我们证明了推广的SGD的假设下，它的轨迹可以很好地近似的\emph{Feller process}，它定义了丰富的一类马尔可夫过程，包括几个最近的马尔可夫表示（布朗或重尾）作为其特殊情况。我们表明，泛化误差可以控制的轨迹，这是密切相关的尾部行为的驾驶过程中的\emph{Hausdorff dimension}。我们的研究结果表明，长尾过程应该实现更好的推广，因此，尾指数的过程可以被用来作为一个概念的“能力度量”。我们通过在深度神经网络上的实验来支持我们的理论，这些实验表明，所提出的容量度量准确地估计了泛化误差，并且与文献中现有的容量度量不同，它不一定会随着参数的数量而增长。
2021-05-22 cs.LG stat.ML
Training Well-Generalizing Classifiers for Fairness Metrics and Other Data-Dependent Constraints
Google AI（谷歌人工智能）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；Cornell University（康奈尔大学）；Kakao Mobility（Kakao出行）
分类器可以用数据相关的约束来训练，以满足公平性目标，减少流失，实现有针对性的误报率或其他策略目标。我们研究了这种约束优化问题的泛化性能，考虑到它们在训练时得到满足，在评估时约束得到满足的程度。为了提高泛化性能，我们将问题框定为两个玩家的游戏，其中一个玩家在训练数据集上优化模型参数，另一个玩家在独立的验证数据集上执行约束。我们建立在最近的工作在两个球员的约束优化表明，如果使用这种两个数据集的方法，那么约束泛化可以显着提高。正如我们实验所示，这种方法不仅在理论上，而且在实践中。
2018-09-28 cs.LG stat.ML
Orthogonality-Promoting Distance Metric Learning: Convex Relaxation and Theoretical Analysis
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（佩图姆公司）；Peking University（北京大学）
距离度量学习（DML），从标记的“相似”和“不相似”的数据对学习距离度量，被广泛使用。最近，一些工作研究了正交性促进正则化（OPR），它鼓励DML中的投影向量接近正交，以实现三个效果：（1）高平衡性-在频繁和不频繁类上都实现相当的性能;（2）高紧凑性-使用少量投影向量来实现"好"度量;（3）良好的推广性--减轻对训练数据的过拟合。虽然显示出有希望的结果，但这些方法存在三个问题。首先，它们涉及解决非凸优化问题，其中实现全局最优是NP难的。第二，缺乏对OPR为什么能导致平衡的理论理解。第三，目前对OPR的泛化误差分析不是直接针对正则化器。在本文中，我们解决这三个问题：（1）寻求凸松弛的原始非凸问题，使全局最优是保证可实现的;（2）提供一个正式的分析OPR的能力，促进平衡;（3）提供一个理论分析，直接揭示OPR和泛化性能之间的关系。在各种数据集上的实验表明，与非凸方法相比，我们的凸方法在促进平衡性，紧凑性和泛化方面更有效，并且计算效率更高。
2018-02-16 cs.LG stat.ML
Generalization Metrics for Practical Quantum Advantage in Generative Models
University of Oxford（牛津大学）；Zapata Computing Canada Inc.（加拿大扎帕塔计算公司）
本研究提出基于泛化性能的采样度量，用于无歧义评估生成模型的实用量子优势，实验显示量子启发模型在生成新颖有效样本上较GAN有68倍提升。
2023-05-11 cs.LG quant-ph
Combining Varied Learners for Binary Classification using Stacked Generalization
Vidyalankar Institute of Technology（维德亚兰卡技术学院）；University of Mumbai（孟买大学）
机器学习有各种各样的学习算法，当相互比较时，这些算法在某些方面更好，但所有算法都会遇到的一个共同错误是具有非常高维特征集的训练数据。这通常会导致算法陷入泛化误差，从而降低性能。这可以使用称为堆叠的包围学习方法来解决，通常称为堆叠泛化。在本文中，我们使用Stacked Generalization对高维多囊卵巢综合征数据集进行二进制分类，并证明了模型变得通用，度量显着提高。本文给出了各种指标，还指出了一个微妙的越轨发现与受试者工作特征曲线，被证明是不正确的。
2022-02-17 cs.LG
Predicting Generalization in Deep Learning via Metric Learning -- PGDL Shared task
Jožef Stefan Institute（约瑟夫·斯特凡研究所）；Jožef Stefan International Postgraduate School（约瑟夫·斯特凡国际研究生院）
“预测深度学习的泛化（PGDL）”竞赛旨在为严格研究深度学习模型的泛化提供一个平台，并深入了解理解和解释这些模型的进展。本报告介绍了用户\emph{smeznar}提交的解决方案，该解决方案在竞赛中获得了第八名。在所提出的方法中，我们创建简单的度量，并在所提供的数据集上自动测试，找到它们的最佳组合，探索如何将输入神经网络架构的各种属性的组合用于预测其泛化。
2020-12-16 cs.LG stat.ML
Generalization analysis with deep ReLU networks for metric and similarity learning
RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道工业大学）；University of Sydney（悉尼大学）
本文研究了度量与相似性学习的泛化性能，通过构建结构化的深度ReLU神经网络来近似真实度量，并推导出显式的泛化误差界，首次为该领域提供了明确的泛化分析。
2026-05-17 cs.LG stat.ML
Quantifying Membership Inference Vulnerability via Generalization Gap and Other Model Metrics
University of Central Florida（中佛罗里达大学）；University of Texas San Antonio（德克萨斯大学圣安东尼奥分校）
我们演示了目标模型的泛化差距如何直接导致一个有效的确定性黑盒成员推断攻击（MIA）。这提供了基于简单度量的模型对MIA的安全性的上限。此外，这种攻击被证明是最佳的预期意义上只访问某些可能获得的度量有关的网络的训练和性能。实验表明，这种攻击在许多情况下与最先进的MIA的准确性相当。
2020-09-11 cs.CR cs.LG stat.ML
Toward a Generalization Metric for Deep Generative Models
Deakin University（迪肯大学）
由于维数灾难，测量深度生成模型（DGMs）的泛化能力是困难的。DGMs的评估指标，如初始分数，Fréchet初始距离，精确召回和神经网络发散，试图使用多项式样本数估计生成的分布和目标分布之间的距离。这些指标是研究人员在设计新模型时的目标。尽管有这些说法，但仍然不清楚他们能在多大程度上衡量生成模型的泛化能力。在本文中，我们调查的能力，这些指标在衡量泛化能力。我们介绍了一个框架，比较评估指标的鲁棒性。我们表明，在这些指标更好的分数并不意味着更好的泛化。它们很容易被记住训练集的一小部分的生成器欺骗。我们建议修复NND度量，使其对生成的数据中的噪声更具鲁棒性。为了建立一个强大的度量泛化，我们建议将最小描述长度原则应用于评估DGMs的问题。我们开发了一种有效的方法来估计生成潜变量模型（GLVMs）的复杂性。实验结果表明，该度量可以有效地检测训练集记忆，区分不同泛化能力的GLVM。源代码可在https://github.com/htt210/GeneralizationMetricGAN上获得。
2021-05-24 cs.LG
Catching Image Retrieval Generalization
Tinkoff（Tinkoff公司）
针对Recall@K指标受类别数影响而无法准确估计泛化的问题，提出一种新指标以衡量检索性能并估计泛化，应用于图像检索方法，为深度度量学习泛化提供新见解。
2023-06-23 cs.CV cs.LG
Our Evaluation Metric Needs an Update to Encourage Generalization
Arizona State University（亚利桑那州立大学）
在几个流行的基准测试中超过人类表现的模型在暴露于分布外（OOD）数据时表现出显着的性能下降。最近的研究表明，模型过度拟合虚假的偏见和“黑客”数据集，而不是像人类一样学习可概括的特征。为了阻止模型性能的膨胀--从而高估AI系统的能力--我们提出了一个简单而新颖的评估指标，WOOD Score，它鼓励在评估过程中进行泛化。
2020-07-14 cs.AI cs.CL cs.CV
Generalization of metric classification algorithms for sequences classification and labelling
Bauman Moscow State Technical University（莫斯科鲍曼国立技术大学）
本文讨论了度量分类算法的改进问题。特别是，它研究了算法的k-最近的邻居，其应用程序的顺序数据。提出了一种度量分类算法的推广方法。作为它的一部分，已经开发了一种算法来解决序列数据的分类和标记问题。文中还讨论了所开发的分类算法与现有算法相比的优点。在开放数据集CoNLL 2000上进行了组块识别实验，并与CRF算法进行了比较。
2016-12-16 cs.CL cs.LG
Generalization of Quantum Machine Learning Models Using Quantum Fisher Information Metric
Quantum Research Center, Technology Innovation Institute（技术创新研究院量子研究中心）；Blackett Laboratory, Imperial College London（伦敦帝国理工学院布莱克特实验室）
本文提出数据量子 Fisher 信息度量 DQFIM，用以刻画变分量子算法容量，并结合动力学李代数分析参数、训练数据、对称性及分布外泛化。
2024-07-27 cs.LG quant-ph stat.ML
Towards GAN Benchmarks Which Require Generalization
Google Brain（谷歌大脑）
对于通常用作无条件图像生成基准的许多评估指标，简单地记忆训练集可以获得比被认为是最先进的模型更好的分数;我们认为这是有问题的。我们澄清了一个评估指标不这样做的必要条件：估计函数必须需要模型的大样本。为了寻找这样一个度量，我们转向神经网络分歧（NND），它是根据训练来区分分布的神经网络定义的。由此产生的基准不能通过训练集记忆来“获胜”，同时仍然是感知相关的，并且只能从样本中计算。我们调查过去的工作，使用NND进行评估，并实现了一个例子黑盒指标的基础上，这些想法。通过实验验证，我们表明，它可以有效地衡量多样性，样本质量和泛化。
2020-01-10 cs.LG stat.ML
Abstraction Mechanisms Predict Generalization in Deep Neural Networks
深度神经网络（DNN）的一个长期问题是理解它们令人困惑的泛化能力。我们通过\textit{cognitive abstraction mechanisms}的非传统角度来处理这个问题，从最近的神经科学工作中汲取灵感，使我们能够定义DNN的认知神经激活度量（CNA），这是给定输入的信息复杂性（熵）与网络深层中较高激活值的集中度之间的相关性。CNA对泛化能力具有高度预测性，在对超过100个小网络和网络架构组合的广泛评估中，表现优于基于范数和边缘的泛化度量，特别是在存在加性噪声和/或训练标签损坏的情况下。这些强有力的实证结果表明了CNA作为泛化度量的有用性，并鼓励进一步研究信息复杂性与网络深层表示之间的联系，以便更好地理解DNN的泛化能力。
2020-04-17 cs.LG q-bio.NC stat.ML
Evaluating natural language processing models with generalization metrics that do not need access to any training or testing data
Dartmouth College（达特茅斯学院）；University of California, Berkeley（加州大学伯克利分校）；University of Melbourne（墨尔本大学）；Calculation Consulting（计算咨询公司）；International Computer Science Institute（国际计算机科学研究所）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文面向NLP任务评估无需训练或测试数据的泛化指标，通过51个Huggingface预训练Transformer和28种指标，发现重尾类指标更能预测测试误差。
2023-06-04 cs.CL cs.LG
Tree Mover's Distance: Bridging Graph Metrics and Stability of Graph Neural Networks
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
理解机器学习模型的泛化和鲁棒性从根本上依赖于在数据空间上假设适当的度量。识别这样的度量对于非欧几里德数据（如图）特别具有挑战性。在这里，我们提出了一个伪度量的属性图，树移动器的距离（TMD），并研究其关系的推广。通过一个分层的最优传输问题，TMD反映了节点属性的局部分布以及局部计算树的分布，这是已知的图神经网络（GNNs）的学习行为的决定性。首先，我们证明了TMD捕获了与图分类相关的属性：一个简单的TMD-SVM与标准GNNs竞争。其次，我们将TMD与分布偏移下GNNs的推广联系起来，并表明它与这种偏移下的性能下降相关。
2022-10-04 cs.LG stat.ML
Characterizing Generalization under Out-Of-Distribution Shifts in Deep Metric Learning
LMU Munich（慕尼黑大学）；Heidelberg University（海德堡大学）；University of Toronto（多伦多大学）；University of Washington（华盛顿大学）；MIT（麻省理工学院）
深度度量学习（DML）旨在找到适合于zero-shot转移到先验未知测试分布的表示。然而，常见的评估协议仅测试单个固定的数据分割，其中训练和测试类被随机分配。更现实的评价应考虑具有潜在不同程度和难度的广泛的分布偏移。在这项工作中，我们系统地构建训练测试分裂的难度越来越大，并提出了ooDML基准，以表征泛化下的分布偏移在DML。ooDML旨在探索更具挑战性的多样化训练到测试分布偏移的泛化性能。基于我们的新基准，我们进行了彻底的实证分析国家的最先进的DML方法。我们发现，虽然泛化往往会不断降低难度，但随着分布偏移的增加，一些方法在保持性能方面会更好。最后，我们提出了Few-Shot DML作为一种有效的方法，以不断提高泛化响应未知的测试转移ooDML。代码可在这里：https://github.com/CompVis/Characterizing_Generalization_in_DML.
2021-11-29 cs.CV cs.LG
Improving Generalization of Metric Learning via Listwise Self-distillation
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）；Wuhan University（武汉大学）
大多数深度度量学习（DML）方法采用一种策略，迫使所有正样本在嵌入空间中靠近，同时使它们远离负样本。然而，这样的策略忽略了正（负）样本的内部关系，往往导致过拟合，特别是在存在硬样本和错误标记的样本。在这项工作中，我们提出了一个简单而有效的正则化，即Listwise Self-Distillation（LSD），它逐步提取模型自己的知识，以自适应地为批量中的每个样本对分配更合适的距离目标。LSD鼓励在正（负）样本中进行更平滑的嵌入和信息挖掘，以减轻过度拟合，从而提高泛化能力。我们的LSD可以直接集成到一般的DML框架中。大量的实验表明，LSD一致地提高了多个数据集上各种度量学习方法的性能。
2022-06-17 cs.CV cs.LG
Understanding Adversarial Behavior of DNNs by Disentangling Non-Robust and Robust Components in Performance Metric
Nankai University（南开大学）；Tencent（腾讯）；National University of Singapore（新加坡国立大学）
对轻微输入扰动的脆弱性是深度神经网络（DNN）的一个令人担忧但又有趣的特性。尽管以前有许多研究这种对抗行为背后的原因，但DNN的泛化性能和对抗行为之间的关系仍然知之甚少。在这项工作中，我们通过引入一个表征DNN泛化性能的度量来揭示这种关系。该指标可以分解为信息理论的非鲁棒组件，负责对抗行为，和鲁棒组件。然后，我们通过实验表明，目前的DNN在很大程度上依赖于优化非鲁棒组件来实现良好的性能。我们还证明，目前最先进的对抗训练算法确实试图通过防止DNN使用非鲁棒组件来区分不同类别的样本来增强DNN的鲁棒性。此外，根据我们的研究结果，我们向前迈出了一步，并指出了同时实现体面的标准性能和对抗鲁棒性的可能方向。我们相信，我们的理论可以进一步激发社区对深度学习模型的标准泛化和对抗泛化之间的关系做出更有趣的发现。
2019-06-06 cs.LG stat.ML
Quantifying Multimodal Capabilities: Formal Generalization Guarantees in Pairwise Metric Learning
College of Informatics, Huazhong Agricultural Univeristy, Wuhan, China
本文通过理论分析多模态度量学习模型的泛化性质，揭示模态选择与算法性能的关系，推导新的泛化误差界，证明细粒度模态特征能降低假设空间复杂度，提升多模态学习系统的收敛速度和精度。
2026-05-02 cs.AI cs.LG
Inside-Out: Measuring Generalization in Vision Transformers Through Inner Workings
University of Delaware（特拉华大学）；George Mason University（乔治梅森大学）
本文提出依赖深度偏差和电路移位分数两种指标，通过分析模型内部电路来评估泛化能力，显著提升与实际泛化性能的关联性。
2026-04-09 cs.CV cs.LG
A Graphop Analysis of Graph Neural Networks on Sparse Graphs: Generalization and Universal Approximation
Faculty of Mathematics Technion – Israel Institute of Technology（数学系技术学院 – 以色列理工学院）
提出统一度量空间，涵盖稀疏与稠密图，证明MPNN等度连续，从而改进通用逼近定理和泛化界。
2026-06-08 cs.LG
An Empirical Study on Hyperparameters and their Interdependence for RL Generalization
University of Waterloo（滑铁卢大学）；Google Brain（谷歌大脑）；MIT（麻省理工学院）
强化学习（RL）的最新研究结果表明，训练环境有限的智能体在许多领域都容易受到大量过拟合的影响。强化学习推广的一个关键挑战是定量解释参数变化对测试性能的影响。这些参数包括架构，正则化，和RL依赖的变量，如折扣因子和行动随机性。我们提供的实证结果表明，超参数和泛化之间的复杂和相互依赖的关系。我们进一步表明，几个经验指标，如梯度余弦相似性和依赖于几何的指标，提供对这些结果的直觉。
2019-06-02 cs.AI cs.LG stat.ML
Generalization, Expressivity, and Universality of Graph Neural Networks on Attributed Graphs
Technion – IIT Faculty of Mathematics（技术学院-理工学院数学系）；MIT Dept of EECS and CSAIL（麻省理工学院电子工程与计算机科学系和计算机科学与人工智能实验室）；TUM School of CIT MCML MDSI（技术大学计算机信息科技学院MCML MDSI）
本研究提出属性图上的伪度量，证明GNN的Lipschitz连续性、分离性及空间相对紧致性，进而建立普适逼近定理与泛化界，统一并扩展了先前理论。
2025-08-26 cs.LG
Semantic Data Augmentation based Distance Metric Learning for Domain Generalization
Alibaba Group（阿里巴巴集团）
领域泛化（DG）的目的是在一个或多个不同但相关的源域上学习模型，这些源域可以被泛化到一个看不见的目标域。现有的DG方法试图促进源域的多样性，以提高模型的泛化能力，但它们可能不得不引入辅助网络或显着的计算成本。相反，这项工作适用于在特征空间中的隐式语义增强，以捕捉源域的多样性。具体地说，一个额外的损失函数的距离度量学习（DML）的数据分布的局部几何优化。此外，交叉熵损失的logits与无限扩增作为输入功能的DML损失代替深功能。我们还提供了一个理论分析表明，logits可以近似的距离上定义的原始功能。此外，我们提供了一个深入的分析机制和合理的背后，我们的方法，这使我们更好地理解为什么杠杆logits代替功能可以帮助领域泛化。建议的DML损失与隐式增广被纳入最近的DG方法，即傅立叶增广的合作教师框架（FACT）。同时，我们的方法也可以很容易地插入到各种DG方法。在Digits-DG、PACS和Digits-Home三个基准测试平台上的实验表明，该方法能够达到最佳的性能。
2022-09-13 cs.LG math.AT
Understanding Generalization in Diffusion Distillation via Probability Flow Distance
University of Michigan（密歇根大学）；University of Macau（澳门大学）；University of Chicago（芝加哥大学）
本研究通过引入概率流距离（PFD）度量标准，揭示了扩散蒸馏中泛化能力的关键行为，包括从记忆到泛化的缩放、双下降动态和偏差-方差分解。
2026-02-12 cs.CV cs.LG
On margin-based generalization prediction in deep neural networks
North-West University（西北大学）
本研究分析深度神经网络中基于间隔的泛化预测方法，揭示其失败原因，并提出一种结合数据流形近似的间隔度量，该度量在多个基准上展现出更强的泛化预测能力。
2024-05-20 cs.CV cs.LG
A Prior-Aware Metric for Efficiently Distinguishing Memorization from Generalization in Large Language Models
Cornell University（康奈尔大学）；Boston University（波士顿大学）；NVIDIA（英伟达）
本文提出Prior-Aware Memorization，一种基于模型先验的轻量级度量标准，用于区分大语言模型中的真实记忆与统计上常见序列，揭示低频率不足以证明记忆，强调需考虑模型先验以评估数据泄露风险。
2026-08-14 cs.LG
A Framework to Enhance Generalization of Deep Metric Learning methods using General Discriminative Feature Learning and Class Adversarial Neural Networks
University of Kufa（库法大学）；Ferdowsi University of Mashhad（马什哈德菲尔多西大学）；Hakim Sabzevari University（哈基姆·萨布泽瓦里大学）
度量学习算法的目标是学习一个距离函数，该函数将语义相似的数据项聚集在一起，并将不相似的数据项保持在一定距离。传统的马氏远程学习等价于求一个线性投影。相比之下，提出了深度度量学习（DML）方法，其自动从数据中提取特征并学习从输入空间到语义嵌入空间的非线性变换。近年来，提出了许多DML方法，通过提供新的采样策略或损失函数来提高学习度量的鉴别能力。当训练示例和测试示例都来自同一组类别时，这种方法非常有帮助。然而，它是不太有效的DML的许多应用，如图像检索和个人的重新识别。在这里，DML应该从观察到的类中学习一般的语义概念，并使用它们来从看不见的类别中排名或识别对象。忽略学习表示的泛化能力，只强调学习在观察类上更有区别的嵌入可能会导致过拟合问题。为了解决这个问题，我们提出了一个框架，以提高泛化能力的现有DML方法在零拍摄学习（Zero-Shot Learning，ZRL）设置一般但歧视性的表示学习，并采用类对抗神经网络。为了学习更一般的表示，我们建议在深度神经网络中使用中间层的特征图，并通过注意力机制增强它们的识别能力。此外，类对抗网络被用来执行深层模型，以寻求类不变的特征，用于DML任务。我们评估了我们的工作广泛使用的机器视觉数据集在一个可移植的设置。
2021-06-11 cs.CV cs.IR cs.LG
Benchmarking community drug response prediction models: datasets, models, tools, and metrics for cross-dataset generalization analysis
Argonne National Laboratory（阿贡国家实验室）；Frederick National Laboratory for Cancer Research（弗雷德里克国家癌症实验室）；University of Nebraska–Lincoln（内布拉斯加大学林肯分校）；Texas Tech University（德克萨斯理工大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文提出整合五个药物筛选数据集、六个标准化DRP模型及系统评价指标的基准框架，发现跨数据集测试性能显著下降且无模型始终最优，CTRPv2最适合作为训练源。
2025-03-18 cs.LG q-bio.QM
Guided Deep Metric Learning
CINVESTAV Unidad Guadalajara（国立理工学院高级研究中心瓜达拉哈拉分部）；Tecnológico de Monterrey（蒙特雷理工学院）
深度度量学习（DML）方法已被证明与视觉相似性学习相关。然而，它们有时缺乏泛化特性，因为它们通常使用不适当的样本选择策略进行训练，或者由于数据中的分布偏移导致的数据集的困难。当试图学习底层数据流形时，这些代表了一个显著的缺点。因此，迫切需要开发更好的方法来获得基本流形的泛化和表示。在本文中，我们提出了一种新的DML方法，我们称之为引导深度度量学习，这是一种面向学习更紧凑集群的新架构，可以在DML中的分布变化下提高泛化能力。这种新颖的架构由两个独立的模型组成：多分支主模型，灵感来自少样本学习（FSL）的角度，基于标记数据的先验知识生成一个简化的假设空间，在离线知识蒸馏方案下的训练过程中指导或规范化学生模型的决策边界。实验表明，所提出的方法能够更好地进行流形泛化和表示，最多可提高40%（Recall@1，CIFAR10），使用Musgrave等人建议的准则来执行更公平和现实的比较，这是目前文献中缺乏的
2022-06-04 cs.AI cs.CV cs.LG
Towards Generalizable Graph Contrastive Learning: An Information Theory Perspective
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
图对比学习（GCL）是图表示学习最具代表性的方法，它利用最大化互信息（InfoMax）的原则来学习应用于下游任务的节点表示。为了探索从GCL到下游任务的更好的泛化，以前的方法抽象地定义了数据增强或借口任务。然而，GCL的推广能力及其理论原理的报道还较少。在本文中，我们首先提出了一个名为GCL-GE的GCL推广能力的度量。考虑到由于下游任务的不可知性导致的度量的困难性，我们从信息论的角度理论上证明了它的互信息上界。在此基础上，我们设计了一个具有增强泛化能力的GCL框架InfoAdv，该框架联合优化了泛化度量和InfoMax，在前置任务拟合和下游任务泛化能力之间取得了平衡。我们经验验证了我们的理论研究结果的一些代表性的基准，实验结果表明，我们的模型达到了最先进的性能。
2022-11-20 cs.AI cs.LG
State Chrono Representation for Enhancing Generalization in Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Continental Automotive Singapore（大陆汽车新加坡公司）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；The Chinese University of Hong Kong（香港中文大学）
针对图像输入强化学习中泛化能力不足的问题，提出状态时序表示（SCR）方法，通过将长期时间信息融入双模拟度量学习，在不增加大量参数的情况下提升表示质量，并在DeepMind Control和Meta-World任务中优于现有度量方法。
2024-11-09 cs.LG cs.RO
Learning to Generate Novel Classes for Deep Metric Learning
POSTECH（浦项工科大学）；KAIST（韩国科学技术院）
深度度量学习旨在学习一个嵌入空间，其中数据之间的距离反映了它们的类等价性，即使它们的类在训练过程中是不可见的。然而，在训练中可用的类的有限数量排除了学习的嵌入空间的泛化。基于此，我们引入了一种新的数据增强方法，该方法合成了新的类及其嵌入向量。我们的方法可以提供丰富的语义信息的嵌入模型，并提高其泛化通过增加训练数据与新的类在原始数据中不可用。我们通过学习和利用一个条件生成模型来实现这个想法，该模型在给定类标签和噪声的情况下，产生该类的随机嵌入向量。我们提出的生成器允许损失使用更丰富的类关系，通过增加现实和不同的类，从而更好地推广到看不见的样本。在公共基准数据集上的实验结果表明，我们的方法明显提高了基于代理的损失的性能。
2022-01-04 cs.CV cs.LG
Feature Likelihood Divergence: Evaluating the Generalization of Generative Models Using Samples
Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；McGill University（麦吉尔大学）；Google Deepmind（谷歌DeepMind）
提出特征似然散度（FLD）指标，通过密度估计综合评估生成样本的新颖性、保真度和多样性，能有效识别过拟合，优于现有指标如FID。
2024-03-13 cs.CV cs.LG
Quantifying Explanation Quality in Graph Neural Networks using Out-of-Distribution Generalization
University of Virginia（弗吉尼亚大学）；Entalpic
本文提出EGS指标，用于量化图神经网络解释的因果相关性，通过分布外泛化评估解释的因果有效性。
2026-02-07 cs.LG
Certification of Machine Learning Models via Directional Sharpness
Northwestern University（西北大学）；Google（谷歌）；University College London（伦敦大学学院）
提出定向锐度指标，高效可靠地指示泛化性能，比现有指标更相关且更可靠地识别泛化差的模型，并支持零知识证明认证。
2026-06-25 cs.CR cs.LG
