Out of Distribution Generalization via Interventional Style Transfer in Single-Cell Microscopy
Columbia University（哥伦比亚大学）；Broad Institute（博德研究所）；MIT（麻省理工学院）；University College London（伦敦大学学院）；New York University（纽约大学）
针对单细胞显微镜图像，提出干预式风格迁移（IST）方法，通过生成干预式训练分布缓解虚假相关，显著提升分布外泛化，并发布代码与数据集。
2023-06-15 cs.AI cs.CV cs.LG
Controlling Neural Collapse Enhances Out-of-Distribution Detection and Transfer Learning
Rochester Institute of Technology（罗切斯特技术学院）；University of Rochester（罗切斯特大学）
本文揭示了神经坍缩程度与OOD检测和泛化之间的反向权衡关系，提出通过熵正则化和固定ETF投影器在不同网络层控制神经坍缩，从而同时提升OOD检测与泛化性能。
2025-09-22 cs.LG
Compositional generalization in semantic parsing with pretrained transformers
New York University（纽约大学）
大规模的预训练将大量的知识灌输到深度神经网络中。这反过来又改善了这些模型在下游任务中的泛化行为。大规模预训练的泛化优势究竟有哪些限制？在这里，我们报告的意见，从一些简单的实验，旨在解决这个问题的背景下，涉及自然语言，扫描和COGS的两个语义解析任务。我们发现，与从头开始训练的模型相比，专门用非英语语料库，甚至用程序设计语言语料库预训练的语言模型在这些基准测试中显着提高了分布外泛化，即使这两个基准测试都是基于英语的。这证明了预先训练的表示和知识具有惊人的广泛可移植性。另一方面，使用大规模蛋白质序列预测任务进行预训练主要会恶化SCAN和COGS中的泛化性能，这表明预训练的表示不会普遍转移，并且预训练和下游域之间的相似性存在限制，以便成功转移。最后，我们表明，较大的模型更难从头开始训练，并且在相对较小的SCAN和COGS数据集上训练收敛时，其泛化精度较低，但大规模预训练的好处在较大的模型中变得更加清晰。
2022-12-22 cs.CL cs.LG cs.NE
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization
City University of Hong Kong（香港城市大学）；Dalian University of Technology（大连理工大学）；Tsinghua University（清华大学）
近年来，预训练模型及其下游训练在深度学习研究和应用中的重要性日益增加。与此同时，对抗性示例的防御主要在简单分类任务的随机初始化训练的背景下进行了研究。为了更好地利用预训练模型在对抗性鲁棒性方面的潜力，本文重点关注对抗性预训练模型在各种分类任务中的微调。现有研究表明，由于鲁棒预训练模型已经学习了鲁棒特征提取器，因此关键问题是如何在学习下游任务时保持预训练模型的鲁棒性。我们研究了基于模型和基于数据的方法，发现这两种常见的方法不能同时达到提高泛化能力和对抗鲁棒性的目的。因此，我们提出了一种新的基于神经网络的方法，Two-WIng NormliSation（TIOR）微调框架，其由两个神经网络组成，其中一个神经网络将预训练数据的总体均值和方差保持在批量归一化层中。除了鲁棒的信息传递之外，由于标准批量归一化层中的权重范数与其梯度范数之间的关系被打破，TSTK在不损害训练稳定性的情况下提高了有效学习率，从而更快地逃离次优初始化并减轻鲁棒过拟合。最后，TALTH被证明是有效的广泛的图像分类数据集的泛化和鲁棒性。我们的代码可在https://github.com/ziquanliu/CVPR2023-TWINS上获得。
2023-03-20 cs.CV cs.LG
What Variables Affect Out-of-Distribution Generalization in Pretrained Models?
Rochester Institute of Technology（罗切斯特理工学院）；University of Rochester（罗切斯特大学）；Georgia Tech（佐治亚理工学院）
本文基于隧道效应假说研究预训练 DNN 嵌入的 OOD 泛化因素，发现架构、数据、分辨率和增强均有影响，高分辨率多类别训练可显著减少表征压缩。
2024-10-25 cs.AI cs.CV cs.LG
Generalization of Long-Range Machine Learning Potentials in Complex Chemical Spaces
研究探讨了长程修正对机器学习势在不同化学空间中的泛化能力的影响，提出偏置训练-测试分割策略以评估模型在不同化学区域的性能，强调长程建模对实现可推广的机器学习势的重要性。
2026-03-19 cs.LG physics.chem-ph
Zero-Shot Cross-City Generalization in End-to-End Autonomous Driving: Self-Supervised versus Supervised Representations
Department of Electrical and Computer Engineering, NYU Tandon School of Engineering（电气工程系，纽约大学Tandon工程学院）
研究端到端自动驾驶模型在跨城市零样本迁移中的泛化能力，发现自监督预训练（如I-JEPA、DINOv2、MAE）相比监督预训练能显著减少位移和碰撞退化，提升闭环评估中的分布外PDMS。
2026-10-22 cs.CV cs.LG
MixACM: Mixup-Based Robustness Transfer via Distillation of Activated Channel Maps
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Kyung-Hee University（庆熙大学）
深度神经网络容易受到自然输入中的对抗性、微小且难以察觉的变化的影响。针对这些示例的最有效的防御机制是对抗性训练，它通过迭代最大化损失来构建对抗性示例。然后训练模型，以最小化这些构建的示例的损失。这种最小-最大优化需要更多的数据、更大的容量模型和额外的计算资源。它还降低了模型的标准泛化性能。我们能更有效地实现鲁棒性吗？在这项工作中，我们从知识转移的角度来探讨这个问题。首先，我们从理论上证明了鲁棒性从一个对抗训练的教师模型到一个学生模型的混合增强的帮助下的可转移性。其次，我们提出了一种新的鲁棒性传输方法，称为基于混合的激活通道映射（MixACM）传输。MixACM通过匹配在没有昂贵的对抗性扰动的情况下生成的激活通道映射，将鲁棒性从鲁棒的教师转移到学生。最后，在多个数据集和不同学习场景上的广泛实验表明，我们的方法可以传递鲁棒性，同时也提高了自然图像的泛化能力。
2021-11-09 cs.AI cs.CV cs.LG
Enhancing Adversarial Transferability by Balancing Exploration and Exploitation with Gradient-Guided Sampling
School of Computer Science & Software Engineering, Shenzhen University, China（深圳大学计算机科学与软件工程学院）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ), Shenzhen, China（广东省人工智能与数字经济发展实验室（深圳））；Guangdong Provincial Key Laboratory of Intelligent Information Processing, Shenzhen University, China（广东省智能信息处理省级重点实验室）；School of Computer Science, University of Exeter, U.K.（埃克塞特大学计算机科学学院）；Department of Computing and Information Technology, Great Bay University, China（大鹏大学计算与信息技术系）；Computer Vision Institute, School of Artificial Intelligence, Shenzhen University, China（人工智能学院计算机视觉研究所）
针对对抗攻击迁移中利用与探索的困境，提出梯度引导采样（GGS）方法，通过沿梯度上升方向引导内部迭代随机采样，平衡损失表面平坦性与局部极大值，显著提升了跨架构DNN与MLLM的攻击可迁移性。
2025-11-01 cs.AI cs.CV cs.LG
Learning Transferable Skills using Goal-Conditioned Bisimulation
Sharif University of Technology（谢里夫理工大学）
提出一种基于目标条件双模拟的无监督技能发现方法，学习动作感知时间表示并仅条件于关键状态特征，实现跨布局的可迁移技能，并在实证中展现强分布外泛化。
2026-10-02 cs.AI cs.LG cs.RO
On the Role of Generalization in Transferability of Adversarial Examples
The Chinese University of Hong Kong（香港中文大学）
黑盒对抗攻击为看不见的神经网络（NN）设计对抗示例在过去几年中受到了极大的关注。虽然在文献中已经提出了几个成功的黑盒攻击方案，但驱动黑盒对抗示例可转移性的潜在因素仍然缺乏深入的了解。在本文中，我们的目的是证明的作用，用于生成对抗性的例子中的攻击方案的可转移性未观察到的NN分类器的替代分类器的泛化性能。要做到这一点，我们应用最大-最小对抗性的例子游戏框架，并显示的黑盒攻击方案在应用于不同的NN分类器的成功的替代NN的泛化性能的重要性。我们证明了理论上的泛化界的训练和测试样本的攻击转移率之间的差异。我们的界限表明，具有更好泛化行为的替代NN可以产生更多可转移的对抗性示例。此外，我们还证明了标准的基于算子范数的正则化方法可以提高所设计的对抗性示例的可移植性。我们通过几个数值实验来支持我们的理论结果，这些实验显示了替代网络的泛化在生成可转移的对抗性示例中的作用。我们的实证结果表明Lipschitz正则化方法在提高对抗性示例的可移植性方面的能力。
2022-06-18 cs.LG stat.ML
An analytic theory of generalization dynamics and transfer learning in deep linear networks
Stanford University（斯坦福大学）
最近，人们对深度学习中的泛化难题给予了很大的关注：大型深度网络可以很好地泛化，但现有的泛化误差理论非常松散，因此无法解释这种惊人的性能。此外，一个主要的希望是知识可以在任务之间转移，因此多任务学习可以提高单个任务的泛化能力。然而，我们缺乏分析理论，可以定量地预测知识转移的程度如何取决于任务之间的关系。我们开发了一个分析理论的非线性动力学的泛化在深度线性网络，无论是内部和跨任务。特别是，我们的理论为深度网络的训练和测试误差提供了解析解，这些误差是训练时间、样本数量、网络大小和初始化以及任务结构和SNR的函数。我们的理论表明，深度网络首先逐步学习最重要的任务结构，因此早期停止时的泛化误差主要取决于任务结构，而与网络大小无关。这表明泛化误差的任何严格限制都必须考虑任务结构，并解释了关于真实数据比随机数据学习得更快的观察结果。有趣的是，我们的理论还揭示了一种学习算法的存在，这种算法可以证明通过梯度下降进行神经网络训练。最后，对于迁移学习，我们的理论揭示了知识转移敏感地依赖于任务对的SNR和输入特征对齐，但可计算。
2019-01-04 cs.LG stat.ML
Double Double Descent: On Generalization Errors in Transfer Learning between Linear Regression Tasks
Rice University（莱斯大学）
研究了两个线性回归问题之间的迁移学习过程。一个重要的和及时的特殊情况是当回归器是过参数化的，并完美地插值其训练数据。我们研究了一个参数传输机制，其中目标任务解决方案的参数的一个子集被约束到一个相关的源任务学习的值。我们根据迁移学习架构中的突出因素来分析目标任务的泛化误差，即，可用示例的数量、每个任务中的（自由）参数的数量、从源任务传输到目标任务的参数的数量以及两个任务之间的关系。我们的非渐近分析表明，目标任务的泛化误差遵循二维双下降趋势（相对于每个任务中的自由参数的数量），这是由迁移学习因素控制。我们的分析指出了参数的转移作为额外的过度参数化的替代是有益的特定情况（即，目标任务中的附加自由参数）。具体来说，我们表明，迁移学习设置的有用性是脆弱的，并依赖于一组传输参数之间的微妙的相互作用，任务之间的关系，和真正的解决方案。我们还证明了当源任务与目标任务更接近或相同时，过度参数化的迁移学习不一定更有益。
2022-09-28 cs.LG stat.ML
Sample-based Regularization: A Transfer Learning Strategy Toward Better Generalization
SK Telecom（SK电讯）；mofl inc.（mofl公司）
用少量数据训练深度神经网络是一个具有挑战性的问题，因为它很容易过拟合。不过，我们经常面对的其中一个实际困难，是要收集很多样本。迁移学习是解决这一问题的一种经济有效的方法。通过使用大规模数据集训练的源模型，目标模型可以减轻由于缺乏训练数据而引起的过拟合。利用源模型的泛化能力，提出了在整个训练过程中利用源知识的几种方法。然而，这可能会限制目标模型的潜力，并且来自源的一些传递的知识可能会干扰训练过程。为了提高目标模型在训练样本较少的情况下的泛化性能，提出了一种基于样本的正则化方法（SBR），该方法在训练过程中不依赖于源模型的知识。利用SBR，我们提出了一个新的迁移学习训练框架。实验结果表明，我们的框架优于现有的方法在各种配置。
2020-07-10 cs.LG stat.ML
A transfer learning framework for weak-to-strong generalization
University of Michigan（密歇根大学）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文提出将弱到强泛化建模为潜在概念先验的迁移学习问题，证明朴素微调存在根本局限，而基于修正的方法可克服该局限并适用于多项 LLM 对齐任务。
2025-03-14 cs.LG stat.ML
Characterizing and Understanding the Generalization Error of Transfer Learning with Gibbs Algorithm
Massachusetts Institute of Technology（麻省理工学院）；University College London（伦敦大学学院）
我们提供了一个基于吉布斯的迁移学习算法的泛化能力的信息论分析，专注于两个流行的迁移学习方法，$α$加权ERM和两阶段ERM。我们的主要结果是一个精确的泛化行为的特征，使用输出假设和目标训练样本之间的条件对称化KL信息给定的源样本。我们的结果也可以应用于提供新的分布自由的泛化误差上界这两个前面提到的吉布斯算法。我们的方法是多功能的，因为它也表征了这两个吉布斯算法的泛化误差和超额风险的渐近制度，在那里他们收敛到$α$加权的ERM和两阶段的ERM，分别。基于我们的理论结果，我们表明，迁移学习的好处可以被看作是一个偏差-方差权衡，与源分布引起的偏差和目标样本的缺乏引起的方差。我们相信这一观点可以指导实践中迁移学习算法的选择。
2021-11-02 cs.IT cs.LG math.IT
Phase Transitions in Transfer Learning for High-Dimensional Perceptrons
Harvard University（哈佛大学）
迁移学习通过利用从相关源任务中学习到的知识来提高目标任务的泛化性能。核心问题包括决定应该传递哪些信息以及何时传递信息是有益的。后一个问题与所谓的负迁移现象有关，即转移的源信息实际上降低了目标任务的泛化性能。当两个任务足够不相似时，就会发生这种情况。在本文中，我们提出了一个理论分析的迁移学习通过研究一对相关的感知器学习任务。尽管我们的模型很简单，但它再现了实践中观察到的几个关键现象。具体来说，我们的渐近分析揭示了一个阶段的过渡，从负迁移到正迁移的两个任务的相似性移动过去一个明确定义的阈值。
2021-01-06 cs.LG stat.ML
Hypothesis Transfer Learning with Surrogate Classification Losses: Generalization Bounds through Algorithmic Stability
Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）
本文利用算法稳定性框架分析二分类中带代理损失的正则化经验风险最小化假设迁移学习，在温和假设下推出训练误差、超额风险和交叉验证估计的无复杂度泛化界。
2023-07-14 cs.LG stat.ML
Theoretical Guarantees of Transfer Learning
Carnegie Mellon University（卡内基梅隆大学）
迁移学习已被证明是有效的，当目标内标记的数据是稀缺的。许多工作已经开发出成功的算法和经验观察到的正传递效应，改善目标泛化误差使用源知识。然而，由于问题的性质，迁移学习的理论分析更具挑战性，因此研究较少。在这份报告中，我们做了一个调查的理论工作，迁移学习和总结的关键理论保证，证明迁移学习的有效性。利用模型复杂度和学习算法稳定性推导出理论界。正如我们应该看到的，这些工作表现出了紧边界和限制性假设之间的权衡。此外，我们还证明了一个新的推广界的多源迁移学习问题使用VC理论，这是一个更丰富的信息比以前的工作证明。
2018-11-24 cs.LG stat.ML
The curious case of developmental BERTology: On sparsity, transfer learning, generalization and the brain
Cerebras Systems（Cerebras系统公司）
在这篇文章中，我们通过大语言模型、迁移学习和网络压缩来探索深度学习和神经科学之间的交叉点。就像感知和认知神经生理学启发了有效的深层神经网络架构，这反过来又为理解大脑提供了一个有用的模型一样，在这里，我们探索生物神经发育如何激发有效和强大的优化程序，这反过来又可以作为大脑成熟和衰老的有用模型。
2020-07-07 cs.CL cs.LG q-bio.NC
Generalization Bounds for Deep Transfer Learning Using Majority Predictor Accuracy
Florida International University（佛罗里达国际大学）；Dalhousie University（达尔豪斯大学）；University of Delaware（特拉华大学）；Meta AI
我们分析了通过从源任务到目标任务的迁移学习训练的深度学习模型的新泛化边界。我们的边界利用了一个称为多数预测精度的量，可以从数据中有效地计算出来。我们表明，我们的理论在实践中是有用的，因为它意味着多数预测的准确性可以被用来作为一个可转移性的措施，这一事实也验证了我们的实验。
2022-09-13 cs.AI cs.LG
Information-theoretic analysis for transfer learning
University of Melbourne（墨尔本大学）
迁移学习或领域自适应涉及机器学习问题，其中训练和测试数据来自可能不同的分布（分别表示为$μ$和$μ'$）。在这项工作中，我们给出了一个信息理论分析的泛化误差和过度风险的迁移学习算法，以下的工作线由Russo和周。我们的研究结果表明，也许正如预期的那样，Kullback-Leibler（KL）分歧$D(mu||mu')$在表征领域自适应的设置中的泛化误差中起着重要的作用。具体来说，我们提供一般迁移学习算法的泛化误差上限，并将结果扩展到特定的经验风险最小化（ERM）算法，其中来自两个分布的数据在训练阶段都可用。我们进一步应用该方法迭代，噪声梯度下降算法，并获得上界，可以很容易地计算，只使用参数的学习算法。一些说明性的例子来证明结果的有用性。特别是，我们的界限是更严格的特定分类问题比使用Rademacher复杂性得出的界限。
2020-05-19 cs.LG stat.ML
Bootstrap State Representation using Style Transfer for Better Generalization in Deep Reinforcement Learning
Purdue University（普渡大学）
深度强化学习（RL）代理通常会过拟合训练环境，导致泛化性能差。在本文中，我们提出了思想者，一个自举的方法，以消除对抗性的影响，从观察的混淆功能，在无监督的方式，从而提高RL代理的泛化。思想者的第一个集群经历了几个集群的轨迹。然后通过应用样式转换生成器自举这些轨迹，该生成器将轨迹从一个集群的样式转换为另一个，同时保持观察的内容。自举轨迹然后用于策略学习。Thinker在许多RL设置中具有广泛的适用性。实验结果表明，思想者导致更好的泛化能力在Procgen基准测试环境相比，基本算法和几个数据增强技术。
2022-07-15 cs.AI cs.LG
Let Me Grok for You: Accelerating Grokking via Embedding Transfer from a Weaker Model
University of Michigan（密歇根大学）；University of California, Berkeley（加州大学伯克利分校）
针对神经网络训练中延迟泛化的Grok现象，本文提出GrokTransfer方法，通过从较弱模型迁移嵌入初始化较强模型，在合成XOR任务中证明其可实现直接泛化，并在多任务实证中有效消除延迟泛化。
2025-04-17 cs.LG stat.ML
Stacked transfer learning for tropical cyclone intensity prediction
University of the South Pacific（南太平洋大学）；The University of Sydney（悉尼大学）
热带气旋风强度预测是一项具有挑战性的任务，考虑到过去几十年气候模式的剧烈变化。为了建立可靠的预测模型，需要考虑气旋在空间和时间特征方面的不同特征。迁移学习结合了来自相关源数据集的知识，以补充目标数据集，特别是在缺乏数据的情况下。堆叠是一种集成学习的形式，集中用于提高泛化能力，最近已被用于迁移学习问题，称为迁移堆叠。在本文中，我们采用转移叠加作为一种手段，研究气旋的影响，从而我们评估，如果气旋在不同的地理位置可以帮助提高泛化性能。此外，我们使用传统的神经网络的气旋预报性能的持续时间的影响进行评估。因此，我们开发了一种有效的策略，通过迁移学习和通过神经网络的传统学习方法来评估不同类型气旋之间的关系。
2017-08-22 cs.LG stat.ML
Improving Generalization of Transfer Learning Across Domains Using Spatio-Temporal Features in Autonomous Driving
University of Maryland at College Park（马里兰大学帕克分校）
实际的基于学习的自动驾驶模型必须能够将学习到的行为从模拟领域推广到真实领域，并从训练数据推广到具有不寻常图像属性的未知领域。在本文中，我们研究迁移学习方法，通过利用跨域的时空特征的不变性来实现对域移位的鲁棒性。在本文中，我们提出了一种迁移学习方法，通过时空特征的迁移和显着的数据增强来提高跨领域的泛化能力。我们的模型使用带有Inception模块的CNN-LSTM网络进行图像特征提取。我们的方法分两个阶段运行：第一阶段涉及对源域数据进行训练，而第二阶段对目标域数据进行训练，这些数据已经由使用第一阶段模型生成的特征图进行了补充。与跨多个数据集的其他SOTA方法相比，我们的模型在看不见的测试用例中显着提高了性能，无论是模拟到模拟的传输还是模拟到真实的传输，测试准确度高达+37.3\%，转向角预测高达+40.8\%。
2021-09-23 cs.CV cs.LG
MultiQA: An Empirical Investigation of Generalization and Transfer in Reading Comprehension
Tel-Aviv University（特拉维夫大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
最近已经创建了大量的阅读理解（RC）数据集，但很少有人分析它们是否相互概括，以及现有数据集可以在多大程度上用于提高新数据集的性能。在本文中，我们对十个RC数据集进行了这样的调查，在一个或多个源RC数据集上进行训练，并评估泛化，以及转移到目标RC数据集。我们分析了有助于泛化的因素，并表明在源RC数据集上进行训练并转移到目标数据集大大提高了性能，即使在存在来自BERT的强大上下文表示的情况下（Devlin et al.，2019年）。我们还发现，在多个源RC数据集上进行训练可以实现鲁棒的泛化和迁移，并且可以降低新RC数据集的示例收集成本。根据我们的分析，我们提出了MultiQA，一种基于BERT的模型，在多个RC数据集上进行训练，这导致了五个RC数据集上的最先进性能。我们分享我们的基础设施，为研究界的利益。
2019-05-31 cs.AI cs.CL cs.LG
Learning Curves for Continual Learning in Neural Networks: Self-Knowledge Transfer and Forgetting
National Institute of Advanced Industrial Science and Technology (AIST)（国立先进工业科学技术研究院（产业技术综合研究所））
从任务到任务的顺序训练正在成为深度学习应用（如持续学习和迁移学习）的主要目标之一。然而，目前还不清楚在什么条件下训练模型的性能会提高或下降。为了加深我们对顺序训练的理解，本研究提供了一个理论分析的泛化性能在一个可解决的情况下的持续学习。我们认为神经网络在神经正切核（NTK）制度，不断学习目标函数从任务到任务，并研究通过使用一个既定的统计力学分析内核无脊回归的泛化。我们首先展示了从正迁移到负迁移的特征性转变。在特定的临界值以上，更相似的目标可以为随后的任务实现积极的知识转移，而灾难性的遗忘即使非常相似的目标也会发生。接下来，我们研究了一种持续学习的变体，它假设在多个任务中具有相同的目标函数。即使对于相同的目标，训练后的模型也会根据每个任务的样本量表现出一定的迁移和遗忘。我们可以保证，推广误差单调递减任务相同的样本量，而不平衡的样本量恶化的推广。我们将这些改善和恶化分别称为自我知识转移和遗忘，并在深度神经网络的实际训练中进行了经验验证。
2022-03-18 cond-mat.dis-nn cs.LG stat.ML
Expectation Error Bounds for Transfer Learning in Linear Regression and Linear Neural Networks
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta
本文研究了迁移学习中辅助数据提升主任务泛化能力的理论条件，针对线性回归和欠参数化线性神经网络，推导了泛化误差的闭式表达式和非渐近误差界，提供了任务权重优化方法和一致性保证。
2026-03-30 cs.LG stat.ML
Toward Improved Generalization: Meta Transfer of Self-supervised Knowledge on Graphs
University of Southern California（南加州大学）
尽管图卷积网络在功能性脑活动分析中取得了显著的成功，但功能模式的异质性和成像数据的稀缺性仍然给许多任务带来了挑战。将知识从具有丰富训练数据的源域转移到目标域对于改进在稀缺训练数据上的表示学习是有效的。然而，传统的迁移学习方法往往无法推广的预训练知识的目标任务，由于领域的差异。图上的自监督学习可以增加图特征的泛化能力，因为自监督集中于不限于特定监督任务的固有图属性。针对功能磁共振成像数据的异质性和稀缺性，提出了一种新的融合元学习和自监督学习的知识转移策略。具体来说，我们在源域上执行自监督任务，并应用元学习，这大大提高了使用双层优化的模型的泛化能力，将自监督知识转移到目标域。通过对神经系统疾病分类任务的实验，我们证明了所提出的策略通过增加基于图的知识的泛化性和可转移性来显着提高目标任务的性能。
2022-12-16 cs.LG
Generalization Performance of Transfer Learning: Overparameterized and Underparameterized Regimes
The Ohio State University（俄亥俄州立大学）；IBM Research（IBM研究院）
该研究针对任务部分相似性场景，基于含公共与任务专属特征的线性回归模型，从理论上刻画欠参数化与过参数化下不同参数迁移方案的泛化误差，给出特征分配的实用指导。
2023-06-09 cs.LG
Generalization in Transfer Learning
Bogazici University（博加齐大学）
针对深度迁移强化学习易在源任务过拟合、泛化评估不准的问题，提出训练迭代调参、策略快照、strict clipping、最大熵对抗学习与课程学习等正则化方法，并在多种物理参数变化的机器人环境中验证鲁棒性。
2021-02-22 cs.AI cs.LG cs.RO
A Survey of Generalization of Graph Anomaly Detection: From Transfer Learning to Foundation Models
School of ICT Griffith University（信息与通信技术学院 格里菲斯大学）；School of CSE University of New South Wales（计算机科学与工程学院 新南威尔士大学）
本文系统综述图异常检测的泛化问题，从迁移学习到基础模型，提出细粒度分类法，总结现有方法并指出挑战与未来方向。
2025-09-08 cs.LG
Document Image Classification with Intra-Domain Transfer Learning and Stacked Generalization of Deep Convolutional Neural Networks
Valeo India Pvt. Ltd.（法雷奥印度私人有限公司）；University of Bonn（波恩大学）；Indian Statistical Institute（印度统计研究所）
在这项工作中，提出了一个基于区域的深度卷积神经网络框架，用于文档结构学习。这项工作的贡献包括有效的训练区域为基础的分类器和有效的集成文件图像分类。通过从ImageNet数据集上的预训练VGG 16架构导出权重来使用初级的“域间”迁移学习，以在整个文档图像上训练文档分类器。利用基于区域的影响建模的性质，二级“域内”迁移学习用于图像片段的深度学习模型的快速训练。最后，利用基于堆叠泛化的集成来组合基础深度神经网络模型的预测。该方法在流行的RVL-CDIP文档图像数据集上实现了92.2%的最新准确率，超过了现有算法的基准。
2018-08-30 cs.CV cs.LG
A Study of Domain Generalization on Ultrasound-based Multi-Class Segmentation of Arteries, Veins, Ligaments, and Nerves Using Transfer Learning
Carnegie Mellon University（卡内基梅隆大学）
识别股骨区域的标志对于基于超声（US）的机器人引导导管插入至关重要，并且当使用不同的扫描仪成像时，它们的呈现方式会有所不同。因此，过去基于深度学习的方法的性能也仅限于训练数据分布;这可以通过微调全部或部分模型来规避，但很少讨论微调的影响。在这项工作中，我们通过迁移学习研究了基于US的多类分割，通过微调模型中的不同连续块，并对来自不同扫描仪和设置的US数据进行评估。我们提出了一种简单的方法来预测未见过的数据集的泛化，并观察到统计上的显着差异的微调方法，同时致力于领域泛化。
2020-11-13 cs.CV cs.LG eess.IV
A Combinatorial Perspective on Transfer Learning
DeepMind
人类智能的特点不仅在于学习复杂技能的能力，而且在于在不断变化的环境中快速适应和获得新技能的能力。在这项工作中，我们研究如何学习模块化解决方案可以有效地推广到看不见的和潜在的不同分布的数据。我们的主要假设是，任务分割，模块化学习和基于记忆的集成的组合可以引起指数增长数量的看不见的任务的泛化。我们使用以下组合提供了这一想法的具体实例：（1）Forget-Me-Not过程，用于任务分割和基于记忆的集成;以及（2）门控线性网络，与当代深度学习技术相比，它使用模块化和局部学习机制。我们证明了这个系统具有一些理想的持续学习特性：鲁棒性灾难性遗忘，没有负迁移和增加水平的正迁移，因为更多的任务。在标准的持续学习基准测试中，我们显示出与离线和在线方法相比具有竞争力的性能。
2020-10-23 cs.LG stat.ML
The Generalization Spectrum: A Chromatographic Approach to Evaluating Learning Algorithms
ByteDance Seed（字节跳动Seed）；Hong Kong University of Science and Technology（香港科技大学）；Princeton University（普林斯顿大学）；University of Oxford（牛津大学）
提出泛化谱框架，通过构建从精确回忆到跨语言实现转移等不同转移距离的测试变体，揭示算法从单个样本泛化到其他样本的程度，并应用于竞争编程任务评估不同学习范式。
2026-06-26 cs.CL cs.LG
Understanding Transfer Learning via Mean-field Analysis
The Alan Turing Institute（艾伦·图灵研究所）；Mathematical Institute, University of Oxford（牛津大学数学研究所）；School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）
本文利用概率测度空间上的微分学框架，分析了α-ERM和KL正则化微调两种迁移学习场景的泛化误差与收敛速率，并证明平均场机制下单隐层神经网络迁移学习的优势。
2024-10-23 cs.LG math.FA stat.ML
Can Optimization Trajectories Explain Multi-Task Transfer?
Johns Hopkins University（约翰斯·霍普金斯大学）
本文通过实证研究多任务学习（MTL）对任务优化的影响，发现MTL在训练早期产生泛化差距，但传统优化轨迹因素无法解释该差距，且梯度冲突不能预测泛化，揭示了MTL失败原因并质疑通用多任务优化算法的作用。
2025-01-30 cs.LG
Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）；University of Washington（华盛顿大学）
离线强化学习（Offline Reinforcement Learning，RL）的目标是从不完美的离线数据中提取接近最优的策略，而不需要额外的环境交互。从不同的离线数据集中提取策略有可能通过使训练过程更安全，更快，更简化来扩大RL的适用范围。我们研究如何提高离线RL算法的性能，其对离线数据质量的鲁棒性，以及其泛化能力。为此，我们引入了基于离线模型的RL与自适应行为先验（MABE）。我们的算法是基于这样的发现，动力学模型，支持内领域泛化，和行为先验，支持跨领域泛化，是互补的。当结合在一起时，它们大大提高了离线RL策略的性能和泛化能力。在广泛研究的D4RL离线RL基准测试中，我们发现MABE与先前的无模型算法和基于模型的算法相比具有更高的平均性能。在需要跨领域泛化的实验中，我们发现MABE优于先前的方法。我们的网站是https://sites.google.com/berkeley.edu/mabe。
2021-06-18 cs.LG
Information-Theoretic Bounds on Transfer Generalization Gap Based on Jensen-Shannon Divergence
在迁移学习中，训练和测试数据集来自不同的数据分布。迁移泛化间隙是目标数据分布上的种群损失与训练损失之间的差异。训练数据集通常包括从源分布和目标分布两者提取的数据。本文提出了一种新的平均传输推广间隙的信息论上界，该上界通过广义$(α_1,α_2)$ -Jensen-Shannon（JS）发散的双参数族捕获$(i)$，即目标数据分布$P'_Z$和源分布$P_Z$之间的域移位;以及$(ii)$迁移学习器输出$W$经由交互信息对数据集$Z_i$的每个单独样本的灵敏度$I(W;Z_i)$。对于$α_1 \in (0,1)$，即使当$P_Z$的支持不包括在$P'_Z$的支持中时，$(α_1,α_2)$ -JS分歧也可以是有界的。这与Wu等人[1]的基于Kullback-Leibler（KL）散度$D_{KL}(P_Z||P'_Z)$的界限形成对比，在此假设下，该界限是空洞的。此外，所获得的界对于具有有界累积量生成函数的无界损失函数成立，不像Wu等人[1]的基于$ϕ$发散的界。我们还获得了新的上界的平均转移超额风险的经验加权风险最小化（EWRM），最小化源和目标数据集的加权平均训练损失的$(α_1,α_2)$ -JS分歧。最后，我们提供了一个数值例子来说明引进的界限的优点。
2021-01-25 cs.IT cs.LG eess.SP
Revisiting the Generalization of Neural Graph Edit Distance Models
National University of Defense Technology（国防科技大学）；Information Support Force Engineering University（信息支援部队工程大学）
本研究系统评估了神经图编辑距离模型的跨集合迁移能力，发现同集合评估高估了泛化性能，多源训练可显著提升零样本迁移，并建议采用异构集合进行更全面的评估。
2026-10-06 cs.LG
Generalization Bounds for Few-Shot Transfer Learning with Pretrained Classifiers
McGovern Institute（麦戈文研究所）；Massachusetts Institute of Technology（麻省理工学院）；Google DeepMind（谷歌DeepMind）
本文基于类特征变异坍缩现象，证明预训练分类器特征图在新类别上的少样本误差界，为基础模型少样本迁移能力提供首个非空泛理论保证。
2023-07-16 cs.LG
Semi-Supervised Noise Adaptation: Transferring Knowledge from Noise Domain
Guangdong Laboratory of Artificial Intelligence and Digital Economy（广东人工智能与数字经济实验室）；Nanjing University of Posts and Telecommunications（南京邮电大学）；Beijing Jiaotong University（北京交通大学）；Beijing University of Technology（北京工业大学）；Tsinghua University（清华大学）；Southern University of Science and Technology（南方科技大学）
提出半监督噪声适应（SSNA）问题，利用合成噪声域作为源域，通过噪声适应框架（NAF）改善目标域的泛化性能。
2026-06-16 cs.LG
Towards Sample-Efficiency and Generalization of Transfer and Inverse Reinforcement Learning: A Comprehensive Literature Review
Department of Electrical and Computer Engineering, Western University（电子与计算机工程系，西部大学）；Department of Electrical and Computer Engineering, University of Windsor（电子与计算机工程系，温莎大学）；Faculty of Computer Science and Canadian Institute for Cybersecurity, University of New Brunswick（计算机科学学院和加拿大网络安全研究所，新不伦瑞克大学）；School of Data and Computer Science, Sun Yat-sen University（数据与计算机科学学院，中山大学）
本文系统综述了通过迁移与逆强化学习提升强化学习样本效率和泛化能力的研究进展，梳理了人在回路、仿真到现实、低样本训练及多智能体扩展等关键方向。
2025-09-22 cs.LG
Hierarchical Transfer Convolutional Neural Networks for Image Classification
Prairie View A&M University, Texas A&M University System（德克萨斯农工大学系统普雷里维尤农工大学）
在本文中，我们解决的问题，如何提高卷积神经网络（CNN）的泛化性能在早期学习阶段的图像分类。这是由于实时应用需要CNN的泛化性能在有限的训练时间内令人满意。为了实现这一点，提出了一种新的分层传输CNN框架。它由一组浅CNN和一个云CNN组成，其中首先训练浅CNN，然后使用训练好的浅CNN的第一层来初始化云CNN的第一层。这种方法将显著提高云CNN的泛化性能，特别是在训练的早期阶段。使用CIFAR-10和ImageNet数据集进行实验，以检验所提出的方法。结果表明，在学习的早期阶段，CIFAR-10的测试准确率平均提高了12%，高达20%，而ImageNet的测试准确率提高了5%。它还表明，测试精度的普遍改善，获得了不同的设置的辍学和数量的浅CNN。
2018-05-09 cs.CV cs.LG stat.ML
Frozen Overparameterization: A Double Descent Perspective on Transfer Learning of Deep Neural Networks
Ben-Gurion University（本-古里安大学）；Rice University（莱斯大学）
该研究从过参数化与双下降视角出发，探究源/目标数据集规模、冻结层数量、任务相似度对DNN迁移学习泛化的影响，通过图像分类实验验证了冻结相关双下降现象等结论。
2023-06-12 cs.LG
Invariance is Key to Generalization: Examining the Role of Representation in Sim-to-Real Transfer for Visual Navigation
National University of Singapore（新加坡国立大学）；Princeton University（普林斯顿大学）
本文提出一种融合深度与语义信息的不变性表示，使视觉导航策略能从模拟室内场景泛化到真实室内外环境，并证明该表示可减小域间A-距离、改善泛化误差上界。
2023-12-04 cs.AI cs.CV cs.LG
Strong but simple: A Baseline for Domain Generalized Dense Perception by CLIP-based Transfer Learning
Technical University Berlin（柏林工业大学）；CARIAD SE；Technical University Munich（慕尼黑工业大学）
针对深度神经网络感知任务的域泛化难题，该研究提出仅对视觉语言预训练模型进行简单微调的方法，在多个密集感知基准上取得SOTA效果，挑战了传统ImageNet迁移学习的标准地位。
2024-12-11 cs.AI cs.CV cs.LG
Using different sources of ground truths and transfer learning to improve the generalization of photometric redshift estimation
Southern Oregon University（南俄勒冈大学）；University of Richmond（里士满大学）
本研究针对传统光谱红移训练样本有限的问题，通过创建覆盖更广星系类型的TransferZ数据集，结合迁移学习及组合数据集训练方法，有效提升了测光红移估计的泛化能力，满足宇宙学需求。
2024-11-27 astro-ph.GA astro-ph.IM cs.LG
MANGA: Method Agnostic Neural-policy Generalization and Adaptation
Preferred Networks, Inc.（优选网络公司）；University of Toronto（多伦多大学）
在本文中，我们的目标是在不同的动态参数和电机噪声变化的多个环境中传输策略的问题，通过引入一个框架，该框架将策略学习和系统辨识的过程。在存在电机噪声的情况下，将学习到的策略有效地转移到动态配置发生变化的未知环境中对于在现实世界中操作机器人非常重要，我们的工作是在这个方向上的一个新尝试。我们介绍MANGA：方法不可知神经策略泛化和自适应，训练动态条件策略，并有效地学习估计环境中给定的非策略状态转换推出的环境的动态参数。我们的方案与所使用的训练方法的类型无关-可以使用强化学习（RL）和模仿学习（IL）策略。我们证明了我们的方法的有效性，通过实验与四个不同的MuJoCo代理商和以前提出的传输基线进行比较。
2019-11-19 cs.AI cs.LG cs.RO
Procedural Content Generation: Better Benchmarks for Transfer Reinforcement Learning
Leiden University（莱顿大学）；Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）
强化学习（TRL）中的迁移思想很有趣：能够将知识从一个问题转移到另一个问题，而无需从头开始学习。这保证了更快的学习和学习更复杂的方法。为了深入了解该领域并检测新出现的趋势，我们进行了数据库搜索。我们注意到，深度学习的采用从2018年开始，令人惊讶地晚了。深度学习的引入还没有解决TRL最大的挑战：泛化。当领域有很强的相似性时（例如MountainCar到Cartpole），不同领域之间的转移工作得很好，大多数TRL出版物关注同一领域内几乎没有差异的不同任务。我们遇到的大多数TRL应用程序都将其改进与自定义的基线进行比较，并且该领域仍然缺少统一的基准。我们认为这是一个令人失望的情况。对于未来，我们注意到：（1）需要一个明确的任务相似性度量。(2)普遍化需要改进。有前途的方法通过MCTS将深度学习与规划相结合，或者通过LSTM引入记忆。(3)将弥补缺乏基准工具的问题，以便能够进行有意义的比较和衡量进展情况。炼金术和元世界已经成为有趣的基准套件。我们注意到，另一个发展，增加过程内容生成（PCG），可以提高基准测试和泛化的TRL。
2021-05-31 cs.LG
Evaluation of Randomization through Style Transfer for Enhanced Domain Generalization
German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；German Cancer Consortium (DKTK), partner site Frankfurt/Mainz, a partnership between DKFZ and UCT Frankfurt-Marburg（德国癌症联盟（DKTK），法兰克福/美因茨合作站点，由DKFZ与UCT法兰克福-马尔堡合作）；Goethe University Frankfurt, Department of Computer Science（法兰克福大学计算机科学系）；The Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心（hessian.AI））
本文通过系统实验评估了风格迁移中风格池多样性、纹理复杂度和风格源选择对领域泛化的影响，提出StyleMixDG方法，在多个基准上验证了其有效性。
2026-04-07 cs.AI cs.CV cs.LG
No Reason for No Supervision: Improved Generalization in Supervised Models
NAVER LABS Europe（NAVER欧洲实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
我们考虑在给定的分类任务上训练深度神经网络的问题，例如，ImageNet-1 K（IN 1 K），因此它在训练任务和其他（未来）传输任务方面都表现出色。这两个看似矛盾的属性在提高模型的泛化能力和保持其在原始任务上的性能之间进行了权衡。用自监督学习训练的模型往往比迁移学习的监督模型更好地泛化;然而，它们仍然落后于IN 1 K上的监督模型。在本文中，我们提出了一个监督学习设置，利用两个世界的最好的。我们广泛地分析了监督训练使用多尺度作物的数据增强和一个消耗性的投影仪头，并揭示了投影仪的设计允许我们控制的性能之间的权衡训练任务和可转移性。我们进一步用使用存储体动态计算的类原型替换最后一层类权重，并推导出两个模型：t-ReX，它实现了迁移学习的最新技术水平，并优于IN 1 K上的DINO和PAWS等顶级方法; t-ReX*，它与IN 1 K上高度优化的RSB-A1模型相匹配，同时在迁移任务上表现更好。代码和预训练模型：https://europe.naverlabs.com/t-rex
2023-03-10 cs.CV cs.LG
