Spectral Analysis of Symmetric and Anti-Symmetric Pairwise Kernels
University of Turku（图尔库大学）；Ghent University（根特大学）
我们考虑的问题，学习回归函数从成对数据时，存在的先验知识，要学习的关系是对称的或反对称的。这种先验知识通常通过对称化或反对称化成对核函数来加强。通过谱分析，我们表明，这些变换降低了内核的有效维数。此外，我们提供了一个分析所得到的内核的近似特性，并绑定的正则化偏置的内核中的原始内核的相应的偏置。
2015-06-19 cs.LG stat.ML
Eigendecompositions of Transfer Operators in Reproducing Kernel Hilbert Spaces
Zalando Research（扎兰多研究院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
传递算子如Perron-Frobenius算子或Koopman算子在复杂动力系统的全局分析中起着重要的作用。这些运营商的本征函数可以用来检测亚稳态集，项目的动态上占主导地位的慢过程，或分离叠加信号。我们将转移算子理论扩展到再生核希尔伯特空间，并表明这些算子与条件分布的希尔伯特空间表示有关，在机器学习界称为条件均值嵌入。此外，计算这些嵌入的经验估计的数值方法类似于用于近似传递算子的数据驱动方法，例如扩展动态模式分解及其变体。提出的基于核的方法的一个主要好处是，这些方法可以应用于任何域的相似性度量的内核是可用的。我们说明的结果与指导性的例子的帮助下，并强调在分子动力学以及视频和文本数据分析的潜在应用。
2019-08-13 cs.LG math.DS stat.ML
Transfer Learning for Kernel-based Regression
本文研究再生核希尔伯特空间下非参数回归的迁移学习问题，针对可迁移源已知和未知两种场景分别提出两步核估计器和基于聚合算法的新方法，给出统计性质与极小极大速率，并通过实验验证了理论与方法的有效性。
2025-10-29 cs.LG stat.ME stat.ML
Multi-kernel Passive Stochastic Gradient Algorithms and Transfer Learning
Cornell University（康奈尔大学）；University of Connecticut（康涅狄格大学）
本文提出了一种新的被动随机梯度算法。在被动随机近似中，随机梯度算法对评估成本函数的噪声梯度的位置没有控制。经典的被动随机梯度算法使用近似Dirac delta的核来基于它们离期望点的距离来对梯度进行加权。本文构造了一种多核被动随机梯度算法。该算法在高维问题中表现得更好，并结合方差减少。分析了多核算法的弱收敛性和收敛速度。在数值例子中，我们研究了多核版本的被动最小均方（LMS）算法的迁移学习的性能与经典的被动版本进行比较。
2021-02-08 cs.LG cs.SY eess.SP
Forward Operator Estimation in Generative Models with Kernel Transfer Operators
Carnegie Mellon University（卡内基梅隆大学）；Butlr（Butlr公司）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
使用显式密度建模的生成模型（例如，变分自编码器、基于流的生成模型）涉及找到从已知分布（例如高斯分布）到未知输入分布的映射。这通常需要搜索一类非线性函数（例如，可由深度神经网络表示）。虽然在实践中是有效的，但是相关的运行时/内存成本可能会迅速增加，通常是应用程序中所需性能的函数。我们提出了一个更便宜（和更简单）的战略，以估计这种映射的基础上，适应已知的结果，在内核传输运营商。我们表明，我们的配方能够实现高效的分布近似和采样，并提供了令人惊讶的良好的经验性能，与强大的基线相比，但具有显着的运行时间节省。我们表明，该算法也表现良好，在小样本量的设置（在脑成像）。
2021-12-01 cs.CV cs.LG stat.ML
Transfer NAS: Knowledge Transfer between Search Spaces with Transformer Agents
ETH Zurich（苏黎世联邦理工学院）；Google Research（谷歌研究院）
神经架构搜索（NAS）的最新进展已经在几个任务上产生了最先进的架构。NAS将人类专家的工作从直接开发新的体系结构转移到设计体系结构搜索空间和有效探索它们的方法。搜索空间定义捕获了关于架构属性的先验知识，并且对于搜索算法的复杂性和性能至关重要。然而，不同的搜索空间定义需要从头开始重新开始学习过程。我们提出了一种新的代理的基础上，Transformer，支持联合训练和有效的转移先验知识之间的多个搜索空间和任务。
2019-06-19 cs.LG stat.ML
Smoothness Adaptive Hypothesis Transfer Learning
The Pennsylvania State University（宾夕法尼亚州立大学）；Amazon Science（亚马逊科学）
本文提出平滑度自适应迁移学习（SATL），在两阶段核岭回归中采用高斯核自适应未知平滑度，证明其达到极小极大最优收敛速率并优于非迁移学习。
2024-02-22 cs.LG stat.ME stat.ML
Empowering parameter-efficient transfer learning by recognizing the kernel structure in self-attention
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
预训练语言模型（PLM）中大量的可训练参数使得它们难以部署到多个下游任务。为了解决这个问题，已经提出了参数高效的迁移学习方法，以在微调期间仅调整少数参数，同时冻结其余参数。本文通过\textit{kernel lens}沿着这条路线研究现有的方法。基于transformer-based PLM中的自注意与核学习之间的联系，提出了\textit{kernel-wise adapters}，即\textit{Kernel-mix}，利用自注意中的核结构来指导可调参数的分配.这些适配器使用经典内核学习中的指导原则，并为每个注意力头启用单独的参数调优。我们的实证结果，在一组不同的自然语言生成和理解任务，表明我们提出的适配器可以达到或提高现有基线的强大性能。
2022-10-26 cs.CL cs.LG
Improved Knowledge Distillation via Full Kernel Matrix Transfer
Alibaba Group（阿里巴巴集团）；University of Washington（华盛顿大学）
知识蒸馏是深度学习中模型压缩的一种有效方法。给定一个大型模型（即，教师模型），其目的是提高紧凑模型的性能（即，学生模型）通过传递来自教师的信息。研究了蒸馏的各种信息。近年来，许多研究者提出通过实例间的成对相似度来提取相关信息。然而，大部分的努力都致力于开发不同的相似性度量，而只有一个小的矩阵，包括一个小批量的例子是在每次迭代中转移，可以是低效的优化在整个数据集的成对相似性。在这项工作中，我们的目标是有效地转移完整的相似性矩阵。主要的挑战是来自完整矩阵的大小，它是样本数量的二次方。为了解决这个问题，我们用Nystr{<$}m方法对原始全矩阵进行分解。理论分析表明，通过选择适当的标志点，可以进一步简化传输损耗。具体地说，我们发现教师和学生之间的原始全核矩阵之间的差异可以很好地由相应的部分矩阵，其中只包括原始示例和标志点之间的相似性。与完全矩阵相比，部分矩阵的大小与样本数成线性关系，显著提高了优化效率。在基准数据集上的实验结果表明了该算法的有效性。代码可在\url{https://github.com/idstcv/KDA}上获得。
2022-03-29 cs.CV cs.LG stat.ML
Transfer String Kernel for Cross-Context DNA-Protein Binding Prediction
University of Virginia（弗吉尼亚大学）
通过基于序列的分类，本文试图准确地预测DNA结合位点的转录因子（TF）在一个未注释的细胞背景。文献中的相关方法不能准确地进行这样的预测，因为它们没有考虑序列片段从注释（源）背景到未注释（靶）背景的样本分布偏移。因此，我们提出了一种称为“传输字符串内核”（TSK）的方法，通过跨上下文样本适应，使用知识转移来实现对转录因子结合位点（TFBS）的改进预测。TSK映射序列段到一个高维特征空间，使用一个有区别的不匹配字符串内核框架。在这个高维空间中，源上下文的标记示例被重新加权，使得修订的样本分布更紧密地匹配目标上下文。我们已经通过实验验证了TSK的TFBS标识在十四个不同的TF下的跨生物体设置。我们发现，TSK始终优于国家的最先进的TFBS工具，特别是当与TF的结合序列不保守的上下文中。我们还展示了TSK的普遍性，通过展示其在不同的一组跨上下文任务的MHC肽结合预测的尖端性能。
2016-09-12 cs.LG
Incorporating Prior Knowledge into Neural Networks through an Implicit Composite Kernel
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）；Duke University School of Medicine（杜克大学医学院）
本文提出 Implicit Composite Kernel（ICK），将神经网络隐式核与编码季节性等先验性质的 GP 核结合，并用 Nyström 近似与先采样后优化方法推断后验，在合成及真实数据上表现更优。
2024-02-28 cs.AI cs.LG stat.ML
Classification Algorithm of Speech Data of Parkinsons Disease Based on Convolution Sparse Kernel Transfer Learning with Optimal Kernel and Parallel Sample Feature Selection
Chongqing Radio and TV University（重庆广播电视大学）；Chongqing University（重庆大学）
帕金森病（PD）患者的标记语音数据是稀缺的，在现有的数据集中，训练和测试数据的统计分布有显着差异。为了解决这些问题，必须考虑降维和增加样本。提出了一种基于稀疏核迁移学习并结合样本和特征并行优化的局部放电分类算法。采用稀疏迁移学习从公共数据集中提取PD语音特征的有效结构信息作为源域数据，并对快速ADDM迭代进行改进，以提高信息抽取性能。为了实现并行优化，考虑样本和特征之间的潜在关系，以获得高质量的组合特征。首先，从特定的公共语音数据集中提取特征，以构造作为源域的特征数据集。然后，PD目标域，包括训练和测试数据集，进行卷积稀疏编码，可以提取更深入的信息。其次，实现了并行优化。为了进一步提高分类性能，设计了卷积核优化机制。利用两个有代表性的公共数据集和一个自构造数据集，对三十多个相关算法进行了实验比较。实验结果表明，以Sakar数据集、MaxLittle数据集和DNSH数据集为目标域时，该算法在分类精度上有明显的提高。该研究还发现，与非迁移学习方法相比，本文中的算法有很大的改进，表明迁移学习更有效，并且具有更可接受的时间成本。
2020-02-10 cs.LG eess.SP
Knowledge-Informed Kernel State Reconstruction from Heterogeneous Partial Observations
提出MAAT框架，利用再生核希尔伯特空间和异质观测算子及先验知识，从部分、噪声、异质观测中重建平滑且物理一致的动态系统状态，显著降低轨迹和导数重建误差。
2026-07-22 cs.LG
Adapting Tensor Kernel Machines to Enable Efficient Transfer Learning for Seizure Detection
本文提出了一种基于张量核机的高效迁移学习方法，用于在资源受限设备上实现高效的癫痫检测。
2025-12-02 cs.LG eess.SP
Transfer Learning Across Fixed-Income Product Classes
EPFL（瑞士联邦理工学院）
本文提出了一种跨固定收益产品类别的迁移学习框架，通过扩展核岭回归到向量值设置，解决稀疏或噪声数据下的折现曲线估计问题，并通过高斯过程解释和实验验证提升了外推性能。
2026-01-13 cs.LG q-fin.CP q-fin.MF
Transfer Learning of CATE with Kernel Ridge Regression
Columbia University（哥伦比亚大学）；Purdue University（普渡大学）；Peking University Health Science Center（北京大学医学部）；Beijing International Center for Mathematical Research, Peking University（北京大学北京国际数学研究中心）
该研究针对CATE迁移学习中重叠不足问题，提出基于KRR的重叠自适应方法，经理论推导和数值实验证实其在有限样本下效率更高、适应性更强，且在真实数据集上表现优越。
2026-08-04 cs.LG stat.ME stat.ML
Top-Tuning: a study on transfer learning for an efficient alternative to fine tuning for image classification with fast kernel methods
University of Genova（热那亚大学）；Istituto Italiano di Tecnologia（意大利理工学院）；MIT（麻省理工学院）
针对深度学习微调成本高的问题，提出仅训练核分类器的top-tuning迁移学习方法，在32个中小型图像数据集上实现与微调相当的准确率，训练时间缩短1-2个数量级。
2023-11-09 cs.LG
Uncovering the Connections Between Adversarial Transferability and Knowledge Transferability
the University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
知识可转移性或迁移学习已被广泛采用，以允许源域中的预训练模型有效地适应目标域中的下游任务。因此，探讨和了解影响知识转移的因素是非常重要的。本文首先分析和论证了知识可转移性与另一个重要现象--对抗性可转移性（\emph{i.e.}）之间的关系，即针对一个模型生成的对抗性实例可以转移到其他模型上进行攻击。我们的理论研究表明，对抗性转移表明知识转移，反之亦然。此外，基于理论的见解，我们提出了两个实用的对抗性可转移性指标来表征这一过程，作为对抗性和知识可转移性之间的双向指标。我们在不同的数据集上针对不同的场景进行了广泛的实验，显示了对抗性可转移性和知识可转移性之间的正相关性。我们的研究结果将有助于未来有效知识迁移学习和对抗性迁移分析的研究。
2021-07-08 cs.AI cs.CV cs.LG
Transfer learning for atomistic simulations using GNNs and kernel mean embeddings
Istituto Italiano di Tecnologia（意大利理工学院）；University College London（伦敦大学学院）
本文提出结合预训练 GNN 特征与核均值嵌入的迁移学习方法，利用 OC20 预训练知识和化学物种信息，从较小的催化系统数据集中学习势能面，并在多个真实数据集上展现更好的泛化、迁移及微调性能。
2024-01-21 cs.LG physics.chem-ph
MetaKernelBench: Measuring GPU Kernel Knowledge Transfer Beyond Code
Westlake University（西湖大学）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）
MetaKernelBench通过跨DSL技能迁移测试，衡量GPU内核优化智能体的知识复用价值，发现迁移效果依赖于源尝试的相对表现。
2026-10-06 cs.LG
Bayesian Transfer Operators in Reproducing Kernel Hilbert Spaces
Paderborn University（帕德博恩大学）；TU Dortmund（多特蒙德技术大学）；Heriot–Watt University（赫里奥特-瓦特大学）
本文提出在再生核希尔伯特空间中结合贝叶斯转移算子，通过高斯过程方法解决核基Koopman算法的稀疏性和超参数优化问题。
2026-02-04 cs.LG math.DS nlin.CD
Learning Deep Representations with Probabilistic Knowledge Transfer
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
知识转移（KT）技术解决了将知识从大型复杂的神经网络转移到更小更快的网络中的问题。然而，现有的KT方法是针对分类任务定制的，它们不能有效地用于其他表示学习任务。在本文中，提出了一种新的知识转移技术，即能够训练的学生模型，保持相同数量的互信息之间的学习表示和一组（可能未知）的标签作为教师模型。除了优于现有的KT技术，所提出的方法允许克服现有方法的几个限制，提供新的洞察KT以及新的KT应用程序，从手工制作的特征提取器的知识转移到{跨模态} KT从文本模态到从数据的视觉模态提取的表示。
2019-03-20 cs.LG cs.NE stat.ML
A Theory for Knowledge Transfer in Continual Learning
The University of Auckland（奥克兰大学）
任务流的持续学习是深度神经网络中的一个活跃领域。研究的主要挑战是灾难性遗忘现象或新获得的知识与以前任务中的知识的干扰。最近的工作研究了向前知识转移到新的任务。后向迁移，以提高知识获得在以前的任务得到的关注要少得多。一般来说，知识转移如何帮助不断学习的任务的理解有限。我们提出了一个理论知识转移的连续监督学习，它考虑了向前和向后转移。我们的目标是了解他们的影响，越来越多的知识学习者。我们推导出这些传输机制的误差界。这些边界对于特定的实现（例如，深度神经网络）是不可知的。我们证明，对于一个不断学习者，观察相关的任务，向前和向后转移可以有助于提高性能，观察到更多的任务。
2022-08-14 cs.LG
Physics-Informed Kernel Embeddings: Integrating Prior System Knowledge with Data-Driven Control
University of New Mexico（新墨西哥大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
数据驱动的控制算法使用系统动态的观测来构造用于控制目的的隐式模型。然而，在实践中，数据驱动的技术往往需要过多的样本量，这可能是不可行的，在现实世界的情况下，只有有限的观察系统。此外，纯数据驱动的方法往往忽略有用的先验知识，如系统动态的近似模型。我们提出了一种方法，将这样的先验知识到数据驱动的控制算法，使用内核嵌入，非参数机器学习技术的基础上的理论再生核希尔伯特空间。我们提出的方法结合了先验知识的系统动力学作为一个偏置项的内核学习问题。我们将有偏学习问题表述为具有由动态告知的正则化项的最小二乘问题，其具有可有效计算的封闭形式的解。通过数值实验，我们经验性地证明了我们的方法在纯数据驱动的基线上提高了样本效率和样本外泛化。我们展示了我们的方法的应用程序，通过目标跟踪问题与非完整动力学控制，弹簧质量阻尼器和F-16飞机状态预测任务。
2023-01-09 cs.LG cs.SY eess.SY
Real-Time Decentralized knowledge Transfer at the Edge
University of California Los Angeles（加州大学洛杉矶分校）；Edgecast（埃奇卡斯公司）
边缘网络的激增创造了学习代理的孤岛，这些学习代理在本地数据流上工作。在这些代理之间实时的【形】传输知识而不暴露私有数据允许协作以减少学习时间并增加模型置信度。从本地模型没有看到的数据中提取知识，可以创建一种消除本地模型偏见的能力，或者增加对以前从未见过的数据的分类能力。以选择性分散的方法转移知识使模型能够保留其本地见解，从而允许机器学习模型的本地风味。这种方法适合边缘网络的分散式架构，因为本地边缘节点将服务于可能遇到类似数据的学习代理社区。我们提出了一种基于知识蒸馏的方法，用于从非独立同分布训练的模型进行成对知识转移管道。数据，并将其与其他流行的知识转移方法进行比较。此外，我们测试了不同的情况下，知识转移网络的建设，并显示我们的方法的实用性。我们的实验表明，知识转移使用我们的模型优于标准的方法在实时的【形】传输场景。
2021-10-01 cs.LG
Enabling Asymmetric Knowledge Transfer in Multi-Task Learning with Self-Auxiliaries
The University of Auckland（奥克兰大学）；Starboard Maritime Intelligence（星板海事智能公司）
本文针对多任务学习中知识迁移对部分任务有利而对其他任务有害的非对称关系问题，提出引入自辅助克隆任务的优化策略，在利用正向迁移的同时避免负向迁移，并在计算机视觉基准上取得显著性能提升。
2024-10-21 cs.LG
A Contrastive Knowledge Transfer Framework for Model Compression and Transfer Learning
Arizona State University（亚利桑那州立大学）
知识转移（KT）实现了有竞争力的性能，并广泛用于图像分类任务的模型压缩和迁移学习。现有的KT工程转移的信息从一个大的模型（“教师”）训练一个小的模型（“学生”），通过最小化的差异，他们的条件独立的输出分布。然而，这些工作忽略了从教师的中间表示，这导致有限的有效性，他们是由各种启发式的直觉，这使得它很难概括的高维结构知识。本文提出了一种新的对比知识转移框架（CKTF），它使足够的结构知识从教师转移到学生之间的中间表示，通过优化多个对比目标。此外，CKTF提供了一个普遍的协议，现有的KT技术，并通过将其作为CKTF的具体情况下，得到显着提高其性能。广泛的评估表明，CKTF在各种模型和数据集上的模型压缩和迁移学习方面始终优于现有KT作品0.04%至11.59%和0.4%至4.75%。
2023-03-14 cs.LG
Feature Structure Distillation with Centered Kernel Alignment in BERT Transferring
AI graduate school of Gwangju Institute of Science and Technology (GIST)（光州科学技术院AI研究生院）；Jeonbook National University（全北国立大学）
针对BERT知识蒸馏中学生表示灵活性受限的问题，提出基于中心化核对齐的特征结构蒸馏方法，迁移三类表示结构并在GLUE九项任务上优于现有蒸馏方法。
2023-02-27 cs.AI cs.CL cs.LG
Open-World Class Discovery with Kernel Networks
Northeastern University（东北大学）
我们研究了一个开放世界类发现问题，在这个问题中，给定来自旧类的标记训练样本，我们需要从未标记的测试样本中发现新类。要解决这一范式，有两个关键挑战：（a）将知识从旧类转移到新类，（b）将从新类学到的知识重新纳入原始模型。我们提出了扩展类发现核网络（CD-KNet-Exp），这是一个深度学习框架，它利用希尔伯特施密特独立性准则以系统的方式将监督和非监督信息连接在一起，以便从旧类中学习到的知识被适当地提取以发现新类。与竞争方法相比，CD-KNet-Exp在三个公开的基准数据集和一个具有挑战性的真实世界射频指纹数据集上表现出卓越的性能。
2020-12-13 cs.LG
Human-centric Transfer Learning Explanation via Knowledge Graph [Extended Abstract]
Zhejiang University（浙江大学）；University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of Oslo（奥斯陆大学）
迁移学习旨在利用从一个问题（源域）中学到的知识来解决另一个不同但相关的问题（目标域），引起了广泛的研究关注。然而，目前的迁移学习方法大多是不可解释的，特别是对于没有机器学习专业知识的人来说。在这个扩展的摘要中，我们简要介绍了两个基于知识图谱（KG）的人类可理解的迁移学习解释框架。第一个解释了卷积神经网络（CNN）通过预训练和微调从一个域到另一个域学习的特征的可转移性，而第二个证明了零样本学习（ZNL）中多个源域模型预测的目标域模型的合理性。这两种方法都利用KG及其推理能力，为传输过程提供丰富且人类可理解的解释。
2019-01-20 cs.AI cs.LG stat.ML
TX-Ray: Quantifying and Explaining Model-Knowledge Transfer in (Un-)Supervised NLP
DFKI（德国人工智能研究中心）；University of Copenhagen（哥本哈根大学）
虽然最先进的NLP可解释性（XAI）方法专注于解释监督结束或探测任务中的每个样本决策，但这不足以解释和量化（非）监督训练期间的模型知识转移。因此，对于TX-Ray，我们修改了已建立的"可视化神经元的首选输入“的计算机视觉可解释性原则，使其可用于传输分析和NLP。这允许分析、跟踪和量化自或监督NLP模型如何首先在预训练中构建知识抽象（1），然后将这些抽象转移到新的领域（2），或者在监督微调期间对其进行调整（3）。TX-Ray将神经元表示为特征偏好分布，以量化细粒度的知识转移或适应，并指导人类分析。我们发现，与基于彩票的修剪类似，基于TX-Ray的修剪可以提高测试集的泛化能力，并且它可以揭示自我监督的早期阶段如何自动学习词性等语言抽象。
2020-06-19 cs.CL cs.LG stat.ML
Knowledge Transfer Graph for Deep Collaborative Learning
Chubu University（中部大学）
通过大量的手工设计，利用其输出或中间激活在多个网络之间进行知识转移，从简单的师生方法（知识蒸馏）演变为双向群组方法（深度相互学习）。影响知识转移的关键因素包括网络规模、网络数量、转移方向和损失函数的设计。然而，由于这些因素在组合时是巨大的，并且变得错综复杂，传统的知识转移方法只能探索有限的组合。在本文中，我们提出了一种新的基于图的方法，更灵活和多样化的知识转移组合。为了实现知识转移，我们提出了一种新的图形表示称为知识转移图，它提供了一个统一的知识转移视图，并有可能代表不同的知识转移模式。我们还提出了四个门函数，引入到损失函数。控制梯度的四个门可以提供知识转移的多种组合。搜索图结构使我们能够发现更有效的知识转移方法比手动设计的。在CIFAR-10、CIFAR-100和Tiny-ImageNet数据集上的实验结果表明，该方法实现了显著的性能提升，并且能够找到显着的图结构。
2019-12-17 cs.CV cs.LG
Knowledge transfer for surgical activity prediction
INSERM（法国国家健康与医学研究院）；Université de Rennes 1（雷恩第一大学）；CHU Rennes（雷恩大学医院）
缺乏训练数据阻碍了对情况感知手术室所必需的手术活动的自动识别和预测。我们建议使用知识转移来弥补数据不足并提高预测能力。我们使用两种方法来提取和传递手术过程知识。首先，我们使用词嵌入对外科术语的语义信息进行编码，以促进学习过程。其次，我们使用迁移学习在神经外科手术的不同临床数据集之间传递知识。迁移学习被证明比简单的数据组合更有效，特别是对于不太相似的程序。两种方法的组合提供了22%的活性预测的改善。我们还对手术实践进行了一些相关的观察。
2017-11-15 cs.LG
Trustworthy Transfer Learning: A Survey
Michigan State University（密歇根州立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文从知识迁移性和可信性视角综述可信迁移学习，涵盖问题定义、理论分析等多方面，总结IID与非IID假设下的迁移性理论算法，探讨可信性影响并指出开放问题与未来方向。
2025-11-12 cs.LG
How Much Off-The-Shelf Knowledge Is Transferable From Natural Images To Pathology Images?
University of Alberta（阿尔伯塔大学）；University of Toronto（多伦多大学）
深度学习在自然图像分类方面取得了巨大成功。为了克服计算病理学中的数据稀缺问题，近年来的研究利用迁移学习来重用从自然图像中获得的病理图像分析知识，旨在建立有效的病理图像诊断模型。由于知识的可转移性在很大程度上取决于原始任务和目标任务的相似性，病理图像和自然图像之间的图像内容和统计数据的显着差异提出了问题：有多少知识是可转移的？传递的信息是否由预先训练的层平等地贡献？为了回答这些问题，本文提出了一个框架来量化特定层的知识增益，在病理图像为中心的迁移学习中进行了实证研究，并报告了一些有趣的观察结果。特别地，与通过随机权重模型获得的性能基线相比，虽然来自深层的现成表示的可转移性在很大程度上取决于特定的病理图像集，但是由早期层生成的一般表示确实在各种图像分类应用中传达了转移的知识。本研究中的观察鼓励进一步研究特定的指标和工具，以量化未来迁移学习的有效性和可行性。
2020-05-09 cs.LG eess.IV q-bio.QM
Bridged-GNN: Knowledge Bridge Learning for Effective Knowledge Transfer
Institute of Computing Technology, University of Chinese Academy of Sciences（中国科学院大学计算技术研究所）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
针对数据饥渴场景下域级迁移依赖强假设且易受噪声影响的问题，提出KBL范式与Bridged-GNN，通过构建Bridged-Graph实现逐样本知识迁移，并在多类场景中显著优于SOTA。
2023-08-18 cs.LG
Beyond Feature and Structure Alignment: Learning Transferable Propagation Knowledge for Graph Foundation Models
Tianjin University（天津大学）
针对现有图基础模型忽略可迁移传播知识单元与传播模式异质性的局限，本文提出ProGFM，通过传播关系原型库学习跨域可迁移传播知识，在多跨域场景下实现更优泛化性能。
2026-08-03 cs.LG
TransBoost: A Boosting-Tree Kernel Transfer Learning Algorithm for Improving Financial Inclusion
Google（谷歌）
移动技术和金融技术的繁荣，孕育并扩大了各类金融产品的覆盖范围，有利于倡导金融普惠。它具有减少金融不平等的重要社会效益。然而，新用户特征分布鲜明、信用记录有限，以及新入局公司在处理复杂数据、获取精准标签方面经验不足，在个人金融风险评估方面带来的技术挑战，阻碍了普惠金融的进一步推进。为了应对这些挑战，本文开发了一种新的迁移学习算法（即，TransBoost），它结合了基于树的模型和核方法的优点。该算法采用并行树结构和有效的权值更新机制，在理论上保证了算法的有效性，使其在处理具有高维特征和稀疏性的真实世界数据时，能够在$O(n)$时间复杂度上表现出色。我们在两个公共数据集和腾讯移动支付的一个独特的大规模数据集上进行了大量的实验。结果表明，该算法在预测精度和效率方面优于其他最先进的基准迁移学习算法，对数据稀疏性具有更强的鲁棒性，并提供了有意义的模型解释。此外，考虑到金融风险水平，TransBoost使金融服务提供商能够为最大数量的用户提供服务，包括那些否则将被其他算法排除在外的用户。也就是说，TransBoost改善了金融包容性。
2021-12-16 cs.LG q-fin.ST
Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis
The University of Tennessee（田纳西大学）
知识蒸馏（KD）已被证明是深度神经网络压缩的有效方法，其通过从预训练的、过参数化的网络（教师）转移知识来学习紧凑的网络（学生）。在传统的知识库中，传递的知识通常是通过将训练样本馈送到教师网络以获得类概率来获得的。然而，由于存储成本或隐私问题，原始训练数据集并不总是可用的。在这项研究中，我们提出了一种新的无数据KD方法，通过用多元正态分布建模教师的中间特征空间，并利用分布生成的软目标标签来合成伪样本作为转移集。与使用原始训练集和其他无数据KD方法训练的网络相比，使用这些合成传递集训练的几个学生网络呈现出具有竞争力的性能。
2021-04-10 cs.LG
Toward Improved Generalization: Meta Transfer of Self-supervised Knowledge on Graphs
University of Southern California（南加州大学）
尽管图卷积网络在功能性脑活动分析中取得了显著的成功，但功能模式的异质性和成像数据的稀缺性仍然给许多任务带来了挑战。将知识从具有丰富训练数据的源域转移到目标域对于改进在稀缺训练数据上的表示学习是有效的。然而，传统的迁移学习方法往往无法推广的预训练知识的目标任务，由于领域的差异。图上的自监督学习可以增加图特征的泛化能力，因为自监督集中于不限于特定监督任务的固有图属性。针对功能磁共振成像数据的异质性和稀缺性，提出了一种新的融合元学习和自监督学习的知识转移策略。具体来说，我们在源域上执行自监督任务，并应用元学习，这大大提高了使用双层优化的模型的泛化能力，将自监督知识转移到目标域。通过对神经系统疾病分类任务的实验，我们证明了所提出的策略通过增加基于图的知识的泛化性和可转移性来显着提高目标任务的性能。
2022-12-16 cs.LG
Variational Information Distillation for Knowledge Transfer
Korea Advanced Institute of Science and Technology（韩国高等科学技术院）；École des Ponts ParisTech（巴黎高科桥路学院）；Amazon（亚马逊）
将知识从在相同或相似任务上预训练的教师神经网络转移到学生神经网络可以显著提高学生神经网络的性能。现有的知识转移方法匹配教师和学生网络的激活或相应的手工制作的功能。我们提出了一个信息理论框架的知识转移，制定知识转移最大限度地提高教师和学生网络之间的互信息。我们比较我们的方法与现有的知识转移方法的知识蒸馏和迁移学习任务，并表明我们的方法始终优于现有的方法。我们通过将知识从卷积神经网络（CNN）转移到CIFAR-10上的多层感知器（MLP），进一步证明了我们的方法在异构网络架构中的知识转移能力。由此产生的MLP显著优于最先进的方法，并且它实现了与具有单个卷积层的CNN相似的性能。
2019-04-11 cs.AI cs.CV cs.LG
Leveraging Kernel Symmetry for Joint Compression and Error Mitigation in Edge Model Transfer
School of Engineering \& Physical Sciences Heriot-Watt University Edinburgh EH14 4AS, UK
本文利用卷积核对称性实现边缘模型传输的联合压缩与误差缓解，提出基于自由度的编码器解码器，通过发送唯一系数实现权重张量重建，实验表明中央斜对称性在精度与压缩权衡中表现最佳。
2026-04-19 cs.LG eess.SP
Transferring Knowledge across Learning Processes
The Alan Turing Institute（艾伦·图灵研究所）；Amazon（亚马逊）
在复杂的迁移学习场景中，新任务可能与先前任务没有紧密联系。因此，传输仅包含在源模型的最终参数中的信息的方法将很难。相反，需要更高抽象级别的迁移学习。我们提出了Leap，这是一个通过在学习过程中转移知识来实现这一目标的框架。我们将每个任务与训练过程从初始化到最终参数的流形相关联，并构建一个元学习目标，使此路径的预期长度最小化。我们的框架仅利用训练过程中获得的信息，并且可以以微不足道的成本进行实时计算。我们证明，我们的框架优于竞争的方法，无论是在元学习和迁移学习，在一组计算机视觉任务。最后，我们证明了Leap可以在要求苛刻的强化学习环境（Atari）中跨学习过程传输知识，这些环境涉及数百万个梯度步骤。
2019-03-22 cs.AI cs.LG cs.NE
A Functional Perspective on Knowledge Distillation in Neural Networks
本文从功能角度研究知识蒸馏的压缩能力与知识传递，通过实验协议分析不同数据模态下的知识转移机制，发现知识蒸馏更像数据依赖的正则化方法，存在负向非对称转移风险。
2026-03-16 cs.AI cs.LG
A multi-level interpretable sleep stage scoring system by infusing experts' knowledge into a deep network architecture
University of California, Irvine（加州大学欧文分校）
近年来，深度学习在包括计算机视觉、图像和信号处理在内的广泛领域显示出潜力和效率。然而，由于缺乏算法决策和结果的可解释性，用户应用程序仍然面临翻译挑战。这种黑箱问题对于高风险应用（如医疗相关决策）尤其成问题。目前的研究目标是设计一个可解释的深度学习系统，用于睡眠阶段评分的脑电图（EEG）时间序列分类，作为设计透明系统的一步。我们开发了一种可解释的深度神经网络，它包括一个基于内核的层，该层基于人类专家在多导睡眠图记录的视觉分析中用于睡眠评分的一组原则。基于内核的卷积层被定义并用作系统的第一层，并可供用户解释。从EEG信号的微观结构（如训练的核和每个核对检测阶段的影响）到宏观结构（如阶段之间的过渡），在四个层次上解释训练的系统及其结果。所提出的系统表现出更大的性能比以前的研究和解释的结果表明，该系统学习的信息是一致的专家知识。
2022-07-11 cs.LG
Collaborative Teacher-Student Learning via Multiple Knowledge Transfer
Jiangsu University（江苏大学）；The University of Sydney（悉尼大学）；Monash University（莫纳什大学）
知识蒸馏（KD）作为一种高效的模型压缩技术，在深度学习中受到了广泛的关注。其成功的关键是将知识从大型教师网络转移到小型学生网络。然而，现有的大多数知识蒸馏方法只考虑师生学习中通过特定的蒸馏策略从实例特征或实例关系中学习到的一类知识。很少有作品探讨了在一个统一的框架中，以不同的蒸馏策略转移不同类型的知识的想法。此外，由于固定的师生架构，经常使用的离线蒸馏遭受有限的学习能力。在本文中，我们提出了一个合作的师生学习通过多重知识转移（CTSL-MKT），提示自主学习和合作学习。它允许多个学生以协作的方式从单个实例和实例关系中学习知识。在通过自我升华自我学习的同时，他们还可以通过在线升华相互指导。在四个图像数据集上的实验和消融研究表明，所提出的CTSL-MKT显着优于国家的最先进的KD方法。
2021-01-27 cs.LG
A Framework of Meta Functional Learning for Regularising Knowledge Transfer
Queen Mary University of London（伦敦玛丽女王大学）；Fudan University（复旦大学）
机器学习分类器的能力在很大程度上取决于可用训练数据的规模，并且在数据稀缺的学习任务中受到模型过拟合的限制。为了解决这个问题，这项工作提出了一种新的框架Meta功能学习（MFL）的元学习的一个概括的功能模型，从数据丰富的任务，同时定期知识转移到数据稀缺的任务。MFL计算可推广到不同学习任务的函数正则化的元知识，通过该元知识，在有限的标记数据上进行函数训练可以促进学习更多的判别函数。基于这个框架，我们制定了三种变体的MFL：MFL与原型（MFL-P）学习功能的辅助原型，复合MFL（ComMFL），从功能空间和表征空间转移知识，MFL与迭代更新（MFL-IU），通过逐步学习知识转移中的功能规则化，提高知识转移规则化。此外，我们概括这些变种的知识转移正则化从二进制分类器到多类分类器。在两个少样本学习场景上的大量实验，少样本学习（FSL）和跨域少样本学习（CD-FSL），表明用于知识转移正则化的Meta函数学习可以改进FSL分类器。
2022-03-28 cs.CV cs.LG
Visualizing Transferred Knowledge: An Interpretive Model of Unsupervised Domain Adaptation
Brandeis University（布兰迪斯大学）；Tulane University（杜兰大学）
许多研究致力于无监督领域自适应（DA）问题，将从标记的源域学到的知识转移到未标记的目标域。近年来，各种DA方法在预测能力方面取得了显着的成果，这意味着上述知识转移的有效性。然而，最先进的方法很少深入探讨转移机制，使这些知识的真正本质模糊不清。认识到它的重要性，在适应过程中，我们提出了一个解释模型的无监督领域自适应，作为第一次尝试，以直观地揭开神秘的知识转移。适应现有的概念原型从视觉图像判读DA任务，我们的模型同样提取共享信息的域不变的表示为原型向量。此外，我们扩展了目前的原型方法与我们的新的预测校准和知识保真度保存模块，面向学习的原型，以实际转移的知识。通过可视化这些原型，我们的方法不仅为基础模型的预测提供了直观的解释，而且还通过在源域和目标域中匹配具有相同语义的图像块来揭示知识的传递。全面的实验和深入的探索表明，我们的方法在理解转移机制及其在下游任务，包括模型诊断的潜力的有效性。
2023-03-04 cs.CV cs.LG
Exploration in Knowledge Transfer Utilizing Reinforcement Learning
Institute of Information Theory and Automation, Czech Academy of Sciences（捷克科学院信息理论与自动化研究所）；Faculty of Applied Sciences, University of West Bohemia（西波希米亚大学应用科学学院）
该研究针对知识迁移任务中的探索问题，对比了深度目标迁移Q学习中的ε贪心、玻尔兹曼、上置信界三种探索方法，经虚拟无人机问题测试，上置信界算法表现最佳，其普适性有待进一步验证。
2024-07-15 cs.AI cs.LG
Beyond Not-Forgetting: Continual Learning with Backward Knowledge Transfer
Arizona State University（亚利桑那州立大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
通过不断地学习一系列任务，持续学习（CL）中的智能体可以分别利用前向知识转移和后向知识转移来提高新任务和“旧”任务的学习性能。然而，大多数现有的CL方法专注于解决神经网络中的灾难性遗忘，通过最小化旧任务的学习模型的修改。这不可避免地限制了从新任务到旧任务的向后知识转移，因为明智的模型更新也可能提高旧任务的学习性能。为了解决这个问题，我们首先从理论上分析的条件下，更新旧任务的学习模型可能是有益的CL，也导致向后知识转移，基于梯度投影到旧任务的输入子空间。在理论分析的基础上，我们提出了一种具有反向知识转移（CUBER）的持续学习方法，用于固定容量的神经网络，无需数据重放。特别是，CUBER首先表征的任务相关性，以确定正相关的老任务，在一个分层的方式，然后有选择地修改旧任务的学习模型时，学习新的任务。实验研究表明，CUBER甚至可以实现积极的向后知识转移的几个现有的CL基准上的第一次没有数据重放，其中相关的基线仍然遭受灾难性遗忘（负向后知识转移）。CUBER在后向知识转移方面的优越性能也相应地导致了更高的准确性。
2022-11-01 cs.AI cs.LG
FedProK: Trustworthy Federated Class-Incremental Learning via Prototypical Feature Knowledge Transfer
Southwestern University of Finance and Economics（西南财经大学）；Webank（微众银行）；Southwest Jiaotong University（西南交通大学）
FedProK提出利用原型特征进行时空知识迁移，通过客户端特征转换和服务器原型知识融合，在同步与异步联邦类增量学习中同时提升持续效用、隐私性和效率。
2024-05-04 cs.AI cs.LG cs.NE
Understanding Knowledge Transferability for Transfer Learning: A Survey
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Shenzhen Institute of Advanced Technology Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
本文综述了迁移学习中知识可迁移性度量指标，提出统一分类体系，分析其在不同学习范式下的适用性，并展望可信迁移学习的未来研究方向。
2025-07-03 cs.AI cs.LG
Multi-granularity Knowledge Transfer for Continual Reinforcement Learning
Southwestern University of Finance and Economics（西南财经大学）；Shanxi University（山西大学）
针对持续强化学习中跨任务知识迁移不足的问题，提出MT-Core框架，结合大语言模型的粗粒度目标设定与强化学习的细粒度策略学习，并构建策略库实现多粒度知识迁移，实验验证其在多样化任务上的优越性。
2025-06-05 cs.AI cs.LG
Transferability analysis of data-driven additive manufacturing knowledge: a case study between powder bed fusion and directed energy deposition
McGill University（麦吉尔大学）；Arizona State University（亚利桑那州立大学）；National Research Council（国家研究委员会）
针对增材制造（AM）中数据驱动知识缺乏跨工艺迁移工具的问题，提出三步知识可迁移性分析框架，并在LPBF与DED工艺间成功验证了数据表示、模型架构及参数的多层级迁移。
2023-09-12 cs.AI cs.CV cs.LG
