Empowering parameter-efficient transfer learning by recognizing the kernel structure in self-attention
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
预训练语言模型（PLM）中大量的可训练参数使得它们难以部署到多个下游任务。为了解决这个问题，已经提出了参数高效的迁移学习方法，以在微调期间仅调整少数参数，同时冻结其余参数。本文通过\textit{kernel lens}沿着这条路线研究现有的方法。基于transformer-based PLM中的自注意与核学习之间的联系，提出了\textit{kernel-wise adapters}，即\textit{Kernel-mix}，利用自注意中的核结构来指导可调参数的分配.这些适配器使用经典内核学习中的指导原则，并为每个注意力头启用单独的参数调优。我们的实证结果，在一组不同的自然语言生成和理解任务，表明我们提出的适配器可以达到或提高现有基线的强大性能。
2022-10-26 cs.CL cs.LG
Smoothness Adaptive Hypothesis Transfer Learning
The Pennsylvania State University（宾夕法尼亚州立大学）；Amazon Science（亚马逊科学）
本文提出平滑度自适应迁移学习（SATL），在两阶段核岭回归中采用高斯核自适应未知平滑度，证明其达到极小极大最优收敛速率并优于非迁移学习。
2024-02-22 cs.LG stat.ME stat.ML
Optimal Transfer Learning for Missing Not-at-Random Matrix Completion
Indian Statistical Institute（印度统计研究所）
针对整行整列缺失的MNAR矩阵补全问题，提出利用含噪源矩阵进行潜在空间特征偏移的迁移学习框架，在主动采样下达到极小极大下界并避免相干性假设。
2025-02-28 cs.LG stat.ML
Transfer Learning Across Fixed-Income Product Classes
EPFL（瑞士联邦理工学院）
本文提出了一种跨固定收益产品类别的迁移学习框架，通过扩展核岭回归到向量值设置，解决稀疏或噪声数据下的折现曲线估计问题，并通过高斯过程解释和实验验证提升了外推性能。
2026-01-13 cs.LG q-fin.CP q-fin.MF
Transfer learning for atomistic simulations using GNNs and kernel mean embeddings
Istituto Italiano di Tecnologia（意大利理工学院）；University College London（伦敦大学学院）
本文提出结合预训练 GNN 特征与核均值嵌入的迁移学习方法，利用 OC20 预训练知识和化学物种信息，从较小的催化系统数据集中学习势能面，并在多个真实数据集上展现更好的泛化、迁移及微调性能。
2024-01-21 cs.LG physics.chem-ph
Domain Adaptation with Soft-margin multiple feature-kernel learning beats Deep Learning for surveillance face recognition
IIT Madras（印度理工学院马德拉斯分校）
人脸识别（FR）是基于生物特征的监控的最优选模式，这是由于其在所有不同类型的生物特征中检测主体的被动性质。与训练样本相比，由于探头上的低对比度、噪声和较差的照明条件，监视场景下的FR没有给出令人满意的性能。最先进的技术，深度学习，甚至在这些场景中表现不佳。我们提出了一种新的基于软边的学习方法，用于多个特征核组合，然后使用领域自适应进行特征变换，当使用三个真实世界的监控人脸数据集进行测试时，其性能优于许多最近的最先进的技术。
2016-10-27 cs.AI cs.CV cs.HC
Top-Tuning: a study on transfer learning for an efficient alternative to fine tuning for image classification with fast kernel methods
University of Genova（热那亚大学）；Istituto Italiano di Tecnologia（意大利理工学院）；MIT（麻省理工学院）
针对深度学习微调成本高的问题，提出仅训练核分类器的top-tuning迁移学习方法，在32个中小型图像数据集上实现与微调相当的准确率，训练时间缩短1-2个数量级。
2023-11-09 cs.LG
Transfer Learning of CATE with Kernel Ridge Regression
Columbia University（哥伦比亚大学）；Purdue University（普渡大学）；Peking University Health Science Center（北京大学医学部）；Beijing International Center for Mathematical Research, Peking University（北京大学北京国际数学研究中心）
该研究针对CATE迁移学习中重叠不足问题，提出基于KRR的重叠自适应方法，经理论推导和数值实验证实其在有限样本下效率更高、适应性更强，且在真实数据集上表现优越。
2026-08-04 cs.LG stat.ME stat.ML
Kernel Selection using Multiple Kernel Learning and Domain Adaptation in Reproducing Kernel Hilbert Space, for Face Recognition under Surveillance Scenario
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
人脸识别（FR）由于其生物特征认证的被动性，在过去的几十年里一直受到许多研究人员的关注。尽管人脸识别算法在受控条件下实现了高精度，但在监控场景中获得的人脸图像实现相同的性能是一个主要障碍。已经进行了一些尝试来超分辨低分辨率面部图像并提高对比度，但没有相当程度的成功。本文提出的技术试图应付非常低的分辨率和低对比度的人脸图像从监控摄像机，FR在监控条件下。对于支持向量机分类，核函数的选取一直是研究界广泛讨论的问题。在本文中，我们提出了一种新的核选择技术，称为MFKL（多特征核学习），以获得最佳的功能内核配对。我们提出的技术采用了有效的核选择多核学习（MKL）方法，选择最佳的内核一起使用的无监督领域自适应方法在再生核希尔伯特空间（RKHS），为解决问题。在三个真实世界的监控人脸数据集上进行了严格的实验：FR\_SURV，SCface和ChokePoint。使用Rank-1识别准确度、ROC和CMC测量结果已经显示。我们提出的方法优于所有其他最近的国家的最先进的技术相当大的利润。
2016-10-03 cs.CV cs.LG
Histogram-based Parameter-efficient Tuning for Passive and Active Sonar Classification
1 Department of Electrical；Computer Engineering, Texas A\&M University, College Station, TX, USA；2 Massachusetts Institute of Technology Lincoln Laboratory, Lexington, MA, USA
本文提出基于直方图的参数高效调优方法HPT，通过捕捉目标域统计信息来改进声呐分类任务，实验表明HPT在多个数据集上优于传统适配器，且在资源受限环境下表现优异。
2026-04-16 cs.LG cs.SD
TransBoost: A Boosting-Tree Kernel Transfer Learning Algorithm for Improving Financial Inclusion
Google（谷歌）
移动技术和金融技术的繁荣，孕育并扩大了各类金融产品的覆盖范围，有利于倡导金融普惠。它具有减少金融不平等的重要社会效益。然而，新用户特征分布鲜明、信用记录有限，以及新入局公司在处理复杂数据、获取精准标签方面经验不足，在个人金融风险评估方面带来的技术挑战，阻碍了普惠金融的进一步推进。为了应对这些挑战，本文开发了一种新的迁移学习算法（即，TransBoost），它结合了基于树的模型和核方法的优点。该算法采用并行树结构和有效的权值更新机制，在理论上保证了算法的有效性，使其在处理具有高维特征和稀疏性的真实世界数据时，能够在$O(n)$时间复杂度上表现出色。我们在两个公共数据集和腾讯移动支付的一个独特的大规模数据集上进行了大量的实验。结果表明，该算法在预测精度和效率方面优于其他最先进的基准迁移学习算法，对数据稀疏性具有更强的鲁棒性，并提供了有意义的模型解释。此外，考虑到金融风险水平，TransBoost使金融服务提供商能够为最大数量的用户提供服务，包括那些否则将被其他算法排除在外的用户。也就是说，TransBoost改善了金融包容性。
2021-12-16 cs.LG q-fin.ST
Analyzing high-dimensional time-series data using kernel transfer operator eigenfunctions
Freie Universität Berlin（柏林自由大学）；Paderborn University（帕德博恩大学）
核转移算子，可以被视为再生核希尔伯特空间中的Perron-Frobenius或Koopman算子等转移算子的近似，根据协方差和互协方差算子定义，并且已被证明与机器学习社区开发的条件均值嵌入框架密切相关。本文的目标是展示如何结合基于梯度的优化技术，这些运营商的主导特征函数可以用来检测长寿命的相干模式在高维时间序列数据。将使用视频数据和流体流动示例来说明结果。
2018-05-16 cs.LG math.OC stat.ML
Cross-view kernel transfer
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University（阿尔托大学）；Aix-Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Turing Center for Living Systems (CENTURI)（图灵生命系统中心（CENTURI））
我们考虑的内核完成问题的存在下，在数据中的多个视图。在这种情况下，某些视图中的数据样本可能完全缺失，从而为每个视图单独计算的内核矩阵创建缺失的列和行。我们建议解决的问题，完成核矩阵的跨视图核转移（CVKT）的过程中，其他视图的功能被转换为表示正在考虑的视图。通过与核矩阵的已知部分的核对齐来学习变换，从而允许在完成时在核矩阵中找到可推广的结构。然后可以使用其他视图中的可用数据预测其缺失值。我们使用模拟数据、多变量数字数据集和手势分类的多视图数据集，以及来自早期\textit{Drosophila melanogaster}胚胎发生模式形成研究的真实生物数据集来说明我们的方法的好处。
2022-05-31 cs.LG stat.ML
Langevin Dynamics for Adaptive Inverse Reinforcement Learning of Stochastic Gradient Algorithms
Cornell University（康奈尔大学）；University of Connecticut（康涅狄格大学）
逆强化学习（IRL）旨在通过观察优化代理的响应（估计或动作）来估计优化代理的奖励函数。本文考虑IRL时，观察到多个随机梯度代理产生的奖励函数的梯度的噪声估计。我们提出了一个广义的Langevin动力学算法来估计奖励函数$R(θ)$，具体地说，由此产生的Langevin算法渐近生成样本的分布成比例的$\exp(R(θ))$。建议的IRL算法使用基于内核的被动学习计划。我们还构造了适用于高维数据的IRL的多核被动Langevin算法。所提出的IRL算法的性能示出的例子在自适应贝叶斯学习，逻辑回归（高维问题）和约束马尔可夫决策过程。我们证明了弱收敛的IRL算法使用鞅平均方法。我们还分析了IRL算法在非平稳环境中的跟踪性能，其中效用函数$R(θ)$跳跃随着时间的推移而变化，作为一个缓慢的马尔可夫链。
2021-01-18 cs.LG cs.SY eess.SY
Hardware-aware Training Techniques for Improving Robustness of Ex-Situ Neural Network Transfer onto Passive TiO2 ReRAM Crossbars
IT (Institut Interdisciplinaire d’Innovation Technologique)（跨学科技术创新研究所）；Université de Sherbrooke（舍布鲁克大学）；Institute of Electronics, Microelectronics and Nanotechnology (IEMN), Université de Lille（里尔大学电子、微电子与纳米技术研究所）
本文提出结合dropout、重参数化与正则化的硬件感知训练方法，使神经网络权重迁移到无源TiO2 ReRAM交叉阵列时更能抵抗硬件变异，显著提升分类精度。
2023-05-29 cs.AR cs.LG
Eigendecompositions of Transfer Operators in Reproducing Kernel Hilbert Spaces
Zalando Research（扎兰多研究院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
传递算子如Perron-Frobenius算子或Koopman算子在复杂动力系统的全局分析中起着重要的作用。这些运营商的本征函数可以用来检测亚稳态集，项目的动态上占主导地位的慢过程，或分离叠加信号。我们将转移算子理论扩展到再生核希尔伯特空间，并表明这些算子与条件分布的希尔伯特空间表示有关，在机器学习界称为条件均值嵌入。此外，计算这些嵌入的经验估计的数值方法类似于用于近似传递算子的数据驱动方法，例如扩展动态模式分解及其变体。提出的基于核的方法的一个主要好处是，这些方法可以应用于任何域的相似性度量的内核是可用的。我们说明的结果与指导性的例子的帮助下，并强调在分子动力学以及视频和文本数据分析的潜在应用。
2019-08-13 cs.LG math.DS stat.ML
Classification Algorithm of Speech Data of Parkinsons Disease Based on Convolution Sparse Kernel Transfer Learning with Optimal Kernel and Parallel Sample Feature Selection
Chongqing Radio and TV University（重庆广播电视大学）；Chongqing University（重庆大学）
帕金森病（PD）患者的标记语音数据是稀缺的，在现有的数据集中，训练和测试数据的统计分布有显着差异。为了解决这些问题，必须考虑降维和增加样本。提出了一种基于稀疏核迁移学习并结合样本和特征并行优化的局部放电分类算法。采用稀疏迁移学习从公共数据集中提取PD语音特征的有效结构信息作为源域数据，并对快速ADDM迭代进行改进，以提高信息抽取性能。为了实现并行优化，考虑样本和特征之间的潜在关系，以获得高质量的组合特征。首先，从特定的公共语音数据集中提取特征，以构造作为源域的特征数据集。然后，PD目标域，包括训练和测试数据集，进行卷积稀疏编码，可以提取更深入的信息。其次，实现了并行优化。为了进一步提高分类性能，设计了卷积核优化机制。利用两个有代表性的公共数据集和一个自构造数据集，对三十多个相关算法进行了实验比较。实验结果表明，以Sakar数据集、MaxLittle数据集和DNSH数据集为目标域时，该算法在分类精度上有明显的提高。该研究还发现，与非迁移学习方法相比，本文中的算法有很大的改进，表明迁移学习更有效，并且具有更可接受的时间成本。
2020-02-10 cs.LG eess.SP
Neuro-Symbolic Fusion of Wi-Fi Sensing Data for Passive Radar with Inter-Modal Knowledge Transfer
Politecnico di Milano（米兰理工大学）；University of Brescia（布雷西亚大学）；DEVCOM Army Research Lab（DEVCOM陆军研究实验室）；University of California, Los Angeles（加州大学洛杉矶分校）；Air Force Research Laboratory（空军研究实验室）
本文提出神经符号架构DeepProbHAR，通过融合Wi-Fi多天线信号并利用摄像头领域知识，在不额外标注数据的情况下实现人类活动识别，并生成与精细标注模型精度相当的简单动作分类器。
2024-07-01 cs.ET cs.LG cs.NI
Forward Operator Estimation in Generative Models with Kernel Transfer Operators
Carnegie Mellon University（卡内基梅隆大学）；Butlr（Butlr公司）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
使用显式密度建模的生成模型（例如，变分自编码器、基于流的生成模型）涉及找到从已知分布（例如高斯分布）到未知输入分布的映射。这通常需要搜索一类非线性函数（例如，可由深度神经网络表示）。虽然在实践中是有效的，但是相关的运行时/内存成本可能会迅速增加，通常是应用程序中所需性能的函数。我们提出了一个更便宜（和更简单）的战略，以估计这种映射的基础上，适应已知的结果，在内核传输运营商。我们表明，我们的配方能够实现高效的分布近似和采样，并提供了令人惊讶的良好的经验性能，与强大的基线相比，但具有显着的运行时间节省。我们表明，该算法也表现良好，在小样本量的设置（在脑成像）。
2021-12-01 cs.CV cs.LG stat.ML
Finite-Sample Bounds for Adaptive Inverse Reinforcement Learning using Passive Langevin Dynamics
Department of Electrical & Computer Engineering, Cornell University（康奈尔大学电气与计算机工程系）
本文对用于自适应逆强化学习的被动随机梯度朗之万动力学算法开展有限样本分析，给出2-瓦瑟斯坦距离显式界与核密度估计保证，兼具理论与实践意义。
2025-01-15 cs.LG stat.ML
Analysis of Knowledge Transfer in Kernel Regime
Chalmers University of Technology（查尔姆斯理工大学）；Indian Institute of Science（印度科学学院）
知识转移被证明是训练神经分类器的一种非常成功的技术：与地面真实数据一起，它使用“教师”网络获得的“特权信息”（PI）来训练“学生”网络。据观察，分类器通过知识转移学习得更快，更可靠。然而，很少或根本没有对这一现象进行理论分析。为了弥合这一差距，我们建议通过正规化的教师和学生与PI提供的教师之间的配合，知识转移的问题。使用动力系统理论的工具，我们表明，当学生是一个非常广泛的两层网络，我们可以分析它的内核政权，并表明它是能够PI和给定的数据之间的插值。这一特征揭示了新的光之间的关系的培训错误和能力的学生相对于教师。本文的另一个贡献是对学生网络的收敛性进行了定量的描述。我们证明了教师减少了学生学习所需的迭代次数，从而提高了学生的泛化能力。我们给出了相应的实验分析，验证了理论结果，并产生额外的见解。
2023-02-02 cs.LG stat.ML
Transfer String Kernel for Cross-Context DNA-Protein Binding Prediction
University of Virginia（弗吉尼亚大学）
通过基于序列的分类，本文试图准确地预测DNA结合位点的转录因子（TF）在一个未注释的细胞背景。文献中的相关方法不能准确地进行这样的预测，因为它们没有考虑序列片段从注释（源）背景到未注释（靶）背景的样本分布偏移。因此，我们提出了一种称为“传输字符串内核”（TSK）的方法，通过跨上下文样本适应，使用知识转移来实现对转录因子结合位点（TFBS）的改进预测。TSK映射序列段到一个高维特征空间，使用一个有区别的不匹配字符串内核框架。在这个高维空间中，源上下文的标记示例被重新加权，使得修订的样本分布更紧密地匹配目标上下文。我们已经通过实验验证了TSK的TFBS标识在十四个不同的TF下的跨生物体设置。我们发现，TSK始终优于国家的最先进的TFBS工具，特别是当与TF的结合序列不保守的上下文中。我们还展示了TSK的普遍性，通过展示其在不同的一组跨上下文任务的MHC肽结合预测的尖端性能。
2016-09-12 cs.LG
Improved Knowledge Distillation via Full Kernel Matrix Transfer
Alibaba Group（阿里巴巴集团）；University of Washington（华盛顿大学）
知识蒸馏是深度学习中模型压缩的一种有效方法。给定一个大型模型（即，教师模型），其目的是提高紧凑模型的性能（即，学生模型）通过传递来自教师的信息。研究了蒸馏的各种信息。近年来，许多研究者提出通过实例间的成对相似度来提取相关信息。然而，大部分的努力都致力于开发不同的相似性度量，而只有一个小的矩阵，包括一个小批量的例子是在每次迭代中转移，可以是低效的优化在整个数据集的成对相似性。在这项工作中，我们的目标是有效地转移完整的相似性矩阵。主要的挑战是来自完整矩阵的大小，它是样本数量的二次方。为了解决这个问题，我们用Nystr{<$}m方法对原始全矩阵进行分解。理论分析表明，通过选择适当的标志点，可以进一步简化传输损耗。具体地说，我们发现教师和学生之间的原始全核矩阵之间的差异可以很好地由相应的部分矩阵，其中只包括原始示例和标志点之间的相似性。与完全矩阵相比，部分矩阵的大小与样本数成线性关系，显著提高了优化效率。在基准数据集上的实验结果表明了该算法的有效性。代码可在\url{https://github.com/idstcv/KDA}上获得。
2022-03-29 cs.CV cs.LG stat.ML
Bayesian Transfer Operators in Reproducing Kernel Hilbert Spaces
Paderborn University（帕德博恩大学）；TU Dortmund（多特蒙德技术大学）；Heriot–Watt University（赫里奥特-瓦特大学）
本文提出在再生核希尔伯特空间中结合贝叶斯转移算子，通过高斯过程方法解决核基Koopman算法的稀疏性和超参数优化问题。
2026-02-04 cs.LG math.DS nlin.CD
Leveraging Kernel Symmetry for Joint Compression and Error Mitigation in Edge Model Transfer
School of Engineering \& Physical Sciences Heriot-Watt University Edinburgh EH14 4AS, UK
本文利用卷积核对称性实现边缘模型传输的联合压缩与误差缓解，提出基于自由度的编码器解码器，通过发送唯一系数实现权重张量重建，实验表明中央斜对称性在精度与压缩权衡中表现最佳。
2026-04-19 cs.LG eess.SP
Efficient Online Relative Comparison Kernel Learning
University of Pittsburgh（匹兹堡大学）；Air Force Research Laboratory（空军研究实验室）
从相对比较人类反馈中学习核矩阵是协同过滤、对象检索和搜索应用中的一个重要问题。为了在大量对象上学习内核，现有方法面临显著的可扩展性问题，抑制了这些方法应用于以在线和及时的方式学习内核的设置。在本文中，我们提出了一种新的框架，称为有效的在线相对比较核学习（ERKLE），有效地学习一个大的对象集的相似性在线的方式。我们通过随机梯度下降从相对比较中学习一个内核，一次一个查询响应，利用梯度的稀疏和低秩特性，有效地将内核限制在半正定矩阵的空间中。此外，我们推导出一个被动攻击的在线更新最低限度地满足新的相对比较，以不破坏以前获得的比较的影响。在实验中，我们证明了一个相当大的改进速度，同时获得改善或可比的准确性相比，目前的方法在在线学习设置。
2015-01-12 cs.LG
Feature Structure Distillation with Centered Kernel Alignment in BERT Transferring
AI graduate school of Gwangju Institute of Science and Technology (GIST)（光州科学技术院AI研究生院）；Jeonbook National University（全北国立大学）
针对BERT知识蒸馏中学生表示灵活性受限的问题，提出基于中心化核对齐的特征结构蒸馏方法，迁移三类表示结构并在GLUE九项任务上优于现有蒸馏方法。
2023-02-27 cs.AI cs.CL cs.LG
Budget Online Multiple Kernel Learning
School of Information Systems（信息系统学院）；Singapore Management University（新加坡管理大学）；Institute for Infocomm Research (I2R)（资讯通信研究院（I2R））；A*STAR（新加坡科技研究局）
多核在线学习近年来得到了越来越多的关注，并得到了广泛的应用。对于分类任务，在线多核分类（OMKC），它学习基于核的分类器，通过寻求最佳的线性组合池的单核分类器在在线的时尚，实现了优越的精度和享有极大的灵活性相比，传统的单核分类器。尽管被广泛研究，现有的OMKC算法遭受高的计算成本，由于其无限数量的支持向量。为了克服这个缺点，我们提出了一个新的预算在线多核学习（BOMKL）的框架，并提出了一个新的稀疏被动积极学习执行有效的预算在线学习。具体来说，我们采用了一个简单而有效的Bernoulli采样来决定是否应该将传入的实例添加到当前的支持向量集。通过限制支持向量的数量，我们的方法可以显着加快OMKC，同时保持令人满意的精度，是现有的OMKC算法相媲美。我们从理论上证明了我们的新方法达到了预期的最佳遗憾界，并实证发现，该算法优于各种OMKC算法，可以很容易地扩展到大规模数据集。
2015-11-18 cs.LG
MetaKernelBench: Measuring GPU Kernel Knowledge Transfer Beyond Code
Westlake University（西湖大学）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）
MetaKernelBench通过跨DSL技能迁移测试，衡量GPU内核优化智能体的知识复用价值，发现迁移效果依赖于源尝试的相对表现。
2026-10-06 cs.LG
Learning Transfer Operators by Kernel Density Estimation
Yale University（耶鲁大学）；Yale School of Public Health（耶鲁公共卫生学院）；Clarkson University（克拉克森大学）
本文从统计密度估计视角重新表述转移算子推断问题，通过偏差-方差分析比较直方图与核密度估计，证明KDE在估计Frobenius-Perron算子特征向量时通常更准确，并指出其边界局限性及未来高维应用方向。
2023-07-27 cs.IT cs.LG math.DS
