Multi-source Unsupervised Domain Adaptation on Graphs with Transferability Modeling
The Pennsylvania State University（宾夕法尼亚州立大学）；Florida International University（佛罗里达国际大学）
针对图上多源无监督域适应中分布差异与结构多样导致的适配难题，提出含双层选择器与双层对齐目标的SMAG框架，经元学习训练，在五个图数据集上验证了有效性。
2024-06-22 cs.LG
Interventional Domain Adaptation
Zhejiang University（浙江大学）；Laval University（拉瓦尔大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
领域自适应（DA）的目的是将从源领域学习到的鉴别特征转移到目标领域。大部分的DA方法集中于通过域不变性学习来增强特征的可移植性。然而，源学习的可辨别性本身可能被定制为有偏见的并且不安全地通过虚假相关性来转移，\emph{i.e.}，源特定特征的一部分与类别标签相关。我们发现，标准的域不变性学习受到这种相关性的影响，并错误地转移了源细节。为了解决这个问题，我们使用未标记的目标数据来干预特征区分度的学习，以引导其摆脱特定领域的部分，并安全地转移。具体地说，我们通过一种新的特征干预策略生成反事实特征，以区分领域特定性和领域可共享部分。为了防止域特异性的驻留，特征可辨别性被训练为对反事实特征的域特异性中的突变不变。在典型的\emph{one-to-one}无监督领域自适应和具有挑战性的领域不可知自适应任务上进行实验，我们的方法与最先进的方法相比的一致性能改进验证了学习的判别特征更安全地可转移，并且可以很好地推广到新的领域。
2020-11-07 cs.CV cs.LG stat.ML
Multi-Feature Riemannian Hypergraph for Online Test-Time Adaptation of Motor Imagery Brain-Computer Interface
Peking University（北京大学）；Chinese Institute for Brain Research（中国脑科学研究院）；NeuCyber Neurotech（纽赛博神经科技公司）；Beijing Medical University（北京医科大学）；Chinese Academy of Medical Sciences & Peking Union Medical College（中国医学科学院北京协和医学院）
针对MI-BCI解码的跨天可迁移性与在线运行挑战，提出MRieHy框架，通过融合黎曼几何的双超图实现在线测试时自适应，在三类数据集上性能优于现有基线。
2026-08-18 cs.HC cs.LG eess.SP
On The Role of K-Space Acquisition in MRI Reconstruction Domain-Generalization
Faculty of Computer Science, Technion, Israel（计算机科学学院，技术学院，以色列）
本文探讨了在MRI重建中通过学习k空间采样模式提升跨领域泛化能力的方法，并提出了一种增强域鲁棒性的新方法。
2025-12-06 cs.CV cs.LG
Exploring Transferability of Self-Supervised Learning by Task Conflict Calibration
本文针对SSL可迁移性的定义与建模问题，提出TC²方法，通过分割批次注入任务信息、提取因果因子与样本权重、两阶段优化校准表示，有效减轻任务冲突，持续提升SSL模型在下游任务的可迁移性。
2025-11-16 cs.CV cs.LG
Human-centric Transfer Learning Explanation via Knowledge Graph [Extended Abstract]
Zhejiang University（浙江大学）；University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of Oslo（奥斯陆大学）
迁移学习旨在利用从一个问题（源域）中学到的知识来解决另一个不同但相关的问题（目标域），引起了广泛的研究关注。然而，目前的迁移学习方法大多是不可解释的，特别是对于没有机器学习专业知识的人来说。在这个扩展的摘要中，我们简要介绍了两个基于知识图谱（KG）的人类可理解的迁移学习解释框架。第一个解释了卷积神经网络（CNN）通过预训练和微调从一个域到另一个域学习的特征的可转移性，而第二个证明了零样本学习（ZNL）中多个源域模型预测的目标域模型的合理性。这两种方法都利用KG及其推理能力，为传输过程提供丰富且人类可理解的解释。
2019-01-20 cs.AI cs.LG stat.ML
Boosting Supervision with Self-Supervision for Few-shot Learning
UMass Amherst（马萨诸塞大学阿默斯特分校）；Cornell University（康奈尔大学）
我们提出了一种技术，通过引入自监督任务作为辅助损失函数来提高在小标记数据集上学习的深度表示的可转移性。虽然最近的自监督学习方法已经显示出在大型未标记数据集上训练的好处，但我们发现即使在小数据集上，当与强监督相结合时，泛化能力也有所提高。具有自我监督损失的学习表示在几个少样本学习基准测试中将最先进的元学习器的相对出错率降低了5-25%，并且在从头开始训练时，标准分类任务的现成深度网络也是如此。我们发现自我监督的好处随着任务的难度而增加。我们的方法利用数据集内的图像来构建自监督损失，因此是一种有效的学习可转移表示的方法，而不依赖于任何外部训练数据。
2019-06-17 cs.CV cs.LG stat.ML
Evaluating the Transferability of Machine-Learned Force Fields for Material Property Modeling
Stanford University（斯坦福大学）；Yonsei University（延世大学）
本文提出了一套全面的基准测试以评估机器学习力场的可迁移性，通过基于GNN的力场对氩进行MD模拟，发现训练数据必须包含固相构型才能准确捕捉固相行为，强调了合理选择训练数据的重要性。
2023-01-15 cs.LG cs.NA math.NA
Applying Transfer Learning To Deep Learned Models For EEG Analysis
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
在计算机视觉等领域引入深度学习和迁移学习技术，使图像分类任务的准确性实现了飞跃。目前，这种技术在神经科学中的应用有限。使用深度学习方法在神经科学中成功训练模型的挑战在于处理信息的复杂性、数据的可用性以及生成足够高质量注释的成本。受其在计算机视觉中应用的启发，我们引入了对电生理数据的迁移学习，以利用有限的数据训练模型。我们的方法在BCI竞赛IV 2a的数据集上进行了测试，并与使用传统机器学习技术获得的最佳结果进行了比较。使用我们的DL模型，我们比竞争对手的最高结果高出33%。我们还探索了不同实验中训练模型之间知识的可转移性，称为实验间迁移学习。这进一步减少了所需数据的数量，并且在可获得的受试者很少时特别有用。这种方法能够比BCI竞赛IV 2b方法中使用的标准深度学习方法高出18%。在这个项目中，我们提出了一种方法，可以产生可靠的脑电图（EEG）信号分类的基础上，通过使用迁移学习的训练数据量不大。
2019-07-02 cs.LG eess.SP stat.ML
Does Combining Parameter-efficient Modules Improve Few-shot Transfer Accuracy?
Noah's Ark Lab（诺亚方舟实验室）
本文研究 LoRA 模块的可组合性，发现均匀组合与学习式组合在少样本场景下均能提升迁移准确率并优于全量微调，且均匀组合无需额外可学习参数。
2024-02-23 cs.CV cs.LG
Multi-task and few-shot learning in virtual flow metering
Department of Engineering Cybernetics, Norwegian University of Science and Technology（工程 cybernetics 系，挪威科学技术大学）；Solution Seeker AS（Solution Seeker 公司）
本文提出一种基于深度神经网络的概率层次模型用于多单元软感知，在80口油井的虚拟流量计案例中验证其泛化能力，并证明从多井数据学习的模型可在1-3个数据点下实现新井的高性能少样本学习。
2025-09-16 cs.LG stat.ML
Deploying Tiny LVLM Judges for Real-World Evaluation of Chart Models: Lessons Learned and Best Practices
York University（约克大学）；University of Alberta（阿尔伯塔大学）；Salesforce AI Research（Salesforce AI研究）
本研究提出多标准提示与领域自适应迁移学习，构建微型LVLM裁判ChartJudge，实现低成本高效评估图表模型，并揭示模型规模与可迁移性的权衡。
2025-10-10 cs.CL cs.LG
Improving Transferability of Representations via Augmentation-Aware Self-Supervision
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；University of Michigan（密歇根大学）；University of California, Berkeley（加州大学伯克利分校）；Amazon Web Services（亚马逊云科技）；LG AI Research（LG人工智能研究院）
最近的无监督表示学习方法已被证明是有效的，在一系列的视觉任务，通过学习表示不变的数据增强，如随机裁剪和颜色抖动。然而，如果下游任务依赖于数据增强的特性，例如，位置或颜色敏感。这不仅仅是无监督学习的问题;我们发现即使在监督学习中也会发生这种情况，因为它也学会为实例的所有增强样本预测相同的标签。为了避免这样的失败并获得更通用的表示，我们建议优化一个辅助的自监督损失，称为AugSelf，它学习增强参数的差异（例如，裁剪位置、颜色调整强度）。我们的直觉是，AugSelf鼓励在学习表征中保留增强感知信息，这可能有利于它们的可转移性。此外，AugSelf可以很容易地融入到最近最先进的表示学习方法中，而额外的训练成本可以忽略不计。大量的实验表明，我们简单的想法一致地提高了在各种迁移学习场景中通过监督和无监督方法学习的表示的可迁移性。该代码可在https://github.com/hankook/AugSelf上获得。
2021-11-18 cs.AI cs.CV cs.LG
Deep into The Domain Shift: Transfer Learning through Dependence Regularization
BNU-HKBU United International College（北京师范大学-香港浸会大学联合国际学院）；City University of Hong Kong（香港城市大学）；The Laboratory for AI-Powered Financial Technologies Limited（人工智能金融科技实验室有限公司）；JD Digits Technology（京东数字科技）
本文提出一种新的领域自适应方法，将边缘分布差异与内部依赖结构差异分开衡量并优化二者权重，从而提升迁移学习的判别力和灵活性，在三个真实数据集上验证了其显著且稳健的改进效果。
2023-05-31 cs.LG q-fin.CP
Transfer Learning for Node Regression Applied to Spreading Prediction
Jožef Stefan Institute（约热夫·斯特凡研究所）；University of Nova Gorica（新戈里察大学）；Jožef Stefan International Postgraduate School（约热夫·斯特凡国际研究生院）
了解信息如何在现实生活中的复杂网络中传播，可以更好地理解动态过程，如错误信息或流行病传播。最近引入的分支机器学习方法学习节点表示提供了许多新的应用，其中之一是本文中提出的传播预测的任务。我们探索了最先进的节点表示学习器的效用，当用于评估从给定节点传播的影响时，通过广泛的模拟估计。此外，由于许多现实生活中的网络在拓扑上是相似的，我们系统地研究了学习的模型是否可以推广到以前看不见的网络，表明在某些情况下可以获得非常好的模型转移。这项工作是第一个探索节点回归任务的学习表示的可转移性的工作之一;我们证明了存在具有相似结构的网络对，在这些网络之间可以转移训练模型（zero-shot），并展示了它们的竞争性能。据我们所知，这是第一次尝试评估节点回归任务的zero-shot转移的效用。
2021-05-03 cs.LG cs.SI
Linear Representation Transferability Hypothesis: Leveraging Small Models to Steer Large Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出线性表示可迁移性（LRT）假说，认为不同规模模型的表示空间之间存在仿射变换，并通过实验证明利用小模型隐藏状态学到的仿射映射可将引导向量有效迁移到大模型，从而用小模型表示引导大模型行为。
2025-06-04 cs.AI cs.CL cs.LG
Transferability of Learned States in Neural PDE Solvers
University of Chicago（芝加哥大学）；University of Cambridge（剑桥大学）；Princeton University（普林斯顿大学）；ByteDance Inc.（字节跳动公司）；Amazon（亚马逊公司）
该研究针对神经PDE求解器中学习状态的可迁移性问题，提出复用契约方法，通过配对状态比较等分离解精度等指标，在实验中验证了该方法可节省CG迭代次数并证明有限预算预训练的价值。
2026-10-19 cs.LG
Structure Mapping for Transferability of Causal Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Research（微软研究院）；Amazon（亚马逊）
人类学习因果模型，并不断使用它们在相似的环境之间转移知识。我们使用这种直觉来设计一个迁移学习框架，使用面向对象的表示来学习对象之间的因果关系。学习的因果动态模型可以用于在具有对象之间的可交换感知特征但具有相同的潜在因果动态的环境的变体之间转移。我们适应结构学习技术的持续优化，明确学习的原因和影响的行动在一个互动的环境和转移到目标域的对象的分类的基础上的因果知识。我们证明了我们的方法的优势，在网格世界设置结合因果模型为基础的方法与无模型的方法在强化学习。
2020-07-18 cs.AI cs.LG stat.ML
Evaluating the structure of cognitive tasks with transfer learning
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；Federal University of ABC（ABC联邦大学）；King’s College London（伦敦国王学院）
本研究探究深度学习表征在不同EEG解码任务间的可迁移性，在ERP CORE和M$^3$CV数据集上实验表明线性探测迁移可带来高达28%的性能提升，并揭示了认知任务的层级关系。
2023-07-28 cs.AI cs.LG eess.SP
Exploring the Role of Task Transferability in Large-Scale Multi-Task Learning
New York University（纽约大学）；AWS AI（AWS人工智能）；AWS AI Labs（AWS人工智能实验室）
最近的工作发现，具有大量不同任务的多任务训练可以均匀地提高看不见的目标任务的下游性能。相反，关于任务可转移性的文献已经确定，中间任务的选择会严重影响下游任务的绩效。本研究旨在探讨多任务表示学习中任务规模和任务关联性的影响。我们发现，平均而言，增加多任务学习的规模，就任务的数量而言，确实会比较小的多任务设置更好地学习表示。然而，如果目标任务是提前知道的，那么在较小的相关任务集合上进行训练与大规模多任务训练相比具有竞争力，并且计算成本降低。
2022-07-12 cs.CL cs.LG
Parameter Transfer Unit for Deep Neural Networks
Hong Kong University of Science and Technology（香港科技大学）
在大规模数据库上训练的深度神经网络中的参数可以跨多个域泛化，这被称为“可转移性”。不幸的是，可转移性通常被定义为离散状态，并且它因域和网络结构而异。现有的工作通常是抽象地应用参数共享或微调，并没有原则性的方法来学习参数传递策略。为了解决这个问题，本文提出了一种参数传递单元（PTU）。PTU从源和目标域网络中学习细粒度的非线性激活组合，并包含手工制作的离散传输状态。在PTU中，可转移性由两个门控制，这两个门是人工神经元，可以从数据中学习。PTU是一个通用且灵活的模块，可用于CNN和RNN。实验进行了各种网络架构和多个传输域对。结果表明PTU的有效性，因为它优于启发式参数共享和微调在大多数设置。
2018-04-23 cs.LG stat.ML
Cross-Model Semantics in Representation Learning
本文研究结构约束如何影响跨架构表示对齐，提出测量框架，证明结构规律性提升表示稳定性与跨模型可迁移性，对模型蒸馏和模块化学习有启示。
2025-08-05 cs.AI cs.LG
Creativity of AI: Hierarchical Planning Model Learning for Facilitating Deep Reinforcement Learning
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出一种结合符号选项与分层规划模型的深度强化学习框架，通过循环训练自动学习规划模型以提升数据效率、可解释性与可迁移性，并在两个领域验证了其有效性。
2023-07-07 cs.AI cs.LG
Validation of Simulation-Based Testing: Bypassing Domain Shift with Label-to-Image Synthesis
Fraunhofer Institute for Intelligent Analysis and Information Systems（弗劳恩霍夫智能分析与信息系统研究所）；Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；CARIAD SE（CARIAD欧洲软件公司）；Volkswagen AG（大众汽车集团）；University of Wuppertal（伍珀塔尔大学）
许多机器学习应用程序可以从模拟数据中受益，以进行系统验证-特别是在难以获得或注释真实数据的情况下。然而，由于模拟容易发生域移位w.r.t.实际数据，关键是要验证所获得的结果的可移植性。我们提出了一个新的框架，包括一个生成的标签到图像的合成模型，以及不同的可转移性措施，以检查在何种程度上，我们可以转移测试结果的语义分割模型从合成数据到等效的现实生活中的数据。稍加修改，我们的方法可以扩展到，例如，一般多类分类任务。接地的可转移性分析，我们的方法还允许通过纳入控制模拟进行广泛的测试。我们验证我们的方法经验上的语义分割任务的驾驶场景。可转移性使用IoU的相关性分析和一个学习的测试。虽然后者可以区分真实生活和合成测试，但在前者中，我们观察到汽车和行人的相关性都达到了0.7，这令人惊讶。
2021-06-10 cs.CV cs.LG
LWM-CDE: A Representation Space for Wireless Data Reasoning and Transferability
School of Electrical, Computer and Energy Engineering, Arizona State University（电气、计算机与能源工程学院，亚利桑那州立大学）；InterDigital, Inc.（InterDigital公司）
提出基于预训练无线基础模型特征空间的数据集相似性框架LWM-CDE，通过对比学习和几何形状损失微调数据集嵌入，构建距离可靠指示可迁移性的结构化流形，在无线基准测试中比现有指标更高效且与经验迁移性能相关性更强。
2026-05-22 cs.LG eess.SP
Unlocking the Transferability of Tokens in Deep Models for Tabular Data
Nanjing University（南京大学）；Peking University（北京大学）
本文提出TabToken方法，通过对比学习正则化特征token，解决表格数据中预训练模型与目标任务特征集差异问题，实现跨异构特征的知识迁移并提升模型判别能力。
2023-10-23 cs.LG
An advantage based policy transfer algorithm for reinforcement learning with measures of transferability
The Ohio State University（俄亥俄州立大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
提出离策略优势迁移算法APT-RL，利用优势正则化权衡源与目标知识，并引入迁移性度量，在连续控制任务中优于现有迁移算法且对抗任务不逊于从头学习。
2024-12-15 cs.AI cs.LG
Sensor-Invariant Tactile Representation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出一种新的方法，用于提取传感器不变的触觉表示，以实现跨光学触觉传感器的零样本迁移。通过基于变压器的架构训练多样化的模拟传感器数据集，实现对新传感器的最小校准泛化。实验结果展示了该方法在多种触觉传感应用中的有效性。
2025-03-13 cs.CV cs.LG cs.RO
Your Learned Constraint is Secretly a Backward Reachable Tube
本文证明逆约束学习实际恢复的是后向可达管而非失败集合，并探讨了其动力学依赖性对策略搜索样本效率和约束迁移性的影响。
2025-08-02 cs.AI cs.LG cs.RO
Rethinking Evaluation Protocols of Visual Representations Learned via Self-supervised Learning
LG CNS AI Research（LG CNS人工智能研究院）；Seoul National University of Science and Technology（首尔科学技术大学）
本文研究了自监督学习视觉表示评估协议中超参数敏感性问题，发现LP的输入归一化和SSL的权重衰减参数分别对评估稳定性和迁移性有重要影响，呼吁社区重新审视现有评估方案。
2023-04-07 cs.CV cs.LG
On the Effects of Knowledge-Augmented Data in Word Embeddings
University College London（伦敦大学学院）
本文研究了从大型无注释数据语料库中学习到的词嵌入的知识注入技术。这些表示是用词共现统计数据训练的，并且通常不利用来自语言知识库的句法和语义信息，这可能限制了它们对具有不同语言分布或用法的域的可转移性。我们提出了一种新的语言知识注入方法，通过数据增强学习词嵌入，从数据中执行语义关系，并系统地评估其对所产生的表示的影响。我们表明，我们的知识增强方法提高了学习嵌入的内在特征，同时不会显着改变下游文本分类任务的结果。
2020-10-05 cs.CL cs.LG
Ultrasound Image Representation Learning by Modeling Sonographer Visual Attention
University of Oxford（牛津大学）
图像表示通常从类标签中学习，这是人类图像理解的简单近似。在本文中，我们证明了可转移的图像表示可以学习，而无需手动注释，通过模拟人类的视觉注意。我们的分析的基础是一个独特的视线跟踪数据集的超声医师进行常规临床胎儿异常筛查。通过训练卷积神经网络（CNN）来学习超声医师视觉注意力的模型，以通过视觉显著性预测或注视点回归来预测超声视频帧上的注视。我们评估的可转移性的学习表示的任务，超声标准平面检测在两种情况下。首先，我们通过使用有限数量的标记标准平面图像微调CNN来执行迁移学习。我们发现，微调显着性预测优于随机初始化训练，总体平均F1分数提高了9.6%，心脏平面平均提高了15.3%。其次，我们对每个CNN层的特征激活进行训练，以便独立于迁移学习超参数来评估表示。我们发现，注意力模型得到了强有力的表示，除了最后一层之外，几乎达到了完全监督基线模型的精度。
2019-05-27 cs.CV cs.LG cs.NE
Realizing Learned Quadruped Locomotion Behaviors through Kinematic Motion Primitives
Robert Bosch Centre for Cyber-Physical Systems, IISc（印度科学研究所罗伯特·博世网络物理系统中心）
人类和动物被认为使用一组非常小的轨迹来执行各种各样的任务，包括行走。我们在本文中的主要目标有两个方面：1）通过从深度强化学习（D-RL）中学习的轨迹，获得一种有效的工具来实现四足步行的这些基本运动模式，称为运动学运动基元（kMP）; 2）在我们的自定义四足足式机器人（称为“Stoch”）中，从这些运动学运动基元中实现一组行为，即小跑、步行、飞奔和跳跃。D-RL是一种数据驱动的方法，无论是在仿真还是在实验中，它都被证明是非常有效的，可以实现各种鲁棒的运动行为。另一方面，已知kMP捕获步行的底层结构并产生一组衍生行为。我们首先从D-RL生成步行步态，D-RL使用基于策略梯度的方法。然后，我们分析所产生的步行使用主成分分析。我们观察到，从PCA中提取的kMPs遵循类似的模式，无论生成的步态类型如何。利用这一基础结构，我们通过从kMP直接重建关节轨迹来实现Stoch行走。这种类型的方法提高了这些步态到真实硬件的可移植性，降低了板载计算开销，并且还通过从单个学习的步态生成一组派生行为来避免多次训练迭代。
2019-02-26 cs.LG cs.RO
Unsupervised Scalable Representation Learning for Multivariate Time Series
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；EPFL（洛桑联邦理工学院）；Ecole Polytechnique（巴黎综合理工学院）
时间序列是机器学习算法的一种具有挑战性的数据类型，因为它们在实践中具有高度可变的长度和稀疏的标记。在本文中，我们通过提出一种无监督的方法来学习时间序列的通用嵌入来应对这一挑战。与以前的作品不同，它是可扩展的，就其长度而言，我们证明了质量，可移植性和实用性的学习表示与彻底的实验和比较。为此，我们结合了一个编码器的基础上因果扩张卷积与一个新的三重损失，采用基于时间的负采样，获得通用的表示为可变长度和多变量时间序列。
2020-01-03 cs.LG cs.NE stat.ML
Maximum Causal Entropy Inverse Constrained Reinforcement Learning
Ghent University（根特大学）；imec（比利时微电子研究中心）
针对真实环境中隐性约束难以传递给智能体的问题，提出基于最大因果熵的逆约束强化学习方法，通过演示学习约束与合规策略，在多场景下性能优于现有方法且适配复杂环境。
2023-05-04 cs.AI cs.LG
Edge Accuracy Is Not Enough: Why Dynamics-Learned Structure Fails to Transfer to Inverse Problems
Institute for Data Processing and Electronics (IPE)（数据处理与电子研究所）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
该论文证明，从动力学预测中学习到的结构即使满足理论条件，在反问题迁移中仍会失败，并提出了基于Jaccard相似度的轻量级可迁移性测试来预测迁移成败。
2026-10-08 cs.LG
