Unsupervised Domain Adaptation: from Simulation Engine to the RealWorld
Department of Electrical Engineering and Computer Sciences, University of California Berkeley（加州大学伯克利分校电气工程与计算机科学系）
大规模的标记训练数据集使深度神经网络能够在广泛的基准视觉任务中表现出色。然而，在许多应用中，获取大量的标记数据是非常昂贵或耗时的。为了应对有限的标记训练数据，许多人试图将在大规模标记源域上训练的模型直接应用于另一个稀疏标记的目标域。不幸的是，跨域的直接传输通常由于域偏移和数据集偏差而表现不佳。领域自适应是一种机器学习范例，旨在从源域学习一个模型，该模型可以在不同（但相关）的目标域上表现良好。本文对计算机视觉应用中最新的无监督领域自适应方法进行了总结和比较。我们将非深度方法分为样本重新加权和中间子空间变换两类，而深度策略包括基于差异的方法，对抗生成模型，对抗判别模型和基于重建的方法。我们还讨论了一些潜在的方向。
2018-03-24 cs.CV cs.LG stat.ML
Butterfly: One-step Approach towards Wildly Unsupervised Domain Adaptation
University of Technology Sydney（悉尼科技大学）；RIKEN（理化学研究所）；Hong Kong Baptist University（香港浸会大学）；University of Tokyo（东京大学）
在无监督领域自适应（UDA）中，用来自源域（SD）的干净标记数据和来自TD的未标记数据来训练目标域（TD）的分类器。然而，在野外，由于预算有限，很难在SD中获得大量完全干净的标记数据。因此，我们考虑一个新的，更现实，更具有挑战性的问题设置，其中分类器必须用来自SD的噪声标记数据和来自TD的未标记数据进行训练-我们将其命名为wildly UDA（WUDA）。我们表明，WUDA破坏所有的UDA方法，如果不照顾标签噪音在SD，为此，我们提出了一个蝴蝶框架，一个强大而有效的解决方案WUDA。Butterfly同时维护四个深度网络，其中两个负责所有适应（即，噪声到干净、标记到未标记和SD到TD分布），然后其他两个可以集中于TD中的分类。因此，Butterfly拥有解决WUDA的所有概念上必要的组件。实验表明，在WUDA下，Butterfly显著优于现有的基线方法。
2021-02-18 cs.LG stat.ML
Multi-Purposing Domain Adaptation Discriminators for Pseudo Labeling Confidence
Washington State University（华盛顿州立大学）
通常，领域自适应使用域分类器（domain classifier）来学习域不变特征表示，使得在标记的源数据上训练的分类器将很好地推广到未标记的目标数据。源自半监督学习的一系列研究使用伪标记来直接为未标记的目标数据生成“伪标签”，并在现在标记的目标数据上训练分类器，其中基于某种置信度来选择或加权样本。在本文中，我们提出了多用途的编码，不仅有助于产生域不变的表示，但也提供伪标签的信心。
2019-07-17 cs.LG stat.ML
Protected Test-Time Adaptation via Online Entropy Matching: A Betting Approach
Technion IIT（以色列理工学院）
针对测试时分布偏移问题，提出结合投注鞅检测与在线熵匹配的自训练适应框架，并基于最优传输构建自监督损失，提升偏移场景下准确率且保持无偏移时的校准性能。
2025-01-05 cs.LG stat.ML
Efficient transfer learning and online adaptation with latent variable models for continuous control
Uber AI Labs（优步人工智能实验室）
传统的基于模型的强化学习依赖于手工指定或学习的环境过渡动态模型。这些方法是样本有效的，并且促进了在现实世界中的学习，但是不能推广到底层动态中的细微变化，例如，这是由于机器人代理或时间上的质量、摩擦或致动器的差异。我们建议使用变分推理来学习未知环境属性的显式潜在表示，以加速学习并促进测试时对新环境的泛化。我们使用这些学习到的潜在的在线贝叶斯推理，以快速适应在线环境的变化，而无需保留最近数据的大型重放缓冲区。结合一个神经网络合奏，模型动态和捕捉动态的不确定性，我们的方法表明，在训练和在线适应的连续控制任务HalfCheetah的正迁移。
2018-12-08 cs.LG stat.ML
Online Multi-Source Domain Adaptation through Gaussian Mixtures and Dataset Dictionary Learning
Université Paris-Saclay（巴黎-萨克雷大学）；CEA, List（法国原子能和替代能源委员会List研究所）；Ecole Centrale de Lyon（里昂中央理工学院）
针对流式目标域的在线多源域适应问题，提出基于Wasserstein几何的在线高斯混合模型与数据集字典学习新方法，在Tennessee Eastman Process基准上实现实时适应并作为数据流记忆。
2024-07-29 cs.LG stat.ML
Matching Embeddings for Domain Adaptation
University of Concepción（康塞普西翁大学）；Harvard University（哈佛大学）；University of Chile（智利大学）
在这项工作中，我们解决的问题，从一个巨大的注释源域的低标记的目标域的知识转移。我们提出了对抗变分领域自适应（AVDA），一种基于深度变分嵌入表示的半监督领域自适应方法。我们使用近似推理和域对抗方法将源域和目标域的样本映射到定义为高斯混合模型的对齐类相关嵌入中。AVDA作为一个分类器工作，并考虑一个生成模型来帮助这种分类。我们使用数字数据集进行实验。我们的研究结果表明，在半监督的Few-Shot场景中，我们的模型在大多数自适应任务中优于以前的方法，即使在目标域上每个类使用较少数量的标记样本。
2021-01-24 cs.LG stat.ML
Multi-source Domain Adaptation in the Deep Learning Era: A Systematic Survey
University of California, Berkeley（加州大学伯克利分校）；Didi Chuxing（滴滴出行）
在许多实际应用中，获得足够大规模的标记数据来训练深度神经网络以达到其全部能力通常是困难且昂贵的。因此，将学习到的知识从一个单独的、标记的源域转移到一个未标记的或稀疏标记的目标域成为一个有吸引力的替代方案。然而，由于域偏移，直接转移经常导致显著的性能衰减。领域自适应（DA）通过最小化源域和目标域之间的域移位的影响来解决这个问题。多源领域自适应（MDA）是一种强大的扩展，其中标记数据可以从具有不同分布的多个源收集。由于DA方法的成功和多源数据的普遍存在，MDA引起了学术界和工业界越来越多的关注。在本调查中，我们定义了各种MDA策略，并总结了可用的数据集进行评估。我们还比较了深度学习时代的现代MDA方法，包括潜在空间转换和中间域生成。最后，我们讨论了MDA未来的研究方向。
2020-02-26 cs.CV cs.LG stat.ML
Co-regularized Alignment for Unsupervised Domain Adaptation
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；MIT（麻省理工学院）
使用大量标记数据训练的深度神经网络在使用来自分布与训练数据分布不同的\emph{target domain}（称为\emph{source domain}）的示例进行测试时可能无法很好地泛化。在所有可能的域中获得所需数量的标记数据可能是昂贵的，甚至是不可行的。无监督领域自适应开始解决这个问题，旨在使用来自源域的标记示例而仅使用来自目标域的未标记示例来学习目标域的良好预测模型。域对齐通过匹配源和目标特征分布来解决这个问题，并且已经被用作许多最先进的领域自适应方法中的关键组成部分。然而，匹配边缘特征分布并不能保证相应的类条件分布将在两个域中对齐。我们提出了无监督领域自适应的共正则化域对齐，它构建了多个不同的特征空间，并分别对齐每个特征空间中的源和目标分布，同时鼓励对齐在未标记目标示例的类预测方面彼此一致。所提出的方法是通用的，可以用来改善任何领域自适应方法，使用域对齐。我们实例化它的背景下，最近的国家的最先进的方法，并观察到它提供了显着的性能改进的几个领域自适应基准。
2018-11-13 cs.LG stat.ML
Importance Weight Estimation and Generalization in Domain Adaptation under Label Shift
Purdue University（普渡大学）
本文研究范畴和一般赋范标号空间在标号移位下的推广。我们提出了一系列的方法来估计从标记源到未标记目标域的重要性权重，并提供这些估计的置信界。我们部署这些估计器，并提供在未标记的目标域的泛化范围。
2021-06-05 cs.LG
Adversarial Domain Adaptation for Stance Detection
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
本文研究的立场检测问题，其目的是预测的角度（或立场）的一个给定的文件相对于一个给定的索赔。姿态检测是自动事实检查的主要组成部分。由于注释不同领域中的立场是一项繁琐且昂贵的任务，因此基于机器学习的自动方法是可行的替代方案。在本文中，我们专注于对抗领域自适应的立场检测，我们假设有足够的标记数据在源域和有限的标记数据在目标域。在公开数据集上的大量实验表明，我们的域自适应模型在跨域传递知识以进行准确的姿态检测方面是有效的。
2019-02-06 cs.LG stat.ML
Domain Adaptations for Computer Vision Applications
University of California, San Diego（加州大学圣地亚哥分校）
统计学习理论的一个基本假设是，训练和测试数据来自相同的底层分布。不幸的是，这个假设在许多应用中并不成立。相反，充足的标记数据可能存在于一个特定的“源”域，而推理需要在另一个“目标”域。领域自适应方法利用来自两个领域的标记数据来改进对目标领域中的不可见数据的分类。在这项工作中，我们调查域迁移学习方法的各种应用领域的重点是最近的工作在计算机视觉。
2012-11-20 cs.CV cs.LG stat.ML
Multi-step Online Unsupervised Domain Adaptation
Purdue University（普渡大学）
在本文中，我们解决在线无监督领域自适应（OUDA）问题，其中目标数据是未标记的，并按顺序到达。针对OUDA问题，传统的方法主要是将每个到达的目标数据转换到源域，没有充分考虑到达目标数据之间的时间相关性和累积统计性。我们提出了一个多步框架的OUDA问题，它建立了一个新的方法来计算的平均目标子空间的几何解释的启发下，在欧几里德空间。该平均目标子空间包含到达的目标数据之间的累积时间信息。此外，作为预处理步骤，将从平均目标子空间计算的变换矩阵应用于下一个目标数据，使目标数据更接近源域。在四个数据集上的实验证明了我们提出的多步OUDA框架中每一步的贡献及其性能优于以前的方法。
2020-02-20 cs.LG stat.ML
Instance-level Heterogeneous Domain Adaptation for Limited-labeled Sketch-to-Photo Retrieval
虽然草图到照片检索具有广泛的应用，但获得成对且标记丰富的地面实况的成本很高。显然，照片检索数据更容易获得。因此，先前的工作在丰富标记的照片检索数据（即，源域）并且然后在有限标记的草图到照片检索数据上微调它们（即，目标域）。然而，如果没有共同训练源数据和目标数据，源领域知识可能会在微调过程中被遗忘，而简单地共同训练它们可能会由于领域差距而导致负迁移。此外，源数据和目标数据的身份标签空间通常是不相交的，因此传统的类别级领域自适应（DA）不能直接应用。为了解决这些问题，我们提出了一个实例级异构领域自适应（IHDA）框架。我们将微调策略应用于身份标签学习，旨在以归纳迁移的方式传递实例级知识。同时，从源数据中选择标记属性，以形成源域和目标域的共享标签空间。在共享属性的指导下，DA被用来桥接跨数据集的领域差距和异构领域差距，以一种直推的方式传递实例级知识。实验表明，我们的方法已经建立了一个新的国家的艺术在三个草图到照片的图像检索基准没有额外的注释，这打开了大门，训练更有效的模型，有限的标记异构图像检索任务。相关代码可在https://github.com/fandulu/IHDA上获得。
2022-12-06 cs.CV cs.LG
Intrinsic Motivation and Mental Replay enable Efficient Online Adaptation in Stochastic Recurrent Networks
Technische Universität Darmstadt（达姆施塔特工业大学）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Universität zu Lübeck（吕贝克大学）
自主机器人需要与未知、非结构化和不断变化的环境进行交互，不断面临新的挑战。因此，持续在线适应终身学习和样本效率机制的需求，以适应环境，约束，任务或机器人本身的变化至关重要。在这项工作中，我们提出了一个新的框架，概率在线运动规划与在线适应的基础上，生物启发的随机递归神经网络。通过使用模仿内在动机信号的学习信号，加上心理重放策略来强化经验，随机递归网络可以从很少的物理交互中学习，并在几秒钟内适应新的环境。我们在拟人KUKA LWR手臂上评估了我们的在线规划和自适应框架。快速在线自适应通过从少量物理交互中有效地学习未知的工作空间约束，同时遵循给定的路径点来实现。
2018-10-23 cs.AI cs.LG cs.RO
When few labeled target data suffice: a theory of semi-supervised domain adaptation via fine-tuning from multiple adaptive starts
Department of Mathematical Sciences, KAIST（韩国科学技术院数学科学系）；Department of Mathematics, ETH Zürich（苏黎世联邦理工学院数学系）
本文在结构因果模型下研究半监督域适应，提出三种干预模型对应的最优方法及多自适应起点微调算法，证明目标标签复杂度仅依赖于干预维度而非环境维度。
2026-07-01 cs.LG math.ST stat.ML
Private Domain Adaptation from a Public Source
The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
各种应用中的关键问题是从公共源域到私有目标域的领域自适应，对于公共源域，相对大量的没有隐私约束的标记数据在人们的处置中，对于私有目标域，私有样本在很少或没有标记数据的情况下可用。在对源数据或目标数据没有隐私约束的回归问题中，基于几种理论保证的差异最小化算法优于许多其他自适应算法基线。基于这种方法，我们设计了基于差异的私有差异算法，用于从具有公共标记数据的源域到具有未标记私有数据的目标域的适应。我们的私人算法的设计和分析关键取决于几个关键属性，我们证明了一个光滑近似的加权差异，如它的光滑度相对于$\ell_1$ -范数和它的梯度的敏感性。我们的解决方案是基于Frank-Wolfe和D-Descent算法的私有变体。我们表明，我们的适应算法受益于强大的泛化和隐私保证，并报告实验结果证明其有效性。
2022-08-12 cs.CR cs.LG stat.ML
Sparsely-Labeled Source Assisted Domain Adaptation
Dalian University of Technology（大连理工大学）；Dalian Minzu University（大连民族大学）；Indiana University-Purdue University Indianapolis（印第安纳大学与普渡大学印第安纳波利斯联合分校）
领域自适应（DA）的目的是将从源领域学习到的分类器推广到目标领域。现有的DA方法通常假设在源域中可以使用丰富的标签。然而，在源域中通常存在大量未标记数据而只有少量标记数据，如何将这些稀疏标记的源域中的知识转移到目标域仍然是一个挑战，这极大地限制了它们在野外的应用。提出了一种新的稀疏标记源辅助领域自适应（SLSA-DA）算法，以解决有限标记源域样本的问题。具体来说，由于标签稀缺性问题，投影聚类在源域和目标域上进行，从而可以优雅地利用数据的区分结构。然后采用标签传播的方法，将有限的已标记源样本中的标签逐步传播到整个未标记数据中，从而正确地揭示聚类标签。最后，我们联合调整边缘和条件分布，以减轻跨域失配问题，并迭代优化这三个过程。然而，这是不平凡的，将这三个过程无缝地纳入一个统一的优化框架，因为一些变量被优化隐含在他们的公式，因此他们不能相互促进。值得注意的是，我们证明了投影聚类和条件分布对齐可以被重新表示为不同的表达式，从而在不同的优化步骤中揭示了隐式变量。因此，与这三个量相关的变量可以在一个统一的优化框架中进行优化，相互促进，从而显著提高识别性能。
2020-05-08 cs.CV cs.LG
Unsupervised Domain Adaptation with Residual Transfer Networks
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）
深度神经网络最近的成功依赖于大量的标记数据。对于标记数据不可用的目标任务，领域自适应可以将学习器从不同的源域转移。在本文中，我们提出了一种在深度网络中进行领域自适应的新方法，该方法可以从源域中的标记数据和目标域中的未标记数据中联合学习自适应分类器和可转移特征。我们放松了以前的方法所做的共享分类器的假设，并假设源分类器和目标分类器的残差函数不同。我们通过将几个层插入深度网络来实现分类器自适应，以参考目标分类器显式学习残差函数。我们用张量积融合多层特征，并将其嵌入到再生核希尔伯特空间中，以匹配特征自适应的分布。在大多数前馈模型中，可以通过用新的剩余层和损失函数来扩展它们来实现自适应，所述新的剩余层和损失函数可以经由反向传播来有效地训练。经验证据表明，新的方法优于国家的最先进的方法标准领域自适应基准。
2017-02-16 cs.LG
A Review of Single-Source Deep Unsupervised Visual Domain Adaptation
University of California, Berkeley（加利福尼亚大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
大规模的标记训练数据集使深度神经网络能够在广泛的基准视觉任务中表现出色。然而，在许多应用中，获取大量的标记数据是非常昂贵和耗时的。为了应对有限的标记训练数据，许多人试图将在大规模标记源域上训练的模型直接应用于另一个稀疏标记或未标记的目标域。不幸的是，跨域的直接传输通常由于域偏移或数据集偏差的存在而表现不佳。领域自适应是一种机器学习范例，其目的是从源域学习模型，该模型可以在不同（但相关）的目标域上表现良好。在本文中，我们回顾了最新的单源深度无监督领域自适应方法专注于视觉任务，并讨论了未来研究的新视角。我们首先定义了不同的领域自适应策略，并描述了现有的基准数据集。然后，我们总结和比较了不同类别的单源无监督领域自适应方法，包括基于差异的方法，对抗性判别方法，对抗性生成方法和基于自我监督的方法。最后，我们讨论了未来的研究方向与挑战和可能的解决方案。
2020-09-19 cs.CV cs.LG eess.IV
Leveraging Domain Adaptation for Low-Resource Geospatial Machine Learning
NC State University（北卡罗来纳州立大学）
遥感领域的机器学习随着地理空间图像的可用性和分辨率的增加而成熟，但其实用性受到对标记数据的需求的影响。更重要的是，许多标记的地理空间数据集特定于某些地区，仪器或极端天气事件。我们研究了现代领域适应多个拟议的地理空间基准的应用，揭示了独特的挑战，并提出了解决方案。
2021-07-11 cs.CV cs.LG
DASA: Domain Adaptation in Stacked Autoencoders using Systematic Dropout
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
领域自适应处理将使用源域中的样本训练的基于机器学习的系统的行为适应于它们在目标域中的部署，其中两个域中的样本的统计是不相似的。由于缺乏丰富的标记样本，直接训练或适应目标领域的学习者的任务受到挑战。在本文中，我们提出了一种在基于堆叠式自动编码器（SAE）的深度神经网络（DNN）中进行领域自适应的技术，该技术分两个阶段进行：（i）在小批量训练中使用系统辍学的无监督权重自适应，（ii）在目标域中使用有限数量的标记样本进行监督微调。我们通过实验评估了视网膜血管分割问题的性能，其中SAE-DNN在源域（DRIVE数据集）中使用大量标记样本进行训练，并在目标域（STARE数据集）中使用较少数量的标记样本进行调整。在源域中使用$logloss$测量的SAE-DNN的性能是$0.19$，没有和有适应性是$0.40$和$0.18$，以及在目标域中仅用有限样本训练时的$0.39$。ROC曲线下面积分别观察为$0.90$、$0.86$、$0.92$和$0.87$。使用DASA进行血管分割的高效率有力地证实了我们的主张。
2016-03-19 cs.CV cs.LG
Positive-Unlabeled Domain Adaptation
University of Hildesheim（希尔德斯海姆大学）；Volkwagen Financial Services（大众金融服务）
领域自适应方法已经显示出有效地从标记的源域推广到标记稀缺的目标域。以往的研究主要集中在没有目标监督的无标记领域自适应和每个类只有少量标记目标样本的半监督领域自适应。另一方面，正-无标签（PU-）学习在弱监督学习文献中引起了越来越多的兴趣，因为在相当多的实际应用中，正标签比负标签更容易获得。在这项工作中，我们是第一个介绍的挑战，积极的未标记的领域自适应，我们的目标是概括从一个完全标记的源域的目标域，只有积极和未标记的数据是可用的。我们提出了一种新的两步学习方法来解决这个问题，首先确定可靠的积极和消极的伪标签在目标域的指导下的源域标签和积极的未标记的风险估计。这使我们能够在第二步中在目标域上使用标准分类器。我们通过在视觉对象识别的基准数据集上运行实验来验证我们的方法。此外，我们提出了现实世界的例子，我们的设置和验证我们的优越性能的停车场占用率数据。
2022-02-11 cs.LG
Simulation-to-Reality domain adaptation for offline 3D object annotation on pointclouds with correlation alignment
Navya（Navya公司）
在自动驾驶感知系统中，用LiDAR点云中的3D边界框注释对象是一个昂贵的人工驱动过程。在本文中，我们提出了一种方法来半自动注释部署车辆使用模拟数据收集的真实世界的点云。我们训练一个三维物体检测器模型标记的模拟数据从CARLA与现实世界的点云从我们的目标车辆。监督目标检测损失与CORAL损失项增加，以减少标记的模拟和未标记的真实点云特征表示之间的距离。这里的目标是学习对模拟（标记）和真实世界（未标记）目标域不变的表示。我们还提供了一个更新的调查领域自适应方法的点云。
2022-02-26 cs.CV cs.LG
Pseudo-Labeling for Unsupervised Domain Adaptation with Kernel GLMs
Department of IEOR, Columbia University（哥伦比亚大学工业工程与运营研究系）；Department of IEOR and Data Science Institute, Columbia University（哥伦比亚大学工业工程与运营研究系及数据科学研究所）
本文提出一种基于核广义线性模型的无监督域适应框架，通过伪标签技术提升目标域预测性能，建立非渐近风险界并验证在合成和真实数据集上的有效性。
2026-03-19 cs.LG math.ST stat.ML
Deep Online Learning via Meta-Learning: Continual Adaptation for Model-Based RL
UC Berkeley（加州大学伯克利分校）
人类和动物可以学习复杂的预测模型，使他们能够准确可靠地推理现实世界的现象，并且他们可以在面对意外变化时非常迅速地适应这些模型。深度神经网络模型允许我们表示非常复杂的功能，但缺乏快速在线适应的能力。本文的目标是开发一种使用深度神经网络模型从传入数据流中进行持续在线学习的方法。我们制定了一个在线学习程序，使用随机梯度下降更新模型参数，并与中国餐厅的过程之前，开发和维护的混合模型来处理非平稳任务分布的期望最大化算法。这允许所有模型根据需要进行调整，新模型针对任务更改进行实例化，旧模型在再次遇到以前看到的任务时被调用。此外，我们观察到元学习可以用于元训练模型，使得SGD的这种直接在线自适应是有效的，否则对于大型函数逼近器来说就不是这种情况。在这项工作中，我们将我们的元学习在线学习（MOLe）方法应用于基于模型的强化学习，其中调整预测模型对于控制至关重要;我们证明MOLe优于其他先验方法，并在非平稳任务分布（如变化的地形，电机故障和意外干扰）中实现有效的连续适应。
2019-01-28 cs.AI cs.LG cs.RO
Maximizing Data Efficiency for Cross-Lingual TTS Adaptation by Self-Supervised Representation Mixing and Embedding Initialization
National Taiwan University（国立台湾大学）
本文提出一种数据高效的跨语言TTS适应框架，通过自监督特征混合和嵌入初始化，仅用4条标记数据和15分钟未标记数据即可合成清晰语音，并超越传统方法。
2024-01-23 cs.CL cs.LG
ACDC: Online Unsupervised Cross-Domain Adaptation
Nanyang Technological University（南洋理工大学）；Singapore Institute of Manufacturing Technology（新加坡制造技术研究院）
我们考虑在线无监督的跨领域自适应问题，其中两个独立但相关的数据流具有不同的特征空间-一个完全标记的源流和一个未标记的目标流-一起学习。出现了独特的特征和挑战，例如协变量偏移、异步概念偏移和对比数据吞吐量。我们提出了ACDC，一个对抗性的无监督领域自适应框架，它可以用一个完整的自进化神经网络结构来处理多个数据流，对这些挑战做出反应。ACDC将三个模块封装到一个模型中：一个提取特征的去噪自动编码器，一个执行域转换的对抗模块，以及一个学习源流并预测目标流的估计器。ACDC是一个灵活且可扩展的框架，具有很少的超参数可调性。我们的实验结果下的prequential测试，然后训练协议表明，在基线方法的目标精度的改善，在某些情况下，实现了超过10%的增加。
2021-10-04 cs.LG
More is Better: Deep Domain Adaptation with Multiple Sources
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Didi Chuxing（滴滴出行）；BNRist, Tsinghua University（清华大学BNRist）；School of Software, Tsinghua University（清华大学软件学院）
本文综述了多源域自适应（MDA），系统梳理其策略、深度学习方法、常用数据集与基准，并展望未来研究方向。
2024-05-01 cs.CV cs.LG
A Fuzzy-set-based Joint Distribution Adaptation Method for Regression and its Application to Online Damage Quantification for Structural Digital Twin
Politecnico di Milano（米兰理工大学）；Beihang University（北京航空航天大学）
在线损害量化遭受不充分的标记数据，削弱了其准确性。在这种情况下，采用对来自类似结构/损伤的历史标记数据或模拟数字孪生数据的领域自适应来辅助当前诊断任务将是有益的。然而，大多数领域自适应方法是为分类而设计的，并且不能有效地解决损伤量化，这是一个具有连续实值标签的回归问题。本研究首先提出一种新的领域自适应方法--基于在线模糊集的回归联合分布自适应方法。通过模糊集将连续实值标签转换为模糊类别标签，同时度量边缘和条件分布差异，实现损伤量化任务的领域自适应。基于该方法的优越性，提出了一种基于领域自适应的在线损伤量化框架。最后，以某型直升机为例，进行了不同损伤位置、不同损伤类型和从仿真到试验的3种损伤领域自适应，验证了该方法在真实环境下能够显著提高损伤量化的准确性。预计该方法将应用于考虑个体差异的船队级数字孪生。
2023-02-07 cs.CE cs.LG
TOHAN: A One-step Approach towards Few-shot Hypothesis Adaptation
NUDT（国防科技大学）；HKBU（香港浸会大学）；Peng Cheng Laboratory（鹏城实验室）；USYD（悉尼大学）；HKUST（香港科技大学）；UTS（悉尼科技大学）
在Few-Shot领域自适应（FDA）中，用源域（SD）中的可访问标记数据和目标域（TD）中的少量标记数据来训练目标域的分类器。然而，在当前时代，数据通常包含私人信息，例如，个人手机上的数据。因此，如果我们直接访问SD中的数据来训练目标域分类器（FDA方法所需的），则会泄露私人信息。在本文中，为了彻底防止SD中的隐私泄漏，我们考虑了一个非常具有挑战性的问题设置，其中TD的分类器必须使用少量标记的目标数据和经过良好训练的SD分类器进行训练，称为Few-Shot假设自适应（FHA）。在FHA中，我们不能访问SD中的数据，因此，SD中的隐私信息将得到很好的保护。为此，我们提出了一个面向目标的假设自适应网络（TOHAN）来解决FHA问题，在那里我们生成高度兼容的未标记数据（即，中间域）来帮助训练目标域分类器。TOHAN同时维护两个深度网络，其中一个专注于学习中间域，另一个负责中间到目标的分布适应和目标风险最小化。实验结果表明，TOHAN显著优于竞争基线。
2022-09-07 cs.LG
Rectifying Geometric Misalignment: Online Source-Free Adaptation for Class-Imbalanced EEG
针对类别不平衡脑电图的在线源适配问题，提出OSPDIM框架，通过流形约束偏置参数的实时优化校正几何错位，在运动想象数据集上显著优于标准黎曼基线。
2026-08-07 cs.LG
Remining Hard Negatives for Generative Pseudo Labeled Domain Adaptation
University of Amsterdam（阿姆斯特丹大学）
本文提出R-GPL方法，在生成式伪标签域适应中通过重新挖掘硬负样本，提升密集检索器在目标域的排序性能，在BEIR和LoTTe数据集上取得显著改进。
2025-01-24 cs.IR cs.LG
Aggregate to Adapt: Node-Centric Aggregation for Multi-Source-Free Graph Domain Adaptation
National University of Singapore（新加坡国立大学）
本文针对多源无源无监督图领域自适应问题，提出节点级聚合模型 GraphATA，通过根据节点局部上下文动态聚合多个源预训练模型的权重矩阵，在无需访问源图数据的情况下实现图结构上的动态适配，并在多个数据集上超越现有方法。
2025-02-05 cs.LG
Fast On-Device Adaptation for Spiking Neural Networks via Online-Within-Online Meta-Learning
King’s College London（伦敦国王学院）
脉冲神经网络（SNN）最近因其低功耗特性而成为移动医疗管理和自然语言处理等应用的设备上边缘智能的机器学习模型。在这种高度个性化的用例中，重要的是模型能够仅用最少量的训练数据来适应个体的独特特征。元学习已经被提出作为一种训练模型的方法，这些模型面向快速适应新任务。SNN的少数现有元学习解决方案离线运行，需要某种形式的反向传播，这与当前的神经形态边缘设备不兼容。在本文中，我们提出了一个名为OWOML-SNN的SNN的在线内在线元学习规则，该规则可以在任务流上进行终身学习，并依赖于本地，无反向传播，嵌套更新。
2021-02-21 cs.LG cs.NE eess.SP
Online Variance Reduction for Domain Adaptation on Streaming Data
University of Southampton（南安普顿大学）
研究流数据域适应的随机方差缩减问题，提出在线SVR算法ARROW，通过维护移动平均参考和自适应重新加权小批量数据，使小批量与参考统计量对齐，实验表明该算法在运行时间、方差缩减及目标域准确性方面与离线算法相当。
2026-07-23 cs.LG
Multi-output Classification for Compound Fault Diagnosis in Motor under Partially Labeled Target Domain
KAIST（韩国科学技术院）
针对电机复合故障诊断中部分标记目标域和共存故障的挑战，提出集成MKMMD、EM损失与FLN的多输出分类框架，提升特征迁移性与诊断精度，在6个域适应案例中宏F1分数优于基线方法。
2025-03-15 cs.LG
Brain-Inspired Online Adaptation for Remote Sensing with Spiking Neural Network
Brain-Inspired Application Technology Center (BATC)（脑启发应用技术中心）；School of Electronic Information and Electrical Engineering（电子信息与电气工程学院）；Shanghai Jiao Tong University（上海交通大学）；ATR Key Lab（ATR重点实验室）；School of Electronic Science and Engineering（电子科学与工程学院）；National University of Defense Technology（国防科学技术大学）
本文首次提出基于脉冲神经网络的遥感在线自适应框架，通过BPTT近似、自适应激活缩放和置信度实例加权，在七个基准数据集上显著超越现有方法，实现边缘设备上的高能效快速适应。
2025-07-21 cs.CV cs.LG cs.NE
Simulation-Based Pretraining and Domain Adaptation for Astronomical Time Series with Minimal Labeled Data
Massachusetts Institute of Technology, Cambridge, MA 02139, USA；Irvington High School, Fremont, CA 94538, USA；Center for Astrophysics, Harvard \& Smithsonian, Cambridge, MA 02138, USA
本文提出基于模拟数据的预训练方法，结合对比与对抗目标，显著减少真实标注需求，实现跨巡天、跨现象的零样本迁移，用于分类、红移估计和异常检测。
2025-10-14 astro-ph.HE astro-ph.IM astro-ph.SR
Meta-Tracker: Fast and Robust Online Adaptation for Visual Object Trackers
Department of Computer Science, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校计算机科学系）
本文改进了使用在线自适应的最先进的视觉对象跟踪器。我们的核心贡献是一种基于离线元学习的方法，用于调整在线自适应跟踪中使用的初始深度网络。Meta学习由深度网络的目标驱动，可以快速适应未来帧中的特定目标。理想情况下，生成的模型将重点放在对未来帧有用的特征上，并避免过度拟合背景杂波、目标的小部分或噪声。通过在元学习过程中强制执行少量的更新迭代，最终的网络训练速度明显更快。我们证明了这种方法的高性能跟踪方法的顶部：跟踪检测为基础的MDNet和相关性为基础的CREST。在标准基准测试OTB 2015和VOT 2016上的实验结果表明，我们的两种跟踪器的元学习版本提高了速度、准确性和鲁棒性。
2018-03-19 cs.CV cs.LG
Automatic Online Multi-Source Domain Adaptation
Nanyang Technological University（南洋理工大学）
跨多个流流程的知识转移仍然是一个具有挑战性的问题，这不仅是因为每个流的分布不同，而且还因为数据流的环境瞬息万变且永无休止。虽然这方面的研究成果越来越多，但大多数现有的工作都是针对单个源域开发的，这限制了其利用多源域的弹性，这有利于快速从概念漂移中恢复并避免负迁移问题。提出了一种多媒体流处理下的在线领域自适应技术，即自动在线多源领域自适应（AOMSDA）。AOMSDA的在线领域自适应策略是在去噪自动编码器（DAE）的生成和判别耦合方法下制定的，其中基于中心矩差异（CMD）的正则化器被集成以处理多源域的存在，从而利用互补的信息源。通过自组织结构和节点权重调整策略，解决了不同时间段发生的异步概念漂移问题。我们的数值研究表明，AOMSDA是能够超越其同行的8个研究案例中的5个，而消融研究描绘了每个学习组件的优势。此外，AOMSDA一般适用于任何数量的源流。AOMSDA的源代码在https://github.com/Renchunzi-Xie/AOMSDA.git上公开共享。
2021-09-12 cs.AI cs.LG
Unsupervised Domain Adaptation of Black-Box Source Models
South China University of Technology（华南理工大学）；The Hong Kong Polytechnic University（香港理工大学）
无监督领域自适应（UDA）旨在通过从标记的源域转移知识来学习未标记数据的目标域的模型。在传统的UDA设置中，假设标记的源数据可用于适配。由于对数据隐私的日益关注，无源UDA作为一种新的UDA设置受到高度赞赏，其中仅假设训练的源模型可用，而标记的源数据保持私有。然而，由于源模型可能具有商业价值并且暴露源模型给源域带来风险，因此训练的源模型在实践中也可能不可用，例如，模型滥用和白盒攻击的问题。在这项工作中，我们研究了一个微妙的不同的设置，命名为黑盒无监督领域自适应（B $^2$ UDA），其中只有源模型的应用程序编程接口是可访问的目标域，换句话说，源模型本身是作为一个黑盒。为了解决B $^2$ UDA，我们提出了一种简单而有效的方法，称为带噪声标签的迭代学习（IterLNL）。使用黑盒模型作为噪声标记的工具，IterLNL迭代地进行噪声标记和噪声标记学习（LNL）。为了便于在B $^2$ UDA中实现LNL，我们从未标记目标数据的模型预测中估计噪声率，并提出分类采样来解决类别之间的不平衡标签噪声。在基准数据集上的实验表明了IterLNL的有效性。IterLNL既不给定源数据，也不给定源模型，它使用传统的UDA方法来执行数据挖掘，充分利用标记的源数据。
2021-03-28 cs.CV cs.LG
Weak Adaptation Learning -- Addressing Cross-domain Data Insufficiency with Weak Annotator
Northwestern University（西北大学）
数据的数量和质量是数据驱动学习方法的关键因素。在某些目标问题域中，可用的数据样本不多，这可能会严重阻碍学习过程。虽然可以利用来自类似域的数据来帮助通过领域自适应，但是获得用于那些源域本身的高质量标记数据可能是困难的或昂贵的。为了解决目标领域分类问题中数据不足的挑战，我们提出了一种弱自适应学习（WAL）方法，该方法利用来自类似源领域的未标记数据、一种低成本弱注释器，该注释器基于特定于任务的启发式方法、标记规则或其他方法（尽管不准确），以及目标领域中的少量标记数据。我们的方法首先进行了理论分析的错误界的训练分类器的数据量和性能的弱注释器，然后引入了一个多阶段的弱适应学习方法，学习一个准确的分类器，通过降低错误界。我们的实验证明了我们的方法在学习一个准确的分类器有限的标记数据在目标域和未标记的数据在源域的有效性。
2021-09-21 cs.AI cs.CV cs.LG
Similarity-based data mining for online domain adaptation of a sonar ATR system
Seebyte Ltd（Seebyte有限公司）；University of Edinburgh（爱丁堡大学）
由于现场数据采集的昂贵性，训练数据的缺乏往往限制了自动目标识别（ATR）系统的性能。通常采用领域自适应技术来解决这一问题，但现有的方法不能满足水下系统资源和时间的限制。我们建议通过使用一种新的数据选择方法在线微调ATR算法来解决这个问题。我们提出的数据挖掘方法依赖于视觉相似性，优于传统的硬挖掘方法。我们提出了一个比较性能分析，在广泛的模拟环境中，并强调使用我们的方法快速适应以前看不见的环境的好处。
2020-09-16 cs.CV cs.LG cs.SD
Online Meta-Learning for Multi-Source and Semi-Supervised Domain Adaptation
Samsung AI Center Cambridge（三星人工智能中心剑桥）；The University of Edinburgh（爱丁堡大学）
领域自适应（Domain adaptation，DA）是一个热门的问题，它从标记的源数据集调整模型，使其在只有未标记或部分标记数据的目标数据集上表现良好。已经提出了许多方法来解决这个问题，通过不同的方式来最小化源和目标数据集之间的域偏移。在本文中，我们采取了正交的角度来看，并提出了一个框架，以进一步提高性能的元学习现有DA算法的初始条件。由于所涉及的计算图的长度，与更广泛考虑的Few-Shot元学习的设置相比，这是具有挑战性的。因此，我们提出了一个在线最短路径元学习框架，这是计算上易于处理和实际有效的提高DA性能。我们提出了多源无监督领域自适应（MSDA）和半监督领域自适应（SSDA）的变体。重要的是，我们的方法是不可知的基础适应算法，并可以应用于改善许多技术。在实验中，我们展示了经典（DANN）和最近（MCD和MME）的MSDA和SSDA技术的改进，并最终实现了几个DA基准测试，包括最大规模的DomainNet的最先进的结果。
2020-07-27 cs.CV cs.LG
Ensemble of Discriminators for Domain Adaptation in Multiple Sound Source 2D Localization
IBM Research（IBM研究院）；MINES ParisTech - PSL Research University（巴黎高等矿业学院 - PSL研究大学）
本文介绍了一种集成的鉴别器，提高了多声源定位的域自适应技术的准确性。最近，深度神经网络已经为这项任务带来了有希望的结果，但它们需要大量的标记数据进行训练。记录和标记这样的数据集是非常昂贵的，特别是因为数据需要足够多样化以覆盖不同的声学条件。在本文中，我们利用声学模拟器来廉价地生成标记的训练样本。然而，由于域不匹配，在合成数据上训练的模型往往在真实世界的记录中表现不佳。为此，我们探索了两种使用对抗学习进行声源定位的域自适应方法，这些方法使用标记的合成数据和未标记的真实数据。我们提出了一种新的集成方法，结合应用于不同特征层次的本地化模型的鉴别器。实验表明，我们的集成判别方法显着提高了定位性能，而不需要任何标签的真实数据。
2021-03-16 cs.LG cs.SD eess.AS
Online and Offline Domain Adaptation for Reducing BCI Calibration Effort
DataNova, NY USA（DataNova（美国纽约））
许多真实世界的脑机接口（BCI）应用依赖于EEG信号中事件相关电位（ERP）的单次试验分类。然而，由于不同的主题有不同的神经反应，即使是相同的刺激，这是非常困难的建立一个通用的ERP分类器的参数适合所有的主题。分类器需要使用一些标记的特定于对象的数据来针对每个个体对象进行校准。本文提出了在线和离线加权自适应正则化（wAR）算法来减少这种校准工作，即，以最小化BCI校准中所需的标记的受试者特定EEG数据的量，并因此增加BCI系统的实用性。我们证明使用视觉诱发电位古怪的任务和三种不同的EEG耳机，无论是在线和离线WAR算法显着优于其他几种算法。此外，通过源域选择，我们可以减少约50%的计算成本，使他们更适合实时应用。
2017-02-09 cs.HC cs.LG
Continual Test-Time Adaptation via Entropy Sensitivity-Guidance in Strict Online Setting
Norwegian University of Life Sciences (NMBU)（挪威生命科学大学）；Tulane University（杜兰大学）
本文提出SEGA方法，用于严格在线持续测试时适应，通过结构化擦除探测熵变化以协调恢复与样本选择，在多数据集上提升了鲁棒性与稳定性并减少反向传播次数。
2026-09-01 cs.CV cs.LG
Multi-source Few-shot Domain Adaptation
University of California, Berkeley（加州大学伯克利分校）；National University of Singapore（新加坡国立大学）；Nanjing University（南京大学）
多源领域自适应（MDA）的目的是将预测模型从多个完全标记的源域转移到未标记的目标域。然而，在许多应用中，相关的标记源数据集可能不可用，并且收集源标签可能与标记目标数据本身一样昂贵。在本文中，我们研究多源Few-Shot领域自适应（MFDA）：一个新的领域自适应的情况下，有限的多源标签和未标记的目标数据。正如我们所示，现有的方法往往无法学习的歧视性功能的源和目标域中的MFDA设置。因此，我们提出了一个新的框架，称为多源Few-Shot适应网络（MSFAN），它可以以非对抗的方式进行端到端的训练。MSFAN首先使用一种典型的、多域的、自监督学习来学习不仅是域不变的而且是类区分的特征。其次，MSFAN使用一个小的，标记的支持集，以加强跨域的功能一致性和域不变性。最后，利用来自多个来源的原型来学习更好的分类器。与最先进的MDA方法相比，MSFAN在MFDA上的不同域对上的平均分类准确率分别提高了20.2%，9.4%和16.2%。
2021-09-25 cs.AI cs.CV cs.LG
Driver Drowsiness Estimation from EEG Signals Using Online Weighted Adaptation Regularization for Regression (OwARR)
DataNova；U.S. Army Research Laboratory（美国陆军研究实验室）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；DCS Corp（DCS公司）；University of Technology, Sydney（悉尼科技大学）；National Chiao-Tung University（国立交通大学）
阻碍脑机接口（BCI）从实验室环境过渡到现实生活应用的一个巨大挑战是高性能和鲁棒的学习算法的可用性，其可以有效地处理个体差异，即，可以应用于具有零或非常少的对象特定校准数据的新对象的算法。迁移学习和领域自适应已被广泛用于这一目的。然而，大多数以前的作品集中在分类问题。本文考虑了脑机接口中一个重要的回归问题，即从脑电信号中在线估计驾驶员的困倦程度。通过将模糊集与领域自适应相结合，提出了一种新的在线加权自适应正则化回归（OwARR）算法以减少特定对象的校准数据量，并提出了一种源域选择（SDS）方法以节省OwARR算法一半的计算量。使用模拟驾驶数据集与15个科目，我们表明，OwARR和OwARR-SDS可以实现显着较小的估计误差比其他几种方法。我们还对OwARR和OwARR-SDS的鲁棒性进行了全面的分析。
2017-02-09 cs.HC cs.LG
ELF-UA: Efficient Label-Free User Adaptation in Gaze Estimation
Tongji University（同济大学）；Concordia University（康考迪亚大学）
本文提出ELF-UA方法，仅用目标用户少量未标注图像即可实现个性化注视估计，并通过领域自适应泛化界设计元学习损失，有效利用无ID标注源数据和未标注个体数据。
2024-06-13 cs.CV cs.LG
Meta-Learning Online Dynamics Model Adaptation in Off-Road Autonomous Driving
Jet Propulsion Laboratory, California Institute of Technology（喷气推进实验室、加州理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Georgia Institute of Technology（佐治亚理工学院）
针对高速越野自动驾驶中地形-车辆相互作用建模困难的问题，提出结合卡尔曼滤波在线自适应与元学习参数的框架，通过离线优化基函数与自适应参数，实现实时动力学模型调整，实验证明其在预测精度、性能与安全性上优于基线方法。
2025-04-23 cs.LG cs.RO cs.SY
DIB-OD: Preserving the Invariant Core for Robust Heterogeneous Graph Adaptation via Decoupled Information Bottleneck and Online Distillation
School of Information Technology and Engineering, Tianjin University of Technology and Education（天津职业技术师范大学信息技术工程学院）；School of Computer Science and Technology, Tiangong University（天工大学计算机科学与技术学院）；Department of Computer Science at University of Exeter（埃克塞特大学计算机科学系）
本文提出DIB-OD框架，通过解耦信息瓶颈和在线蒸馏保留异构图适应中的不变核，解决异构领域泛化难题，实验显示其在跨类型领域转移中表现优异。
2026-08-05 cs.AI cs.LG
Switching EEG Headsets Made Easy: Reducing Offline Calibration Effort Using Active Weighted Adaptation Regularization
DataNova；U.S. Army Research Laboratory（美国陆军研究实验室）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
头戴式脑电图仪是脑机接口中最常用的传感设备。在实际应用中，将数据从一个用户会话外推到另一个用户会话是有优势的。然而，如果数据来自不同的硬件系统，这些优点是有限的，这往往是不同的应用空间之间的变化。目前，这需要重新校准分类器，这对人们使用此类系统的兴趣产生了负面影响。在本文中，我们采用主动加权自适应正则化（AwAR），它集成了加权自适应正则化（WAR）和主动学习，以加快校准过程。WAR利用来自先前耳机的标记数据并处理类别不平衡，并且主动学习从新耳机中选择最具信息量的样本进行标记。单次试验的事件相关电位分类实验表明，AwAR可以显着提高分类精度，给定相同数量的标记样本从新的耳机。换句话说，AwAR可以有效地减少新耳机所需的标记样本数量，给定所需的分类精度，这表明在整理数据以用于大规模迁移学习应用中的价值。
2017-02-09 cs.HC cs.LG
