Domain Adaptation for Neural Networks by Parameter Augmentation
SONY（索尼公司）；University of Tokyo（东京大学）
我们提出了一个简单的领域自适应方法的神经网络在监督设置。有监督领域自适应是一种利用源领域数据集提高目标领域泛化性能的方法，假设两个数据集都被标记。最近，递归神经网络已被证明是成功的各种NLP任务，如字幕生成;然而，现有的领域自适应技术是有限的（1）调整模型参数的目标数据集训练后，由源数据集，或（2）设计的网络具有双重输出，一个用于源域和目标域的另一个。本文对Daume（2007）提出的领域自适应方法进行了改进，提出了一种简单的领域自适应方法，该方法可应用于交叉熵损失下训练的神经网络。在字幕数据集上，我们显示了比其他领域自适应方法性能的提高。
2016-07-01 cs.AI cs.CL cs.LG
Open Set Domain Adaptation by Extreme Value Theory
Northwestern University（西北大学）
常见的域自适应技术假设源域和目标域共享相同的标签空间，这是有问题的，因为当目标样本未被标记时，我们不知道这两个域是否共享相同的标签空间。当不是这种情况下，现有的方法不能很好地执行，因为额外的未知类也匹配的源域在适应。在本文中，我们解决了开集域自适应问题的假设下，源和目标标签空间只有部分重叠，任务变成当未知类存在时，如何检测目标未知类，并避免对齐它们与源域。我们建议利用一个实例级的权重调整策略域适应的权重表示属于已知类的样本的可能性和模型的熵分布与极值理论的未知类检测的尾部。在传统领域自适应数据集上的实验表明，该方法的性能优于现有的模型。
2020-12-22 cs.AI cs.LG stat.ML
A Survey of Domain Adaptation for Neural Machine Translation
Institute for Datability Science（数据智能科学研究所）；Osaka University（大阪大学）
神经机器翻译（NMT）是一种基于深度学习的机器翻译方法，在大规模并行语料库可用的情况下，其产生最先进的翻译性能。虽然高质量和特定领域的翻译在现实世界中是至关重要的，特定领域的语料库通常是稀缺的或根本不存在，因此香草NMT在这种情况下表现不佳。领域自适应是一种利用领域外平行语料库和单语语料库进行领域内翻译的方法，对于特定领域的翻译非常重要。在本文中，我们给出了一个全面的调查，最先进的领域自适应技术的NMT。
2018-06-01 cs.AI cs.CL cs.LG
Domain Adaptation from Scratch
University of Edinburgh（爱丁堡大学）；Technion, IIT（以色列理工学院）
自然语言处理（NLP）算法正在迅速改进，但在应用于分发外的示例时往往会遇到困难。一个突出的方法，以减轻域差距是领域自适应，其中一个模型训练的源域是适应一个新的目标域。我们提出了一个新的学习设置，“从零开始的领域自适应”，我们认为这是至关重要的NLP的范围扩展到敏感领域的隐私保护的方式。在这种设置中，我们的目标是有效地注释来自一组源域的数据，以便训练的模型在数据不可用于注释的敏感目标域上表现良好。我们的研究比较了几种方法，这个具有挑战性的设置，从数据选择和领域自适应算法的主动学习范式，两个自然语言处理任务：情感分析和命名实体识别。我们的研究结果表明，使用上述方法缓解了域间隙，并将它们结合起来进一步改善了结果。
2022-09-02 cs.AI cs.CL cs.LG
Multi-task Domain Adaptation for Sequence Tagging
Johns Hopkins University（约翰斯·霍普金斯大学）
许多领域自适应方法依赖于学习跨领域共享表示，以将在一个领域中学习到的知识转移到其他领域。传统的领域自适应只考虑适应一个任务。在本文中，我们探讨了多任务表示学习下的领域自适应的情况。我们提出了一个神经网络框架，支持领域自适应多个任务同时进行，并学习共享表示，更好地概括领域自适应。我们将所提出的框架应用于序列标记问题的领域自适应，考虑两个任务：中文分词和命名实体识别。实验结果表明，对于每个任务，多任务领域自适应都比不相交的领域自适应更有效，并且在社交媒体领域，两种任务都达到了最佳效果。
2017-05-30 cs.CL cs.LG
On Deep Domain Adaptation: Some Theoretical Understandings
与浅领域自适应相比，深领域自适应的最新进展表明，它可以实现更高的预测性能和更强的处理结构数据的能力（例如，图像和顺序数据）。深度领域自适应的基本思想是在联合空间中弥合源域和目标域之间的差距，使得在标记的源数据上训练的监督分类器可以很好地转移到目标域。这个想法当然是直观和强大的，但是，有限的理论理解已经发展到支持其基础原则。在本文中，我们提供了一个严格的框架来解释为什么它是可能的，以关闭在联合空间中的目标和源域的差距。更具体地说，我们首先研究从源域到目标域执行迁移学习时所产生的损失。这提供了一个理论，解释和概括现有的工作，在深领域自适应，主要是经验。这使得我们能够进一步解释为什么闭合联合空间中的间隙可以直接最小化两个域之间的迁移学习所引起的损失。据我们所知，这提供了第一个理论结果，该结果表征了联合空间上的直接约束和通过深度领域自适应的迁移学习的增益
2019-06-19 cs.AI cs.LG stat.ML
Gradual Domain Adaptation without Indexed Intermediate Domains
The Ohio State University（俄亥俄州立大学）
无监督领域自适应的有效性下降时，有一个大的差异之间的源和目标域。渐进式领域自适应（GDA）是缓解此类问题的一种有希望的方法，它利用额外的未标记数据，逐渐从源转移到目标。通过沿“索引”的中间域顺序地调整模型，GDA大大提高了整体适应性能。然而，在实践中，额外的未标记的数据可能不会被分离到中间域和索引正确，限制了GDA的适用性。在本文中，我们研究如何发现的序列时，它是不是已经可用的中间域。具体地说，我们提出了一个由粗到细的框架，它通过渐进的域搜索训练从粗域发现步骤开始。然后，该粗域序列通过新的循环一致性损失经历精细索引步骤，这鼓励下一个中间域保留当前中间域的足够的判别知识。然后可以通过GDA算法使用所得的结构域序列。在GDA的基准数据集上，我们证明了我们的方法，我们称之为中间DOmain标签（IDOL），与预定义的域序列相比，可以导致相当甚至更好的适应性能，使GDA对域序列的质量更适用和鲁棒。代码可在https://github.com/hongyouc/IDOL上获得。
2022-07-11 cs.AI cs.CV cs.LG
PTPP-Aware Adaptation Scaling Laws: Predicting Domain-Adaptation Performance at Unseen Pre-Training Budgets
Cerebras Systems（Cerebras系统）；MBZUAI（穆萨埃德人工智能研究所）
本文提出PTPP感知的自适应缩放定律，将预训练预算作为显式变量，实现在未见预算下准确预测域自适应损失，并用于规划回放比率和令牌预算。
2025-10-27 cs.AI cs.CL cs.LG
Domain-Specific Batch Normalization for Unsupervised Domain Adaptation
Seoul National University（首尔国立大学）；POSTECH（浦项科技大学）
提出了一种基于深度神经网络中特定领域批量归一化的无监督领域自适应框架。我们的目标是通过专门化卷积神经网络中的批量归一化层来适应这两个领域，同时允许它们共享所有其他模型参数，这是通过两阶段算法实现的。在第一阶段，我们估计伪标签的例子在目标领域使用外部无监督的领域自适应算法-例如，MPERANT或CPUA-集成建议的特定领域的批量归一化。第二阶段使用源域和目标域的多任务分类损失来学习最终模型。请注意，这两个域在两个阶段中都有单独的批量归一化层。我们的框架可以很容易地结合到基于深度神经网络的领域自适应技术与批量归一化层。我们还提出，我们的方法可以扩展到多个源域的问题。该算法在多个基准数据集上进行了评估，并在标准设置和多源域适应场景中达到了最先进的精度。
2019-05-27 cs.AI cs.LG stat.ML
Scalable Causal Domain Adaptation
Purdue University（普渡大学）；Kalinga Institute of Industrial Technology（卡林加工业技术学院）；University of South Carolina（南卡罗来纳大学）
迁移学习中最关键的问题之一是领域自适应的任务，其目标是将在一个或多个源域中训练的算法应用于不同（但相关）的目标域。本文研究了当跨域不变性存在时，存在协变量偏移的领域自适应问题。现有的因果推理方法解决这个问题的主要限制之一是可扩展性。为了克服这一困难，我们提出了SCTL，一种算法，避免了穷举搜索，并确定不变的因果特征跨源和目标域的基础上马尔可夫毯发现。SCTL不需要事先了解因果结构、干预类型或干预目标。存在与SCTL相关联的内在局部性，这使得它实际上是可扩展的和鲁棒的，因为局部因果发现增加了计算独立性测试的能力，并且使得领域自适应的任务在计算上易于处理。我们展示了SCTL的可扩展性和鲁棒性的领域自适应使用合成和真实的数据集在低维和高维设置。
2021-12-07 cs.AI cs.LG stat.ML
Domain Adaptation via Maximizing Surrogate Mutual Information
Peking University（北京大学）
无监督领域自适应（UDA）的目的是预测来自目标域的未标记数据，同时访问来自源域的标记数据。在这项工作中，我们提出了一个新的框架，称为SIDA（代理互信息最大化领域自适应）具有强有力的理论保证。具体而言，SIDA通过最大化特征之间的互信息（MI）来实现自适应。在该框架中，代理联合分布模型的未标记的目标域的潜在的联合分布。我们的理论分析通过用MI和替代分布偏差限制目标领域的预期风险来验证SIDA。实验表明，我们的方法是与国家的最先进的无监督适应方法对标准的UDA任务。
2022-10-14 cs.LG
Mixed Set Domain Adaptation
The Hong Kong Polytechnic University（香港理工大学）
在传统的领域自适应的设置中，源数据集的类别来自同一个领域（或多源领域自适应的领域），这在现实中并不总是如此。在本文中，我们提出了\textbf{\textit{Mixed Set Domain Adaptation} (MSDA)}。在MSDA的设置下，不同类别的源数据集并不都是从相同的域收集的。例如，类别$1\sim k$从域$α$收集，而类别$k+1\sim c$从域$β$收集。在这种情况下，源数据内部的分布差异将进一步影响领域自适应的性能。一个特征元素加权（FEW）的方法，可以减少不同类别之间的分布差异也提出了MSDA。实验结果和质量分析表明了该方法对解决MSDA问题的重要性和有效性。
2020-11-04 cs.LG
Semi-Supervised Adversarial Discriminative Domain Adaptation
University of Science, Ho Chi Minh City（胡志明市科学大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；University of Liverpool（利物浦大学）；University of Information Technology（信息技术大学）
领域自适应是训练强大的深度神经网络的一种潜在方法，它可以处理没有标记数据的情况。更准确地说，领域自适应解决了当训练数据集和测试数据集非常不同时被称为数据集偏差或域偏移的限制。对抗性自适应方法在其他领域自适应方法中越来越流行。对抗性领域自适应基于GAN的思想，试图根据对抗对象的不同，使训练数据集和测试数据集之间的分布最小化。然而，一些传统的对抗性领域自适应方法不能处理两个数据集之间的大的域移位，或者这些方法的泛化能力是低效的。本文提出了一种改进的对抗性领域自适应方法--半监督对抗性判别领域自适应（SADDA），它可以克服其他领域自适应方法的局限性。我们还表明，SADDA具有更好的性能比其他对抗性的适应方法，并说明我们的方法在数字分类和情感识别问题的承诺。
2022-10-19 cs.CV cs.LG
Tunable Domain Adaptation Using Unfolding
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文提出两种基于可解释展开网络的回归任务域适应方法，通过可控参数实现领域适应，验证了在压缩感知中的有效性。
2026-03-27 cs.LG
Deep Least Squares Alignment for Unsupervised Domain Adaptation
Lehigh University（里海大学）
无监督领域自适应利用来自标记的源域的丰富信息来对未标记的目标域进行建模。现有的方法试图对齐跨域分布。然而，这两个域的对齐的统计表示没有得到很好的解决。在本文中，我们提出了深度最小二乘对齐（DLSA）估计的两个域的分布在一个潜在的空间参数化的线性模型。我们进一步开发了边缘和条件适应损失，以减少域的差异，通过最小化拟合线和截距之间的角度差异，并进一步学习域不变的功能。大量的实验表明，所提出的DLSA模型是有效的对齐域分布，并优于国家的最先进的方法。
2021-11-03 cs.LG
Graph Domain Adaptation: A Generative View
Guangdong University of Technology（广东工业大学）；National University of Singapore（新加坡国立大学）；Tencent Technology (SZ) Co., Ltd.（腾讯科技（深圳）有限公司）；Carnegie Mellon University（卡内基梅隆大学）
近年来，人们对图结构数据的深度学习产生了极大的兴趣。由于收集标记图结构数据的成本很高，领域自适应对于有限样本的有监督图学习任务很重要。然而，目前的图领域自适应方法通常是从传统的领域自适应任务中获得的，没有很好地利用图结构数据的特性。例如，在不同平台上观察到的社交网络不仅受不同人群或社区的控制，而且还受特定于域的策略和背景噪声的控制。基于图结构数据中的这些属性，我们首先假设图结构数据生成过程由三种独立类型的潜变量控制，即，语义潜变量、领域潜变量和随机潜变量。基于这一假设，我们提出了一种基于去纠缠的无监督领域自适应方法的图结构数据，该方法采用变分图自动编码器恢复这些潜在变量，并通过三个监督学习模块将它们去纠缠。在两个真实数据集上的实验结果表明，该方法不仅显著优于传统的领域自适应方法和基于解纠缠的领域自适应方法，而且优于最先进的图领域自适应算法.
2021-06-14 cs.LG
Scatter Component Analysis: A Unified Framework for Domain Adaptation and Domain Generalization
Victoria University of Wellington（惠灵顿维多利亚大学）
本文讨论了一个特定的目标域的分类任务，其中标记的训练数据只能从源域不同（但相关）的目标。两个密切相关的框架，领域自适应和领域泛化，关注这样的任务，这些框架之间的唯一区别是未标记的目标数据的可用性：领域自适应可以利用未标记的目标信息，而领域泛化不能。我们提出了一种快速的表示学习算法Scatter Component Analyis（SCA），它可以同时应用于领域自适应和领域泛化。SCA基于简单的几何测量，即，scatter，它在再生核希尔伯特空间上操作。SCA找到了一种在最大化类的可分性、最小化域之间的不匹配和最大化数据的可分性之间进行权衡的表示;每一种都通过分散来量化。SCA的优化问题可以归结为一个广义特征值问题，这导致在一个快速和精确的解决方案。在跨领域目标识别基准数据集上的综合实验验证了SCA的性能比几种最先进的算法快得多，并且在领域自适应和领域泛化方面都提供了最先进的分类精度。我们还表明，分散可以用来建立一个理论的推广界的情况下，领域自适应。
2016-07-26 cs.AI cs.CV cs.LG
Gradual Domain Adaptation via Self-Training of Auxiliary Models
Hong Kong Polytechnic University（香港理工大学）；South China University of Technology（华南理工大学）
随着源域和目标域之间的间隙增加，领域自适应变得更具挑战性。出于对标记的源数据的可靠性进行实证分析，以使用距离目标域的动机，我们提出了辅助模型的自训练（SelfSelfTrain），学习中间域的模型，并逐步打击跨域的距离变化。我们引入不断变化的中间域作为源数据比例下降和目标数据比例增加的组合，对这些数据进行采样以最小化连续域之间的域距离。然后，源模型可以通过在不断发展的中间域上自训练辅助模型来逐渐适应目标域的使用。我们还通过隐式集成引入了一个增强的样本选择指标，并将所提出的方法扩展到半监督领域自适应。在无监督和半监督领域自适应基准数据集上的实验验证了该方法的有效性。
2021-06-18 cs.LG
Connecting sufficient conditions for domain adaptation: source-guided uncertainty, relaxed divergences and discrepancy localization
University of Tübingen（图宾根大学）
领域自适应的最新进展表明，对源域的低风险和相等特征边缘的要求降低了自适应的性能。与此同时，经验证据表明，结合无监督的目标域项，推动决策边界远离高密度区域，随着放松对齐，提高适应。在本文中，我们从理论上证明这样的意见，通过一个新的约束的目标风险，我们连接两个概念的放松发散，即$β-$放松发散和本地化。这种连接使我们能够将源域的分类结构纳入所考虑的发散的松弛中，可证明地导致特别是标签偏移情况的更好处理。
2022-03-09 cs.LG
Deep CORAL: Correlation Alignment for Deep Domain Adaptation
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；Boston University（波士顿大学）
深度神经网络能够从大量标记的输入数据中学习强大的表示，但是它们不能总是很好地概括输入分布的变化。已经提出了领域自适应算法来补偿由于域移位而导致的性能下降。在本文中，我们解决的情况下，目标域是未标记的，需要无监督的适应。CORAL是一种“简单得令人沮丧”的无监督领域自适应方法，它将源和目标分布的二阶统计与线性变换对齐。在这里，我们扩展CORAL来学习一个非线性变换，该变换可以调整深度神经网络（Deep CORAL）中层激活的相关性。在标准基准数据集上的实验显示了最先进的性能。
2016-07-06 cs.AI cs.CV cs.LG
Complementary Domain Adaptation and Generalization for Unsupervised Continual Domain Shift Learning
Graduate School of Data Science（数据科学研究生院）；Seoul National University（首尔国立大学）
针对无监督持续域偏移学习，提出互补域适应与泛化框架CoDAG，兼顾适应当前域、泛化未见域与防遗忘，模型无关且在多个基准上超越现有方法。
2023-10-13 cs.AI cs.CV cs.LG
Tackling unsupervised multi-source domain adaptation with optimism and consistency
INESC TEC（葡萄牙工程与技术研究所）；University of Porto（波尔图大学）
一段时间以来，已知多源领域自适应的问题可以被视为单源领域自适应任务，其中源领域对应于原始源领域的混合。尽管如此，如何调整混合分布权重仍然是一个悬而未决的问题。此外，大多数现有的工作在这个主题只集中在最大限度地减少错误的源域和实现域不变的表示，这是不够的，以确保低错误的目标域。在这项工作中，我们提出了一个新的框架，解决了这两个问题，并通过使用温和乐观的目标函数和目标样本的一致性正则化击败了目前的最新技术水平。
2020-09-29 cs.AI cs.CV cs.LG
Conditional Adversarial Domain Adaptation
School of Software, Tsinghua University, China（清华大学软件学院，中国）；Tsinghua University, China（清华大学，中国）；University of California, Berkeley, Berkeley, USA（美国加州大学伯克利分校，伯克利）
对抗学习已经被嵌入到深度网络中，以学习用于领域自适应的解纠缠和可转移的表示。现有的对抗性领域自适应方法可能无法有效地对齐分类问题中固有的多模态分布的不同域。在本文中，我们提出了有条件的对抗性领域自适应，一个原则性的框架，条件的对抗性适应模型的判别信息中传达的分类器预测。条件域对抗网络（CDAN）设计了两种新的条件策略：多线性条件，捕获特征表示和分类器预测之间的互协方差，以提高区分度，熵条件，控制分类器预测的不确定性，以保证可转移性。通过理论保证和几行代码，该方法在五个数据集上超过了最先进的结果。
2018-12-29 cs.LG
Self-supervised Domain Adaptation for Computer Vision Tasks
自监督视觉表示学习的最新进展在许多具有挑战性的计算机视觉基准测试上取得了显著的成功。然而，这些技术是否可以用于领域自适应还没有被探索。在这项工作中，我们提出了一种通用的方法，自我监督领域自适应，使用对象识别和语义分割的城市场景作为用例。针对简单的托词/辅助任务（如图像旋转预测），我们评估了不同的学习策略，以提高领域自适应的有效性，通过自我监督。此外，我们提出了两个互补的策略，以进一步提高领域自适应的准确性语义分割在我们的方法，包括预测层对齐和批量归一化校准。实验结果表明，适应水平相媲美的大多数研究领域自适应方法，从而，使自我监督作为一种新的替代达到领域自适应。该代码可在https://github.com/Jiaolong/self-supervised-da上获得。
2019-12-10 cs.CV cs.LG
Unsupervised Domain Adaptation with Residual Transfer Networks
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）
深度神经网络最近的成功依赖于大量的标记数据。对于标记数据不可用的目标任务，领域自适应可以将学习器从不同的源域转移。在本文中，我们提出了一种在深度网络中进行领域自适应的新方法，该方法可以从源域中的标记数据和目标域中的未标记数据中联合学习自适应分类器和可转移特征。我们放松了以前的方法所做的共享分类器的假设，并假设源分类器和目标分类器的残差函数不同。我们通过将几个层插入深度网络来实现分类器自适应，以参考目标分类器显式学习残差函数。我们用张量积融合多层特征，并将其嵌入到再生核希尔伯特空间中，以匹配特征自适应的分布。在大多数前馈模型中，可以通过用新的剩余层和损失函数来扩展它们来实现自适应，所述新的剩余层和损失函数可以经由反向传播来有效地训练。经验证据表明，新的方法优于国家的最先进的方法标准领域自适应基准。
2017-02-16 cs.LG
Unsupervised Domain Adaptation with Progressive Domain Augmentation
Carleton University（卡尔顿大学）
领域自适应的目的是利用一个标签丰富的源域学习分类器在不同的标签稀缺的目标域。当这两个领域之间存在重大分歧时，这尤其具有挑战性。本文提出了一种基于渐进域增强的无监督领域自适应方法。该方法通过域插值生成虚拟中间域，逐步增大源域，并通过在格拉斯曼流形上进行多个子空间对齐来弥合源域和目标域的分歧。我们在多个领域自适应任务上进行了实验，结果表明所提出的方法达到了最先进的性能。
2020-04-24 cs.CV cs.LG stat.ML
Mutual Learning Network for Multi-Source Domain Adaptation
DiDi Chuxing（滴滴出行）；Carleton University（卡尔顿大学）
早期的无监督领域自适应（UDA）方法大多假设单个源域的设置，其中所有标记的源数据来自相同的分布。然而，在实践中，标记数据可以来自具有不同分布的多个源域。在这样的场景中，由于跨不同源域的域移位的存在，单源领域自适应方法可能失败，并且需要设计多源领域自适应方法。本文提出了一种新的多源领域自适应方法--多源领域自适应互学习网络（ML-MSDA）。该方法在相互学习的框架下，将目标域与单个源域配对，训练一个条件对抗领域自适应网络作为分支网络，将组合的多源域与目标域配对，训练一个条件对抗自适应网络作为指导网络。多个分支网络与引导网络对齐，以通过在对应目标数据上对其预测概率分布实施JS发散正则化来实现相互学习。我们在多个多源领域自适应基准数据集上进行了广泛的实验。实验结果表明，所提出的ML-MSDA方法优于比较方法，达到了最先进的性能。
2020-03-29 cs.CV cs.LG
Importance Weight Estimation and Generalization in Domain Adaptation under Label Shift
Purdue University（普渡大学）
本文研究范畴和一般赋范标号空间在标号移位下的推广。我们提出了一系列的方法来估计从标记源到未标记目标域的重要性权重，并提供这些估计的置信界。我们部署这些估计器，并提供在未标记的目标域的泛化范围。
2021-06-05 cs.LG
Positive-Unlabeled Domain Adaptation
University of Hildesheim（希尔德斯海姆大学）；Volkwagen Financial Services（大众金融服务）
领域自适应方法已经显示出有效地从标记的源域推广到标记稀缺的目标域。以往的研究主要集中在没有目标监督的无标记领域自适应和每个类只有少量标记目标样本的半监督领域自适应。另一方面，正-无标签（PU-）学习在弱监督学习文献中引起了越来越多的兴趣，因为在相当多的实际应用中，正标签比负标签更容易获得。在这项工作中，我们是第一个介绍的挑战，积极的未标记的领域自适应，我们的目标是概括从一个完全标记的源域的目标域，只有积极和未标记的数据是可用的。我们提出了一种新的两步学习方法来解决这个问题，首先确定可靠的积极和消极的伪标签在目标域的指导下的源域标签和积极的未标记的风险估计。这使我们能够在第二步中在目标域上使用标准分类器。我们通过在视觉对象识别的基准数据集上运行实验来验证我们的方法。此外，我们提出了现实世界的例子，我们的设置和验证我们的优越性能的停车场占用率数据。
2022-02-11 cs.LG
Discriminative Clustering for Robust Unsupervised Domain Adaptation
Duke University（杜克大学）
无监督的领域自适应试图通过利用标记源数据集的信息来学习未标记目标域的不变和判别表示。我们建议通过同时学习紧密聚类的目标表示来提高目标域表示的区分能力，同时鼓励每个聚类被分配到一个独特的和不同的类。这种策略将负迁移的影响与源和目标表征之间的对抗性域匹配相结合。我们的方法是强大的源和目标标签分布的差异，因此适用于平衡和不平衡的领域自适应任务，并与一个简单的扩展，它也可以用于部分领域自适应。在多个领域自适应基准数据集上的实验表明，该方法在平衡、不平衡和部分领域自适应三种情况下均能获得最佳性能.
2019-05-30 cs.LG stat.ML
Unsupervised Domain Adaptation with Deep Neural-Network
MSIAM
该报告分析无监督域适应现有方法并提出新途径，展示了深度神经网络改进跨域视觉识别的潜力。
2023-07-10 cs.CV cs.LG
Automatic Domain Adaptation by Transformers in In-Context Learning
RIKEN AIP（理化学研究所人工智能项目）；Nagoya University（名古屋大学）；The University of Tokyo（东京大学）
本文提出一种Transformer模型，在上下文学习框架中可证明地近似并自动选择适合给定数据集的域适应算法，实验表明其自适应性能优于现有方法。
2024-05-27 cs.LG stat.ML
Domain Adaptation of Multilingual Semantic Search -- Literature Review
Georg-August University Göttingen（哥廷根大学）
本文综述了低资源环境下多语言语义搜索的领域自适应方法，提出新分类法，并探讨了结合两者以提升稠密检索器性能的可能性。
2024-02-05 cs.IR cs.LG
Frustratingly Easy Domain Adaptation
School of Computing（计算学院）；University of Utah（犹他大学）
我们描述了一种领域自适应的方法，这种方法正好适用于当一个人有足够的“目标”数据比只使用"源“数据做得稍微好一点的情况。我们的方法非常简单，很容易实现为预处理步骤（10行Perl！）并且在一系列数据集上优于最先进的方法。此外，它是平凡地扩展到一个多领域自适应问题，其中一个有来自各种不同领域的数据。
2009-07-10 cs.CL cs.LG
A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation
MIT（麻省理工学院）；Amazon Web Services（亚马逊云科技）；A*STAR（新加坡科技研究局）
最先进的神经机器翻译（NMT）系统是数据饥饿的，在没有监督数据的新领域表现不佳。由于数据汇集是昂贵的，并且在许多情况下是不可行的，因此需要领域自适应方法。在这项工作中，我们提出了一个简单但有效的方法，半监督领域自适应的情况下，NMT，其目的是提高性能的翻译模型的目标域仅由非并行数据的帮助下，监督源域数据。这种方法通过三个训练目标迭代地训练基于Transformer的NMT模型：语言建模，回译和监督翻译。我们评估这种方法的两个适应设置：特定领域之间的适应和适应从一般域到特定域，和两种语言对：德语到英语和罗马尼亚语到英语。随着性能的大幅提升--比最强基线的BLEU提高了+19.31BLEU，比未调整的模型的BLEU提高了+47.69BLEU--我们将这种方法作为半监督领域中简单但难以击败的基线NMT的领域自适应。
2020-06-06 cs.CL cs.LG
Renewing Iterative Self-labeling Domain Adaptation with Application to the Spine Motion Prediction
迁移学习的领域包括有监督的机器学习方法，当训练和测试数据具有不同的输入特征空间或分布时，该方法处理该问题。在这项工作中，我们提出了一种新的迁移学习算法称为更新迭代自标记领域自适应（Re-ISDA）。在这项工作中，我们提出了一种新的迁移学习算法称为更新迭代自标记领域自适应（Re-ISDA）。
2022-11-14 cs.LG stat.AP
Deep Discriminative Learning for Unsupervised Domain Adaptation
领域自适应方法的主要目的是将知识从源领域转移到具有相似但不同数据分布的目标领域。因此，为了正确地对未标记的目标域样本进行分类，标准方法是学习源域和目标域两者的共同表示，从而间接地解决在目标域中学习分类器的问题。然而，这样的方法不直接解决目标域中的分类任务。相比之下，我们提出了一种方法，直接解决了在未标记的目标域中学习分类器的问题。特别地，我们训练分类器以正确地分类训练样本，同时以无监督的方式对目标域中的样本进行分类。相应的模型被称为用于领域自适应的鉴别编码（DEDA）。我们表明，这种简单的方法执行无监督领域自适应确实是相当强大的。我们的方法在各种图像分类基准上实现了无监督自适应任务的最新结果。我们还在Amazon评论情感分类数据集中获得了领域自适应的最新性能。我们进行额外的实验时，源数据具有较少的标记的例子，也对zero-shot领域自适应任务，其中没有目标域样本用于训练。
2019-08-09 cs.LG stat.ML
A Generalized Neyman-Pearson Criterion for Optimal Domain Adaptation
University of Michigan（密歇根大学）
在二进制分类的领域自适应问题中，学习者被呈现来自源领域的标记示例，并且必须正确地分类来自目标领域的未标记示例，该目标领域可能与源不同。以前的工作在这个问题上假设的性能指标的兴趣是期望值的一些损失函数。我们引入了一个新的奈曼皮尔逊标准，并认为，对于这个最优性标准，更强的域适应结果是可能的比以前已经建立。特别是，我们研究了一类域自适应问题，概括了协变量移位假设和特征相关标签噪声模型，并建立了目标域上的最佳分类，尽管无法访问该域的标记数据。
2019-02-27 cs.LG stat.ML
Moment-Based Domain Adaptation: Learning Bounds and Algorithms
JOHANNES KEPLER UNIVERSITY LINZ（约翰内斯开普勒大学林茨分校）
本论文为领域自适应作为机器学习的新兴领域奠定了数学基础。与经典的统计学习相比，域自适应框架考虑了训练和应用环境中概率分布之间的偏差。领域自适应适用于更广泛的应用，因为未来的样本通常遵循与训练样本不同的分布。决定性的一点是关于分布相似性的假设的普遍性。因此，在这篇论文中，我们研究域适应问题下，弱相似性假设，可以模拟的许多时刻。
2020-04-22 cs.LG stat.ML
On generalization in moment-based domain adaptation
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Data Science Software Competence Center Hagenberg GmbH（哈根贝格数据科学软件能力中心有限公司）
域自适应算法被设计为通过自适应来自具有大量训练数据的源域的模型来最小化用于具有很少训练数据的目标域的判别模型的误分类风险。标准方法基于源域和目标域中的经验概率分布之间的距离度量来测量适应差异。在这种情况下，我们解决的问题，推导出面向实践的一般条件下的基本概率分布的泛化界。因此，我们得到了泛化界域自适应的基础上，许多矩和光滑条件。
2021-07-26 cs.LG stat.ML
Adversarial Alignment of Class Prediction Uncertainties for Domain Adaptation
Radboud University（拉德堡德大学）；TNO（荷兰应用科学研究组织）；Open University（开放大学）
我们考虑无监督域自适应：给定源域的标记示例和相关目标域的未标记示例，目标是推断目标示例的标签。在来自预训练的深度神经网络的特征可跨相关域转移的假设下，域自适应简化为在类别预测不确定性水平上对齐源域和目标域。我们通过引入一种基于对抗学习的方法来解决这个问题，该方法迫使目标域上的标签不确定性预测与源域上的标签不确定性预测无法区分。使用预先训练的深度神经网络来生成具有跨相关域的高可转移性的深度特征。我们在大量公开的预训练深度神经网络上对所提出的方法进行了广泛的实验分析。我们在图像分类领域自适应任务上的实验结果表明，类预测不确定性与从预训练的深度神经网络中提取的特征对齐，为领域自适应提供了一种高效、鲁棒和有效的方法。
2019-01-04 cs.LG stat.ML
Improving Unsupervised Domain Adaptation with Variational Information Bottleneck
Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）
领域自适应的目的是利用源域的监督信号，在标签不可用的情况下获得目标域的准确模型。为了利用和适应源域的标签信息，大多数现有方法采用特征提取函数，并在共享特征空间中匹配源域和目标域的边缘分布。本文从信息论的角度，证明了表示匹配实际上是对特征空间的一个不充分约束，以获得在目标域具有良好泛化性能的模型。然后，我们提出了变分瓶颈领域自适应（VBDA），一个新的领域自适应方法，提高了功能的可转移性，明确执行的特征提取器忽略任务无关的因素，并专注于信息，是必不可少的感兴趣的任务，为源和目标域。大量的实验结果表明，VBDA显着优于国家的最先进的方法在三个领域自适应基准数据集。
2019-11-21 cs.LG stat.ML
Dual Moving Average Pseudo-Labeling for Source-Free Inductive Domain Adaptation
Carleton University（卡尔顿大学）；CIFAR AI Chair（CIFAR人工智能讲席）；Amii（阿尔伯塔机器智能研究所）
无监督领域自适应通过将知识从源领域适应到目标领域来减少对深度学习中数据注释的依赖。出于隐私和效率考虑，无源领域自适应通过在不访问源数据的情况下将预训练的源模型适配到未标记的目标域来扩展无监督的领域自适应。然而，大多数现有的无源领域自适应方法集中在转导设置，其中目标训练集也是测试集。在本文中，我们解决无源领域自适应在更现实的归纳设置，目标训练和测试集是互斥的。提出了一种新的半监督微调方法--双滑动平均伪标记法（DMAPL），用于无源归纳领域自适应。我们首先根据预训练源模型的预测置信度得分将目标域中的未标记训练集分为伪标记置信子集和未标记置信度较低的子集。然后，我们提出了一个软标签的移动平均更新策略的基础上的移动平均原型分类器的未标记的子集，逐渐适应的源模型向目标域。实验表明，我们提出的方法达到了最先进的性能，并大大优于以前的方法。
2022-12-15 cs.CV cs.LG
Using Latent Codes for Class Imbalance Problem in Unsupervised Domain Adaptation
Naver Labs Europe（Naver Labs欧洲）
当源域和目标域中的类空间有很大差异时，我们解决了无监督领域自适应中严重的类不平衡问题。直到最近，领域自适应方法假设对齐的类空间，使得减少分布发散使得域之间的转移更容易。这种对齐假设在现实世界的场景中是无效的，其中一些源类通常在目标域中表示不足或根本不存在。我们修改了目前的类不平衡的方法，并提出了一个新的使用潜在代码的对抗领域自适应框架。我们展示了如何潜在的代码可以用来解开沉默的结构的目标域，并确定代表性不足的类。我们展示了如何学习潜在代码重构与域不变表示，并使用它们来准确地估计目标标签。
2019-09-17 cs.LG stat.ML
Ensemble Multi-Source Domain Adaptation with Pseudolabels
Seoul National University（首尔国立大学）
给定带有标签的多个源数据集，我们如何训练没有标签数据的目标模型？多源领域自适应（MSDA）的目的是在没有目标数据标签的情况下，使用与目标数据集不同的多个源数据集训练模型。MSDA是一个关键的问题，适用于许多实际情况下，标签的目标数据是不可用的，由于隐私问题。现有的MSDA框架是有限的，因为它们对齐数据而不考虑条件分布p（x|（1）每个域。他们也错过了大量的目标标签信息，不考虑目标标签在所有和依赖于只有一个特征提取器。在本文中，我们提出了一种新的方法，多源领域自适应与伪标签的包围多源领域自适应（EnMDAP）。EnMDAP利用标签式矩匹配来对齐条件分布p（x| y），对不可用的目标标签使用伪标签，并通过使用多个特征提取器来引入集成学习主题以进行精确的领域自适应。实验结果表明，EnMDAP在图像域和文本域的多源领域自适应任务中均具有较好的性能。
2020-09-29 cs.LG stat.ML
Matching Embeddings for Domain Adaptation
University of Concepción（康塞普西翁大学）；Harvard University（哈佛大学）；University of Chile（智利大学）
在这项工作中，我们解决的问题，从一个巨大的注释源域的低标记的目标域的知识转移。我们提出了对抗变分领域自适应（AVDA），一种基于深度变分嵌入表示的半监督领域自适应方法。我们使用近似推理和域对抗方法将源域和目标域的样本映射到定义为高斯混合模型的对齐类相关嵌入中。AVDA作为一个分类器工作，并考虑一个生成模型来帮助这种分类。我们使用数字数据集进行实验。我们的研究结果表明，在半监督的Few-Shot场景中，我们的模型在大多数自适应任务中优于以前的方法，即使在目标域上每个类使用较少数量的标记样本。
2021-01-24 cs.LG stat.ML
A Brief Review of Domain Adaptation
University of Georgia（佐治亚大学）
经典的机器学习假设训练集和测试集来自相同的分布。因此，期望从标记的训练数据学习的模型在测试数据上表现良好。然而，由于许多因素，在训练数据和测试数据来自不同分布的现实世界应用中，这种假设可能并不总是成立，例如，从不同的来源收集训练集和测试集，或者由于数据随时间的变化而具有过时的训练集。在这种情况下，域分布之间会存在差异，并且在新数据集上天真地应用训练模型可能会导致性能下降。领域自适应是机器学习中的一个子领域，其目的是通过对齐领域之间的差异来处理这些类型的问题，使得经过训练的模型可以推广到感兴趣的领域。本文重点研究了无监督的领域自适应，其中标签仅在源域中可用。从不同的角度对领域自适应进行了分类。此外，还介绍了一些成功的浅层和深层领域自适应方法，旨在解决领域自适应问题。
2020-10-07 cs.CV cs.LG
Domain Adaptation as a Problem of Inference on Graphical Models
Carnegie Mellon University（卡内基梅隆大学）；University of Melbourne（墨尔本大学）；Unisound AI Lab（优必选人工智能实验室）
本文关注数据驱动的无监督领域自适应，其中预先不知道联合分布如何跨域变化，即，数据分布的哪些因素或模块保持不变或跨域改变。为了开发一种多源域领域自适应的自动化方法，我们提出使用图形模型作为一种紧凑的方式来编码联合分布的变化特性，它可以从数据中学习，然后将领域自适应视为图形模型上的贝叶斯推理问题。这样的图形模型区分分布的恒定和变化模块，并指定跨域的变化的属性，其用作变化模块的先验知识，用于导出目标域中的目标变量$Y$的后验。这提供了领域自适应的端到端框架，其中可以直接并入关于联合分布如何改变的附加知识（如果可用的话）以改进图形表示。我们将讨论如何基于容差的领域自适应可以放在这个保护伞下。在合成数据和真实数据上的实验结果证明了所提出的领域自适应框架的有效性。该代码可在https://github.com/mgong2/DA_Infer上获得。
2020-10-23 cs.LG stat.ML
Learning Sampling Policies for Domain Adaptation
Carnegie Mellon University（卡内基梅隆大学）
我们通过深度Q学习解决分类算法的半监督领域自适应问题。其核心思想是将源域网络对目标域数据的预测视为噪声标签，并学习从该数据中采样的策略，以便在目标域的小注释奖励分区上最大化分类准确性。我们的实验表明，学习的采样策略构建标记集，提高视觉分类器的准确性超过基线。
2018-05-19 cs.CV cs.LG
Hardness-guided domain adaptation to recognise biomedical named entities under low-resource scenarios
Monash University（莫纳什大学）；VinUniversity（文莱大学）；University at Buffalo（布法罗大学）
领域自适应是低资源场景下数据稀缺的有效解决方案。然而，当应用于标记级任务，如bioNER，领域自适应方法往往遭受具有挑战性的语言特征，临床叙述，这导致不满意的性能。在本文中，我们提出了一个简单而有效的硬度引导的领域自适应（HGDA）框架bioNER任务，可以有效地利用域硬度信息，以提高适应性的学习模型在低资源的情况下。在生物医学数据集上的实验结果表明，与最近发表的最新（SOTA）MetaNER模型相比，我们的模型可以实现显着的性能改善
2022-11-11 cs.CL cs.LG
Bridging Theory and Algorithm for Domain Adaptation
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）
本文从理论和算法两个方面研究了无监督域自适应问题。现有的领域自适应理论自然包含极大极小优化算法，极大极小优化算法与基于对抗学习的领域自适应方法有很好的结合。然而，一些脱节仍然存在，形成理论和算法之间的差距。我们扩展了以前的理论（Mansour et al.，2009 c; Ben-David等人，2010）到领域自适应中的多类分类，其中基于评分函数和边际损失的分类器是算法设计中的标准选择。我们介绍了利润差距离散，一种新的测量与严格的推广界，量身定制的分布比较与不对称的利润损失，和最小最大优化更容易训练。我们的理论可以无缝地转化为一个对抗学习算法的领域自适应，成功地弥合了理论和算法之间的差距。一系列的实证研究表明，我们的算法达到了最先进的精度上具有挑战性的领域自适应任务。
2019-07-22 cs.LG stat.ML
Low-Rank Subspace Override for Unsupervised Domain Adaptation
University for Applied Sciences Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用科学大学）
当前的监督学习模型不能很好地跨域边界泛化，这在许多应用中是已知的问题，例如机器人或视觉分类。领域自适应方法被用来改善这些泛化性能。然而，这些技术要么受限于特定的任务，如视觉适应，需要大量的计算时间和数据，这并不总是得到保证，具有复杂的参数化，或昂贵的优化过程。在这项工作中，我们提出了一种方法，只需要一个精心挑选的快照的数据，找到一个单一的域不变的子空间。该子空间以封闭形式计算，并覆盖域结构，这使得它在参数化中快速且稳定。通过采用低秩技术，我们强调数据的描述性特征。所提出的想法进行评估的各种领域自适应任务，如文本和图像分类对国家的最先进的领域自适应方法，并在所有任务中取得了显着的性能。
2020-07-08 cs.LG stat.ML
Supervised Domain Adaptation: A Graph Embedding Perspective and a Rectified Experimental Protocol
Aarhus University（奥胡斯大学）
领域自适应是缓解来自不同领域的数据之间的分布差距的过程。在本文中，我们表明，领域自适应方法使用成对的源和目标域数据之间的关系，可以制定为一个图形嵌入的域标签被纳入到结构的内在和惩罚图。具体来说，我们分析了三个现有的国家的最先进的监督领域自适应方法的损失函数，并证明他们执行图嵌入。此外，我们强调了一些普遍性和再现性的问题，通常用于证明这些方法的少样本学习能力的实验设置。为了准确地评估和比较监督领域自适应方法，我们提出了一个修正的评估协议，并在标准数据集上报告了更新的基准测试结果，这些标准数据集包括Amazon，DSLR和Webcam，Digits（MNIST，USPS，SVHN和MNIST-M）和VisDA（Synthetic，Real）。
2021-10-24 cs.LG stat.ML
Multiple-Source Domain Adaptation via Coordinated Domain Encoders and Paired Classifiers
Emory University（埃默里大学）
提出了一种新的多源无监督文本分类模型。我们的模型利用文档表示的更新率来动态集成域编码器。它还采用了概率启发式来推断目标域中的出错率，以配对源分类器。我们的启发式算法利用数据转换成本和目标特征空间中的分类器精度。我们已经使用真实世界的情况下，领域自适应来评估我们的算法的有效性。我们还在实验中使用预训练的多层Transformers作为文档编码器，以证明领域自适应模型所实现的改进是否可以通过开箱即用的语言模型预训练来实现。实验证明，我们的模型是在这种情况下表现最好的方法。
2022-03-20 cs.CL cs.LG
