RCPN: towards robust pseudo-labels in unsupervised CLIP adaptation via consistent prototypes and neighborhoods
Mohamed Bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学）；Indian Institute of Technology Delhi（印度德里理工学院）；Alexandria University（亚历山大大学）
针对CLIP等视觉-语言模型无监督适配中伪标签噪声大、传统过滤方法不可靠的问题，提出融合原型与邻域一致性的自适应伪标签框架，含PICS、NALR模块及自适应加权机制，在11个基准上实现无监督适配SOTA。
2026-10-19 cs.LG
Unsupervised Domain Adaptation for Cross-Subject Few-Shot Neurological Symptom Detection
School of Applied and Engineering Physics, Cornell University（康奈尔大学应用与工程物理学院）；Center for Neuroprosthetics, EPFL（洛桑联邦理工学院神经假肢中心）
现代机器学习工具在检测神经系统疾病的症状方面显示出了希望。然而，当前的方法通常为每个对象训练唯一的分类器。这种特定于受试者的训练方案需要来自每个患者的长标记记录，因此无法检测具有有限记录的新患者的症状。本文介绍了一种基于对抗网络的无监督领域自适应方法，以实现Few-Shot，跨主题癫痫发作检测。使用对抗性学习，来自多个患者的特征被编码到一个主题不变空间中，并在主题不变特征上训练一个判别模型来进行预测。我们评估了这种方法的颅内脑电图（iEEG）记录9例癫痫患者。我们的方法使跨主题癫痫发作检测与9.4\%的改善，1杆分类精度相比，传统的主题特定的计划。
2021-02-28 cs.LG
Unsupervised Domain Adaptation with Deep Neural-Network
MSIAM
该报告分析无监督域适应现有方法并提出新途径，展示了深度神经网络改进跨域视觉识别的潜力。
2023-07-10 cs.CV cs.LG
Unsupervised Domain Adaptation with Feature Embeddings
School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）
表示学习是无监督领域自适应的主要技术，但现有的方法往往需要规范的“枢轴功能”，概括跨域，这是由特定于任务的算法选择。我们表明，一种新颖但简单的特征嵌入方法提供了更好的性能，通过利用NLP问题中常见的特征模板结构。
2015-04-16 cs.CL cs.LG
Factorized Adversarial Networks for Unsupervised Domain Adaptation
Rutgers University（罗格斯大学）；Toutiao AI Lab（今日头条AI实验室）；Snap Research（Snap研究）
在本文中，我们提出了因子化对抗网络（FAN）解决无监督领域自适应问题的图像分类任务。我们的网络将数据分布映射到一个潜在的特征空间，该空间被分解为一个包含特定领域特征的特定领域子空间和一个保留类别信息的特定任务子空间，分别用于源域和目标域。无监督领域自适应通过对抗训练来实现，以最小化来自源域和目标域的两个任务特定子空间的分布之间的差异。我们证明，所提出的方法优于国家的最先进的方法在文献中使用的多个基准数据集的无监督领域自适应。此外，我们收集了两个比现有基准数据集大得多的真实世界的标记数据集，并在基线上得到了显着的改进，证明了我们的方法的实用价值。
2018-06-04 cs.CV cs.LG
Unsupervised Domain Adaptation Through Transferring both the Source-Knowledge and Target-Relatedness Simultaneously
School of Computer and Software, Nanjing University of Information Science and Technology（南京信息工程大学计算机与软件学院）；Engineering Research Center of Digital Forensics, Ministry of Education, Nanjing University of Information Science and Technology（南京信息工程大学教育部数字取证工程研究中心）；College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautic（南京航空航天大学计算机科学与技术学院）
无监督领域自适应（UDA）是机器学习和模式识别领域的一个新兴研究课题，旨在通过从源领域转移知识来帮助未标记目标领域的学习。
2021-12-24 cs.LG stat.ML
Mitigating Uncertainty of Classifier for Unsupervised Domain Adaptation
Microsoft（微软）；IIT Kanpur（印度理工学院坎普尔分校）；Oracle（甲骨文公司）；University of Bath（巴斯大学）
理解无监督领域自适应一直是一个重要的任务，已经很好地探索。然而，各种各样的方法都没有详细分析分类器的性能的作用。在本文中，我们彻底研究的作用，一个分类匹配的源和目标分布。我们通过匹配a）特征分布，b）样本的概率不确定性和c）确定性激活映射来专门研究分类器的能力。我们的分析表明，使用这三种分布确实可以在所有数据集上持续提高性能。因此，我们的工作扩展了目前的知识，从分类器获得的各种分布的作用，解决无监督领域自适应。
2021-07-01 cs.CV cs.LG
Discriminative Clustering for Robust Unsupervised Domain Adaptation
Duke University（杜克大学）
无监督的领域自适应试图通过利用标记源数据集的信息来学习未标记目标域的不变和判别表示。我们建议通过同时学习紧密聚类的目标表示来提高目标域表示的区分能力，同时鼓励每个聚类被分配到一个独特的和不同的类。这种策略将负迁移的影响与源和目标表征之间的对抗性域匹配相结合。我们的方法是强大的源和目标标签分布的差异，因此适用于平衡和不平衡的领域自适应任务，并与一个简单的扩展，它也可以用于部分领域自适应。在多个领域自适应基准数据集上的实验表明，该方法在平衡、不平衡和部分领域自适应三种情况下均能获得最佳性能.
2019-05-30 cs.LG stat.ML
Collaborative Unsupervised Domain Adaptation for Medical Image Diagnosis
South China University of Technology（华南理工大学）；Tencent AI Lab（腾讯人工智能实验室）
基于深度学习的医学影像诊断在临床医学中显示出巨大的潜力。然而，它在实践中经常遭受两个主要困难：1）由于医学图像上昂贵的注释成本，只有有限的标记样本可用; 2）标记图像可能包含相当大的标记噪声（例如，标签错误），因为诊断困难。在本文中，我们试图利用丰富的相关领域的标记数据，以帮助学习的目标任务与无监督领域自适应（UDA）。与大多数现有的UDA方法依赖于干净的标记数据或假设样本是平等可转移的不同，我们提出了一种新的协作无监督领域自适应算法，以进行可转移性感知的领域自适应，并以合作的方式克服标签噪声。实验结果验证了该方法的优越性。
2019-11-17 cs.LG stat.ML
Unsupervised Domain Adaptation in the Absence of Source Data
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
当前的无监督领域自适应方法可以解决许多类型的分布偏移，但它们假设来自源域的数据是免费可用的。随着预训练模型的使用变得越来越普遍，假设源数据不可用是合理的。我们提出了一种无监督的方法，用于使源分类器适应于从源域沿自然轴（例如亮度和对比度）变化的目标域。我们的方法只需要访问未标记的目标实例和源分类器。我们验证了我们的方法在场景中的分布偏移涉及亮度，对比度和旋转，并表明它优于微调基线的情况下，有限的标记数据。
2020-07-20 cs.CV cs.LG
Teacher-Student Competition for Unsupervised Domain Adaptation
Tianjin University（天津大学）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
现有的无监督领域自适应（UDA）方法主要从共享特征提取器中学习领域不变表示，源域的监督仅在类级进行，存在源偏差问题。提出了一种基于教师-学生竞争的无监督领域自适应方法。特别地，引入学生网络来学习特定于目标的特征空间，并且我们设计了一种新的竞争机制来选择更可信的伪标签用于学生网络的训练。我们引入了一个教师网络与现有的传统UDA方法的结构，教师和学生网络竞争提供目标伪标签，以约束每个目标样本的训练在学生网络。大量的实验表明，我们提出的TSC框架显着优于国家的最先进的领域自适应方法在Office-31和ImageCLEF-DA基准。
2020-10-20 cs.CV cs.LG
Unsupervised Reinforcement Adaptation for Class-Imbalanced Text Classification
University of Memphis（孟菲斯大学）
不同领域的模型在训练和测试时，自然存在着类的不平衡。无监督领域自适应（UDA）增强了模型的性能，只有来自源域的可访问注释和来自目标域的未标记数据。然而，现有的最先进的UDA模型学习域不变表示，并主要评估跨域的类平衡数据。在这项工作中，我们提出了一种无监督的领域自适应方法，通过强化学习，联合利用跨域的特征变量和不平衡的标签。我们实验了文本分类任务，其易于访问的数据集，并比较所提出的方法与五个基线。在三个数据集上的实验证明，我们提出的方法可以有效地学习鲁棒的域不变表示，并成功地适应文本分类器的不平衡类域。该代码可在https://github.com/woqingdoua/ImbalanceClass上获得。
2022-05-26 cs.CL cs.LG
Preserving Semantic Consistency in Unsupervised Domain Adaptation Using Generative Adversarial Networks
Queensland University of Technology（昆士兰科技大学）
无监督领域自适应是在给定源域的标记样本和目标域的未标记样本的情况下，寻求缓解源域和目标域之间的分布差异。生成对抗网络（GANs）通过生成特定于训练领域的图像，在领域自适应方面表现出了显着的改进。然而，大多数现有的基于GAN的无监督领域自适应技术在领域匹配过程中不考虑语义信息，因此当源和目标领域数据在语义上不同时，这些方法降低了性能。在本文中，我们提出了一个端到端的新的语义一致的生成对抗网络（SCGAN）。该网络可以通过在特征级捕获语义信息并从源域和目标域生成用于无监督领域自适应的图像来实现源域到目标域的匹配。我们证明了我们提出的方法的鲁棒性，它超过了国家的最先进的性能，在无监督的领域自适应设置进行数字和对象分类任务的实验。
2021-04-28 cs.AI cs.CV cs.LG
Application of Unsupervised Domain Adaptation for Structural MRI Analysis
University of Florida（佛罗里达大学）
这项工作的主要目标是研究无监督域自适应方法在OASIS数据集阿尔茨海默病（AD）检测背景下的各种应用（如二进制分类和异常检测）的有效性。我们还探讨了图像重建和图像合成，用于分析和生成3D结构MRI数据，以建立异常检测的性能基准。我们成功地证明了域自适应提高了AD检测的性能时，在监督和无监督的设置。此外，所提出的方法在OASIS-1数据集上实现了最先进的二进制分类性能。
2022-12-26 cs.CV cs.LG eess.IV
Unsupervised Domain Adaptation for Training Event-Based Networks Using Contrastive Learning and Uncorrelated Conditioning
University of Southern California（南加州大学）
基于事件的摄像机为在高动态范围环境和快速运动机动期间执行计算机视觉任务提供可靠的测量。然而，在基于事件的视觉中采用深度学习面临着由于事件相机的新近性而导致的注释数据稀缺的挑战。转移可以从传统相机注释数据中获得的知识为这一挑战提供了一个实用的解决方案。我们开发了一种无监督的领域自适应算法，用于使用对比学习和数据的不相关条件来训练用于基于事件的数据图像分类的深度网络。为此，我们的解决方案优于现有的算法。
2023-03-22 cs.CV cs.LG
A Survey of Unsupervised Deep Domain Adaptation
Washington State University（华盛顿州立大学）
深度学习已经为各种任务产生了最先进的结果。虽然这种用于监督学习的方法表现良好，但它们假设训练和测试数据来自相同的分布，但情况并非总是如此。作为对这一挑战的补充，单源无监督领域自适应可以处理这样的情况，即在来自源域的标记数据和来自相关但不同的目标域的未标记数据上训练网络，目标是在目标域上的测试时表现良好。因此，已经开发了许多单源和通常同质的无监督深度领域自适应方法，将来自深度学习的强大的分层表示与领域自适应相结合，以减少对潜在昂贵的目标数据标签的依赖。本调查将通过检查替代方法，独特和共同的元素，结果和理论见解来比较这些方法。接下来，我们来看看应用领域和开放的研究方向。
2020-02-06 cs.LG stat.ML
Exploiting Local Feature Patterns for Unsupervised Domain Adaptation
Qiushi Academy for Advanced Studies, Zhejiang University（浙江大学求是高等研究院）；International School of Information Science & Engineering, Dalian University of Technology（大连理工大学国际信息与软件学院）；Zhejiang University School of Medicine（浙江大学医学院）；State University of New York at Buffalo（纽约州立大学布法罗分校）
无监督领域自适应方法通过学习领域不变的表示来减轻由领域移位引起的性能下降。现有的深度领域自适应方法通过匹配源和目标整体特征分布来关注整体特征对齐，而不考虑局部特征及其多模统计。我们发现，学习的局部特征模式是更通用和可转移的，进一步的局部特征分布匹配，使细粒度的特征对齐。在本文中，我们提出了一种学习域不变的局部特征模式，并联合调整整体和局部特征统计的方法。在两个流行的基准数据集上与最先进的无监督领域自适应方法进行比较，证明了该方法的优越性及其在减轻负迁移方面的有效性。
2018-11-18 cs.LG stat.ML
Unsupervised Domain Adaptation with Progressive Domain Augmentation
Carleton University（卡尔顿大学）
领域自适应的目的是利用一个标签丰富的源域学习分类器在不同的标签稀缺的目标域。当这两个领域之间存在重大分歧时，这尤其具有挑战性。本文提出了一种基于渐进域增强的无监督领域自适应方法。该方法通过域插值生成虚拟中间域，逐步增大源域，并通过在格拉斯曼流形上进行多个子空间对齐来弥合源域和目标域的分歧。我们在多个领域自适应任务上进行了实验，结果表明所提出的方法达到了最先进的性能。
2020-04-24 cs.CV cs.LG stat.ML
Deep Discriminative Learning for Unsupervised Domain Adaptation
领域自适应方法的主要目的是将知识从源领域转移到具有相似但不同数据分布的目标领域。因此，为了正确地对未标记的目标域样本进行分类，标准方法是学习源域和目标域两者的共同表示，从而间接地解决在目标域中学习分类器的问题。然而，这样的方法不直接解决目标域中的分类任务。相比之下，我们提出了一种方法，直接解决了在未标记的目标域中学习分类器的问题。特别地，我们训练分类器以正确地分类训练样本，同时以无监督的方式对目标域中的样本进行分类。相应的模型被称为用于领域自适应的鉴别编码（DEDA）。我们表明，这种简单的方法执行无监督领域自适应确实是相当强大的。我们的方法在各种图像分类基准上实现了无监督自适应任务的最新结果。我们还在Amazon评论情感分类数据集中获得了领域自适应的最新性能。我们进行额外的实验时，源数据具有较少的标记的例子，也对zero-shot领域自适应任务，其中没有目标域样本用于训练。
2019-08-09 cs.LG stat.ML
Certainty Volume Prediction for Unsupervised Domain Adaptation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
无监督领域自适应（UDA）处理未标记目标域数据的分类问题，而标记数据仅适用于不同的源域。遗憾的是，由于源数据和目标数据之间的域差距，常用的分类方法无法充分完成此任务。在本文中，我们提出了一种新的不确定性意识的领域自适应设置模型的不确定性作为一个多元高斯分布在特征空间。我们表明，我们提出的不确定性措施与其他常见的不确定性量化，并涉及到平滑分类器的决策边界，从而提高泛化能力。我们在具有挑战性的UDA数据集上评估了我们提出的管道，并取得了最先进的结果。我们方法的代码可在https://gitlab.com/tringwald/cvp上获得。
2021-11-03 cs.CV cs.LG
Maximizing Conditional Independence for Unsupervised Domain Adaptation
Sun Yat-Sen University（中山大学）
无监督领域自适应研究如何将学习器从一个有标记的源域迁移到一个具有不同分布的未标记目标域。现有的方法主要集中在匹配源域和目标域的边缘分布，这可能会导致来自同一类但不同域的样本不对齐。在本文中，我们处理这种错位，从一个新的角度实现类条件转移。我们的目标是在再生核Hilbert空间中最大化给定类的特征和域的条件独立性。条件独立性度量的优化可以看作是最小化特征和域之间的某种互信息的替代。一个可解释的经验估计的条件依赖推导和连接的无条件的情况下。此外，我们还考虑了类条件分布，给出了目标误差的上界，这为大多数类条件转移方法提供了一个新的理论视角。除了无监督的领域自适应，我们将我们的方法扩展到多源的情况下，在一个自然和优雅的方式。在四个基准上的大量实验验证了所提出的模型在无监督领域自适应和多源领域自适应中的有效性。
2022-03-07 cs.CV cs.LG
Using Latent Codes for Class Imbalance Problem in Unsupervised Domain Adaptation
Naver Labs Europe（Naver Labs欧洲）
当源域和目标域中的类空间有很大差异时，我们解决了无监督领域自适应中严重的类不平衡问题。直到最近，领域自适应方法假设对齐的类空间，使得减少分布发散使得域之间的转移更容易。这种对齐假设在现实世界的场景中是无效的，其中一些源类通常在目标域中表示不足或根本不存在。我们修改了目前的类不平衡的方法，并提出了一个新的使用潜在代码的对抗领域自适应框架。我们展示了如何潜在的代码可以用来解开沉默的结构的目标域，并确定代表性不足的类。我们展示了如何学习潜在代码重构与域不变表示，并使用它们来准确地估计目标标签。
2019-09-17 cs.LG stat.ML
Joint Semantic Domain Alignment and Target Classifier Learning for Unsupervised Domain Adaptation
JD AI Research（京东人工智能研究院）；University of Science and Technology of China（中国科学技术大学）；Nanjing University（南京大学）
无监督领域自适应的目的是以无监督的方式将从源域学习到的分类器转移到目标域。在目标伪标签的帮助下，对齐类级分布和学习目标域中的分类器是两个广泛使用的目标。现有的方法往往分别优化这两个单独的目标，这使得他们遭受的忽视其他。然而，将这两个方面一起优化并不是微不足道的。为了缓解上述问题，我们提出了一种新的方法，以整体的方式联合优化语义域对齐和目标分类器学习。联合优化机制既可以消除它们的弱点，又可以实现它们的优势互补。理论分析也验证了联合优化机制的优越性。在基准数据集上的大量实验表明，与现有的无监督领域自适应方法相比，该方法具有最好的性能。
2019-06-10 cs.LG stat.ML
Deep causal representation learning for unsupervised domain adaptation
Arizona State University（亚利桑那州立大学）；Army Research Lab（陆军研究实验室）
研究表明，深度神经网络学习的表示可以转移到其他领域的类似预测任务中，而我们没有足够的标记数据。然而，当我们过渡到模型中的更高层时，表示变得更加特定于任务，并且不那么可推广。最近关于深度领域自适应的研究提出通过迫使深度模型学习跨领域的更多可转移特征表示来缓解这个问题。这是通过将领域自适应方法合并到深度学习流水线中来实现的。大多数现有的模型学习与结果高度相关的可转移特征表示。然而，相关性并不总是可转移的。在本文中，我们提出了一种新的深度因果表示学习框架，用于无监督领域自适应，在该框架中，我们提出从源域学习输入的域不变因果表示。我们模拟一个虚拟的目标域使用重新加权的样本从源域和估计的因果关系的影响功能的结果。广泛的比较研究表明，所提出的模型的优势，无监督领域自适应通过因果关系表示。
2019-10-28 cs.LG stat.ML
Domain Confused Contrastive Learning for Unsupervised Domain Adaptation
Nanyang Technological University（南洋理工大学）
在这项工作中，我们研究了无监督领域自适应（UDA）在一个具有挑战性的自我监督的方法。其中一个难点是如何在没有目标标签的情况下学习任务区分。与以往文献中直接对齐跨域分布或利用反向梯度不同，我们提出了域混淆对比学习（DCCL），通过域拼图来桥接源域和目标域，并在适应后保留区分性表示。从技术上讲，DCCL搜索最具领域挑战性的方向，并将领域混淆的增强作为正对进行精细加工，然后对比鼓励模型将表示拉向另一个领域，从而学习更稳定和有效的领域不变性。我们还研究了在进行其他数据增强时，对比学习是否一定有助于UDA。大量的实验表明，DCCL显着优于基线。
2022-07-10 cs.CL cs.LG
Unsupervised Domain Adaptation via Regularized Conditional Alignment
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一种无监督的领域自适应方法，该方法训练共享嵌入来对齐输入（域）和输出（类）的联合分布，使任何分类器对域不可知。联合对齐确保不仅域的边缘分布对齐，而且标签也对齐。我们提出了一个新的目标函数，鼓励类条件分布在特征空间中有不相交的支持。我们进一步利用对抗正则化来提高分类器在没有注释数据的域上的性能。
2019-05-26 cs.CV cs.LG stat.ML
When Unsupervised Domain Adaptation meets One-class Anomaly Detection: Addressing the Two-fold Unsupervised Curse by Leveraging Anomaly Scarcity
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg（安全、可靠性与信任跨学科研究中心（SnT），卢森堡大学）；Cristal Laboratory, National School of Computer Sciences, University of Manouba（晶体实验室，国家计算机科学学校，曼努巴大学）
本文提出了一种基于异常稀有性的无监督领域自适应框架，用于解决无监督异常检测中的双重无监督诅咒问题。
2025-12-26 cs.CV cs.LG
Unsupervised Domain Adaptation Based on Source-guided Discrepancy
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
无监督领域自适应是这样一种问题设置，其中源域和目标域中的数据生成分布不同，并且目标域中的标签不可用。无监督领域自适应中的一个重要问题是如何度量源域和目标域之间的差异。先前提出的不使用源域标签的差异需要高的计算成本来估计，并且可能导致目标域中的松散的泛化误差界。为了缓解这些问题，我们提出了一种新的差异称为源引导的差异（S盘），它利用标签在源域。因此，S盘可以有效地计算有限样本收敛保证。此外，我们表明，S-光盘可以提供一个更严格的泛化误差界比一个基于现有的差异。最后，我们报告的实验结果表明，S盘的优势，现有的差异。
2018-11-19 cs.LG stat.ML
Unsupervised Domain Adaptation Using Approximate Label Matching
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
领域自适应解决了当训练数据由所谓的源分布生成而测试数据由显著不同的目标分布生成时所产生的问题。在这项工作中，我们提出了近似标签匹配（ALM），一种新的无监督领域自适应技术，创建并利用测试样本上的粗略标签，然后使用这些嘈杂的标签来学习对齐源和目标样本的变换。我们表明，由ALM估计的变换具有良好的性能相比，其他方法，不使用任何类型的目标标记估计的变换。我们的模型是正则化的，要求训练的分类器从变换的目标样本区分源不能区分两者。我们用ALM对模拟数据和真实数据进行了实验，结果表明它优于该领域常用的技术。
2017-03-01 cs.AI cs.LG
Domain Discrepancy Measure for Complex Models in Unsupervised Domain Adaptation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
适当地评估领域之间的差异对于无监督领域自适应的成功至关重要。在本文中，我们首先指出，现有的差异措施是较少的信息时，使用复杂的模型，如深度神经网络，除了事实上，他们可以计算要求很高，其应用范围仅限于二进制分类。然后，我们提出了一种新的域差异的措施，称为配对假设差异（PHD），以克服这些缺点。PHD是计算效率高，适用于多类分类。通过泛化误差界分析，我们从理论上证明了PHD即使对复杂模型也是有效的。最后，我们通过实验证明了PHD的实用性。
2019-10-22 cs.LG stat.ML
Geometry-Aware Unsupervised Domain Adaptation for Stereo Matching
SenseTime Japan Ltd.（商汤科技日本有限公司）
最近提出的基于DNN的立体匹配方法，直接从数据中学习先验知识，已知在新环境中准确度会急剧下降。虽然使用地面实况视差图的监督方法通常工作得很好，但在每个部署环境中收集它们是繁琐和昂贵的。为此，已经提出了许多基于图像到图像平移的无监督领域自适应方法，但是这些方法不保留立体图像对的几何结构，因为图像到图像平移被单独地应用于每个视图。为了解决这个问题，在本文中，我们提出了一个注意力机制，聚合功能的左，右视图，立体交叉注意力（SCA）。将SCA转化为图像-图像转换网络，可以在图像-图像转换过程中保持立体图像对的几何结构。我们实证证明了所提出的无监督领域自适应的图像到图像的翻译SCA的基础上的有效性。
2021-03-26 cs.CV cs.LG
Unsupervised Domain Adaptation of Contextual Embeddings for Low-Resource Duplicate Question Detection
Microsoft（微软）
提问是许多对话系统或搜索产品的主要目标。虽然大多数当前系统集中于针对结构化数据库或策划的知识图谱回答问题，但是在线社区论坛或常见问题（FAQ）列表为问答系统提供了替代的信息源。自动重复问题检测（DQD）是问答系统利用现有在线论坛（如StackExchange）的关键技术。这些论坛中重复问题的现有注释是社区驱动的，使得它们在许多领域中稀疏甚至完全缺失。因此，从相关领域和任务中转移知识非常重要。最近，诸如BERT之类的上下文嵌入模型通过将自监督信息传输到下游任务而超过了许多基线。在本文中，我们将BERT应用于DQD，并通过使用自监督学习对StackExchange域进行无监督适应来改进它。我们证明了这种适应的有效性低资源设置，很少或没有训练数据可从目标域。我们的分析表明，无监督BERT领域自适应，即使是少量的数据，提高性能的BERT。
2019-11-06 cs.CL cs.LG
Learning from imperfect quantum data via unsupervised domain adaptation with classical shadows
Advanced Material Engineering Division, Toyota Motor Corporation（丰田汽车公司先进材料工程部）；Quantum Computing Center, Keio University（庆应义塾大学量子计算中心）；Department of Applied Physics and Physico-Informatics, Keio University（庆应义塾大学应用物理与物理信息学系）
本文提出通过无监督领域适应方法，在经典计算管道中利用经典阴影学习不完美量子数据，验证了该方法在量子相变和纠缠分类任务中的有效性。
2026-03-30 cs.LG quant-ph
Unsupervised domain adaptation for speech recognition with unsupervised error correction
University College Dublin（都柏林大学学院）
自动语音识别（ASR）系统在转录来自未知域的音频时，转录质量显著降低。我们提出了一种无监督的错误校正方法，用于无监督的ASR域自适应，旨在恢复域不匹配引起的转录错误。与现有的依赖于转录音频进行训练的校正方法不同，我们的方法只需要目标域的未标记数据，其中应用伪标记技术来生成校正训练样本。为了减少对伪数据的过度拟合，我们还提出了一个编码器-解码器校正模型，该模型可以考虑对话上下文和声学特征等附加信息。实验结果表明，我们的方法获得了显着的字出错率（WER）降低非适应ASR系统。该校正模型还可以应用于其他适应方法之上，相对额外提高10%。
2022-09-24 cs.AI cs.LG cs.SD
UDA-Bench: Revisiting Common Assumptions in Unsupervised Domain Adaptation Using a Standardized Framework
UC San Diego（加州大学圣迭戈分校）
本文提出标准化框架 UDA-Bench，通过大规模受控实证研究重新审视无监督领域自适应方法，发现自适应收益随先进骨干架构减少、当前方法未充分利用无标签数据以及预训练数据显著影响下游自适应等关键特性。
2024-09-23 cs.CV cs.LG
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras（印度理工学院马德拉斯分校）
自动语音识别是模式识别中的一个难题，因为语音输入中存在多种可变性来源，例如通道变化，输入可能是干净的或有噪声的，说话者可能具有不同的口音和性别变化等。因此，域自适应在语音识别中很重要，其中我们训练特定源域的模型，并在不同的目标域上对其进行测试。在本文中，我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验，使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
SALIENCE: An Unsupervised User Adaptation Model for Multiple Wearable Sensors Based Human Activity Recognition
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
无监督用户自适应将来自训练用户和新用户的数据的特征分布对齐，因此经过良好训练的可穿戴人体活动识别（WHAR）模型可以很好地适应新用户。随着可穿戴传感器技术的发展，基于WHAR的多传感器可穿戴系统得到了越来越多的关注。为了解决不同传感器的可移植性不同的挑战，我们提出了SALIENCE（基于多个可穿戴传感器的人体活动识别的无监督用户自适应模型）模型。它分别对齐每个传感器的数据以实现局部对齐，同时统一对齐所有传感器的数据以确保全局对齐。此外，提出了一种注意机制，使SALIENCE的活动分类器集中在具有较强特征区分度和良好分布对齐的传感器上。在两个公开的WHAR数据集上进行了实验，实验结果表明，我们的模型可以产生一个有竞争力的性能。
2022-04-27 cs.LG eess.SP
Unsupervised Domain Adaptation within Deep Foundation Latent Spaces
School of Computing and Communications（计算与通信学院）；Lancaster University（兰卡斯特大学）
本文在原型网络框架下研究ViT、Dino-V2等视觉基础模型在无微调条件下解决无监督域适应的能力，证明其优于现有基线并指出仍存在的局限。
2024-02-22 cs.AI cs.CV cs.LG
M-ADDA: Unsupervised Domain Adaptation with Deep Metric Learning
University of British Columbia（不列颠哥伦比亚大学）
无监督领域自适应技术已经成功地用于监督标签有限的广泛问题。该任务是通过利用来自稍微相似的分布的标记的“源”数据集来对未标记的“目标”数据集进行分类。我们提出了基于度量的对抗性判别领域自适应（M-ADDA），它执行两个主要步骤。首先，它使用度量学习方法通过优化三元组损失函数来在源数据集上训练源模型。这会导致集群中相同标签的嵌入彼此接近，而具有不同标签的嵌入彼此远离。接下来，它使用对抗方法（如ADDA \cite{2017arXiv170205464T}中使用的方法）使从源数据集和目标数据集提取的特征无法区分。同时，我们优化了一个新的损失函数，鼓励目标数据集的嵌入形成集群。虽然ADDA和M-ADDA使用类似的架构，但我们表明M-ADDA在MNIST和USPS的数字自适应数据集上表现得更好。这表明，使用度量学习的领域自适应可以导致大的改进，在分类精度的领域自适应任务。代码可在\url{https://github.com/IssamLaradji/M-ADDA}上获得。
2018-07-06 cs.LG stat.ML
Anti-Forgetting Adaptation for Unsupervised Person Re-identification
Peking University（北京大学）；Inria（法国国家信息与自动化研究所）；University of Trento（特伦托大学）
本文提出DJAA框架，通过存储代表性样本和聚类原型并正则化图像间及图像到原型相似度，实现无监督行人ReID模型在多域增量适配中的抗遗忘与泛化提升。
2025-04-11 cs.CV cs.LG
Key Design Choices for Double-Transfer in Source-Free Unsupervised Domain Adaptation
Istituto Italiano di Tecnologia (IIT)（意大利技术研究院）；Università degli Studi di Genova（热那亚大学）；Politecnico di Torino（都灵理工大学）
微调和领域自适应成为将深度学习模型有效转移到新目标任务的有效策略。然而，目标域标签在许多现实场景中是不可访问的。这导致了无监督领域自适应（UDA）方法的发展，该方法仅采用未标记的目标样本。此外，效率和隐私要求也可能阻止在适配阶段期间使用源域数据。这种具有挑战性的设置，被称为无源无监督领域自适应（SF-UDA），由于其在现实世界中的应用潜力，越来越受到研究人员和实践者的兴趣。在本文中，我们通过对500个模型和74个领域对的大规模实证研究，首次深入分析了SF-UDA中的主要设计选择。我们将标准化方法、预训练策略和骨干架构确定为最关键的因素。基于我们的定量研究结果，我们提出了最好地解决SF-UDA场景的方法。此外，我们表明，SF-UDA的竞争力也超出了标准的基准和骨干架构，表现与UDA的数据和计算成本的一小部分。在利益的再现性，我们包括完整的实验结果和代码作为补充材料。
2023-02-10 cs.CV cs.LG
Multi-source Attention for Unsupervised Domain Adaptation
University of Liverpool（利物浦大学）
领域自适应考虑将使用来自特定源域的数据学习的模型推广到不同目标域的问题。通常很难找到一个合适的单一来源来适应，必须考虑多个来源。使用不相关的源可能会导致次优性能，称为\emph{negative transfer}。然而，在多源无监督领域自适应（UDA）中，选择合适的源来分类给定的目标实例是具有挑战性的。我们将源选择建模为注意力学习问题，其中我们针对给定的目标实例学习源的注意力。为此，我们首先独立地学习特定于源的分类模型，以及使用伪标记的目标域实例的源和目标域之间的相关性映射。接下来，我们学习源上的注意力权重，以聚合特定于源的模型的预测。在跨领域情感分类基准上的实验结果表明，该方法在多源UDA中的性能优于现有的建议。
2020-04-17 cs.CL cs.LG
Differentiable Pooling for Unsupervised Acoustic Model Adaptation
University of Edinburgh（爱丁堡大学）
我们提出了一个深度神经网络（DNN）的声学模型，包括参数化和可微池运营商。无监督声学模型自适应被转换为更新由每个池化算子实现的决策边界的问题。特别是，我们实验了两种类型的池参数化：学习$L_p$ -范数池和加权高斯池，其中两个运营商的权重被视为扬声器相关。我们使用三种不同的大词汇量语音识别语料库进行调查：AMI会议，TED演讲和总机会话电话语音。我们证明了可微分池算子提供了一种鲁棒且相对低维的方式来适应声学模型，相对于未适应的系统，相对字出错率降低了5- 20%，其本身优于基线完全连接的基于DNN的声学模型。我们还研究了所提出的技术如何在各种适应条件下工作，包括适应数据的质量和与其他特征和模型空间适应方法的互补性，以及提供对每个方法的特性的分析。
2016-07-13 cs.CL cs.LG
Low-Rank Subspace Override for Unsupervised Domain Adaptation
University for Applied Sciences Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用科学大学）
当前的监督学习模型不能很好地跨域边界泛化，这在许多应用中是已知的问题，例如机器人或视觉分类。领域自适应方法被用来改善这些泛化性能。然而，这些技术要么受限于特定的任务，如视觉适应，需要大量的计算时间和数据，这并不总是得到保证，具有复杂的参数化，或昂贵的优化过程。在这项工作中，我们提出了一种方法，只需要一个精心挑选的快照的数据，找到一个单一的域不变的子空间。该子空间以封闭形式计算，并覆盖域结构，这使得它在参数化中快速且稳定。通过采用低秩技术，我们强调数据的描述性特征。所提出的想法进行评估的各种领域自适应任务，如文本和图像分类对国家的最先进的领域自适应方法，并在所有任务中取得了显着的性能。
2020-07-08 cs.LG stat.ML
Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation
National University of Singapore（新加坡国立大学）
无监督领域自适应（UDA）旨在利用从标记源数据集学习的知识来解决新的未标记领域中的类似任务。以前的UDA方法通常需要在学习适应模型时访问源数据，这使得它们对于分散的私有数据来说是有风险和低效的。这项工作解决了一个实际的设置，只有一个训练有素的源模型是可用的，并探讨我们如何可以有效地利用这样一个模型没有源数据来解决UDA问题。我们提出了一个简单而通用的表示学习框架，命名为\emph{Source HypOthesis Transfer}（SHOT）。SHOT冻结源模型的分类器模块（假设），并通过利用信息最大化和自监督伪标记来学习目标特定的特征提取模块，以隐式地将来自目标域的表示与源假设对齐。为了验证它的通用性，我们评估SHOT在各种适应情况下，包括闭集，部分集，和开集领域自适应。实验结果表明，SHOT在多个领域自适应基准测试中获得了最佳的结果。
2021-06-01 cs.CV cs.LG
Sliced Wasserstein Discrepancy for Unsupervised Domain Adaptation
Apple Inc（苹果公司）
在这项工作中，我们连接两个不同的概念，无监督领域自适应：域之间的特征分布对齐，利用特定于任务的决策边界和Wasserstein度量。我们提出的切片Wasserstein差异（SWD）的目的是捕捉任务特定的分类器的输出之间的相异性的自然概念。它提供了一个几何上有意义的指导，以检测远离源的支持的目标样本，并实现了端到端的可训练方式的有效分布对齐。通过实验验证了该方法在数字和符号识别、图像分类、语义分割、目标检测等方面的有效性和通用性。
2019-03-10 cs.CV cs.LG stat.ML
Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation
Huazhong University of Science & Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）；Farsee2 Tech. Co.（Farsee2科技公司）；Baidu Research（百度研究院）
本文针对One-Shot无监督领域自适应问题进行研究。与传统的无监督领域自适应不同，它假设在学习自适应时只有一个未标记的目标样本可用。这种设置是现实的，但更具挑战性，在传统的适应方法很容易失败，由于缺乏未标记的目标数据。为此，我们提出了一种新的对抗性风格挖掘方法，它结合了风格转换模块和任务特定模块到一个对抗的方式。具体而言，风格转移模块根据当前学习状态迭代地在一次性目标样本周围搜索更难风格化的图像，引导任务模型探索几乎不可见的目标领域中难以解决的潜在风格，从而提高数据稀缺场景中的适应性能。对抗性学习框架使风格迁移模块和任务特定模块在竞争中相互受益。跨域分类和分割基准上的大量实验验证了ASM在具有挑战性的单次设置下实现了最先进的自适应性能。
2020-04-13 cs.CV cs.LG eess.IV
A Multi-Discriminator CycleGAN for Unsupervised Non-Parallel Speech Domain Adaptation
Salesforce Research（赛富时研究院）
领域自适应对于语音识别模型起着重要的作用，特别是对于具有低资源的领域。提出了一种新的基于循环一致生成对抗网络（CycleGAN）的无监督非并行语音领域自适应生成模型。该模型在功率谱图上采用多个独立的鉴别器，每个鉴别器负责不同的频带。因此，我们有1）更好的鉴别器，专注于频率特征的细粒度细节，以及2）能够生成更真实的域适应谱图的生成器。我们证明了我们的方法对性别适应的语音识别的有效性，其中模型在训练期间只能访问来自一种性别的监督数据，但在测试时对另一种性别进行评估。我们的模型是能够实现的平均$7.41\%$音素错误率，和$11.10\%$字出错率相对性能改善相比，基线，TIMIT和华尔街日报数据集，分别。从质量上讲，我们的模型在以其他领域的数据为条件时，也会生成更自然的语音。
2018-07-09 cs.CL cs.LG
A Prototype-Oriented Framework for Unsupervised Domain Adaptation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cornell University（康奈尔大学）；Xidian University（西安电子科技大学）
用于无监督领域自适应的现有方法通常依赖于最小化潜在空间中的源样本和目标样本之间的某些统计距离。为了避免经常困扰这些方法的采样可变性，类不平衡和数据隐私问题，我们提供了一个内存和计算效率高的概率框架来提取类原型并将目标特征与它们对齐。我们证明了我们的方法在广泛的场景，包括单源，多源，类不平衡，和源私有领域自适应的普遍适用性。不需要额外的模型参数，并有一个温和的增加计算源模型单独，所提出的方法实现了具有竞争力的性能与国家的最先进的方法。
2021-10-22 cs.CV cs.LG stat.ML
Geometry-aware Domain Adaptation for Unsupervised Alignment of Word Embeddings
Microsoft（微软）
我们提出了一种新的基于流形的几何方法，用于学习源语言和目标语言之间的词嵌入的无监督对齐。我们的方法制定的对齐学习问题作为一个领域自适应问题的双随机矩阵的流形。这一观点的出发点是为了使两个语言空间的二阶信息一致。双随机流形的丰富的几何允许采用有效的黎曼共轭梯度算法的建议制定。经验上，所提出的方法优于国家的最先进的最佳运输为基础的方法上的双语词典归纳任务在几个语言对。对于距离较远的语言对，性能的改善更为显著。
2020-04-20 cs.CL cs.LG stat.ML
Simplified Neural Unsupervised Domain Adaptation
Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
针对无监督领域自适应任务，本文提出将表示学习器与任务学习器联合训练以改进现有最先进方法，并考察了现有枢纽特征选择方法的重要性。
2019-05-22 cs.AI cs.CL cs.LG
Learning Hidden Unit Contributions for Unsupervised Acoustic Model Adaptation
University of Edinburgh（爱丁堡大学）；Microsoft Corporation（微软公司）
这项工作提出了一个广泛的研究适应神经网络声学模型通过学习隐藏单元的贡献（LHUC）-一种方法，线性重新组合隐藏单元在扬声器或环境依赖的方式使用少量的无监督的适应数据。我们还将LHUC扩展到一个说话者自适应训练（SAT）框架，该框架导致一个更具适应性的DNN声学模型，以说话者相关和说话者无关的方式工作，而不需要维护辅助说话者相关特征提取器或向DNN结构引入显着的说话者相关变化。通过一系列的实验，四个不同的语音识别基准（TED会谈，Switchboard，AMI会议，极光4），包括270个测试扬声器，我们表明，LHUC在其测试和SAT的变种结果一致的字出错率减少5%至23%，相对取决于任务和训练和测试数据之间的不匹配程度。此外，我们还研究了每个扬声器的自适应数据量的影响，无监督自适应目标的质量，与其他自适应技术的互补性，一次性自适应，以及以序列判别方式训练的自适应DNN的扩展。
2016-07-13 cs.CL cs.LG cs.SD
Unsupervised Domain Adaptation through Self-Supervision
University of California, Berkeley（加利福尼亚大学伯克利分校）
本文讨论了无监督的领域自适应，设置标记的训练数据在源域上是可用的，但目标是在目标域上只有未标记的数据具有良好的性能。像以前的许多工作一样，我们寻求对齐源和目标域的学习表示，同时保持可辨别性。我们完成对齐的方式是通过学习同时在两个域上执行辅助自我监督任务。每个自我监督任务都沿着与该任务相关的方向将两个域更紧密地联系在一起。与源域上的主任务分类器一起训练，可以成功地推广到未标记的目标域。所提出的目标是直接实现和易于优化。我们在七个标准基准中的四个上取得了最先进的结果，并在分割适应上取得了有竞争力的结果。我们还证明了我们的方法与另一种流行的像素级自适应方法组合良好。
2019-09-29 cs.CV cs.LG stat.ML
Domain-Specific Batch Normalization for Unsupervised Domain Adaptation
Seoul National University（首尔国立大学）；POSTECH（浦项科技大学）
提出了一种基于深度神经网络中特定领域批量归一化的无监督领域自适应框架。我们的目标是通过专门化卷积神经网络中的批量归一化层来适应这两个领域，同时允许它们共享所有其他模型参数，这是通过两阶段算法实现的。在第一阶段，我们估计伪标签的例子在目标领域使用外部无监督的领域自适应算法-例如，MPERANT或CPUA-集成建议的特定领域的批量归一化。第二阶段使用源域和目标域的多任务分类损失来学习最终模型。请注意，这两个域在两个阶段中都有单独的批量归一化层。我们的框架可以很容易地结合到基于深度神经网络的领域自适应技术与批量归一化层。我们还提出，我们的方法可以扩展到多个源域的问题。该算法在多个基准数据集上进行了评估，并在标准设置和多源域适应场景中达到了最先进的精度。
2019-05-27 cs.AI cs.LG stat.ML
