A Discriminative Technique for Multiple-Source Adaptation
Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；Hudson River Trading（哈德逊河交易公司）
我们提出了一种新的判别技术的多源适应，MSA，问题。与以前的工作不同，它依赖于每个源域的密度估计，我们的解决方案只需要条件概率，可以很容易地从源域的未标记数据准确估计。我们给出了我们的新技术，包括一般的保证Rényi分歧的基础上，学习边界时，条件Maxent用于估计条件概率的一个点属于源域的详细分析。我们表明，这些保证比较有利的生成的解决方案，使用核密度估计。我们的实验与现实世界的应用程序进一步表明，我们的新的歧视MSA算法优于以前的生成解决方案，以及其他领域自适应基线。
2021-02-12 cs.LG stat.ML
A Unified Joint Maximum Mean Discrepancy for Domain Adaptation
Dalian University of Technology（大连理工大学）；Baidu Research（百度研究院）；Tulane University（杜兰大学）；University of Shenzhen（深圳大学）；University of Queensland（昆士兰大学）
领域自适应近年来受到了广泛的关注，提出了许多算法，取得了令人瞩目的进展。然而，它仍然没有充分探讨有关联合概率分布（P（X，Y））的距离为这个问题，因为它的经验估计来自最大平均差异（联合最大平均差异，JMMD）将涉及复杂的张量积算子，很难操作。为了解决这一问题，本文从理论上推导出了一种易于优化的JMMD统一形式，并证明了边缘、类条件和加权类条件概率分布距离是我们在不同标签核下的特例，其中加权类条件概率分布距离不仅可以实现类别级的跨域特征对齐，还可以利用类先验概率来处理不平衡数据集。从揭示的统一JMMD，我们说明，JMMD降低的特征-标签的依赖性（区分度），有利于分类，它是敏感的标签分布偏移时，标签核是加权类条件。因此，我们利用Hilbert Schmidt独立性准则，提出了一种新的MMD矩阵，以促进依赖性，并设计了一种新的标签核，是强大的标签分布偏移。最后，我们在多个跨域数据集上进行了大量的实验，以证明所揭示的理论结果的有效性和有效性。
2021-01-25 cs.LG
A Probabilistic Framework for Lifelong Test-Time Adaptation
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出PETAL框架解决终身测试时适应问题，通过结合学生-教师模型与源模型正则化，并引入数据驱动的参数恢复技术防止模型漂移，在多个基准上取得优于现有方法的预测与不确定性估计表现。
2023-04-04 cs.AI cs.CV cs.LG
Variational Model Perturbation for Source-Free Domain Adaptation
University of Electronic Science and Technology of China（电子科技大学）；University of Amsterdam（阿姆斯特丹大学）；United Imaging Healthcare, Co., Ltd.（联影医疗科技股份有限公司）
我们的目标是无源的领域自适应，其中的任务是部署一个模型的源域上的目标域预先训练。这些挑战源于从源域到目标域的分布偏移，再加上无法获得任何源数据和标记的目标数据进行优化。而不是通过更新参数微调模型，我们建议扰动源模型，以实现适应目标域。我们引入扰动的模型参数变分贝叶斯推理的概率框架。通过这样做，我们可以有效地使模型适应目标域，同时在很大程度上保留了区分能力。重要的是，我们证明了学习贝叶斯神经网络的理论联系，这证明了扰动模型的目标域的泛化能力。为了实现更有效的优化，我们进一步采用参数共享策略，这大大减少了可学习的参数相比，一个完全贝叶斯神经网络。我们的模型扰动提供了一种新的概率方式领域自适应，使有效的适应目标领域，同时最大限度地保留知识的源模型。在三种不同的评估设置下，对几个无源基准测试进行了实验，验证了所提出的无源领域自适应变分模型扰动的有效性.
2022-10-19 cs.CV cs.LG
Uncertainty-guided Source-free Domain Adaptation
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；Aalto University（阿尔托大学）；NVIDIA（英伟达）
无源领域自适应（SFDA）的目的是通过只使用预先训练的源模型来使分类器适应未标记的目标数据集。然而，源数据的缺失和域移位使得对目标数据的预测不可靠。我们建议量化源模型预测的不确定性，并利用它来指导目标适应。为此，我们构建了一个概率源模型，通过将先验的网络参数诱导分布在模型预测。通过采用拉普拉斯近似来估计Underweight，并且将Underweight合并以识别不位于源流形中的目标数据点，并且当最大化关于目标数据的互信息时对它们进行降权。与最近的作品不同，我们的概率处理是计算轻量级的，简化了源训练和目标适应，并且不需要专门的源训练或模型架构的变化。我们展示了不确定性引导的SFDA在闭集和开集设置中比传统SFDA的优势，并提供了经验证据表明，即使没有调整，我们的方法对强域转移也更鲁棒。
2022-08-16 cs.CV cs.LG
D2ADA: Dynamic Density-aware Active Domain Adaptation for Semantic Segmentation
National Taiwan University（台湾大学）；Mobile Drive Technology（智驾科技）
在领域自适应中，在模型性能和目标域注释的数量之间存在折衷。主动学习，用很少的信息标记数据最大化模型性能，在这种情况下派上用场。在这项工作中，我们提出了D2 ADA，一个通用的主动领域自适应框架的语义分割。为了使该模型适应目标域的查询标签最少，我们建议获取标签的样本具有高概率密度在目标域中，但在源域中的概率密度较低，补充现有的源域标记的数据。为了进一步提高标记效率，我们设计了一个动态调度策略，随着时间的推移调整域探索和模型不确定性之间的标记预算。大量的实验表明，我们的方法优于现有的主动学习和领域自适应基线的两个基准，GTA 5-> Cityscapes和SYNTHIA -> Cityscapes。与不到5%的目标域注释，我们的方法达到了可比的结果与全面监督。我们的代码可在https://github.com/tsunghan-wu/D2ADA上公开获取。
2022-07-18 cs.CV cs.LG
Moment-Based Domain Adaptation: Learning Bounds and Algorithms
JOHANNES KEPLER UNIVERSITY LINZ（约翰内斯开普勒大学林茨分校）
本论文为领域自适应作为机器学习的新兴领域奠定了数学基础。与经典的统计学习相比，域自适应框架考虑了训练和应用环境中概率分布之间的偏差。领域自适应适用于更广泛的应用，因为未来的样本通常遵循与训练样本不同的分布。决定性的一点是关于分布相似性的假设的普遍性。因此，在这篇论文中，我们研究域适应问题下，弱相似性假设，可以模拟的许多时刻。
2020-04-22 cs.LG stat.ML
Unsupervised Domain Adaptation with Random Walks on Target Labelings
Radboud University（拉德堡德大学）
无监督域自适应（DA）用于自动化标记数据的任务：使用来自相关域的标记数据集（源）对未标记数据集（目标）进行注释。我们铸造域适应的问题，找到稳定的标签为目标的例子。标签稳定性的一个新的定义，提出了一个大的利润线性分类器的泛化误差界的动机：一个目标标签是稳定的，以高概率，一个分类器训练的随机子样本的目标与标签产生相同的标签。我们发现稳定的标签使用一个有向图的转移概率的标签稳定性的基础上的随机游动。遍历所访问的标签的多数投票为每个目标示例生成一个稳定的标签。由此产生的域自适应算法非常容易实现和应用：它不依赖于数据转换，这在存在许多输入特征的情况下通常是计算禁止的，并且不需要访问源数据，这在数据共享受到限制时是有利的。通过作用于原始特征空间，我们的方法能够充分利用外部预训练神经网络的深度特征，正如我们的实验结果所证明的那样。
2018-03-20 cs.LG stat.ML
Attending to Discriminative Certainty for Domain Adaptation
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
在本文中，我们的目标是解决无监督的领域自适应的分类器，我们可以访问标签信息的源域，而这些是不可用的目标域。虽然已经提出了各种方法来解决这些问题，包括基于对抗性自适应的方法，但大多数方法都集中在基于整个图像的领域自适应。在图像中，将存在可以更好地适应的区域，例如，前景对象可以在性质上是相似的。为了获得这样的区域，我们提出了考虑不同区域的概率确定性估计的方法，并在分类适应过程中指定重点。我们观察到，仅仅通过在训练分类器的同时结合样本的概率确定性，我们就能够在各种数据集上获得最先进的结果，与所有最近的方法相比。我们提供了一个彻底的实证分析的方法，通过提供消融分析，统计显著性检验，注意力地图和t-SNE嵌入的可视化。这些评估令人信服地证明了所提出的方法的有效性。
2019-09-16 cs.CV cs.LG stat.ML
Conformal Uncertainty Indicator for Continual Test-Time Adaptation
New Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所新模式识别实验室）；China Nuclear Power Engineering Co., LTD（中国核电工程有限公司）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；School of Computer Science & Engineering, LinYi University（临沂大学计算机科学与工程学院）；School of Electric & Information Engineering, Suzhou University of Science and Technology（苏州科技大学电子与信息工程学院）
本文提出共形不确定性指示器CUI，通过动态补偿共形预测的覆盖率并筛选可靠伪标签，解决CTTA中错误伪标签累积问题，提升持续测试时自适应性能。
2025-02-05 cs.LG
On the Metrics and Adaptation Methods for Domain Divergences of sEMG-based Gesture Recognition
Nokia Bell Labs（诺基亚贝尔实验室）
本文提出了一种新的度量域分歧的方法和一种新的领域自适应时间序列分类方法。该度量属于基于概率分布的度量类，是可转换的，并且不假设存在源数据样本。2阶段方法利用改进的自回归，基于RNN的架构，具有深度/非线性变换。我们评估我们的指标和我们的模型的性能在sEMG/EMG为基础的手势识别的上下文中会话间和学科间域的变化。
2019-12-18 cs.CV cs.LG stat.ML
Mitigating Uncertainty of Classifier for Unsupervised Domain Adaptation
Microsoft（微软）；IIT Kanpur（印度理工学院坎普尔分校）；Oracle（甲骨文公司）；University of Bath（巴斯大学）
理解无监督领域自适应一直是一个重要的任务，已经很好地探索。然而，各种各样的方法都没有详细分析分类器的性能的作用。在本文中，我们彻底研究的作用，一个分类匹配的源和目标分布。我们通过匹配a）特征分布，b）样本的概率不确定性和c）确定性激活映射来专门研究分类器的能力。我们的分析表明，使用这三种分布确实可以在所有数据集上持续提高性能。因此，我们的工作扩展了目前的知识，从分类器获得的各种分布的作用，解决无监督领域自适应。
2021-07-01 cs.CV cs.LG
Regressive Domain Adaptation for Unsupervised Keypoint Detection
Tsinghua University（清华大学）；Kuaishou Technology（快手科技）
领域自适应（DA）的目的是将知识从已标记的源领域转移到未标记的目标领域。虽然已经提出了许多DA理论和算法，但大多数都是针对分类设置的，并且可能在回归任务中失败，特别是在实际的关键点检测任务中。为了解决这一困难但重要的任务，我们提出了一种回归领域自适应（RegDA）的无监督关键点检测方法。受最新理论工作的启发，我们首先利用对抗回归器来最大化目标域上的差异，并训练特征生成器来最小化这种差异。然而，由于输出空间的高维度，该回归器无法检测偏离源支持的样本。为了解决这个问题，我们提出了两个重要的想法。首先，基于我们观察到输出空间的概率密度是稀疏的，我们引入了一个空间概率分布来描述这种稀疏性，然后用它来指导对抗回归器的学习。其次，为了缓解高维空间中的优化困难，我们创新性地将对抗训练中的极大极小博弈转化为两个相反目标的最小化。大量的实验表明，我们的方法在不同数据集上的PCK方面带来了8%到11%的大幅改善。
2021-06-04 cs.CV cs.LG
Domain Adaptation in Highly Imbalanced and Overlapping Datasets
K Health（K健康）
在许多机器学习领域，数据集的特征在于高度不平衡和重叠的类。特别是在医学领域，症状的特定列表可以被标记为各种不同的条件之一。其中一些情况可能比其他情况普遍几个数量级。在这里，我们提出了一种新的无监督领域自适应计划，这样的数据集。该方案基于一种特定类型的量化，旨在在标签和条件移位下工作。它在从电子健康记录生成的数据集上进行了演示，并在非常具有挑战性的场景中为量化和领域自适应提供了高质量的结果。讨论了在当前COVID-19疫情中使用该方案估计感染流行率和概率的潜在益处。
2020-06-02 cs.LG stat.ML
Multiple-Source Domain Adaptation via Coordinated Domain Encoders and Paired Classifiers
Emory University（埃默里大学）
提出了一种新的多源无监督文本分类模型。我们的模型利用文档表示的更新率来动态集成域编码器。它还采用了概率启发式来推断目标域中的出错率，以配对源分类器。我们的启发式算法利用数据转换成本和目标特征空间中的分类器精度。我们已经使用真实世界的情况下，领域自适应来评估我们的算法的有效性。我们还在实验中使用预训练的多层Transformers作为文档编码器，以证明领域自适应模型所实现的改进是否可以通过开箱即用的语言模型预训练来实现。实验证明，我们的模型是在这种情况下表现最好的方法。
2022-03-20 cs.CL cs.LG
Benchmarking Domain Adaptation for Chemical Processes on the Tennessee Eastman Process
Université Paris-Saclay, CEA, LIST（巴黎-萨克雷大学、法国原子能委员会、LIST机构）；Federal University of Ceará（塞阿拉联邦大学）；Aalto University（阿尔托大学）
本文基于Tennessee Eastman Process提出一项化学过程域适应新基准，测试11种策略，发现基于最优传输的技术表现最优。
2024-07-29 cs.AI cs.LG cs.SY
Adversarial Domain Adaptation for Stable Brain-Machine Interfaces
Northwestern University（西北大学）；University of Montreal（蒙特利尔大学）
脑机接口（BMIs）最近已经成为恢复瘫痪后自主运动的临床可行选择。这些设备基于从使用长期植入大脑运动皮层的多电极阵列记录的神经信号中提取关于运动意图的信息的能力。然而，记录的神经元的固有损失和周转需要反复重新校准界面，这可能会改变日常的用户体验。由此产生的对持续用户适应的需求干扰了BMI的自然、潜意识使用。在这里，我们介绍了一种新的计算方法，从神经数据的低维潜在表示中解码运动意图。我们实现了各种领域自适应方法，以稳定的接口在相当长的时间。这包括典型相关分析，用于在不同日期之间对齐潜在变量;该方法需要跨域的时间序列的先前点对点对应关系。或者，我们通过最小化Kullback-Leibler散度来匹配各天潜变量的经验概率分布。这两种方法在接口性能方面提供了显著且相当的改进。然而，训练以匹配重构神经信号的残差的经验概率分布的对抗性领域自适应网络的实现优于基于潜变量的两种方法，同时需要非常少的数据点来解决领域自适应问题。
2019-01-15 cs.LG q-bio.NC stat.ML
Contrastive Domain Adaptation
University of Lincoln（林肯大学）；University of Aberdeen（阿伯丁大学）
最近，对比自监督学习已经成为在许多计算机视觉任务和基准中学习视觉表示的关键组成部分。然而，在领域自适应的背景下，对比学习仍然在很大程度上未被探索。在本文中，我们建议将对比学习扩展到一个新的领域自适应设置，一个特殊的情况下发生的相似性学习和部署在样本以下不同的概率分布，而无需访问标签。对比学习通过在不访问源和目标标签的情况下在无监督设置中比较和对比正样本和负样本对来学习。我们已经开发了一个最近提出的对比学习框架的变体，该框架有助于解决领域自适应问题，进一步识别和去除与锚点类似的可能的否定，以减轻假否定的影响。大量实验表明，该方法适应性强，提高了下游领域自适应任务的性能。
2021-03-26 cs.CV cs.LG
Prior Knowledge Guided Unsupervised Domain Adaptation
Stony Brook University（石溪大学）；XPeng Motors（小鹏汽车）
无监督领域自适应（Unsupervised Domain Adaptation，UDA）在目标域中对标签的放弃使其在许多实际应用中成为一种有吸引力的技术，但它也带来了巨大的挑战，因为在没有标记目标数据的情况下模型自适应变得更加困难。在本文中，我们通过从目标领域先验知识中寻求补偿来解决这个问题，这些先验知识在实践中通常（部分）可用，例如，从人类的专业知识。这导致了一种新颖而实用的设置，其中除了训练数据之外，还可以获得关于目标类分布的一些先验知识。我们称之为知识引导的无监督领域自适应（KUDA）的设置。特别是，我们考虑了两种特定类型的先验知识的类分布在目标域：一元界，描述了个别类概率的下限和上限，和二元关系，描述了两个类的概率之间的关系。我们提出了一个通用的整流模块，使用这样的先验知识来细化模型生成的伪标签。该模块被制定为一个零一规划问题，来自先验知识和光滑正则化。它可以很容易地插入到基于自我训练的UDA方法中，并且我们将其与两种最先进的方法SHOT和DINE相结合。四个基准测试的实验结果证实，校正模块明显提高了伪标签的质量，这反过来又有利于自训练阶段。在先验知识的指导下，两种方法的性能都得到了很大的提高。我们希望我们的工作，以激发进一步的调查，在UDA整合先验知识。代码可在https://github.com/tsun/KUDA上获得。
2022-07-18 cs.CV cs.LG
Mutual Learning Network for Multi-Source Domain Adaptation
DiDi Chuxing（滴滴出行）；Carleton University（卡尔顿大学）
早期的无监督领域自适应（UDA）方法大多假设单个源域的设置，其中所有标记的源数据来自相同的分布。然而，在实践中，标记数据可以来自具有不同分布的多个源域。在这样的场景中，由于跨不同源域的域移位的存在，单源领域自适应方法可能失败，并且需要设计多源领域自适应方法。本文提出了一种新的多源领域自适应方法--多源领域自适应互学习网络（ML-MSDA）。该方法在相互学习的框架下，将目标域与单个源域配对，训练一个条件对抗领域自适应网络作为分支网络，将组合的多源域与目标域配对，训练一个条件对抗自适应网络作为指导网络。多个分支网络与引导网络对齐，以通过在对应目标数据上对其预测概率分布实施JS发散正则化来实现相互学习。我们在多个多源领域自适应基准数据集上进行了广泛的实验。实验结果表明，所提出的ML-MSDA方法优于比较方法，达到了最先进的性能。
2020-03-29 cs.CV cs.LG
Learning a Domain-Invariant Embedding for Unsupervised Domain Adaptation Using Class-Conditioned Distribution Alignment
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）；HRL Laboratories, LLC（HRL实验室有限责任公司）
我们通过学习跨域不可知嵌入空间来解决无监督领域自适应（UDA）问题，其中两个源和目标视觉域的概率分布之间的距离最小化。我们使用共享的跨域深度编码器的输出空间来对嵌入空间进行建模，并使用切片Wasserstein距离（SWD）来测量和最小化两个源域和目标域的嵌入分布之间的距离，以强制嵌入是域不可知的。此外，我们使用源域标记数据来训练从嵌入空间到标记空间的深度分类器，以强制嵌入空间是有区别的。作为该训练方案的结果，我们提供了一种有效的解决方案，用于在源域上训练深度分类网络，使得它在目标域上很好地推广，其中只有未标记的训练数据是可访问的。为了减轻类匹配的挑战，我们还通过使用目标域的高置信度伪标签来对齐嵌入空间中的相应类，即分配源分类器具有高预测概率的类。我们提供了UDA基准任务的实验结果，以证明我们的方法是有效的，并导致国家的最先进的性能。
2019-09-24 cs.LG stat.ML
Importance Filtered Cross-Domain Adaptation
Dalian University of Technology（大连理工大学）；Indiana University-Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）；Dalian Minzu University（大连民族大学）
在领域自适应（DA）中，类别相关损失通常占据主导地位，而现有模型中的类别相关损失通常是用硬标签或软标签构建的。我们观察到硬标签由于硬样本的存在而过于自信，而软标签由于涉及太多小噪声概率而模糊，两者都容易引起负迁移。此外，闭集DA（CSDA）范式中的类别无关损失在开集DA（OSDA）中不起作用，并且它们也必须是类别相关的形式，因为目标数据样本被分成共享类和私有类。为此，我们提出了一个新的统一的DA框架（即，重要性过滤跨领域自适应）。首先，设计了一种重要性过滤机制来生成过滤软标签，以期望地减轻负迁移。具体来说，软标签分为自信和模糊的。然后，仅保留每个置信标签中的最大概率，并且设置阈值以截断每个模糊标签，使得仅保留突出概率。此外，设计了一种通用的基于图的标签传播，以获得CSDA和OSDA中的软标签，其中一个额外的组件被嵌入到标签向量，以便它可以检测目标新类。最后，在这两种情况下的类别相关的损失使用过滤软标签重新制定，而CSDA中的类别无关的MMD损失重新制定为一种形式，如类明智的MMD使用新设计的重要性过滤软标签。值得注意的是，CSDA范例是所有额外组件设置为0时的特殊情况，因此所提出的方法适用于CSDA和OSDA。在基准跨域对象识别数据集上的综合实验验证了所提出的方法在这两种情况下的性能优于几种最先进的方法。
2020-05-08 cs.LG stat.ML
A Prototype-Oriented Framework for Unsupervised Domain Adaptation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cornell University（康奈尔大学）；Xidian University（西安电子科技大学）
用于无监督领域自适应的现有方法通常依赖于最小化潜在空间中的源样本和目标样本之间的某些统计距离。为了避免经常困扰这些方法的采样可变性，类不平衡和数据隐私问题，我们提供了一个内存和计算效率高的概率框架来提取类原型并将目标特征与它们对齐。我们证明了我们的方法在广泛的场景，包括单源，多源，类不平衡，和源私有领域自适应的普遍适用性。不需要额外的模型参数，并有一个温和的增加计算源模型单独，所提出的方法实现了具有竞争力的性能与国家的最先进的方法。
2021-10-22 cs.CV cs.LG stat.ML
Prediction-Adaptation-Correction Recurrent Neural Networks for Low-Resource Language Speech Recognition
Microsoft Research（微软研究院）
在本文中，我们研究了使用预测-自适应-校正循环神经网络（PAC-RNN）的低资源语音识别。PAC-RNN由一对神经网络组成，其中{ \it校正}网络使用由{ \it预测}网络给出的辅助信息来帮助估计状态概率。来自校正网络的信息也由预测网络在循环回路中使用。我们的模型在IARPA-Babel任务上优于其他最先进的神经网络（DNN，LSTM）。此外，从与目标语言相似的语言进行迁移学习可以帮助进一步提高成绩。
2015-10-30 cs.CL cs.LG cs.NE
Maximizing Conditional Independence for Unsupervised Domain Adaptation
Sun Yat-Sen University（中山大学）
无监督领域自适应研究如何将学习器从一个有标记的源域迁移到一个具有不同分布的未标记目标域。现有的方法主要集中在匹配源域和目标域的边缘分布，这可能会导致来自同一类但不同域的样本不对齐。在本文中，我们处理这种错位，从一个新的角度实现类条件转移。我们的目标是在再生核Hilbert空间中最大化给定类的特征和域的条件独立性。条件独立性度量的优化可以看作是最小化特征和域之间的某种互信息的替代。一个可解释的经验估计的条件依赖推导和连接的无条件的情况下。此外，我们还考虑了类条件分布，给出了目标误差的上界，这为大多数类条件转移方法提供了一个新的理论视角。除了无监督的领域自适应，我们将我们的方法扩展到多源的情况下，在一个自然和优雅的方式。在四个基准上的大量实验验证了所提出的模型在无监督领域自适应和多源领域自适应中的有效性。
2022-03-07 cs.CV cs.LG
Probabilistic Geometric Alignment via Bayesian Latent Transport for Domain-Adaptive Foundation Models
School of Information, Computer；Communication Technology Sirindhorn International Institute of Technology, Thammasat University Pathumthani, Thailand 0009-0006-4313-7359；epartment of Architecture, Faculty of Architecture Khon Kaen University Khon Kaen, Thailand
本文提出一种概率潜在传输框架，通过在表示空间中将领域适应建模为随机几何对齐问题，解决领域自适应中的潜在分布不匹配、优化动态不稳定和不确定性传播校准问题。
2026-03-26 cs.AI cs.LG math.OC
Domain-Indexing Variational Bayes: Interpretable Domain Index for Domain Adaptation
Massachusetts Institute of Technology（麻省理工学院）；Rutgers University（罗格斯大学）；Hong Kong University of Science and Technology（香港科技大学）
针对域适应中域索引难以获取的问题，提出从概率视角定义域索引的对抗变分贝叶斯框架，可推断可解释最优域索引，在合成与真实数据上性能优于现有域适应方法。
2023-06-10 cs.AI cs.LG
Principled Hybrids of Generative and Discriminative Domain Adaptation
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）；Silicon Valley AI Lab, Baidu Research（百度研究院硅谷人工智能实验室）
我们提出了一个概率框架领域自适应，混合生成和歧视性建模的原则性的方式。在这个框架下，生成和判别模型对应于先验参数的特定选择。这为我们提供了一种非常普遍的方法，通过不同的先验选择，在生成性和歧视性极端之间进行插值。通过最大化边际和条件对数似然，从这个框架导出的模型可以使用来自源域的标记实例以及来自源域和目标域的未标记实例。在这个框架下，我们表明，流行的重建损失的自动编码器对应于一个上界的负边缘对数似然的未标记的情况下，边缘分布由适当的内核密度估计。这提供了一种方法来解释自动编码器在领域自适应和半监督学习中的经验成功。我们使用神经网络实例化我们的框架，并建立一个具体的模型，DAuto。经验上，我们证明了DAuto在文本，图像和语音数据集上的有效性，表明当领域自适应是可能的时，它优于相关竞争对手。
2017-10-27 cs.AI cs.LG
Distributionally Robust Domain Adaptation
University of Central Florida（中佛罗里达大学）
领域自适应（DA）最近受到了极大的关注，由于其潜在的适应学习模型在源和目标域与不匹配的分布。由于DA方法完全依赖于给定的源和目标域样本，它们通常会产生易受噪声影响的模型，并且无法适应目标域中的未知样本，这就要求DA方法能够保证学习模型的鲁棒性和泛化性。在本文中，我们提出了DRDA，一个分布式鲁棒域自适应方法。DRDA利用分布式鲁棒优化（DRO）框架来学习鲁棒决策函数，该函数最大限度地减少了最坏情况下的目标域风险，并通过从给定的标记源域样本转移知识来推广到目标域的任何样本。我们利用最大平均离散度（MMD）度量构建一个模糊的分布集，可证明包含源和目标域分布的概率很高。因此，风险被示出为样本外目标域损失的上限。我们的实验结果表明，我们的配方优于现有的强大的学习方法。
2022-10-30 cs.LG stat.ML
The CORAL+ Algorithm for Unsupervised Domain Adaptation of PLDA
NEC Corporation（日本电气股份有限公司）
最先进的说话人识别系统包括x向量（或i向量）说话人嵌入前端，其后是概率线性判别分析（PLDA）后端。这些组件的有效性依赖于大量标记训练数据集合的可用性。在实践中，域（例如，语言、人口统计学）与我们训练系统的不同。为了缩小由于域不匹配造成的差距，我们提出了一种无监督的PLDA自适应算法，从少量未标记的域内数据中学习。所提出的方法的灵感来自以前的工作，基于特征的领域自适应技术称为相关对齐（CORAL）。我们将本文提出的基于模型的自适应技术称为CORAL+。在最近的NIST 2016和2018说话人识别评估（SRE'16，SRE'18）数据集上实验验证了所提出的技术的有效性。
2020-04-21 cs.LG cs.SD eess.AS
Intrinsic Motivation and Mental Replay enable Efficient Online Adaptation in Stochastic Recurrent Networks
Technische Universität Darmstadt（达姆施塔特工业大学）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Universität zu Lübeck（吕贝克大学）
自主机器人需要与未知、非结构化和不断变化的环境进行交互，不断面临新的挑战。因此，持续在线适应终身学习和样本效率机制的需求，以适应环境，约束，任务或机器人本身的变化至关重要。在这项工作中，我们提出了一个新的框架，概率在线运动规划与在线适应的基础上，生物启发的随机递归神经网络。通过使用模仿内在动机信号的学习信号，加上心理重放策略来强化经验，随机递归网络可以从很少的物理交互中学习，并在几秒钟内适应新的环境。我们在拟人KUKA LWR手臂上评估了我们的在线规划和自适应框架。快速在线自适应通过从少量物理交互中有效地学习未知的工作空间约束，同时遵循给定的路径点来实现。
2018-10-23 cs.AI cs.LG cs.RO
Multi-Task Domain Adaptation for Deep Learning of Instance Grasping from Simulation
Stanford University（斯坦福大学）
基于学习的机器人操作方法受限于数据汇集的可扩展性和标签的可访问性。在本文中，我们提出了一个多任务的领域自适应框架，例如抓取在混乱的场景中，利用模拟机器人实验。我们的神经网络将单眼RGB图像和指定目标对象的实例分割掩码作为输入，并预测每个候选运动命令成功抓住指定对象的概率。所提出的迁移学习框架训练一个模型，例如在仿真中抓取，并使用域对抗损失将训练的模型转移到使用无差别抓取数据的真实机器人，这在仿真和现实世界中都可用。我们评估我们的模型在现实世界中的机器人实验，比较它与其他模型架构以及不分青红皂白的把握基线。
2018-03-04 cs.AI cs.CV cs.LG
Implicit Bayes Adaptation: A Collaborative Transport Approach
North Carolina State University（北卡罗来纳州立大学）；US Army Research Office（美国陆军研究办公室）
本文提出一种隐式贝叶斯框架下的最优传输领域自适应方法，通过细化欧几里得度量为测地距离并引入源数据先验聚类结构，提升无监督领域自适应的鲁棒性和性能。
2023-04-17 cs.LG eess.IV
PSIGAN: Joint probabilistic segmentation and image distribution matching for unpaired cross-modality adaptation based MRI segmentation
Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）
我们开发了一种新的联合概率分割和图像分布匹配生成对抗网络（PSIGAN），用于无监督域自适应（UDA）和磁共振（MRI）图像的多器官分割。我们的UDA方法使用一种新的结构模型将图像之间的相互依赖性及其分割作为联合概率分布进行建模。该结构化神经网络通过将生成的伪MRI与由同时训练的分割子网络产生的概率分割相结合来计算关注对抗性损失的结构。分割子网络使用由生成器子网络产生的伪MRI来训练。这导致生成器和分段子网络的循环优化，这些子网络作为端到端网络的一部分被联合训练。对四种不同的MRI序列进行了广泛的实验和比较，共257次扫描，用于生成多器官和肿瘤分割。实验包括：（a）20个T1加权（T1 w）同相mdixon和（b）20个T2加权（T2 w）腹部MRI，用于分割肝脏、脾脏、左肾和右肾;（c）162个T2加权脂肪抑制头颈部MRI（T2 wFS），用于腮腺分割;以及（d）75个T2 w MRI，用于肺肿瘤分割。我们的方法在T1 w和T2 w上实现了腹部器官的总体平均DSC为0.87和0.90，腮腺的T2 wFS为0.82，肺部肿瘤的T2 w MRI为0.77。
2021-07-18 cs.CV eess.IV
Robust Recursive Fusion of Multiresolution Multispectral Images with Location-Aware Neural Networks
针对多分辨率图像融合中云等异常值干扰及缺乏鲁棒递归学习模型的问题，提出一种基于位置感知神经网络的鲁棒递归图像融合框架，通过贝叶斯变分推理估计高分辨率图像，显著提升了抗云覆盖能力且不损失无云时的性能。
2025-09-15 eess.IV eess.SP
