Increasing Model Generalizability for Unsupervised Domain Adaptation
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
用于解决无监督领域自适应的主要方法是将源和目标域的数据点映射到嵌入空间中，该嵌入空间被建模为共享深度编码器的输出空间。编码器被训练为使嵌入空间域不可知，以使源训练的分类器在目标域上可推广。进一步提高UDA性能的第二个机制是使源域分布更紧凑，以提高模型的泛化能力。我们证明，增加嵌入空间中的类间余量可以帮助开发具有改进性能的UDA算法。我们估计源域的内部学习的多模态分布，作为预训练的结果学习，并使用它来增加源域中的类间类分离，以减少域转移的影响。我们证明，使用我们的方法导致四个标准的基准UDA图像分类数据集，并与现有的方法相比，模型的泛化能力得到了提高。
2022-09-29 cs.CV cs.LG
On the Metrics and Adaptation Methods for Domain Divergences of sEMG-based Gesture Recognition
Nokia Bell Labs（诺基亚贝尔实验室）
本文提出了一种新的度量域分歧的方法和一种新的领域自适应时间序列分类方法。该度量属于基于概率分布的度量类，是可转换的，并且不假设存在源数据样本。2阶段方法利用改进的自回归，基于RNN的架构，具有深度/非线性变换。我们评估我们的指标和我们的模型的性能在sEMG/EMG为基础的手势识别的上下文中会话间和学科间域的变化。
2019-12-18 cs.CV cs.LG stat.ML
On-the-Fly Adaptation of Source Code Models using Meta-Learning
本文提出将源代码模型适应视为元学习问题，训练基础模型利用文件内支持标记预测缺失标记，在行级维护任务上优于动态评估等基线，标识符和字面量性能分别提升44%和15%。
2020-09-19 cs.AI cs.LG cs.SE
Correlation-aware Adversarial Domain Adaptation and Generalization
Queensland University of Technology（昆士兰科技大学）；University of Queensland（昆士兰大学）
领域自适应（DA）和领域泛化（DG）已经出现作为对源数据和目标数据的分布不同的领域移位问题的解决方案。DG的任务比DA更具挑战性，因为在DG场景的训练阶段，目标数据是完全不可见的。目前最先进的采用对抗技术，然而，这些很少被认为是DG问题。此外，这些方法不考虑相关对齐，这已被证明是非常有益的最小化域差异。在本文中，我们提出了一个相关性感知的对抗DA和DG框架，其中使用相关性对齐以及对抗学习来最小化源和目标数据的特征。将相关性对齐模块与对抗性学习一起使用有助于实现更加领域不可知的模型，因为改进了更有效地减少与未标记目标数据的领域差异的能力。在基准数据集上的实验证明，我们提出的方法可以提高最先进的性能。
2019-11-29 cs.CV cs.LG
Semi-Supervised Adversarial Discriminative Domain Adaptation
University of Science, Ho Chi Minh City（胡志明市科学大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；University of Liverpool（利物浦大学）；University of Information Technology（信息技术大学）
领域自适应是训练强大的深度神经网络的一种潜在方法，它可以处理没有标记数据的情况。更准确地说，领域自适应解决了当训练数据集和测试数据集非常不同时被称为数据集偏差或域偏移的限制。对抗性自适应方法在其他领域自适应方法中越来越流行。对抗性领域自适应基于GAN的思想，试图根据对抗对象的不同，使训练数据集和测试数据集之间的分布最小化。然而，一些传统的对抗性领域自适应方法不能处理两个数据集之间的大的域移位，或者这些方法的泛化能力是低效的。本文提出了一种改进的对抗性领域自适应方法--半监督对抗性判别领域自适应（SADDA），它可以克服其他领域自适应方法的局限性。我们还表明，SADDA具有更好的性能比其他对抗性的适应方法，并说明我们的方法在数字分类和情感识别问题的承诺。
2022-10-19 cs.CV cs.LG
Adversarially Trained Object Detector for Unsupervised Domain Adaptation
Chiba University（千叶大学）
本文提出将源域对抗训练用于目标检测的无监督域适应，并结合特征对齐，在大幅真实到艺术域偏移的四个基准上显著提升mAP。
2021-11-25 cs.AI cs.CV cs.LG
Mitigating Uncertainty of Classifier for Unsupervised Domain Adaptation
Microsoft（微软）；IIT Kanpur（印度理工学院坎普尔分校）；Oracle（甲骨文公司）；University of Bath（巴斯大学）
理解无监督领域自适应一直是一个重要的任务，已经很好地探索。然而，各种各样的方法都没有详细分析分类器的性能的作用。在本文中，我们彻底研究的作用，一个分类匹配的源和目标分布。我们通过匹配a）特征分布，b）样本的概率不确定性和c）确定性激活映射来专门研究分类器的能力。我们的分析表明，使用这三种分布确实可以在所有数据集上持续提高性能。因此，我们的工作扩展了目前的知识，从分类器获得的各种分布的作用，解决无监督领域自适应。
2021-07-01 cs.CV cs.LG
Faster Optimization-Based Meta-Learning Adaptation Phase
Dnipro University of Technology（第聂伯罗理工大学）
神经网络需要大量带注释的数据来学习。元学习算法提出了一种将训练样本的数量减少到仅几个的方法。最突出的基于优化的元学习算法之一是模型无关的元学习（MAML）。然而，MAML的关键过程适应新的任务是相当缓慢的。在这项工作中，我们提出了一个改进的MAML元学习算法。我们引入了Lambda模式，通过它我们限制了在适应阶段网络中更新的权重。这使得可以跳过某些梯度计算。给定允许的质量降级阈值参数，选择最快的模式。在某些情况下，通过仔细的模式选择，质量改进是可能的。所进行的实验表明，通过λ自适应模式选择，可以在以下方面显着改善MAML方法：自适应时间减少了3倍，精度损失最小;一步自适应的精度得到了大幅提高。
2022-06-13 cs.CV cs.LG
A Batch Normalization Classifier for Domain Adaptation
Blue Well 8, LLC（Blue Well 8有限责任公司）；Pioneer Square Labs（先锋广场实验室）
调整模型以在其训练集之外的不可预见数据上表现良好是一个常见的问题，继续激励新的方法。我们证明了在softmax激活之前，在输出层中应用批量归一化，可以在改进的ResNet模型中提高视觉数据域的泛化能力。该方法增加的计算复杂性度可以忽略不计，但优于许多明确学习对齐数据域的领域自适应方法。我们基准测试这种技术的家庭数据集，并表明，批量归一化与其他领先的方法是有竞争力的。我们表明，这种方法是不敏感的源数据在适应过程中的存在，并进一步提出训练张量分布的影响趋于稀疏。代码可在https://github.com/matthewbehrend/BNC上获得
2021-03-22 cs.CV cs.LG
CoNMix for Source-free Single and Multi-target Domain Adaptation
Indian Institute of Science（印度科学学院）
本文提出了一种新的无源多目标领域自适应算法，并提出了一种基于\textbf{Co}核范数最大化和\textbf{Mix} Up知识蒸馏（\textit{CoNMix}）的自适应框架。这项工作的主要动机是解决单和多目标领域自适应（SMTDA）的无源范式，它强制执行的约束，标记的源数据是不可用的目标适应过程中，由于各种隐私相关的限制数据共享。无源方法利用目标伪标签，这可能是嘈杂的，以提高目标适应。我们引入标签保持增强之间的一致性，并利用伪标签细化方法来减少噪声伪标签。此外，我们提出了新的MixUp知识蒸馏（MKD）更好地推广多个目标域使用各种无源STDA模型。我们还表明，视觉Transformer（VT）的骨干提供了更好的特征表示与改进的域可转移性和类的可辨别性。我们提出的框架实现了国家的最先进的（SOTA）的结果，在流行的领域自适应数据集，如家庭，加州理工学院，和DomainNet的各种范式的无源STDA和MTDA设置。项目页面：https://sites.google.com/view/conmix-vcl
2022-11-07 cs.AI cs.CV cs.LG
Attention-based Domain Adaptation Forecasting of Streamflow in Data-Sparse Regions
University of Missouri-Columbia（密苏里大学哥伦比亚分校）；IBM Research Europe（IBM欧洲研究院）
本文提出一种基于注意力的领域自适应深度学习框架，利用数据丰富源域的水文特征和对抗训练，提升数据稀疏地区24小时径流预测性能。
2023-04-17 cs.LG
Variance-reduced Domain Adaptation using Paired Sampling
University of Southampton（南安普顿大学）
针对无监督域适应中分布匹配框架损失方差高且缺乏有限和结构的问题，提出PSDA技术，通过在域内和域间配对观测值形成四元组，最小化预期梯度方差，经实验验证该方法能降低方差并提高目标域准确性。
2026-07-23 cs.LG
Domain Adaptation via Feature Refinement
CYENS Center of Excellence（CYENS卓越中心）；University of Twente（代尔夫特理工大学）
本文提出DAFR2框架，通过批归一化统计自适应、特征蒸馏和假设迁移实现无监督领域自适应，在多个损坏基准上取得领先鲁棒性。
2025-08-22 cs.CV cs.LG
On Localized Discrepancy for Domain Adaptation
Tsinghua University（清华大学）；University of California（加利福尼亚大学）
提出了基于差异的无监督领域自适应泛化理论。以前的理论引入了分布差异，定义为完备假设空间上的上确界。假设空间可能包含导致不必要地高估风险界限的假设。本文研究了局部化后定义在假设空间上的局部化差异。首先，我们表明，这些差异具有理想的属性。它们可能比以前的差异小得多。如果我们将两个域互换，它们的值将不同，从而可以揭示非对称转移困难。接下来，我们得到改进的泛化界限与这些差异。我们发现，差异可能会影响样本复杂度的比率。最后，我们进一步扩展了局部差异，以实现超级传输，并推导出泛化界，可以更有效的样本源域。
2020-08-14 cs.LG stat.ML
Model-Agnostic Meta-Learning using Runge-Kutta Methods
Janelia Research Campus, HHMI（霍华德·休斯医学研究所珍妮莉亚研究园区）；Harvard University（哈佛大学）；Columbia University（哥伦比亚大学）
元学习已经成为一个重要的框架，可以从几个例子中学习新的任务。任何元学习模型的成功都取决于（i）它对新任务的快速适应，以及（ii）在类似任务中具有共享表示。在这里，我们扩展了Finn et al.（2017）引入的模型不可知元学习（MAML）框架，通过Runge-Kutta方法分析优化过程的时间动态来提高性能。这种方法使我们能够获得对优化的细粒度控制，并帮助我们实现跨任务的自适应和表示目标。通过利用这种精细的控制，我们证明了有多种原则性的方法来更新MAML，并表明经典的MAML优化只是二阶龙格库塔方法的一个特例，主要集中在快速适应。在基准分类、回归和强化学习任务上的实验表明，这种精细控制有助于获得更好的结果。
2019-10-17 cs.LG stat.ML
Tunable Domain Adaptation Using Unfolding
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文提出两种基于可解释展开网络的回归任务域适应方法，通过可控参数实现领域适应，验证了在压缩感知中的有效性。
2026-03-27 cs.LG
Best-Effort Adaptation
Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
本文提出尽力适配问题，通过差异理论分析样本重加权方法，设计学习算法，改进标准域适配，实验验证有效性，并指导微调设计。
2023-05-10 cs.LG stat.ML
A Bayesian Interpretation of Adaptive Low-Rank Adaptation
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本研究针对AdaLoRA的敏感度重要性评分问题，提出结合SNR指标与IVON优化器的贝叶斯版自适应低秩适配方法，性能更优且速度更快，还揭示了两类指标的关联及参数重要性的主导因素。
2025-01-11 cs.CL cs.LG stat.ML
Federated Semi-Supervised Domain Adaptation via Knowledge Transfer
Michigan Technological University（密歇根理工大学）；University of Hong Kong（香港大学）
鉴于机器学习环境的快速变化和数据标注的昂贵性，当源域的标注数据与目标域的部分标注数据在统计上存在差异时，半监督领域自适应（SSDA）算法势在必行。大多数以前的SSDA研究都是集中进行的，需要访问源数据和目标数据。然而，现在许多领域的数据是由分布式终端设备生成的。由于隐私问题，数据可能存储在本地，无法共享，导致现有SSDA研究无效。本文提出了一种新的方法来实现多个分布式和机密数据集上的SSDA，命名为联邦半监督领域自适应（FSSDA）。FSSDA基于策略设计的知识蒸馏技术将SSDA与联邦学习相结合，通过并行执行源和目标训练来提高其效率。此外，FSSDA通过适当地选择关键参数来控制跨领域转移的知识量，即，模仿参数。此外，所提出的FSSDA可以有效地推广到多源领域自适应的情况。大量的实验证明了FSSDA设计的有效性和效率。
2022-07-25 cs.LG
Unsupervised Domain Adaptation for Speech Recognition via Uncertainty Driven Self-Training
MERL（三菱电机研究实验室）
当训练数据域和测试数据域不匹配时，自动语音识别（ASR）系统的性能通常会显著下降。在本文中，我们表明，自训练（ST）结合基于不确定性的伪标签过滤方法可以有效地用于领域自适应。我们提出了DUST，这是一种基于辍学的不确定性驱动的自我训练技术，它使用针对不同辍学设置获得的ASR系统的多个预测之间的一致性来测量模型对其预测的不确定性。DUST从训练中排除了具有高不确定性的伪标记数据，这导致与没有滤波的ST相比大大改善了ASR结果，并且由于减少了训练数据集而加快了训练时间。领域自适应实验使用WSJ作为源域和TED-LIUM 3以及EQUCHBOARD作为目标域表明，高达80%的地面实况数据训练的系统的性能可以恢复。
2021-02-16 cs.CL cs.LG cs.SD
Looking back at Labels: A Class based Domain Adaptation Technique
Indian Institute of Technology Kanpur（坎普尔印度理工学院）
在本文中，我们解决了跨领域适应分类器的问题。我们考虑多类分类的领域自适应问题，其中我们在源数据集中提供了一组标记的示例，并且我们提供了一个没有监督的目标数据集。在这种情况下，我们提出了一种基于对抗的方法。虽然以前已经提出了基于对抗性的方法，但在本文中，我们提出了一种知情的对抗性的方法。我们的观察依赖于分析，该分析表明，如果数据库可以访问所有可用的信息，包括源数据集中存在的类结构，那么它可以引导目标类集合的特征转换到结构更适应的空间。使用这个公式，我们获得了最先进的结果，对基准数据集的标准评估。我们进一步提供了详细的分析表明，使用所有的标记信息的结果在一个改进的领域自适应。
2019-04-02 cs.CV cs.LG stat.ML
A Fuzzy-set-based Joint Distribution Adaptation Method for Regression and its Application to Online Damage Quantification for Structural Digital Twin
Politecnico di Milano（米兰理工大学）；Beihang University（北京航空航天大学）
在线损害量化遭受不充分的标记数据，削弱了其准确性。在这种情况下，采用对来自类似结构/损伤的历史标记数据或模拟数字孪生数据的领域自适应来辅助当前诊断任务将是有益的。然而，大多数领域自适应方法是为分类而设计的，并且不能有效地解决损伤量化，这是一个具有连续实值标签的回归问题。本研究首先提出一种新的领域自适应方法--基于在线模糊集的回归联合分布自适应方法。通过模糊集将连续实值标签转换为模糊类别标签，同时度量边缘和条件分布差异，实现损伤量化任务的领域自适应。基于该方法的优越性，提出了一种基于领域自适应的在线损伤量化框架。最后，以某型直升机为例，进行了不同损伤位置、不同损伤类型和从仿真到试验的3种损伤领域自适应，验证了该方法在真实环境下能够显著提高损伤量化的准确性。预计该方法将应用于考虑个体差异的船队级数字孪生。
2023-02-07 cs.CE cs.LG
Detecting binary compact-object mergers with gravitational waves: Understanding and Improving the sensitivity of the PyCBC search
我们提出了一个改进的搜索二进制紧凑的对象合并使用网络的地面引力波探测器。我们建模的体积，各向同性的源人口，并将由此产生的分布在信号幅度，时间延迟，合并阶段的候选事件的排名。我们描述了一种改进的建模的背景分布，并证明将一个先验模型的二进制质量分布在候选事件的排名。我们发现一个$\sim 10\%$和$\sim 20\%$增加模拟二进制中子星和中子星-二进制黑洞系统的检测体积，分别对应于减少的虚警率分配给信号之间的一个和两个数量级。
2018-05-27 astro-ph.HE astro-ph.IM gr-qc
Astro2020 Science White Paper: Radio Counterparts of Compact Object Mergers in the Era of Gravitational-Wave Astronomy
GHz射电天文学在最近令人眼花缭乱的发现GW 170817中发挥了重要作用，GW 170817是一颗中子星（NS）-NS合并，在所有波长的引力波（GW）和光中都可以观察到。在这里，我们展示了未来十年地基GW探测器灵敏度的预期进展如何要求美国-的GHz无线电阵列，以改善超过目前的水平。我们具体讨论了几个新的科学机会将出现在多信使时域天体物理学，如果下一代GHz的无线电设施的灵敏度和分辨率$10\times$优于目前的Jansky甚大阵（VLA）的工作在一起与地面GW探测器。这些机会包括探测NS-NS合并的相对论性喷流和广角喷出物的性质，结构和大小，以及通过宿主星系研究揭示其祖先的物理学。
2019-03-25 astro-ph.HE astro-ph.IM
Pre-Merger Detection and Characterization of Inspiraling Binary Neutron Stars Derived from Neural Posterior Estimation
本研究提出基于机器学习的双中子星并合前旋进阶段探测与分析框架，结合残差网络、分类器与归一化流网络实现神经后验估计，可随并合临近提升参数与天区定位精度，为多信使搜寻提供早期精确信息。
2024-07-14 astro-ph.HE astro-ph.IM gr-qc
A Joint-Chirp-Rate-Time-Frequency Transform for BBH Merger Gravitational Wave Signal Detection
针对强非平稳噪声下并合引力波快速调频难以识别的问题，提出JCTFT及啁啾率增强频谱图生成方法，并在信噪比6–10的模拟信号中经InceptionV3验证平均检测能力提升14%。
2023-10-02 astro-ph.IM gr-qc
Deep learning merger masses estimation from gravitational waves signals in the frequency domain
从致密双星合并中探测到引力波（GW）为研究多信使天体物理学提供了一个新的窗口。确定合并器参数的标准技术是匹配滤波，包括将信号与模板库进行比较。由于需要分析大量的实验数据，这种方法可能是耗时和计算昂贵的。在试图找到更有效的数据分析方法，我们开发了一个新的频域卷积神经网络（FCNN）预测合并质量的检测器信号的频谱图，并比较它的时域神经网络（TCNN）。由于FCNN是使用频谱图训练的，因此与TCNN相比，输入的维度减少了，这意味着模型参数的数量大大减少，因此过度拟合也减少了。由于参数数量较少，计算频谱图所需的额外时间大约由FCNN的较低执行时间补偿。在我们的分析中，FCNN在验证数据上表现出略好的性能，并且由于参数数量较少而大大降低了过拟合，这为GW探测器数据的分析提供了一种新的有前途的方法，未来可以通过使用更有效和更快的频谱图计算来进一步改进。
2020-09-24 astro-ph.IM gr-qc
