Domain Adaptation for Sustainable Soil Management using Causal and Contrastive Constraint Minimization
University of Minnesota Twin Cities(明尼苏达大学双城分校);Microsoft Research(微软研究院)
本文提出一个多模态可扩展框架,结合因果约束与对比学习,利用遥感数据和稀疏传感器数据估计土壤有机质,以改进跨域泛化能力并识别关键土壤属性。
2024-01-13 cs.LG
Task Attribute Distance for Few-Shot Learning: Theoretical Analysis and Applications
University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室)
该研究提出与模型无关的任务属性距离(TAD)以量化少样本学习中训练与新任务的相关性,推导泛化误差界建立其与任务适配难度的理论关联,经三个基准实验验证有效性,并拓展至数据增强等应用。
2024-03-06 cs.CV cs.LG
Evaluating the Robustness of Dense Retrievers in Interdisciplinary Domains
Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文以环境监管文件检索为案例,发现评估基准的语义结构特征会显著影响对密集检索模型领域适应收益的评估,主题边界重叠的基准更能反映真实复杂场景中的改进效果。
2025-06-16 cs.AI cs.IR cs.LG
G2LoRA: Gradient Orthogonal Low-Rank Adaptation Framework for Graph Continual Learning on Text-Attributed Graphs
School of Computer Science and Engineering, Beihang University(北航计算机科学与工程学院);Department of Statistics, Columbia University(哥伦比亚大学统计系);College of Computer Science, Beijing University of Technology(北京理工大学计算机学院)
针对LLM-as-Aligner模型在文本属性图持续学习中的灾难性遗忘问题,提出G2LoRA框架,通过统一图-文本对齐目标、类别感知梯度投影和梯度幅度调制,实现任务间正向迁移并缓解模态漂移。
2026-06-01 cs.LG
Collaborate to Adapt: Source-Free Graph Domain Adaptation via Bi-directional Adaptation
National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Zhejiang Lab(之江实验室);Hangzhou Yugu Technology Co., Ltd.(杭州玉谷科技有限公司)
针对无法访问有标签源图的无监督图域适应问题,提出 GraphCTA 范式,通过模型适应与图适应的双向协作循环提升目标图性能,并在多个数据集上显著优于无源基线。
2024-03-03 cs.AI cs.LG
Order-preserving Consistency Regularization for Domain Adaptation and Generalization
University of Electronic Science and Technology of China(电子科技大学);University of Amsterdam(阿姆斯特丹大学);United Imaging Healthcare, Co., Ltd.(联影医疗科技股份有限公司)
本文提出保序一致性正则化(OCR),通过保持预测概率的顺序不变来增强模型对任务无关变换的鲁棒性,从而降低对领域特定属性的敏感度,并在五个跨领域任务上验证了其优势。
2023-09-23 cs.CV cs.LG
Adaptor: Objective-Centric Adaptation Framework for Language Models
Masaryk University(马萨里克大学);Gauss Algorithmic(高斯算法公司)
自然语言处理研究的进展是由广泛的软件框架提供的可能性催化的。本文介绍了Adaptor库,它将传统的以模型为中心的预训练+微调步骤转换为以目标为中心的方法,通过应用选定的目标来组成训练过程。我们调查的研究方向,可以受益于增强目标为中心的实验,多任务训练,自定义目标的发展,动态培训课程,或领域自适应。Adaptor旨在简化这些研究方向在实践中的可重复性。最后,我们证明了适配器在选定的无监督领域自适应场景的实际适用性。
2022-05-20 cs.AI cs.CL cs.LG
Domain Adaptation: Learning Bounds and Algorithms
Google Research(谷歌研究院);Tel Aviv Univ.(特拉维夫大学);Courant Institute(库朗研究所);New York University(纽约大学)
本文提出差异距离以度量分布差异,给出其估计的复杂度界和领域自适应泛化界,并为最小化经验差异设计新算法,实验验证了其在领域自适应中的有效性。
2023-11-30 cs.AI cs.LG
Deep Transfer Learning for Multi-source Entity Linkage via Domain Adaptation
University of Michigan(密歇根大学);Amazon(亚马逊)
多源实体链接的重点是通过链接代表同一现实世界实体的记录来集成来自多个源的知识。这在数据清理和用户拼接等高影响力应用中至关重要。现有的实体链接流水线主要依赖于监督学习,这需要大量的训练数据。然而,当来自许多源的数据随着时间的推移而递增地到达时,收集标记良好的训练数据变得昂贵。此外,经过训练的模型很容易过拟合到特定的数据源,因此由于数据和标签分布的显著差异,无法推广到新的数据源。为了应对这些挑战,我们提出了AdaMEL,一个深度迁移学习框架,学习通用的高级知识来执行多源实体链接。AdaMEL通过属性级自注意机制对用于匹配实体的属性重要性进行建模,并通过领域自适应利用来自新数据源的大量未标记数据,使其具有通用性和数据源不可知性。此外,AdaMEL还能够整合一组额外的标记数据,以更准确地集成具有不同属性重要性的数据源。大量的实验表明,我们的框架达到了最先进的结果,平均提高了8.21%,基于监督学习的方法。此外,它在处理不同的数据源集时更稳定,运行时间更短。
2021-10-27 cs.DB cs.LG
Adaptation Algorithm and Theory Based on Generalized Discrepancy
Google Research(谷歌研究院);Courant Institute(库朗研究所)
我们提出了一种新的算法,领域自适应改进的差异最小化算法,以前表现出优于一些算法,这项任务。与许多以前的算法领域自适应,我们的算法不包括一个固定的重新加权训练样本的损失。我们表明,我们的算法受益于坚实的理论基础和更有利的学习界限比差异最小化。我们提出了我们的算法的详细描述,并给出了解决其优化问题的几个有效的解决方案。我们还报告了几个实验的结果表明,它优于差异最小化。
2015-02-21 cs.LG
SF(DA)$^2$: Source-free Domain Adaptation Through the Lens of Data Augmentation
Yonsei University(延世大学);Seoul National University(首尔大学)
针对无源域适应中数据增强的挑战,提出SF(DA)$^2$方法,通过构建增强图、谱聚类及隐式特征增强和特征解缠正则化,在2D图像、3D点云及不平衡数据集上取得优越性能。
2024-03-16 cs.AI cs.CV cs.LG
Structural Re-weighting Improves Graph Domain Adaptation
Georgia Institute of Technology(佐治亚理工学院);Purdue University(普渡大学);Fermi National Accelerator Laboratory(费米国家加速器实验室);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对图域适应中现有表示对齐方法难以处理条件结构偏移的问题,提出结构重加权方法 StruRW,并在合成图、四个基准及高能物理任务上验证其提升。
2023-06-05 cs.AI cs.LG cs.SI
Compressible Dynamics in Deep Overparameterized Low-Rank Learning & Adaptation
Department of Electrical Engineering \& Computer Science, University of Michigan
本研究提出Deep LoRA方法,通过深度过参数化低秩学习与适应中的可压缩动力学,提升语言模型微调效率并减少过拟合。
2026-02-13 cs.AI cs.LG eess.SP
Domain Adaptation with Category Attention Network for Deep Sentiment Analysis
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS(中国科学院计算技术研究所智能信息处理重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Search Product Center, WeChat Search Application Department, Tencent(腾讯微信搜索应用部搜索产品中心)
诸如跨域情感分类的领域自适应任务旨在利用源域中现有的标记数据和目标域中的未标记或少量标记数据,通过减少数据分布之间的偏移来提高目标域中的性能。现有的跨领域情感分类方法需要区分枢轴,即,域共享情感词和非枢轴词,即,特定领域的情感词,以获得出色的适应性能。在本文中,我们首先设计了一个类别注意力网络(CAN),然后提出了一个名为CAN-CNN的模型集成CAN和卷积神经网络(CNN)。该模型一方面将主元和非主元看作统一的范畴属性词,能够自动捕获,提高领域自适应性能;另一方面,在可解释性方面进行尝试,学习迁移的范畴属性词。具体来说,我们的模型的优化目标有三个不同的组成部分:1)监督分类损失; 2)类别特征权重的分布损失; 3)域不变性损失。最后,在三个公开的情感分析数据集上对所提出的模型进行了评估,结果表明CAN-CNN可以优于其他各种基线方法。
2021-12-31 cs.CL cs.LG
A Generative Framework for Zero-Shot Learning with Adversarial Domain Adaptation
IIT Kanpur(印度理工学院坎普尔分校);Microsoft Research, India(微软研究院印度分院);University of Toronto(多伦多大学)
提出了一种基于领域自适应的零样本学习生成框架。我们的框架解决了零样本学习中可见和不可见类分布之间的域转移问题,并通过开发一个通过对抗性领域自适应训练的生成模型来最大限度地减少这种转移。我们的方法是基于端到端学习的类分布的可见类和不可见类。为了使模型能够学习看不见的类的类分布,我们根据类属性信息(对可见和不可见的类都可用)来参数化这些类分布。这提供了一种非常简单的方法来学习任何看不见的类的类分布,只给出其类属性信息,而没有标记的训练数据。用对抗性领域自适应训练该模型进一步提供了针对来自可见类和不可见类的数据之间的分布失配的鲁棒性。我们的方法也提供了一种新的方法来训练基于神经网络的分类器,以克服在零样本学习的hubness问题。通过一组全面的实验,我们证明了我们的模型在各种基准数据集上与各种最先进的零样本学习模型相比具有更高的精度。实验代码可在github.com/vkkhare/ZSL-ADA上获得
2020-02-22 cs.CV cs.LG stat.ML
Provable Meta-Learning with Low-Rank Adaptations
Chandra Family Department of Electrical and Computer Engineering, The University of Texas at Austin, Austin, TX, USA(Chandra Family 电子与计算机工程系,德克萨斯大学奥斯汀分校);Snap, Inc.(Snap公司);Google Research(Google研究)
本研究提出基于PEFT的元学习框架,证明标准重训练在LoRA线性模型上不可证明最优,并通过理论与实验验证其性能优势。
2025-10-22 cs.LG
Knowledge Sharing via Domain Adaptation in Customs Fraud Detection
Korea Advanced Institute of Science and Technology(韩国科学技术院);Institute for Basic Science(基础科学研究院)
了解不断变化的流量在风险管理中至关重要。世界各地的海关历来依靠当地资源积累知识和发现税务欺诈。这自然使基础设施薄弱的国家成为潜在非法贸易的避税地。本文件提出了DAS,一个存储体平台,以促进跨国海关管理机构之间的知识共享,以相互支持。我们提出了一个领域自适应的方法来共享可转移的知识欺诈为原型,同时保护当地的贸易信息。使用了800多万份进口申报单的数据来测试这一新系统的可行性,结果表明,参与国在共享知识的帮助下,在欺诈侦查方面可获益2-11倍。我们讨论了大量的税收潜力和加强打击非法贸易的政策的影响。
2022-01-18 cs.AI cs.CY cs.LG
Population-aware Hierarchical Bayesian Domain Adaptation
Tandon School of Engineering(坦登工程学院)
人口属性对于理解数据代表谁和精准医疗工作至关重要。即使在疾病感染标签中,患者也可能表现出显著的变异性;在医生办公室报告的“发烧”与在线应用程序报告的“发烧”可能意味着不同的东西,从而排除了针对相同预测任务在不同数据集之间直接学习。这个问题属于域适应范式。然而,迄今为止,这一领域的研究没有考虑到谁产生数据;例如,女性与男性报告的症状也可能有不同的影响。我们提出了一种新的人口意识的领域适应方法,制定的领域适应任务作为一个多源层次贝叶斯框架。该模型通过利用域和群体不变信息,在很大程度上未标记的目标数据的情况下提高了预测。
2018-11-21 cs.LG stat.ML
LoRMA: Low-Rank Multiplicative Adaptation for LLMs
Indian Institute of Technology Kanpur (IIT Kanpur)(印度理工学院坎浦尔学院)
针对 LoRA 加法低秩更新表达受限的问题,本文提出 LoRMA,用低秩矩阵乘法变换实现适配,并通过运算重排和秩膨胀控制复杂度,实验验证其有效。
2025-06-09 cs.AI cs.CL cs.LG
Towards Federated Low-Rank Adaptation of Language Models with Rank Heterogeneity
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
针对联邦 LoRA 中客户端秩异构导致零填充聚合稀释高秩信息的问题,提出基于复制的填充策略,以保留高质量客户端信息并提升全局模型收敛与预测性能。
2025-02-15 cs.DC cs.LG
Instance-level Heterogeneous Domain Adaptation for Limited-labeled Sketch-to-Photo Retrieval
虽然草图到照片检索具有广泛的应用,但获得成对且标记丰富的地面实况的成本很高。显然,照片检索数据更容易获得。因此,先前的工作在丰富标记的照片检索数据(即,源域)并且然后在有限标记的草图到照片检索数据上微调它们(即,目标域)。然而,如果没有共同训练源数据和目标数据,源领域知识可能会在微调过程中被遗忘,而简单地共同训练它们可能会由于领域差距而导致负迁移。此外,源数据和目标数据的身份标签空间通常是不相交的,因此传统的类别级领域自适应(DA)不能直接应用。为了解决这些问题,我们提出了一个实例级异构领域自适应(IHDA)框架。我们将微调策略应用于身份标签学习,旨在以归纳迁移的方式传递实例级知识。同时,从源数据中选择标记属性,以形成源域和目标域的共享标签空间。在共享属性的指导下,DA被用来桥接跨数据集的领域差距和异构领域差距,以一种直推的方式传递实例级知识。实验表明,我们的方法已经建立了一个新的国家的艺术在三个草图到照片的图像检索基准没有额外的注释,这打开了大门,训练更有效的模型,有限的标记异构图像检索任务。相关代码可在https://github.com/fandulu/IHDA上获得。
2022-12-06 cs.CV cs.LG
Domain Adaptation in Highly Imbalanced and Overlapping Datasets
K Health(K健康)
在许多机器学习领域,数据集的特征在于高度不平衡和重叠的类。特别是在医学领域,症状的特定列表可以被标记为各种不同的条件之一。其中一些情况可能比其他情况普遍几个数量级。在这里,我们提出了一种新的无监督领域自适应计划,这样的数据集。该方案基于一种特定类型的量化,旨在在标签和条件移位下工作。它在从电子健康记录生成的数据集上进行了演示,并在非常具有挑战性的场景中为量化和领域自适应提供了高质量的结果。讨论了在当前COVID-19疫情中使用该方案估计感染流行率和概率的潜在益处。
2020-06-02 cs.LG stat.ML
Domain Adaptation with Asymmetrically-Relaxed Distribution Alignment
Carnegie Mellon University(卡内基梅隆大学)
当生成我们的测试数据的目标分布偏离源(训练)分布时,领域自适应解决了常见的问题。当缺少假设时,领域自适应是不可能的,严格的条件,例如协变量或标签偏移,使有原则的算法成为可能。最近提出的领域对抗方法包括对齐源和目标编码,通常激励这种方法在目标误差的理论范围内最小化两个(三个)项。不幸的是,这种最小化可能会导致第三项的任意增加,例如,它们可能会在不断变化的标签分布下崩溃。我们提出了非对称放松分布对齐,一种新的方法,克服了标准域对抗算法的一些限制。此外,我们描述了精确的假设,根据这些假设,我们的算法在理论上是有原则的,并在合成数据集和真实数据集上证明了经验优势。
2019-03-11 cs.LG stat.ML
A Theory of Multiple-Source Adaptation with Limited Target Labeled Data
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学);Courant Institute of Mathematical Sciences, New York(纽约大学柯朗数学科学研究所)
我们提出了一个理论和算法研究的多源领域自适应问题的常见情况下,学习者只能访问有限数量的标记的目标数据,但学习者在处置大量的标记数据从多个源域。我们表明,一个新的家庭的算法模型选择的想法的基础上受益于非常有利的保证,在这种情况下,并讨论了一些理论上的障碍,影响一些替代技术。我们还报告了我们的算法,证明其实际有效性的几个实验的结果。
2020-10-29 cs.LG stat.ML
Bayesian Adaptation Gym: A Benchmark for the Bayesian Low-Rank Adaptation of Multi-Modal Language Models
Neuro-Symbolic Computing and Intelligence Research Group(神经符号计算与智能研究组);Computer Science Laboratory(计算机科学实验室);SRI International(SRI国际)
提出贝叶斯适应健身房(BAG)基准,用于评估多模态语言模型的贝叶斯低秩适应方法,涵盖校准、分布偏移鲁棒性和主动学习下的不确定性决策。
2026-06-23 cs.LG
Normalized Low-Rank Adaptation
Yuanshi Intelligence(元氏智能);The Chinese University of Hong Kong(香港中文大学);Microsoft Research(微软研究院);Shenzhen Loop Area Institute(深圳河套学院)
针对LoRA训练动态正则化不足的问题,提出归一化低秩适配(NoRA),通过归一化下投影矩阵提升LoRA性能,在多任务中加速收敛、改善稳定性并缓解灾难性遗忘,且无额外计算开销。
2026-09-01 cs.LG
Domain Adaptation Under Behavioral and Temporal Shifts for Natural Time Series Mobile Activity Recognition
Washington State University(华盛顿州立大学)
越来越多的人的行为被捕获在移动设备上,导致对自动人类活动识别的兴趣增加。然而,现有的数据集通常由脚本运动组成。我们的长期目标是在自然环境中进行移动活动识别。我们收集了一个数据集来支持这一目标,其中包括与下游任务(如健康监测和干预)相关的活动类别。由于人类行为存在很大的差异,我们从两个不同年龄组的许多参与者那里收集数据。由于人类行为可能会随着时间的推移而变化,我们还收集了参与者一个月内的数据,以捕捉时间漂移。我们假设移动活动识别可以受益于无监督的领域自适应算法。为了解决这一需求和测试这一假设,我们分析了跨人和跨时间的领域自适应的性能。然后,我们增强无监督的领域自适应与对比学习和弱监督时,标签比例。该数据集可在https://github.com/WSU-CASAS/smartwatch-data上获得
2022-07-10 cs.LG
Population-aware Hierarchical Bayesian Domain Adaptation via Multiple-component Invariant Learning
New York University(纽约大学)
虽然机器学习正在迅速发展并部署在健康环境中,如流感预测,但由于特征的变化,在使用来自一个环境的数据时存在关键挑战;即使在疾病标签中也可能存在差异(例如,“发烧”可能意味着医生办公室报告的与在线应用程序报告的不同)。此外,模型往往是建立在被动的、观察性的数据基础上的,这些数据包含不同的人口亚组分布(例如男性或女性)。因此,在这个观测输运问题中,环境之间存在两种形式的不稳定性。我们首先利用健康知识来概念化这个问题在健康结果预测任务中的潜在因果结构。基于模型中的稳定性来源,我们认为对于人类来源的数据和健康预测任务,我们可以将环境和人口信息结合在一个新的人口感知分层贝叶斯域适应框架中,该框架在需要时通过人口属性利用多个不变分量。我们研究了不变学习失败的条件,导致对环境特定属性的依赖。在从不同背景收集的四个数据集上进行流感预测任务的实验结果表明,该模型可以通过利用环境和人口不变信息,在来自新环境和不同组成人群的大部分未标记目标数据的情况下改善预测。这项工作代表了一种新颖的,有原则的方式,通过融合领域(健康)知识和算法创新来解决关键挑战。所提出的方法将在许多社会环境中产生重大影响,其中数据来自谁和哪里很重要。
2020-03-09 cs.LG stat.ML
Similarity-based data mining for online domain adaptation of a sonar ATR system
Seebyte Ltd(Seebyte有限公司);University of Edinburgh(爱丁堡大学)
由于现场数据采集的昂贵性,训练数据的缺乏往往限制了自动目标识别(ATR)系统的性能。通常采用领域自适应技术来解决这一问题,但现有的方法不能满足水下系统资源和时间的限制。我们建议通过使用一种新的数据选择方法在线微调ATR算法来解决这个问题。我们提出的数据挖掘方法依赖于视觉相似性,优于传统的硬挖掘方法。我们提出了一个比较性能分析,在广泛的模拟环境中,并强调使用我们的方法快速适应以前看不见的环境的好处。
2020-09-16 cs.CV cs.LG cs.SD
When Does Adaptation Win? Scaling Laws for Meta-Learning in Quantum Control
The MITRE Corporation(MITRE公司)
本文研究了元学习在量子控制中的适应性问题,推导了适应增益的缩放定律,表明适应增益随着梯度步数指数饱和,而随任务方差线性增长,为判断适应的必要性提供了量化标准。
2026-05-19 cs.AI cs.LG cs.SY
Best-Effort Adaptation
Google Research(谷歌研究院);Courant Institute of Mathematical Sciences(库朗数学科学研究所)
本文提出尽力适配问题,通过差异理论分析样本重加权方法,设计学习算法,改进标准域适配,实验验证有效性,并指导微调设计。
2023-05-10 cs.LG stat.ML
Single-Shot Domain Adaptation via Target-Aware Generative Augmentation
Arizona State University(亚利桑那州立大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
由于深度神经网络中的脆弱泛化,使用来自任何感兴趣目标域的数据来适应源域的模型的问题已经变得突出。虽然已经出现了几种测试时自适应技术,但在目标数据可用性有限的情况下,它们通常依赖于合成数据增强。在本文中,我们考虑了单次自适应的挑战性设置,并探索了增强策略的设计。我们认为,现有的方法所利用的增强是不足以处理大的分布偏移,因此提出了一种新的方法SiSTA(单次目标增强),首先微调生成模型从源域使用单次目标,然后采用新的采样策略策展合成目标数据。使用国家的最先进的领域自适应方法的实验,我们发现,SiSTA产生高达20\%的改进超过现有的基线下,具有挑战性的变化,在面部属性检测,它执行竞争力的Oracle模型通过训练获得一个更大的目标数据集。
2022-10-29 cs.CV cs.LG stat.ML
Retrieval-Based In-Context Learning: A Domain Adaptation Framework
University of Michigan(密歇根大学);New Jersey Institute of Technology(新泽西理工学院);Northwestern University(西北大学)
本文将上下文检索形式化为领域自适应问题,在灵活分布偏移下研究其性能,建立理论保证,并通过合成和语言任务实验验证,揭示该范式的优势与陷阱。
2026-10-14 cs.LG stat.ML
Black Sheep in the Herd: Playing with Spuriously Correlated Attributes for Vision-Language Recognition
Australian National University(澳大利亚国立大学);GE Research(GE研究中心)
针对视觉语言模型因过度依赖虚假相关属性导致泛化差的问题,提出虚假属性探测方法过滤问题属性、虚假属性屏蔽即插即用模块减轻属性影响,在多数据集多任务上提升分布偏移准确率且不损下游性能,刷新基准。
2025-02-19 cs.LG eess.IV
Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation
Huazhong University of Science & Technology(华中科技大学);University of Technology Sydney(悉尼科技大学);Farsee2 Tech. Co.(Farsee2科技公司);Baidu Research(百度研究院)
本文针对One-Shot无监督领域自适应问题进行研究。与传统的无监督领域自适应不同,它假设在学习自适应时只有一个未标记的目标样本可用。这种设置是现实的,但更具挑战性,在传统的适应方法很容易失败,由于缺乏未标记的目标数据。为此,我们提出了一种新的对抗性风格挖掘方法,它结合了风格转换模块和任务特定模块到一个对抗的方式。具体而言,风格转移模块根据当前学习状态迭代地在一次性目标样本周围搜索更难风格化的图像,引导任务模型探索几乎不可见的目标领域中难以解决的潜在风格,从而提高数据稀缺场景中的适应性能。对抗性学习框架使风格迁移模块和任务特定模块在竞争中相互受益。跨域分类和分割基准上的大量实验验证了ASM在具有挑战性的单次设置下实现了最先进的自适应性能。
2020-04-13 cs.CV cs.LG eess.IV
On the Complementarity of Data Selection and Fine Tuning for Domain Adaptation
Stanford University(斯坦福大学);Google Brain(谷歌大脑)
神经网络的领域自适应通常依赖于三个训练阶段:预训练、选择数据训练和微调。数据选择通过在依赖于目标域数据的小样本识别的预训练数据上进一步训练来改进目标领域泛化。本文研究了语言建模和机器翻译的数据选择的好处。我们的实验评估了选择与微调的互补性,并得出了实际的建议:(i)选择的数据必须与微调域相似,但不能太多,以侵蚀微调的互补效果;(ii)在选择少量数据以获得快速但有限的进展或选择大量数据以获得缓慢但持久的进展之间存在权衡;(iii)数据选择可以在预训练早期应用,性能增益与长时间预训练会话相当;(iv)从域分类器中选择数据通常比流行的对比数据选择方法更有效。
2021-09-15 cs.CL cs.LG
Unsupervised Domain Adaptation with Copula Models
Rutgers University(罗格斯大学);MIT Media Lab(麻省理工学院媒体实验室)
我们研究了无监督领域自适应的任务,其中在训练期间没有提供来自目标域的标记数据。为了处理源和目标分布之间的潜在差异,无论是在功能和标签,我们利用了一个基于copula回归框架。这种方法的好处是双重的:(a)它使我们能够对超出常见指数族的更广泛的条件预测密度进行建模,(b)我们展示了如何利用Sklar定理,将联合密度与Copula依赖函数相关联的Copula公式的本质,以找到有效的特征映射,从而减轻域失配。通过将数据转换到copula域,我们在许多基准数据集(包括人类情感估计)上显示,并使用不同的回归模型进行预测,与最近提出的特征转换(自适应)方法相比,我们可以实现更鲁棒和准确的目标标签估计。
2017-09-29 cs.CV cs.LG stat.ML
CFEA: Collaborative Feature Ensembling Adaptation for Domain Adaptation in Unsupervised Optic Disc and Cup Segmentation
University of Florida(佛罗里达大学);UNC Charlotte(北卡罗来纳大学夏洛特分校);Xi’an Jiaotong University(西安交通大学);Sensetime Research(商汤科技研究院)
最近,深度神经网络在注释良好的数据集中表现出与董事会认证的眼科医生相当甚至更好的性能。然而,视网膜成像设备的多样性带来了一个重大挑战:域转移,这导致在将深度学习模型应用于新的测试域时性能下降。在本文中,我们提出了一种新的无监督域自适应框架,称为协作特征集成自适应(CFEA),以有效地克服这一挑战。我们提出的CFEA是一个交互式的范例,通过对抗学习和集成权重呈现出一种精致的协作适应。特别是,我们同时实现了域不变性,并保持了历史预测的指数移动平均值,这通过在训练期间集成权重来实现对未标记数据的更好预测。在不注释来自目标域的任何样本的情况下,编码器和解码器层中的多个对抗性损失引导域不变特征的提取,以混淆域分类器,同时有利于平滑权重的集成。综合实验结果表明,我们的CFEA模型可以克服性能下降,并优于国家的最先进的方法在分割视网膜视盘和杯眼底图像。\textit{Code is available at \url{https://github.com/cswin/AWC}}。
2019-10-16 cs.CV cs.LG eess.IV
A Contrastive Learning Framework Empowered by Attention-based Feature Adaptation for Street-View Image Classification
SpaceTimeLab(时空实验室);University College London(伦敦大学学院)
CLIP-MHAdapter通过引入基于注意力的特征适应机制,提升街景图像属性分类的准确性和效率
2026-02-18 cs.AI cs.CV cs.LG
Extending Music Annotation Schemas: Zero-Shot Prediction or Few-Shot Adaptation?
Queen Mary University of London(伦敦玛丽女王大学)
针对音乐标注模式扩展问题,提出基于MGPHot数据集的基准,对比零样本预测与监督适应,发现监督适应在较小预算下更优,冻结表示复用为适度预算下最有效方案。
2026-10-07 cs.LG cs.SD
Assembling Semantically-Disentangled Representations for Predictive-Generative Models via Adaptation from Synthetic Domain
Mythic Inc.(Mythic公司);Freeus, LLC.(Freeus有限责任公司);University of Rochester(罗切斯特大学)
深度神经网络可以形成输入数据的高级分层表示。各种研究人员已经证明,这些表示可以用于实现各种有用的应用。然而,这样的表示通常基于数据内的统计,并且可能不符合应用可能需要的语义表示。条件模型通常用于克服这一挑战,但它们需要大量带注释的数据集,这些数据集很难获得,创建成本也很高。在本文中,我们表明,语义对齐表示可以生成,而不是与基于物理的引擎的帮助。这是通过创建具有解耦属性的合成数据集,学习合成数据集的编码器,以及用来自真实域的属性来扩充来自合成域的规定属性来实现的。结果表明,所提出的(SYNTH-VAE-GAN)方法可以构建一个条件预测生成模型的人脸属性,而不依赖于真实的数据标签。
2020-02-23 cs.CV cs.LG eess.IV
Do Users Benefit From Interpretable Vision? A User Study, Baseline, And Dataset
Freie Universität Berlin(柏林自由大学);Weizenbaum Institut Berlin(柏林魏森鲍姆研究所);TU Berlin(柏林工业大学)
存在多种方法来解释图像分类模型。然而,与简单地比较各种输入和模型各自的预测相比,它们是否为用户提供了任何好处仍不清楚。我们进行了一项用户研究(N=240),以测试这样的基线解释技术对基于概念和反事实的解释。为此,我们贡献了一个合成数据集生成器,能够偏置单个属性并量化它们与模型的相关性。在一项研究中,我们评估参与者是否能够识别与地面事实相比的相关属性集。我们的研究结果表明,基线优于基于概念的解释。来自可逆神经网络的反事实解释与基线相似。尽管如此,它们仍然允许用户更准确地识别某些属性。我们的研究结果强调了衡量用户对模型偏差的推理能力的重要性,而不是仅仅依赖于技术评估或代理任务。我们开源了我们的研究和数据集,因此它可以作为未来研究的蓝图。有关代码,请参见https://github.com/berleon/do_users_benefit_from_interpretable_vision
2022-04-25 cs.AI cs.CV cs.HC
ARC: Leveraging Compositional Representations for Cross-Problem Learning on VRPs
LG AI Research(LG人工智能研究院)
ARC通过组合学习方法,解耦属性表示以提升VRPs跨问题学习的泛化能力,实现多场景下的高效适应与性能优化。
2025-12-21 cs.AI cs.LG
Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence
Singapore University of Design and Technology(新加坡科技设计大学);East China Normal University(华东师范大学);University of Electronic Science and Technology of China(电子科技大学);Beihang University(北京航空航天大学)
联邦学习(FL)可以在移动边缘网络中用于以分布式方式训练机器学习模型。最近,FL已被解释模型无关的元学习(MAML)框架内,这使得FL在快速适应和收敛异构数据集的显着优势。然而,现有的研究只是简单地将MAML和FL结合起来,而没有明确地解决MAML给FL带来了多少好处以及如何在移动边缘网络上最大化这种好处。在本文中,我们从两个方面量化了好处:优化FL超参数(即,采样数据大小和通信循环数)和资源分配(即,发射功率)。具体来说,我们制定了基于MAML的FL设计作为一个整体的学习时间最小化问题,模型精度和能源消耗的约束下。通过基于MAML的FL的收敛性分析,我们将问题分解,然后使用解析解和坐标下降法求解。利用获得的FL超参数和资源分配,设计了一种基于MAML的FL算法,称为自动联邦学习(AutoFL),能够进行快速自适应和收敛。大量的实验结果表明,AutoFL优于其他基准算法的学习时间和收敛性能。
2023-03-23 cs.DC cs.LG
A Tight Expressivity Hierarchy for GNN-Based Entity Resolution in Master Data Management
Centre for Cybersecurity, Trust and Reliability (CyStar), Department of Computer Science and Engineering, Indian Institute of Technology, Madras(印度理工学院马德拉斯分校计算机科学与工程系网络安全、信任与可靠性中心(CyStar))
本文研究了基于GNN的实体解析问题,提出通过四种定理分离理论确定最经济的MPNN架构,揭示了检测共享属性与多共享属性之间的复杂度差距。
2026-03-28 cs.AI cs.DS cs.LG
Algorithms and Theory for Multiple-Source Adaptation
Stanford University(斯坦福大学);Courant Institute(柯朗研究所);Google(谷歌);New York University(纽约大学)
这项工作包括一些新的贡献的多源适应问题。我们提出了新的规范化的解决方案与强有力的理论保证的交叉熵损失和其他类似的损失。我们还提供了新的保证,在源域的条件概率是不同的情况下。此外,我们给出了新的算法来确定交叉熵损失和其他损失的分布加权组合解决方案。我们报告了一系列实验的结果与现实世界的数据集。我们发现,我们的算法优于竞争的方法,产生一个单一的强大的模型,表现良好的任何目标混合物分布。总之,我们的理论,算法和实证结果提供了一个完整的解决方案,多源适应问题,具有非常实际的好处。
2018-05-20 cs.LG stat.ML
Complementary Benefits of Contrastive Learning and Self-Training Under Distribution Shift
Carnegie Mellon University(卡内基梅隆大学)
本文系统研究自训练与对比学习结合利用无标签数据的效果,发现二者在域适应中显著互补、在半监督学习中并不协同,并通过实验和简化理论模型解释其原因。
2023-12-06 cs.CV cs.LG stat.ML
Deep Inertial Navigation using Continuous Domain Adaptation and Optimal Transport
Bell Labs(贝尔实验室);Invenia Labs(英维尼亚实验室)
在本文中,我们提出了一种新的策略学习惯性机器人导航模型。所提出的策略增强了端到端的惯性建模的通用性,并针对轮式机器人部署。具体而言,本文对以下几个方面进行了阐述。(1)使用精密机器人技术,我们凭经验证明了在导航过程中改变传感器位置对原始惯性信号分布的影响,以及对学习的潜在空间的相应影响。(2)我们提出了神经架构和算法,以吸收知识的索引集的传感器位置,以提高机器人惯性跟踪的鲁棒性和概括性在该领域。我们选择的方案使用连续领域自适应(DA)和最优传输(OT)。(3)在我们的评估中,连续OT DA优于连续对抗DA基线,同时也显示出比简单数据增强可量化的学习优势。我们将发布我们的数据集,以帮助促进未来的研究。
2021-09-19 cs.LG cs.RO
Node Attribute Generation on Graphs
图结构化数据提供两方面的信息:图结构和节点属性。许多基于图的算法依赖于这两种信息来成功完成监督任务,例如节点分类和链接预测。然而,节点属性可能丢失或不完整,这会显着降低性能。节点属性生成的任务是为那些属性完全不可观测的节点生成属性。这个任务有利于许多现实世界的问题,如分析,节点分类和图形数据增强。为了解决这个问题,我们提出了一种基于深度对抗学习的方法来生成节点属性;称为节点属性神经生成器(NANG)。NANG学习了一个统一的潜在表示,它由节点属性和图结构共享,可以转换为不同的模态。因此,我们使用这种潜在的表征作为桥梁,将信息从一种模态转换为另一种模态。我们进一步介绍了实际的应用程序来量化节点属性生成的性能。在四个真实数据集上进行了大量的实验,实验结果表明,该方法生成的节点属性是高质量的,有利于其他应用。数据集和代码可在线获取。
2019-07-23 cs.LG stat.ML