Multi-source Few-shot Domain Adaptation
University of California, Berkeley（加州大学伯克利分校）；National University of Singapore（新加坡国立大学）；Nanjing University（南京大学）
多源领域自适应（MDA）的目的是将预测模型从多个完全标记的源域转移到未标记的目标域。然而，在许多应用中，相关的标记源数据集可能不可用，并且收集源标签可能与标记目标数据本身一样昂贵。在本文中，我们研究多源Few-Shot领域自适应（MFDA）：一个新的领域自适应的情况下，有限的多源标签和未标记的目标数据。正如我们所示，现有的方法往往无法学习的歧视性功能的源和目标域中的MFDA设置。因此，我们提出了一个新的框架，称为多源Few-Shot适应网络（MSFAN），它可以以非对抗的方式进行端到端的训练。MSFAN首先使用一种典型的、多域的、自监督学习来学习不仅是域不变的而且是类区分的特征。其次，MSFAN使用一个小的，标记的支持集，以加强跨域的功能一致性和域不变性。最后，利用来自多个来源的原型来学习更好的分类器。与最先进的MDA方法相比，MSFAN在MFDA上的不同域对上的平均分类准确率分别提高了20.2%，9.4%和16.2%。
2021-09-25 cs.AI cs.CV cs.LG
On Enforcing Better Conditioned Meta-Learning for Rapid Few-Shot Adaptation
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
受预处理概念的启发，我们提出了一种新的方法来提高基于梯度的元学习方法的适应速度，而不会产生额外的参数。我们证明，重铸的优化问题的非线性最小二乘制定提供了一个原则性的方法，积极执行$\textit{well-conditioned}$参数空间的元学习模型的基础上的概念的条件数和局部曲率。我们的综合评估表明，该方法显着优于其无约束的对应，特别是在初始适应步骤，同时实现可比或更好的整体效果上几个Few-Shot分类任务-创建的可能性，动态选择的适应步骤的数量在推理时间。
2022-10-15 cs.CV cs.LG
Variable-Shot Adaptation for Online Meta-Learning
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
Few-Shot元学习方法考虑通过跨来自一组先前任务的静态数据的元学习来从小的固定数量的示例学习新任务的问题。然而，在许多现实世界中，更自然的是将问题视为最小化监督总量的问题之一-学习新任务所需的示例数量和元学习所需的数据量。这样的公式可以在顺序学习环境中进行研究，其中任务按顺序呈现。当在这种在线环境中研究元学习时，出现了一个关键问题：当同时考虑元训练和适应时，元学习能否改善标准经验风险最小化方法的样本复杂性和遗憾？对于需要大量Meta训练数据的复杂双层优化的元学习算法，答案尤其不明显。为了回答这个问题，我们扩展了以前的元学习算法，以处理顺序学习中自然出现的可变镜头设置：从开始的多镜头学习到最后的零样本学习。在顺序学习问题上，我们发现，与标准的监督方法相比，元学习用更少的整体标签解决了整个任务集，并实现了更高的累积性能。这些结果表明，元学习是构建学习系统的一个重要组成部分，该系统可以在一系列问题上不断学习和改进。
2020-12-14 cs.AI cs.LG
AdaptKeyBERT: An Attention-Based approach towards Few-Shot & Zero-Shot Domain Adaptation of KeyBERT
Manipal Institute of Technology（马尼帕尔理工学院）；Manipal Academy of Higher Education（马尼帕尔高等教育学院）
关键词抽取是现代自然语言处理的一个重要课题。它的应用范围从本体生成，事实验证摘要文本，和推荐系统。虽然它有重要的数据密集型应用程序，但当数据集很小时，它往往受到阻碍。关键字提取器的下游训练是一个漫长的过程，需要大量的数据。最近，已经提出了少样本学习（FSL）和零样本学习（Zero-Shot Learning，ZRL）来解决这个问题。因此，我们提出了AdaptKeyBERT，这是一种通过将正则化注意力的概念纳入下游领域自适应的预训练阶段来训练具有LLM基础的关键字提取器的管道。由于我们相信我们的工作对FSL/FML和关键字提取的管道有影响，我们开源了我们的代码，并在https://github.com/AmanPriyanshu/AdaptKeyBERT上提供了同名AdaptKeyBERT的微调库。
2022-11-16 cs.CL cs.LG
Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation
Huazhong University of Science & Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）；Farsee2 Tech. Co.（Farsee2科技公司）；Baidu Research（百度研究院）
本文针对One-Shot无监督领域自适应问题进行研究。与传统的无监督领域自适应不同，它假设在学习自适应时只有一个未标记的目标样本可用。这种设置是现实的，但更具挑战性，在传统的适应方法很容易失败，由于缺乏未标记的目标数据。为此，我们提出了一种新的对抗性风格挖掘方法，它结合了风格转换模块和任务特定模块到一个对抗的方式。具体而言，风格转移模块根据当前学习状态迭代地在一次性目标样本周围搜索更难风格化的图像，引导任务模型探索几乎不可见的目标领域中难以解决的潜在风格，从而提高数据稀缺场景中的适应性能。对抗性学习框架使风格迁移模块和任务特定模块在竞争中相互受益。跨域分类和分割基准上的大量实验验证了ASM在具有挑战性的单次设置下实现了最先进的自适应性能。
2020-04-13 cs.CV cs.LG eess.IV
Unsupervised Domain Adaptation for Cross-Subject Few-Shot Neurological Symptom Detection
School of Applied and Engineering Physics, Cornell University（康奈尔大学应用与工程物理学院）；Center for Neuroprosthetics, EPFL（洛桑联邦理工学院神经假肢中心）
现代机器学习工具在检测神经系统疾病的症状方面显示出了希望。然而，当前的方法通常为每个对象训练唯一的分类器。这种特定于受试者的训练方案需要来自每个患者的长标记记录，因此无法检测具有有限记录的新患者的症状。本文介绍了一种基于对抗网络的无监督领域自适应方法，以实现Few-Shot，跨主题癫痫发作检测。使用对抗性学习，来自多个患者的特征被编码到一个主题不变空间中，并在主题不变特征上训练一个判别模型来进行预测。我们评估了这种方法的颅内脑电图（iEEG）记录9例癫痫患者。我们的方法使跨主题癫痫发作检测与9.4\%的改善，1杆分类精度相比，传统的主题特定的计划。
2021-02-28 cs.LG
Single-Shot Domain Adaptation via Target-Aware Generative Augmentation
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
由于深度神经网络中的脆弱泛化，使用来自任何感兴趣目标域的数据来适应源域的模型的问题已经变得突出。虽然已经出现了几种测试时自适应技术，但在目标数据可用性有限的情况下，它们通常依赖于合成数据增强。在本文中，我们考虑了单次自适应的挑战性设置，并探索了增强策略的设计。我们认为，现有的方法所利用的增强是不足以处理大的分布偏移，因此提出了一种新的方法SiSTA（单次目标增强），首先微调生成模型从源域使用单次目标，然后采用新的采样策略策展合成目标数据。使用国家的最先进的领域自适应方法的实验，我们发现，SiSTA产生高达20\%的改进超过现有的基线下，具有挑战性的变化，在面部属性检测，它执行竞争力的Oracle模型通过训练获得一个更大的目标数据集。
2022-10-29 cs.CV cs.LG stat.ML
Predictive Optimization with Zero-Shot Domain Adaptation
NEC Corporation（NEC公司）；RIKEN（理化学研究所）
zero-shot领域自适应（领域自适应）是在没有任何训练样本的情况下在一个新的域中进行预测的一项重要任务。虽然在一个新的领域的预测得到了很多关注，在本文中，我们调查的另一个潜在的CRAMDA。具体来说，我们不是在一个新的领域中预测响应，而是在给定预测的情况下找到一个新领域的描述。该任务被认为是预测优化，但现有的预测优化方法还没有扩展到处理多个域。我们提出了一个简单的框架，预测优化与CARDA和分析的条件下，优化问题成为凸优化。我们还讨论了在预测优化中如何处理域的特征之间的相互作用。通过数值实验，我们证明了我们提出的框架的潜在有用性。
2021-01-15 cs.LG stat.ML
StyleDomain: Efficient and Lightweight Parameterizations of StyleGAN for One-shot and Few-shot Domain Adaptation
HSE University（高等经济大学）；AIRI（人工智能研究所）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
本文系统分析了StyleGAN的域适应问题，提出了高效轻量的参数化方法，包括用于相似域的StyleDomain方向和用于不相似域的Affine+及AffineLight+，在减少训练参数的同时优于现有基线，并发现了StyleDomain方向在域混合和跨域图像变形中的新特性。
2023-09-12 cs.CV cs.LG
MU-SHOT-Fi: Self-Supervised Multi-User Wi-Fi Sensing with Source-free Unsupervised Domain Adaptation
department of Electrical Engineering and Computer Science（电气工程与计算机科学系）
本文提出MU-SHOT-Fi框架，通过源无关无监督域适应方法，在单用户和多用户Wi-Fi感知中实现准确的活动分类和占用估计，同时防止模型崩溃。
2026-05-21 cs.AI cs.LG eess.SP
Task Transfer and Domain Adaptation for Zero-Shot Question Answering
New York University（纽约大学）；IBM Research AI（IBM研究院人工智能部门）
预训练的语言模型在自然语言处理的各个领域都取得了成功，包括阅读理解任务。然而，当将机器学习方法应用于新领域时，标记的数据可能并不总是可用的。为了解决这个问题，我们对源域数据进行了有监督的预训练，以降低特定于域的下游任务的样本复杂度。我们通过将任务转移与领域自适应相结合来评估特定领域阅读理解任务的zero-shot性能，以微调预训练模型，而没有来自目标任务的标记数据。我们的方法在4个领域中的3个领域中的下游特定领域阅读理解任务上优于领域自适应预训练。
2022-06-14 cs.CL cs.LG
Optimization-Inspired Few-Shot Adaptation for Large Language Models
University of Oxford（牛津大学）；KAUST（科威特大学）
针对少样本场景下LLM微调数据与资源不足的问题，提出将前向传播视为优化过程，通过学习预条件器提升效率并导向平坦最小值，克服ICL与PEFT缺陷，实验性能更优。
2025-05-25 cs.LG
Exploring Few-Shot Adaptation for Activity Recognition on Diverse Domains
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Hunan University（湖南大学）；Mercedes-Benz Tech Innovation（梅赛德斯-奔驰技术创新公司）；University of Stuttgart（斯图加特大学）
本文研究活动识别的少样本领域自适应，提出包含五个数据集的新基准，并设计了利用少量标注样本作知识引导的 RelaMiX 方法，在所有数据集上达到最优性能。
2024-04-27 cs.AI cs.CV cs.RO
TOHAN: A One-step Approach towards Few-shot Hypothesis Adaptation
NUDT（国防科技大学）；HKBU（香港浸会大学）；Peng Cheng Laboratory（鹏城实验室）；USYD（悉尼大学）；HKUST（香港科技大学）；UTS（悉尼科技大学）
在Few-Shot领域自适应（FDA）中，用源域（SD）中的可访问标记数据和目标域（TD）中的少量标记数据来训练目标域的分类器。然而，在当前时代，数据通常包含私人信息，例如，个人手机上的数据。因此，如果我们直接访问SD中的数据来训练目标域分类器（FDA方法所需的），则会泄露私人信息。在本文中，为了彻底防止SD中的隐私泄漏，我们考虑了一个非常具有挑战性的问题设置，其中TD的分类器必须使用少量标记的目标数据和经过良好训练的SD分类器进行训练，称为Few-Shot假设自适应（FHA）。在FHA中，我们不能访问SD中的数据，因此，SD中的隐私信息将得到很好的保护。为此，我们提出了一个面向目标的假设自适应网络（TOHAN）来解决FHA问题，在那里我们生成高度兼容的未标记数据（即，中间域）来帮助训练目标域分类器。TOHAN同时维护两个深度网络，其中一个专注于学习中间域，另一个负责中间到目标的分布适应和目标风险最小化。实验结果表明，TOHAN显著优于竞争基线。
2022-09-07 cs.LG
PØDA: Prompt-driven Zero-shot Domain Adaptation
Inria（法国国家信息与自动化研究所）
本文提出 PØDA，仅凭目标域文本提示，借助 CLIP 和 PIN 调整源特征以实现零样本域适应，并在分割、检测和分类任务上取得显著提升。
2023-08-19 cs.CV cs.LG
Cluster-to-adapt: Few Shot Domain Adaptation for Semantic Segmentation across Disjoint Labels
University of California San Diego（加州大学圣地亚哥分校）
跨由相同类别组成的数据集的语义分割的领域自适应最近已经取得了一些成功。然而，更一般的情况是源数据集和目标数据集对应于不重叠的标签空间。例如，分割数据集中的类别根据环境或应用程序的类型而变化很大，但共享许多有价值的语义关系。现有的方法的基础上的特征对齐或差异最小化不考虑这种类别的转变。在这项工作中，我们提出了一种基于聚类的计算高效的方法，用于在具有完全不同但可能相关的类别的分割数据集上进行领域自适应。我们表明，这样的聚类目标在变换后的特征空间中强制执行，用于自动选择跨源和目标域的类别，这些类别可以对齐以提高目标性能，同时防止不相关类别的负转移。我们证明了我们的方法的有效性，通过实验上的挑战性问题的室外到室内的适应语义分割在Few-Shot以及zero-shot设置，与现有的方法和基线在所有情况下的性能的一致改进。
2022-08-04 cs.CV cs.LG
Rethinking Test-Time Training: Tilting The Latent Distribution For Few-Shot Source-Free Adaptation
Institute of Business Administration（商业管理学院）
本文提出一种无需训练的测试时间适应方法，通过倾斜潜在分布实现少样本源无关适应，无需修改模型参数，且在严格约束下表现优异。
2026-02-02 cs.LG stat.ML
Few-shot Adaptation Works with UnpredicTable Data
New York University（纽约大学）；Fund for Alignment Research（对齐研究基金）；Anthropic（Anthropic公司）
先前关于语言模型（LM）的工作表明，在大量不同任务上进行训练可以提高新任务上的少样本学习（FSL）性能。我们将这一点发挥到了极致，从互联网表中自动提取了413，299个任务-比下一个最大的公共数据集多了几个数量级。对结果数据集进行微调可以提高自然语言处理（NLP）任务的FSL性能，但与数据集规模不成比例。事实上，我们发现数据集的狭窄子集有时会胜过更多样化的数据集。例如，对来自support.google.com的软件文档进行微调，在52个下游任务上将FSL性能平均提高了+7.5%，这超过了在40个人工管理的NLP数据集上进行训练（+6.7%）。在各种窄数据集上进行微调，在整个测试任务中都得到了类似的广泛改进，这表明收益不是来自领域自适应，而是一般适应FSL。我们没有观察到导致FSL收益的数据集之间的清晰模式，留下了关于为什么某些数据有助于FSL的开放问题。
2022-08-08 cs.AI cs.CL cs.LG
Unifying Unsupervised Domain Adaptation and Zero-Shot Visual Recognition
Durham University（杜伦大学）；Xi’an Jiaotong University（西安交通大学）
无监督领域自适应的目的是将知识从源领域转移到目标领域，使得目标领域的数据可以在没有任何明确的标记信息的情况下被识别。问题设置的一个限制是，尽管没有标签，但在训练期间需要来自目标域的测试数据，这阻止了训练模型被直接应用于对看不见的测试实例进行分类。我们制定了一个新的跨域分类问题，该问题源于现实世界的场景，其中标记数据可用于目标域中的类子集（已知类），并且我们期望在模型学习后识别属于任何类（已知和未知类）的新样本。这是一个广义的零样本学习问题，其中边信息以标记样本的形式来自源域，而不是传统零样本学习中常用的类级语义表示。我们提出了一个统一的领域自适应框架无监督和零样本学习条件。我们的方法从源和目标域学习一个联合子空间，使两个数据在子空间中的投影可以是域不变的，很容易分离。我们使用有监督的局部保持投影（SLPP）作为使能技术，并在无监督和零样本学习条件下进行实验，在三个领域自适应基准数据集上实现了最先进的结果：加州理工学院，加州理工学院31和加州理工学院。
2019-08-26 cs.CV cs.LG
A Generative Framework for Zero-Shot Learning with Adversarial Domain Adaptation
IIT Kanpur（印度理工学院坎普尔分校）；Microsoft Research, India（微软研究院印度分院）；University of Toronto（多伦多大学）
提出了一种基于领域自适应的零样本学习生成框架。我们的框架解决了零样本学习中可见和不可见类分布之间的域转移问题，并通过开发一个通过对抗性领域自适应训练的生成模型来最大限度地减少这种转移。我们的方法是基于端到端学习的类分布的可见类和不可见类。为了使模型能够学习看不见的类的类分布，我们根据类属性信息（对可见和不可见的类都可用）来参数化这些类分布。这提供了一种非常简单的方法来学习任何看不见的类的类分布，只给出其类属性信息，而没有标记的训练数据。用对抗性领域自适应训练该模型进一步提供了针对来自可见类和不可见类的数据之间的分布失配的鲁棒性。我们的方法也提供了一种新的方法来训练基于神经网络的分类器，以克服在零样本学习的hubness问题。通过一组全面的实验，我们证明了我们的模型在各种基准数据集上与各种最先进的零样本学习模型相比具有更高的精度。实验代码可在github.com/vkkhare/ZSL-ADA上获得
2020-02-22 cs.CV cs.LG stat.ML
Dual Memory Networks: A Versatile Adaptation Approach for Vision-Language Models
HKPolyU（香港理工大学）；OPPO；HKUST（香港科技大学）；HKBU（香港浸会大学）
提出双记忆网络，通过静态和动态记忆组件及灵活交互策略，统一实现视觉语言模型在零样本、少样本和免训练少样本适应三种设置下的高性能。
2024-03-26 cs.AI cs.CV cs.LG
Zero-shot adaptation to order book dynamics
MBZUAI（穆尔亚人工智能研究院）
本文提出了一种适应性市场做市架构，保留了Avellaneda-Stoikov框架的分析结构，同时引入了继任者度量式适应机制，通过分离市场动态与交易目标，实现对变化市场制度和交易目标的适应。
2026-05-20 cs.CE cs.LG
Test-Time Adaptation via Many-Shot Prompting: Benefits, Limits, and Pitfalls
SambaNova Systems, Inc（SambaNova系统公司）；Stanford University（斯坦福大学）
研究通过多示例提示在不同任务和模型中分析测试时适应的性能变化，探讨其有效性及限制，指出其在结构化任务中的优势及在开放生成任务中的不足。
2026-03-17 cs.CL cs.LG
Few-Shot Learning via Embedding Adaptation with Set-to-Set Functions
Nanjing University（南京大学）；USC（南加州大学）；Google（谷歌）
在有限的数据下学习是视觉识别的一个关键挑战。许多少样本学习方法通过从可见类学习实例嵌入函数并将该函数应用于具有有限标签的不可见类的实例来解决这一挑战。这种类型的迁移学习是任务不可知的：嵌入函数不是关于看不见的类的最佳区分学习的，其中辨别它们会导致目标任务。在本文中，我们提出了一种新的方法来适应的实例嵌入的目标分类任务与集到集的功能，产生嵌入的任务是特定的，是有区别的。我们根据经验研究了这种集到集函数的各种实例化，并观察到Transformer是最有效的--因为它自然地满足了我们所需模型的关键属性。我们将该模型表示为FEAT（Few-Shot embedding adaptation w/ Transformer），并在标准的Few-Shot分类基准和四个扩展的少样本学习设置上验证它，这些设置具有基本用例，即，跨域、转换、广义少样本学习和低样本学习。它在基线模型和以前的方法上取得了一致的改进，并在两个基准上建立了新的最先进的结果。
2021-06-13 cs.CV cs.LG
Curriculum Learning for Few-Shot Domain Adaptation in CT-based Airway Tree Segmentation
针对CT气道分割的跨队列泛化问题，提出将课程学习集成到分割网络，按复杂度分批训练，在少样本域自适应中于ATM22和AIIB23队列取得高性能，并指出不当评分或排序的潜在风险。
2024-11-08 cs.CV cs.LG
Few-Shot Adaptation of Pre-Trained Networks for Domain Shift
Institute for Infocomm Research, A*STAR（新加坡科技研究局信息通信研究所）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）
当源（训练）数据和目标（测试）数据之间存在域转移时，深度网络容易出现性能下降。最近的测试时自适应方法使用流数据更新部署在新目标环境中的预训练源模型的批量归一化层，以减轻这种性能下降。虽然这些方法可以在不首先收集大型目标域数据集的情况下进行动态调整，但它们的性能取决于流条件，例如小批量大小和类分布，这在实践中可能是不可预测的。在这项工作中，我们提出了一个框架Few-Shot领域自适应，以解决实际的挑战，数据高效的适应。具体来说，我们提出了一个约束优化的特征归一化统计在预训练的源模型由一个小的支持集从目标域的监督。我们的方法很容易实现，并提高了源模型的性能，每个类只有一个样本的分类任务。在5个跨域分类和4个语义分割数据集上的实验表明，该方法比测试时自适应方法具有更高的准确性和可靠性，同时不受流媒体条件的限制。
2022-10-22 cs.CV cs.LG
Few-shot Domain Adaptation by Causal Mechanism Transfer
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们研究了用于回归问题的Few-Shot监督领域自适应（DA），其中只有少数标记的目标域数据和许多标记的源域数据可用。许多当前的DA方法将其传递假设基于参数化的分布偏移或表观分布相似性，例如，相同的条件或小的分配差异。然而，这些假设可能会排除从错综复杂的变化和显然非常不同的分布适应的可能性。为了克服这个问题，我们提出了机制转移，一个元分布的情况下，数据生成机制是不变的域之间。这种转移假设可以容纳非参数的变化，导致明显不同的分布，同时提供了坚实的统计基础DA。我们以因果建模中的结构方程为例，提出了一种新的DA方法，这是有用的理论和实验。我们的方法可以被看作是第一次尝试充分利用DA的结构因果模型。
2020-08-19 cs.LG stat.ML
Zero-shot task adaptation by homoiconic meta-mapping
Stanford University（斯坦福大学）
深度学习系统如何灵活地重用它们的知识？为了实现这一目标，我们提出了一类新的挑战，以及一类可以解决这些挑战的架构。挑战是元映射，这涉及系统地转换任务行为，以适应新的任务zero-shot。实现这些挑战的关键是以这样一种方式表示正在执行的任务，即该任务表示本身是可转换的。因此，我们从函数式编程和最近的元学习工作中汲取灵感，提出了一类Homoiconic Meta-Mapping（HoMM）方法，该方法表示共享潜在空间中的数据点和任务，并学习推断该空间的转换。HoMM方法可以应用于任何类型的机器学习任务。我们展示了这种观点的效用，通过展示zero-shot重新映射的行为，以适应新的任务。
2019-11-12 cs.LG cs.NE stat.ML
Query-Conditioned Prototype Adaptation for Cross-Domain Few-Shot Learning: Single-Query Inference, Controlled Comparisons, and Failure Modes
University of Nottingham Malaysia（诺丁汉大学马来西亚校区）
本研究提出WIPT方法，通过单查询测试时原型自适应改善跨域少样本分类，在部分目标上提升精度，但收益非普遍，且支持流式推理。
2026-09-28 cs.CV cs.LG
COBRA: COmBinatorial Retrieval Augmentation for Few-Shot Adaptation
University of Washington（华盛顿大学）
针对少样本自适应中检索样本冗余问题，提出基于组合互信息度量的COBRA方法，兼顾多样性与相似性，在LAION-2B上显著提升图像分类性能且开销可忽略。
2025-03-28 cs.LG
Zero-Shot Adaptation to Robot Structural Damage via Natural Language-Informed Kinodynamics Modeling
本研究提出ZLIK方法，利用自然语言引导的自监督学习，通过数据驱动的方式学习运动动力学模型，实现对机器人结构损伤的零样本适应，显著降低运动动力学误差并提升跨尺度泛化能力。
2026-02-12 cs.RO
VoiceTTA: Enhancing Zero-Shot Text-to-Speech via Reinforcement Learning-Based Test-Time Adaptation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Tencent（腾讯）
提出VoiceTTA，一种基于强化学习的测试时自适应方法，通过优化可学习前缀和风格奖励，提升预训练零样本TTS模型对罕见语音风格的模仿能力。
2026-06-26 cs.AI cs.SD
Embedding Adaptation is Still Needed for Few-Shot Learning
University of Southern California（南加州大学）；Google AI（谷歌AI）
构建新的更具挑战性的任务集是分析和理解Few-Shot分类方法的有效方法。不幸的是，现有的构建这些任务集的方法有些不令人满意：它们要么假设训练和测试任务分布是相同的-这导致过于乐观的评估-或者采取“最坏情况”的哲学-这通常需要额外的人力劳动，如获得语义类关系。我们提出了ATG，一个原则性的聚类方法来定义训练和测试任务集，而无需额外的人类知识。ATG对任务分布进行训练和测试，同时要求它们共享预定义的信息量。我们经验证明了ATG在生成任务集，更容易，在两者之间，或更难比现有的基准，包括那些依赖于语义信息的有效性。最后，我们利用我们生成的任务集来阐明Few-Shot分类：基于梯度的方法-以前被认为表现不佳-在传输最具挑战性时可以胜过基于度量的方法。
2021-04-15 cs.CV cs.LG
Zero-shot Domain Adaptation Based on Attribute Information
The University of Tokyo（东京大学）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能研究中心）；Data Science Research Laboratories, NEC（日本电气公司数据科学研究实验室）；Future University Hakodate（函馆未来大学）
在本文中，我们提出了一种新的领域自适应方法，可以适用于没有目标数据。我们考虑的情况下，域转移是由一个特定的因素的先验变化，并假设我们知道如何源和目标域之间的先验变化。我们称这个因素为属性，并重新制定的领域自适应问题，利用属性先验，而不是目标数据。在我们的方法中，源数据被重新加权的属性先验估计和数据本身，使它们在目标域中是有用的样本的重量。我们从理论上揭示，我们的方法提供了更精确的估计样本的可转移性比一个简单的基于属性的重新加权的方法。在玩具数据集和基准数据集上的实验结果表明，该方法虽然不使用任何目标数据，但性能良好。
2019-03-13 cs.LG stat.ML
Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation
National University of Singapore（新加坡国立大学）
无监督领域自适应（UDA）旨在利用从标记源数据集学习的知识来解决新的未标记领域中的类似任务。以前的UDA方法通常需要在学习适应模型时访问源数据，这使得它们对于分散的私有数据来说是有风险和低效的。这项工作解决了一个实际的设置，只有一个训练有素的源模型是可用的，并探讨我们如何可以有效地利用这样一个模型没有源数据来解决UDA问题。我们提出了一个简单而通用的表示学习框架，命名为\emph{Source HypOthesis Transfer}（SHOT）。SHOT冻结源模型的分类器模块（假设），并通过利用信息最大化和自监督伪标记来学习目标特定的特征提取模块，以隐式地将来自目标域的表示与源假设对齐。为了验证它的通用性，我们评估SHOT在各种适应情况下，包括闭集，部分集，和开集领域自适应。实验结果表明，SHOT在多个领域自适应基准测试中获得了最佳的结果。
2021-06-01 cs.CV cs.LG
Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling
College of Computer Science and Technology, ZheJiang University（浙江大学计算机科学与技术学院）；Hikvision Research Institute（海康威视研究院）
Visual Storytelling~（VIST）是根据给定的照片流讲述关于某个主题的叙事故事的任务。现有的研究集中在设计复杂的模型，这依赖于大量的人类注释的数据。然而，VIST的标注是非常昂贵的，并且由于长尾主题分布，许多主题无法在训练数据集中覆盖。在本文中，我们专注于提高推广能力的VIST模型，考虑Few-Shot设置。受人类讲故事的方式的启发，我们提出了一个主题自适应说书人来模拟主题间泛化的能力。在实践中，我们将基于梯度的Meta学习算法应用于多模态seq 2 seq模型，以赋予模型快速适应不同主题的能力。此外，我们还提出了一个原型编码结构来模拟主题内派生的能力。具体来说，我们编码和恢复的几个训练故事的文本作为参考，以指导在推理时的生成。实验结果表明，主题自适应和原型编码结构对Few-Shot模型在BLEU和METEOR度量上的性能都有很大的改善。进一步的个案研究表明，经过Few-Shot改编后的故事具有更强的相对性和表现力。
2020-08-11 cs.CL cs.CV cs.IR
Zero-Shot Domain Adaptation via Kernel Regression on the Grassmannian
Queen Mary, University of London（伦敦玛丽女王大学）
大多数视觉识别方法隐含地假设数据分布从训练到测试保持不变。然而，在实践中，域转移经常存在，其中诸如照明和传感器类型的真实世界因素在训练和测试之间改变，并且分类器不能从源域概括到目标域。针对所有可能的情况训练单独的模型是不切实际的，因为收集和标记数据是昂贵的。领域自适应算法旨在改善域偏移，允许在源上训练的模型在不同的目标域上表现良好。然而，即使对于无监督领域自适应的设置，其中目标域未被标记，收集每个可能的目标域的数据仍然是昂贵的。本文提出了一种新的领域自适应方法，当目标域可以用一个参数化向量来描述且同一参数空间内存在多个相关的源域时，该方法不需要访问目标域的数据或标签。它大大减少了数据汇集和注释的负担，我们的实验表明，一些有前途的结果。
2015-07-29 cs.CV cs.LG
Prmpt2Adpt: Prompt-Based Zero-Shot Domain Adaptation for Resource-Constrained Environments
Clean and Resilient Energy System Lab (CARES), Texas A&M University（清洁而坚韧能源系统实验室（CARES），德克萨斯A&M大学）；Robotics Research Center, United States Military Academy（机器人研究中心，美国军事学院）
针对资源受限环境，提出基于提示的零样本域适应框架Prmpt2Adpt，利用蒸馏CLIP和提示驱动实例归一化实现快速适应，性能相当且速度提升显著。
2025-06-20 cs.CV cs.LG
One-Shot Federated Unsupervised Domain Adaptation with Scaled Entropy Attention and Multi-Source Smoothed Pseudo Labeling
University of Windsor（温莎大学）
针对联邦域适应中的数据隐私、域偏移和多轮通信开销问题，提出单轮FUDA方法，通过SEA聚合可靠模型并结合MSPL与SSCE生成、净化伪标签，在四个基准上以更低成本超越现有方法。
2025-03-13 cs.CV cs.LG
SAMDA: Leveraging SAM on Few-Shot Domain Adaptation for Electronic Microscopy Segmentation
School of Artificial Intelligence, Beijing University of Post and Telecommunication（北京邮电大学人工智能学院）
提出SAMDA框架，结合SAM与nnUNet实现电子显微镜分割的少样本域自适应，通过融合通用与专家组件提升迁移性和准确性，目标域dice系数提高6.7%，单样本性能优于10-shot。
2024-03-12 cs.CV cs.LG eess.IV
Spectral Adversarial MixUp for Few-Shot Unsupervised Domain Adaptation
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
针对少样本无监督域适应，提出基于频谱敏感度图的谱对抗混合方法，生成目标风格图像以提升模型泛化能力。
2023-09-03 cs.CV cs.LG eess.IV
Few-shot model-based adaptation in noisy conditions
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；KU Leuven（鲁汶大学）
Few-Shot自适应是机器人仿真到真实传输背景下的一个具有挑战性的问题，需要安全和信息丰富的数据汇集。在物理系统中，域噪声可能会带来额外的挑战，这几乎存在于所有现实世界的应用中。在本文中，我们提出了执行Few-Shot适应的动态模型在噪声条件下使用不确定性感知卡尔曼滤波器为基础的神经网络架构。我们表明，所提出的方法，明确地解决域噪声，改善了Few-Shot自适应错误的黑盒适应LSTM基线，并在无模型的政策上的强化学习方法，试图学习一个适应性和信息的政策在同一时间。所提出的方法还允许通过分析模型在适应期间和适应之后的隐藏状态来进行系统分析。
2020-10-16 cs.LG cs.RO
Incremental Few-Shot Adaptation for Non-Prehensile Object Manipulation using Parallelizable Physics Simulators
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Augsburg（奥格斯堡大学）
提出一种利用可并行物理模拟器增量适应动力学模型的方法，通过少样本交互示例优化模型参数，实现非抓取操作的模型预测控制，并在仿真和真实机器人上验证。
2025-03-29 cs.LG cs.RO
Unsupervised Few-Shot Action Recognition via Action-Appearance Aligned Meta-Adaptation
Microsoft（微软）；Oregon State University（俄勒冈州立大学）
我们提出MetaUVFS作为第一个无监督Meta学习算法的视频Few-Shot动作识别。MetaUVFS利用超过55万个未标记的视频，通过对比学习来训练双流2D和3D CNN架构，以分别捕获特定于外观的空间和特定于动作的时空视频特征。MetaUVFS包括一个新的视频-外观对齐元自适应（A3 M）模块，该模块通过在无监督的硬挖掘剧集上的显式Few-Shot情节元学习来学习关注与外观特征相关的面向动作的视频特征。我们的动作外观对齐和显式的Few-Shot学习器使无监督训练能够模仿下游的Few-Shot任务，使MetaUVFS在Few-Shot基准测试中显著优于所有无监督方法。此外，与以前的有监督的Few-Shot动作识别方法不同，MetaUVFS既不需要基类标签，也不需要有监督的预训练骨干。因此，我们只需要训练MetaUVFS一次，就可以在流行的HMDB 51、UCF 101和Kinetics 100 Few-Shot数据集上与最先进的监督方法竞争，有时甚至优于它们。
2021-10-11 cs.AI cs.CV cs.LG
Policy Adaptation via Language Optimization: Decomposing Tasks for Few-Shot Imitation
University of California, Berkeley（加州大学伯克利分校）
本文提出 PALO，利用 VLM 生成任务语言分解并结合少量示范实现非参数化策略适配，在真实长时域机器人操作任务中优于现有通用策略和同数据方法。
2024-08-29 cs.LG cs.RO
Extending Music Annotation Schemas: Zero-Shot Prediction or Few-Shot Adaptation?
Queen Mary University of London（伦敦玛丽女王大学）
针对音乐标注模式扩展问题，提出基于MGPHot数据集的基准，对比零样本预测与监督适应，发现监督适应在较小预算下更优，冻结表示复用为适度预算下最有效方案。
2026-10-07 cs.LG cs.SD
OSOA: One-Shot Online Adaptation of Deep Generative Models for Lossless Compression
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
显式深度生成模型（DGMs），例如，VAE和标准化流已被证明为无损压缩提供了一种有效的数据建模替代方案。然而，DGMs本身通常需要大的存储空间，因此污染了精确的数据密度估计带来的优势。为了消除为不同目标数据集保存单独模型的要求，我们提出了一种新的设置，该设置从预训练的深度生成模型开始，并压缩数据批次，同时仅在一个时期内使用动态系统调整模型。我们正式这个设置为单镜头在线适应（OSOA）的DGMs的无损压缩，并提出了香草算法在此设置下。实验结果表明，与训练定制模型相比，香草OSOA可以节省大量时间，与对所有目标使用一个模型相比，可以节省空间。在相同的自适应步长或自适应时间下，vanilla OSOA可以表现出更好的空间效率，例如，与微调预训练模型并保存微调后的模型相比，$47\%$占用的空间更少。此外，我们展示了潜力的OSOA和激励更复杂的OSOA算法，显示进一步的空间或时间效率与多个更新每批和早期停止。
2021-11-02 cs.AI cs.LG
Grounded Adaptation for Zero-shot Executable Semantic Parsing
University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
我们提出了接地适应Zero-shot可执行语义解析（GAZP），以适应现有的语义解析器新的环境（例如，新的数据库模式）。GAZP将前向语义解析器与后向话语生成器相结合，在新的环境中合成数据（如话语和SQL查询），然后选择循环一致的例子来适应解析器。与通常在训练环境中合成未经验证的示例的数据增强不同，GAZP在新环境中合成输入-输出一致性得到验证的示例。在Spider、Sparc和CoSQL zero-shot语义解析任务上，GAZP改进了基线解析器的逻辑形式和执行精度。我们的分析表明，GAZP在训练环境中优于数据增强，性能随着GAZP合成数据量的增加而增加，并且周期一致性是成功适应的核心。
2021-02-01 cs.AI cs.CL cs.DB
Generalized Zero-Shot Domain Adaptation via Coupled Conditional Variational Autoencoders
Durham University（杜伦大学）
领域自适应方法旨在利用来自源域的有用信息来解决目标域中的学习问题，在源域中更容易获得监督学习示例，在目标域中不存在或存在有限的此类示例的可用性。在分类问题中，领域自适应已经在不同的监督、无监督和半监督条件下被研究。然而，一个常见的情况下，标记的样本可用于目标域类的子集已被忽视。在本文中，我们制定了这个特殊的领域自适应问题在一个广义的零样本学习框架内，通过处理标记的源域样本的语义表示零样本学习。对于该特定问题，传统的领域自适应方法和零样本学习算法都不直接应用。为了解决这个广义的zero-shot领域自适应问题，我们提出了一种新的耦合条件变分自编码器（CCVAE），它可以生成合成的目标域功能，从他们的源域对应的看不见的类。在三个领域自适应数据集上进行了广泛的实验，其中包括一个定制的X射线安全检查点数据集，以模拟航空安全中的实际应用。结果表明，我们提出的方法的有效性，既对既定的基准和现实世界的适用性。
2020-08-03 cs.CV cs.LG stat.ML
Few-Max: Few-Shot Domain Adaptation for Unsupervised Contrastive Representation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
对比自监督学习方法学习将诸如图像的数据点映射到非参数表示空间而不需要标签。虽然非常成功，但目前的方法在训练阶段需要大量的数据。在目标训练集大小有限的情况下，泛化能力较差。在Few-Shot模式下，在大的源数据集上进行预训练并对目标样本进行微调，很容易出现过拟合，因为只有少量的目标样本可用。出于这一动机，我们提出了一种自监督对比学习的域自适应方法，称为Few-Max，以解决适应少样本学习下的目标分布的问题。为了量化表示质量，我们在一系列源和目标数据集上评估了Few-Max，包括ImageNet，VisDA和fastMRI，Few-Max始终优于其他方法。
2022-06-22 cs.AI cs.CV cs.LG
Projected Subnetworks Scale Adaptation
University of Oxford（牛津大学）
大型号支持强大的zero-shot和Few-Shot功能。然而，在新任务上更新这些模型可能会破坏先前可见任务及其零/Few-Shot不可见任务的性能。我们的工作探讨了如何更新零/Few-Shot学习器，使他们可以保持性能上看到/看不见的任务，以前的任务，以及新的任务。通过操纵基于梯度的Meta学习器的参数更新作为投影的特定于任务的子网络，我们展示了大型模型的改进，以保留在线设置中的可见和零/Few Shot任务性能。
2023-01-27 cs.LG
MC-RFM: Geometry-Aware Few-Shot Adaptation via Mixed-Curvature Riemannian Flow Matching
Talan Research Center（塔兰研究中心）
本文提出MC-RFM框架，通过混合曲率黎曼流匹配实现少样本适应，结合双曲因子和欧几里得因子构建产品流形，提升视觉识别性能。
2026-05-08 cs.AI cs.CV cs.LG
OTTER: Effortless Label Distribution Adaptation of Zero-shot Models
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对零样本模型因预训练数据不平衡导致的标签分布不匹配问题，提出基于最优传输的轻量调整方法OTTER，仅需下游标签分布估计，理论有误差界保证，实验在多类零样本任务上显著优于基线。
2024-10-30 cs.AI cs.LG
Few-shot Class-variable Incremental Audio Classification via Prototype Adaptation and Pseudo Class-variable Training
School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息学院）
针对实际中类别数量增减的少样本类变量增量音频分类问题，提出一种结合原型适应网络和伪类变量训练策略的方法，在三个公开数据集上平均准确率超过现有方法。
2026-06-16 cs.AI cs.LG eess.AS
