Curriculum Learning for Few-Shot Domain Adaptation in CT-based Airway Tree Segmentation
针对CT气道分割的跨队列泛化问题，提出将课程学习集成到分割网络，按复杂度分批训练，在少样本域自适应中于ATM22和AIIB23队列取得高性能，并指出不当评分或排序的潜在风险。
2024-11-08 cs.CV cs.LG
Few-Shot Adaptation of Pre-Trained Networks for Domain Shift
Institute for Infocomm Research, A*STAR（新加坡科技研究局信息通信研究所）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）
当源（训练）数据和目标（测试）数据之间存在域转移时，深度网络容易出现性能下降。最近的测试时自适应方法使用流数据更新部署在新目标环境中的预训练源模型的批量归一化层，以减轻这种性能下降。虽然这些方法可以在不首先收集大型目标域数据集的情况下进行动态调整，但它们的性能取决于流条件，例如小批量大小和类分布，这在实践中可能是不可预测的。在这项工作中，我们提出了一个框架Few-Shot领域自适应，以解决实际的挑战，数据高效的适应。具体来说，我们提出了一个约束优化的特征归一化统计在预训练的源模型由一个小的支持集从目标域的监督。我们的方法很容易实现，并提高了源模型的性能，每个类只有一个样本的分类任务。在5个跨域分类和4个语义分割数据集上的实验表明，该方法比测试时自适应方法具有更高的准确性和可靠性，同时不受流媒体条件的限制。
2022-10-22 cs.CV cs.LG
Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation
Huazhong University of Science & Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）；Farsee2 Tech. Co.（Farsee2科技公司）；Baidu Research（百度研究院）
本文针对One-Shot无监督领域自适应问题进行研究。与传统的无监督领域自适应不同，它假设在学习自适应时只有一个未标记的目标样本可用。这种设置是现实的，但更具挑战性，在传统的适应方法很容易失败，由于缺乏未标记的目标数据。为此，我们提出了一种新的对抗性风格挖掘方法，它结合了风格转换模块和任务特定模块到一个对抗的方式。具体而言，风格转移模块根据当前学习状态迭代地在一次性目标样本周围搜索更难风格化的图像，引导任务模型探索几乎不可见的目标领域中难以解决的潜在风格，从而提高数据稀缺场景中的适应性能。对抗性学习框架使风格迁移模块和任务特定模块在竞争中相互受益。跨域分类和分割基准上的大量实验验证了ASM在具有挑战性的单次设置下实现了最先进的自适应性能。
2020-04-13 cs.CV cs.LG eess.IV
Query-Conditioned Prototype Adaptation for Cross-Domain Few-Shot Learning: Single-Query Inference, Controlled Comparisons, and Failure Modes
University of Nottingham Malaysia（诺丁汉大学马来西亚校区）
本研究提出WIPT方法，通过单查询测试时原型自适应改善跨域少样本分类，在部分目标上提升精度，但收益非普遍，且支持流式推理。
2026-09-28 cs.CV cs.LG
Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation
National University of Singapore（新加坡国立大学）
无监督领域自适应（UDA）旨在利用从标记源数据集学习的知识来解决新的未标记领域中的类似任务。以前的UDA方法通常需要在学习适应模型时访问源数据，这使得它们对于分散的私有数据来说是有风险和低效的。这项工作解决了一个实际的设置，只有一个训练有素的源模型是可用的，并探讨我们如何可以有效地利用这样一个模型没有源数据来解决UDA问题。我们提出了一个简单而通用的表示学习框架，命名为\emph{Source HypOthesis Transfer}（SHOT）。SHOT冻结源模型的分类器模块（假设），并通过利用信息最大化和自监督伪标记来学习目标特定的特征提取模块，以隐式地将来自目标域的表示与源假设对齐。为了验证它的通用性，我们评估SHOT在各种适应情况下，包括闭集，部分集，和开集领域自适应。实验结果表明，SHOT在多个领域自适应基准测试中获得了最佳的结果。
2021-06-01 cs.CV cs.LG
Single-Shot Domain Adaptation via Target-Aware Generative Augmentation
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
由于深度神经网络中的脆弱泛化，使用来自任何感兴趣目标域的数据来适应源域的模型的问题已经变得突出。虽然已经出现了几种测试时自适应技术，但在目标数据可用性有限的情况下，它们通常依赖于合成数据增强。在本文中，我们考虑了单次自适应的挑战性设置，并探索了增强策略的设计。我们认为，现有的方法所利用的增强是不足以处理大的分布偏移，因此提出了一种新的方法SiSTA（单次目标增强），首先微调生成模型从源域使用单次目标，然后采用新的采样策略策展合成目标数据。使用国家的最先进的领域自适应方法的实验，我们发现，SiSTA产生高达20\%的改进超过现有的基线下，具有挑战性的变化，在面部属性检测，它执行竞争力的Oracle模型通过训练获得一个更大的目标数据集。
2022-10-29 cs.CV cs.LG stat.ML
Zero-Shot Domain Adaptation via Kernel Regression on the Grassmannian
Queen Mary, University of London（伦敦玛丽女王大学）
大多数视觉识别方法隐含地假设数据分布从训练到测试保持不变。然而，在实践中，域转移经常存在，其中诸如照明和传感器类型的真实世界因素在训练和测试之间改变，并且分类器不能从源域概括到目标域。针对所有可能的情况训练单独的模型是不切实际的，因为收集和标记数据是昂贵的。领域自适应算法旨在改善域偏移，允许在源上训练的模型在不同的目标域上表现良好。然而，即使对于无监督领域自适应的设置，其中目标域未被标记，收集每个可能的目标域的数据仍然是昂贵的。本文提出了一种新的领域自适应方法，当目标域可以用一个参数化向量来描述且同一参数空间内存在多个相关的源域时，该方法不需要访问目标域的数据或标签。它大大减少了数据汇集和注释的负担，我们的实验表明，一些有前途的结果。
2015-07-29 cs.CV cs.LG
Prmpt2Adpt: Prompt-Based Zero-Shot Domain Adaptation for Resource-Constrained Environments
Clean and Resilient Energy System Lab (CARES), Texas A&M University（清洁而坚韧能源系统实验室（CARES），德克萨斯A&M大学）；Robotics Research Center, United States Military Academy（机器人研究中心，美国军事学院）
针对资源受限环境，提出基于提示的零样本域适应框架Prmpt2Adpt，利用蒸馏CLIP和提示驱动实例归一化实现快速适应，性能相当且速度提升显著。
2025-06-20 cs.CV cs.LG
One-Shot Federated Unsupervised Domain Adaptation with Scaled Entropy Attention and Multi-Source Smoothed Pseudo Labeling
University of Windsor（温莎大学）
针对联邦域适应中的数据隐私、域偏移和多轮通信开销问题，提出单轮FUDA方法，通过SEA聚合可靠模型并结合MSPL与SSCE生成、净化伪标签，在四个基准上以更低成本超越现有方法。
2025-03-13 cs.CV cs.LG
A Generative Framework for Zero-Shot Learning with Adversarial Domain Adaptation
IIT Kanpur（印度理工学院坎普尔分校）；Microsoft Research, India（微软研究院印度分院）；University of Toronto（多伦多大学）
提出了一种基于领域自适应的零样本学习生成框架。我们的框架解决了零样本学习中可见和不可见类分布之间的域转移问题，并通过开发一个通过对抗性领域自适应训练的生成模型来最大限度地减少这种转移。我们的方法是基于端到端学习的类分布的可见类和不可见类。为了使模型能够学习看不见的类的类分布，我们根据类属性信息（对可见和不可见的类都可用）来参数化这些类分布。这提供了一种非常简单的方法来学习任何看不见的类的类分布，只给出其类属性信息，而没有标记的训练数据。用对抗性领域自适应训练该模型进一步提供了针对来自可见类和不可见类的数据之间的分布失配的鲁棒性。我们的方法也提供了一种新的方法来训练基于神经网络的分类器，以克服在零样本学习的hubness问题。通过一组全面的实验，我们证明了我们的模型在各种基准数据集上与各种最先进的零样本学习模型相比具有更高的精度。实验代码可在github.com/vkkhare/ZSL-ADA上获得
2020-02-22 cs.CV cs.LG stat.ML
Multi-source Few-shot Domain Adaptation
University of California, Berkeley（加州大学伯克利分校）；National University of Singapore（新加坡国立大学）；Nanjing University（南京大学）
多源领域自适应（MDA）的目的是将预测模型从多个完全标记的源域转移到未标记的目标域。然而，在许多应用中，相关的标记源数据集可能不可用，并且收集源标签可能与标记目标数据本身一样昂贵。在本文中，我们研究多源Few-Shot领域自适应（MFDA）：一个新的领域自适应的情况下，有限的多源标签和未标记的目标数据。正如我们所示，现有的方法往往无法学习的歧视性功能的源和目标域中的MFDA设置。因此，我们提出了一个新的框架，称为多源Few-Shot适应网络（MSFAN），它可以以非对抗的方式进行端到端的训练。MSFAN首先使用一种典型的、多域的、自监督学习来学习不仅是域不变的而且是类区分的特征。其次，MSFAN使用一个小的，标记的支持集，以加强跨域的功能一致性和域不变性。最后，利用来自多个来源的原型来学习更好的分类器。与最先进的MDA方法相比，MSFAN在MFDA上的不同域对上的平均分类准确率分别提高了20.2%，9.4%和16.2%。
2021-09-25 cs.AI cs.CV cs.LG
SIDA: Synthetic Image Driven Zero-shot Domain Adaptation
Hanyang University（汉阳大学）
提出SIDA方法，利用合成图像生成目标域风格特征，通过域混合和补丁风格转移模块实现高效零样本域适应，在多个场景中达到最优性能。
2026-06-29 cs.AI cs.CV cs.LG
Unsupervised Domain Adaptation for Cross-Subject Few-Shot Neurological Symptom Detection
School of Applied and Engineering Physics, Cornell University（康奈尔大学应用与工程物理学院）；Center for Neuroprosthetics, EPFL（洛桑联邦理工学院神经假肢中心）
现代机器学习工具在检测神经系统疾病的症状方面显示出了希望。然而，当前的方法通常为每个对象训练唯一的分类器。这种特定于受试者的训练方案需要来自每个患者的长标记记录，因此无法检测具有有限记录的新患者的症状。本文介绍了一种基于对抗网络的无监督领域自适应方法，以实现Few-Shot，跨主题癫痫发作检测。使用对抗性学习，来自多个患者的特征被编码到一个主题不变空间中，并在主题不变特征上训练一个判别模型来进行预测。我们评估了这种方法的颅内脑电图（iEEG）记录9例癫痫患者。我们的方法使跨主题癫痫发作检测与9.4\%的改善，1杆分类精度相比，传统的主题特定的计划。
2021-02-28 cs.LG
AdaptKeyBERT: An Attention-Based approach towards Few-Shot & Zero-Shot Domain Adaptation of KeyBERT
Manipal Institute of Technology（马尼帕尔理工学院）；Manipal Academy of Higher Education（马尼帕尔高等教育学院）
关键词抽取是现代自然语言处理的一个重要课题。它的应用范围从本体生成，事实验证摘要文本，和推荐系统。虽然它有重要的数据密集型应用程序，但当数据集很小时，它往往受到阻碍。关键字提取器的下游训练是一个漫长的过程，需要大量的数据。最近，已经提出了少样本学习（FSL）和零样本学习（Zero-Shot Learning，ZRL）来解决这个问题。因此，我们提出了AdaptKeyBERT，这是一种通过将正则化注意力的概念纳入下游领域自适应的预训练阶段来训练具有LLM基础的关键字提取器的管道。由于我们相信我们的工作对FSL/FML和关键字提取的管道有影响，我们开源了我们的代码，并在https://github.com/AmanPriyanshu/AdaptKeyBERT上提供了同名AdaptKeyBERT的微调库。
2022-11-16 cs.CL cs.LG
Optimization-Inspired Few-Shot Adaptation for Large Language Models
University of Oxford（牛津大学）；KAUST（科威特大学）
针对少样本场景下LLM微调数据与资源不足的问题，提出将前向传播视为优化过程，通过学习预条件器提升效率并导向平坦最小值，克服ICL与PEFT缺陷，实验性能更优。
2025-05-25 cs.LG
TOHAN: A One-step Approach towards Few-shot Hypothesis Adaptation
NUDT（国防科技大学）；HKBU（香港浸会大学）；Peng Cheng Laboratory（鹏城实验室）；USYD（悉尼大学）；HKUST（香港科技大学）；UTS（悉尼科技大学）
在Few-Shot领域自适应（FDA）中，用源域（SD）中的可访问标记数据和目标域（TD）中的少量标记数据来训练目标域的分类器。然而，在当前时代，数据通常包含私人信息，例如，个人手机上的数据。因此，如果我们直接访问SD中的数据来训练目标域分类器（FDA方法所需的），则会泄露私人信息。在本文中，为了彻底防止SD中的隐私泄漏，我们考虑了一个非常具有挑战性的问题设置，其中TD的分类器必须使用少量标记的目标数据和经过良好训练的SD分类器进行训练，称为Few-Shot假设自适应（FHA）。在FHA中，我们不能访问SD中的数据，因此，SD中的隐私信息将得到很好的保护。为此，我们提出了一个面向目标的假设自适应网络（TOHAN）来解决FHA问题，在那里我们生成高度兼容的未标记数据（即，中间域）来帮助训练目标域分类器。TOHAN同时维护两个深度网络，其中一个专注于学习中间域，另一个负责中间到目标的分布适应和目标风险最小化。实验结果表明，TOHAN显著优于竞争基线。
2022-09-07 cs.LG
SAMDA: Leveraging SAM on Few-Shot Domain Adaptation for Electronic Microscopy Segmentation
School of Artificial Intelligence, Beijing University of Post and Telecommunication（北京邮电大学人工智能学院）
提出SAMDA框架，结合SAM与nnUNet实现电子显微镜分割的少样本域自适应，通过融合通用与专家组件提升迁移性和准确性，目标域dice系数提高6.7%，单样本性能优于10-shot。
2024-03-12 cs.CV cs.LG eess.IV
Predictive Optimization with Zero-Shot Domain Adaptation
NEC Corporation（NEC公司）；RIKEN（理化学研究所）
zero-shot领域自适应（领域自适应）是在没有任何训练样本的情况下在一个新的域中进行预测的一项重要任务。虽然在一个新的领域的预测得到了很多关注，在本文中，我们调查的另一个潜在的CRAMDA。具体来说，我们不是在一个新的领域中预测响应，而是在给定预测的情况下找到一个新领域的描述。该任务被认为是预测优化，但现有的预测优化方法还没有扩展到处理多个域。我们提出了一个简单的框架，预测优化与CARDA和分析的条件下，优化问题成为凸优化。我们还讨论了在预测优化中如何处理域的特征之间的相互作用。通过数值实验，我们证明了我们提出的框架的潜在有用性。
2021-01-15 cs.LG stat.ML
Spectral Adversarial MixUp for Few-Shot Unsupervised Domain Adaptation
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
针对少样本无监督域适应，提出基于频谱敏感度图的谱对抗混合方法，生成目标风格图像以提升模型泛化能力。
2023-09-03 cs.CV cs.LG eess.IV
Meta-Tool: Efficient Few-Shot Tool Adaptation for Small Language Models
LexisNexis, USA（LexisNexis美国公司）
本文通过Meta-Tool研究小语言模型是否能在不复杂适应机制下实现强工具使用性能，发现超网络适应无显著提升，提示应关注提示工程与示例整理。
2026-04-22 cs.AI cs.CL cs.LG
Task Transfer and Domain Adaptation for Zero-Shot Question Answering
New York University（纽约大学）；IBM Research AI（IBM研究院人工智能部门）
预训练的语言模型在自然语言处理的各个领域都取得了成功，包括阅读理解任务。然而，当将机器学习方法应用于新领域时，标记的数据可能并不总是可用的。为了解决这个问题，我们对源域数据进行了有监督的预训练，以降低特定于域的下游任务的样本复杂度。我们通过将任务转移与领域自适应相结合来评估特定领域阅读理解任务的zero-shot性能，以微调预训练模型，而没有来自目标任务的标记数据。我们的方法在4个领域中的3个领域中的下游特定领域阅读理解任务上优于领域自适应预训练。
2022-06-14 cs.CL cs.LG
Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling
College of Computer Science and Technology, ZheJiang University（浙江大学计算机科学与技术学院）；Hikvision Research Institute（海康威视研究院）
Visual Storytelling~（VIST）是根据给定的照片流讲述关于某个主题的叙事故事的任务。现有的研究集中在设计复杂的模型，这依赖于大量的人类注释的数据。然而，VIST的标注是非常昂贵的，并且由于长尾主题分布，许多主题无法在训练数据集中覆盖。在本文中，我们专注于提高推广能力的VIST模型，考虑Few-Shot设置。受人类讲故事的方式的启发，我们提出了一个主题自适应说书人来模拟主题间泛化的能力。在实践中，我们将基于梯度的Meta学习算法应用于多模态seq 2 seq模型，以赋予模型快速适应不同主题的能力。此外，我们还提出了一个原型编码结构来模拟主题内派生的能力。具体来说，我们编码和恢复的几个训练故事的文本作为参考，以指导在推理时的生成。实验结果表明，主题自适应和原型编码结构对Few-Shot模型在BLEU和METEOR度量上的性能都有很大的改善。进一步的个案研究表明，经过Few-Shot改编后的故事具有更强的相对性和表现力。
2020-08-11 cs.CL cs.CV cs.IR
Rethinking Test-Time Training: Tilting The Latent Distribution For Few-Shot Source-Free Adaptation
Institute of Business Administration（商业管理学院）
本文提出一种无需训练的测试时间适应方法，通过倾斜潜在分布实现少样本源无关适应，无需修改模型参数，且在严格约束下表现优异。
2026-02-02 cs.LG stat.ML
Dual Memory Networks: A Versatile Adaptation Approach for Vision-Language Models
HKPolyU（香港理工大学）；OPPO；HKUST（香港科技大学）；HKBU（香港浸会大学）
提出双记忆网络，通过静态和动态记忆组件及灵活交互策略，统一实现视觉语言模型在零样本、少样本和免训练少样本适应三种设置下的高性能。
2024-03-26 cs.AI cs.CV cs.LG
Zero-shot adaptation to order book dynamics
MBZUAI（穆尔亚人工智能研究院）
本文提出了一种适应性市场做市架构，保留了Avellaneda-Stoikov框架的分析结构，同时引入了继任者度量式适应机制，通过分离市场动态与交易目标，实现对变化市场制度和交易目标的适应。
2026-05-20 cs.CE cs.LG
Test-Time Adaptation via Many-Shot Prompting: Benefits, Limits, and Pitfalls
SambaNova Systems, Inc（SambaNova系统公司）；Stanford University（斯坦福大学）
研究通过多示例提示在不同任务和模型中分析测试时适应的性能变化，探讨其有效性及限制，指出其在结构化任务中的优势及在开放生成任务中的不足。
2026-03-17 cs.CL cs.LG
COBRA: COmBinatorial Retrieval Augmentation for Few-Shot Adaptation
University of Washington（华盛顿大学）
针对少样本自适应中检索样本冗余问题，提出基于组合互信息度量的COBRA方法，兼顾多样性与相似性，在LAION-2B上显著提升图像分类性能且开销可忽略。
2025-03-28 cs.LG
Zero-shot Sim2Real Adaptation Across Environments
Applied Artificial Intelligence Institute（应用人工智能研究院）；Deakin University（迪肯大学）
基于仿真的学习通常为机器人技术中的强化学习应用提供了一种具有成本效益的手段。然而，仿真器通常无法准确地复制真实世界的动态，因此弥合sim2real差距是基于仿真的学习中的一个重要问题。目前的解决方案，以弥合sim2real差距涉及混合模拟器，增强神经残差模型。不幸的是，它们需要针对每个单独的环境配置的单独的残差模型（即，诸如质量、摩擦等的环境变量的固定设置），因此不能快速转移到新的环境。为了解决这个问题，我们提出了一个反向动作转换（RAT）的政策，学习模仿在现实世界中的模拟政策。一旦从单个环境中学习，RAT就可以部署在通用策略网络之上，以实现对新环境的zero-shot适应。我们经验性地评估我们的方法在一组连续的控制任务，并观察其优势，作为一个Few-Shot和zero-shot学习竞争基线。
2023-02-08 cs.AI cs.LG cs.RO
Few-shot Domain Adaptation by Causal Mechanism Transfer
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们研究了用于回归问题的Few-Shot监督领域自适应（DA），其中只有少数标记的目标域数据和许多标记的源域数据可用。许多当前的DA方法将其传递假设基于参数化的分布偏移或表观分布相似性，例如，相同的条件或小的分配差异。然而，这些假设可能会排除从错综复杂的变化和显然非常不同的分布适应的可能性。为了克服这个问题，我们提出了机制转移，一个元分布的情况下，数据生成机制是不变的域之间。这种转移假设可以容纳非参数的变化，导致明显不同的分布，同时提供了坚实的统计基础DA。我们以因果建模中的结构方程为例，提出了一种新的DA方法，这是有用的理论和实验。我们的方法可以被看作是第一次尝试充分利用DA的结构因果模型。
2020-08-19 cs.LG stat.ML
Zero-shot task adaptation by homoiconic meta-mapping
Stanford University（斯坦福大学）
深度学习系统如何灵活地重用它们的知识？为了实现这一目标，我们提出了一类新的挑战，以及一类可以解决这些挑战的架构。挑战是元映射，这涉及系统地转换任务行为，以适应新的任务zero-shot。实现这些挑战的关键是以这样一种方式表示正在执行的任务，即该任务表示本身是可转换的。因此，我们从函数式编程和最近的元学习工作中汲取灵感，提出了一类Homoiconic Meta-Mapping（HoMM）方法，该方法表示共享潜在空间中的数据点和任务，并学习推断该空间的转换。HoMM方法可以应用于任何类型的机器学习任务。我们展示了这种观点的效用，通过展示zero-shot重新映射的行为，以适应新的任务。
2019-11-12 cs.LG cs.NE stat.ML
Re-Evaluating Continual Learning with Few-Shot Adaptation
Department of Computer Science（计算机科学系）
本文提出用少样本评估替代零样本评估来更全面衡量持续学习系统的稳定性和可塑性，并通过新指标“每样本可塑性”发现元学习未来任务序列能诱导学习到学习行为。
2026-06-02 cs.AI cs.LG
Zero-shot Domain Adaptation Based on Attribute Information
The University of Tokyo（东京大学）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能研究中心）；Data Science Research Laboratories, NEC（日本电气公司数据科学研究实验室）；Future University Hakodate（函馆未来大学）
在本文中，我们提出了一种新的领域自适应方法，可以适用于没有目标数据。我们考虑的情况下，域转移是由一个特定的因素的先验变化，并假设我们知道如何源和目标域之间的先验变化。我们称这个因素为属性，并重新制定的领域自适应问题，利用属性先验，而不是目标数据。在我们的方法中，源数据被重新加权的属性先验估计和数据本身，使它们在目标域中是有用的样本的重量。我们从理论上揭示，我们的方法提供了更精确的估计样本的可转移性比一个简单的基于属性的重新加权的方法。在玩具数据集和基准数据集上的实验结果表明，该方法虽然不使用任何目标数据，但性能良好。
2019-03-13 cs.LG stat.ML
Variable-Shot Adaptation for Online Meta-Learning
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
Few-Shot元学习方法考虑通过跨来自一组先前任务的静态数据的元学习来从小的固定数量的示例学习新任务的问题。然而，在许多现实世界中，更自然的是将问题视为最小化监督总量的问题之一-学习新任务所需的示例数量和元学习所需的数据量。这样的公式可以在顺序学习环境中进行研究，其中任务按顺序呈现。当在这种在线环境中研究元学习时，出现了一个关键问题：当同时考虑元训练和适应时，元学习能否改善标准经验风险最小化方法的样本复杂性和遗憾？对于需要大量Meta训练数据的复杂双层优化的元学习算法，答案尤其不明显。为了回答这个问题，我们扩展了以前的元学习算法，以处理顺序学习中自然出现的可变镜头设置：从开始的多镜头学习到最后的零样本学习。在顺序学习问题上，我们发现，与标准的监督方法相比，元学习用更少的整体标签解决了整个任务集，并实现了更高的累积性能。这些结果表明，元学习是构建学习系统的一个重要组成部分，该系统可以在一系列问题上不断学习和改进。
2020-12-14 cs.AI cs.LG
MU-SHOT-Fi: Self-Supervised Multi-User Wi-Fi Sensing with Source-free Unsupervised Domain Adaptation
department of Electrical Engineering and Computer Science（电气工程与计算机科学系）
本文提出MU-SHOT-Fi框架，通过源无关无监督域适应方法，在单用户和多用户Wi-Fi感知中实现准确的活动分类和占用估计，同时防止模型崩溃。
2026-05-21 cs.AI cs.LG eess.SP
Few-shot Adaptation Works with UnpredicTable Data
New York University（纽约大学）；Fund for Alignment Research（对齐研究基金）；Anthropic（Anthropic公司）
先前关于语言模型（LM）的工作表明，在大量不同任务上进行训练可以提高新任务上的少样本学习（FSL）性能。我们将这一点发挥到了极致，从互联网表中自动提取了413，299个任务-比下一个最大的公共数据集多了几个数量级。对结果数据集进行微调可以提高自然语言处理（NLP）任务的FSL性能，但与数据集规模不成比例。事实上，我们发现数据集的狭窄子集有时会胜过更多样化的数据集。例如，对来自support.google.com的软件文档进行微调，在52个下游任务上将FSL性能平均提高了+7.5%，这超过了在40个人工管理的NLP数据集上进行训练（+6.7%）。在各种窄数据集上进行微调，在整个测试任务中都得到了类似的广泛改进，这表明收益不是来自领域自适应，而是一般适应FSL。我们没有观察到导致FSL收益的数据集之间的清晰模式，留下了关于为什么某些数据有助于FSL的开放问题。
2022-08-08 cs.AI cs.CL cs.LG
Generalized Zero-Shot Domain Adaptation via Coupled Conditional Variational Autoencoders
Durham University（杜伦大学）
领域自适应方法旨在利用来自源域的有用信息来解决目标域中的学习问题，在源域中更容易获得监督学习示例，在目标域中不存在或存在有限的此类示例的可用性。在分类问题中，领域自适应已经在不同的监督、无监督和半监督条件下被研究。然而，一个常见的情况下，标记的样本可用于目标域类的子集已被忽视。在本文中，我们制定了这个特殊的领域自适应问题在一个广义的零样本学习框架内，通过处理标记的源域样本的语义表示零样本学习。对于该特定问题，传统的领域自适应方法和零样本学习算法都不直接应用。为了解决这个广义的zero-shot领域自适应问题，我们提出了一种新的耦合条件变分自编码器（CCVAE），它可以生成合成的目标域功能，从他们的源域对应的看不见的类。在三个领域自适应数据集上进行了广泛的实验，其中包括一个定制的X射线安全检查点数据集，以模拟航空安全中的实际应用。结果表明，我们提出的方法的有效性，既对既定的基准和现实世界的适用性。
2020-08-03 cs.CV cs.LG stat.ML
Weight Averaging for Out-of-Distribution Generalization and Few-Shot Domain Adaptation
LIONS lab（LIONS实验室）
本研究针对分布外泛化与少样本域自适应问题，通过引入梯度相似度正则项提升权重平均的模型多样性，并结合锐度感知最小化，在多个数据集上验证了性能提升效果。
2025-01-14 cs.CV cs.LG
HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning
Huazhong University of Science and Technology (HUST)（华中科技大学）；Inception Institute of Artificial Intelligence (IIAI)（创景人工智能研究所）；Alibaba Group（阿里巴巴集团）
零样本学习（Zero-shot learning，简称ZRL）解决了不可见类识别问题，将语义知识从可见类转移到不可见类。通常，为了保证所需的知识传递，采用公共（潜在）空间来关联CNOL中的视觉和语义域。然而，现有的公共空间学习方法仅通过一步适应来减轻分布不一致，从而使语义和视觉域对齐。这种策略通常是无效的，由于在这两个域中的特征表示的异质性，这本质上包含分布和结构的变化。为了解决这一问题，并推进语义视觉适应，我们提出了一种新的分层语义视觉适应（HSVA）框架。具体而言，HSVA通过采用分层两步适应来对齐语义和视觉域，即，结构自适应和分布自适应。在结构调整步骤中，我们采用两个特定于任务的编码器将源数据（视觉域）和目标数据（语义域）编码到结构对齐的公共空间中。为此，提出了一种监督对抗差异（SAD）模块，以对抗性地最小化两个特定任务分类器的预测之间的差异，从而使视觉和语义特征流形更紧密地对齐。在分布自适应步骤中，我们直接最小化潜在多元高斯分布之间的Wasserstein距离，以使用公共编码器对齐视觉和语义分布。最后，在两个部分对齐的变分自编码器下，在统一的框架中导出了结构和分布自适应。在四个基准数据集上的大量实验表明，HSVA在传统和广义的CNOL上都取得了优异的性能。代码可在\url{https://github.com/shiming-chen/HSVA}上获得。
2021-10-08 cs.CV cs.LG
Unsupervised Few-Shot Action Recognition via Action-Appearance Aligned Meta-Adaptation
Microsoft（微软）；Oregon State University（俄勒冈州立大学）
我们提出MetaUVFS作为第一个无监督Meta学习算法的视频Few-Shot动作识别。MetaUVFS利用超过55万个未标记的视频，通过对比学习来训练双流2D和3D CNN架构，以分别捕获特定于外观的空间和特定于动作的时空视频特征。MetaUVFS包括一个新的视频-外观对齐元自适应（A3 M）模块，该模块通过在无监督的硬挖掘剧集上的显式Few-Shot情节元学习来学习关注与外观特征相关的面向动作的视频特征。我们的动作外观对齐和显式的Few-Shot学习器使无监督训练能够模仿下游的Few-Shot任务，使MetaUVFS在Few-Shot基准测试中显著优于所有无监督方法。此外，与以前的有监督的Few-Shot动作识别方法不同，MetaUVFS既不需要基类标签，也不需要有监督的预训练骨干。因此，我们只需要训练MetaUVFS一次，就可以在流行的HMDB 51、UCF 101和Kinetics 100 Few-Shot数据集上与最先进的监督方法竞争，有时甚至优于它们。
2021-10-11 cs.AI cs.CV cs.LG
Few-shot model-based adaptation in noisy conditions
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；KU Leuven（鲁汶大学）
Few-Shot自适应是机器人仿真到真实传输背景下的一个具有挑战性的问题，需要安全和信息丰富的数据汇集。在物理系统中，域噪声可能会带来额外的挑战，这几乎存在于所有现实世界的应用中。在本文中，我们提出了执行Few-Shot适应的动态模型在噪声条件下使用不确定性感知卡尔曼滤波器为基础的神经网络架构。我们表明，所提出的方法，明确地解决域噪声，改善了Few-Shot自适应错误的黑盒适应LSTM基线，并在无模型的政策上的强化学习方法，试图学习一个适应性和信息的政策在同一时间。所提出的方法还允许通过分析模型在适应期间和适应之后的隐藏状态来进行系统分析。
2020-10-16 cs.LG cs.RO
Few-Max: Few-Shot Domain Adaptation for Unsupervised Contrastive Representation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
对比自监督学习方法学习将诸如图像的数据点映射到非参数表示空间而不需要标签。虽然非常成功，但目前的方法在训练阶段需要大量的数据。在目标训练集大小有限的情况下，泛化能力较差。在Few-Shot模式下，在大的源数据集上进行预训练并对目标样本进行微调，很容易出现过拟合，因为只有少量的目标样本可用。出于这一动机，我们提出了一种自监督对比学习的域自适应方法，称为Few-Max，以解决适应少样本学习下的目标分布的问题。为了量化表示质量，我们在一系列源和目标数据集上评估了Few-Max，包括ImageNet，VisDA和fastMRI，Few-Max始终优于其他方法。
2022-06-22 cs.AI cs.CV cs.LG
Projected Subnetworks Scale Adaptation
University of Oxford（牛津大学）
大型号支持强大的zero-shot和Few-Shot功能。然而，在新任务上更新这些模型可能会破坏先前可见任务及其零/Few-Shot不可见任务的性能。我们的工作探讨了如何更新零/Few-Shot学习器，使他们可以保持性能上看到/看不见的任务，以前的任务，以及新的任务。通过操纵基于梯度的Meta学习器的参数更新作为投影的特定于任务的子网络，我们展示了大型模型的改进，以保留在线设置中的可见和零/Few Shot任务性能。
2023-01-27 cs.LG
Extending Music Annotation Schemas: Zero-Shot Prediction or Few-Shot Adaptation?
Queen Mary University of London（伦敦玛丽女王大学）
针对音乐标注模式扩展问题，提出基于MGPHot数据集的基准，对比零样本预测与监督适应，发现监督适应在较小预算下更优，冻结表示复用为适度预算下最有效方案。
2026-10-07 cs.LG cs.SD
MC-RFM: Geometry-Aware Few-Shot Adaptation via Mixed-Curvature Riemannian Flow Matching
Talan Research Center（塔兰研究中心）
本文提出MC-RFM框架，通过混合曲率黎曼流匹配实现少样本适应，结合双曲因子和欧几里得因子构建产品流形，提升视觉识别性能。
2026-05-08 cs.AI cs.CV cs.LG
Few-shot Adaptation to Distribution Shifts By Mixing Source and Target Embeddings
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Cisco Systems Inc.（思科系统公司）
本文提出轻量高效的少样本适应方法MixPro，通过线性混合源数据和少量目标样本的预训练嵌入生成新数据集并训练线性分类器，有效缓解小数据噪声与过拟合，在8个数据集上仅需2-4个样本即可提升最多7%性能。
2024-05-29 cs.CL cs.CV cs.LG
ProKeR: A Kernel Perspective on Few-Shot Adaptation of Large Vision-Language Models
IMT Atlantique（大西洋电信学院）；Inria（法国国家信息与自动化研究所）；University Rennes（雷恩大学）；CNRS（法国国家科学研究中心）
从核视角分析Tip-Adapter，提出全局近端正则化的ProKeR方法，在11个数据集上达到少样本适应最先进性能。
2025-01-19 cs.AI cs.CV cs.LG
BayaHAR: Lightweight Bayesian Few-Shot User Adaptation for On-Device Personalized Human Activity Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；IPAI Foundation gGmbH（IPAI基金会）
提出一种无梯度框架，通过贝叶斯原型估计实现监督/无监督少样本用户自适应，仅需每活动3秒校准数据即可显著提升设备上HAR模型性能。
2026-09-22 cs.LG
Domain Arithmetic: One-Shot VLA Adaptation under Environmental Shifts
Seoul National University（首尔国立大学）
提出域算术（DART）方法，通过权重向量算术和子空间对齐，仅需单次演示即可适应环境变化，在视觉和实体变化场景下优于现有方法。
2026-07-02 cs.CV cs.LG cs.RO
Incremental Few-Shot Adaptation for Non-Prehensile Object Manipulation using Parallelizable Physics Simulators
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Augsburg（奥格斯堡大学）
提出一种利用可并行物理模拟器增量适应动力学模型的方法，通过少样本交互示例优化模型参数，实现非抓取操作的模型预测控制，并在仿真和真实机器人上验证。
2025-03-29 cs.LG cs.RO
Grounded Adaptation for Zero-shot Executable Semantic Parsing
University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
我们提出了接地适应Zero-shot可执行语义解析（GAZP），以适应现有的语义解析器新的环境（例如，新的数据库模式）。GAZP将前向语义解析器与后向话语生成器相结合，在新的环境中合成数据（如话语和SQL查询），然后选择循环一致的例子来适应解析器。与通常在训练环境中合成未经验证的示例的数据增强不同，GAZP在新环境中合成输入-输出一致性得到验证的示例。在Spider、Sparc和CoSQL zero-shot语义解析任务上，GAZP改进了基线解析器的逻辑形式和执行精度。我们的分析表明，GAZP在训练环境中优于数据增强，性能随着GAZP合成数据量的增加而增加，并且周期一致性是成功适应的核心。
2021-02-01 cs.AI cs.CL cs.DB
One-Shot Adaptation of GAN in Just One CLIP
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
最近有许多研究努力用几个目标图像来微调预训练的生成器，以生成新领域的图像。不幸的是，这些方法在用单个目标图像进行微调时经常遭受过拟合或欠拟合。为了解决这个问题，在这里，我们提出了一种新的单镜头GAN适应方法，通过统一的CLIP空间操作。具体来说，我们的模型采用了两步训练策略：使用CLIP引导的潜在优化在源生成器中搜索参考图像，然后使用新的损失函数进行生成器微调，该函数在源和自适应生成器之间施加CLIP空间一致性。为了进一步改进自适应模型以产生相对于源生成器空间一致的样本，我们还提出了CLIP空间中分片关系的对比正则化。实验结果表明，我们的模型产生不同的输出与目标纹理，并优于基准模型的定性和定量。此外，我们表明，我们的CLIP空间操作策略允许更有效的属性编辑。
2023-01-30 cs.AI cs.CV cs.LG
BOFFIN TTS: Few-Shot Speaker Adaptation by Bayesian Optimization
Amazon Research（亚马逊研究院）
我们提出了BOFFIN TTS（贝叶斯优化微调神经文本转语音），Few-Shot说话人自适应的一种新方法。在这里，任务是微调预训练的TTS模型，以使用目标话语的小语料库来模仿新的说话者。我们证明，不存在一个一刀切的适应策略，令人信服的合成需要一个特定于语料库的配置控制微调的超参数。通过使用贝叶斯优化来有效地优化目标扬声器的这些超参数值，我们能够执行自适应，与标准技术相比，扬声器相似性平均提高30%。结果表明，在多个语料库中，BOFFIN TTS可以使用不到10分钟的音频学习合成新的扬声器，实现与用于训练基础模型的扬声器相同的自然度。
2020-02-04 cs.LG cs.SD eess.AS
Prototype Adaptation for Zero-Shot sEMG Movement Classification
Faculty of Technology, Bielefeld University（比勒费尔德大学技术学院）
研究针对上肢截肢者假肢控制中组合运动识别难题，提出CPI和SAP两种零样本学习方法，基于嵌入空间线性插值假设，在多数据集实验中，SAP表现出色，组合运动准确率大幅提升，在在线推理实验中优势也得以保持。
2026-07-29 cs.LG
Policy Adaptation via Language Optimization: Decomposing Tasks for Few-Shot Imitation
University of California, Berkeley（加州大学伯克利分校）
本文提出 PALO，利用 VLM 生成任务语言分解并结合少量示范实现非参数化策略适配，在真实长时域机器人操作任务中优于现有通用策略和同数据方法。
2024-08-29 cs.LG cs.RO
