Low-Rank Few-Shot Adaptation of Vision-Language Models
UCLouvain（天主教鲁汶大学）；UMons（蒙斯大学）；ÉTS Montréal（蒙特利尔工程学院）
本文提出CLIP-LoRA，一种基于低秩适应的视觉语言模型少样本学习方法，在11个数据集上表现优于现有提示和适配器方法，同时简化训练流程并保持超参数一致性，为该领域提供了强基线。
2024-06-01 cs.CV
ProKeR: A Kernel Perspective on Few-Shot Adaptation of Large Vision-Language Models
IMT Atlantique（大西洋电信学院）；Inria（法国国家信息与自动化研究所）；University Rennes（雷恩大学）；CNRS（法国国家科学研究中心）
从核视角分析Tip-Adapter，提出全局近端正则化的ProKeR方法，在11个数据集上达到少样本适应最先进性能。
2025-01-19 cs.AI cs.CV cs.LG
Complementary Subspace Low-Rank Adaptation of Vision-Language Models for Few-Shot Classification
School of EECE, University of Chinese Academy of Science（中国科学院大学电子电气与通信工程学院）；Dolby Lab. Inc.（杜比实验室公司）
提出Comp-LoRA方法，通过在互补子空间优化低秩矩阵缓解灾难性遗忘，在少样本分类中提升了准确率并保留了VLM零样本性能。
2025-01-25 cs.CV
Few-shot Adaptation of Medical Vision-Language Models
ÉTS Montreal（蒙特利尔工程学院）；Centre de Recherche du Centre Hospitalier de l’Université de Montréal (CRCHUM)（蒙特利尔大学中心医院研究中心）
本文构建严格少样本医学VLM适配基准，比较多种策略，并证明融合视觉原型与文本嵌入的线性探针兼具竞争力、速度与黑盒可用性。
2024-09-05 cs.CV
When Semantics Saturate or Emerge: Adaptation-Conditional Semantic Utility in Source-Free Cross-Domain Few-Shot Learning
College of Computer Science, Jiangsu University of Science and Technology（江苏科技大学计算机学院）
该研究针对无源跨域小样本学习，发现零样本提示质量无法完全代表适配锚点质量，揭示了语义饱和与涌现两种模式，为评估语言提供了新方向。
2026-08-28 cs.CV
BaFTA: Backprop-Free Test-Time Adaptation For Zero-Shot Vision-Language Models
University of Southern California（南加州大学）；Amazon（亚马逊公司）
针对零样本视觉-语言模型测试时自适应易训练坍缩的问题，提出无反向传播算法BaFTA，通过投影空间在线聚类估计类别质心并基于Rényi熵融合多源预测，在效果和效率上均优于现有方法。
2024-06-18 cs.CV
Dual Memory Networks: A Versatile Adaptation Approach for Vision-Language Models
HKPolyU（香港理工大学）；OPPO；HKUST（香港科技大学）；HKBU（香港浸会大学）
提出双记忆网络，通过静态和动态记忆组件及灵活交互策略，统一实现视觉语言模型在零样本、少样本和免训练少样本适应三种设置下的高性能。
2024-03-26 cs.AI cs.CV cs.LG
Test-Time Low Rank Adaptation via Confidence Maximization for Zero-Shot Generalization of Vision-Language Models
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学（MBZUAI））
本文提出测试时低秩适应（TTL）方法，通过最大化预测置信度更新注意力权重并引入少量低秩适配器参数，在保持主干冻结下实现大规模视觉语言模型的零样本泛化，显著优于测试时提示调整基线。
2024-07-22 cs.CV
VITA: Zero-Shot Value Functions via Test-Time Adaptation of Vision-Language Models
VITA通过测试时间适应提升视觉语言模型的零样本价值估计能力，实现跨任务和环境的泛化，优于现有方法。
2026-02-27 cs.AI cs.CV
ReHARK: Refined Hybrid Adaptive RBF Kernels for Robust One-Shot Vision-Language Adaptation
Buet.ac.bd（巴特西大学）
ReHARK通过重构混合自适应RBF核框架，利用全局近端正则化提升单样本视觉-语言适应的稳定性与准确性，实现65.83%的平均准确率。
2026-03-12 cs.AI cs.CV
Few-Shot, Now for Real: Medical VLMs Adaptation without Balanced Sets or Validation
ÉTS Montréal（ÉTS蒙特利尔）；Centre de Recherche du Centre Hospitalier de l’Université de Montréal (CRCHUM)（蒙特利尔大学中心医院研究中心（CRCHUM））
本研究针对医学视觉语言模型在现实不平衡且无验证集条件下的少样本适配问题，提出一种无需训练的线性探针方法，自适应融合视觉与文本监督，在多种模态和任务上优于现有方法，实现稳健高效的适配。
2025-06-20 cs.CV
TOFA: Training-Free One-Shot Federated Adaptation for Vision-Language Models
TOFA提出一种无需训练的一次性联邦适应方法，通过视觉和文本管道提取任务相关表示，以高效适应视觉-语言模型在联邦学习中的应用。
2025-11-20 cs.AI cs.CL
When Can Test-Time Adaptation Help Zero-Shot CT Vision-Language Models?
University of British Columbia（英属哥伦比亚大学）；Vector Institute（向量研究所）
研究零样本3D CT视觉语言模型中测试时自适应（TTA）的作用，通过控制诊断分析表明其具有条件性，引入CARVE方法，在基础模型有判别力时能带来一致改进，确立多标签TTA问题及CARVE为基数感知解决方案。
2026-07-20 cs.CV
Few-shot Adaptation of Multi-modal Foundation Models: A Survey
Hohai University（河海大学）；HKUST（香港科技大学）
本综述系统梳理了多模态基础模型少样本适应方法的研究进展，总结了基于提示、适配器和外部知识的三种技术途径，推导了泛化误差界，并提出了三种未来解决方案。
2024-01-04 cs.CV
One Head Eight Arms: Block Matrix based Low Rank Adaptation for CLIP-based Few-Shot Learning
Zhejiang university（浙江大学）
提出Block-LoRA框架，通过共享下投影子矩阵将LoRA低秩矩阵划分为子矩阵，减少参数并降低计算成本，在单24GB GPU上实现CLIP小样本微调且性能具竞争力。
2025-01-28 cs.AI cs.CV
MI-VisionShot: Few-shot adaptation of vision-language models for slide-level classification of histopathological images
valgrAI - Valencian Graduate School and Research Network of Artificial Intelligence（valgrAI——瓦伦西亚人工智能研究生院与研究网络）
本文提出 MI-VisionShot，一种基于视觉-语言模型的无训练少样本适配方法，通过检索切片内最具判别力的图像块构建多实例原型分类器，实现组织病理切片级预测，并在低样本场景下以更低变异性超越零样本迁移。
2024-10-21 cs.AI cs.CV
TCLA: Training-Free Class-wise Logit Adaptation for Medical Vision-Language Models
University of Bern（伯尔尼大学）；Shanghai Jiao Tong University（上海交通大学）
针对医学视觉语言模型在分布外数据上有效性下降问题，提出无训练的少样本适应方法TCLA。该方法基于支持样本校正推理对数几率，提升模型性能，实验表明其能持续提高模型OOD性能且多数情况下优于现有训练方法。
2026-07-13 cs.AI cs.CV
Adapting in the Dark: Efficient and Stable Test-Time Adaptation for Black-Box Models
Tulane University（路易斯安那州立大学）；Nanyang Technological University（南洋理工大学）；The University of Melbourne（墨尔本大学）
本文提出BETA框架，通过轻量级白盒引导模型和预测和谐化技术，实现高效稳定的黑盒测试时适应，无需额外API调用，且在ImageNet-C和商业API上均取得优异性能。
2026-04-17 cs.CV cs.LG
On Enforcing Better Conditioned Meta-Learning for Rapid Few-Shot Adaptation
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
受预处理概念的启发，我们提出了一种新的方法来提高基于梯度的元学习方法的适应速度，而不会产生额外的参数。我们证明，重铸的优化问题的非线性最小二乘制定提供了一个原则性的方法，积极执行$\textit{well-conditioned}$参数空间的元学习模型的基础上的概念的条件数和局部曲率。我们的综合评估表明，该方法显着优于其无约束的对应，特别是在初始适应步骤，同时实现可比或更好的整体效果上几个Few-Shot分类任务-创建的可能性，动态选择的适应步骤的数量在推理时间。
2022-10-15 cs.CV cs.LG
Few-shot Adaptation to Distribution Shifts By Mixing Source and Target Embeddings
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Cisco Systems Inc.（思科系统公司）
本文提出轻量高效的少样本适应方法MixPro，通过线性混合源数据和少量目标样本的预训练嵌入生成新数据集并训练线性分类器，有效缓解小数据噪声与过拟合，在8个数据集上仅需2-4个样本即可提升最多7%性能。
2024-05-29 cs.CL cs.CV cs.LG
Generalized Zero-Shot Domain Adaptation via Coupled Conditional Variational Autoencoders
Durham University（杜伦大学）
领域自适应方法旨在利用来自源域的有用信息来解决目标域中的学习问题，在源域中更容易获得监督学习示例，在目标域中不存在或存在有限的此类示例的可用性。在分类问题中，领域自适应已经在不同的监督、无监督和半监督条件下被研究。然而，一个常见的情况下，标记的样本可用于目标域类的子集已被忽视。在本文中，我们制定了这个特殊的领域自适应问题在一个广义的零样本学习框架内，通过处理标记的源域样本的语义表示零样本学习。对于该特定问题，传统的领域自适应方法和零样本学习算法都不直接应用。为了解决这个广义的zero-shot领域自适应问题，我们提出了一种新的耦合条件变分自编码器（CCVAE），它可以生成合成的目标域功能，从他们的源域对应的看不见的类。在三个领域自适应数据集上进行了广泛的实验，其中包括一个定制的X射线安全检查点数据集，以模拟航空安全中的实际应用。结果表明，我们提出的方法的有效性，既对既定的基准和现实世界的适用性。
2020-08-03 cs.CV cs.LG stat.ML
StyleDomain: Efficient and Lightweight Parameterizations of StyleGAN for One-shot and Few-shot Domain Adaptation
HSE University（高等经济大学）；AIRI（人工智能研究所）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
本文系统分析了StyleGAN的域适应问题，提出了高效轻量的参数化方法，包括用于相似域的StyleDomain方向和用于不相似域的Affine+及AffineLight+，在减少训练参数的同时优于现有基线，并发现了StyleDomain方向在域混合和跨域图像变形中的新特性。
2023-09-12 cs.CV cs.LG
Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation
Huazhong University of Science & Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）；Farsee2 Tech. Co.（Farsee2科技公司）；Baidu Research（百度研究院）
本文针对One-Shot无监督领域自适应问题进行研究。与传统的无监督领域自适应不同，它假设在学习自适应时只有一个未标记的目标样本可用。这种设置是现实的，但更具挑战性，在传统的适应方法很容易失败，由于缺乏未标记的目标数据。为此，我们提出了一种新的对抗性风格挖掘方法，它结合了风格转换模块和任务特定模块到一个对抗的方式。具体而言，风格转移模块根据当前学习状态迭代地在一次性目标样本周围搜索更难风格化的图像，引导任务模型探索几乎不可见的目标领域中难以解决的潜在风格，从而提高数据稀缺场景中的适应性能。对抗性学习框架使风格迁移模块和任务特定模块在竞争中相互受益。跨域分类和分割基准上的大量实验验证了ASM在具有挑战性的单次设置下实现了最先进的自适应性能。
2020-04-13 cs.CV cs.LG eess.IV
PØDA: Prompt-driven Zero-shot Domain Adaptation
Inria（法国国家信息与自动化研究所）
本文提出 PØDA，仅凭目标域文本提示，借助 CLIP 和 PIN 调整源特征以实现零样本域适应，并在分割、检测和分类任务上取得显著提升。
2023-08-19 cs.CV cs.LG
Few-Shot Adaptation for Multimedia Semantic Indexing
Tokyo Institute of Technology（东京工业大学）
我们提出了一个Few-Shot自适应框架，它桥接了零样本学习和有监督的多样本学习，用于图像和视频数据的语义索引。Few-Shot自适应算法通过同时优化零样本学习和监督多样本学习的参数，以较少的训练样本提供鲁棒的参数估计。该方法首先构造一个zero-shot检测器，然后利用少量的例子对检测器进行更新。我们的实验表明了所提出的框架在三个数据集上的有效性：TRECVID语义索引2010，2014和ImageNet。在ImageNET数据集上，我们证明了我们的方法优于最近的少样本学习方法。在TRECVID 2014数据集上，我们在zero-shot条件和监督条件下分别获得了15.19%和35.98%的平均精度。据我们所知，这些是该数据集上的最佳结果。
2018-07-19 cs.CV cs.MM
Cluster-to-adapt: Few Shot Domain Adaptation for Semantic Segmentation across Disjoint Labels
University of California San Diego（加州大学圣地亚哥分校）
跨由相同类别组成的数据集的语义分割的领域自适应最近已经取得了一些成功。然而，更一般的情况是源数据集和目标数据集对应于不重叠的标签空间。例如，分割数据集中的类别根据环境或应用程序的类型而变化很大，但共享许多有价值的语义关系。现有的方法的基础上的特征对齐或差异最小化不考虑这种类别的转变。在这项工作中，我们提出了一种基于聚类的计算高效的方法，用于在具有完全不同但可能相关的类别的分割数据集上进行领域自适应。我们表明，这样的聚类目标在变换后的特征空间中强制执行，用于自动选择跨源和目标域的类别，这些类别可以对齐以提高目标性能，同时防止不相关类别的负转移。我们证明了我们的方法的有效性，通过实验上的挑战性问题的室外到室内的适应语义分割在Few-Shot以及zero-shot设置，与现有的方法和基线在所有情况下的性能的一致改进。
2022-08-04 cs.CV cs.LG
DynaGAN: Dynamic Few-shot Adaptation of GANs to Multiple Domains
POSTECH（浦项科技大学）；Pebblous
对多个域的Few-Shot领域自适应旨在从少量训练图像学习跨多个域的复杂图像分布。这里一个简单的解决方案是使用Few-Shot领域自适应方法为每个域训练一个单独的模型。不幸的是，这种方法要求线性缩放的计算资源在内存和计算时间，更重要的是，这种单独的模型不能利用目标域之间的共享知识。在本文中，我们提出了DynaGAN，一种新的Few-Shot域自适应多目标域的方法。DynaGAN有一个自适应模块，它是一个超网络，可以将预训练的GAN模型动态地适应多个目标域。因此，我们可以充分利用跨目标域的共享知识，并避免线性缩放的计算要求。由于适应大尺寸GAN模型在计算上仍然具有挑战性，因此我们使用秩1张量分解来设计我们的适应模块轻量化。最后，我们提出了一种适用于多域Few-Shot自适应的对比度自适应损失。我们通过大量的定性和定量评估来验证我们的方法的有效性。
2022-11-26 cs.CV
Modular Adaptation for Cross-Domain Few-Shot Learning
SRI International（SRI国际）
适应预先训练的表示已成为学习新的下游任务的首选方法，但示例有限。虽然文献已经证明了巨大的成功，通过表示学习，在这项工作中，我们表明，大量的性能改善下游任务的适应过程的适当设计也可以实现。具体来说，我们提出了一个模块化的适应方法，有选择地执行多个国家的最先进的（SOTA）适应方法的顺序。由于不同的下游任务可能需要不同类型的适配，我们的模块化适配可以根据下游任务动态配置最合适的模块。此外，作为对现有的跨域5路k-shot基准的扩展（例如，miniImageNet -> CUB），我们使用来自10个不同数据集的数据创建了一个新的高速（~100）k-shot基准。这个基准测试提供了一组不同的域，并允许使用从ImageNet学习到的更强的表示。实验结果表明，通过对下游任务定制自适应过程，我们的模块化自适应管道（MAP）在5杆分类精度上比微调和原型网络的基线提高了3.1%。
2021-04-01 cs.CV
Unsupervised Domain Adaptation of Black-Box Source Models
South China University of Technology（华南理工大学）；The Hong Kong Polytechnic University（香港理工大学）
无监督领域自适应（UDA）旨在通过从标记的源域转移知识来学习未标记数据的目标域的模型。在传统的UDA设置中，假设标记的源数据可用于适配。由于对数据隐私的日益关注，无源UDA作为一种新的UDA设置受到高度赞赏，其中仅假设训练的源模型可用，而标记的源数据保持私有。然而，由于源模型可能具有商业价值并且暴露源模型给源域带来风险，因此训练的源模型在实践中也可能不可用，例如，模型滥用和白盒攻击的问题。在这项工作中，我们研究了一个微妙的不同的设置，命名为黑盒无监督领域自适应（B $^2$ UDA），其中只有源模型的应用程序编程接口是可访问的目标域，换句话说，源模型本身是作为一个黑盒。为了解决B $^2$ UDA，我们提出了一种简单而有效的方法，称为带噪声标签的迭代学习（IterLNL）。使用黑盒模型作为噪声标记的工具，IterLNL迭代地进行噪声标记和噪声标记学习（LNL）。为了便于在B $^2$ UDA中实现LNL，我们从未标记目标数据的模型预测中估计噪声率，并提出分类采样来解决类别之间的不平衡标签噪声。在基准数据集上的实验表明了IterLNL的有效性。IterLNL既不给定源数据，也不给定源模型，它使用传统的UDA方法来执行数据挖掘，充分利用标记的源数据。
2021-03-28 cs.CV cs.LG
On Universal Black-Box Domain Adaptation
South China University of Technology（华南理工大学）；Hong Kong Polytechnic University（香港理工大学）
在本文中，我们研究了一个可以说是最少的限制设置的领域自适应在实际部署的意义上，只有源模型的接口是可用的目标域，并允许两个域之间的标签空间关系是不同的和未知的。我们将这样的设置称为通用黑盒领域自适应（UB $^2$ DA）。然而，由于领域自适应只能通过访问源模型的接口，依赖于部分重叠标签空间中未标记目标数据的预测，因此UB $^2$ DA带来了巨大的学习挑战。为了应对这些挑战，我们首先注意到学习任务可以转换为类内\footnote{In this paper we use in-class (out-class) to describe the classes observed (not observed) in the source black-box model.}判别和类外检测两个子任务，它们可以分别通过模型蒸馏和熵分离来学习。我们建议将它们统一到一个自训练框架中，通过目标样本局部邻域中预测的一致性进行正则化。我们的框架是简单的，强大的，易于优化。在领域自适应基准上的实验表明了该方法的有效性。值得注意的是，通过仅访问源模型的接口，我们的框架优于现有的通用领域自适应方法，这些方法利用源数据和/或源模型，具有新提出的（并且可以说是更合理的）H分数度量，并且与平均类准确度度量的性能相当。
2021-04-10 cs.CV cs.LG
Single-Shot Domain Adaptation via Target-Aware Generative Augmentation
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
由于深度神经网络中的脆弱泛化，使用来自任何感兴趣目标域的数据来适应源域的模型的问题已经变得突出。虽然已经出现了几种测试时自适应技术，但在目标数据可用性有限的情况下，它们通常依赖于合成数据增强。在本文中，我们考虑了单次自适应的挑战性设置，并探索了增强策略的设计。我们认为，现有的方法所利用的增强是不足以处理大的分布偏移，因此提出了一种新的方法SiSTA（单次目标增强），首先微调生成模型从源域使用单次目标，然后采用新的采样策略策展合成目标数据。使用国家的最先进的领域自适应方法的实验，我们发现，SiSTA产生高达20\%的改进超过现有的基线下，具有挑战性的变化，在面部属性检测，它执行竞争力的Oracle模型通过训练获得一个更大的目标数据集。
2022-10-29 cs.CV cs.LG stat.ML
Unifying Unsupervised Domain Adaptation and Zero-Shot Visual Recognition
Durham University（杜伦大学）；Xi’an Jiaotong University（西安交通大学）
无监督领域自适应的目的是将知识从源领域转移到目标领域，使得目标领域的数据可以在没有任何明确的标记信息的情况下被识别。问题设置的一个限制是，尽管没有标签，但在训练期间需要来自目标域的测试数据，这阻止了训练模型被直接应用于对看不见的测试实例进行分类。我们制定了一个新的跨域分类问题，该问题源于现实世界的场景，其中标记数据可用于目标域中的类子集（已知类），并且我们期望在模型学习后识别属于任何类（已知和未知类）的新样本。这是一个广义的零样本学习问题，其中边信息以标记样本的形式来自源域，而不是传统零样本学习中常用的类级语义表示。我们提出了一个统一的领域自适应框架无监督和零样本学习条件。我们的方法从源和目标域学习一个联合子空间，使两个数据在子空间中的投影可以是域不变的，很容易分离。我们使用有监督的局部保持投影（SLPP）作为使能技术，并在无监督和零样本学习条件下进行实验，在三个领域自适应基准数据集上实现了最先进的结果：加州理工学院，加州理工学院31和加州理工学院。
2019-08-26 cs.CV cs.LG
Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling
College of Computer Science and Technology, ZheJiang University（浙江大学计算机科学与技术学院）；Hikvision Research Institute（海康威视研究院）
Visual Storytelling~（VIST）是根据给定的照片流讲述关于某个主题的叙事故事的任务。现有的研究集中在设计复杂的模型，这依赖于大量的人类注释的数据。然而，VIST的标注是非常昂贵的，并且由于长尾主题分布，许多主题无法在训练数据集中覆盖。在本文中，我们专注于提高推广能力的VIST模型，考虑Few-Shot设置。受人类讲故事的方式的启发，我们提出了一个主题自适应说书人来模拟主题间泛化的能力。在实践中，我们将基于梯度的Meta学习算法应用于多模态seq 2 seq模型，以赋予模型快速适应不同主题的能力。此外，我们还提出了一个原型编码结构来模拟主题内派生的能力。具体来说，我们编码和恢复的几个训练故事的文本作为参考，以指导在推理时的生成。实验结果表明，主题自适应和原型编码结构对Few-Shot模型在BLEU和METEOR度量上的性能都有很大的改善。进一步的个案研究表明，经过Few-Shot改编后的故事具有更强的相对性和表现力。
2020-08-11 cs.CL cs.CV cs.IR
Few-Shot Learning via Embedding Adaptation with Set-to-Set Functions
Nanjing University（南京大学）；USC（南加州大学）；Google（谷歌）
在有限的数据下学习是视觉识别的一个关键挑战。许多少样本学习方法通过从可见类学习实例嵌入函数并将该函数应用于具有有限标签的不可见类的实例来解决这一挑战。这种类型的迁移学习是任务不可知的：嵌入函数不是关于看不见的类的最佳区分学习的，其中辨别它们会导致目标任务。在本文中，我们提出了一种新的方法来适应的实例嵌入的目标分类任务与集到集的功能，产生嵌入的任务是特定的，是有区别的。我们根据经验研究了这种集到集函数的各种实例化，并观察到Transformer是最有效的--因为它自然地满足了我们所需模型的关键属性。我们将该模型表示为FEAT（Few-Shot embedding adaptation w/ Transformer），并在标准的Few-Shot分类基准和四个扩展的少样本学习设置上验证它，这些设置具有基本用例，即，跨域、转换、广义少样本学习和低样本学习。它在基线模型和以前的方法上取得了一致的改进，并在两个基准上建立了新的最先进的结果。
2021-06-13 cs.CV cs.LG
Box Pose and Shape Estimation and Domain Adaptation for Large-Scale Warehouse Automation
Laboratory for Information & Decision Systems (LIDS)（信息与决策系统实验室）；Massachusetts Institute of Technology（麻省理工学院）；Symbotic（Symbotic公司）；Vector Institute University of Toronto（多伦多大学向量研究所）
本文针对仓储自动化提出一种自监督域自适应流程，利用未标注真实数据改进箱体姿态与形状估计，并在5万张真实图像上验证其显著优于仿真训练模型和零样本3D基线。
2025-07-01 cs.CV cs.LG cs.RO
Prototypical Distillation and Debiased Tuning for Black-box Unsupervised Domain Adaptation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；University of Science and Technology of China（中国科学技术大学）；School of Intelligence Science and Technology, University of Science and Technology Beijing（北京科技大学智能科学与技术学院）
本文提出ProDDing框架，通过原型蒸馏与去偏调优两步策略，在仅能通过API获取源模型预测标签和置信度的黑盒领域自适应设定下，有效提升目标模型性能并优于现有方法。
2024-12-30 cs.CV cs.LG
Divide to Adapt: Mitigating Confirmation Bias for Domain Adaptation of Black-Box Predictors
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；ByteDance（字节跳动）；Tsinghua University（清华大学）
黑箱预测器的领域自适应（DABP）是在源域上训练的黑箱预测器的监督下，在未标记的目标域上学习模型。它不需要访问源域数据和预测器参数，从而解决了标准领域自适应的数据隐私和可移植性问题。现有的DABP方法主要依赖于从黑箱预测器\emph{i.e.}中提取模型，用其有噪声的目标域预测来训练模型，然而这不可避免地引入了从预测噪声累积的确认偏差。为了减轻这种偏见，我们提出了一种新的方法，命名为BETA，将知识蒸馏和噪声标签学习到一个连贯的框架。这是通过一个新的分而治之的战略实现的。BETA将目标域划分为噪声较少的易适应子域和难以适应子域。然后，它部署了相互教学的孪生网络来过滤彼此的预测误差，并从容易到困难的子域逐步改进它们。因此，BETA有效地净化了噪声标签并减少了错误累积。我们从理论上表明，通过降低子域的噪声比，BETA的目标误差最小化。大量的实验表明，BETA优于所有DABP基准的现有方法，甚至与使用源域数据的标准领域自适应方法相媲美。
2022-05-28 cs.CV cs.LG
Unsupervised Embedding Adaptation via Early-Stage Feature Reconstruction for Few-Shot Classification
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
我们提出了无监督嵌入适应下游的Few-Shot分类任务。基于深度神经网络在记忆之前学习概括的发现，我们开发了早期特征重建（ESFR）-一种新的适应方案，具有特征重建和维度驱动的早期停止，可以找到可概括的特征。对ESFR进行验证可以持续提高基线方法在所有标准设置上的性能，包括最近提出的转导方法。ESFR与transductive方法结合使用，进一步实现了mini-ImageNet，tiered-ImageNet和CUB的最新性能;特别是在1-shot设置上，与之前的最佳性能方法相比，准确率提高了1.2%~2.0%。
2021-06-22 cs.CV
Curriculum Learning for Few-Shot Domain Adaptation in CT-based Airway Tree Segmentation
针对CT气道分割的跨队列泛化问题，提出将课程学习集成到分割网络，按复杂度分批训练，在少样本域自适应中于ATM22和AIIB23队列取得高性能，并指出不当评分或排序的潜在风险。
2024-11-08 cs.CV cs.LG
Few-Shot Adaptation of Pre-Trained Networks for Domain Shift
Institute for Infocomm Research, A*STAR（新加坡科技研究局信息通信研究所）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）
当源（训练）数据和目标（测试）数据之间存在域转移时，深度网络容易出现性能下降。最近的测试时自适应方法使用流数据更新部署在新目标环境中的预训练源模型的批量归一化层，以减轻这种性能下降。虽然这些方法可以在不首先收集大型目标域数据集的情况下进行动态调整，但它们的性能取决于流条件，例如小批量大小和类分布，这在实践中可能是不可预测的。在这项工作中，我们提出了一个框架Few-Shot领域自适应，以解决实际的挑战，数据高效的适应。具体来说，我们提出了一个约束优化的特征归一化统计在预训练的源模型由一个小的支持集从目标域的监督。我们的方法很容易实现，并提高了源模型的性能，每个类只有一个样本的分类任务。在5个跨域分类和4个语义分割数据集上的实验表明，该方法比测试时自适应方法具有更高的准确性和可靠性，同时不受流媒体条件的限制。
2022-10-22 cs.CV cs.LG
Adaptive Dual-Teacher Distillation with Subnetwork Rectification for Bridging Semantic Gaps in Black-Box Domain Adaptation
School of Computer Science and Engineering, Tianjin University of Technology（天津理工大学计算机科学与工程学院）；School of Artificial Intelligence, Tianjin University（天津大学人工智能学院）
本文提出DDSR框架，通过自适应预测融合策略和子网络正则化机制，解决黑盒领域适应中任务特定知识与语言对齐语义先验的不一致问题，提升领域适应性能。
2026-10-21 cs.CV cs.LG
Location-Aware Box Reasoning for Anchor-Based Single-Shot Object Detection
The University of Kansas（堪萨斯大学）
在大多数目标检测框架中，实例分类的置信度被用作预测边界框的质量标准，如非最大抑制（NMS）中基于置信度的排名。然而，表示空间关系的边界框的质量不仅与分类分数相关。与基于区域建议网络（RPN）的检测器相比，单次目标检测器由于缺乏对框建议的预先选择而遭受框质量。在本文中，我们针对单镜头目标检测器，并提出了一个位置感知的基于锚的推理（LAAR）的包围盒。LAAR将位置置信度和分类置信度作为边界框质量评估的依据。我们引入了一种新的网络块来学习锚点和地面实况之间的相对位置，表示为本地化分数，它在推理阶段充当位置参考。所提出的定位分数导致独立的回归分支，并通过对预测的定位分数进行评分来校准限界框质量，使得可以在NMS中拾取最佳限定的边界框。在MS COCO和PASCAL VOC基准测试上的实验表明，所提出的位置感知框架增强了现有基于锚点的单次目标检测框架的性能，并产生了一致和鲁棒的检测结果。
2020-07-13 cs.CV
Few-Shot Adaptation of Generative Adversarial Networks
Virginia Tech（弗吉尼亚理工大学）；Google Research（谷歌研究院）
生成对抗网络（GANs）在图像合成任务中表现出了卓越的性能，但通常需要大量的训练样本才能实现高质量的合成。本文提出了一种简单有效的方法，Few-Shot GAN（FSGAN），用于在Few-Shot设置（少于100张图像）中调整GANs。FSGAN重新利用了分量分析技术，并学习适应预训练权重的奇异值，同时冻结相应的奇异向量。这为适应提供了一个高度表达的参数空间，同时限制了对预训练权重的更改。我们验证我们的方法在一个具有挑战性的Few-Shot设置5-100图像的目标域。我们表明，我们的方法具有显着的视觉质量增益相比，现有的GAN适应方法。我们报告的定性和定量结果表明，我们的方法的有效性。我们还强调了一个问题，Few-Shot合成的数据高效的图像合成工作所使用的标准定量度量。代码和其他结果可在http://e-271.github.io/few-shot-gan上获得。
2020-10-22 cs.CV
Query-Conditioned Prototype Adaptation for Cross-Domain Few-Shot Learning: Single-Query Inference, Controlled Comparisons, and Failure Modes
University of Nottingham Malaysia（诺丁汉大学马来西亚校区）
本研究提出WIPT方法，通过单查询测试时原型自适应改善跨域少样本分类，在部分目标上提升精度，但收益非普遍，且支持流式推理。
2026-09-28 cs.CV cs.LG
A Generative Framework for Zero-Shot Learning with Adversarial Domain Adaptation
IIT Kanpur（印度理工学院坎普尔分校）；Microsoft Research, India（微软研究院印度分院）；University of Toronto（多伦多大学）
提出了一种基于领域自适应的零样本学习生成框架。我们的框架解决了零样本学习中可见和不可见类分布之间的域转移问题，并通过开发一个通过对抗性领域自适应训练的生成模型来最大限度地减少这种转移。我们的方法是基于端到端学习的类分布的可见类和不可见类。为了使模型能够学习看不见的类的类分布，我们根据类属性信息（对可见和不可见的类都可用）来参数化这些类分布。这提供了一种非常简单的方法来学习任何看不见的类的类分布，只给出其类属性信息，而没有标记的训练数据。用对抗性领域自适应训练该模型进一步提供了针对来自可见类和不可见类的数据之间的分布失配的鲁棒性。我们的方法也提供了一种新的方法来训练基于神经网络的分类器，以克服在零样本学习的hubness问题。通过一组全面的实验，我们证明了我们的模型在各种基准数据集上与各种最先进的零样本学习模型相比具有更高的精度。实验代码可在github.com/vkkhare/ZSL-ADA上获得
2020-02-22 cs.CV cs.LG stat.ML
Leveraging Endo- and Exo-Temporal Regularization for Black-box Video Domain Adaptation
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；School of Electrical and Electronic Engineering, NTU（南洋理工大学电气与电子工程学院）
为了使视频模型能够无缝地应用于不同环境中的视频任务，已经提出了各种视频无监督领域自适应（VUDA）方法来提高视频模型的鲁棒性和可移植性。尽管在模型鲁棒性方面有所改进，但这些VUDA方法需要访问源数据和源模型参数以进行自适应，从而引起严重的数据隐私和模型可移植性问题。为了解决上述问题，本文首先制定了黑盒视频领域自适应（BVDA）作为一个更现实的，但具有挑战性的情况下，源视频模型只提供作为一个黑盒预测。虽然在图像域中提出了一些黑盒领域自适应（BDA）方法，但这些方法不能应用于视频域，因为视频模态具有更复杂的时间特征，难以对齐。为了解决BVDA，我们提出了一种新的Endo和eXo-TEmporal正则化网络（EXTERN），通过应用掩码混合策略和视频定制的正则化：时间内正则化和时间外正则化，在剪辑和时间特征上执行，同时从黑箱预测器获得的预测中提取知识。实验结果表明，EXTERN在各种跨域闭集和部分集动作识别基准测试中的性能达到了最先进水平，甚至超过了大多数现有的具有源数据可访问性的视频领域自适应方法。
2022-11-09 cs.CV
SIDA: Synthetic Image Driven Zero-shot Domain Adaptation
Hanyang University（汉阳大学）
提出SIDA方法，利用合成图像生成目标域风格特征，通过域混合和补丁风格转移模块实现高效零样本域适应，在多个场景中达到最优性能。
2026-06-29 cs.AI cs.CV cs.LG
Weight Averaging for Out-of-Distribution Generalization and Few-Shot Domain Adaptation
LIONS lab（LIONS实验室）
本研究针对分布外泛化与少样本域自适应问题，通过引入梯度相似度正则项提升权重平均的模型多样性，并结合锐度感知最小化，在多个数据集上验证了性能提升效果。
2025-01-14 cs.CV cs.LG
Embedding Adaptation is Still Needed for Few-Shot Learning
University of Southern California（南加州大学）；Google AI（谷歌AI）
构建新的更具挑战性的任务集是分析和理解Few-Shot分类方法的有效方法。不幸的是，现有的构建这些任务集的方法有些不令人满意：它们要么假设训练和测试任务分布是相同的-这导致过于乐观的评估-或者采取“最坏情况”的哲学-这通常需要额外的人力劳动，如获得语义类关系。我们提出了ATG，一个原则性的聚类方法来定义训练和测试任务集，而无需额外的人类知识。ATG对任务分布进行训练和测试，同时要求它们共享预定义的信息量。我们经验证明了ATG在生成任务集，更容易，在两者之间，或更难比现有的基准，包括那些依赖于语义信息的有效性。最后，我们利用我们生成的任务集来阐明Few-Shot分类：基于梯度的方法-以前被认为表现不佳-在传输最具挑战性时可以胜过基于度量的方法。
2021-04-15 cs.CV cs.LG
Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation
National University of Singapore（新加坡国立大学）
无监督领域自适应（UDA）旨在利用从标记源数据集学习的知识来解决新的未标记领域中的类似任务。以前的UDA方法通常需要在学习适应模型时访问源数据，这使得它们对于分散的私有数据来说是有风险和低效的。这项工作解决了一个实际的设置，只有一个训练有素的源模型是可用的，并探讨我们如何可以有效地利用这样一个模型没有源数据来解决UDA问题。我们提出了一个简单而通用的表示学习框架，命名为\emph{Source HypOthesis Transfer}（SHOT）。SHOT冻结源模型的分类器模块（假设），并通过利用信息最大化和自监督伪标记来学习目标特定的特征提取模块，以隐式地将来自目标域的表示与源假设对齐。为了验证它的通用性，我们评估SHOT在各种适应情况下，包括闭集，部分集，和开集领域自适应。实验结果表明，SHOT在多个领域自适应基准测试中获得了最佳的结果。
2021-06-01 cs.CV cs.LG
HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning
Huazhong University of Science and Technology (HUST)（华中科技大学）；Inception Institute of Artificial Intelligence (IIAI)（创景人工智能研究所）；Alibaba Group（阿里巴巴集团）
零样本学习（Zero-shot learning，简称ZRL）解决了不可见类识别问题，将语义知识从可见类转移到不可见类。通常，为了保证所需的知识传递，采用公共（潜在）空间来关联CNOL中的视觉和语义域。然而，现有的公共空间学习方法仅通过一步适应来减轻分布不一致，从而使语义和视觉域对齐。这种策略通常是无效的，由于在这两个域中的特征表示的异质性，这本质上包含分布和结构的变化。为了解决这一问题，并推进语义视觉适应，我们提出了一种新的分层语义视觉适应（HSVA）框架。具体而言，HSVA通过采用分层两步适应来对齐语义和视觉域，即，结构自适应和分布自适应。在结构调整步骤中，我们采用两个特定于任务的编码器将源数据（视觉域）和目标数据（语义域）编码到结构对齐的公共空间中。为此，提出了一种监督对抗差异（SAD）模块，以对抗性地最小化两个特定任务分类器的预测之间的差异，从而使视觉和语义特征流形更紧密地对齐。在分布自适应步骤中，我们直接最小化潜在多元高斯分布之间的Wasserstein距离，以使用公共编码器对齐视觉和语义分布。最后，在两个部分对齐的变分自编码器下，在统一的框架中导出了结构和分布自适应。在四个基准数据集上的大量实验表明，HSVA在传统和广义的CNOL上都取得了优异的性能。代码可在\url{https://github.com/shiming-chen/HSVA}上获得。
2021-10-08 cs.CV cs.LG
Multi-source Few-shot Domain Adaptation
University of California, Berkeley（加州大学伯克利分校）；National University of Singapore（新加坡国立大学）；Nanjing University（南京大学）
多源领域自适应（MDA）的目的是将预测模型从多个完全标记的源域转移到未标记的目标域。然而，在许多应用中，相关的标记源数据集可能不可用，并且收集源标签可能与标记目标数据本身一样昂贵。在本文中，我们研究多源Few-Shot领域自适应（MFDA）：一个新的领域自适应的情况下，有限的多源标签和未标记的目标数据。正如我们所示，现有的方法往往无法学习的歧视性功能的源和目标域中的MFDA设置。因此，我们提出了一个新的框架，称为多源Few-Shot适应网络（MSFAN），它可以以非对抗的方式进行端到端的训练。MSFAN首先使用一种典型的、多域的、自监督学习来学习不仅是域不变的而且是类区分的特征。其次，MSFAN使用一个小的，标记的支持集，以加强跨域的功能一致性和域不变性。最后，利用来自多个来源的原型来学习更好的分类器。与最先进的MDA方法相比，MSFAN在MFDA上的不同域对上的平均分类准确率分别提高了20.2%，9.4%和16.2%。
2021-09-25 cs.AI cs.CV cs.LG
Black-box Few-shot Knowledge Distillation
Applied Artificial Intelligence Institute (AI), Deakin University（迪肯大学应用人工智能研究所）
知识蒸馏（KD）是将知识从一个大的“教师”网络转移到一个小的“学生”网络的有效途径。传统的KD方法需要大量标记的训练样本和白盒教师（参数可访问）来训练好学生。然而，这些资源在实际应用中并不总是可用的。蒸馏过程通常发生在外部方，我们无法访问太多数据，并且由于安全和隐私问题，教师不会透露其参数。为了克服这些挑战，我们提出了一个黑盒Few-Shot KD方法来训练学生与几个未标记的训练样本和一个黑盒教师。我们的主要思想是通过使用MixUp和条件变分自动编码器生成一组不同的分布外合成图像来扩展训练集。这些合成图像连同从教师获得的它们的标签一起用于训练学生。我们进行了大量的实验，以表明我们的方法显着优于最近的SOTA几个/zero-shot KD方法的图像分类任务。代码和模型可在https://github.com/nphdang/FS-BBT上获得
2022-07-25 cs.AI cs.CV cs.LG
Zero-Shot Domain Adaptation via Kernel Regression on the Grassmannian
Queen Mary, University of London（伦敦玛丽女王大学）
大多数视觉识别方法隐含地假设数据分布从训练到测试保持不变。然而，在实践中，域转移经常存在，其中诸如照明和传感器类型的真实世界因素在训练和测试之间改变，并且分类器不能从源域概括到目标域。针对所有可能的情况训练单独的模型是不切实际的，因为收集和标记数据是昂贵的。领域自适应算法旨在改善域偏移，允许在源上训练的模型在不同的目标域上表现良好。然而，即使对于无监督领域自适应的设置，其中目标域未被标记，收集每个可能的目标域的数据仍然是昂贵的。本文提出了一种新的领域自适应方法，当目标域可以用一个参数化向量来描述且同一参数空间内存在多个相关的源域时，该方法不需要访问目标域的数据或标签。它大大减少了数据汇集和注释的负担，我们的实验表明，一些有前途的结果。
2015-07-29 cs.CV cs.LG
