CLIPood：将 CLIP 泛化到分布外情形
CLIPood: Generalizing CLIP to Out-of-Distributions
AI总结：
本文提出 CLIPood 微调框架，通过 MMS 类别自适应间隔目标和 BMA 时序集成策略，缓解 CLIP 下游适配导致的 OOD 性能退化，并在多种场景中持续优于现有方法。
摘要：
分布外（OOD）泛化要求模型处理相对于训练过程发生的分布偏移，是机器学习的一项主要挑战。对比语言-图像预训练（CLIP）模型已展现出令人印象深刻的零样本能力，但在下游任务上进一步适配 CLIP 却会不期望地降低 OOD 性能。本文旨在使 CLIP 泛化到下游任务的分布外测试数据。我们提出 CLIPood，这是一种微调方法，能够使 CLIP 模型适配在未见测试数据上可能同时出现领域偏移和开放类别的 OOD 情形。为利用来自文本模态的类别间语义关系，CLIPood 引入了一种新的训练目标——间隔度量 softmax（MMS），该目标采用类别自适应间隔进行微调。为同时纳入预训练零样本模型和经过微调的任务自适应模型，CLIPood 利用一种新的优化策略 Beta moving average（BMA，Beta 滑动平均），维护一个由 Beta 分布加权的时序集成。在具有不同 OOD 场景的多个数据集上进行的实验表明，CLIPood 始终优于现有泛化技术。
英文摘要：
Out-of-distribution (OOD) generalization, where the model needs to handle distribution shifts from training, is a major challenge of machine learning. Contrastive language-image pre-training (CLIP) models have shown impressive zero-shot ability, but the further adaptation of CLIP on downstream tasks undesirably degrades OOD performances. This paper aims at generalizing CLIP to out-of-distribution test data on downstream tasks. We propose CLIPood, a fine-tuning method that can adapt CLIP models to OOD situations where both domain shifts and open classes may occur on the unseen test data. To exploit the semantic relations between classes from the text modality, CLIPood introduces a new training objective, margin metric softmax (MMS), with class adaptive margins for fine-tuning. To incorporate both pre-trained zero-shot model and fine-tuned task-adaptive model, CLIPood leverages a new optimization strategy, Beta moving average (BMA), to maintain a temporal ensemble weighted by Beta distribution. Experiments on diverse datasets with different OOD scenarios show that CLIPood consistently outperforms existing generalization techniques.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
