When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
本文系统研究了LLM规模、预训练数据、微调参数与数据等因素对不同微调方法性能的影响，发现微调遵循乘法联合扩展定律，且最优方法高度依赖任务与数据。
2024-02-27 cs.CL cs.LG
Sparse Memory Finetuning as a Low-Forgetting Alternative to LoRA and Full Finetuning
University of Washington（华盛顿大学）
提出稀疏记忆微调（SMF），通过添加键值记忆层并仅更新当前批次最活跃的记忆行，在MedMCQA任务上提升2.5个百分点，同时将遗忘探针（WikiText困惑度和TriviaQA准确率）控制在基线的1个百分点内，优于LoRA和全微调。
2026-06-08 cs.CL cs.LG
Epistemic Goggles: A Pretrained Module that Induces an Epistemic Frame via Gradient Editing
Independent Researcher（独立研究员）
针对微调语言模型时出现的“否定忽视”问题，提出Goggles模块，通过编辑微调梯度而非数据来赋予模型特定的认知框架，使模型在保持能力的同时正确识别虚构内容。
2026-07-03 cs.AI cs.CL cs.LG
The Impact of Initialization on LoRA Finetuning Dynamics
Simons Institute（西蒙斯研究所）；UC Berkeley（加州大学伯克利分校）；Dept of Statistics（统计系）
本文分析 LoRA 两种零乘积初始化方案，证明 B 零初始化、A 随机初始化因支持更大稳定学习率而平均性能更优，并通过 LLM 实验验证。
2024-06-12 cs.AI cs.CL cs.LG
Assessing the Portability of Parameter Matrices Trained by Parameter-Efficient Finetuning Methods
ADAPT/DCU（ADAPT/都柏林城市大学）
本文通过1,440次训练/测试运行评估PEFT模块跨模型可移植性，发现移植模块显著优于从头训练和同分布采样参数方案，但效果因PEFT类型及模型差异而异。
2024-01-25 cs.AI cs.CL cs.LG
AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning
UC San Diego（加州大学圣地亚哥分校）；Tsinghua University（清华大学）
AutoLoRA提出基于元学习的框架，自动为LoRA各层确定最优秩，通过选择变量和阈值化避免穷举搜索，提升微调性能，并在多种NLP任务上验证有效性。
2024-03-17 cs.AI cs.CL cs.LG
Parameter Efficient Instruction Tuning: An Empirical Study
AdaBit AI
针对预训练语言模型全参数指令微调成本过高问题，本研究系统探究代表性参数高效微调（PEFT）方法，揭示其超参数、模型规模等影响，发现理想设置下LoRA和适配器接近全微调效果。
2024-11-25 cs.AI cs.CL cs.LG
ApiQ: Finetuning of 2-Bit Quantized Large Language Model
University of Amsterdam（阿姆斯特丹大学）；eBay Inc.（eBay公司）
针对现有内存高效微调方法在不同量化位宽和任务上性能不稳定的问题，提出ApiQ量化框架，同步初始化LoRA组件与量化权重以降低激活误差，在多模型多任务的不同位宽下均实现更优微调效果。
2024-06-21 cs.CL cs.LG
LQ-LoRA: Low-rank Plus Quantized Matrix Decomposition for Efficient Language Model Finetuning
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Petuum Inc.（Petuum公司）；Massachusetts Institute of Technology（麻省理工学院）
本文提出LQ-LoRA方法，通过整数线性规划将预训练矩阵分解为固定的量化组件和可更新的低秩组件，实现内存高效的语言模型微调与压缩，在极低比特下仍保持优异性能。
2024-08-27 cs.CL cs.LG
Meta-Learning and Synthetic Data for Automated Pretraining and Finetuning
针对深度学习流水线选择难、训练数据依赖真实数据的问题，本研究用元学习将AutoML拓展到深度学习领域，实现CV和NLP任务的自动化微调，并元学习数据增强与合成数据生成器，提升任务性能。
2025-06-11 cs.LG stat.ML
Improving Sparse Memory Finetuning
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
本文提出稀疏记忆微调方法，通过局部更新显式内存层参数，解决持续学习中的灾难性遗忘问题，并在消费级硬件上验证了其有效性。
2026-04-06 cs.CL cs.LG
An Embarrassingly Simple Approach for Transfer Learning from Pretrained Language Models
National Technical University of Athens（雅典国家技术大学）；Behavioral Signal Technologies（行为信号技术公司）
越来越多的最先进的迁移学习方法采用在大型通用语料库上预训练的语言模型。在本文中，我们提出了一个概念上简单而有效的迁移学习方法，解决了灾难性遗忘的问题。具体来说，我们将特定于任务的优化功能与辅助语言模型目标相结合，该目标在训练过程中进行调整。这保留了由语言模型捕获的语言特征，同时使得能够充分适应以解决目标任务。我们的方法不需要预先训练或微调网络的单独组件，我们在单步的中对模型进行端到端的训练。我们展示了各种具有挑战性的情感和文本分类任务的结果，超越了成熟的迁移学习方法，具有更高的复杂性。
2019-05-31 cs.CL cs.LG
Classifier Language Models: Unifying Sparse Finetuning and Adaptive Tokenization for Specialized Classification Tasks
Amazon Web Services Inc.（亚马逊网络服务公司）
本文提出一种基于词元驱动的稀疏微调策略，通过利用任务特定词元构造仅微调模型参数的敏感子集，在不引入额外参数的情况下使小型语言模型适应专门分类任务，在五项任务上优于现有方法且训练成本减半。
2025-08-12 cs.LG
Policy-Induced Self-Supervision Improves Representation Finetuning in Visual RL
University of Southern California（南加利福尼亚大学）；Google Research（谷歌研究院）
本文研究了在基于视觉感知的强化学习中，如何将源任务的表征训练转移到目标任务。我们分析了两种流行的方法：冻结或微调预训练的表示。对一组流行任务的实证研究揭示了预训练表征的几个属性。首先，即使预先训练的表示完美地捕获了解决目标任务所需的信息，也需要进行微调。其次，微调表示提高了可学习性，对噪声更具鲁棒性。第三，预训练的底层是任务不可知的，并且很容易转移到新任务，而顶层编码特定于任务的信息，需要适应。在这些见解的基础上，我们提出了一个自我监督的目标，集群表示根据他们诱导的政策，而不是传统的表示相似性措施，这是政策不可知的（如欧几里德范数，余弦相似性）。再加上冻结底层，这一目标在广泛的基准上比冻结，微调和自我监督的替代方案有更好的表现。
2023-02-12 cs.CV cs.LG
PLoP: Precise LoRA Placement for Efficient Finetuning of Large Models
Simons Institute（西蒙斯研究所）；Flatiron Institute（弗拉特龙研究所）；UC Berkeley（加州大学伯克利分校）
针对 LoRA 适配器放置策略的非结论性问题，本文提出轻量级方法 PLoP，能根据预训练模型和微调任务自动识别最佳模块类型，并在监督微调和强化学习实验中稳定优于常用策略。
2025-06-25 cs.CL cs.LG stat.ML
PEFT-Ref: A Modular Reference Architecture and Typology for Parameter-Efficient Finetuning Techniques
ADAPT（ADAPT研究中心）
本文提出了PEFT-Ref参考架构，通过标准化共享方面并隔离差异，为参数高效微调技术提供模块化视图，支持技术比较、模块复用探索及新方法设计。
2023-10-19 cs.AI cs.CL cs.LG
Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less
UIUC（伊利诺伊大学香槟分校）；Apple（苹果公司）
本文发现使用与预训练相同的优化器进行全微调，在监督微调阶段能更少遗忘并保持性能，提出优化器-模型一致性概念，通过实验和理论分析揭示优化器对模型的影响及微调策略的重要性。
2026-05-07 cs.AI cs.LG math.OC
Unsupervised Finetuning
University of Science and Technology of China（中国科学技术大学）；Microsoft Cloud & AI（微软云与人工智能）
本文研究了著名的“有监督的微调”的对称性问题“无监督微调”。给定一个预训练的模型和小规模未标记的目标数据，无监督微调是将从源域预训练的表示调整到目标域，以便获得更好的传输性能。这个问题比有监督的问题更具挑战性，因为小规模目标数据的低数据密度对于无监督学习来说是不友好的，导致预训练表示的损坏和目标域的差表示。在本文中，我们发现，源数据是关键的微调范式从监督到无监督，并提出了两个简单而有效的策略，将源数据和目标数据相结合的无监督微调：“稀疏源数据重放”和“数据混合”。前一种策略的动机是将一小部分源数据添加回以占据其预训练的表示空间，并帮助推动目标数据驻留在更小的紧凑空间中;后一种策略的动机是增加数据密度，并帮助学习更紧凑的表示。为了证明我们提出的“无监督微调”策略的有效性，我们对多个不同的目标数据集进行了广泛的实验，这些数据集显示出比朴素策略更好的传输性能。
2021-10-18 cs.CV cs.LG
Can Unsupervised Knowledge Transfer from Social Discussions Help Argument Mining?
Jadavpur University（贾达布尔大学）；Delhi Technological University（德里理工大学）；IIIT-Delhi（德里印度理工学院）
从非结构化文本中识别论元成分并预测它们之间的关系是论元挖掘的两个主要步骤。这些任务的内在复杂性需要强大的学习模型。虽然预训练的基于Transformer的语言模型（LM）已被证明可以在不同的NLP任务中提供最先进的结果，但手动注释数据的稀缺性和论证的高度领域依赖性限制了此类模型的能力。在这项工作中，我们提出了一种新的迁移学习策略来克服这些挑战。我们利用ChangeMyView subreddit中丰富的辩论社交讨论作为无监督的辩论话语感知知识的来源，通过在选择性掩蔽语言建模任务上微调预训练的LM。此外，我们引入了一种新的基于语义的组件间关系预测策略，该策略在利用话语上下文的同时补充了我们提出的微调方法。详尽的实验表明，我们的方法在域内和域外数据集上对这两个任务的泛化能力，优于几个现有的和采用的强基线。
2022-03-24 cs.CL cs.LG
What Happens During Finetuning of Vision Transformers: An Invariance Based Investigation
MPI-SWS（马克斯·普朗克软件系统研究所）；University of Maryland（马里兰大学）
本文提出衡量不变性保留与遗忘的新指标，通过多个基准任务分析视觉 Transformer 微调前后的表征变化，揭示浅层可迁移不变性及深层不变性向浅层压缩的现象。
2023-07-12 cs.CV cs.LG
When, Why, and Which Pretrained GANs Are Useful?
Yandex（Yandex（扬德克斯））
文献已经提出了几种方法来在新数据集上微调预训练的GANs，与从头开始训练相比，这通常会导致更高的性能，特别是在有限的数据范围内。然而，尽管GAN预训练具有明显的经验优势，但其内部机制并未得到深入分析，对其作用的理解也不完全清楚。此外，重要的实际细节，例如，选择适当的预先训练的GAN检查点目前没有严格的基础，并且通常通过试错来确定。这项工作旨在剖析GAN微调的过程。首先，我们证明了通过预训练的检查点初始化GAN训练过程主要影响模型的覆盖率，而不是单个样本的保真度。其次，我们明确描述了预训练的生成器和判别器如何对微调过程做出贡献，并解释了先前关于预训练两者的重要性的证据。最后，作为我们分析的直接实际益处，我们描述了一个简单的配方来选择最适合于微调特定目标任务的适当GAN检查点。重要的是，对于大多数目标任务，ImageNet预训练的GAN尽管视觉质量很差，但似乎是微调的绝佳起点，类似于判别式计算机视觉模型的典型预训练场景。
2022-03-10 cs.CV cs.LG
Exploring Representation Invariance in Finetuning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of Göttingen（哥廷根大学）；Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
针对基础模型微调时表征逐渐消失、泛化能力下降的问题，提出表征不变性微调（RIFT）正则化方法，利用流形正交不变性高效最大化预训练与微调模型的表征相似度，兼容主流微调方法，在保持性能的同时更好保留泛化能力。
2025-10-05 cs.CV
Dr$^2$Net: Dynamic Reversible Dual-Residual Networks for Memory-Efficient Finetuning
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；UC Berkeley（加州大学伯克利分校）
本文提出动态可逆双残差网络Dr$^2$Net，通过双残差连接与动态训练策略将预训练模型无缝转换为可逆网络，在保持微调性能的同时大幅降低内存消耗。
2024-03-30 cs.AI cs.CV
Variation of Gender Biases in Visual Recognition Models Before and After Finetuning
University of Southern California（南加州大学）；Columbia University（哥伦比亚大学）；Meta AI；Rice University（莱斯大学）
我们引入了一个框架来衡量偏见如何改变之前和之后微调一个大规模的视觉识别模型的下游任务。众所周知，在越来越多的数据上训练的深度学习模型会对社会偏见进行编码。如今，许多计算机视觉系统依赖于通常在大规模数据集上预训练的模型。虽然已经开发了偏差缓解技术来调整下游任务的模型，但目前还不清楚已经编码在预训练模型中的偏差的影响。我们的框架结合了代表个体和概念对的规范图像集，以突出一系列现成的预训练模型在模型大小、数据集大小和训练目标方面的偏差变化。通过我们的分析，我们发现（1）与自监督模型相比，在ImageNet-21k等数据集上训练的监督模型更有可能保留其预训练偏差，而不管目标数据集如何。我们还发现，（2）在较大规模数据集上微调的模型更有可能引入新的有偏关联。我们的研究结果还表明，（3）偏差可以转移到微调模型，微调目标和数据集可以影响转移偏差的程度。
2023-03-14 cs.CV
Initialization Matters for Adversarial Transfer Learning
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of Oxford（牛津大学）；Google（谷歌公司）；University of Pennsylvania（宾夕法尼亚大学）
本文研究迁移学习中的对抗鲁棒性，发现鲁棒预训练模型和线性头初始化至关重要，并提出鲁棒线性初始化方法RoLI，在多个图像分类数据集上取得最先进结果。
2024-03-30 cs.CV
TRACER: Persistent Regularization for Robust Multimodal Finetuning
School of Computing and Information Systems (CIS), Faculty of Engineering and IT (FEIT), University of Melbourne, Australia（墨尔本大学计算机科学与信息系统学院（CIS）、工程与信息技术学院（FEIT））
提出TRACER方法，通过加权移动平均教师实现持久正则化，解决多模态对比微调中的灾难性遗忘和EMA坍缩问题，提升分布外鲁棒性。
2026-05-28 cs.AI cs.CV cs.LG
FACT: A Simple and Efficient Framework for Active Finetuning
Zhejiang (No. 2024C01020)（浙江（No. 2024C01020））；National Natural Science Foundation of China (No. 62302031)（中国国家自然科学基金委员会（No. 62302031））；Zhejiang Provincial Natural Science Foundation of China (Nos. LQ23F020024 and LZJMZ24D050009)（中国浙江省自然科学基金委员会（Nos. LQ23F020024 and LZJMZ24D050009））
针对主动微调中全量微调导致预训练特征失真和过拟合的问题，提出FACT三层分层微调框架，通过冻结特征增强和参数高效微调，在多种数据集和架构上显著提升性能，尤其在低采样率下实现超过20%的增益。
2026-06-01 cs.CV
Back to the Barn with LLAMAs: Evolving Pretrained LLM Backbones in Finetuning Vision Language Models
Pacific Northwest National Laboratory（太平洋西北国家实验室）
研究探讨了在微调视觉语言模型时，不同预训练LLM骨干对下游任务性能的影响，发现新版本LLM并非总能提升性能，且表现依赖具体任务。
2026-04-13 cs.AI cs.CL cs.CV
FullLoRA: Efficiently Boosting the Robustness of Pretrained Vision Transformers
Key Laboratory of AI Safety of CAS, Institute of Computing Technology, Chinese Academy of Sciences (CAS), Beijing 100190, China, and the University of Chinese Academy of Sciences, Beijing 100049, China（中国科学院计算技术研究所人工智能安全重点实验室，中国科学院（CAS）及中国科学院大学，北京）
本文提出FullLoRA框架，通过集成可学习LNLoRA模块到ViT所有关键组件，以约5%参数实现与全量微调相当的对抗鲁棒性，高效解决标准训练模型的鲁棒性提升问题。
2025-06-23 cs.CV
VLSM-Adapter: Finetuning Vision-Language Segmentation Efficiently with Lightweight Blocks
Nepal Applied Mathematics and Informatics Institute (NAAMII)（尼泊尔应用数学与信息学研究所（NAAMII））
提出VLSM-Adapter，通过在冻结的预训练模型上仅训练轻量级模块，以仅300万参数高效微调医学图像视觉-语言分割模型，性能超越SOTA并媲美端到端微调。
2024-06-27 cs.AI cs.CL cs.CV
Generalizable VLA Finetuning via Representation Anchoring and Language-Action Alignment
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Texas A&M University（德州农工大学）；University of California, Irvine（加州大学欧文分校）
研究针对VLA策略微调中存在的问题提出Anchor-Align方法，通过视觉语言锚定和语言-动作对齐两个目标增强BC，在物理机器人和模拟测试中均有效果提升，表明保留预训练表示与有效动作学习可兼顾。
2026-10-30 cs.CV cs.RO
Low-rank Attention Side-Tuning for Parameter-Efficient Fine-Tuning
National Key Laboratory for Novel Software Technology（现代软件技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
提出低秩注意力侧调优（LAST），通过冻结预训练模型参数和输出，训练仅含低秩自注意力的侧网络，在VTAB-1K等任务上以更少内存和时间实现更高准确率。
2024-02-06 cs.AI cs.CV
DreamCom: Finetuning Text-guided Inpainting Model for Image Composition
Shanghai Jiao Tong University（上海交通大学）
本文提出 DreamCom，将图像合成视为对象定制的文本引导修复，通过少量参考图像微调模型并引入掩码注意力抵抗背景干扰，在 DreamEditBench 和 MureCom 上表现优异。
2024-01-24 cs.CV
Multi-Point Positional Insertion Tuning for Small Object Detection
Institute of Science Tokyo（东京科学大学）
本文提出多点位置插入（MPI）微调方法，通过在冻结的预训练模型中引入多个位置嵌入提供精确位置信息，在SODA-D数据集上以更少的可调参数实现了与传统PEFT方法相当的小目标检测性能。
2024-12-24 cs.AI cs.CV
Beyond Transfer Learning: Co-finetuning for Action Localisation
Google Research（谷歌研究院）
迁移学习是在小目标数据集上训练深度网络的主要范例。模型通常在大型“上游”数据集上进行预训练以进行分类，因为这样的标签很容易收集，然后在“下游”任务上进行微调，例如动作本地化，由于其更细粒度的注释而更小。在本文中，我们对这种方法提出了质疑，并提出了协同微调--同时在多个“上游”和“下游”任务上训练单个模型。我们证明了在使用相同的数据总量时，协同微调优于传统的迁移学习，并展示了我们如何轻松地将我们的方法扩展到多个"上游“数据集，以进一步提高性能。特别是，co-finetuning显著提高了我们下游任务中稀有类的性能，因为它具有正则化效应，并使网络能够学习在不同数据集之间传输的特征表示。最后，我们观察到如何与公共视频分类数据集进行共同微调，我们能够在具有挑战性的AVA和AVA-Kinetics数据集上实现最先进的时空动作定位结果，优于最近开发复杂模型的作品。
2022-07-08 cs.CV
Task Matrices: Linear Maps for Cross-Model Finetuning Transfer
Algoverse AI Research（Algoverse AI研究院）；Brown University（布朗大学）
本文提出任务矩阵，通过线性变换提升跨模型微调转移性能，验证了预训练与微调架构间的线性编码存在，并展示了高效可推广的数据近似方法。
2025-12-16 cs.CL cs.CV cs.LG
Enhancing Compositional Generalization via Compositional Feature Alignment
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；William and Mary（威廉玛丽学院）
针对多域多类场景下模型组合泛化能力不足的问题，提出组合特征对齐（CFA）两阶段微调方法，通过正交线性头与冻结微调，在CG-Bench上提升CLIP和DINOv2的泛化性能。
2024-05-22 cs.CV cs.LG stat.ML
Efficient Diversity-Preserving Diffusion Alignment via Gradient-Informed GFlowNets
Mila, Université de Montréal（蒙特利尔大学Mila实验室）；Max Planck Institute for Intelligent Systems - Tübingen（智能系统马克斯·普朗克研究所（图宾根））；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；University of Tübingen（图宾根大学）；University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）
针对扩散模型奖励微调存在的样本多样性不足、先验保留差、收敛慢的问题，提出基于梯度感知GFlowNets的$\nabla$-GFlowNet方法，实现Stable Diffusion的快速、保多样性与先验的微调。
2025-05-17 cs.CV cs.LG
ReMem: Mutual Information-Aware Fine-tuning of Pretrained Vision Transformers for Effective Knowledge Distillation
University of California, San Diego（加州大学圣迭戈分校）；Google DeepMind（谷歌DeepMind）；Google（谷歌）；University of California, Davis（加州大学戴维斯分校）
针对大规模预训练 ViT 强模型知识蒸馏效果下降的问题，提出互信息感知微调与重加权 MLP 块启发式方法，使小型学生模型能有效从最强预训练模型中受益。
2025-06-29 cs.CV cs.LG
AC-Norm: Effective Tuning for Medical Image Analysis via Affine Collaborative Normalization
Institute of Medical Robotics, Shanghai Jiao Tong University（上海交通大学医疗机器人研究院）；Tencent Jarvas Lab（腾讯Jarvas实验室）
针对医学图像分析中预训练模型微调时的通道错配问题，提出AC-Norm方法，通过动态重校准通道提升性能，最高提升4%，并可用于快速评估模型可迁移性。
2023-07-28 cs.CV
VeCAF: Vision-language Collaborative Active Finetuning with Training Objective Awareness
Nanjing University（南京大学）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）；Tsinghua University（清华大学）；Panasonic（松下电器（Panasonic））；University of California Berkeley（加州大学伯克利分校）
针对传统预训练视觉模型微调训练效率低的问题，提出视觉-语言协同主动微调方法VeCAF，结合微调目标与文本语义选数据增强，在分布内外分类任务上性能领先，ImageNet上效率与准确率均优于现有方法。
2024-04-13 cs.CV
Image2Point: 3D Point-Cloud Understanding with 2D Image Pretrained Models
University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）；Meta Reality Labs（Meta现实实验室）
3D点云和2D图像是物理世界的不同视觉表示。虽然人类视觉可以理解这两种表示，但为2D图像和3D点云理解而设计的计算机视觉模型却截然不同。我们的论文探讨了转移2D模型架构和权重以理解3D点云的潜力，通过实证研究转移的可行性，转移的好处，并阐明为什么转移工作。我们发现，我们确实可以使用神经网络模型的相同架构和预训练权重来理解图像和点云。具体来说，我们通过复制或膨胀权重将图像预训练模型转换为点云模型。我们发现，仅在输入、输出和归一化层上以最小的努力对变换后的图像预训练模型（FIP）进行微调，可以在3D点云分类上实现有竞争力的性能，击败采用特定任务架构并使用各种技巧的各种点云模型。当对整个模型进行微调时，性能会进一步提高。同时，FIP提高了数据效率，在Few-Shot分类上达到了10.0 top-1的准确率。它还将点云模型的训练速度提高了11.1倍，以获得目标精度（例如，90%的准确度）。最后，我们从神经崩溃的角度对图像到点云的转换进行了解释。代码可在以下网址获得：\url{https://github.com/chenfengxu714/image2point}。
2022-04-23 cs.AI cs.CV cs.RO
Few-Shot Recognition via Stage-Wise Retrieval-Augmented Finetuning
Texas A&M University（德克萨斯农工大学）；University of Macau（澳门大学）；Institute of Collaborative Innovation（协同创新研究院）
针对少样本识别中标注成本高的问题，提出分阶段检索增强微调方法SWAT，通过两阶段训练缓解检索数据的分布不平衡与域间隙问题，在9个基准上准确率较现有方法提升超6%。
2025-03-21 cs.AI cs.CV cs.LG
VL-DPO: Vision-Language-Guided Finetuning for Preference-Aligned Autonomous Driving
Waymo
本文提出VL-DPO，一种基于视觉语言模型的框架，通过零样本推理生成偏好对来微调自动驾驶模型，以提升与人类驾驶偏好的对齐程度，实验表明该方法在RFS和ADE指标上均优于基线模型。
2026-05-19 cs.AI cs.CV
Mug-STAN: Adapting Image-Language Pretrained Models for General Video Understanding
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Peng Cheng Laboratory（鹏城实验室）；ByteDance Inc.（字节跳动公司）
本文提出Mug-STAN框架，通过解耦时空模块实现可泛化的时序建模，并利用互引导对齐模块抑制视频-文本错位，有效将图像-语言预训练模型扩展至通用视频理解，在多个下游数据集上取得SOTA零样本与微调结果并实现零样本视频聊天。
2023-11-25 cs.CV
Constrained Adaptive Projection with Pretrained Features for Anomaly Detection
Shenzhen Institute of Advanced Study, UESTC（电子科技大学深圳高等研究院）
异常检测的目的是将异常从正常样本中分离出来，而预训练的网络在异常检测方面具有很好的应用前景。然而，当对一类训练数据进行微调时，调整预训练的特征将面临模式崩溃的风险。在本文中，我们提出了一个异常检测框架称为约束自适应投影与预训练的功能（CAP）。结合预训练特征，设计了一个简单的线性投影头，应用于特定的输入及其k个最相似的预训练正常表示进行特征自适应，并利用改进的自注意挖掘一类语义特征之间的内在联系。提出了一种损失函数来避免潜在的模式崩溃。具体地说，它考虑了特定数据与其相应的自适应法线表示之间的相似性，并引入了一个约束项，使预训练空间和自适应空间稍微对齐。我们的方法在语义异常检测和感官异常检测基准上实现了最先进的异常检测性能，包括CIFAR- 100数据集上的96.5%AUROC，CIFAR-10数据集上的97.0%AUROC和MvTec数据集上的89.9%AUROC。
2022-04-25 cs.CV
Frozen CLIP Models are Efficient Video Learners
The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）；Rutgers University（罗格斯大学）；Hasso Plattner Institute（哈索·普拉特纳研究所）；SenseTime Research（商汤科技研究院）；Centre for Perceptual and Interactive Intelligence Limited（感知与交互智能中心有限公司）
视频识别一直由端到端学习范式主导-首先使用预训练图像模型的权重初始化视频识别模型，然后对视频进行端到端训练。这使得视频网络能够从预训练的图像模型中受益。然而，这需要大量的计算和内存资源来对视频进行微调，并且直接使用预训练的图像特征而不对图像主干进行微调的替代方案会导致低于标准的结果。幸运的是，对比视觉语言预训练（CLIP）的最新进展为视觉识别任务铺平了道路。在大型开放词汇图像-文本对数据上进行预训练，这些模型可以学习具有丰富语义的强大视觉表示。在本文中，我们提出了有效的视频学习（EVL）-一个有效的框架，用于直接训练具有冻结CLIP特征的高质量视频识别模型。具体来说，我们采用了一个轻量级的Transformer解码器和学习查询令牌动态收集帧级的空间功能的CLIP图像编码器。此外，我们在每个解码器层中采用局部时间模块，以从相邻帧及其注意力图中发现时间线索。我们表明，尽管是有效的训练与冻结的骨干，我们的模型学习高质量的视频表示在各种视频识别数据集。代码可在https://github.com/OpenGVLab/efficient-video-recognition上获得。
2022-08-06 cs.CV
