Few-Shot Learning with Adaptive Weight Masking in Conditional GANs
Tulane University（杜兰大学）；Northeastern University（东北大学）；Washington University in St. Louis（华盛顿大学圣路易斯分校）；New York University（纽约大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对少样本场景下标注数据不足与过拟合问题，本文提出RWM-CGAN，通过残差生成器和权重掩码判别器进行受控数据增强，显著提升公开数据集上的检测与分类性能。
2024-12-04 cs.CV cs.LG
Momentum-based Weight Interpolation of Strong Zero-Shot Models for Continual Learning
University of Tübingen（图宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
大型预训练的、具有zero-shot能力的模型在标准传输和自适应任务中都表现出相当大的成功，对分布偏移具有特别的鲁棒性。此外，后续的微调可以显著提高选定下游任务的性能。然而，通过朴素的微调，这些zero-shot模型失去了它们对分布偏移的概括性和鲁棒性。这对于诸如持续学习（CL）之类的任务是一个特殊的问题，在CL中，随着新的任务分布被顺序地引入，必须执行持续适应。在这项工作中，我们展示了微调不足，以适应这种zero-shot能力的模型，简单的动量为基础的权重插值可以提供一致的改进CL任务在无内存和基于内存的设置。特别是，我们发现在标准CL基准测试上的改进超过了$+4\%$，同时将错误减少到一次对所有任务进行联合训练的上限一半以上，使持续学习者能够更接近联合训练极限。
2022-11-06 cs.CV cs.LG
Few-shot Continual Learning: a Brain-inspired Approach
Tsinghua University（清华大学）；Tsinghua-Peking Center for Life Sciences（清华-北大生命科学联合中心）
从几个例子中不断学习新任务是一个重要但具有挑战性的设置。尽管已有大量的研究致力于持续学习或少样本学习，但很少有研究考虑到Few-Shot持续学习（FSCL）这一新的环境，即需要最大限度地减少对旧任务的灾难性遗忘，并逐步提高Few-Shot泛化能力。在本文中，我们提供了第一个系统的研究FSCL，并提出了一个有效的解决方案与深度神经网络。我们的解决方案是基于这样的观察，即任务序列的持续学习不可避免地干扰了Few-Shot泛化，这使得将少样本学习策略扩展到持续学习场景是非常重要的。我们从鲁棒的脑系统中得到启发，提出了一种方法：（1）受元可塑性和快/慢突触的生物学模型的启发，相互依赖地更新持续学习和少样本学习的一对快/慢权重，以理清它们的不同目标;（2）用脑启发的两个--步骤合并策略，用于在快速权重中学习任务序列而不会忘记，同时在慢速权重中提高泛化能力而不会过拟合权重各种基准测试的广泛结果表明，我们的方法比以往任何时候都看到的所有任务的联合训练取得了更好的性能。Few-Shot泛化的能力也从传入的任务和示例中得到了实质性的提高。
2021-04-19 cs.LG
Generating Classification Weights with GNN Denoising Autoencoders for Few-Shot Learning
University Paris-Est（巴黎东大学）；Ecole des Ponts ParisTech（巴黎高科桥路学院）
给定一个已经在一组基类上训练过的初始识别模型，这项工作的目标是为少样本学习开发一个元模型。元模型，作为输入的一些新的类，几乎没有训练样本每类，必须适当地适应现有的识别模型到一个新的模型，可以正确地分类在一个统一的方式，新的和基本类。为了实现这一目标，它必须学会为这两种类型的类输出适当的分类权重向量。为了构建我们的元模型，我们使用了两个主要的创新：我们提出使用去噪自动编码器网络（DAE），该网络（在训练期间）将一组被高斯噪声破坏的分类权重作为输入，并学习重建目标区分分类权重。在这种情况下，在分类权重上注入的噪声起到正则化权重生成元模型的作用。此外，为了捕获我们的元模型的给定任务实例中不同类之间的相互依赖关系，我们建议将DAE模型实现为图神经网络（GNN）。为了验证我们的方法的有效性，我们在基于ImageNet的Few-Shot基准测试中对其进行了广泛的评估，并报告了超过先前方法的强有力的结果。我们论文的代码和模型将发布在：https://github.com/gidariss/wDAE_GNN_FewShot
2019-05-03 cs.CV cs.LG
Meta-Learned Confidence for Few-shot Learning
KAIST（韩国科学技术院）；AITRICS
在少样本学习环境下，直推推理是解决数据缺失问题的有效方法。一种流行的基于Few-Shot度量的方法的直推推理技术是用最置信的查询示例的平均值或所有查询样本的置信加权平均值来更新每个类的原型。然而，这里需要注意的是，模型置信度可能不可靠，这可能导致不正确的预测。为了解决这个问题，我们建议对每个查询样本的置信度进行元学习，为未标记的查询分配最佳权重，以提高模型在看不见的任务上的转导推理性能。我们通过在各种模型和数据扰动下的任务分布上元学习输入自适应距离度量来实现这一点，这将在各种不确定性下对未知任务的模型预测进行一致性。此外，我们还提出了一种正则化，它明确地强制执行高维嵌入向量的不同维度上的预测的一致性。我们在四个基准数据集上验证了我们的少样本学习模型与元学习置信度，在这些基准数据集上，它的表现大大优于最近的强基线，并获得了新的最先进的结果。在半监督少样本学习任务上的进一步应用也产生了比基线显著的性能改进。我们的算法的源代码可在https://github.com/seongmin-kye/MCT上获得。
2020-06-24 cs.CV cs.LG stat.ML
Continual HyperTransformer: A Meta-Learner for Continual Few-Shot Learning
Google Research（谷歌研究院）
针对持续小样本学习的不遗忘问题，提出基于HyperTransformer的递归权重复用方法，无需重放缓冲区等常用机制，可在多种学习场景下保留过往任务知识。
2024-08-18 cs.CV cs.LG
Simultaneous Perturbation Method for Multi-Task Weight Optimization in One-Shot Meta-Learning
SIT Rolos；Dnipro University of Technology（第聂伯国立技术大学）；OTP Bank（OTP银行）
元学习方法旨在构建能够在低数据状态下快速适应新任务的学习算法。这种算法最困难的基准之一是一次性学习问题。在这种情况下，许多算法面临与有限数量的训练样本相关的不确定性，这可能导致过拟合。这个问题可以通过向模型提供附加信息来解决。最有效的方法之一就是多任务学习。在本文中，我们研究了一个标准的元学习管道的修改。所提出的方法同时利用信息从几个元训练任务中的一个共同的损失函数。这些任务在损失函数中的影响由每任务权重控制。权重的适当优化对模型的训练和最终质量有很大的影响。我们提出并研究了使用同时扰动随机近似（SPSA）的方法来优化元训练任务的权重。我们还证明了随机逼近的优越性相比，基于梯度的方法。所提出的多任务修改可以应用于几乎所有的元学习方法。我们研究了这种修改在CIFAR-FS，FC 100，miniImageNet和tieredImageNet一次性学习基准上的模型不可知元学习和原型网络算法上的应用。在这些实验中，多任务修改已经证明了对原始方法的改进。本文首次采用SPSA跟踪算法进行多任务权重优化，显示出最大的准确性提升，与最先进的元学习方法相比具有竞争力。我们的代码可在线获取。
2022-10-02 cs.AI cs.CV cs.LG
Z-PEFT: Zero-shot Backdoor Detection in Parameter-Efficient Fine-Tuning via Canonical Spectral Signatures
Z-PEFT是一种仅依赖逐层谱测度的轻量元分类器，可在含未见攻击和数据集的新条件下实现最优权重空间后门检测，且计算成本低、可扩展。
2026-08-04 cs.LG
Adaptive Distribution Calibration for Few-Shot Learning with Hierarchical Optimal Transport
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Xidian University（西安电子科技大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
Few-Shot分类旨在学习分类器以在训练期间识别不可见的类别，其中学习的模型可以基于仅由几个训练样本形成的偏置分布而容易地变得过拟合。最近的一个解决方案是通过从具有足够实例的基类转移统计量来校准这几个样本类的分布，其中如何确定从基类到新类的转移权重是关键。然而，用于学习转移权重的原则性方法尚未被仔细研究。为此，我们提出了一种新的分布校准方法，通过学习新的样本和基类之间的自适应权重矩阵，这是建立在一个分层的最优运输（H-OT）框架。通过最小化新样本和基类之间的高级OT距离，我们可以将学习到的传输计划视为用于传输基类统计信息的自适应权重信息。在高级OT中学习基类和新类之间的成本函数导致引入低级OT，其考虑基类中所有数据样本的权重。标准基准测试的实验结果表明，我们提出的即插即用模型优于竞争的方法，并具有所需的跨领域泛化能力，表明学习的自适应权重的有效性。
2022-10-09 cs.CV cs.LG
Weight Copy and Low-Rank Adaptation for Few-Shot Distillation of Vision Transformers
University of Bucharest（布加勒斯特大学）；Norwegian University of Science and Technology（挪威科技大学）；University of Medicine and Pharmacy “Carol Davila”（卡罗尔·达维拉医药大学）
针对小样本下视觉Transformer知识蒸馏问题，提出结合权重复制与增强版LoRA的蒸馏方法，经多领域多任务实验验证性能优于现有最优方案，且各组件均有效。
2024-10-30 cs.AI cs.CV cs.LG
SLiM: One-shot Quantization and Sparsity with Low-rank Approximation for LLM Weight Compression
University of Toronto（多伦多大学）；Google DeepMind（谷歌DeepMind）；NVIDIA Research（NVIDIA研究）
本文提出一次性压缩框架SLIM，将硬件友好的量化、半结构化稀疏性与低秩近似相集成，通过概率量化、剪枝及新颖显著性函数补偿误差，显著提升了模型精度并降低了内存和推理开销。
2025-08-14 cs.AI cs.LG cs.PF
Meta-Learning via Classifier(-free) Diffusion Guidance
ETH AI Center, ETH Zürich（苏黎世联邦理工学院ETH人工智能中心）；Institute of Neuroinformatics, University of Zürich and ETH Zürich（苏黎世大学与苏黎世联邦理工学院神经信息学研究所）；Soft Robotics Lab, ETH Zürich（苏黎世联邦理工学院软机器人实验室）；Dept. of Computer Science, ETH Zürich（苏黎世联邦理工学院计算机科学系）
我们引入元学习算法，执行神经网络模型的zero-shot权重空间自适应，以看不见的任务。我们的方法重新利用流行的生成图像合成技术的自然语言的指导和扩散模型，以产生适应任务的神经网络权重。我们首先训练一个无条件生成超网络模型来产生神经网络权重;然后我们训练第二个“指导”模型，该模型给出自然语言任务描述，遍历超网络潜在空间，以zero-shot方式找到高性能任务自适应权重。我们探讨了两种替代方法的潜在空间的指导：“HyperCLIP”为基础的分类指导和有条件的超网络潜空间扩散模型（“HyperLDM”），我们表明受益于无分类器引导技术常见的图像生成。最后，我们在Meta-VQA数据集上进行了一系列零样本学习实验，证明了我们的方法优于现有的多任务和元学习方法。
2023-01-31 cs.LG
Few-Shot Learning with Geometric Constraints
Korea University（高丽大学）
在这篇文章中，我们考虑了分类的少样本学习问题。我们假设一个网络是用大量的训练样本训练的，我们的目标是向它添加只有几个的新类别，例如，一个或五个训练样本。这是一个具有挑战性的场景，因为：1）在基础类别和新类别中都需要高性能; 2）用几个训练样本训练新类别的网络可能会污染为基础类别训练得很好的特征空间。为了解决这些挑战，我们提出了两个几何约束，微调网络与一些训练样本。第一个约束使新类别的特征能够聚集在类别权重附近，第二个约束使新类别的权重远离基本类别的权重。通过应用所提出的约束，我们提取新类别的判别特征，同时保留为基本类别学习的特征空间。使用公共数据集进行少样本学习，这些数据集是ImageNet的子集，我们证明了所提出的方法大大优于流行的方法。
2020-03-20 cs.CV cs.LG
Does Combining Parameter-efficient Modules Improve Few-shot Transfer Accuracy?
Noah's Ark Lab（诺亚方舟实验室）
本文研究 LoRA 模块的可组合性，发现均匀组合与学习式组合在少样本场景下均能提升迁移准确率并优于全量微调，且均匀组合无需额外可学习参数。
2024-02-23 cs.CV cs.LG
A Nested Bi-level Optimization Framework for Robust Few Shot Learning
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
模型不可知元学习（MAML）是一种流行的基于梯度的元学习框架，它假设每个任务或实例对元学习者的贡献是相等的。因此，它无法解决少样本学习中基类和新类之间的域转移。在这项工作中，我们提出了一种新的强大的元学习算法，NestedMAML，它学会为训练任务或实例分配权重。我们将权重视为超参数，并使用嵌套双层优化方法中的一小组验证任务对其进行迭代优化（与MAML中的标准双层优化相反）。然后，我们在元训练阶段应用NestedMAML，这涉及（1）从与元测试任务分布不同的分布中采样的几个任务，或者（2）带有噪声标签的一些数据样本。在合成和真实世界数据集上的大量实验表明，NestedMAML有效地减轻了“不需要的”任务或实例的影响，从而大大改善了最先进的鲁棒元学习方法。
2021-12-01 cs.LG
Better Generalized Few-Shot Learning Even Without Base Data
Inha University（仁荷大学）
介绍并研究了零基广义少样本学习（零基GFSL）问题，它是少样本学习问题的一个极端而又实用的版本。受隐私或道德问题导致基础数据不可用的情况的启发，零基GFSL的目标是将新类的少数样本的知识重新纳入到没有任何基类样本的预训练模型中。根据我们的分析，我们发现的事实是，新的类的权重分布的均值和方差都没有适当地建立，相比的基础类。现有的GFSL方法试图使权重范数平衡，我们发现这只对方差部分有帮助，但丢弃了权重均值的重要性，特别是对于新的类，导致GFSL问题的性能有限，即使有基础数据。在本文中，我们克服了这一限制，提出了一个简单而有效的归一化方法，可以有效地控制新的类的权重分布的均值和方差，而不使用任何基础样本，从而实现了令人满意的性能上的新的和基础类。我们的实验结果有些令人惊讶地表明，所提出的零基GFSL方法，不利用任何基础样本，甚至优于现有的GFSL方法，使最好的基础数据的使用。我们的实现可以在https://github.com/bigdata-inha/Zero-Base-GFSL上获得。
2022-11-30 cs.AI cs.CV cs.LG
Uncertainty-based Network for Few-shot Image Classification
Nanjing University（南京大学）
在少样本学习任务中，直推推理是一种有效的技术，查询集通过更新原型来改进自己。然而，这些方法通过仅考虑查询实例的分类分数作为置信度而忽略这些分类分数的不确定性来优化模型。本文提出了一种新的方法，称为基于不确定性的网络，该方法借助互信息对分类结果的不确定性进行建模。具体来说，我们首先对查询实例进行数据扩充和分类，并计算这些分类得分的互信息。然后，利用互信息作为不确定性为分类得分分配权重，并在原型优化中采用基于分类得分和不确定性的迭代更新策略为查询实例分配最优权重。在四个基准测试上的广泛结果表明，与最先进的方法相比，基于不确定性的网络在分类精度方面取得了相当的性能。
2022-05-17 cs.CV cs.LG
Adaptive Poincaré Point to Set Distance for Few-Shot Classification
Monash University（蒙纳士大学）；The Australian National University（澳大利亚国立大学）；DATA61-CSIRO（澳大利亚联邦科学与工业研究组织数据61）；The University of Melbourne（墨尔本大学）
从有限的例子中学习和概括，即少样本学习，对许多现实世界的视觉应用至关重要。实现少样本学习的主要方式是实现嵌入，其中来自不同类别的样本是独特的。最近的研究表明，通过双曲几何嵌入享有低失真的分层和结构化的数据，使其适合于少样本学习。在本文中，我们建议学习一个上下文感知的双曲度量来表征一个点和一个与学习到的集合到集合距离相关联的集合之间的距离。为此，我们制定的度量作为双曲空间的切丛上的加权和，并开发了一种机制，以获得自适应的权重和星座的点的基础上。这不仅使度量局部化，而且还依赖于手头的任务，这意味着度量将根据它比较的样本进行调整。我们的经验表明，这样的度量在存在离群值的情况下具有鲁棒性，并在基线模型上实现了切实的改进。这包括五个流行的Few-Shot分类基准测试的最新结果，即mini-ImageNet，tiered-ImageNet，Caltech-UCSD Birds-200-2011（CUB），CIFAR-FS和FC 100。
2021-12-03 cs.CV cs.LG
Tuning Language Models as Training Data Generators for Augmentation-Enhanced Few-Shot Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出FewGen方法，通过调优自回归语言模型生成合成训练数据来增强少样本学习，在GLUE基准上显著优于现有方法。
2023-05-12 cs.CL cs.LG
Influential Prototypical Networks for Few Shot Learning: A Dermatological Case Study
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
原型网络是一种简单而有效的Few Shot学习策略。它是一种基于度量的元学习技术，通过计算每个类的原型表示的欧几里得距离来执行分类。传统的PN属性等于所有样本的重要性，并通过简单地平均属于每个类的支持样本嵌入来生成原型。在这项工作中，我们提出了一个新版本的PN属性权重支持样本对应于他们的支持样本分布的影响。样本的影响权重是基于包含和不包含样本的样本分布的平均嵌入之间的最大平均差异（MMD）计算的。我们提出的有影响力的PN（IPNet）的综合评价是通过比较其性能与其他基线PN在三个不同的基准皮肤病学数据集。IPNet优于所有基线模型，在所有三个数据集和各种N路，K-shot分类任务上都有令人信服的结果。跨域适应实验的结果进一步确立了IPNet的鲁棒性和通用性。
2021-12-24 cs.CV cs.LG eess.IV
Subspace Regularizers for Few-Shot Class Incremental Learning
Boston University（波士顿大学）
Few-Shot类增量学习-更新训练分类器以区分具有有限标记数据的扩展类集的问题-是部署在非静态环境中的机器学习系统的关键挑战。解决这个问题的现有方法依赖于复杂的模型架构和难以调整和重用的训练过程。在本文中，我们提出了一个非常简单的方法，使普通的逻辑回归分类器的Few-Shot增量学习。这种方法的关键是一个新的家庭的子空间正则化计划，鼓励新类的权重向量接近现有类的权重所跨越的子空间。当与预训练的卷积特征提取器相结合时，使用子空间正则化训练的逻辑回归模型在miniImageNet数据集上的性能优于专用的最先进的Few-Shot增量图像分类方法高达22%。由于其简单性，子空间正则化可以直接扩展到包含有关新类的额外背景信息（包括自然语言中指定的类名和描述）;这些进一步提高精度高达2%。我们的研究结果表明，类表示的简单几何正则化为持续学习提供了一个有效的工具。
2022-02-20 cs.CV cs.LG
HyperMAML: Few-Shot Adaptation of Deep Models with Hypernetworks
Jagiellonian University（雅盖隆大学）；Doctoral School of Exact and Natural Sciences（精确与自然科学博士学院）；IDEAS NCBR；Tooploox Ltd.（Tooploox有限公司）；Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）
针对 MAML 依赖梯度更新、适配步少则不足、步多则难训练且易过拟合的问题，本文提出 HyperMAML，用可训练超网络生成权重更新，并在标准少样本基准上取得优于 MAML、比肩 SOTA 的效果。
2024-07-08 cs.AI cs.LG
Meta-Tool: Efficient Few-Shot Tool Adaptation for Small Language Models
LexisNexis, USA（LexisNexis美国公司）
本文通过Meta-Tool研究小语言模型是否能在不复杂适应机制下实现强工具使用性能，发现超网络适应无显著提升，提示应关注提示工程与示例整理。
2026-04-22 cs.AI cs.CL cs.LG
Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights
National University of Singapore（新加坡国立大学）；UT Austin（德克萨斯大学奥斯汀分校）；University of St. Gallen（圣加尔登大学）；Oxford University（牛津大学）
本文提出拖放式大语言模型（DnD），通过提示条件参数生成器将任务提示直接映射为LoRA权重，实现零样本快速特化，显著降低开销并提升跨域性能。
2025-06-19 cs.AI cs.LG
Tiny Time Mixers (TTMs): Fast Pre-trained Models for Enhanced Zero/Few-Shot Forecasting of Multivariate Time Series
IBM Research（IBM研究院）
本文提出微型时间混合器（TTM），一种轻量级预训练模型，通过自适应分块、多样分辨率采样和分辨率前缀调优等技术，在多变量时间序列零样本/少样本预测中超越现有基准4-40%，并显著降低计算需求。
2024-11-07 cs.AI cs.LG
Federated Few-Shot Learning on Neuromorphic Hardware: An Empirical Study Across Physical Edge Nodes
本文研究了在神经形态硬件上进行联邦少样本学习，发现神经元级拼接（FedUnion）在保持准确性方面优于元素级权重平均（FedAvg）。通过扩展特征维度，最佳策略的联邦准确率提升至77.0%。
2026-03-13 cs.DC cs.LG cs.NE
Laboratory-Scale AI: Open-Weight Models are Competitive with ChatGPT Even in Low-Resource Settings
University of Washington（华盛顿大学）；New York University（纽约大学）
本研究探讨在低资源环境下，小型开放权重模型能否以低成本、低数据微调达到与GPT-4-Turbo相当的性能，并发现其在领域适应任务中具有竞争力，且优于封闭模型在偏见、隐私和幻觉风险方面的表现。
2024-05-27 cs.AI cs.CY cs.HC
One-Shot Learning in Discriminative Neural Networks
Qlearsite（Qlearsite公司）
我们考虑的任务一次性学习的视觉类别。在本文中，我们探讨了贝叶斯过程更新预训练的convnet分类一个新的图像类别的数据是有限的。我们将这个convnet分解为固定的特征提取器和softmax分类器。我们假设新任务的目标权重来自与预训练的softmax权重相同的分布，我们将其建模为多变量高斯分布。通过将其用作新权重的先验，我们展示了与最先进方法的竞争性能，同时也与在大数据上训练深度网络的“正常”方法保持一致。
2017-07-18 cs.LG stat.ML
Bridging the Gap between Sample-based and One-shot Neural Architecture Search with BONAS
Hong Kong University of Science and Technology（香港科技大学）；The University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
神经结构搜索（NAS）在寻找更好的神经网络设计方面显示出巨大的潜力。基于样本的NAS是最可靠的方法，旨在探索搜索空间和评估最有前途的架构。然而，它在计算上非常昂贵。作为一种补救措施，一次性方法已经成为一种使用权重共享加速NAS的流行技术。然而，由于权重分配的网络差异很大，单次方法的可靠性低于基于样本的方法。在这项工作中，我们提出了BONAS（贝叶斯优化神经架构搜索），一个基于样本的NAS框架，使用权重共享来加速同时评估多个相关架构。具体来说，我们应用图卷积网络预测器作为贝叶斯优化的代理模型，在每次迭代中选择多个相关的候选模型。然后，我们将权重共享应用于同时训练多个候选模型。这种方法不仅大大提高了传统的基于样本的方法的速度，而且保持了其可靠性。这是因为相关架构之间的权重共享比一次性方法中的权重共享更可靠。进行了大量的实验，以验证我们的方法的有效性，许多竞争算法。
2020-11-25 cs.LG stat.ML
Generative Low-Shot Network Expansion
Intel Corporation（英特尔公司）；Amazon（亚马逊）；Tel-Aviv University（特拉维夫大学）
传统的深度学习分类器是静态的，因为它们是在预定义的类集合上训练的，并且学习对新类进行分类通常需要重新训练。在这项工作中，我们解决了Low-Shot网络扩展学习的问题。我们引入了一个学习框架，该框架能够扩展预训练的（基础）深度网络，以便在新类别的示例数量特别少时对新类别进行分类。我们提出了一种简单而强大的硬蒸馏方法，其中基础网络增加了额外的权重来分类新的类别，同时保持基础网络的权重不变。我们表明，由于只需要训练少量的权重，因此硬蒸馏在低射击训练场景中表现出色。此外，硬蒸馏避免了对基类的分类性能的损害。最后，我们表明，低拍摄网络扩展可以做一个非常小的内存占用，通过使用一个紧凑的生成模型的基类训练数据，只有一个可以忽略不计的退化相对于学习与完整的训练集。
2018-10-19 cs.LG stat.ML
Theory of Minimal Weight Perturbations in Deep Networks and its Applications for Low-Rank Activated Backdoor Attacks
Department of Mathematics, University of Oxford, Oxford, UK（牛津大学数学系）
本文推导了深度网络实现指定输出变化所需的最小范数权重扰动，并讨论了其大小决定因素，同时将其应用于精度修改激活的后门攻击，确定了攻击成功的压缩阈值，并展示了低秩压缩可以在保持全精度准确性的同时可靠激活潜在后门。
2026-05-18 cs.IT cs.LG math.IT
K-shot NAS: Learnable Weight-Sharing for NAS with K-shot Supernets
The University of Sydney（悉尼大学）；SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）
在NAS的一次性权重共享中，每个操作（在每一层）的权重对于超网中的所有架构（路径）都应该是相同的。然而，这排除了调整操作权重以满足不同路径的可能性，这限制了评估结果的可靠性。在本文中，而不是指望一个单一的超网，我们介绍了$K$拍摄超网，并采取他们的权重为每个操作作为一个字典。每个路径的操作权重被表示为字典中的项与单纯形码的凸组合。这使得能够实现具有较高秩的独立权重矩阵（$K>1$）的矩阵近似。引入一个\textit{simplex-net}为每条路径生成架构自定义代码，使得所有路径都能自适应地学习如何在$K$ -shot超网中共享权值，并获得相应的权值，从而更好地进行评估. $K$ -shot超网和单纯形网可以迭代训练，我们进一步扩展搜索到通道维。在基准数据集上进行的大量实验表明，K-shot NAS显著提高了路径评估的准确性，从而带来了令人印象深刻的性能提升。
2021-06-11 cs.CV cs.LG
Metalearning with Hebbian Fast Weights
Microsoft Research（微软研究院）
我们统一了最近的神经元方法一次性学习与旧的联想记忆模型的元学习的想法。我们的模型联合学习来表示数据，并将类标签绑定到Single Shot中的表示。它通过SGD跨任务学习的慢速权重构建表示，而通过Hebbian学习规则构建的快速权重为每个新任务实现一次性绑定。在Omniglot，Mini-ImageNet和Penn Treebank一次性学习基准测试中，我们的模型实现了最先进的结果。
2018-07-12 cs.AI cs.LG cs.NE
BS-NAS: Broadening-and-Shrinking One-Shot NAS with Searchable Numbers of Channels
Ping An Technology（平安科技）
One-Shot方法由于超网的权重共享和单次训练而发展成为神经结构搜索（NAS）中最流行的方法之一。然而，现有的方法通常遭受两个问题：预定数量的通道，在每一层，这是次优的;和模型平均效应和差的排名相关性所造成的权重耦合和不断扩大的搜索空间。为了明确地解决这些问题，在本文中，提出了一个扩大和缩小的单次NAS（BS-NAS）的框架，其中“扩大”是指扩大搜索空间与弹簧块，使搜索通道的数量在训练过程中的超网，而“缩小”是指一种新的收缩策略逐渐关闭那些表现不佳的操作。上述创新扩大了搜索空间以获得更广泛的表示，然后通过逐渐去除表现不佳的操作来缩小搜索空间，然后使用进化算法来有效地搜索最佳架构。在ImageNet上的大量实验表明了所提出的BS-NAS的有效性以及最先进的性能。
2020-03-22 cs.LG stat.ML
A Simple Zero-shot Prompt Weighting Technique to Improve Prompt Ensembling in Text-Image Models
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）；Nvidia（英伟达）；Harvard University（哈佛大学）
针对零样本文本-图像分类依赖手工提示工程的问题，提出一种无需标签和优化的自动提示评分与加权集成方法，在ImageNet等16个基准上优于等权集成和手工提示。
2023-07-15 cs.CV cs.LG stat.ML
It's DONE: Direct ONE-shot learning with quantile weight imprinting
Center for Information and Neural Networks (CiNet), Advanced ICT Research Institute, National Institute of Information and Communications Technology (NICT)（国立信息与通信技术研究所（NICT）高级信息与通信技术研究院信息与神经网络中心（CiNet））；RIKEN Center for Biosystems Dynamics Research (BDR)（理化学研究所生物系统动力学研究中心（BDR））；Graduate School of Information Science and Technology, Osaka University（大阪大学信息科学与技术研究生院）；Cybermedia Center, Osaka University（大阪大学网络媒体中心）
从一个示例学习新概念是人脑的优越功能，并且它作为一次性学习任务在机器学习领域引起了关注。在本文中，我们提出了一个最简单的方法，这个任务的非参数权重印记，命名为直接一次性学习（完成）。DONE将新类添加到预训练的深度神经网络（DNN）分类器中，既不进行训练优化，也不进行预训练DNN修改。DONE受Hebbian理论的启发，直接使用从属于新的附加类的数据中获得的最终密集层的神经活动输入作为新类的新提供输出神经元的突触权重，通过分位数归一化将神经活动的所有统计属性转换为突触权重。DONE只需要一个推理来学习一个新概念，它的过程简单，确定性强，不需要参数调整和超参数。DONE克服了现有权重印记方法的一个严重问题，即DNN依赖于原始类别图像的分类。DONE的性能完全取决于用作骨干模型的预训练DNN模型，我们证实DONE与当前经过良好训练的骨干模型的性能相当准确。
2022-11-02 cs.LG
One-shot Active Learning Based on Lewis Weight Sampling for Multiple Deep Models
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Nanyang Technological University（南洋理工大学）
针对多深度模型主动学习中迭代训练成本高的问题，提出基于跨表示最大Lewis权重采样与重加权的一次性$\ell_p$回归方法，并给出样本数上界，在11个基准上性能可比最先进方法。
2024-10-02 cs.LG
Distilled One-Shot Federated Learning
University of Florida（佛罗里达大学）；Cognization Lab（认知实验室）
目前的联邦学习算法在理想情况下需要数十轮通信来传输庞大的模型权重，而在数据分布不佳的情况下则需要数百轮通信。受最近数据集蒸馏和分布式单次学习工作的启发，我们提出了蒸馏单次联邦学习（DOSFL），以显着降低通信成本，同时实现相当的性能。在一轮中，每个客户端提取其私有数据集，将合成数据（例如图像或句子）发送到服务器，并共同训练全局模型。提取的数据看起来像噪声，并且仅对特定的模型权重有用，即，在模型更新后变得无用。通过这种轻量和无梯度的设计，DOSFL的总通信成本比FedAvg低三个数量级，同时保留了集中式对等体的93%到99%的性能。之后，客户可以切换到传统的方法，如FedAvg来微调最后的几个百分比，以适应个性化的本地模型与本地数据集。通过全面的实验，我们展示了DOSFL在视觉和语言任务上的准确性和通信性能，包括CNN，LSTM，Transformer等。我们证明了窃听攻击者无法使用泄漏的蒸馏数据正确地训练一个好的模型，而不知道初始模型权重。DOSFL是一种廉价的方法，可以快速收敛到高性能的预训练模型，其通信成本低于传统方法的0.1%。
2021-06-06 cs.AI cs.LG stat.ML
A Generalized Zero-Shot Quantization of Deep Convolutional Neural Networks via Learned Weights Statistics
Samsung R&D Institute India- Bangalore（三星印度班加罗尔研发中心）；Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；TensorTour Inc.（TensorTour公司）
将深度卷积神经网络的浮点权重和激活量化为定点表示可以减少内存占用和推理时间。最近，人们正在努力实现不需要给定任务的原始未标记训练样本的zero-shot量化。这些最好的出版作品严重依赖于学习的批量归一化（BN）参数来推断量化的激活范围。特别是，这些方法建立在经验估计框架或数据蒸馏方法的基础上，用于计算激活的范围。然而，当呈现不容纳BN层的网络时，这种方案的性能严重降低。在这种思路下，我们提出了一个广义zero-shot量化（GSQQ）框架，既不需要原始数据，也不依赖于BN层统计。我们利用数据蒸馏方法，仅利用模型的预训练权重来估计用于激活范围校准的丰富数据。据我们所知，这是第一个利用预训练权重的分布来辅助zero-shot量化过程的工作。所提出的方案明显优于现有的zero-shot作品，例如，MobileNetV2和其他几个无BN层的模型的分类准确性提高了约33%，适用于各种任务。我们还在多个开源量化框架中证明了所提出的工作的有效性。重要的是，我们的工作是对未来非规范化深度神经网络的训练后zero-shot量化的第一次尝试。
2021-12-11 cs.CV cs.LG
Aligned Weight Regularizers for Pruning Pretrained Neural Networks
Huawei Research Center（华为研究中心）
虽然各种途径的研究已经探索了迭代修剪，很少有人知道修剪有什么影响的zero-shot测试性能和修剪标准的选择其潜在的影响。这种修剪设置对于在预训练期间隐式学习语言表示之间的对齐的跨语言模型特别重要，如果通过修剪而扭曲，不仅会导致用于再训练的语言数据的性能较差，而且还会导致评估的zero-shot语言的性能较差。在这项工作中，我们表明，有一个明显的性能差异，在基于幅度的修剪时，比较标准的监督学习的zero-shot设置。根据这一发现，我们提出了两个权重正则化器，旨在最大限度地提高修剪和未修剪网络单元之间的对齐度，以减轻修剪跨语言模型中的对齐失真，并在非zero-shot和zero-shot设置下表现良好。我们提供的实验结果跨语言任务的zero-shot设置使用XLM-RoBERTa $_{\mathrm{Base}}$，我们还发现，修剪有不同程度的代表性退化取决于对应的语言的zero-shot测试集。这也是第一个研究，重点是跨语言的语言模型压缩。
2022-04-05 cs.CL cs.LG
Task Discrepancy Maximization for Fine-grained Few-Shot Classification
Sungkyunkwan University（成均馆大学）
识别诸如眼睛和喙之类的区别性细节对于区分细粒度类是重要的，因为它们具有相似的整体外观。在这方面，我们介绍了任务离散最大化（TDM），一个简单的模块细粒度的Few-Shot分类。我们的目标是本地化类明智的歧视性地区突出通道编码类的不同信息。具体而言，TDM基于两个新组件学习特定于任务的信道权重：支持注意模块（SAM）和查询注意模块（QAM）。SAM产生一个支持权重来表示每个类的通道式鉴别能力。尽管如此，由于SAM基本上仅基于标记的支持集，因此它可能容易偏向于这种支持集。因此，我们提出QAM补充SAM产生的查询权重，授予更多的权重，对象相关的渠道为一个给定的查询图像。通过组合这两个权重，定义了类方式的任务特定信道权重。然后应用权重来产生任务自适应特征图，更侧重于区分细节。我们的实验验证了TDM的有效性及其与细粒度Few-Shot分类中现有方法的互补优势。
2022-07-04 cs.CV cs.LG
A Mean Field Ansatz for Zero-Shot Weight Transfer
Huawei Technologies Co., Ltd.（华为技术有限公司）；University of Edinburgh（爱丁堡大学）
针对大语言模型预训练成本高及零样本权重迁移缺乏理论解释的问题，本文提出平均场视角下的行列假设，证明不同规模神经网络权重有共同分布，为权重迁移提供理论支持，并通过MLP及GPT-3、Llama-3.1验证了假设。
2024-08-16 cs.LG cs.NA math.NA
Leveraging Prediction Entropy for Automatic Prompt Weighting in Zero-Shot Audio-Language Classification
本文提出基于熵的提示加权方法，通过最小化预测熵来提高零样本音频-语言分类的准确性，实验表明其在多个数据集上均优于传统方法。
2026-01-08 cs.LG cs.SD
Selecting Open-Weight Language Models for Zero-Shot Intent Classification: A Systematic Evaluation of 41 Models
该研究通过系统评估41种开放权重语言模型，为意图分类场景下选择符合计算、延迟等约束的模型提供了实用指导。
2026-07-31 cs.AI cs.CL cs.LG
Zero-Shot Quantization via Weight-Space Arithmetic
Sapienza University of Rome（罗马萨皮恩扎大学）
本文提出通过权重空间算术提取量化向量，无需接收端训练即可提升低比特量化精度，展示了量化鲁棒性的可迁移性与有效性。
2026-11-06 cs.AI cs.CV cs.LG
Weight Averaging for Out-of-Distribution Generalization and Few-Shot Domain Adaptation
LIONS lab（LIONS实验室）
本研究针对分布外泛化与少样本域自适应问题，通过引入梯度相似度正则项提升权重平均的模型多样性，并结合锐度感知最小化，在多个数据集上验证了性能提升效果。
2025-01-14 cs.CV cs.LG
SS-Auto: A Single-Shot, Automatic Structured Weight Pruning Framework of DNNs with Ultra-High Efficiency
Northeastern University（东北大学）；IBM Watson Lab（IBM Watson实验室）
结构化权重修剪是DNN的代表性模型压缩技术，用于硬件效率和推理加速。以往的工作在这方面留下了很大的改进空间，因为稀疏结构与不同的结构化修剪方案的组合没有充分和有效地利用。为了减轻这些限制，我们提出了SS-Auto，一个单次，自动结构化修剪框架，可以同时实现行修剪和列修剪。我们采用软约束为基础的配方，以减轻强大的非凸性的l0范数约束中使用的最先进的ADMM为基础的方法，更快的收敛速度和更少的超参数。而不是直接解决问题，提出了一个Primal-Proximal解决方案，以避免惩罚所有权重相等的陷阱，从而提高精度。在CIFAR-10和CIFAR-100数据集上的大量实验表明，该框架可以在保持准确性的同时实现超高的剪枝率。此外，通过对智能手机的实际测量，从所提出的框架中观察到了显著的推理加速。
2020-01-23 cs.CV cs.LG cs.NE
Generalizing Few-Shot NAS with Gradient Matching
The Chinese University of Hong Kong（香港中文大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；National University of Singapore（新加坡国立大学）
从大的搜索空间中提取的结构的有效性能估计对于神经结构搜索是必不可少的。One-Shot方法通过训练一个超网来解决这个挑战，通过权重共享来近似搜索空间中每个架构的性能，从而大大降低搜索成本。然而，由于权重共享引起的子架构之间的耦合优化，One-Shot超网的性能估计可能不准确，导致搜索结果下降。为了解决这个问题，Few-Shot NAS通过逐边（逐层）穷举分区将One-Shot超网拆分为多个独立的子超网，从而降低了权重共享的级别。由于超网的每一个划分都不是同等重要的，因此需要设计一个更有效的划分准则。在这项工作中，我们提出了一个梯度匹配分数（GM），利用梯度信息在共享的权重作出明智的分裂决定。直观地说，来自不同子模型的梯度可以用来识别它们是否同意如何更新共享模块，并随后决定它们是否应该共享相同的权重。与穷举分割相比，该准则显著降低了每条边的分支因子。这使我们能够在给定的预算下分割更多的边（层），从而大大提高了性能，因为NAS搜索空间通常包括数十个边（层）。在广泛的搜索空间（NASBench-201，DARTS，MobileNet Space），数据集（cifar 10，cifar 100，ImageNet）和搜索算法（DARTS，SNAS，RSPS，ProxylessNAS，OFA）上对所提出的方法进行了广泛的实证评估，结果表明，它显着优于其Few-Shot同行，同时在衍生架构的准确…
2022-04-05 cs.CV cs.LG
W-procer: Weighted Prototypical Contrastive Learning for Medical Few-Shot Named Entity Recognition
University of Minnesota（明尼苏达大学）；Georgia State University（佐治亚州立大学）
针对医疗少样本命名实体识别中外部（O）实体被错误推开导致原型噪声的问题，提出加权原型对比学习方法W-PROCER，通过构建基于原型的对比损失和加权网络增强判别能力，在三个医疗基准数据集上显著优于强基线。
2023-08-01 cs.CL cs.LG
Learning to Self-Train for Semi-Supervised Few-Shot Classification
Shanghai Jiao Tong University（上海交通大学）；Singapore Management University（新加坡管理大学）；Tianjin University（天津大学）；Alibaba Group（阿里巴巴集团）；National University of Singapore（新加坡国立大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
Few-Shot分类（FSC）由于标记的训练数据的稀缺性（例如，每个类只有一个标记的数据点）而具有挑战性。元学习已被证明可以通过学习初始化FSC的分类模型来实现有希望的结果。在本文中，我们提出了一种新的半监督元学习方法，称为学习自训练（LST），它利用未标记的数据，特别是元学习如何挑选和标记这些无监督数据，以进一步提高性能。为此，我们通过大量的半监督Few-Shot任务来训练LST模型。在每个任务中，我们训练一个Few-Shot模型来预测未标记数据的伪标签，然后在标记和伪标记数据上重复自训练步骤，每个步骤都进行微调。我们还学习了一个软加权网络（SWN）来优化伪标签的自训练权重，以便更好的伪标签可以为梯度下降优化做出更多贡献。我们在两个ImageNet基准测试中评估了我们的LST方法，用于半监督Few-Shot分类，并在最先进的方法上取得了很大的改进。代码位于https://github.com/xinzheli1217/learning-to-self-train。
2019-09-29 cs.CV cs.LG stat.ML
SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）；Neural Magic Inc.（Neural Magic公司）
我们第一次展示了大规模生成预训练的Transformer（GPT）系列模型可以在一次中修剪到至少50%的稀疏度，而无需任何重新训练，并且精度损失最小。这是通过一种名为SparseGPT的新修剪方法来实现的，该方法专门设计用于在大规模GPT系列模型上高效准确地工作。我们可以在最大的开源模型OPT-175 B和BLOOM-176 B上执行SparseGPT，时间不到4.5小时，并且可以达到60%的非结构化稀疏度，而困惑度的增加可以忽略不计：值得注意的是，这些模型中超过1000亿个权重可以在推理时忽略。SparseGPT一般化到半结构化（2：4和4：8）模式，并且与权重量化方法兼容。该代码可从以下网址获得：https://github.com/IST-DASLab/sparsegpt。
2023-03-22 cs.LG
Tripartite Weight-Space Ensemble for Few-Shot Class-Incremental Learning
Qualcomm AI Research（高通人工智能研究）
针对少样本类增量学习中的遗忘和过拟合问题，提出三元权重空间集成方法，通过插值基模型、前一模型和当前模型的权重并利用增强数据蒸馏，在多个基准上取得最优性能。
2025-06-04 cs.CV cs.LG
One-shot Neural Backdoor Erasing via Adversarial Weight Masking
Renmin University of China（中国人民大学）；Pennsylvania State University（宾夕法尼亚州立大学）
最近的研究表明，尽管在许多现实世界的应用中实现了高准确性，但深度神经网络（DNN）可以被后门：通过将触发数据样本注入训练数据集中，对手可以误导训练模型将任何测试数据分类为目标类，只要触发模式存在。为了消除这种后门威胁，已经提出了各种方法。特别是，一系列研究旨在净化潜在的受损模型。然而，这种工作的一个主要限制是需要访问足够的原始训练数据：当可用的训练数据有限时，净化性能要差得多。在这项工作中，我们提出了对抗性权重掩蔽（AWM），这是一种即使在一次性设置中也能够擦除神经后门的新方法。我们的方法背后的关键思想是将其公式化为最小-最大优化问题：首先，逆向恢复触发模式，然后（软）屏蔽对恢复模式敏感的网络权重。对几个基准数据集的综合评估表明，AWM可以在各种可用的训练数据集大小上大大提高其他最先进的方法的净化效果。
2022-11-02 cs.AI cs.CR cs.LG
Weighted Ensemble Self-Supervised Learning
Google Research（谷歌研究院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文提出一种允许数据依赖加权交叉熵损失的加权集成自监督学习框架，在不修改主干网络的情况下以极低训练成本提升了DINO和MSN等SSL方法在ImageNet-1K等下游任务中的性能。
2023-04-09 cs.AI cs.LG stat.ML
