HyperFlow: Gradient-Free Emulation of Few-Shot Fine-Tuning
KAIST School of Computing（韩国国立科学技术院计算机科学学院）
HyperFlow提出无需梯度的少样本微调仿真方法，通过将梯度下降视为ODE离散化并训练辅助网络预测漂移，实现高效测试时自适应，显著降低内存与计算成本，提升跨域性能。
2025-04-21 cs.AI cs.CV cs.LG
Pre-trained Neural Recommenders: A Transferable Zero-Shot Framework for Recommendation Systems
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对新领域需从头训练 NCF 的问题，本文提出利用用户-物品交互矩阵的通用统计特征学习跨数据集表示，构建无需辅助信息的零样本预训练推荐框架。
2023-09-29 cs.AI cs.IR
Graph Few-shot Learning via Knowledge Transfer
Pennsylvania State University（宾夕法尼亚州立大学）；University of Notre Dame（圣母大学）；Tencent AI Lab（腾讯人工智能实验室）
对于半监督节点分类这一具有挑战性的问题，已经有了广泛的研究。图神经网络（GNNs）作为一个前沿领域，近年来引起了人们极大的兴趣。然而，大多数GNN具有有限接收场的浅层，并且可能无法实现令人满意的性能，特别是当标记节点的数量非常小时。为了解决这一挑战，我们创新性地提出了一种图少样本学习（GFL）算法，该算法结合了从辅助图中学习到的先验知识，以提高目标图的分类精度。具体而言，可转移的度量空间的特征在于节点嵌入和特定于图的原型嵌入功能之间的辅助图和目标共享，促进结构知识的转移。在四个真实世界的图数据集上进行的大量实验和消融研究证明了我们所提出的模型的有效性。
2020-05-11 cs.LG stat.ML
Few-Shot Bioactivity Prediction with Meta-Learning under Assay Heterogeneity
Helmholtz Munich（亥姆霍兹慕尼黑研究中心）；Technical University of Munich（慕尼黑工业大学）；Helmholtz AI（亥姆霍兹人工智能中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Warsaw（华沙大学）；University of Technology Nuremberg（纽伦堡工业大学）；LMU Munich（慕尼黑大学）
针对测定异质性导致元学习性能下降的问题，提出MetaHeta框架，结合线性与精确注意力利用相关测定辅助数据，在ChEMBL和BindingDB上提升少样本生物活性预测与化合物排序。
2026-10-07 cs.LG
COBRA: COmBinatorial Retrieval Augmentation for Few-Shot Adaptation
University of Washington（华盛顿大学）
针对少样本自适应中检索样本冗余问题，提出基于组合互信息度量的COBRA方法，兼顾多样性与相似性，在LAION-2B上显著提升图像分类性能且开销可忽略。
2025-03-28 cs.LG
IPEC: Test-Time Incremental Prototype Enhancement Classifier for Few-Shot Learning
College of Intelligent Robotics and Advanced Manufacturing, Fudan University（智能机器人与先进制造学院，复旦大学）；School of Microelectronics, Fudan University（微电子学院，复旦大学）；Key Laboratory of Advanced Control and Optimization for Chemical Processes of Ministry of Education, East China University of Science and Technology（教育部先进化工过程控制与优化重点实验室，东华大学）
IPEC是一种用于少样本学习的测试时增量原型增强分类器，通过动态辅助集和双过滤机制优化原型估计，提升模型在少样本场景下的性能。
2026-01-16 cs.CV cs.LG
TransMatch: A Transfer-Learning Scheme for Semi-Supervised Few-Shot Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Futurewei Technologies；University of Rochester（罗切斯特大学）
深度学习在许多视觉识别任务中的成功应用在很大程度上依赖于大量标记数据的可用性，而这些数据的获取通常是昂贵的。少样本学习问题是一个基于少量标记样本建立鲁棒模型的问题，已引起研究者的广泛关注。大多数现有的作品在元学习框架下解决这个问题，通过模仿少样本学习任务的情景训练策略。在本文中，我们提出了一个新的迁移学习框架的半监督少样本学习，充分利用辅助信息标记的基本类数据和未标记的新类数据。该框架由三个部分组成：1）在基本类数据上预训练特征提取器; 2）使用特征提取器初始化新类的分类器权重;以及3）使用半监督学习方法进一步更新模型。在所提出的框架下，我们开发了一种新的半监督少样本学习方法，称为TransMatch通过实例化的三个组件与印记和MixMatch。在两个流行的少样本学习基准数据集CUB-200-2011和miniImageNet上的实验表明，该方法可以有效地利用标记的基类数据和未标记的新类数据中的辅助信息，显著提高少样本学习任务的准确性。
2020-03-09 cs.CV cs.LG stat.ML
Zero-shot Relation Classification from Side Information
Virginia Tech（弗吉尼亚理工大学）
我们提出了一个零样本学习关系分类（ZERO-SHOT LEARNING Relationship Classification，ZERO-SHOT LRC）框架，该框架通过识别训练数据中不存在的新关系的能力来改进现有技术。零样本学习方法模仿人类在没有先验知识的情况下学习和识别新概念的方式。为了实现这一点，ARMLRC使用先进的原型网络，这些网络经过修改以利用加权边（辅助）信息。LRC的辅助信息是由关键字、名称实体的上位词、标签及其同义词构建的。EMLRC还包括一个自动上位词提取框架，该框架直接从Web获取各种名称实体的上位词。LRC改进了依赖于标记的训练数据的最先进的少样本学习关系分类方法，因此即使在一些关系没有对应的标记样本用于训练的真实世界场景中也可以更广泛地应用。我们在两个公共数据集（NYT和FewRel）上进行了广泛的实验，结果表明，在监督学习、少样本学习和零样本学习任务上，ARLRC的性能明显优于最先进的方法。我们的实验结果也证明了我们提出的模型的有效性和鲁棒性。
2021-11-18 cs.CL cs.LG
Knowledge-enhanced Relation Graph and Task Sampling for Few-shot Molecular Property Prediction
Institute of Cyberspace Security, Zhejiang University of Technology（浙江工业大学网络空间安全研究院）；Collaborative Innovation Center of Yangtze RiverDelta Region Green Pharmaceuticals（长三角绿色制药协同创新中心）
本文提出KRGTS框架，通过知识增强关系图捕获分子与性质的多对多关系，并利用任务采样模块优化元学习，在五个数据集上超越现有方法。
2024-05-24 cs.AI cs.LG q-bio.QM
Training-Only Heterogeneous Image-Patch-Text Graph Supervision for Advancing Few-Shot Learning Adapters
Edge Hill University（埃德希尔大学）
本文提出一种仅训练的异构图监督方法，通过多尺度视觉补丁和文本提示构建统一图，利用模态感知图变压器进行跨模态推理，并通过节点过滤提取高保真类特征，从而提升少样本学习性能。
2026-03-18 cs.AI cs.CV cs.ET
Multi-Modal Fusion by Meta-Initialization
University of Oxford（牛津大学）；University College London（伦敦大学学院）
当经验不足时，模型可能没有足够的信息来适应新任务。在这种情况下，辅助信息-例如任务的文本描述-可以实现改进的任务推理和适应。在这项工作中，我们提出了一个扩展模型不可知元学习算法（MAML），它允许模型使用辅助信息以及任务经验来适应。我们的方法，融合元数据（FuMI），条件的辅助信息使用超网络的模型初始化，而不是学习一个单一的，任务不可知的初始化。此外，由于现有多模态少镜头学习基准的缺点，我们构建了iNat-Anim-一个大规模的图像分类数据集，具有简洁和视觉相关的文本类描述。在iNat-Anim上，FuMI在Few-Shot范围内显著优于单峰基线，如MAML。该项目的代码和iNat-Anim的数据集探索工具可在www.example.com上公开获得。
2022-10-10 cs.CV cs.LG
TADAM: Task dependent adaptive metric for improved few-shot learning
Element AI（元素人工智能公司）；CVC-UAB（巴塞罗那自治大学计算机视觉中心）
少样本学习已经成为生成从很少的例子中概括的模型的必要条件。在这项工作中，我们确定度量缩放和度量任务条件是重要的，以提高性能的Few-Shot算法。我们的分析表明，简单的度量缩放完全改变了Few-Shot算法参数更新的性质。度量缩放为mini-Imagenet 5路5镜头分类任务中的某些度量提供了高达14%的准确性改进。我们进一步提出了一个简单而有效的方法来调节学习任务样本集，从而学习任务相关的度量空间。此外，我们提出并实证测试了一个基于辅助任务协同训练的实用端到端优化过程，以学习任务相关的度量空间。由此产生的少样本学习模型的基础上的任务相关的缩放度量达到最先进的迷你Imagenet。我们在本文介绍的另一个基于CIFAR 100的Few-Shot数据集上证实了这些结果。我们的代码可在https://github.com/ElementAI/TADAM上公开获取。
2019-01-25 cs.AI cs.CV cs.LG
Improving Few-Shot Generalization by Exploring and Exploiting Auxiliary Data
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
针对FLAD中辅助数据混合成本随数据集数增长的问题，本文基于多臂老虎机构造复杂度与辅助集数量无关的EXP3-FLAD和UCB1-FLAD，性能提升4%，并使30亿参数模型超越GPT-3。
2023-10-03 cs.CL cs.LG
Auxiliary Task Reweighting for Minimum-data Learning
Peking University（北京大学）；Georgia Institute of Technology（佐治亚理工学院）；Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；University of California, Berkeley（加利福尼亚大学伯克利分校）
监督学习需要大量的训练数据，限制了其在标记数据稀缺的情况下的应用。为了弥补数据稀缺性，一种可能的方法是利用辅助任务来为主任务提供额外的监督。不同辅助任务的重要性权重的确定和优化仍然是一个关键的和在很大程度上未得到充分研究的研究问题。在这项工作中，我们提出了一种方法来自动重新加权辅助任务，以减少对主任务的数据要求。具体来说，我们制定的加权似然函数的辅助任务作为代理前的主要任务。通过调整辅助任务的权值，使主任务的代理先验与真实先验之间的偏差最小化，从而获得更精确的先验估计，达到了最小化主任务所需训练数据量和避免代价高昂的网格搜索的目的.在多个实验设置（例如半监督学习，多标签分类），我们表明，我们的算法可以有效地利用有限的标记数据的主要任务的辅助任务相比，以前的任务重新加权方法的好处。我们还表明，在极端情况下，只有几个额外的例子（例如Few-Shot领域自适应），我们的算法的结果在基线上的显着改善。
2020-10-16 cs.CV cs.LG stat.ML
Self-Augmentation: Generalizing Deep Networks to Unseen Classes for Few-Shot Learning
Korea University（高丽大学）
少样本学习的目标是用几个训练样本对看不见的类进行分类。虽然最近的工作表明，标准的小批量训练与精心设计的训练策略可以提高不可见类的泛化能力，但深度网络中的众所周知的问题，如记忆训练统计数据，对于少样本学习的探索较少。为了解决这个问题，我们提出了自我增强，巩固自我混合和自我升华。具体来说，我们利用一个区域辍学技术称为自混合，其中一个补丁的图像被替换成其他值在同一个图像。然后，我们采用一个骨干网络，具有辅助分支与自己的分类器，以加强知识共享。最后，我们提出了一个局部表示学习器，以进一步利用一些训练样本为看不见的类。实验结果表明，该方法在当前流行的Few-Shot基准测试中的性能优于现有方法，并提高了泛化能力。
2020-08-04 cs.CV cs.LG stat.ML
Multimodal Prototypical Networks for Few-shot Learning
Amazon.com, Inc.（亚马逊公司）；Huawei Research, Ireland（华为爱尔兰研究院）；SAP AI Research（SAP人工智能研究院）
虽然为许多计算机视觉任务提供了出色的结果，但最先进的深度学习算法在低数据场景中会遇到灾难性的困难。但是，如果存在其他形式的数据（例如文本），这可以弥补数据的缺乏并改善分类结果。为了克服这种数据稀缺性，我们设计了一个跨模态特征生成框架，能够丰富低填充嵌入空间在Few-Shot的情况下，利用辅助模态的数据。具体来说，我们训练一个生成模型，将文本数据映射到视觉特征空间，以获得更可靠的原型。这允许在训练期间利用来自附加模态（例如文本）的数据，而测试时的最终任务仍然是仅使用视觉数据进行分类。我们表明，在这种情况下，最近邻分类是一种可行的方法，并优于最先进的单模态和多模态少样本学习方法的CUB-200和牛津-102数据集。
2020-11-17 cs.CV cs.LG
Boosting Supervision with Self-Supervision for Few-shot Learning
UMass Amherst（马萨诸塞大学阿默斯特分校）；Cornell University（康奈尔大学）
我们提出了一种技术，通过引入自监督任务作为辅助损失函数来提高在小标记数据集上学习的深度表示的可转移性。虽然最近的自监督学习方法已经显示出在大型未标记数据集上训练的好处，但我们发现即使在小数据集上，当与强监督相结合时，泛化能力也有所提高。具有自我监督损失的学习表示在几个少样本学习基准测试中将最先进的元学习器的相对出错率降低了5-25%，并且在从头开始训练时，标准分类任务的现成深度网络也是如此。我们发现自我监督的好处随着任务的难度而增加。我们的方法利用数据集内的图像来构建自监督损失，因此是一种有效的学习可转移表示的方法，而不依赖于任何外部训练数据。
2019-06-17 cs.CV cs.LG stat.ML
CAOS: Conformal Aggregation of One-Shot Predictors
Department of Statistics, University of Wisconsin-Madison, USA（统计学系，威斯康星大学麦迪逊分校）
CAOS通过自适应聚合多个一次性预测器，利用留一校准方案实现有效覆盖，比传统方法在预测集大小上更小且保持可靠覆盖。
2026-01-30 cs.AI cs.LG stat.ML
Zero-shot Text-to-SQL Learning with Auxiliary Task
The Ohio State University（俄亥俄州立大学）；Fudan University（复旦大学）；JD.COM AI Research（京东AI研究院）
近年来，在文本到SQL任务中使用神经seq2seq模型取得了巨大的成功。然而，很少有工作关注这些模型如何推广到现实中看不见的数据，这自然提出了一个问题：这种令人印象深刻的性能是否意味着一个完美的泛化模型，或者仍然存在一些限制？在本文中，我们首先通过提供一个新的测试平台来诊断文本到SQL任务的瓶颈，在该测试平台中，我们观察到现有模型对罕见数据的泛化能力很差。上述分析鼓励我们设计一个简单但有效的辅助任务，作为生成任务的支持模型和正则化项，以提高模型的泛化能力。实验上，我们评估我们的模型上的一个大型的文本到SQL数据集WikiSQL。与强大的基线粗到细模型相比，我们的模型在整个数据集上的绝对准确度提高了3%以上。更有趣的是，在WikiSQL的zero-shot子集测试中，我们的模型在基线上实现了5%的绝对准确率增益，清楚地证明了其优越的泛化能力。
2019-08-29 cs.CL cs.LG
Improving Small Footprint Few-shot Keyword Spotting with Supervision on Auxiliary Data
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Korea YH（高通韩国YH）
提出利用易获取的无标注朗读语音构建LibriWord数据集并采用多任务学习，以监督方式增强小足迹少样本关键词识别模型的表征能力，显著提升基准性能。
2023-08-31 cs.LG cs.SD eess.AS
Towards Reliable Zero Shot Classification in Self-Supervised Models with Conformal Prediction
Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）；Massachusetts Institute of Technology（麻省理工学院）
使用对比损失（如CLIP）训练的自监督模型在zero-shot分类设置中表现出非常强大的功能。然而，要用作zero-shot分类器，这些模型需要用户在测试时在一组固定的标签上提供新的字幕。在许多设置中，很难或不可能知道新的查询标题是否与用于训练模型的源标题兼容。我们通过将zero-shot分类任务作为离群值检测问题来解决这些限制，并开发了一个适形预测程序来评估何时可以可靠地使用给定的测试标题。在一个现实世界的医学例子中，我们表明，我们提出的共形过程提高了CLIP风格的模型在zero-shot分类设置的可靠性，我们提供了一个实证分析的因素，可能会影响其性能。
2022-10-27 cs.CV cs.LG
ConformalNL2LTL: Translating Natural Language Instructions into Temporal Logic Formulas with Conformal Correctness Guarantees
Department of Electrical and Systems Engineering, Washington University in St Louis（华盛顿大学圣路易斯分校电子与系统工程系）；Department of Computer Science, University of Southern California（南加州大学计算机科学系）
ConformalNL2LTL通过主辅模型协作和符合预测，将自然语言指令转换为时序逻辑公式并保证正确性。
2026-02-20 cs.AI cs.CL cs.LG
Few-Shot Design Optimization by Exploiting Auxiliary Information
Department of Computer Science, Columbia University, New York, New York, USA（计算机科学系，哥伦比亚大学）
本文提出了一种利用辅助信息进行少样本设计优化的方法，通过神经模型预测未见过的设计，提升了设计任务的优化效率。
2026-02-12 cs.LG
One-Shot Learning of Multi-Step Tasks from Observation via Activity Localization in Auxiliary Video
University of Texas at Austin（德克萨斯大学奥斯汀分校）
由于繁重的数据要求，从演示中示教学习往往达不到其承诺，允许用户快速和自然地编程机器人。演示本身是模糊和不完整的，如果没有在不同条件下的大量演示，就很难正确概括看不见的情况。相比之下，人类通常能够通过利用一生中学习的上下文，从单个演示（通常是没有动作标签的观察）中学习复杂的任务。受此能力的启发，我们的目标是使机器人能够通过利用辅助视频数据作为上下文，从观察中执行多步任务的一次性学习。我们的主要贡献是一个新的系统，通过以下方式实现这一目标：（1）使用单个用户分段的演示来定义包括任务的原始动作，（2）经由基于元学习的方法在未分段的辅助视频中定位这些动作的附加示例，（3）使用这些附加示例来学习每个动作的奖励函数，以及（4）在所推断的奖励函数之上执行强化学习，以学习可以被组合以完成任务的动作策略。我们的经验表明，机器人可以更有效地学习多步任务时，提供辅助视频，和性能大大提高时，本地化的个人行动，从未分割的视频学习相比。
2019-04-26 cs.LG cs.RO stat.ML
CalibHyper: Chance-Corrected Relational Hypergraphs for Few-Shot Molecular Property Prediction
Peking University（北京大学）；Wuhan University（武汉大学）；Tibet University（西藏大学）
针对少样本分子性质预测中标签稀缺且依赖关系难以捕捉的问题，提出机会校正关系超图方法CalibHyper，基于联合标签分布校正偏差，在多个基准上达到与最强方法相当的ROC-AUC。
2026-09-29 cs.CL cs.LG
One-Shot Federated Learning with Classifier-Free Diffusion Models
Linköping University（_linköping大学）
OSCAR通过无分类器扩散模型实现单次联邦学习，减少通信开销并提升性能。
2026-01-29 cs.LG
Few-Shot and Zero-Shot Learning for Historical Text Normalization
University of Copenhagen（哥本哈根大学）；University of Zurich（苏黎世大学）
历史文本规范化通常依赖于小的训练数据集。最近的工作表明，多任务学习可以通过利用与相关数据集的协同作用来实现显着的改进，但还没有对不同的多任务学习架构进行系统的研究。本文评估了63个多任务学习配置，用于基于序列到序列的历史文本规范化，跨越来自8种语言的10个数据集，使用自动编码，字素到音素映射和词形化作为辅助任务。当目标任务的训练数据有限时，我们观察到跨语言的一致的、显著的改进，但是当训练数据丰富时，改进很小或没有改进。我们还表明，零样本学习优于简单的，但相对较强的，身份基线。
2019-10-13 cs.CL cs.LG
ID-like Prompt Learning for Few-Shot Out-of-Distribution Detection
Tianjin University（天津大学）；Zhengzhou University（郑州大学）
提出基于CLIP的OOD检测框架，通过发现并利用类分布内异常值进行提示学习，在少样本场景下显著提升了最具挑战性OOD样本的检测性能。
2024-03-22 cs.AI cs.CV cs.LG
Leverage-Weighted Conformal Prediction
LWCP通过统计杠杆加权非符合分数，实现无分布预测区间，提高条件覆盖精度，减少覆盖差距。
2026-02-13 cs.LG
Towards Cross-domain Few-shot Graph Anomaly Detection
University of Waterloo（滑铁卢大学）；Huazhong University of Science and Technology（华中科技大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文研究跨域少样本图异常检测问题，提出CDFS-GAD框架，通过域自适应图对比学习、提示微调、域自适应超球面分类损失和自训练策略，有效克服跨域分布差异与稀疏标注挑战，在十二对真实数据上表现优于现有方法。
2024-10-11 cs.LG
Zero-Shot Text-to-Image Generation
OpenAI
传统上，文本到图像生成的重点是找到更好的建模假设，以便在固定数据集上进行训练。这些假设可能涉及复杂的体系结构、辅助损失或辅助信息，例如在训练期间提供的对象部分标签或分割掩码。我们描述了一个简单的方法，这个任务的基础上的Transformer，自回归模型的文本和图像标记作为一个单一的数据流。有了足够的数据和规模，我们的方法是有竞争力的，与以前的特定领域的模型时，评估在zero-shot的方式。
2021-02-26 cs.CV cs.LG
Consistency by Agreement in Zero-shot Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Google AI Language（谷歌AI语言部门）
多语言翻译的通用性和可靠性通常高度依赖于每个感兴趣的语言对的可用并行数据的数量。在本文中，我们专注于zero-shot泛化--一种具有挑战性的设置，它在训练时尚未优化的平移方向上测试模型。为了解决这个问题，我们（i）将多语言翻译重新定义为概率推理，（ii）定义zero-shot一致性的概念，并说明为什么标准训练通常会导致模型不适合zero-shot任务，以及（iii）引入一种基于一致性协议的训练方法，鼓励模型在辅助语言中产生平行句子的等效翻译。我们在多个公共zero-shot翻译基准测试（IWSLT 17，UN语料库，Europarl）上测试了我们的多语言NMT模型，并表明基于协议的学习通常会在强基线上获得2-3个BLEU zero-shot改进，而不会在监督翻译方向上损失任何性能。
2019-04-10 cs.CL cs.LG cs.NE
Spatial Contrastive Learning for Few-Shot Classification
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（巴黎中央理工-高等电力学院）
在本文中，我们探讨了对比学习的Few-Shot分类，在其中，我们建议使用它作为一个额外的辅助训练目标，作为一个数据依赖的正则化，以促进更一般和可转移的功能。特别是，我们提出了一种新的基于注意力的空间对比目标，以学习局部判别和类不可知的功能。因此，我们的方法克服了交叉熵损失的一些限制，例如对可见类的过度歧视，这降低了特征到不可见类的可转移性。通过大量的实验，我们表明，所提出的方法优于国家的最先进的方法，确认学习良好的和可转移的嵌入的重要性，少样本学习。
2021-06-20 cs.CV cs.LG
Neural Conformal Control for Time Series Forecasting
University of Michigan（密歇根大学）
提出一种神经共形预测方法，通过神经控制器、多视图数据和单调性约束提升时间序列预测的自适应性和区间一致性，在真实数据上显著改善覆盖率与概率准确性。
2024-12-24 cs.LG
A Biologically Inspired Feature Enhancement Framework for Zero-Shot Learning
Shenzhen University（深圳大学）；Army Engineering University of People’s Liberation Army of China（中国人民解放军陆军工程大学）；Hangzhou Dianzi University（杭州电子科技大学）
目前，大多数零样本学习（ZSL）算法都使用预训练的模型作为其特征提取器，这些模型通常通过使用深度神经网络在ImageNet数据集上进行训练。预训练模型中嵌入的特征信息的丰富性可以帮助WML模型从其有限的训练样本中提取更多有用的特征。但是，有时候当前任务的训练数据集与ImageNet数据集之间的差异过大，这可能导致使用预先训练好的模型对任务模型的性能没有明显的帮助，甚至会产生负面影响。为了解决这个问题，本文提出了一个生物启发的特征增强框架，为生物识别语言。具体而言，我们设计了一个双通道学习框架，使用辅助数据集来增强的特征提取器的BNL模型，并提出了一种新的方法来指导选择的辅助数据集的基础上的生物分类学知识。大量的实验结果表明，我们提出的方法可以有效地提高的泛化能力的模型，并取得了国家的最先进的结果在三个基准测试任务。并通过特征可视化的方法对实验现象进行了解释。
2020-05-13 cs.CV cs.LG stat.ML
Boosting Few-Shot Visual Learning with Self-Supervision
Sorbonne Université（索邦大学）
少样本学习和自监督学习解决了同一个问题的不同方面：如何用很少或没有标记数据训练模型。少样本学习的目标是优化方法和模型，可以有效地学习，以识别低数据状态下的模式。相反，自监督学习专注于未标记的数据，并查看它的监督信号以馈送高容量的深度神经网络。在这项工作中，我们利用这两个领域的互补性，并提出了一种通过自我监督来提高少样本学习的方法。我们在少样本学习管道中使用自我监督作为辅助任务，使特征提取器能够学习更丰富，更可转移的视觉表示，同时仍然使用很少的注释样本。通过自我监督，我们的方法可以很自然地扩展到使用来自其他数据集的各种未标记的数据在Few-Shot设置。我们报告了一系列架构，数据集和自我监督技术的一致改进。
2019-06-12 cs.CV cs.LG
Quantum Conformal Prediction for Reliable Uncertainty Quantification in Quantum Machine Learning
King’s College London（伦敦国王学院）
本文提出基于概率保形预测（PCP）的量子保形预测框架，通过引入适应量子噪声及漂移的新型非一致性分数，为量子机器学习模型的分类与回归决策提供有限样本覆盖保证的不确定性量化。
2023-10-22 cs.IT cs.LG math.IT
Improving Adaptive Conformal Prediction Using Self-Supervised Learning
University of Cambridge（剑桥大学）；University of California, Los Angeles（加州大学洛杉矶分校）；The Alan Turing Institute（艾伦·图灵研究所）
保形预测是一个强大的不确定性量化的无分布工具，建立有效的预测区间与有限样本的保证。为了产生有效的间隔，也适应每个实例的难度，一种常见的方法是计算一个单独的校准集上的归一化不一致性分数。自监督学习已被有效地用于许多领域，以学习下游预测器的一般表示。然而，除了模型预训练和表示学习之外，自我监督的使用在很大程度上还没有被探索过。在这项工作中，我们研究了自我监督的借口任务如何提高共形回归的质量，特别是通过提高共形区间的适应性。我们训练一个辅助模型，在现有的预测模型的基础上，使用自监督的借口任务，并使用自监督的错误作为一个额外的功能来估计不合格分数。我们经验证明的好处，额外的信息使用合成和真实的数据上的效率（宽度），赤字，和过剩的共形预测区间。
2023-02-23 cs.LG stat.ML
Exploring speaker enrolment for few-shot personalisation in emotional vocalisation prediction
University of Augsburg（奥格斯堡大学）；University of Tokyo（东京大学）；Imperial College（帝国理工学院）
在这项工作中，我们探索了一种新颖的情感发声预测的Few-Shot个性化架构。核心贡献是一个“注册”编码器，它利用两个未标记的样本的目标扬声器，以调整情感编码器的输出;调整是基于点积注意，从而有效地作为一种形式的“软”特征选择。情感和注册编码器基于两种标准音频架构：CNN 14和CNN 10。进一步引导两个编码器忘记或学习辅助情感和/或说话者信息。我们的最佳方法在ExVo Few-Shot开发集上实现了$.650$的CCC，比我们的基线CNN 14 CCC $.634$增加了$2.5\%$。
2022-06-20 cs.LG cs.SD eess.AS
