Zero-shot and Few-shot Learning with Knowledge Graphs: A Comprehensive Survey
University of Oxford（牛津大学）；Zhejiang University（浙江大学）；The University of Edinburgh（爱丁堡大学）
机器学习，特别是深度神经网络已经取得了巨大的成功，但其中许多往往依赖于大量的标记样本进行监督。由于足够的标记训练数据并不总是准备好的，例如，在现实世界的应用中，不断出现的预测目标和昂贵的样本注释，样本短缺的机器学习现在被广泛研究。在所有这些研究中，许多人倾向于利用辅助信息，包括知识图（KG）的形式，以减少对标记样本的依赖。在这次调查中，我们全面回顾了90多篇关于KG感知研究的论文，其中包括两个主要的样本短缺设置-零次学习（Zero-shot learning，简称ZRL），其中一些要预测的类没有标记样本，以及少样本学习（few-shot learning，简称FSL），其中一些要预测的类只有少量可用的标记样本。本文首先介绍了知识库及其构造方法，然后对知识库感知的知识库方法进行了系统的分类和总结，将其分为基于映射的知识库方法、基于数据增强的知识库方法、基于传播的知识库方法和基于优化的知识库方法。接下来，我们介绍不同的应用程序，不仅包括KG增强预测任务，如图像分类，问答，文本分类和知识提取，而且KG完成任务，以及每个任务的一些典型的评估资源。最后，我们从不同的角度讨论了一些挑战和开放的问题。
2022-12-03 cs.AI cs.LG
Weight Space Learning for Certifiable Few-shot Transfer Learning
School of Informatics, University of Edinburgh（信息学院，爱丁堡大学）；Samsung AI Center, Cambridge（三星人工智能中心，剑桥）
本文提出一种基于扩散模型的少样本迁移学习方法，通过在有限PEFT参数样本集合中进行采样评估，为下游任务提供非空的学习理论泛化保证。
2026-10-21 cs.LG stat.ML
Lifelong Wandering: A realistic few-shot online continual learning setting
Georgia Institute of Technology（佐治亚理工学院）
在线少样本学习描述了一种设置，其中模型在学习新兴类的同时在数据流上进行训练和评估。虽然在此设置之前的工作已经取得了非常有前途的性能时，从一个单一的室内环境组成的数据流学习的实例分类，我们建议扩展此设置，考虑对象分类的一系列几个室内环境，这是可能发生在应用中，如机器人。重要的是，我们的设置，我们称之为在线Few-Shot持续学习，将灾难性遗忘的充分研究问题注入Few-Shot在线学习范式。在这项工作中，我们基准几个现有的方法和适应基线在我们的设置，并显示存在一个权衡之间的灾难性遗忘和在线性能。我们的发现激发了在这种环境下进行未来工作的需求，这种环境可以在没有灾难性遗忘的情况下实现更好的在线性能。
2022-06-16 cs.CV cs.LG
Learning to Control Latent Representations for Few-Shot Learning of Named Entities
Conversational AI Research（对话人工智能研究院）；Capital One（第一资本）
人类擅长用小数据不断学习，而不会忘记如何解决老问题。然而，神经网络需要大数据集来计算跨不同任务的潜在表示，同时最小化损失函数。例如，自然语言理解（NLU）系统将经常在其部署期间处理新兴实体，因为在现实场景中与用户的交互将生成新的且不常见的名称、事件和位置。在这里，我们通过引入一个RL可训练控制器来解决这个问题，该控制器将神经编码器的表示学习与其存储管理角色分开。我们提出的解决方案是直接和简单的：我们训练控制器执行外部存储器上的读取和写入操作的最佳序列，利用不同的激活从过去的目标，并提供准确的预测。我们的方法被命名为学习控制（LTC），并允许少样本学习与两个程度的记忆可塑性。我们的实验表明，我们的系统获得准确的结果为少样本学习的实体识别在斯坦福大学面向任务的对话数据集。
2019-11-19 cs.LG
Learning Adaptive Classifiers Synthesis for Generalized Few-Shot Learning
Nanjing University（南京大学）；University of Southern California（南加州大学）
现实世界中的对象识别需要处理长尾甚至开放式数据。一个理想的视觉系统需要可靠地识别填充的头部视觉概念，同时有效地学习新兴的尾部类别与一些训练实例。类平衡的多镜头学习和少样本学习解决了这个问题的一个方面，通过学习头部的强分类器或学习尾部的Few-Shot分类器。在本文中，我们研究了广义少样本学习（GFSL）的问题-在部署过程中需要一个模型来学习尾部类别与少数镜头，同时分类头部类。我们提出了ClAssifier Synthesis LEarning（CASTLE），一个学习框架，学习如何合成校准的Few-Shot分类器，除了头部类的多类分类器与共享的神经字典，揭示了归纳GFSL。此外，我们提出了一个自适应版本的城堡（ACASTLE），适应头分类条件传入的尾巴训练样本，产生一个框架，允许有效的向后知识转移。因此，ACASTLE可以有效地处理GFSL与来自异构域的类。CASTLE和ACASTLE在MiniImageNet和TieredImageNet数据集上表现出优于现有GFSL算法的性能和强大的基线。更有趣的是，当用标准的少样本学习标准进行评估时，它们的表现优于以前的最先进的方法。
2021-06-27 cs.CV cs.LG
Cross-Domain HAR: Few Shot Transfer Learning for Human Activity Recognition
Georgia Institute of Technology（佐治亚理工学院）
针对现实HAR场景中源域与目标域差异大及标注样本少的问题，提出Cross-Domain HAR框架，采用师生自训练范式有效弥合域间概念差距，在少样本场景下显著提升了识别性能。
2023-10-22 cs.CV cs.LG
Plug-and-Play Multilingual Few-shot Spoken Words Recognition
Eindhoven University of Technology（埃因霍温理工大学）
针对低资源语言口语词汇识别数据不足的难题，提出多语言即插即用关键词检出系统PLiX，基于20种语言的百万级1秒音频训练少样本模型，仅需1个支持样本即可泛化到新词汇与未知语言，已开源模型与推理代码。
2023-05-03 cs.LG cs.SD eess.AS
Semantic Meta-Split Learning: A TinyML Scheme for Few-Shot Wireless Image Classification
Centre for Wireless Communications (CWC), University of Oulu（奥卢大学无线通信中心）；CEMSE Division, King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学CEMSE学部）
本文提出一种基于TinyML的语义通信框架Semantic-MSL，结合分裂学习与元学习解决少样本无线图像分类中的计算复杂度、数据可用性与隐私问题，实验表明其以更少数据和能耗实现20%精度提升。
2024-09-03 cs.CV cs.LG eess.IV
Digital hybridity and relics in cultural heritage: using corpus linguistics to inform design in emerging technologies from AI to VR
School of English, University of Nottingham（诺丁汉大学英语学院）；School of Computer Science, University of Nottingham（诺丁汉大学计算机科学学院）；Department of Modern Languages, Aberystwyth University（阿伯里斯特威斯大学现代语言系）
本文通过语料库语言学分析历史与当代文本中'遗产'的表述，探讨数字技术如何影响遗产的感知与评价，并提出AI等技术在提升可及性的同时挑战传统真实性观念。
2026-04-01 cs.AI cs.CL cs.CY
Few-shot tweet detection in emerging disaster events
German Aerospace Center (DLR)（德国航空航天中心（DLR））
社交媒体来源可以在危机情况下提供关键信息，但发现相关信息并不是小事。到目前为止，方法的重点是所有类型危机或某些危机类型（如洪水）的通用检测模型。特定事件模型可以实现更集中的搜索区域，但为已经发生的危机收集数据和训练新模型的成本很高，而且可能需要太多时间才能迅速做出反应。作为折衷方案，手动收集少量示例消息是可行的。Few-Shot模型可以用少量的例子推广到看不见的类，并且不需要为每个事件重新训练。我们比较了Few-Shot方法（匹配网络和原型网络）如何执行此任务。由于这基本上是一个一类的问题，我们还演示了如何修改的一类版本的原型模型可以用于此应用程序。
2019-10-05 cs.CL cs.CY cs.LG
Bayesian Few-Shot Classification with One-vs-Each Pólya-Gamma Augmented Gaussian Processes
Vector Institute, University of Toronto（向量研究所，多伦多大学）
Few-Shot分类（FSC）是在给定小的标记数据集的情况下使分类器适应看不见的类的任务，是迈向类人机器学习的重要一步。贝叶斯方法非常适合解决在Few-Shot场景中过度拟合的基本问题，因为它们允许从业者指定先验信念并根据观察到的数据更新这些信念。当代的贝叶斯Few-Shot分类方法保持了模型参数的后验分布，这很慢，并且需要随模型大小而扩展的存储。相反，我们提出了一个基于Pólya-Gamma增强和one-vs-each softmax近似的新组合的高斯过程分类器，使我们能够有效地边缘化函数而不是模型参数。我们证明了改进的准确性和不确定性量化标准的Few-Shot分类基准和Few-Shot域转移任务。
2021-01-21 cs.LG stat.ML
Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification
New York University（纽约大学）；University of California, San Diego（加州大学圣地亚哥分校）
基于知识的学习（即，提示）是一种用于利用由预训练的语言模型学习的知识的新兴范例。在本文中，我们提出了自动多标签标注（AMuLaP），一个简单而有效的方法来自动选择标签映射的Few-Shot文本分类提示。我们的方法利用一对多的标签映射和一个基于代数的算法来选择标签映射给出一个提示模板。我们的实验表明，AMuLaP达到竞争力的性能，在没有人力或外部资源的情况下，在GLUE基准。
2022-04-14 cs.AI cs.CL cs.LG
Are You Being Tracked? Discover the Power of Zero-Shot Trajectory Tracing with LLMs!
City University of Hong Kong（香港城市大学）；University of Hong Kong（香港大学）
本研究提出LLMTrack模型，通过结合角色扮演与逐步思考的单提示词技术，实现大语言模型对原始IMU数据的零样本轨迹识别，在室内外场景中性能超越传统及前沿深度学习方法，为AIoT轨迹解析提供新方案。
2024-03-10 cs.AI cs.CL cs.HC
Data-Free Diversity-Based Ensemble Selection For One-Shot Federated Learning in Machine Learning Model Market
National University of Singapore（新加坡国立大学）；Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所）
经过训练的机器学习模型的出现提出了机器学习模型市场的新概念，其中人们可以利用多个经过良好训练的模型的集体智能，以无数据的方式通过一次性联邦学习和集成学习来提高结果模型的性能。然而，选择市场上可用的模型进行集成学习是耗时的，因为使用所有模型并不总是最好的方法。因此，至关重要的是要有一个有效的合奏选择策略，可以找到一个很好的子集的基础模型的合奏。传统的集成选择技术不适用，因为我们无法访问联邦学习设置中各方的本地数据集。在本文中，我们提出了一种新的无数据的多样性为基础的方法称为DeDES解决集成选择问题的模型产生的一次联邦学习在实际应用中，如模型市场。实验结果表明，该方法在5个数据集和4种不同的模型结构下，在不同的数据划分策略下都能获得较好的性能和较高的效率。
2023-02-23 cs.AI cs.LG
Meta-Semantics Augmented Few-Shot Relational Learning
The University of Sydney, Australia（悉尼大学）；Peking University, China（北京大学）
针对知识图谱小样本关系学习中语义利用不足的问题，本文提出 PromptMeta 框架，通过元语义提示池与可学习融合机制将元语义和关系信息结合，并在两个基准上验证其有效性。
2025-11-05 cs.AI cs.CL cs.LG
Optimizing PatchCore for Few/many-shot Anomaly Detection
Scortex（Scortex公司）
本研究针对少样本异常检测中现有全样本算法未被针对性优化的问题，通过超参数调优和技术迁移优化PatchCore，在VisA少样本AD任务上取得新SOTA，验证了适配现有方法的价值并指明未来研究方向。
2023-07-20 cs.AI cs.CV cs.LG
Evolving Dictionary Representation for Few-shot Class-incremental Learning
Carleton University（卡尔顿大学）
针对少样本类别增量学习易遗忘旧类、新类标注少的问题，提出结合深度字典学习的方法，基础阶段同训字典与骨干网并加入伪类别预留空间，增量阶段仅微调字典，在多个数据集上效果优于现有SOTA方法。
2023-05-03 cs.CV cs.LG
From Few to Many: Self-Improving Many-Shot Reasoners Through Iterative Optimization and Generation
Google Cloud AI Research（谷歌云AI研究院）
本文提出BRIDGE算法，通过贝叶斯优化交替执行识别高影响力示例的“优化”步骤与重用示例扩展推理路径的“生成”步骤，有效提升了大型语言模型在多示例上下文学习中的推理性能。
2025-02-01 cs.AI cs.LG stat.ML
A Comprehensive Survey on Architectural Advances in Deep CNNs: Challenges, Applications, and Emerging Research Directions
University of Engineering and Applied Sciences (UEAS)（工程与应用科学大学（UEAS））
该综述提出统一分类体系梳理2015-2025年深度CNN的架构创新、优化策略与多领域应用，同时总结新兴学习范式与未来研究方向，为CNN领域发展提供全景视角。
2025-03-19 cs.AI cs.CV cs.LG
GRAM: Generative Retrieval Augmented Matching of Data Schemas in the Context of Data Security
Amazon Web Services（亚马逊网络服务）
本研究在数据安全背景下，利用大语言模型在零样本和少样本场景下进行数据库模式匹配，通过仅分析极少量客户数据以保护隐私，实现了在严格安全约束下的准确属性匹配。
2024-06-04 cs.AI cs.CL cs.DB
Few-Shot Object Detection: A Comprehensive Survey
Ilmenau University of Technology（伊尔梅瑙工业大学）
人类甚至能够从几个例子中学习识别新物体。相比之下，训练基于深度学习的对象检测器需要大量的注释数据。为了避免需要获取和注释这些大量的数据，Few-Shot目标检测旨在从目标域中的新类别的少数对象实例中学习。在这项调查中，我们提供了一个概述的最先进的Few-Shot目标检测。我们根据训练方案和架构布局对方法进行分类。对于每种类型的方法，我们描述了一般的实现以及概念，以提高性能的新类别。在适当的时候，我们会对这些概念进行简短的介绍，以突出最好的想法。最后，我们介绍了常用的数据集和它们的评估协议，并分析了报告的基准测试结果。因此，我们强调共同的挑战，在评估和确定最有前途的当前趋势，在这个新兴领域的Few-Shot目标检测。
2022-09-15 cs.CV cs.LG
Model Merging is Secretly Certifiable: Non-Vacuous Generalisation Bounds for Low-Shot Learning
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Samsung AI Center, Cambridge（三星人工智能中心）
该研究建立了模型融合学习与泛化认证的联系，发现仅用100个示例、VIT-B和mistral-7B等模型时，融合式学习可获得非平凡泛化保证，为大模型小样本学习的可信认证提供了新方向。
2026-08-25 cs.LG
Continual Few-shot Relation Learning via Embedding Space Regularization and Data Augmentation
Nanyang Technological University（南洋理工大学）；Salesforce Research（赛富时研究院）
现有的持续关系学习（CRL）方法依赖于大量的标记训练数据来学习新的任务，这在实际场景中很难获得，因为获得大量具有代表性的标记数据通常是昂贵和耗时的。因此，该模型有必要学习新的关系模式与很少的标记数据，同时避免灾难性遗忘以前的任务知识。在本文中，我们制定了这个具有挑战性的，但实际的问题，连续Few-Shot关系学习（CFRL）。基于新出现的Few-Shot任务的学习通常会导致与先前任务的学习分布不兼容的特征分布的发现，我们提出了一种基于嵌入空间正则化和数据增强的新方法。我们的方法推广到新的Few-Shot任务，并通过对关系嵌入施加额外的约束和以自监督的方式添加额外的{相关}数据来避免对先前任务的灾难性遗忘。通过大量的实验，我们证明了我们的方法可以显着优于以前的国家的最先进的方法在CFRL任务设置。
2022-03-04 cs.CL cs.LG
Gaussian Process Meta Few-shot Classifier Learning via Linear Discriminant Laplace Approximation
Samsung AI Center（三星人工智能中心）；University of Edinburgh（爱丁堡大学）
元学习Few-Shot分类是机器学习中的一个新兴问题，最近受到了极大的关注，其目标是学习一个模型，该模型可以快速适应新的任务，只有很少的标记数据。我们考虑贝叶斯高斯过程（GP）的方法，其中我们元学习的GP先验，并适应一个新的任务进行的GP预测模型从后验推理。我们采用拉普拉斯后验近似，但为了避免迭代梯度步骤，寻找MAP解决方案，我们引入了一种新的线性判别分析（LDA）插件作为MAP解决方案的替代品。在本质上，MAP解是由LDA估计近似的，但考虑到GP先验，我们采用先验范数调整来估计LDA的共享方差参数，这确保了调整后的估计与GP先验一致。这使得封闭形式的可微GP后验和预测分布成为可能，从而允许快速Meta训练。我们表现出相当大的改进，在以前的方法。
2021-12-13 cs.LG
Zero-Shot Feature Selection via Transferring Supervised Knowledge
University of Science and Technology Beijing（北京科技大学）；Tsinghua University（清华大学）
特征选择是一种有效的降维技术，在许多机器学习系统中起着重要的作用。监督知识可以显着提高性能。然而，面对新兴概念的快速增长，现有的监督方法可能很容易受到标记数据的稀缺性和有效性的影响。本文研究了zero-shot特征选择问题（即，建立特征选择模型，该模型利用有限的“可见”概念的训练数据很好地推广到“不可见”概念）。具体来说，它们采用类语义描述（即，属性）作为特征选择的监督，以便利用从所看到的概念转移的监督知识。对于更可靠的判别特征，他们进一步提出了中心特征损失，鼓励所选特征捕捉所见概念的中心特征。在各种真实数据集上进行的大量实验证明了该方法的有效性。
2021-07-14 cs.CV cs.LG
Convex Optimization for Big Data
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of Colorado（科罗拉多大学）；University of British Columbia（不列颠哥伦比亚大学）
本文综述了面向大数据的凸优化算法的最新进展，这些算法旨在减少计算、存储和通信瓶颈。我们提供了这个新兴领域的概述，描述当代近似技术，如一阶方法和随机化的可扩展性，并调查并行和分布式计算的重要作用。新的大数据算法基于令人惊讶的简单原则，即使在经典问题上也能实现惊人的加速。
2014-11-04 cs.LG math.OC stat.ML
Rejection Sampling IMLE: Designing Priors for Better Few-Shot Image Synthesis
Simon Fraser University（西蒙弗雷泽大学）
针对少样本图像合成中隐码对应不足导致测试性能次优的问题，提出 RS-IMLE 方法通过改变训练先验分布，在九个数据集上显著提升了图像生成质量。
2024-09-26 cs.CV cs.LG
Learning in Multiple Spaces: Few-Shot Network Attack Detection with Metric-Fused Prototypical Networks
Fordham University（福特汉姆大学）
本文提出多空间原型学习框架MSPL，融合欧氏、余弦、切比雪夫和Wasserstein四种度量空间并通过约束加权与Polyak平均原型生成，实现少样本场景下的鲁棒零日攻击检测。
2024-12-28 cs.CR cs.LG
SpeechLLMs for Large-scale Contextualized Zero-shot Slot Filling
Uniphore
本文针对口语理解中的槽位填充任务，利用speechLLMs建立经验上界，通过改进训练数据、架构和策略显著缩小性能差距，实现零样本泛化。
2025-10-17 cs.CL cs.LG
Consistency-Driven Calibration and Matching for Few-Shot Class-Incremental Learning
School of Automation, Central South University, China（中南大学自动化学院）；Big Data Institute, Central South University, China（中南大学大数据研究院）；School of Computer Science, Faculty of Engineering, The University of Sydney, Australia（悉尼大学工程学院计算机科学系）
ConCM通过特征-结构双一致性校准与匹配，有效缓解少样本类增量学习中的知识冲突，实现几何最优性和最大匹配，提升增量会话性能。
2026-03-01 cs.CV cs.LG
