Contrastive Knowledge-Augmented Meta-Learning for Few-Shot Classification
Arizona State University(亚利桑那州立大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
模型无关的元学习算法旨在从几个观察到的任务中推断先验知识,然后可以使用这些先验知识来适应具有少量示例的新任务。鉴于现有基准中出现的任务的固有多样性,最近的方法使用单独的,可学习的结构,如层次结构或图形,使任务特定的适应之前。虽然这些方法产生了显着更好的Meta学习器,我们的目标是提高他们的性能时,异构任务分布包含具有挑战性的分布偏移和语义差异。为此,我们引入CAML(对比知识增强元学习),知识增强的少样本学习,发展的知识图谱,有效地编码历史经验,并采用对比蒸馏策略,利用编码的知识,任务意识调制的基础学习者的新方法。使用标准的基准测试,我们评估的性能CAML在不同的少样本学习方案。除了标准的Few-Shot任务自适应,我们还考虑了更具挑战性的多域任务自适应和Few-Shot数据集泛化设置在我们的实证研究。我们的研究结果表明,CAML始终优于最知名的方法,并实现了改进的泛化。
2022-07-25 cs.LG
FlowRL: Flow-Augmented Few-Shot Reinforcement Learning for Semi-Structured Sensor Data
Wayne State University(韦恩州立大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
FlowRL 通过生成高质量合成数据提升少样本强化学习的样本效率和策略鲁棒性,有效应用于半结构化传感器数据场景。
2026-01-10 cs.LG
MALM: Mixing Augmented Language Modeling for Zero-Shot Machine Translation
BITS Pilani(博拉理工学院)
大型预训练语言模型为NLP带来了显著的进步。预训练和微调在文本处理的任务中提供了最先进的性能。数据增强技术也有助于在低资源或零资源任务上构建最先进的模型。过去的许多工作都试图学习一个单一的多语种机器翻译模型的zero-shot翻译。虽然这些翻译模型产生了正确的翻译,但主要的挑战是这些模型产生了错误的语言用于zero-shot翻译。这项工作和它的结果表明,提示条件大模型不遭受小康目标语言的错误,即由于翻译错误的语言所产生的错误。我们实证证明了自监督预训练和数据增强对于zero-shot多语言机器翻译的有效性。
2022-10-01 cs.CL cs.LG
RAFIC: Retrieval-Augmented Few-shot Image Classification
Stanford University(斯坦福大学)
针对少样本图像分类中样本量有限导致准确率受限的问题,提出由CLIP等构成的检索组件和检索元学习组成的RAFIC方法,通过检索图像扩充样本,在两个数据集上显著提升分类性能。
2023-12-11 cs.CV cs.LG
Resolution-Aware Retrieval Augmented Zero-Shot Forecasting
Manning College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);Microsoft Research(微软研究院)
本文提出分辨率感知的检索增强零样本预测模型,按频率成分分别利用全局与局部空间信息,在微气候 ERA5 预测中显著优于 HRRR 和 Chronos。
2025-10-19 cs.IR cs.LG
EASY: Ensemble Augmented-Shot Y-shaped Learning: State-Of-The-Art Few-Shot Classification with Simple Ingredients
Orange Labs(Orange实验室)
少样本学习旨在利用通过一个或多个深度学习模型学习的知识,以便在每个类只有少数标记样本可用的情况下获得对新问题的良好分类性能。近年来,该领域出现了相当数量的作品,介绍了具有许多成分的方法。然而,一个常见的问题是使用次优训练模型来提取知识,这导致人们质疑与使用没有引入成分的更好的初始模型相比,所提出的方法是否会带来收益。在这项工作中,我们提出了一种简单的方法,该方法在该领域的多个标准化基准上达到甚至超过了最先进的性能,同时几乎没有向用于在通用数据集上训练初始深度学习模型的超参数或参数添加任何参数。这种方法提供了一个新的基线,在此基础上提出(并公平地比较)新技术或调整现有技术。
2022-02-07 cs.AI cs.LG cs.NE
Augmented Natural Language for Generative Sequence Labeling
AWS AI(AWS人工智能研究院)
我们提出了一个联合序列标记和分级分类的生成框架。我们的模型执行多个序列标记任务,一次使用一个单一的,共享的自然语言输出空间。与以前的判别方法不同,我们的模型自然地结合了标签语义,并在任务之间共享知识。我们的框架是通用的,在Few-Shot、低资源和高资源任务上表现良好。我们证明了这些优势流行的命名实体识别,插槽标签,和意图分类基准。我们为Few-Shot插槽标记设置了新的最新技术水平,在之前的5次($75.0\% \rightarrow 90.9\%$)和1次($70.4\% \rightarrow 81.0\%$)最新技术水平结果的基础上进行了大幅改进。此外,我们的模型产生大的改进($46.27\% \rightarrow 63.83\%$)低资源槽标签超过BERT基线,通过将标签语义。我们还在高资源任务上保持了有竞争力的结果,在所有任务上的表现都在最先进水平的两个点之内,并在SNIPS数据集上设置了新的最先进水平。
2020-09-15 cs.CL cs.LG stat.ML
Few-Shot Recognition via Stage-Wise Retrieval-Augmented Finetuning
Texas A&M University(德克萨斯农工大学);University of Macau(澳门大学);Institute of Collaborative Innovation(协同创新研究院)
针对少样本识别中标注成本高的问题,提出分阶段检索增强微调方法SWAT,通过两阶段训练缓解检索数据的分布不平衡与域间隙问题,在9个基准上准确率较现有方法提升超6%。
2025-03-21 cs.AI cs.CV cs.LG
FilterRAG: Zero-Shot Informed Retrieval-Augmented Generation to Mitigate Hallucinations in VQA
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
FilterRAG通过结合BLIP-VQA与检索增强生成,利用外部知识源减少视觉问答中的幻觉问题,提升模型在知识驱动和分布外场景的鲁棒性。
2026-01-24 cs.CL cs.CV cs.IR
Evidence-Focused Fact Summarization for Knowledge-Augmented Zero-Shot Question Answering
Yonsei University(延世大学)
针对知识图谱文本化存在的证据密度低、清晰度差的问题,提出EFSum证据聚焦型事实摘要框架,经蒸馏和偏好对齐优化开源大模型为摘要器,可提升大模型零样本问答性能,同时保证摘要有用性与忠实性。
2024-10-09 cs.AI cs.CL cs.LG
Improving Few-shot Generalization of Safety Classifiers via Data Augmented Parameter-Efficient Fine-Tuning
Google Research(谷歌研究院);OpenAI
本文针对LLM安全分类器在新安全规则少样本场景下泛化不足的问题,提出结合相似性数据增强与参数高效微调的DAPT方法,在道德判断和毒性检测任务上显著超越基线。
2023-10-25 cs.LG
QuiZSF: A Retrieval-Augmented Framework for Zero-Shot Time Series Forecasting
University of Science and Technology of China(中国科学技术大学);Suzhou Institute for Advanced Research, USTC(先进研究院)
QuiZSF通过整合检索与预测功能,提升零样本时间序列预测的准确性与效率。
2026-01-30 cs.LG
Crossing New Frontiers: Knowledge-Augmented Large Language Model Prompting for Zero-Shot Text-Based De Novo Molecule Design
TCS Research(塔塔咨询服务研究部门)
本研究提出一种知识增强大型语言模型提示框架,通过任务特定指令和少量示例解决分布偏移挑战,实现零样本文本条件下的从头分子生成,并在基准数据集上优于SOTA基线模型。
2024-08-18 cs.AI cs.CL cs.LG
GORAG: Graph-based Online Retrieval Augmented Generation for Dynamic Few-shot Social Media Text Classification
The Hong Kong University of Science and Technology(香港科学与技术大学);The Hong Kong Polytechnic University(香港理工大学);Guangzhou HKUST Fok Ying Tung Research Institute(广州HKUST福ying顿研究 institute)
GORAG提出一种基于图的在线检索增强生成框架,用于动态少样本社交媒体文本分类,通过构建关键词和标签的加权图并动态检索上下文以提升分类性能。
2026-01-29 cs.CL cs.IR cs.LG
Meta-Semantics Augmented Few-Shot Relational Learning
The University of Sydney, Australia(悉尼大学);Peking University, China(北京大学)
针对知识图谱小样本关系学习中语义利用不足的问题,本文提出 PromptMeta 框架,通过元语义提示池与可学习融合机制将元语义和关系信息结合,并在两个基准上验证其有效性。
2025-11-05 cs.AI cs.CL cs.LG
Few-Shot Semantic Segmentation Augmented with Image-Level Weak Annotations
Virginia Tech(弗吉尼亚理工大学)
尽管深度神经网络在语义分割任务中取得了很大进展,但传统的基于神经网络的方法通常缺乏大量像素级注释。最近的进展,在fewshot语义分割处理的问题,只有几个像素级的注释的例子。然而,这些Few-Shot方法不能容易地应用于多路或弱注释设置。在本文中,我们提出了Few-Shot分割范例的情况下,图像级的注释,以帮助训练过程中的一些像素级的注释。我们的核心思想是通过融合来自图像级标记数据的知识来学习类的更好的原型表示。具体来说,我们提出了一个新的框架,称为PAIA,学习类原型表示在度量空间中集成图像级注释。此外,通过考虑伪掩模的不确定性,一个蒸馏软掩模平均池化策略的设计,以处理图像级注释中的干扰。在两个数据集上的大量实验结果显示了PAIA的优越性能。
2021-06-18 cs.CV cs.LG eess.IV
Internet-augmented language models through few-shot prompting for open-domain question answering
DeepMind(深度思维)
在这项工作中,我们的目标是利用大规模语言模型(LSLM)的独特的Few-Shot能力,以克服他们的一些挑战,接地到事实和最新的信息。受半参数语言模型(LM)的启发,基于外部检索到的证据,我们使用Few-Shot提示学习条件LM从网络返回的信息使用谷歌搜索,一个广泛的和不断更新的知识来源。我们的方法不涉及微调或学习额外的参数,从而使其适用于任何LM,因此提供了一个强大的基线。事实上,我们发现,在网络上的LM条件超过性能类似的,甚至更大的,在开放域的问答模型大小的闭卷模型。最后,我们发现,通过使用多个检索到的证据来生成多个答案,然后通过使用相同LM生成的分数的重新排序阶段来增加模型的推理时间计算,可以获得更好的性能,并降低较小的Few-Shot LM的性能。总而言之,我们的研究结果表明,减缓对最大模型的竞争可能是有益的,而是将注意力转移到寻找更有效的方法来使用模型上,包括但不限于更好的提示或增加推理时间计算。
2022-05-23 cs.CL cs.LG
Improving Few-Shot Inductive Learning on Temporal Knowledge Graphs using Confidence-Augmented Reinforcement Learning
LMU Munich(慕尼黑大学);Siemens AG(西门子股份公司)
针对时序知识图谱少样本图外链接预测任务,提出结合少样本学习与强化学习的FITCARL方法,通过置信度模块和概念正则化器提升性能,达到当前最优水平。
2023-06-11 cs.AI cs.LG
Improving Routability Prediction via NAS Using a Smooth One-shot Augmented Predictor
Duke University(杜克大学)
本文提出SOAP-NAS,通过数据增强并结合单次与预测器NAS,缓解训练与搜索目标分离及方差问题,在DRC热点检测中ROC-AUC达0.9802,查询时间仅0.461毫秒。
2024-11-21 cs.LG
Augmented World Models Facilitate Zero-Shot Dynamics Generalization From a Single Offline Environment
University of Oxford(牛津大学)
来自大规模离线数据集的强化学习为我们提供了在没有潜在的不安全或不切实际的探索的情况下学习策略的能力。过去几年,在应对纠正数据汇集和学习政策之间不同行为的挑战方面取得了重大进展。然而,很少有人注意到潜在的动态变化时,将政策转移到在线设置,其中性能可以降低高达90%的现有方法。在本文中,我们解决这个问题与增强世界模型(AugWM)。我们通过简单的转换来增强学习的动力学模型,这些转换旨在捕获机器人物理特性的潜在变化,从而产生更强大的策略。我们不仅在这个新的设置中训练我们的策略,而且还为它提供作为上下文的采样增强,使它能够适应环境的变化。在测试时,我们通过近似对应于新环境的增强来以自我监督的方式学习上下文。我们严格评估我们的方法超过100个不同的动态设置,并表明,这种简单的方法可以显着提高最近的最先进的基线的zero-shot概括,往往实现成功的政策,基线失败。
2021-08-03 cs.AI cs.LG
Prompt Generate Train (PGT): Few-shot Domain Adaption of Retrieval Augmented Generation Models for Open Book Question-Answering
Microsoft(微软)
本文提出PGT框架,通过合成数据生成、监督微调与强化学习对齐,在少样本下高效适配RAG模型,实现低成本且与GPT-4媲美的开放书问答。
2023-07-26 cs.LG
Re-ViLM: Retrieval-Augmented Visual Language Model for Zero and Few-Shot Image Captioning
UIUC(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达公司);UT Austin(德克萨斯大学奥斯汀分校)
本文提出基于Flamingo的检索增强视觉语言模型Re-ViLM,通过外部数据库显式存储知识以减少参数并适应新数据,在域外零样本和少样本图像到文本生成任务中,以少于基线4倍的参数显著提升性能。
2023-10-22 cs.AI cs.CL cs.CV
Zero-Shot Vehicle Model Recognition via Text-Based Retrieval-Augmented Generation
Yuan Ze University(元智大学)
针对现有车辆型号识别方法难适配新车型的问题,提出融合视觉语言模型与检索增强生成的零样本识别流水线,无需大规模重训,识别准确率较CLIP基线提升近20%,可支撑智慧城市可扩展VMMR应用。
2025-10-21 cs.AI cs.CL cs.CV
SaSi: A Self-augmented and Self-interpreted Deep Learning Approach for Few-shot Cryo-ET Particle Detection
National Institute of Technology, Tiruchirappalli(印度坦切尔普拉迪村国家理工学院);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Carnegie Mellon University(卡内基梅隆大学)
本文提出SaSi深度学习方法,通过自增强与自解释策略解决冷冻电子断层扫描中少样本粒子检测问题,在模拟和真实数据集上显著优于现有方法。
2025-05-26 cs.AI cs.CV cs.LG
Prompt-Augmented Linear Probing: Scaling beyond the Limit of Few-shot In-Context Learners
Seoul National University(首尔大学);NAVER Cloud(NAVER云);KAIST(韩国科学技术院);Hanyang University(汉阳大学)
针对上下文学习受输入长度限制、性能难随样本量扩展的问题,提出融合线性探测与上下文学习的提示增强线性探测方法,兼具可扩展性与表示增强能力,能以低开销缩小不同数据场景下的性能差距,可作为黑盒场景的替代方案。
2023-06-14 cs.CL cs.LG
Knowledge-Guided Retrieval-Augmented Generation for Zero-Shot Psychiatric Data: Privacy Preserving Synthetic Data Generation
SimulaMet;Oslo Metropolitan University(奥斯陆城市大学);Uppsala University(乌普萨拉大学)
本文提出一种零样本知识引导框架,利用检索增强生成技术生成隐私保护的合成心理数据,通过对比CTGAN和TVAE模型,证明临床知识增强LLM在生成高质量、隐私保护的合成数据方面具有优势。
2026-03-26 cs.LG
Zero-Shot Document Understanding using Pseudo Table of Contents-Guided Retrieval-Augmented Generation
针对复杂多模态文档理解的结构与数据难题,研究提出无需训练的DocsRay系统,结合伪目录生成与分层RAG,通过三项关键技术实现效率与准确率的双提升。
2025-07-31 cs.AI cs.LG
Chebyshev-Augmented One-Shot Transfer Learning for PINNs on Nonlinear Differential Equations
Harvard University(哈佛大学)
本文提出结合Chebyshev多项式近似与一次式迁移学习,扩展了可应用于一次式PINN迁移的非线性函数类别,通过多项式非线性分解实现快速在线适应。
2026-05-02 cs.LG
Retrieval-Augmented Interpretable Learning: Towards Task-Specific Zero-Shot Models in Healthcare
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);GenBio AI(基因生物人工智能公司);Intel(英特尔公司)
研究针对医疗保健领域特定任务零样本模型问题推出检索增强可解释学习(RAIL)框架,通过检索相关任务并传递结构生成新预测器,概率公式提供不确定性支持可靠性感知部署,在临床程序预测任务中性能可靠,还提升模型透明度。
2026-10-07 cs.AI cs.LG
MalMixer: Few-Shot Malware Classification with Retrieval-Augmented Semi-Supervised Learning
Vanderbilt University(范德堡大学);Stanford University(斯坦福大学)
针对现有恶意软件分类器依赖大量人工分析样本的问题,提出MalMixer,通过领域知识感知数据增强的检索增强半监督学习,在稀疏训练数据下实现少样本恶意软件家族分类的最先进性能。
2025-04-17 cs.CR cs.LG
Many-Class Few-Shot Learning on Multi-Granularity Class Hierarchy
University of Technology Sydney(悉尼科技大学);University of Washington(华盛顿大学)
我们研究了多类Few-Shot(MCFS)问题在监督学习和元学习环境中的应用。与多类多射和少类Few-Shot问题相比,MCFS问题在实际应用中经常出现,但在以往的文献中很少研究。它带来了新的挑战,即在每个类只有几个训练样本的情况下区分许多类。在本文中,我们利用类层次结构作为先验知识训练一个粗到细的分类器,可以产生准确的预测MCFS问题在这两种设置。提出的模型,“内存增强的层次分类网络(MahiNet)”,执行粗到细分类,其中每个粗类可以覆盖多个细类。由于直接区分每个类的Few-Shot数据的各种精细类具有挑战性,MahiNet从使用更多训练数据的粗类学习分类器开始,这些数据的标签获取成本要低得多。粗分类器缩小了细分类器的搜索范围,从而消除了“多类”的挑战。在架构上,MahiNet首先部署了一个卷积神经网络(CNN)来提取特征。然后,它集成了一个记忆增强注意力模块和一个多层感知器(MLP)在一起,以产生粗和细类的概率。当MLP扩展线性分类器时,注意力模块扩展KNN分类器,两者一起针对“Few-Shot”问题。我们设计了几种MahiNet的监督学习和元学习的训练策略。此外,我们提出了两个新的基准数据集“mcfsImageNet”和“mcfsOmniglot”专门为MCFS问题设计。在实验中,我们表明MahiNet在监督学习和元学习方面优于MCFS问题的几种最先进的模型。
2020-06-28 cs.LG stat.ML
Improving Few-Shot Cross-Domain Named Entity Recognition by Instruction Tuning a Word-Embedding based Retrieval Augmented Large Language Model
IIT Kanpur(印度坎普尔理工学院);IISc Bangalore(班加罗尔理工学院)
本文提出IF-WRANER,通过指令微调、正则化和词级嵌入检索增强LLM,提升少样本跨域NER性能,并在CrossNER及企业客服场景验证效果。
2024-11-01 cs.IR cs.LG
LAB-Tab: LLM-Augmented Bayesian Network Adaptation for Few-Shot Tabular Generation
针对小样本表格生成的分布偏移问题,提出LLM增强的贝叶斯网络适配框架LAB-Tab,在六个ACS分布偏移场景中表现优于基准方法,性能提升显著。
2026-08-04 cs.AI cs.LG
Data-Augmented Few-Shot Neural Emulator for Computer-Model System Identification
Brookhaven National Laboratory(布鲁克海文国家实验室);University of Notre Dame(Notre Dame 大学);Texas A&M University(德克萨斯农工大学)
提出一种基于空间填充模板采样的数据增强策略,仅用相当于10个时间步的模拟数据即可高效训练神经PDE模板算子,在多个系统中超越传统模拟器,显著提升样本效率与长时程精度。
2025-09-25 cs.AI cs.LG stat.ME
TS-RAG: Retrieval-Augmented Generation based Time Series Foundation Models are Stronger Zero-Shot Forecaster
School of Computing, University of Connecticut(康奈尔大学计算机学院);Department of Machine Learning Research, Morgan Stanley(摩根士丹利机器学习研究部);Ant Group(蚂蚁集团);TWG Global(TWG全球)
TS-RAG通过检索增强生成框架提升时间序列预测的零样本性能和可解释性。
2025-11-25 cs.AI cs.LG
Zero-Shot RTL Code Generation with Attention Sink Augmented Large Language Models
Ozyegin University(奥兹耶金大学)
本文研究利用带新型注意力汇机制的大语言模型,通过单一高层次设计提示实现零样本RTL代码生成,验证其能产出功能正确、优化且符合工业标准的代码,推动硬件设计自动化。
2024-01-12 cs.AI cs.AR cs.LG
A Kings Ransom for Encryption: Ransomware Classification using Augmented One-Shot Learning and Bayesian Approximation
Newcastle University(纽卡斯尔大学)
新出现的勒索软件变体通过处理和分析大数据,对管理现代生活各个方面的计算机系统构成了越来越大的威胁。虽然最近各种基于安全的方法都集中在网络或系统级别的勒索软件检测和分类上,但以前从未尝试过针对外行用户的易于使用的感染后勒索软件分类。在本文中,我们研究了对系统感染的勒索软件进行分类的可能性,这些勒索软件仅基于使用任何现代移动终端中常见的消费者相机捕获的启动画面或赎金说明的屏幕截图。为了训练和评估我们的系统,我们创建了一个包含50个著名勒索软件变体的闪屏的样本数据集。在我们的数据集中,每个勒索软件只有一个训练图像可用。我们没有创建勒索软件截图的大型训练数据集,而是通过精心设计的数据增强技术模拟截图捕获条件,从而实现简单高效的一次性学习。此外,使用通过贝叶斯近似获得的模型不确定性,我们确保特殊输入情况,如不相关的非勒索软件图像和以前未见过的勒索软件变体,可以正确识别以进行特殊处理,而不会被错误分类。广泛的实验评估证明了我们工作的有效性,勒索软件分类的准确率高达93.6%。
2019-08-19 cs.CR cs.CV cs.LG
GREAT: Generalizable Representation Enhancement via Auxiliary Transformations for Zero-Shot Environmental Prediction
针对环境建模中未监测区域预测因数据有限和空间异质性导致的泛化问题,提出GREAT框架,通过多层变换函数增强特征并经双层训练优化,在零样本场景下显著提升预测性能,为相关环境应用提供实用方案。
2025-11-17 cs.LG
Self-Augmented In-Context Learning for Unsupervised Word Translation
University of Cambridge(剑桥大学)
针对LLMs在无监督双语词典归纳中表现不佳的问题,提出SAIL方法,通过迭代提取高置信度翻译对进行上下文学习,显著超越零样本提示和基于映射的基线方法。
2024-06-05 cs.AI cs.CL cs.IR
ReAugment: Model Zoo-Guided RL for Few-Shot Time Series Augmentation and Forecasting
MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(人工智能大模型关键实验室、人工智能研究院、上海交通大学)
ReAugment是基于模型库的强化学习方法,用于小样本时间序列增强与预测,可识别易过拟合样本并自适应生成新数据,提升预测效果。
2026-08-21 cs.LG
Auditing LLMs for Algorithmic Fairness in Casenote-Augmented Tabular Prediction
本文研究了在住房安置预测任务中,结合街道走访案例笔记的大型语言模型在算法公平性方面的表现,发现通过案例笔记摘要微调模型可提升准确性并减少公平性差异。
2026-04-21 cs.CY cs.LG
GRAM: Generative Retrieval Augmented Matching of Data Schemas in the Context of Data Security
Amazon Web Services(亚马逊网络服务)
本研究在数据安全背景下,利用大语言模型在零样本和少样本场景下进行数据库模式匹配,通过仅分析极少量客户数据以保护隐私,实现了在严格安全约束下的准确属性匹配。
2024-06-04 cs.AI cs.CL cs.DB
Meta-Learning for Semi-Supervised Few-Shot Classification
University of Toronto(多伦多大学);Princeton University(普林斯顿大学);Google Brain(谷歌大脑);MIT(麻省理工学院);CIFAR(加拿大高级研究院);Vector Institute(向量研究所)
在Few-Shot分类中,我们感兴趣的是学习算法,该算法仅从少数标记的示例中训练分类器。Few-Shot分类的最新进展以元学习为特征,其中定义用于学习算法的参数化模型,并在表示不同分类问题的情节上对其进行训练,每个情节具有小的标记训练集及其对应的测试集。在这项工作中,我们推进这种Few-Shot分类范式对一个场景中,未标记的例子也可在每一集。我们考虑两种情况:一种是假设所有未标记的示例与该片段的标记示例属于同一组类,另一种是更具有挑战性的情况,其中还提供了来自其他干扰项类的示例。为了解决这个范例,我们提出了原型网络的新扩展(Snell等人,2017年),增强了在生成原型时使用未标记示例的能力。这些模型以端到端的方式在剧集上进行训练,以学习成功利用未标记的示例。我们在Omniglot和miniImageNet基准测试的版本上评估了这些方法,这些方法适用于这个用未标记示例增强的新框架。我们还提出了一个新的ImageNet分裂,由一个大的类集合组成,具有层次结构。我们的实验证实,由于未标记的示例,我们的原型网络可以学习改进其预测,就像半监督算法一样。
2018-03-02 cs.CV cs.LG stat.ML
RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);MThreads, Inc.(MThreads公司);Nanyang Technological University(南洋理工大学)
RAR结合CLIP的检索与MLLM的排序,提升细粒度识别精度,增强少样本和零样本任务表现。
2026-05-15 cs.AI cs.CV cs.LG
Representation based and Attention augmented Meta learning
Northwestern Polytechnical University of China(西北工业大学);Chinese Academy of Sciences(中国科学院);JD Finance(京东金融);JD AI Research(京东人工智能研究院)
基于深度学习的计算机视觉在标记图像稀缺时无法工作。近年来,元学习算法被证实是提高计算机视觉从少量图像中学习能力的一种很有前途的方法。然而,以往的元学习方法暴露出以下问题:1)它们忽视了注意力机制对Meta学习者的重要性; 2)它们没有赋予Meta学习者很好地利用过去知识的能力,这些知识有助于将图像表达成高表示,导致Meta学习者必须直接从原始的高维RGB图像解决少样本学习任务。在本文中,我们认为,注意力机制和过去的知识是至关重要的Meta学习者,和Meta学习者应该训练的RGB图像的高表示,而不是直接对原始的。基于这些论点,我们提出了两种方法:注意增强的元学习(AML)和基于表示和注意增强的元学习(RAML)。AML方法通过在Meta学习者的网络中显式地嵌入一个注意力模型来提高其注意力能力。RAML方法的目的是使Meta学习者能够利用过去学习的知识,通过将原始输入数据表示为高表示来降低其维数,并帮助Meta学习者更好地执行。大量的实验证明了所提出的模型的有效性,与国家的最先进的少样本学习性能的几个少样本学习基准。我们提出的方法的源代码将很快发布,以方便对上述问题的进一步研究。
2018-11-26 cs.AI cs.LG
NoveltyRank: A Retrieval-Augmented Framework for Conceptual Novelty Estimation in AI Research
Stanford University(斯坦福大学)
NoveltyRank通过结合语义表示学习与检索技术,提出了一种用于评估人工智能研究概念新颖性的框架,并展示了轻量模型在新颖性评估中的优越性能。
2026-01-03 cs.CL cs.LG
LLM-Powered Text-Attributed Graph Anomaly Detection via Retrieval-Augmented Reasoning
University of Southern California(南加州大学);Capital One(第一资本金融公司);City College of New York(纽约城市学院);Brown University(布朗大学)
本文提出基于检索增强推理的LLM驱动文本属性图异常检测框架,通过生成语义连贯但上下文不一致的异常节点,提升异常检测效果。
2025-11-16 cs.AI cs.LG
Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
本文提出RetroPrompt,通过构建开卷知识库并在输入、训练和推理中引入检索机制,将知识从记忆中解耦,从而在少样本和零样本场景下提升模型泛化能力并减少对记忆的依赖。
2023-09-19 cs.AI cs.CL cs.IR
Unsupervised Few-shot Learning via Deep Laplacian Eigenmaps
University of Toronto(多伦多大学)
从少量示例中学习新任务仍然是机器学习中的一个公开挑战。尽管最近在少样本学习方面取得了进展,但大多数方法依赖于对标记的Meta训练数据的监督预训练或元学习,并且不能应用于预训练数据未标记的情况。在这项研究中,我们提出了一种无监督的少样本学习方法,通过深度拉普拉斯特征映射。我们的方法通过将相似的样本分组在一起来从未标记的数据中学习表示,并且可以通过在增强的训练数据上随机游走来直观地解释。我们分析了深度拉普拉斯特征映射如何避免无监督学习中的崩溃表示,而无需明确比较正负样本。所提出的方法显着关闭监督和无监督少样本学习之间的性能差距。我们的方法也达到了目前最先进的自监督学习方法下的线性评价协议的性能相当。
2022-10-07 cs.LG
miCSE: Mutual Information Contrastive Learning for Low-shot Sentence Embeddings
SAP AI Research(SAP人工智能研究院)
本文提出基于互信息的对比学习框架miCSE,通过强制不同视图间注意力模式对齐与结构一致性,提升了对比自监督学习的样本效率,在少样本句子嵌入任务上取得优异表现。
2023-05-23 cs.CL cs.LG
From Channel Bias to Feature Redundancy: Uncovering the "Less is More" Principle in Few-Shot Learning
Southwest Jiaotong University(西南交通大学);University of Electronic Science and Technology of China(电子科技大学);The University of Hong Kong(香港大学);Tongji University(同济大学)
本文发现少样本学习中通道偏置导致特征冗余,仅用1-5%判别特征即可提升准确率,并提出AFIA软掩蔽方法缓解该问题,奠定少样本表示迁移原理。
2025-09-10 cs.CV cs.LG
Learning-to-solve unit commitment based on few-shot physics-guided spatial-temporal graph convolution network
本文提出少样本物理引导时空图卷积网络FPG-STGCN,通过少量优化器解和增广拉格朗日方法快速求解机组组合问题,在可行性与效率上均优于现有方法。
2024-05-02 cs.LG cs.SY eess.SY
Improving Semantic Embedding Consistency by Metric Learning for Zero-Shot Classification
Normandie Univ, UNICAEN, ENSICAEN, CNRS(诺曼底大学,卡昂大学,卡昂国立高等工程师学校,国家科学研究中心);ONERA - The French Aerospace Lab(法国国家航空航天研究院)
本文研究了zero-shot图像分类的问题。所提出的方法的关键贡献是控制图像的语义嵌入-零样本学习的主要成分之一-通过将其制定为度量学习问题。优化后的经验标准关联两种类型的子任务约束:度量区分能力和准确的属性预测。这导致了一种新的零样本学习的表达,在训练阶段不需要类的概念:只有对图像/属性,增强了一致性指标,作为地面真理。在测试时,学习的模型可以预测测试图像与给定属性集的一致性,从而允许以灵活的方式产生识别推断。尽管它的简单性,所提出的方法给出了国家的最先进的结果四个具有挑战性的数据集用于zero-shot识别评估。
2016-07-27 cs.AI cs.CV cs.LG