Large Language Models are Zero-Shot Reasoners
The University of Tokyo(东京大学);Google Research(谷歌研究院)
预训练的大语言模型(LLM)被广泛应用于自然语言处理(NLP)的许多子领域,并且通常被称为具有特定任务样本的优秀Few-Shot学习器。值得注意的是,思维链(CoT)提示,最近的技术,通过一步一步的答案的例子引出复杂的多步推理,实现了最先进的性能在算术和符号推理,困难的系统2的任务,不遵循标准的缩放定律的LLM。虽然这些成功通常归因于LLM的少样本学习能力,但我们通过在每个答案之前简单地添加“让我们一步一步思考”来证明LLM是体面的zero-shot推理机。实验结果表明,我们的零射击CoT,使用相同的单一提示模板,显着优于zero-shot LLM性能在不同的基准推理任务,包括算术(MultiArith,GSM 8 K,AQUA-RAT,SVAMP),符号推理(最后一封信,硬币翻转),以及其他逻辑推理任务(日期理解,跟踪洗牌对象),没有任何手工制作的Few-Shot的例子,例如,使用大型InstructGPT模型,将MultiArith的准确度从17.7%提高到78.7%,将GSM 8 K的准确度从10.4%提高到40.7%(text-davinci-002),以及另一个现成的大型模型540 B参数PaLM的类似改进幅度。这种单一提示在非常多样化的推理任务中的多功能性暗示了LLM的未开发和未充分研究的基本zero-shot能力,这表明可以通过简单的提示提取高水平的多任务广泛的认知能…
2023-01-29 cs.AI cs.CL cs.LG
A Simple Approach to Adversarial Robustness in Few-shot Image Classification
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);University of California, Davis(加利福尼亚大学戴维斯分校)
Few-Shot图像分类的目标是推广到具有有限标记数据的任务,多年来已经取得了很大的进展。然而,分类器容易受到对抗性样本的影响,这就对其泛化能力提出了问题。最近的工作试图将元学习方法与对抗训练相结合,以提高Few-Shot分类器的鲁棒性。我们表明,一个简单的迁移学习为基础的方法可以用来训练对抗强大的Few-Shot分类。我们还提出了一种基于将Few-Shot类别的重心向基类校准的新型分类任务的方法。我们表明,在基本类别上进行的标准对抗训练以及在新类别中校准的基于质心的分类器,在少样本学习的标准基准上优于或与最先进的先进方法相当。我们的方法是简单的,易于扩展,并与很少的努力,可以导致强大的Few-Shot分类器。代码可在这里:\url{https://github.com/UCDvision/Simple_few_shot.git}
2022-04-11 cs.AI cs.CV cs.LG
Few-shot calibration of low-cost air pollution (PM2.5) sensors using meta-learning
IIT Kanpur(印度理工学院坎普尔分校)
低成本颗粒物传感器正在改变空气质量监测,因为与参考监测器相比,它们具有更低的成本和更大的移动性。这些低成本传感器的校准需要来自共同部署的参考监测器的训练数据。基于机器学习的校准提供比传统技术更好的性能,但需要来自传感器的大量训练数据,以与参考监视器共同部署来校准。在这项工作中,我们提出了新的迁移学习方法快速校准的传感器与最小的共同部署与参考监视器。迁移学习利用来自其他传感器的大量数据以及来自目标传感器的有限量的数据。我们广泛的实验发现,所提出的基于模型不可知元学习(MAML)的迁移学习方法是最有效的其他竞争基准。
2021-08-02 cs.LG eess.SP
Learning Adaptive Classifiers Synthesis for Generalized Few-Shot Learning
Nanjing University(南京大学);University of Southern California(南加州大学)
现实世界中的对象识别需要处理长尾甚至开放式数据。一个理想的视觉系统需要可靠地识别填充的头部视觉概念,同时有效地学习新兴的尾部类别与一些训练实例。类平衡的多镜头学习和少样本学习解决了这个问题的一个方面,通过学习头部的强分类器或学习尾部的Few-Shot分类器。在本文中,我们研究了广义少样本学习(GFSL)的问题-在部署过程中需要一个模型来学习尾部类别与少数镜头,同时分类头部类。我们提出了ClAssifier Synthesis LEarning(CASTLE),一个学习框架,学习如何合成校准的Few-Shot分类器,除了头部类的多类分类器与共享的神经字典,揭示了归纳GFSL。此外,我们提出了一个自适应版本的城堡(ACASTLE),适应头分类条件传入的尾巴训练样本,产生一个框架,允许有效的向后知识转移。因此,ACASTLE可以有效地处理GFSL与来自异构域的类。CASTLE和ACASTLE在MiniImageNet和TieredImageNet数据集上表现出优于现有GFSL算法的性能和强大的基线。更有趣的是,当用标准的少样本学习标准进行评估时,它们的表现优于以前的最先进的方法。
2021-06-27 cs.CV cs.LG
Shallow Bayesian Meta Learning for Real-World Few-Shot Recognition
University of Edinburgh(爱丁堡大学);Samsung AI Centre(三星人工智能中心);University of Chinese Academy of Sciences(中国科学院大学)
当前最先进的Few-Shot学习器在使用简单的分类器(例如最近质心分类器)之前,专注于开发用于特征表示的有效训练过程。在本文中,我们采用了一种正交方法,该方法对所使用的特征不可知,并专门关注实际分类器层的元学习。具体来说,我们介绍MetaQDA,贝叶斯元学习的经典二次判别分析的推广。这种设置有几个从业者感兴趣的好处:元学习速度快,内存效率高,不需要微调功能。它对所选择的现成功能是不可知的,因此将继续受益于功能表示的进步。从经验上讲,它导致跨域少样本学习的鲁棒性能,并且对于现实世界的应用至关重要,它导致预测中更好的不确定性校准。
2021-08-27 cs.LG
Calibrate to Discriminate: Improve In-Context Learning with Label-Free Comparative Inference
Meta Platforms, Inc.(元平台公司)
本文针对大语言模型上下文学习中正确与错误预测置信度相同的无差别误校准问题,提出新的校准度量指标和上下文比较推理方法,在五个数据集上验证其能提升分类准确性与校准性。
2024-10-03 cs.CL cs.LG
Few-Shot Calibration of Set Predictors via Meta-Learned Cross-Validation-Based Conformal Prediction
已知传统的频率主义学习会产生校准不良的模型,这些模型无法可靠地量化其决策的不确定性。贝叶斯学习可以改善校准,但形式保证仅适用于对正确的模型规范的限制性假设。共形预测(CP)提供了一个通用框架,用于设计具有校准保证的集合预测器,无论底层数据生成机制如何。然而,当训练数据有限时,CP倾向于产生大的,因此没有信息的预测集。本文介绍了一种新的元学习解决方案,旨在减少集合预测大小。与先前的工作不同,所提出的元学习方案(称为元XB)(i)建立在基于交叉验证的CP上,而不是效率较低的基于验证的CP;(ii)保留正式的每任务校准保证,而不是不太严格的任务边际保证。最后,元XB扩展到自适应非共形分数,这是经验,以进一步提高边际每输入校准。
2022-10-06 cs.LG eess.SP stat.ML
Are Few-Shot Learning Benchmarks too Simple ? Solving them without Task Supervision at Test-Time
DIRO, University of Montreal(蒙特利尔大学计算机科学与运筹学系);Mila(米拉人工智能研究院);Google Brain Montreal(谷歌大脑蒙特利尔);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
我们表明,几个流行的少样本学习基准可以解决不同程度的成功,而不使用支持集标签在测试时(LT)。为此,我们引入了一个新的基线称为质心网络,原型网络的修改,其中支持集标签在测试时隐藏在方法中,必须通过聚类来恢复。一个没有LT就可以完美解决的基准测试不需要适当的任务适应,因此不足以评估Few-Shot方法。在实践中,如果没有LT,大多数基准测试都无法完美解决,但是在架构和数据集的任何新组合上运行我们的基线,可以在对测试时间标签进行任何调整之前,通过利用良好的表示来了解基线性能。
2020-07-24 cs.LG stat.ML
When Prompts Ignore Structure: Graph-Based Attribute Reasoning for Calibrated VLMs
Birla Institute of Technology and Science, Pilani(贝拉科技与科学学院皮拉尼分校);TCS Research(塔塔咨询服务公司研究院)
研究视觉语言模型测试时自适应中可靠置信度估计问题,提出ARGTCA方法,将(类,属性)对表示为符号属性图节点,用对比目标训练图注意力网络,引入两种属性选择策略,实验证明该方法能有效降低校准误差。
2026-07-29 cs.AI cs.CV cs.LG
Few-Shot Recalibration of Language Models
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
针对语言模型在分布窄切片上校准不良的问题,提出少样本切片特定重校准框架,利用少量无标签数据训练重校准模型以预测置信度重映射曲线,从而识别领域特定阈值决定信任或弃权(不执行),显著降低校准误差。
2024-03-27 cs.AI cs.CL cs.LG
Prototypical Calibration for Few-shot Learning of Language Models
Microsoft Research(微软研究院)
上下文学习的GPT类模型已被认为是脆弱的,在不同的手工制作的模板,演示排列。在这项工作中,我们提出了原型校准自适应学习一个更强大的决策边界为零和Few-Shot分类,而不是贪心解码。具体地说,我们的方法首先采用高斯混合分布来估计所有类别的原型集群。然后,我们分配给每个集群相应的标签,通过解决加权二分匹配问题。给出一个例子,其预测是校准的原型集群的可能性。实验结果表明,原型校准在不同的任务集上产生了实质性的改善。在不同尺度上的广泛分析也表明,我们的方法校准的决策边界的预期,大大提高了GPT的模板,排列和类的不平衡的鲁棒性。
2022-10-05 cs.CL
Universal Adversarial Suffixes Using Calibrated Gumbel-Softmax Relaxation
Center for Intelligent Cyber Physical Systems(智能网络物理系统中心);Indian Institute of Technology Guwahati(印度古瓦哈提理工学院);Department of Computer Science and Engineering(计算机科学与工程系)
本文提出了一种利用校准的Gumbel-Softmax松弛学习通用对抗后缀的方法,能有效降低多种任务和模型的准确性。
2025-12-09 cs.CL
In-Context Learning Amplifies a Latent Symbolic Circuit
本研究揭示大型语言模型中的潜在符号电路在上下文示例积累时被放大,其抽象、归纳、检索三阶段机制在低样本时已可检测,且函数向量可部分替代归纳阶段,依赖完整检索阶段,表明规则遵循能力预先存在于权重中。
2026-09-30 cs.AI cs.CL cs.LG
When Reranking Hurts: Uncertainty-Based Gating for Few-Shot Reranking
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);OriginAI
针对少样本选择中重排序可能降低性能的问题,提出无训练门控重排序方法,基于模型不确定性决定是否重排序,在8个LLM上降低15%-80%计算成本并提升平均性能达2%。
2026-08-12 cs.AI cs.CL
Dual-Path LLM Reasoning for Multimodal Few-Shot Knowledge Graph Completion
该研究针对多模态少样本知识图谱补全难题,提出双路径大语言模型推理框架DuPLeR,结合多模态LLM先验与事实支撑构建校准关系图,经实验验证其在数据稀缺场景下性能稳健。
2026-07-30 cs.CL
Improving Few-Shot Performance of Language Models via Nearest Neighbor Calibration
Tencent Inc(腾讯公司);University of Cambridge(剑桥大学);Tencent AI Lab(腾讯人工智能实验室)
当在自然语言提示中提供一些示例作为测试实例的演示时,预训练的语言模型(PLM)表现出显著的少样本学习能力,即,上下文学习。然而,上下文学习的性能容易受到提示格式、训练样本和训练样本顺序的选择的影响。在本文中,我们提出了一种新的最近邻校准框架的上下文学习,以缓解这个问题。它的灵感来自于一个现象,即上下文学习范式在推断训练实例时产生不正确的标签,这提供了一个有用的监督信号来校准预测。因此,我们的方法直接增加了预测与$k$ -最近邻($k$ NN)分类器在缓存的Few-Shot实例表示PLM和它们相应的标签。然后引入自适应邻域选择和特征正则化模块,充分利用少量的支持实例来降低$k$神经网络检索噪声。各种Few-Shot文本分类任务的实验表明,我们的方法显着提高了上下文学习,同时甚至在一些情感分析任务中实现了与最先进的基于调优的方法相当的性能。
2022-12-05 cs.CL
Conformal Predictor for Improving Zero-shot Text Classification Efficiency
Salesforce AI Research(赛富时人工智能研究院);Hugging Face(拥抱脸)
预训练的语言模型(PLM)已被证明是有效的zero-shot(0 shot)文本分类。基于自然语言推理(NLI)和下一句预测(NSP)的Oshot模型采用交叉编码器架构,并通过分别对每个标签-文本对进行模型的前向传递来进行推理。这增加了在标签数量上进行线性推断的计算成本。在这项工作中,我们通过使用另一个基于快速基本分类器的共形预测器(CP)来限制可能标签的数量,从而提高了这种基于交叉编码器的0 shot模型的效率。由于CP生成具有覆盖保证的预测集,因此它减少了目标标签的数量,而不排除基于0 shot模型的最可能的标签。我们使用三个意图和两个主题分类数据集进行实验。通过为每个数据集选择合适的CP,我们将基于NLI和NSP的模型的平均推理时间分别减少了25.6%和22.2%,而不会将性能降低到预定义的出错率1%以下。
2022-10-23 cs.CL
Boosting Few-Shot Text Classification via Distribution Estimation
Dalian University of Technology(大连理工大学);Peking University(北京大学);The Pennsylvania State University(宾夕法尼亚州立大学);The Hong Kong Polytechnic University(香港理工大学);Zhejiang Lab(之江实验室)
在计算机视觉领域中,分布估计是处理Few-Shot图像分类的最有效方法之一,因为低层模式和底层表示可以在不同的任务之间容易地传递。然而,直接将这种方法应用于Few-Shot文本分类是具有挑战性的,因为利用具有足够样本的已知类的统计来校准新类的分布可能会由于文本域中严重的类别差异而导致负面影响。为了缓解这个问题,我们提出了两个简单而有效的策略来估计新的类的分布,利用未标记的查询样本,从而避免潜在的负迁移问题。具体来说,我们首先假设一个类或样本服从高斯分布,并使用原始支持集和最近的几个查询样本来估计相应的均值和协方差。然后,我们通过从估计的分布中采样来增加标记样本,这可以为训练分类模型提供足够的监督。在8个Few-Shot文本分类数据集上的实验表明,该方法的分类性能明显优于现有的基线方法。
2023-03-26 cs.CL
Few-Shot Large Language Models for Actionable Triage Categorization of Online Patient Inquiries
seas.upenn.edu(宾夕法尼亚大学塞as学院)
本文研究少样本条件下大语言模型在在线患者咨询分诊中的应用,通过构建不同数据集比较TF-IDF和BioBERT与六个LLM在0-shot、4-shot和12-shot条件下的表现,发现Claude Haiku 4.5在12-shot条件下达到0.475的宏F1值,优于监督基线模型。
2026-05-15 cs.CL cs.LG q-bio.QM
Task Contamination: Language Models May Not Be Few-Shot Anymore
University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
本文研究了LLMs的零样本和少样本性能随时间的变化,发现训练数据创建日期前发布的数据集上存在任务污染,且在无污染的分类任务中LLMs极少显著优于简单多数基线。
2023-12-26 cs.CL
The Silent Vote: Improving Zero-Shot LLM Reliability by Aggregating Semantic Neighborhoods
Google(谷歌)
本文提出Semantic Softmax方法,通过聚合目标标签的语义邻域得分,解决零样本分类中的Renormalization Bias问题,提升模型校准性和准确性。
2026-05-10 cs.AI cs.CL
Anti-LM Decoding for Zero-shot In-context Machine Translation
Johns Hopkins University(约翰斯·霍普金斯大学)
针对零样本上下文机器翻译中 LLM 校准不足的问题,提出带衰减因子的 Anti-Language Model 对比解码目标,并在多种模型、语言方向和解码方式下取得最高 20 BLEU 的提升。
2024-04-02 cs.AI cs.CL
SLIMER-IT: Zero-Shot NER on Italian Language
Università degli Studi di Siena(锡耶纳大学)
针对意大利语零样本NER任务,本文提出了评估框架及指令微调方法SLIMER-IT,利用富含定义和指导原则的提示,在未见实体标签上展现出优于现有模型的性能。
2024-11-14 cs.CL cs.IR
Exploring Prompt-Based Methods for Zero-Shot Hypernym Prediction with Large Language Models
Lomonosov Moscow State University(莫斯科国立大学);ISP RAS Research Center for Trusted Artificial Intelligence(俄罗斯科学院信息处理系统研究所可信人工智能研究中心)
本文研究基于大语言模型的零样本上位词预测方法,通过文本概率计算优化提示选择,并利用同下位词增强提示与迭代方法,在BLESS数据集上达到MAP=0.8。
2024-01-09 cs.AI cs.CL