Improving ProtoNet for Few-Shot Video Object Recognition: Winner of ORBIT Challenge 2022
Huawei(华为);McMaster University(麦克马斯特大学);University of Manitoba(曼尼托巴大学)
在这项工作中,我们提出了ORBIT Few-Shot视频对象识别挑战赛2022的获奖解决方案。建立在ProtoNet基线,我们的方法的性能提高了三个有效的技术。这些技术包括嵌入自适应、视频片段统一采样和无效帧检测。此外,我们重新构建和重新实现了官方代码库,以鼓励模块化,兼容性和提高性能。我们的实现加速了训练和测试中的数据加载。
2022-10-01 cs.CV cs.LG
Benchmarking Few-shot Transferability of Pre-trained Models with Improved Evaluation Protocols
University of Electronic Science and Technology of China(电子科技大学);Southwest Jiaotong University(西南交通大学);Tongji University(同济大学)
本文提出FEWTRANS基准和HPE协议,揭示预训练模型选择对少样本迁移性能的主导作用,并分析全微调在避免过拟合方面的有效性。
2026-02-28 cs.CV cs.LG
CellStyle: Improved Zero-Shot Cell Segmentation via Style Transfer
Institute of Imaging and Computer Vision, RWTH Aachen University, Germany(成像与计算机视觉研究所,亚琛RWTH大学,德国)
CellStyle通过风格迁移技术,在无需目标数据标注的情况下提升零样本细胞分割性能。
2026-01-26 cs.CV cs.LG
Protein Language Model Zero-Shot Fitness Predictions are Improved by Inference-only Dropout
University of Cambridge(剑桥大学)
本研究通过在蛋白质语言模型推理时注入dropout层并平均输出,无需重训练即可提升零样本适应性预测性能,在ProteinGym子集上验证有效。
2025-05-31 cs.LG
TADAM: Task dependent adaptive metric for improved few-shot learning
Element AI(元素人工智能公司);CVC-UAB(巴塞罗那自治大学计算机视觉中心)
少样本学习已经成为生成从很少的例子中概括的模型的必要条件。在这项工作中,我们确定度量缩放和度量任务条件是重要的,以提高性能的Few-Shot算法。我们的分析表明,简单的度量缩放完全改变了Few-Shot算法参数更新的性质。度量缩放为mini-Imagenet 5路5镜头分类任务中的某些度量提供了高达14%的准确性改进。我们进一步提出了一个简单而有效的方法来调节学习任务样本集,从而学习任务相关的度量空间。此外,我们提出并实证测试了一个基于辅助任务协同训练的实用端到端优化过程,以学习任务相关的度量空间。由此产生的少样本学习模型的基础上的任务相关的缩放度量达到最先进的迷你Imagenet。我们在本文介绍的另一个基于CIFAR 100的Few-Shot数据集上证实了这些结果。我们的代码可在https://github.com/ElementAI/TADAM上公开获取。
2019-01-25 cs.AI cs.CV cs.LG
Improved Multi-Shot Diffusion-Weighted MRI with Zero-Shot Self-Supervised Learning Reconstruction
Athinoula A. Martinos Center for Biomedical Imaging(阿瑟诺拉·A·马蒂诺斯生物医学成像中心);Harvard Medical School(哈佛医学院);University of São Paulo(圣保罗大学);Technische Universität München(慕尼黑工业大学);Harvard-MIT Health Sciences and Technology(哈佛-麻省理工健康科学与技术部)
本文提出zero-MIRID方法,通过零样本自监督学习和CNN去噪器联合重建多激发EPI数据,在体内实验中优于现有并行成像方法,改善了扩散MRI的分辨率和伪影问题。
2023-09-22 cs.LG eess.IV
Finetune like you pretrain: Improved finetuning of zero-shot vision models
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学);Bosch Center for AI(博世人工智能中心)
微调图像-文本模型(如CLIP)在各种基准测试中达到了最先进的精度。然而,最近的作品,如WiseFT(Wortsman等人,2021)和LP-FT(Kumar等人,2022)已经表明,即使微调过程中的细微差异也会导致最终性能的惊人差异,无论是对于分布内(ID)还是分布外(OOD)数据。在这项工作中,我们证明了一种自然而简单的模仿对比预训练的方法始终优于其他微调方法。具体来说,我们将下游类标签转换为文本提示,并继续优化图像嵌入和类描述性提示嵌入之间的对比损失(对比微调)。我们的方法在7个分布偏移、6个迁移学习和3个少样本学习基准测试中始终优于基线。在WILDS-iWILDCam上,我们提出的方法FLYP通过$2.3\%$ ID和$2.7\%$ OOD优于排行榜的顶部,给出了最高的报告准确度。在7个OOD数据集(2个WILDS和5个ImageNet相关偏移)上取平均值,FLYP在标准微调上获得了$4.2\%$ OOD的增益,并且在ID和OOD方面都超过了$1\%$。类似地,在3个少样本学习基准测试中,我们的方法比标准微调和$4.4\%$的性能提高了$4.6\%$。总的来说,这些基准测试将对比微调确定为一种简单,直观和最先进的方法,用于像CLIP这样的图像-文本模型的监督微调。代码可在https://github.com/locuslab/FLYP上获得。
2022-12-01 cs.CV cs.LG
MM-PoE: Multiple Choice Reasoning via. Process of Elimination using Multi-Modal Models
MM-PoE通过多模态模型的排除过程提升视觉语言模型在多选推理任务中的性能。
2024-12-10 cs.AI cs.CL cs.CV
Learning Generalized Zero-Shot Learners for Open-Domain Image Geolocalization
Stanford University(斯坦福大学)
图像地理定位是一项具有挑战性的任务,即预测给定照片的地理坐标。这是一个尚未解决的问题,依赖于将视觉线索与关于世界的一般知识相结合的能力,以跨地理做出准确的预测。我们提出了$\href{https://huggingface.co/geolocal/StreetCLIP}{\text{StreetCLIP}}$,一个强大的,公开可用的基础模型,不仅在多个开放域图像地理定位基准上实现了最先进的性能,而且在zero-shot设置中也做到了这一点,优于在超过400万张图像上训练的监督模型。我们的方法通过从合成字幕预训练CLIP,在选择的域中接地CLIP,为广义零样本学习引入了元学习方法。我们表明,我们的方法有效地将CLIP的广义zero-shot能力转移到图像地理定位领域,提高了域内广义zero-shot性能,而无需在固定的类集合上微调StreetCLIP。
2023-02-01 cs.CV cs.LG
ALPS: Improved Optimization for Highly Sparse One-Shot Pruning for Large Language Models
Massachusetts Institute of Technology(麻省理工学院)
ALPS提出基于算子分裂与预条件共轭梯度的优化剪枝框架,在高度稀疏的LLM上显著降低困惑度并提升零样本性能。
2025-09-08 cs.LG
Prototypical Contrastive Learning For Improved Few-Shot Audio Classification
Multimedia Analysis Group of the Computational Intelligence Laboratory (MagCIL) Institute of Informatics
本研究将监督对比损失(特别是角度损失)整合进原型少样本训练,结合SpecAugment和自注意力机制,在MetaAudio基准的5-way 5-shot音频分类任务上取得最先进性能。
2025-09-12 cs.LG cs.SD
Small or Large? Zero-Shot or Finetuned? Guiding Language Model Choice for Specialized Applications in Healthcare
British Columbia Cancer Registry Provincial Health Services Authority(不列颠哥伦比亚省癌症登记处省级卫生服务局);Data Science Institute University of British Columbia(数据科学研究所不列颠哥伦比亚大学)
本研究通过病理报告分类任务,比较微调与零样本、小模型与大模型,发现微调的小语言模型在特定任务上超越零样本大模型,且领域预训练有额外优势。
2025-09-24 cs.AI cs.CL cs.LG
Using Task Descriptions in Lifelong Machine Learning for Improved Performance and Zero-Shot Transfer
University of Pennsylvania(宾夕法尼亚大学)
任务之间的知识转移可以提高学习模型的性能,但需要准确估计任务间的关系,以确定相关的知识转移。这些任务间关系通常基于每个任务的训练数据来估计,这在终身学习环境中是低效的,其中目标是从尽可能少的数据快速学习每个连续任务。为了减轻这种负担,我们开发了一种终身学习方法的基础上耦合字典学习,利用高层次的任务描述建模的任务间的关系。我们发现,使用任务描述符提高了学习任务政策的性能,提供了理论依据的好处和经验证明,在各种学习问题的改善。仅给定新任务的描述符,终身学习者还能够通过使用耦合字典的零样本学习来准确地预测新任务的模型,从而消除了在解决任务之前收集训练数据的需要。
2017-10-10 cs.LG stat.ML
Enabling Calibration In The Zero-Shot Inference of Large Vision-Language Models
Scale AI(Scale AI公司)
针对 CLIP 等视觉-语言模型零样本推理中的误校准问题,论文系统测量提示、数据集和架构的影响,并提出适配零样本场景的改进温度缩放方法,证明单一学习温度可跨数据集与提示泛化。
2023-04-18 cs.CV cs.LG
AGenT Zero: Zero-shot Automatic Multiple-Choice Question Generation for Skill Assessments
Chegg, Inc.(Chegg公司);Stanford University(斯坦福大学)
在虚拟教育和招聘时代,多项选择题(MCQ)为技能评估提供了最有前途的途径,在这个时代,传统的基于绩效的替代方案(如项目和论文)变得不那么可行,评分资源也受到限制。MCQ的自动生成将允许大规模创建评估。自然语言处理的最新进展产生了许多复杂问题生成方法。然而,在特定领域中产生可部署结果的少数方法需要大量的特定于领域的训练数据,这可能是非常昂贵的获取。我们的工作提供了一个初步的进军MCQ生成下的高数据采集成本的情况下,战略性地强调释义的问题上下文(相比的任务)。除了保持问答对之间的语义相似性外,我们称之为AGenT Zero的管道仅由预先训练的模型组成,不需要微调,从而最大限度地减少了问题生成的数据采集成本。AGenT Zero在流畅性和语义相似性方面成功地优于其他预先训练的方法。此外,通过一些小的变化,我们的评估管道可以推广到更广泛的问题和答案空间,包括简短的答案或填写空白的问题。
2020-12-18 cs.AI cs.CL cs.CY
Improved Few-Shot Jailbreaking Can Circumvent Aligned Language Models and Their Defenses
Singapore Management University(新加坡管理大学);Sea AI Lab
针对少样本越狱效率低的问题,提出注入特殊系统令牌、从演示池做演示级随机搜索的改进方法,可高效绕过带防御的对齐大语言模型,攻击成功率接近100%。
2024-10-30 cs.AI cs.CL cs.CR
Repurposing Pretrained Models for Robust Out-of-domain Few-Shot Learning
Samsung Advanced Institute of Technology (SAIT)(三星先进技术研究院(SAIT));Mila(米拉 Quebec AI研究所);Université de Montréal(蒙特利尔大学)
模型不可知元学习(MAML)是一种流行的少样本学习方法,但假设我们可以访问元训练集。在实践中,由于数据隐私问题、知识产权问题或仅仅是缺乏计算资源,在元训练集上进行训练可能并不总是一种选择。在本文中,我们考虑重新利用预训练的MAML检查点来解决新的Few-Shot分类任务的新问题。由于潜在的分布不匹配,原始MAML步骤可能不再是最佳的。因此,我们提出了一种替代的元测试过程,并将MAML梯度步长与对抗训练和基于不确定性的步长自适应相结合。我们的方法优于“香草”MAML在同一域和跨域的基准使用SGD和亚当优化,并显示出更好的鲁棒性的基础步长的选择。
2021-03-16 cs.CV cs.LG
Improved Zero-Shot Audio Tagging & Classification with Patchout Spectrogram Transformers
Institute of Computational Perception (CP-JKU)(计算感知研究所(CP-JKU));LIT Artificial Intelligence Lab(LIT人工智能实验室);Johannes Kepler University(约翰内斯·开普勒大学)
用于标记和分类声学信号的标准机器学习模型无法处理在训练期间未看到的类。Zero-Shot(ZS)学习通过基于自适应类描述预测类来克服这一限制。本研究旨在研究基于自我注意的音频嵌入架构对ZS学习的有效性。为此,我们将最近的patchout频谱图Transformer与两种经典的卷积架构进行比较。我们在三个任务和三个不同的基准数据集上评估了这三种架构:AudioSet上的通用标记,ESC-50上的环境声音分类和OpenMIC上的仪器标记。我们的研究结果表明,在所有这些设置中,基于自我注意力的嵌入方法都优于两种比较的卷积架构。通过相应地设计训练和测试数据,我们观察到,当训练和新测试类之间的“语义距离”很大时,预测性能会受到显着影响,这种影响值得更详细的调查。
2022-08-24 cs.LG cs.SD eess.AS
On the Choice of Auxiliary Languages for Improved Sequence Tagging
Bosch Center for Artificial Intelligence(博世人工智能中心);Saarland University(萨尔大学);Saarbrücken Graduate School of Computer Science(萨尔布吕肯计算机科学研究生院)
最近的研究表明,相关语言的嵌入可以提高序列标记的性能,即使是单语模型。在这篇分析论文中,我们研究了是否可以根据语言距离预测最佳辅助语言,并表明最相关的语言并不总是最佳辅助语言。此外,我们还证明了基于注意力的元嵌入可以有效地结合来自不同语言的预训练嵌入进行序列标记,并为五种语言的词性标记设置了新的最先进的结果。
2020-05-19 cs.CL cs.LG
Prompt Amplification and Zero-Shot Late Fusion in Audio-Language Models for Speech Emotion Recognition
School of Nursing Emory University Atlanta, USA(埃默里大学护理学院,美国亚特兰大)
本文提出ZS-Fuse方法,结合双编码器音频-语言模型与领域专家模型,通过提示放大技术提升零样本语音情感识别性能。
2026-03-24 cs.LG eess.AS
TSPE: Task-Specific Prompt Ensemble for Improved Zero-Shot Audio Classification
University of Maryland(马里兰大学)
本文提出TSPE,一种无需训练的任务特定硬提示集成方法,通过利用标签信息生成包含声音属性和来源的上下文丰富提示,在12个音频分类数据集上将ALMs的零样本性能提升了1.23-16.36%。
2025-04-03 cs.AI cs.CL cs.LG
Generative Model-Based Fusion for Improved Few-Shot Semantic Segmentation of Infrared Images
University of Minnesota(明尼苏达大学)
针对红外图像小样本语义分割存在的数据稀缺、对比度有限及现有方法依赖配对可见光图像的问题,提出结合生成式辅助数据合成、红外数据增强及新型融合集成模块的方案,在多个红外数据集上超越了当前最优水平。
2024-12-06 cs.AI cs.CV cs.LG
Calibrate Before Use: Improving Few-Shot Performance of Language Models
UC Berkeley(加州大学伯克利分校);University of Maryland(马里兰大学);UC Irvine(加州大学欧文分校)
GPT-3在提供包含一些训练样本的自然语言提示时可以执行许多任务。我们证明了这种类型的少样本学习可能是不稳定的:提示格式的选择,训练样本,甚至训练样本的顺序都可能导致准确性从接近机会到接近最先进水平。我们证明了这种不稳定性源于语言模型对预测某些答案的偏见,例如,那些被放置在提示的末尾附近或者在预训练数据中是常见的。为了减轻这种情况,我们首先通过在给定训练提示和无内容测试输入(如“N/A”)时询问其预测来估计模型对每个答案的偏差。然后,我们拟合校准参数,使该输入的预测在答案中保持一致。在一组不同的任务中,这种上下文校准程序大大提高了GPT-3和GPT-2的平均准确度(高达30.0%的绝对值),并减少了提示的不同选择之间的差异。
2021-06-10 cs.CL cs.LG
Semi Supervised Learning For Few-shot Audio Classification By Episodic Triplet Mining
TCS Research(塔塔咨询服务公司研究院)
少样本学习的目标是推广在测试期间出现但在训练期间不可用的不可见类。原型网络结合了Few-Shot度量学习,通过以类内嵌入的支持点的平均向量的形式构建类原型。原型网络在极端的Few-Shot场景(如one-shot)中的性能急剧下降,主要是由于在构建原型时簇内的变化被浪费。在本文中,我们建议取代典型的原型损失函数的情节三重挖掘(ETM)技术。传统的三元组选择导致过拟合,因为在训练期间使用了所有可能的组合。我们将情节训练用于挖掘半硬正和半硬负三元组以克服过拟合。我们还提出了一种自适应方法,利用未标记的训练样本进行更好的建模。实验两个不同的音频处理任务,即说话人识别和音频事件检测,显示改进的性能,因此ETM的功效超过原型损失函数和其他元学习框架。此外,当使用未标记的训练样本时,我们表现出更好的性能。
2021-02-16 cs.LG cs.SD eess.AS
Prototypical Networks for Few-shot Learning
University of Toronto(多伦多大学);Twitter(推特);Vector Institute(矢量研究所)
我们提出了原型网络的问题,Few-Shot分类,其中分类器必须推广到新的类中没有看到的训练集,只有少量的例子,每个新的类。原型网络学习一个度量空间,在这个度量空间中,可以通过计算到每个类的原型表示的距离来执行分类。与最近的少样本学习方法相比,它们反映了一种更简单的归纳偏差,在这种有限的数据制度中是有益的,并取得了优异的结果。我们提供的分析表明,一些简单的设计决策可以产生实质性的改进,最近的方法,涉及复杂的架构选择和元学习。我们进一步将原型网络扩展到零样本学习,并在CU-Birds数据集上获得了最先进的结果。
2017-06-19 cs.LG stat.ML
FewSOL: A Dataset for Few-Shot Object Learning in Robotic Environments
University of Texas at Dallas(德克萨斯大学达拉斯分校);NVIDIA(英伟达)
我们引入了用于对象识别的Few-Shot对象学习(FewSOL)数据集,每个对象具有几个图像。我们从不同的视角拍摄了336个真实世界的物体,每个物体有9个RGB-D图像。提供对象分割掩模、对象姿态和对象属性。此外,使用330 3D对象模型生成的合成图像用于增强数据集。我们研究了(i)Few-Shot对象分类和(ii)联合对象分割和Few-Shot分类,使用我们的数据集进行少样本学习和元学习。评估结果表明,机器人环境中的Few-Shot目标分类仍有很大的改进余地。我们的数据集可以用来研究一组Few-Shot对象识别问题,如分类,检测和分割,形状重建,姿态估计,关键点对应和属性识别。数据集和代码可在https://irvlutd.github.io/FewSOL上获得。
2023-03-05 cs.AI cs.CV cs.LG
Active One-shot Learning
Berkeley AI Research (BAIR)(伯克利人工智能研究所)
一次性学习的最新进展已经产生了可以从少数标记示例中学习的模型,用于被动分类和回归任务。本文将强化学习与一次性学习相结合,允许模型在分类过程中决定哪些示例值得标记。我们引入了一个分类任务,其中呈现了一个图像流,并且在每个时间步上,必须做出决定,要么预测标签,要么支付以接收正确的标签。我们提出了一个基于动作-价值函数的递归神经网络,并展示了它学习如何以及何时请求标签的能力。通过奖励函数的选择,该模型可以在纯监督任务上实现比类似模型更高的预测精度,或者以更少的标签请求换取预测精度。
2017-02-21 cs.LG
Improved Performances and Motivation in Intelligent Tutoring Systems: Combining Machine Learning and Learner Choice
Inria(法国国家信息与自动化研究所);Université de Bordeaux(波尔多大学)
本研究将学习者选择机制整合入基于多臂老虎机的个性化系统ZPDES,通过265名儿童的RCT实验证明,选择带来的内在动机仅在自适应系统中能提升学习表现与体验,在固定课程中则有害。
2025-03-05 cs.AI cs.CY cs.LG
Few-Shot Learning with Graph Neural Networks
Amsterdam Machine Learning Lab(阿姆斯特丹机器学习实验室);University of Amsterdam(阿姆斯特丹大学);Courant Institute of Mathematical Sciences(库朗数学科学研究所);New York University(纽约大学)
我们建议研究的问题,Few-Shot学习与棱镜的推理部分观察的图形模型,从一个集合的输入图像的标签可以观察到或没有。通过同化通用的消息传递推理算法与他们的神经网络同行,我们定义了一个图形神经网络架构,概括了最近提出的几个Few-Shot学习模型。除了提供更好的数值性能,我们的框架很容易扩展到Few-Shot学习的变体,如半监督或主动学习,展示了基于图的模型在“关系”任务上运行良好的能力。
2018-02-20 cs.LG stat.ML
MantisV2: Closing the Zero-Shot Gap in Time Series Classification with Synthetic Data and Test-Time Strategies
MantisV2通过合成数据和测试时策略提升时间序列分类的零样本性能
2026-02-19 cs.AI cs.LG
Semi-Supervised and Active Few-Shot Learning with Prototypical Networks
The Curious AI Company(好奇人工智能公司)
我们考虑半监督的Few-Shot分类问题,其中分类器需要使用几个标记的示例和(可能是许多)未标记的示例来适应新的任务。我们提出了一个聚类的方法来解决这个问题。使用原型网络提取的特征使用$K$ -均值进行聚类,并使用少数标记示例指导聚类过程。我们注意到,在许多实际应用中,通过用户反馈请求少量标签,可以显著提高自适应性能。我们展示了良好的性能,使用图像数据的主动适应策略。
2018-04-25 cs.LG stat.ML
A Theoretical Analysis of the Number of Shots in Few-Shot Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);NVIDIA(英伟达)
Few-Shot分类是从一组少量的有标签的样本中预测样本的类别的任务。每个类别的标记示例的数量称为镜头数(或镜头数)。最近的工作通过元学习来解决这个任务,其中元学习者在元训练期间从观察到的任务中提取信息,以便在元测试期间快速适应新任务。在这个公式中,元训练期间使用的镜头数量对元测试时的识别性能有影响。一般来说,元训练中使用的镜头数应该与元测试中使用的镜头数相匹配,以获得最佳性能。我们介绍了一个理论分析的影响,镜头数的原型网络,一个国家的最先进的Few-Shot分类方法。根据我们的分析,我们提出了一种简单的方法,该方法对元训练期间使用的镜头数量的选择具有鲁棒性,这是一个至关重要的超参数。我们为任意元训练镜头数训练的模型的性能显示了不同元测试镜头数值的出色性能。我们实验证明我们的方法在不同的Few-Shot分类基准。
2020-02-14 cs.LG stat.ML
Does Few-Shot Learning Help LLM Performance in Code Synthesis?
University of California Los Angeles(加州大学洛杉矶分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Nvidia(英伟达)
本文系统研究代码生成提示词中的少样本示例选择问题,提出 CODEEXEMPLAR-FREE 与 CODEEXEMPLAR-BASED 两种方法,并在 HumanEval+ 上验证其可显著提升 CodeLlama 性能。
2024-12-03 cs.AI cs.CL cs.LG
Improved cross-validation for classifiers that make algorithmic choices to minimise runtime without compromising output correctness
Coventry University(考文垂大学)
我们的主题是使用机器学习来改进软件,方法是做出不影响输出正确性的选择,但确实会影响产生这种输出所需的时间。我们特别关注计算机代数系统(CAS),特别是,我们的实验是选择变量排序时使用的柱形代数分解$n$维实空间相对于一组多项式的符号。在我们之前的工作中,我们探索了可以使用的不同ML模型,以及如何识别输入多项式的合适特征。在本文中,我们都重复了我们之前的实验,这些实验涉及的问题有更多的变量(因此可能的排序呈指数级增加),并检查了我们的ML分类器所针对的度量。自然的度量是计算运行时间,分类器被训练来选择最小化这一点的排序。然而,这导致了模型不能区分任何非最优排序的情况,这些排序的运行时间可能仍然会有很大的变化。在本文中,我们调查的交叉验证算法的分类器,使他们区分这些情况下,导致改进的结果的修改。
2019-11-28 cs.LG cs.SC
Meta-SGD: Learning to Learn Quickly for Few-Shot Learning
少样本学习对于孤立地从零开始学习每个任务的学习算法来说是具有挑战性的。相比之下,元学习从许多相关的任务中学习一个元学习者,可以用更少的例子更准确,更快地学习一个新的任务,其中元学习者的选择是至关重要的。在本文中,我们开发了元SGD,一个类似SGD的,易于训练的元学习器,可以在监督学习和强化学习的基础上,一步就可以初始化和适应任何可微学习器。与流行的元学习者LSTM相比,Meta-SGD在概念上更简单,更容易实现,并且可以更有效地学习。与最新的元学习器MAML相比,Meta-SGD具有更高的学习能力,不仅可以学习学习器初始化,还可以学习学习器更新方向和学习率,所有这些都在单个元学习过程中进行。Meta-SGD在回归、分类和强化学习的少样本学习方面表现出很强的竞争力。
2017-09-28 cs.LG
Large Language Models Sensitivity to The Order of Options in Multiple-Choice Questions
Megagon Labs(Megagon Labs(Megagon实验室))
该研究揭示大语言模型在多项选择题任务中对选项顺序存在显著敏感性,分析了其成因与偏差调控的选项排列模式,并通过两种校准方法实现最高8个百分点的性能提升。
2023-08-22 cs.AI cs.CL cs.LG
How Sampling Shapes LLM Alignment: From One-Shot Optima to Iterative Dynamics
Inria(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学校);PSL Research University(巴黎综合理工研究所);Northwestern University(西北大学);University of California, Berkeley(加州大学伯克利分校);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
研究探讨了采样对大语言模型对齐的影响,发现适当采样可提升排序保证,而偏向采样可能导致集中问题,并分析了迭代动态中的稳定性问题。
2026-02-12 cs.GT cs.LG
Bayesian Few-Shot Classification with One-vs-Each Pólya-Gamma Augmented Gaussian Processes
Vector Institute, University of Toronto(向量研究所,多伦多大学)
Few-Shot分类(FSC)是在给定小的标记数据集的情况下使分类器适应看不见的类的任务,是迈向类人机器学习的重要一步。贝叶斯方法非常适合解决在Few-Shot场景中过度拟合的基本问题,因为它们允许从业者指定先验信念并根据观察到的数据更新这些信念。当代的贝叶斯Few-Shot分类方法保持了模型参数的后验分布,这很慢,并且需要随模型大小而扩展的存储。相反,我们提出了一个基于Pólya-Gamma增强和one-vs-each softmax近似的新组合的高斯过程分类器,使我们能够有效地边缘化函数而不是模型参数。我们证明了改进的准确性和不确定性量化标准的Few-Shot分类基准和Few-Shot域转移任务。
2021-01-21 cs.LG stat.ML
Zero-Shot Visualization: Exploring Text Corpora with User-Prompted Axes
Universitat Ramon Llull(拉蒙·柳利大学)
本文提出零样本可视化(ZSV)任务,利用大型语言模型将文档映射到用户自然语言指定的概念轴,通过基准评估发现基于下一个词元概率的评分方法在语义保真度与计算成本间取得最佳平衡,并为构建端到端系统提供实用指南。
2026-10-07 cs.AI cs.CL cs.LG
Accelerating Convergence in Bayesian Few-Shot Classification
Center for Applied Statistics(应用统计中心);School of Statistics, Renmin University of China(中国人民大学统计学院);Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing(北京未来区块链与隐私计算高精尖创新中心)
本文提出将镜像下降变分推断集成到高斯过程少样本分类中,利用非欧几何实现加速收敛并改善不确定性量化,实验验证了其优于基线模型的性能。
2024-05-07 cs.LG stat.ML
Meta-Learning Approaches for a One-Shot Collective-Decision Aggregation: Correctly Choosing how to Choose Correctly
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
成功地聚合多个集体成员对一个给定的决策问题的选择到一个单一的解决方案是必不可少的利用集体的智慧和有效的众包。有各种各样的聚合技术,其中一些归结为一个简单的,有时有效的确定性聚合规则。然而,已经表明,这些技术的效率在不同条件下和不同领域内是不稳定的。其他方法主要依赖于从决策者那里了解以前的反应或关于这些反应的额外信息。在这项研究中,我们提出了两种基于一次性机器学习的聚合方法。第一个预测,给定关于集体选择的多个特征,包括元认知特征,哪种聚合方法对给定情况最好。第二种方法直接预测哪种决策是最优的,其中包括每种方法所做的选择。我们提供了一个元认知特征工程的方法来描述一个集体决策的情况下,在上下文敏感的方式。此外,我们提供了一个新的聚合方法,魔鬼的代言人聚合器,处理的情况下,标准的聚合方法预测失败。实验结果表明,使用我们提出的任何一种方法都增加了成功聚合案例的百分比(即,返回正确答案的情况)显著地,与每个基于规则的聚合方法的统一应用相比。我们还证明了魔鬼代言人聚合器的重要性。
2022-04-03 cs.AI cs.LG
Classical Sequence Match is a Competitive Few-Shot One-Class Learner
Nankai University(南开大学);Tsinghua University(清华大学)
如今,基于transformer的模型逐渐成为人工智能先驱的默认选择。即使在Few-Shot场景中,模型也显示出优越性。在本文中,我们回顾了经典的方法,并提出了一个新的Few-Shot替代。具体来说,我们研究了Few-Shot一类问题,它实际上需要一个已知的样本作为参考,以检测一个未知的实例是否属于同一个类。这个问题可以从序列匹配的角度来研究。结果表明,与元学习,经典的序列匹配方法,即比较聚合,显着优于Transformer的。经典的方法需要更少的训练成本。此外,我们在简单微调和元学习下对两种序列匹配方法进行了实证比较。元学习使得Transformer模型的特征具有高相关维度。究其原因,与Transformer型号的层数和头数密切相关。实验代码和数据可在https://github.com/hmt2014/FewOne上获得
2022-10-06 cs.CL cs.LG
Few-shot Conformal Prediction with Auxiliary Tasks
Massachusetts Institute of Technology(麻省理工学院)
当目标任务可用于训练的数据有限时,我们开发了一种新的共形预测方法。保形预测识别一小组有希望的输出候选,以代替单个预测,并保证该组包含高概率的正确答案。然而,当训练数据有限时,预测集很容易变得过大。在这项工作中,我们获得了更紧密的预测集,同时保持理想的边际保证铸造共形预测作为一个元学习范式的辅助任务的可交换集合。我们的一致化算法简单、快速,并且与底层模型、学习算法或数据集的选择无关。我们证明了这种方法在自然语言处理,计算机视觉和计算化学药物发现中的一些Few-Shot分类和回归任务的有效性。
2021-07-20 cs.AI cs.CL cs.LG
Generating Training Data with Language Models: Towards Zero-Shot Language Understanding
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
预训练的语言模型(PLM)在各种自然语言处理任务中表现出了卓越的性能:单向PLM(例如,GPT)以其卓越的文本生成能力而闻名;双向PLM(例如,BERT)已经成为自然语言理解(NLU)任务的突出选择。虽然这两种类型的模型都取得了有前途少样本学习性能,他们的潜力零样本学习一直未被充分发掘。在本文中,我们提出了一种简单的方法,使用这两种类型的PLM进行NLU任务的完全零样本学习,而不需要任何特定于任务的数据:单向PLM生成由提示引导的类条件文本,这些文本用作微调双向PLM的训练数据。通过基于生成概率选择的质量训练数据和应用于微调阶段的正则化技术(标签平滑和时间集成)以获得更好的泛化和稳定性,我们的方法在GLUE基准的七个分类任务(例如,在MNLI-m/mm上为72.3/73.8,在SST-2上为92.8),显著优于zero-shot提示方法,并且使用每类32个训练样本实现甚至与强Few-Shot方法相当的结果。
2022-10-12 cs.CL cs.LG
Few-Shot Document-Level Relation Extraction
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT))
我们提出了FREDo,一个Few-Shot文档级关系抽取(FSDLRE)基准。相对于现有的基准是建立在文档级关系抽取语料库,我们认为,文档级语料库提供更多的现实主义,特别是关于非上述(NOTA)的分布。因此,我们提出了一组FSDLRE任务,并基于两个现有的监督学习数据集,DocRED和sciERC构建了一个基准。我们适应国家的最先进的文档级的方法MNAV,并进一步发展,以改善领域自适应。我们发现FSDLRE是一个具有挑战性的设置有趣的新特性,如能够从支持集采样NOTA实例。数据、代码和训练模型可在线获取(https://github.com/nicpopovic/FREDo)。
2022-07-01 cs.AI cs.CL cs.LG