Pretrained Optimization Model for Zero-Shot Black Box Optimization
Xidian University(西安电子科技大学)
针对零样本黑盒优化中现有优化器适配性差的问题,提出预训练优化模型(POM),经BBOB基准及机器人控制任务验证,其性能优于当前最优方法,泛化能力强。
2026-08-12 cs.AI cs.NE
Context Variance Evaluation of Pretrained Language Models for Prompt-based Biomedical Knowledge Probing
College of Information and Computer Science, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院);Department of Computer Science, University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校计算机科学系);Department of Medicine, University of Massachusetts Medical School(马萨诸塞大学医学院医学系);Center for Healthcare Organization and Implementation Research, Bedford Veterans Affairs Medical Center(贝德福德退伍军人事务医疗中心医疗保健组织与实施研究中心)
预训练的语言模型(PLM)激发了关于这些模型学习什么样的知识的研究。填空题(例如,完形填空)是测量这些知识的自然方法。BioLAMA生成生物医学事实知识三元组的提示,并使用Top-k准确度指标来评估不同PLM的知识。然而,现有的研究表明,这种基于知识的探测方法只能探测知识的下限。许多因素,如基于探针的探测偏差,使LAMA基准不可靠和不稳定。这个问题在BioLAMA中更为突出。词汇量的严重长尾分布和大N-M关系使得LAMA和BioLAMA之间的性能差距仍然显着。为了解决这些问题,我们引入上下文方差到提示生成,并提出了一个新的排名变化为基础的评价指标。与以往的已知-未知评价标准不同,本文首次提出了LAMA中的“误解”概念。通过在12个PLM上的实验,我们的上下文方差提示和理解-混淆-误解(UCM)度量使BioLAMA对大N-M关系和稀有关系更友好。我们还进行了一系列对照实验,以将“理解”从“阅读和复制”中分离出来。
2023-01-25 cs.AI cs.CL
When Sensing Varies with Contexts: Context Probing for Tactile Few-Shot Class-Incremental Learning
Fujian Key Laboratory for Intelligent Processing and Wireless Transmission of Media Information, College of Physics and Information Engineering, Fuzhou University(福建省媒体信息智能处理与无线传输重点实验室,物理与信息工程学院,福州大学);College of Computer and Data Science, Fuzhou University(计算机与数据科学学院,福州大学);School of Computer Science and Engineering, South China University of Technology(计算机科学与工程学院,华南理工大学);MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China(教育部类脑智能感知与认知重点实验室,中国科学技术大学)
本文提出CaT-FSCIL方法,通过分解触觉感知情境为低维结构成分和高维残差成分,利用伪情境一致性损失和UCPC缓解设备差异影响,在HapTex和LMT108上验证了其优越性。
2026-07-14 cs.AI
Zero-Shot Robustification of Zero-Shot Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
提出RoboShot方法,利用语言模型从任务描述中提取见解,在完全零样本和无监督下调整预训练模型嵌入以提升鲁棒性,在九个任务上最差组准确率平均提升15.98%且整体准确率几乎无损。
2024-02-12 cs.AI cs.LG
ZEETAD: Adapting Pretrained Vision-Language Model for Zero-Shot End-to-End Temporal Action Detection
University of Arkansas(阿肯色大学);FPT Software AI Center(FPT软件人工智能中心);West Virginia University(西弗吉尼亚大学)
针对现有零样本时序动作检测方法在任务关联构建与模型适配方面的不足,提出含双定位、零样本候选框分类模块的ZEETAD方法,通过轻量适配器微调冻结CLIP编码器,在两个基准数据集上实现更优的零样本检测性能与知识迁移效果。
2023-11-04 cs.AI cs.CV
Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases
NVIDIA(英伟达);California Institute of Technology(加州理工学院)
检测文本中的社会偏见是具有挑战性的,因为细微差别,主观性,以及难以获得高质量的大规模标记数据集,特别是考虑到社会偏见和社会的演变性质。为了解决这些挑战,我们提出了一种基于Few-Shot的方法来提示预训练的语言模型(LM)。我们从一个小的支持库中选择了一些类平衡的样本,这些样本最接近嵌入空间中要标记的查询。然后,我们为LM提供指令,该指令由标记样本的子集、要分类的查询文本、偏差的定义组成,并提示LM做出决定。我们证明了在Few-Shot上下文中使用的大型LM可以检测不同类型的细粒度偏差,其精度与微调模型相似,有时甚至更高。我们观察到,与较小的模型相比,最大的530B参数模型在检测社会偏见方面明显更有效(与其他模型相比,AUC指标至少提高了13%)。当标记的储存库减少到$100$样品时,它也保持高AUC(下降小于2%)。因此,大型的预训练语言模型使得构建新的偏见检测器变得更容易和更快。
2022-04-15 cs.AI cs.CL
Few-Shot Deployment of Pretrained MRI Transformers in Brain Imaging Tasks
Boston University(波士顿大学)
本研究提出一个实用框架,通过在超3100万切片的大规模脑MRI数据集上应用Masked Autoencoder (MAE)预训练策略,获得高泛化性潜在表示,实现预训练MRI Transformer在脑成像任务中的少样本部署,在分类和分割任务中均取得优异表现。
2025-08-07 cs.AI cs.CV
RAO-Nav: Probing Omni-Language Models for Zero-shot Semantic Audio-Visual Navigation
Nankai University(南开大学);Zhongguancun Academy(中关村学院);Shandong University(山东大学)
本文提出RAO-Nav,利用全语言模型的隐式视听知识实现零样本语义视听导航,通过潜在导航推理模块增强决策,在公共基准上超越现有方法且无需训练数据。
2026-09-29 cs.AI
Can a Frozen Pretrained Language Model be used for Zero-shot Neural Retrieval on Entity-centric Questions?
Kioxia Corporation(铠侠公司)
神经文档检索器,包括密集段落检索(DPR),在特定的问答数据集上进行微调和测试时,表现优于经典的词汇匹配检索器,如BM 25。然而,它已被证明,现有的密集检索不推广以及不仅出域,但即使在域,如维基百科,特别是当一个问题中的命名实体是一个主要的线索检索。在本文中,我们提出了一种方法,对领域泛化内泛化使用的嵌入所产生的冻结语言模型训练的实体领域。通过不微调,我们探索了预训练的语言模型中包含的丰富知识可用于检索任务的可能性。该方法优于传统的DPRs在维基百科领域的实体为中心的问题,并实现几乎相当的性能BM 25和最先进的SPAR模型。我们还表明,上下文化的键导致强大的改进相比,BM 25时,实体名称由常见的单词。我们的研究结果表明,zero-shot检索方法的可行性,以实体为中心的问题的维基百科领域,DPR一直在努力执行。
2023-03-09 cs.AI cs.CL
LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval
University of California, San Diego(加州大学圣地亚哥分校);Microsoft Research Asia(微软亚洲研究院);Sun Yat-sen University(中山大学)
在本文中,我们提出了LaPraDoR,这是一种预训练的双塔密集检索器,不需要任何监督数据进行训练。具体来说,我们首先提出迭代对比学习(ICoL),迭代训练查询和文档编码器的缓存机制。ICoL不仅扩大了负实例的数量,而且还将缓存示例的表示保持在相同的隐藏空间中。然后,我们提出了词汇增强的稠密检索(LEDR)作为一个简单而有效的方法来提高稠密检索与词汇匹配。我们评估LaPraDoR最近提出的BEIR基准,包括18个数据集的9个zero-shot文本检索任务。实验结果表明,与有监督的稠密检索模型相比,LaPraDoR具有最先进的性能,进一步的分析揭示了我们的训练策略和目标的有效性。与重新排名相比,我们的词汇增强方法可以在毫秒内运行(快22.5倍),同时实现卓越的性能。
2022-04-27 cs.AI cs.CL cs.IR
Zero-Shot AutoML with Pretrained Models
University of Freiburg(弗赖堡大学);University of Hildesheim(希尔德斯海姆大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
给定一个新的数据集D和一个低的计算预算,我们应该如何选择一个预先训练好的模型来微调到D,并设置微调超参数而不冒过拟合的风险,特别是如果D很小?在这里,我们扩展了自动化机器学习(AutoML)来最好地做出这些选择。我们的独立于域的元学习方法学习一个zero-shot代理模型,在测试时,它允许为新数据集D选择正确的深度学习(DL)管道(包括预训练模型和微调超参数),仅给出描述D的琐碎元特征,如图像分辨率或类的数量。为了训练该zero-shot模型,我们在大量数据集上收集许多DL管道的性能数据,并在此数据上进行元训练,以最小化成对排名目标。我们在ChaLearn AutoDL挑战基准的视觉跟踪的严格时间限制下评估我们的方法,明显优于所有挑战竞争者。
2022-06-25 cs.AI cs.CV cs.LG
ZeroShotOpt: Towards Zero-Shot Pretrained Models for Efficient Black-Box Optimization
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工-IBM Watson人工智能实验室);Evonik Operations GmbH(Evonik运营公司)
本文提出 ZeroShotOpt,通过在 12 种 BO 变体轨迹和数百万高斯过程合成函数上进行离线强化学习预训练,实现 2D–20D 黑盒优化的零样本泛化。
2025-10-03 cs.AI cs.LG
Probing the Robustness of Vision-Language Pretrained Models: A Multimodal Adversarial Attack Approach
School of Computing, Macquarie University(麦考瑞大学计算学院);Microsoft Corporation(微软公司);School of Information Technology, Deakin University(迪肯大学信息技术学院);Data61, CSIRO(联邦科学与工业研究组织Data61研究院)
本文研究VLP transformer的对抗脆弱性,提出联合多模态Transformer特征攻击(JMTFA),在白盒设置下同时扰动视觉与文本模态以破坏重要特征,实验显示高攻击成功率且模型规模与鲁棒性无关。
2024-08-24 cs.AI cs.CV
Blind to Position, Biased in Language: Probing Mid-Layer Representational Bias in Vision-Language Encoders for Zero-Shot Language-Grounded Spatial Understanding
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Samsung Electronics(三星电子)
研究探讨了视觉语言编码器中间层中位置和语言相关信息的偏见,通过层间分析发现常规最终层多模态嵌入优先考虑全局语义对齐,导致视觉嵌入对位置线索敏感性低,多语言文本嵌入在共享空间中形成语言依赖的几何偏移,提出构建空间地图的方法提升零样本图像分割性能。
2026-03-19 cs.AI cs.CV
VoiceTTA: Enhancing Zero-Shot Text-to-Speech via Reinforcement Learning-Based Test-Time Adaptation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tencent(腾讯)
提出VoiceTTA,一种基于强化学习的测试时自适应方法,通过优化可学习前缀和风格奖励,提升预训练零样本TTS模型对罕见语音风格的模仿能力。
2026-06-26 cs.AI cs.SD
Multilingual and Multimodal Topic Modelling with Pretrained Embeddings
University of Helsinki(赫尔辛基大学)
本文提出了M3 L-Contrast-一种新的多模态多语言(M3 L)神经主题模型,用于将来自多种语言和图像的文本映射到共享的主题空间中。我们的模型在文本和图像上进行联合训练,并利用预训练的文档和图像嵌入来抽象不同语言和模态之间的复杂性。作为一个多语言的主题模型,它产生对齐的语言特定的主题和多模态模型,它推断图像中的语义概念的文本表示。我们证明,我们的模型是有竞争力的zero-shot主题模型预测可比多语言数据的主题分布,并显着优于zero-shot模型预测可比文本和图像的主题分布。我们还表明,我们的模型在未对齐的嵌入上的表现几乎和对齐的嵌入一样好。
2022-11-15 cs.AI cs.CL
Systematic Analysis for Pretrained Language Model Priming for Parameter-Efficient Fine-tuning
National Taiwan University(台湾大学);Intel Labs(英特尔实验室)
提出一种通用的参数高效启动框架,通过在包含160个NLP任务的少样本跨领域基准上实验,验证了该框架能显著提升PLM的少样本适配和跨任务泛化能力。
2024-05-30 cs.AI cs.CL
BootPIG: Bootstrapping Zero-shot Personalized Image Generation Capabilities in Pretrained Diffusion Models
Salesforce AI Research(Salesforce AI研究院)
本文提出 BootPIG 架构,通过独立 UNet 和合成数据训练,在约 1 小时内为预训练扩散模型赋予零样本个性化图像生成能力,效果优于现有零样本方法。
2024-01-25 cs.AI cs.CV cs.GR
Language-Independent Representations Improve Zero-Shot Summarization
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对微调导致零样本跨语言摘要灾难性遗忘的问题,提出 QK 微调与平衡对抗语言分类器,以解耦任务知识和语言生成能力并获得语言无关表示。
2024-04-08 cs.AI cs.CL
Discriminative Language Model as Semantic Consistency Scorer for Prompt-based Few-Shot Text Classification
Fudan University(复旦大学)
提出了一种新的基于语义的文本微调方法(称为DLM-SCS),该方法利用预训练的区分性语言模型ELECTRA来区分标记是原始的还是生成的,用于Few-Shot文本分类。其基本思想是,使用真标签实例化的提示应该比使用假标签的其他提示具有更高的语义一致性得分。由于提示通常由几个组件(或部分)组成,因此可以相应地分解其语义一致性。每个组件的语义一致性计算,然后利用预训练的ELECTRA模型,而不引入额外的参数。大量的实验表明,我们的模型优于几个国家的最先进的基于图像的Few-Shot方法。
2022-10-23 cs.AI cs.CL cs.LG
Contrastive Language-Image Pretrained Models are Zero-Shot Human Scanpath Predictors
FAU Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
本文提出了CapMIT1003数据集和零样本扫描路径预测方法NevaClip,通过结合CLIP与NeVA算法,利用字幕指导的梯度驱动视觉探索模拟人类注意力,在合理性和决策影响上优于现有无监督模型。
2023-05-23 cs.AI cs.CV
Few-Shot Segmentation of Historical Maps via Linear Probing of Vision Foundation Models
Computer Vision Lab, TU Wien(维也纳工业大学计算机视觉实验室)
提出利用视觉基础模型线性探测与参数高效微调,实现历史地图小样本分割,在Siegfried和ICDAR数据集上显著提升性能,仅需0.21%可训练参数。
2025-06-27 cs.AI cs.CV cs.LG
From Emergence to Control: Probing and Modulating Self-Reflection in Language Models
Department of Computer Science & Engineering(计算机科学与工程系);The Ohio State University(俄亥俄州立大学)
本研究发现预训练大语言模型已存在潜在自反思能力,提出反思诱导探测法验证该能力,构建自反思向量实现行为双向控制,可在无需额外训练的情况下灵活权衡推理质量与效率。
2025-06-13 cs.AI cs.CL cs.LG
ASDOT: Any-Shot Data-to-Text Generation with Pretrained Language Models
Carnegie Mellon University(卡内基梅隆大学);UC San Diego(加州大学圣地亚哥分校);Petuum Inc.(Petuum公司);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出ASDOT方法,通过数据消歧和句子融合两步骤,利用预训练语言模型在零样本到全样本等多种数据稀缺场景下实现高效的数据到文本生成。
2022-10-22 cs.AI cs.CL cs.LG
Relational Transformer: Toward Zero-Shot Foundation Models for Relational Data
Stanford University(斯坦福大学);Kumo AI;University of Oxford(牛津大学);SAP Labs LLC(SAP实验室有限责任公司)
关系变换器通过零样本迁移能力,为关系数据提供高效的基础模型解决方案。
2026-03-02 cs.AI cs.DB cs.LG
How Do Video Foundation Models Encode Intuitive Physics? Probing Across Pretraining Paradigms
University of Amsterdam(阿姆斯特丹大学)
通过冻结特征探测,研究预训练视频基础模型在直觉物理信息上的编码能力,发现V-JEPA表现最佳,物理信息在中后期层最易获取,且时序破坏显著降低性能。
2026-11-02 cs.AI cs.CV cs.LG
Investigating Transferability in Pretrained Language Models
Stanford University(斯坦福大学)
语言模型预训练如何帮助迁移学习?我们考虑了一种简单的消融技术,用于确定每个预训练层对传输任务性能的影响。这种方法,部分重新初始化,涉及用随机权重替换预训练模型的不同层,然后在传输任务上微调整个模型并观察性能变化。该技术揭示了在BERT中,在下游GLUE任务上具有高探测性能的层对于这些任务的高精度来说既不是必要的也不是充分的。此外,为层使用预训练参数的好处随着微调数据集大小而显着变化:当数据丰富时提供巨大性能提升的参数可能在数据稀缺的设置中提供微不足道的好处。这些结果揭示了迁移学习过程的复杂性,突出了在冻结模型或单个数据样本上操作的方法的局限性。
2020-11-10 cs.AI cs.CL cs.LG
SPE: Symmetrical Prompt Enhancement for Fact Probing
UNC-Chapel Hill(北卡罗来纳大学教堂山分校);MILA(蒙特利尔学习算法研究所);NVIDIA(英伟达);Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);Carnegie Mellon University(卡内基梅隆大学);Salesforce Research(赛富时研究院)
预训练的语言模型(PLM)已经被证明在预训练期间积累事实知识(Petroni等人,2019年)。最近的作品通过离散或连续格式纸的提示来探索PLM对这些知识的了解程度。然而,这些方法没有考虑任务的对称性:对象预测和主题预测。在这项工作中,我们提出了对称提示增强(SPE),在PLM中,利用任务的对称性,通过构建对称提示的主体和客体预测的事实探测的一个连续的基于任务的方法。我们的结果对一个流行的事实探测数据集,LAMA,显示显着改善SPE比以前的探测方法。
2022-11-14 cs.AI cs.CL cs.LG
GPT-3 Models are Poor Few-Shot Learners in the Biomedical Domain
深度神经语言模型在自然语言处理(NLP)的许多任务中取得了新的突破。最近的研究表明,深度Transformer语言模型(在大量文本上进行预训练)可以实现与最先进的模型相当的高水平的特定于任务的Few-Shot性能。然而,这些大语言模型在Few-Shot迁移学习中的能力尚未在生物医学领域中被探索。我们研究了两个强大的Transformer语言模型,即GPT-3和BioBERT,在各种生物医学NLP任务的Few-Shot设置的性能。实验结果表明,在很大程度上,这两种模型的表现都不如在完整训练数据上微调的语言模型。虽然GPT-3已经在开放域NLP任务的Few-Shot知识转移方面取得了接近最先进的结果,但它无法像BioBERT那样有效,BioBERT比GPT-3小几个数量级。关于BioBERT已经在大型生物医学文本语料库上进行了预训练,我们的研究表明,语言模型可能在很大程度上受益于特定于任务的少样本学习中的域内预训练。然而,域内预训练似乎是不够的;在生物医学NLP领域需要新的预训练和少样本学习策略。
2022-06-01 cs.AI cs.CL cs.LG
Hint-Aug: Drawing Hints from Foundation Vision Transformers Towards Boosted Few-Shot Parameter-Efficient Tuning
Georgia Institute of Technology(佐治亚理工学院);Rice University(莱斯大学)
提出Hint-Aug框架,通过AOD检测过自信图块并用CFI注入预训练特征以增强少样本微调数据,在多数据集上显著提升FViT准确率。
2023-06-26 cs.AI cs.CV
How Transferable are Attribute Controllers on Pretrained Multilingual Translation Models?
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文以 NLLB-200 为基础,利用基于梯度的推理时属性控制器,将翻译属性控制零样本迁移到无标注语言,并证明其在远距离语言和领域鲁棒性上可补充微调。
2024-01-24 cs.AI cs.CL
Teaching Pretrained Models with Commonsense Reasoning: A Preliminary KB-Based Approach
University of California, Santa Barbara(加州大学圣巴巴拉分校);Tencent AI Lab(腾讯人工智能实验室)
最近,预训练的语言模型(例如,BERT)已经在许多下游自然语言理解任务上取得了巨大的成功,并表现出一定水平的常识推理能力。然而,它们在常识性任务上的表现仍与人类有很大差距。作为初步尝试,我们提出了一种简单而有效的方法,通过利用最大的常识知识库(KB)ConceptNet中的结构化知识来教授具有常识推理的预训练模型。具体来说,知识库中的结构化知识允许我们构建各种逻辑形式,然后生成需要常识逻辑推理的选择题。实验结果表明,当对这些训练样本进行细化时,预训练模型在需要常识推理的任务上始终提高其性能,特别是在少样本学习设置中。此外,我们也进行分析,以了解哪些逻辑关系更相关的常识推理。
2023-02-16 cs.AI cs.LG
Adapting Contrastive Language-Image Pretrained (CLIP) Models for Out-of-Distribution Detection
Heinrich Heine University(海因里希·海涅大学)
本研究聚焦CLIP模型的OOD检测适配,提出伪标签探测方法,在5个ImageNet基准上超越SOTA,同时发现线性探测优于微调,且大参数CLIP仍难检测对抗OOD样本。
2023-11-09 cs.AI cs.CV cs.LG
Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity
University College London(伦敦大学学院);Mishcon de Reya LLP(米什康德雷亚律师事务所)
当只使用少量训练样本时,与完全监督的、微调的、大型的、预训练的语言模型相比,GPT-3等非常大的、预训练的语言模型表现出了竞争力。我们证明了提供样本的顺序可以在接近最先进的和随机猜测性能之间产生差异:本质上有些排列是“梦幻般的”,有些不是。我们详细分析了这一现象,确定:它存在于不同的模型大小(即使是当前最大的模型),它与特定的样本子集无关,并且一个模型的给定良好排列不能转移到另一个模型。虽然可以使用开发集来确定哪些排列是有效的,但这将偏离真正的Few-Shot设置,因为它需要额外的注释数据。相反,我们使用的生成性质的语言模型,构建一个人工的发展集和熵统计的基础上,这个集合上的候选排列,我们确定性能提示。我们的方法在11个不同的已建立的文本分类任务中对GPT家族模型产生了13%的相对改进。
2022-03-03 cs.AI cs.CL
Geometry-Aware Adaptation for Pretrained Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
提出Loki方法,利用标签空间几何度量,以Fréchet均值替代argmax,无需额外训练即可提升零样本模型性能,在ImageNet上相对提升29.7%。
2026-10-02 cs.AI cs.LG stat.ML
DeFTX: Denoised Sparse Fine-Tuning for Zero-Shot Cross-Lingual Transfer
Indian Institute of Technology Bombay(印度理工学院班加罗尔)
针对跨语言迁移挑战,该研究提出DeFT-X方法,通过奇异值分解对预训练模型权重去噪后再做幅值剪枝,得到更鲁棒的可组合稀疏微调向量,在极低资源语言任务上性能优于或持平现有基线。
2025-05-21 cs.AI cs.CL cs.LG
Lightweight Unsupervised Federated Learning with Pretrained Vision Language Model
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院)
针对有监督联邦学习需标注数据、模型训练传输开销大的问题,提出基于CLIP的轻量无监督联邦学习方法,通过自训练优化伪标签、类别平衡采样缓解异构,在低开销下性能超越零样本预测和有监督基准。
2024-04-17 cs.AI cs.CV cs.LG
XtarNet: Learning to Extract Task-Adaptive Representation for Incremental Few-Shot Learning
Ulsan National Institute of Science and Technology(蔚山国立科学技术院);Korea Advanced Institute of Science and Technology(韩国科学技术院)
在学习新概念的同时保留先验知识是机器学习中的一个长期挑战。当一个新的任务只有几个标记的例子时,挑战会变得更大,这个问题被称为增量少样本学习。我们提出了XtarNet,它学习提取任务自适应表示(TAR),以促进增量少样本学习。该方法利用在一组基本类别上预训练的骨干网络,同时还采用跨剧集进行元训练的附加模块。给定一个新任务,从元训练模块中提取的新特征与从预训练模型中获得的基本特征混合。组合两个不同特征的过程提供了TAR,并且也由元训练模块控制。《第三次评估报告》载有对新类别和基本类别进行分类的有效信息。基础和新的分类器快速适应一个给定的任务,利用TAR。在标准图像数据集上的实验表明,XtarNet实现了最先进的增量少样本学习性能。TAR的概念也可以与现有的增量少样本学习方法结合使用;实际上,大量的仿真结果表明,应用TAR显著增强了已知的方法。
2020-07-01 cs.AI cs.LG cs.NE
Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification
New York University(纽约大学);University of California, San Diego(加州大学圣地亚哥分校)
基于知识的学习(即,提示)是一种用于利用由预训练的语言模型学习的知识的新兴范例。在本文中,我们提出了自动多标签标注(AMuLaP),一个简单而有效的方法来自动选择标签映射的Few-Shot文本分类提示。我们的方法利用一对多的标签映射和一个基于代数的算法来选择标签映射给出一个提示模板。我们的实验表明,AMuLaP达到竞争力的性能,在没有人力或外部资源的情况下,在GLUE基准。
2022-04-14 cs.AI cs.CL cs.LG
Efficient Equivariant Transfer Learning from Pretrained Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
提出λ-equitune,通过学习重要性权重平均特征,实现高效等变迁移学习,在零样本和微调任务上优于现有方法,并证明其等变性与通用逼近性。
2023-10-10 cs.AI cs.CL cs.CV
Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language
Google(谷歌)
大型预训练(例如,"基础")模型根据它们所训练的数据域而展现出不同的能力。虽然这些域是通用的,但它们可能仅勉强重叠。例如,视觉语言模型(VLM)是在互联网规模的图像标题上训练的,但是大语言模型(LM)是在没有图像的互联网规模的文本上进一步训练的(例如,电子表格、SAT问题、代码)。因此,这些模型在不同领域存储不同形式的常识知识。在这项工作中,我们表明这种多样性是共生的,并且可以通过苏格拉底模型(SM)来利用:一个模块化框架,其中多个预训练模型可以由zero-shot组成,即,通过多模态通知提示,彼此交换信息并捕获新的多模态能力,而不需要微调。通过最少的工程,SM不仅与最先进的zero-shot图像描述和视频到文本检索竞争,而且还实现了新的应用,例如(i)回答关于自我中心视频的自由形式的问题,(ii)参与与人的多模态辅助对话(例如,用于烹饪食谱)通过与外部API和数据库(例如,网络搜索),以及(iii)机器人感知和规划。
2022-05-27 cs.AI cs.CL cs.CV
EmCom-Diffusion: Probing Visual Reflection in Emergent Languages via Image Generation
Graduate School of Informatics, Kyoto University, Kyoto, Japan(京都大学信息学研究科);Research Organization of Science and Technology, Ritsumeikan University, Shiga, Japan(立命馆大学科学技术研究机构)
研究新兴语言编码输入视觉内容程度的问题,提出EmCom-Diffusion框架,直接测量视觉反射,通过微调文本到图像扩散模型,以重建图像与原图的感知相似性评分,验证其优于现有指标。
2026-07-07 cs.AI cs.CL cs.CV
Multi-Modal Few-Shot Temporal Action Detection
KAUST(阿卜杜拉国王科技大学);iFlyTek-Surrey Joint Research Center on Artificial Intelligence(讯飞-萨里人工智能联合研究中心);University of Surrey(萨里大学);Meta;Surrey Institute for People-Centred Artificial Intelligence(萨里以人为本人工智能研究所)
Few-Shot(FS)和zero-shot(ZS)学习是两种不同的方法,用于将时间动作检测(TMT)扩展到新的类。前者适应一个预先训练的视觉模型,以一个新的任务所代表的少到一个单一的视频每类,而后者不需要训练样本,利用新的类的语义描述。在这项工作中,我们引入了一个新的多模态Few-Shot(MMFS)的搜索问题,它可以被认为是一个婚姻的FS搜索和搜索,通过利用Few-Shot支持视频和新的类名联合。为了解决这个问题,我们进一步介绍了一种新的多模态PromPt mETA学习(MUPPET)方法。这是通过有效地桥接预先训练的视觉和语言模型,同时最大限度地重用已经学习的能力来实现的。具体地说,我们构建多模态提示支持视频映射到文本标记空间的视觉语言模型使用元学习适配器配备视觉语义标记。为了解决类内变异较大的问题,我们进一步设计了查询特征调整方案。在ActivityNetv1.3和THUMOS 14上进行的大量实验表明,我们的MUPPET优于最先进的替代方法,通常是大幅度的。我们还表明,我们的MUPPET可以很容易地扩展到解决Few-Shot的目标检测问题,并再次达到最先进的性能MS-COCO数据集。该代码将在https://github.com/sauradip/MUPPET上提供
2023-03-27 cs.AI cs.CL cs.CV