Factored World Models for Zero-Shot Generalization in Robotic Manipulation
Khoury College of Computer Sciences, Northeastern University(东北大学库里计算机科学学院);Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学研究所);Google Research, Brain Team(谷歌研究院大脑团队)
具有许多对象的环境的世界模型面临着状态的组合爆炸:随着对象数量的增加,可能的排列数量呈指数级增长。在本文中,我们学习推广机器人拾取和放置任务使用对象因子化的世界模型,通过确保预测是等变的对象的排列,打击组合爆炸。以前的对象因子模型要么是由于无法对动作建模,要么是由于无法计划复杂的操作任务而受到限制。我们建立在最近的对比方法训练对象因子化的世界模型,我们扩展到连续的机器人动作模型,并准确地预测机器人拾取和放置的物理。为此,我们使用图神经网络的剩余堆栈,这些网络在其节点和边缘神经网络中的多个级别上接收动作信息。至关重要的是,我们的学习模型可以对训练数据中没有表示的任务进行预测。也就是说,我们证明了成功的zero-shot推广到新的任务,只有轻微的模型性能下降。此外,我们表明,我们的模型的合奏,可用于规划任务,涉及多达12个拾取和放置动作使用启发式搜索。我们还演示了转移到物理机器人。
2022-02-10 cs.LG cs.RO
Robust Few-Shot Ensemble Learning with Focal Diversity-Based Pruning
Georgia Institute of Technology(佐治亚理工学院)
提出 FusionShot 少样本集成方法,通过多通道融合、焦点误差多样性剪枝和可学习组合权重,提升模型在新任务、跨域及对抗场景下的鲁棒性与泛化性。
2024-04-05 cs.CV cs.LG
Progressive Ensemble Networks for Zero-Shot Recognition
Temple University(天普大学);Carleton University(卡尔顿大学)
尽管监督图像识别算法的进步,它们对标记数据的可用性和图像类别的快速扩展的依赖提出了零样本学习的重大挑战。零样本学习(Zero-shot learning,缩写为ZRL)旨在将知识从标记的类转移到未标记的类,以减少人类标记的努力。本文提出了一种新的渐进集成网络模型,该模型具有多个投影标签嵌入,以解决zero-shot图像识别问题。集成网络是通过学习多个图像分类功能与共享的特征提取网络,但不同的标签嵌入表示,这增强了分类器的多样性,并促进信息转移到未标记的类。然后,部署渐进训练框架,以逐渐用预测的伪标签标记每个未标记类中最有信心的图像,并用伪标签增强的训练数据更新系综网络。该模型对标记和未标记数据进行训练。它可以自然地桥接视觉外观中的域移位问题,并被扩展到广义零样本学习场景。我们在多个数据集上进行了实验,实验结果证明了该模型的有效性。
2019-04-06 cs.AI cs.CV cs.LG
Convolutional Ensembling based Few-Shot Defect Detection Technique
Indian Institute of Information Technology Guwahati (IIITG)(印度理工学院古瓦哈提分校(IIITG));CSIR-Central Electronics Engineering Research Institute (CSIR-CEERI)(CSIR-中央电子工程研究所(CSIR-CEERI))
在过去的几年里,少样本学习领域有了显著的进步。这种学习范式已经显示出有希望的结果异常检测的挑战性问题,其中的一般任务是处理沉重的类不平衡。我们的论文提出了一种新的Few-Shot分类方法,其中我们采用了多个预训练卷积模型的知识库,这些模型作为我们提出的Few-Shot框架的骨干。我们的框架使用了一种新的集成技术来提高精度,同时大大减少了总参数数,从而为实时实现铺平了道路。我们使用电力线缺陷检测数据集进行了广泛的超参数搜索,并获得了92.30%的5路5拍任务的准确率。在没有进一步调整的情况下,我们用现有的最先进的方法在竞争标准上评估我们的模型,并超越它们。
2022-11-23 cs.AI cs.CV
COOkeD: Ensemble-based OOD detection in the era of zero-shot CLIP
Aalborg University(奥尔堡大学);ENSTA, Institut Polytechnique de Paris(法国国立高等先进技术学校,巴黎综合理工学院);University of Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
针对单分类器OOD检测性能受限于分布内数据能力的问题,提出融合闭世界分类器、零样本CLIP及线性探测分类器的异构集成方法COOkeD,在多基准和复杂场景下实现SOTA性能与更强鲁棒性。
2025-07-30 cs.AI cs.CV cs.LG
Diversity with Cooperation: Ensemble Methods for Few-Shot Classification
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);LJK(约瑟夫·傅立叶实验室)
Few-Shot分类包括学习一个预测模型,该模型能够有效地适应一个新的类,只给出几个带注释的样本。为了解决这个具有挑战性的问题,元学习已经成为一种流行的范式,倡导“学会适应”的能力。然而,最近的研究表明,没有元学习的简单学习策略可能具有竞争力。在本文中,我们更进一步,通过解决少样本学习分类器的基本高方差问题,有可能显着优于当前的元学习技术。我们的方法包括设计一个深度网络的集合来利用分类器的方差,并引入新的策略来鼓励网络合作,同时鼓励预测的多样性。评估是在mini-ImageNet和CUB数据集上进行的,在那里我们表明,即使是通过蒸馏获得的单个网络也会产生最先进的结果。
2019-08-30 cs.AI cs.CV
A 3D Pose-Based Ensemble Framework for Cricket Shot Classification and Automated Biomechanical Analysis
Khulna University(库尔纳大学)
本文提出一个基于3D姿态的集成框架,利用YOLO和MeTRAbs提取击球手姿态,实现四种板球击球的分类(准确率97.68%)并提供生物力学反馈,用于辅助教练和预防受伤。
2026-09-24 cs.AI cs.CV
An Ensemble of Epoch-wise Empirical Bayes for Few-shot Learning
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Singapore Management University(新加坡管理大学)
少样本学习的目的是用少量的例子来训练有效的预测模型。缺乏训练数据会导致执行高方差或低置信度预测的较差模型。在本文中,我们提出元学习逐时经验贝叶斯模型(E3 BM)的集成,以实现鲁棒的预测。“Epoch-wise”意味着每个训练epoch都有一个贝叶斯模型,其参数是专门学习和部署的。“经验”意味着超参数,例如,用于学习和集成的epoch-wise模型,是由超先验学习器条件的任务特定的数据。我们介绍了四种超先验学习者,考虑归纳与转导,时代依赖与时代独立,在元学习的范式。我们在三个具有挑战性的基准测试上对五类Few-Shot任务进行了广泛的实验:miniImageNet,tieredImageNet和FC 100,并使用epoch-dependent transductive hyperprior learner实现了最佳性能,它捕获了最丰富的信息。我们的烧蚀研究表明,无论是“逐时集成”和“经验”鼓励高效率和鲁棒性的模型性能。
2020-07-17 cs.CV cs.LG stat.ML
Situation Monitor: Diversity-Driven Zero-Shot Out-of-Distribution Detection using Budding Ensemble Architecture for Object Detection
Intel Labs(英特尔实验室);Technical University of Munich(慕尼黑工业大学)
提出 Situation Monitor,一种基于萌芽集成架构和多样性损失的零样本分布外检测方法,在减少 14% 参数的同时提升了目标检测模型的 OOD 检测性能与置信度校准。
2024-06-05 cs.AI cs.CV
Ensemble Model with Batch Spectral Regularization and Data Blending for Cross-Domain Few-Shot Learning with Unlabeled Data
DiDi ChuXing(滴滴出行)
在本文中,我们提出了我们提出的集成模型与批量光谱正则化和数据混合机制的跨域少样本学习(CD-FSL)挑战的轨道2问题。我们建立了一个多分支集成框架,通过使用不同的特征转换矩阵,同时部署批量光谱特征正则化的每个分支,以提高模型的可移植性。此外,我们提出了一种数据混合方法,利用未标记的数据,并在目标域中增加稀疏支持集。我们提出的模型在CD-FSL基准任务上表现出有效的性能。
2020-06-09 cs.CV
Deep Double-Side Learning Ensemble Model for Few-Shot Parkinson Speech Recognition
School of microelectronics and commuication engineering, Chongqing University(重庆大学微电子与通信工程学院)
基于语音数据的帕金森病诊断和疗效评估非常重要,但其少样本学习问题具有挑战性,深度学习虽然擅长自动特征提取,但存在少样本学习问题。因此,一般有效的方法是先基于先验知识进行特征提取,然后进行特征约简,用于后续的分类。但是,语音识别存在两个主要问题:1)语音特征之间的结构信息没有得到充分挖掘,没有重构出更高质量的新特征。2)数据样本之间的结构信息尚未被挖掘,更高质量的新样本尚未被重建。针对这两个问题,本文在已有的帕金森语音特征数据集的基础上,设计了一种能够同时深度重构语音特征和样本的深度双侧学习集成模型。在特征重构方面,本文设计了一种嵌入式深度堆叠组稀疏自编码器,对语音进行非线性特征变换,从而获得新的高层深度特征,然后采用L1正则化特征选择方法将深度特征与原始语音特征融合。在语音样本重构方面,本文设计了一种基于迭代均值聚类的深度样本学习算法,对样本进行变换,以获得新的高层次深度样本。最后,采用Bagging集成学习模式将深度特征学习算法和深度样本学习算法融合在一起,构建深度双侧学习集成模型。最后,利用两个具有代表性的帕金森病语音数据集进行了验证。实验结果表明了该算法的有效性。
2020-06-20 cs.CV cs.LG
Feature Transformation Ensemble Model with Batch Spectral Regularization for Cross-Domain Few-Shot Classification
DiDi ChuXing(滴滴出行)
在本文中,我们提出了一个特征变换集成模型与批量谱正则化的跨域少样本学习(CD-FSL)的挑战。具体来说,我们提出了一个集成预测模型,通过执行不同的特征变换后,特征提取网络。在模型的每个分支预测网络上,在预训练过程中使用批量谱正则化项抑制特征矩阵的奇异值,以提高模型的泛化能力。然后,可以在目标域中对所提出的模型进行微调,以解决Few-Shot分类。我们还进一步应用标签传播,熵最小化和数据增强,以减轻标记的数据在目标领域的短缺。在四个目标域的多个CD-FSL基准任务上进行了实验,结果表明了该模型的优越性。
2020-05-21 cs.CV
TLCE: Transfer-Learning Based Classifier Ensembles for Few-Shot Class-Incremental Learning
Jilin University(吉林大学);Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China(教育部知识驱动人机智能工程研究中心)
针对 FSCIL 的遗忘与过拟合问题,本文提出 TLCE,利用情景训练构造准正交原型并集成多个预训练模型,在多个数据集上超过现有最先进方法。
2023-12-07 cs.CV
Tripartite Weight-Space Ensemble for Few-Shot Class-Incremental Learning
Qualcomm AI Research(高通人工智能研究)
针对少样本类增量学习中的遗忘和过拟合问题,提出三元权重空间集成方法,通过插值基模型、前一模型和当前模型的权重并利用增强数据蒸馏,在多个基准上取得最优性能。
2025-06-04 cs.CV cs.LG
Enhancing Early Alzheimer Disease Detection through Big Data and Ensemble Few-Shot Learning
Robotics and Internet of Things Laboratory, Prince Sultan University(王子苏大学机器人与物联网实验室);RIADI Laboratory, National School of Computer Science, University of Manouba(RIADI实验室,国家计算机科学学院,曼努巴大学)
针对标注医学数据稀缺导致阿尔茨海默病检测准确率受限的问题,提出融合多种预训练CNN为编码器、结合类别感知与熵损失的ProtoNet集成小样本学习方法,在两个数据集上取得超99.7%的准确率,优于现有前沿方法。
2025-10-22 cs.AI cs.CV
Bayesian adaptively-weighted ensembles for few-shot abdominal segmentation
School of Engineering and Materials Science, Queen Mary University of London(伦敦玛丽女王大学工程与材料科学学院);Digital Environment Research Institute, Queen Mary University of London(伦敦玛丽女王大学数字环境研究所)
针对标注稀缺与域偏移问题,提出贝叶斯自适应加权集成框架,在跨机构盆腔结构数据集上显著优于现有方法,可用于部署临床分割系统
2026-08-07 cs.CV
Ensemble-based Adaptive Single-shot Multi-box Detector
Concordia University(康考迪亚大学)
我们提出了两个改进的SSD-Single Shot多盒检测器。首先,我们提出了一个自适应的方法来选择默认框在SSD。这使用数据来减少为默认框选择最佳纵横比的不确定性,并提高包含小而复杂对象的数据集的SSD性能(例如,建筑工地设备)。我们通过找到给定训练数据集的纵横比分布来实现,然后选择代表性值。其次,我们提出了一种集成算法,使用SSD作为组件,这提高了SSD的性能,特别是对少量的训练数据集。与传统的SSD算法相比,自适应框选择将平均精度提高了3%,而基于集合的SSD将其提高了8%。
2018-08-17 cs.CV
Few-shot Classification via Ensemble Learning with Multi-Order Statistics
Nantong University(南通大学);Hohai University(河海大学);Griffith University(格里菲斯大学)
针对小样本分类的泛化表征需求,提出结合多阶统计量池化的集成学习方法ELMOS,通过多分支构建多样学习器,在多个基准上达到SOTA性能。
2023-04-30 cs.CV
More than the Sum of Its Parts: Ensembling Backbone Networks for Few-Shot Segmentation
Politecnico di Milano(米兰理工大学)
本文提出并比较了独立投票与特征融合两种集成技术,在PANet上融合多骨干网络特征,显著提升少样本分割性能,在PASCAL-5ⁱ和COCO-20ⁱ上分别提升7.37%和10.68%。
2024-02-09 cs.CV cs.LG
Few-shot Diagnosis of Chest x-rays Using an Ensemble of Random Discriminative Subspaces
Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校)
针对医学影像标注稀缺问题,提出一种基于随机判别子空间集成的少样本胸部X光诊断方法,通过新颖损失函数提升子空间判别性,计算效率高,在公开数据集上取得良好效果。
2023-08-31 cs.CV
Performance Variability in Zero-Shot Classification
Universidad Nacional de Córdoba(科尔多瓦国立大学);CONICET(阿根廷国家科学技术研究委员会)
Zero-shot Classification(ZSC)是学习训练过程中看不到的类的预测器的任务。虽然文献中的不同方法使用相同的类划分进行评估,但对它们在不同类划分下的稳定性知之甚少。在这项工作中,我们通过实验表明,ZSC性能在不断变化的训练设置下表现出很强的可变性。我们建议使用集成学习作为一种尝试,以减轻这种现象。
2021-03-01 cs.CV cs.LG
Enhanced Few-Shot Class-Incremental Learning via Ensemble Models
Tencent(腾讯)
针对少样本类增量学习中的过拟合问题,提出结合数据增强的多输入多输出集成模型框架与自监督学习,有效提升了特征提取器多样性与模型泛化能力,并优于现有方法。
2024-03-21 cs.CV
Cluster-Aware Prompt Ensemble Learning for Few-Shot Vision-Language Model Adaptation
University of Southern Queensland(昆士兰南方大学);University of Queensland(昆士兰大学)
针对传统提示集成特征平均导致类中心偏移的问题,提出簇感知提示集成学习框架(CAPEL),在分类logits空间进行集成并引入簇保留正则化与自适应加权,提升少样本视觉-语言模型的适应性能。
2025-10-10 cs.CV
Descriptor and Word Soups: Overcoming the Parameter Efficiency Accuracy Tradeoff for Out-of-Distribution Few-shot Learning
Boston University(波士顿大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
本文提出描述符汤和词汤两种少样本方法,无需测试时LLM且不需反向传播,以更少参数和集成成员在OOD少样本学习中超越现有方法。
2024-03-29 cs.CV
One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking
Stony Brook University(石溪大学);Microsoft Research Asia(微软亚洲研究院)
尽管取得了显着的进展,大多数神经架构搜索(NAS)方法集中在搜索一个单一的准确和强大的架构。为了进一步构建具有更好泛化能力和性能的模型,通常采用模型集成,并且其性能优于独立模型。受到模型集成优点的启发,我们建议同时搜索多个不同的模型,作为寻找强大模型的另一种方法。搜索集成是不平凡的,有两个关键的挑战:扩大搜索空间和搜索模型的潜在更复杂。在本文中,我们提出了一个一次性的神经集成架构搜索(NEAS)解决方案,以解决这两个挑战。对于第一个挑战,我们引入了一种新的基于多样性的度量来指导搜索空间收缩,同时考虑候选算子的潜力和多样性。对于第二个挑战,我们启用了一个新的搜索维度来学习不同模型之间的层共享,以提高效率。在ImageNet上的实验表明,该方法可以提高超网对集成架构的排名能力,并进一步提高搜索结果。与MobileNetV3和EfficientNet系列等最新技术相比,所发现的架构在对齐设置下实现了卓越的性能。此外,我们评估的泛化能力和鲁棒性的搜索架构的COCO检测基准,并实现了3.1%的改善AP相比MobileNetV3。代码和模型可在https://github.com/researchmm/NEAS上获得。
2021-07-16 cs.CV
Schrödinger's Navigator: Imagining an Ensemble of Futures for Zero-Shot Object Navigation
Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学);Shanghai University of International Business and Economics(上海对外经贸大学);Shanghai Innovation Institute(上海创新研究院)
提出一种信念感知框架,在推理时通过轨迹条件化的3D世界模型设想多个未来场景,结合自适应遮挡物感知采样和未来感知价值图,提升零样本目标导航在遮挡严重环境中的隐蔽目标发现和风险感知路径选择。
2026-10-19 cs.AI cs.CV cs.RO
Meta-Meta Classification for One-Shot Learning
Rice University(莱斯大学);University of Texas, Austin(德克萨斯大学奥斯汀分校)
我们提出了一种新的方法,称为元元分类,在小数据环境中学习。在这种方法中,使用一个大的学习问题集来设计一个学习器集合,其中每个学习器具有高偏差和低方差,并且擅长解决特定类型的学习问题。元-元分类器学习如何检查给定的学习问题,并结合各种学习器来解决问题。Meta-元学习方法特别适合于解决少样本学习任务,因为学习对具有少量数据的新学习问题进行分类比将学习算法应用于小数据集更容易。我们在一个一次性的,一类对所有分类任务的方法进行了评估,并表明它能够优于传统的元学习以及集成方法。
2020-06-14 cs.CV cs.LG stat.ML
Bayesian Exploration of Pre-trained Models for Low-shot Image Classification
Qing Yuan Research Institute, SEIEE, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院清源研究院);Center for Applied Statistics and School of Statistics, Renmin University of China(中国人民大学应用统计中心与统计学院)
本文提出基于高斯过程的概率模型集成框架,以CLIP为均值函数、多种预训练模型深度核集成为核函数,通过标签回归实现解析推理与不确定性量化,在低样本图像分类中优于现有集成基线。
2024-03-30 cs.AI cs.CV
Zero-Shot Edge Detection with SCESAME: Spectral Clustering-based Ensemble for Segment Anything Model Estimation
Kyoto University(京都大学);Rist Inc.(Rist公司)
本文提出基于谱聚类集成(SCESAME)的零样本边缘检测方法,通过消除小掩码、谱聚类组合掩码及移除伪影三个步骤克服了SAM过度检测边缘的问题,在BSDS500和NYUDv2数据集上表现接近CNN方法,有效提升了SAM实用性。
2023-11-18 cs.CV
PLOT-TAL: Prompt Learning with Optimal Transport for Few-Shot Temporal Action Localization
University of Surrey(萨里大学)
针对少样本 TAL 中单一提示导致边界不精确的问题,提出 PLOT-TAL,用最优传输对齐多提示集成与视频时序特征,在 THUMOS'14 和 EPIC-Kitchens 上取得新最优结果。
2025-07-24 cs.CV cs.LG
Generalised Zero-Shot Learning with a Classifier Ensemble over Multi-Modal Embedding Spaces
Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);The University of Adelaide(阿德莱德大学);Monash University(莫纳什大学)
广义零样本学习(GSTML)方法旨在通过利用这些类的语义信息对先前看到和看不到的视觉类进行分类。在GALML的上下文中,语义信息是非视觉数据,例如可见和不可见类的文本描述。以前的GALML方法利用了视觉和语义嵌入空间之间的转换,以及包括视觉和语义信息的联合空间的学习。在任何一种情况下,都会对单个学习空间执行分类。我们认为,每个嵌入空间包含补充信息的GALML问题。如果仅仅使用视觉、语义或关节空间,这些信息中的一些将不可避免地丢失。在本文中,我们展示了我们的新GALML方法,结合视觉,语义和关节空间的分类的优势。最重要的是,这种集成允许在分类过程中看到来自源域的更多信息。我们的工作的一个额外的贡献是应用程序的校准过程中的每个分类器的合奏。这种校准减轻了组合分类器时的模型选择问题。最后,我们提出的方法在CUB,AWA1和AWA2基准数据集上实现了最先进的结果,并在SUN数据集上提供了有竞争力的性能。
2019-08-06 cs.CV
Self-Ensembling Gaussian Splatting for Few-Shot Novel View Synthesis
EPFL(洛桑联邦理工学院);Ant Group(蚂蚁集团);Swiss Data Science Center(瑞士数据科学中心)
本文提出自集成高斯泼溅(SE-GS),通过不确定性感知扰动联合训练Δ模型和Σ模型,构建稳健的3DGS集成,以缓解少样本条件下的过拟合问题,并在多个数据集上取得优于现有方法的NVS质量。
2025-03-12 cs.CV cs.GR
Robust Fine-tuning of Zero-shot Models via Variance Reduction
Nanyang Technological University(南洋理工大学)
针对零样本模型微调中的ID-OOD权衡问题,提出样本级集成方法VRF,通过距离加权降低预测方差,在ImageNet及多个偏移基准上同时提升ID和OOD精度。
2024-11-11 cs.CV
Efficient and Versatile Robust Fine-Tuning of Zero-shot Models
POSTECH(浦项科技大学);Korea University(高丽大学)
针对零样本模型微调存在的OOD泛化下降、计算成本高的问题,提出R-Adapter方法,结合轻量模块、自集成技术与MPM-NCE损失,仅微调13%的CLIP参数就在多任务上取得SOTA,拓展了鲁棒微调的应用场景。
2024-08-11 cs.CV cs.LG
PKI: Prior Knowledge-Infused Neural Network for Few-Shot Class-Incremental Learning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security at University of Chinese Academy of Sciences(中国科学院大学网络安全学院);NARI Technology Company Limited(NARI科技有限公司);School of Engineering and Applied Science, the George Washington University(乔治华盛顿大学工程与应用科学学院);Department of Communication Engineering, Shanghai University(上海大学通信工程系)
PKI通过整合先验知识和优化投影器数量,提升少样本类增量学习的性能和效率。
2026-01-13 cs.AI cs.CV
Few Shot Learning With No Labels
Few-Shot学习器的目标是识别新的类别,只有少量的训练样本。核心挑战是避免对有限数据的过拟合,同时确保对新类的良好泛化。现有文献利用大量的注释数据,简单地将标签要求从新类转移到基类。由于数据注释既耗时又昂贵,因此进一步减少标签要求是一个重要的目标。为此,我们的论文提出了一个更具挑战性的Few-Shot设置,在训练或测试期间不允许标签访问。通过利用自我监督学习图像表示和图像相似性的分类在测试时,我们实现了有竞争力的基线,同时使用\textbf{zero}标签,这是至少比国家的最先进的标签。我们希望这项工作是朝着发展少样本学习方法,不依赖于注释的数据在所有的一步。我们的代码将公开发布。
2020-12-26 cs.CV cs.LG
Few-shot Learning as Cluster-induced Voronoi Diagrams: A Geometric Approach
University at Buffalo(布法罗大学);Penn State Erie(宾夕法尼亚州立大学伊利校区)
少样本学习(Few-Shot learning,FSL)是指从丰富的基本样本到不足的新样本的快速泛化过程。尽管近年来进行了广泛的研究,但FSL仍然无法为广泛的实际应用提供令人满意的解决方案。为了应对这一挑战,本文从几何的角度研究了FSL问题。一个观察是,广泛接受的ProtoNet模型本质上是特征空间中的沃罗诺伊图(VD)。我们利用计算几何的一个新进展,称为诱导的沃罗诺伊图(CIVD)的更新。从最简单的最近邻模型开始,CIVD逐渐融合了簇到点,然后簇到簇的关系进行空间细分,用于提高FSL多个阶段的准确性和鲁棒性。具体来说,我们使用CIVD(1)集成参数和非参数Few-Shot分类器;(2)结合特征表示和代理表示;(3)利用特征级,变换级和几何级的异质性来获得更好的集成。我们基于CIVD的工作流程使我们能够在mini-ImageNet、CUB和分层ImagenNet数据集上实现最先进的新结果,并在最佳基础上进行${\sim}2\%{-}5\%$改进。总之,CIVD提供了一个数学上优雅和几何上可解释的框架,可以补偿极端的数据不足,防止过拟合,并允许快速几何集成数千个单独的VD。这一切都让FSL变得更加强大。
2022-02-05 cs.CV cs.LG
Rethinking the Sample Relations for Few-Shot Classification
School of Big Data and Software Engineering, Chongqing University(重庆大学大数据与软件学院);Chongqing University(重庆大学);Fowler College of Business, San Diego State University(圣地亚哥州立大学福勒商学院);San Diego State University(圣地亚哥州立大学)
提出多粒度关系对比学习(MGRCL),通过分别建模样本内、类内和类间关系提升少样本分类特征质量,在四个基准上超越多数先进方法并可集成到其他FSL方法中。
2025-01-23 cs.AI cs.CV
ECO: Ensembling Context Optimization for Vision-Language Models
University of Florence(佛罗伦萨大学);University of Siena(锡耶纳大学)
本文提出ECO方法,通过学习多样化且更短的提示集成,在推理无额外开销下显著提升了CLIP模型在11个基准上的少样本图像分类能力。
2023-07-26 cs.CV
A Domain-Adapted Lightweight Ensemble for Resource-Efficient Few-Shot Plant Disease Classification
Department of Computer Science and Engineering(计算机科学与工程系);Islamic University of Technology(伊斯兰科技大学);Department of Computer Science(计算机科学系)
本文提出了一种轻量级集成方法,通过领域适应的MobileNetV2和MobileNetV3模型结合Bi-LSTM与注意机制,实现高效的小样本植物疾病分类,在资源受限环境下达到高准确率。
2025-12-15 cs.CV
CARPRT: Class-Aware Zero-Shot Prompt Reweighting for Black-Box Vision-Language Models
University of Melbourne(墨尔本大学);Southeast University(东南大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The University of Tokyo(东京大学)
研究针对预训练视觉语言模型零样本图像分类中提示与类独立性假设不成立的问题,提出类感知零样本提示重加权方法CARPRT,通过无训练方式量化提示与类的相关性并调整权重,实验表明该方法优于现有方法。
2026-07-17 cs.CV cs.LG
Retaining and Enhancing Pre-trained Knowledge in Vision-Language Models with Prompt Ensembling
Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院);Nota Inc.(Nota公司)
针对 CLIP 融入领域知识时易丧失零样本能力的问题,提出 GPE 提示集成方法,通过掩码注意力分组、辅助提示和知识融合提升适应性、鲁棒性与迁移性能。
2024-12-10 cs.CV
DTGen: Generative Diffusion-Based Few-Shot Data Augmentation for Fine-Grained Dirty Tableware Recognition
本文提出DTGen,一种基于生成式扩散模型的少样本数据增强方案,通过LoRA、结构化提示和CLIP过滤合成高质量样本,显著提升细粒度脏餐具识别性能,并支持嵌入式洗碗机的轻量化部署。
2025-09-15 cs.AI cs.CV
Multi-Level Contrastive Learning for Few-Shot Problems
Louisiana State University(路易斯安那州立大学)
对比学习是一种区别性的方法,旨在将相似的样本分组为更接近的样本,而将不同的样本分组为彼此远离的样本。它是一种有效的技术来训练编码器生成可区分的和信息的表示,并且它甚至可以增加编码器的可传递性。针对当前对比学习的应用中,编码器最后一层的一种表示形式只能得到一种学习效果的问题,提出了一种多级对比学习方法,该方法利用编码器不同层的对比损失来学习编码器的多种表示形式。之后,可以构建集成以利用下游任务的多个表示。我们在少样本学习问题上评估了所提出的方法,并使用mini-ImageNet和分层ImageNet数据集进行了实验。我们的模型在两个数据集上都取得了最新的结果,与以前的常规,集成和基于对比学习(单级)的方法相比。
2021-07-15 cs.CV
Multi-modal Ensemble Classification for Generalized Zero Shot Learning
Australian Institute of Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学)
广义零样本学习(GSTOL)是由一个训练过程定义的,该训练过程包含一组来自可见类的视觉样本和一组来自可见类和不可见类的语义样本,而测试过程包括对来自可见类和不可见类的视觉样本进行分类。目前的方法是基于测试过程,只关注其中一种模式(视觉或语义),即使培训使用两种模式(主要是为了规范培训过程)。模态的这种利用不足,特别是在测试期间,可能会阻碍该方法的分类准确性。此外,我们注意到一个稀缺的注意力的学习方法的发展,明确优化的平衡性能的可见和不可见的类。这样的问题是GALML方法中所见类的分类精度非常高的原因之一。在本文中,我们通过提出一种基于多模式训练和测试过程的新GALML方法来缓解这些问题,其中优化显式地促进了可见和不可见类之间的平衡分类准确性。此外,我们探索贝叶斯推理的视觉和语义分类器,这是我们的工作中的另一个新颖的GREML框架。实验表明,我们的方法拥有最先进的(SOTA)的结果,在谐波平均(H均值)分类之间的可见和不可见的类和区域下的可见和不可见的曲线(AUSUC)在几个公共GALML基准。
2019-02-06 cs.CV
Rethinking Generative Zero-Shot Learning: An Ensemble Learning Perspective for Recognising Visual Patches
The University of Queensland(昆士兰大学);University of Electronic Science and Technology of China(电子科技大学)
零样本学习(Zero-shot learning,ZRL)通常用于解决细粒度图像分类和其他任务中预测不可见类的普遍问题。一种解决方案是从辅助语义信息(如自然语言描述)中学习生成模型产生的合成的不可见视觉样本。然而,对于大多数这些模型,性能受到不相关图像背景形式的噪声的影响。此外,大多数方法不向每个语义补丁分配计算的权重。然而,在现实世界中,特征的区分能力可以被量化并直接利用来提高准确性并降低计算复杂性。为了解决这些问题,我们提出了一个新的框架,称为多补丁生成对抗网络(MPGAN),合成本地补丁功能和标签看不见的类与一个新的加权投票策略。该过程开始于使用多个专家生成模型从一组预定义的局部补丁的噪声文本描述中生成有区别的视觉特征。然后使用从每个补丁合成的看不见的类的特征来构建不同的监督分类器的集合,每个监督分类器对应于一个局部补丁。投票策略对分类器输出的概率分布进行平均,并且考虑到一些补丁比其他补丁更具区分性,基于区分的注意力机制有助于相应地对每个补丁进行加权。大量的实验表明,MPGAN具有显着更高的准确性比国家的最先进的方法。
2020-08-07 cs.CV cs.MM
AgileNet: Lightweight Dictionary-based Few-shot Learning
UC San Diego(加州大学圣地亚哥分校);SDSU(圣地亚哥州立大学)
深度学习模型的成功与使用大量标记数据和过长的训练时间密切相关。随着使用这些模型的智能边缘应用的出现,关键的挑战是在资源受限的设备上获得相同的推理能力,同时提供适应性以应对数据的动态变化。我们提出了AgileNet,这是一种新的轻量级基于字典的少样本学习方法,它提供了降低复杂性的深度神经网络,用于在边缘高效执行,同时实现低成本更新以捕获新数据的动态。对最先进的少样本学习基准的评估表明,与现有技术相比,AgileNet具有更高的准确性。此外,AgileNet是第一个少样本学习方法,通过消除从主要训练中获得的知识来防止模型更新。通过我们新颖的端到端结构化分解学习的字典来确保此属性,这也降低了内存占用和计算复杂性,以匹配边缘设备约束。
2018-05-21 cs.AI cs.CV cs.LG
Beyond Sole Strength: Customized Ensembles for Generalized Vision-Language Models
National University of Singapore(新加坡国立大学);Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学)
本文首次探索利用较弱的视觉-语言模型通过定制化集成策略增强单一鲁棒模型的泛化能力,在零样本、base-to-new和跨数据集任务上实现了最先进性能。
2024-06-02 cs.CV
Videoprompter: an ensemble of foundational models for zero-shot video understanding
University of Central Florida(中佛罗里达大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Australian National University(澳大利亚国立大学);Linkoping University(林雪平大学)
提出Videoprompter框架,结合判别性VLMs与生成式模型,通过语言引导的视觉特征增强和视频特定提示生成类别树状层次结构,在多种零样本视频理解任务中实现一致性能提升。
2023-10-23 cs.CV
WinCLIP: Zero-/Few-Shot Anomaly Classification and Segmentation
AWS AI Labs(AWS人工智能实验室);KAIST(韩国科学技术院)
视觉异常分类和分割是工业质量检测自动化的关键。该领域先前研究的重点是为每个质量检查任务训练自定义模型,这需要特定于任务的图像和注释。在本文中,我们离开这个制度,解决zero-shot和少数正常的镜头异常分类和分割。最近CLIP,一个视觉语言模型,已经显示出革命性的通用性与竞争力的零/Few-Shot性能相比,全监督。但CLIP在异常分类和分割任务上存在不足。因此,我们提出了基于窗口的CLIP(WinCLIP)(1)状态词和提示模板上的组合集成,以及(2)与文本对齐的窗口/补丁/图像级特征的有效提取和聚合。我们还提出了它的几个正常的镜头扩展WinCLIP+,它使用正常图像的互补信息。在MVTec-AD(和VisA)中,无需进一步调优,WinCLIP在zero-shot异常分类和分割中实现了91.8%/85.1%(78.1%/79.6%)的AUROC,而WinCLIP+在1次正常拍摄中实现了93.1%/95.2%(83.8%/96.4%),大大超过了最先进的水平。
2023-03-26 cs.AI cs.CL cs.CV
A Stacking Ensemble Approach for Supervised Video Summarization
视频摘要方法通常分为镜头级和帧级两大类,这两类方法各自使用。本文研究了帧级和镜头级方法之间的互补性,并提出了一种堆栈集成方法用于监督视频摘要。首先,我们建立了一个堆叠模型来同时预测关键帧概率和时间兴趣段。然后通过软决策融合将这两个分量组合以获得视频中每帧的最终分数。提出了一种用于模型训练的联合损失函数。烧蚀实验结果表明,该方法优于相应的两个单独的方法。此外,在两个基准数据集上的大量实验结果表明,与最先进的方法相比,该方法具有优越的性能。
2022-07-04 cs.CV eess.IV
A Closer Look at Cross-Domain Few-Shot Object Detection: Fine-Tuning Matters and Parallel Decoder Helps
Intellindust AI Lab(Intellindust AI实验室);Suzhou Institute for Advanced Research, USTC(中国科学技术大学苏州高等研究院)
本文提出混合集成解码器提升微调泛化能力,结合统一渐进微调框架和plateau-aware学习率调度,验证了在CD-FSOD、ODinW-13和RF100-VL数据集上的有效性,尤其在10-shot设置中优于SAM3。
2026-03-30 cs.CV
Meta-hallucinator: Towards Few-Shot Cross-Modality Cardiac Image Segmentation
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
针对少样本跨模态心脏分割,提出变换一致的元幻觉框架,联合训练幻觉与分割模型并利用自集成,在MM-WHS 2017上显著优于现有方法。
2023-05-11 cs.AI cs.CV eess.IV
Invariant Training 2D-3D Joint Hard Samples for Few-Shot Point Cloud Recognition
Nanyang Technological University(南洋理工大学);The University of Sydney(悉尼大学);Singapore Management University(新加坡管理大学);Terminus Group(特斯联科技集团);Institute for Infocomm Research(资讯通信研究院)
提出InvJoint不变性训练策略,通过强化2D-3D联合难样本并寻求冲突预测间的不变性,提升少样本点云识别的跨模态集成性能。
2023-08-18 cs.CV