Few-shot Diagnosis of Chest x-rays Using an Ensemble of Random Discriminative Subspaces
Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校)
针对医学影像标注稀缺问题,提出一种基于随机判别子空间集成的少样本胸部X光诊断方法,通过新颖损失函数提升子空间判别性,计算效率高,在公开数据集上取得良好效果。
2023-08-31 cs.CV
Balanced Few-Shot Episodic Learning for Accurate Retinal Disease Diagnosis
Northeastern University-Silicon Valley(东北大学-硅谷);Indian Institute of Information Technology, Ranchi(印度拉奇信息科技学院)
本文提出一种平衡少样本事件学习框架,通过平衡采样和CLAHE增强预处理,提升视网膜疾病诊断的准确性和公平性。
2025-12-04 cs.AI cs.CV
Momentum Contrastive Learning for Few-Shot COVID-19 Diagnosis from Chest CT Images
University of New South Wales(新南威尔士大学);Inception Institute of Artificial Intelligence(Inception人工智能研究院);Stanford University(斯坦福大学)
由二零一九年十二月爆发的新型冠状病毒(COVID-19)引起的当前大流行导致全球紧急情况,对全球经济、医疗保健系统和个人福祉造成重大影响。控制这种快速发展的疾病需要高度敏感和特异性的诊断。虽然实时RT-PCR是最常用的方法,但这些方法可能需要长达8小时,并且需要医疗保健专业人员的大量努力。因此,迫切需要一种快速和自动的诊断系统。从胸部CT图像诊断是一个很有前途的方向。然而,目前的研究受到缺乏足够的训练样本的限制,因为获取注释的CT图像是耗时的。为此,我们提出了一种新的深度学习算法,用于COVID-19的自动诊断,该算法只需要少量样本进行训练。具体来说,我们使用对比学习来训练编码器,该编码器可以捕获大型和公开可用的肺数据集上的表达特征表示,并采用原型网络进行分类。我们验证了所提出的模型与其他竞争方法相比,在两个公开的和注释的COVID-19 CT数据集的有效性。我们的结果证明了我们的模型在基于胸部CT图像的COVID-19准确诊断方面的优越性能。
2020-06-16 cs.CV cs.LG eess.IV
Zero-Shot Learning and its Applications from Autonomous Vehicles to COVID-19 Diagnosis: A Review
The University of Leeds(利兹大学);Qazvin Azad University(加兹温伊斯兰阿扎德大学)
在没有预先接收任何示例的情况下学习新概念、对象或新医学疾病识别的挑战被称为零样本学习(Zero-Shot Learning,简称ZRL)。基于深度学习的方法(例如医学成像和其他现实世界应用)中的主要问题之一是需要由临床医生或专家准备的大型注释数据集来训练模型。众所周知,通过仅依赖于先前已知或训练的概念加上当前存在的辅助信息,CAML具有最小的人为干预。这使得CPDL适用于许多现实世界的场景,从自动驾驶汽车中的未知目标检测到医学成像和不可预见的疾病,例如基于COVID-19胸部X射线(CXR)的诊断。我们介绍了一种新的和扩大的解决方案,称为少/单次学习,并提出了作为少样本学习的一个极端情况下的学习问题的定义。我们回顾了零样本学习的基本原理和具有挑战性的步骤,包括最先进的解决方案类别,以及我们推荐的解决方案,每种方法背后的动机,它们相对于每种类别的优势,以指导临床医生和人工智能研究人员根据其应用程序继续使用最佳技术和实践。然后,我们通过不同的数据集,包括医学和非医学图像,各种分裂,以及到目前为止提出的评估协议进行审查。最后,我们讨论了最近的应用和未来的发展方向。我们的目标是通过本文传达一种有用的直觉,以实现处理更类似于人类学习方式的复杂学习任务的目标。我们主要关注当前现代但具有挑战性的时代的两个应用:应对COVID-19病例的早期和快速诊断,并鼓励读者使用EML开发其他类似的基于AI的…
2020-11-29 cs.CV cs.LG stat.ML
Few-shot Learning for CT Scan based COVID-19 Diagnosis
Korea University(高丽大学);Drexel University(德雷塞尔大学)
2019年冠状病毒病(COVID-19)是国际关注的突发公共卫生事件,感染了188个国家和地区的4000多万人。胸部计算机断层扫描(CT)成像技术因其高诊断准确性和鲁棒性,已成为COVID-19大规模检测不可或缺的方式。最近,深度学习方法已成为自动筛选医学图像的有效工具,也被考虑用于COVID-19诊断。然而,与COVID-19相关的高感染风险导致所收集的标记数据的相对稀疏,限制了此类方法的性能。此外,准确标记CT图像需要放射科医生的专业知识,使得该过程昂贵且耗时。为了解决上述问题,我们提出了一种基于监督域自适应的COVID-19 CT诊断方法,该方法可以在只有少量标记CT扫描样本可用时有效执行。为了补偿标记数据的稀疏性,所提出的方法利用了大量的合成COVID-19 CT图像,并通过跨域训练机制将网络从源域(合成数据)调整到目标域(真实数据)。实验结果表明,该方法在基于Few-Shot COVID-19 CT成像的诊断任务上实现了最先进的性能。
2021-02-01 cs.CV cs.LG eess.IV
One-Vote Veto: Semi-Supervised Learning for Low-Shot Glaucoma Diagnosis
Tongji University(同济大学);University of California San Diego(加州大学圣地亚哥分校)
针对医学图像标注数据稀缺的问题,提出多任务Siamese网络实现小样本青光眼诊断,并设计One-Vote Veto自训练半监督策略提升准确率,在多数据集上验证了有效性与泛化性。
2023-08-21 cs.AI cs.CV cs.LG
Expert-Guided Explainable Few-Shot Learning for Medical Image Diagnosis
AI Research Lab, Department of Computer Science, University of South Dakota, Vermillion, SD 57069, USA(人工智能研究实验室,计算机科学系,南达科他大学,弗米利恩,SD 57069,美国)
针对医学图像少样本学习中性能与可解释性难以兼顾的问题,提出融合放射科医生ROI和Grad-CAM的专家引导框架,通过Dice解释损失联合优化原型网络,在BraTS和VinDr-CXR上分别将准确率提升至83.61%和73.29%。
2025-09-11 cs.AI cs.CV eess.IV
Meta-Transfer Derm-Diagnosis: Exploring Few-Shot Learning and Transfer Learning for Skin Disease Classification in Long-Tail Distribution
针对罕见皮肤病标注数据不足、样本长尾分布等问题,对比三种少样本学习策略,发现结合批次级数据增强的传统迁移学习方法在多个皮肤病基准数据集上取得最优或极具竞争力的结果。
2025-10-01 cs.CV cs.LG
Rethinking Plant Disease Diagnosis: Bridging the Academic-Practical Gap with Vision Transformers and Zero-Shot Learning
Department of Computer Science, Mohamed El Bachir El Ibrahimi University(计算机科学系,莫亨德·埃巴希里·埃布拉希米大学);Laboratory of Physical Chemistry and Biological Materials(物理化学与生物材料实验室);Laboratory of Informatics and its Applications of M’sila, Mohamed Boudiaf University(信息学及其应用实验室,莫赫梅德·布迪亚夫大学);Department of Computer Science, Mohamed Boudiaf University(计算机科学系,莫赫梅德·布迪亚夫大学);Department of agricultural science, Mohamed El Bachir El Ibrahimi University(农业科学系,莫亨德·埃巴希里·埃布拉希米大学);Laboratoire d’Amélioration et de Développement de la Production Végétale et Animale (LADPVA), University of Ferhat ABBAS (UFAS-Sétif1)(植物和动物生产改良与发展实验室(LADPVA),费哈特·阿巴斯大学(UFAS-Sétif1))
本文通过视觉变换器和零样本学习方法,解决植物疾病诊断中学术数据与实际应用之间的差距问题。
2025-11-24 cs.AI cs.CV
Interpretable Few-Shot Retinal Disease Diagnosis with Concept-Guided Prompting of Vision-Language Models
Monash University(莫纳什大学);Centre for Eye Research Australia(澳大利亚眼科研究中心);Royal Victorian Eye and Ear Hospital(皇家维多利亚眼耳医院);The University of Melbourne(墨尔本大学);The Hong Kong Polytechnic University(香港理工大学);Centre for Eye and Vision Research(眼与视觉研究中心);Indian Institute of Technology Bombay(印度理工学院孟买分校);Airdoc-Monash Research Lab(Airdoc-莫纳什研究实验室)
本文提出一种基于GPT知识库提取可解释概念并融入提示学习训练视觉-语言模型的方法,显著提升了视网膜疾病的少样本与零样本分类性能,同时增强了模型的可解释性。
2025-03-04 cs.AI cs.CV eess.IV
Bridged Semantic Alignment for Zero-shot 3D Medical Image Diagnosis
University of Science and Technology of China(中国科学技术大学);Suzhou Institute for Advanced Research(苏州先进研究所);Stanford University(斯坦福大学);iFlytek Co. Ltd.(iFlytek公司);The First Affiliated Hospital of USTC, Division of Life Sciences and Medicine, USTC(中国科学技术大学第一附属医院)
针对现有视觉-语言对齐方法在零样本3D医学图像诊断中视觉与文本嵌入存在鸿沟的问题,提出桥接语义对齐(BrgSA)框架,通过语义总结和跨模态知识交互缩小差距,在相关数据集上取得最先进性能。
2025-11-11 cs.CV
PULSE: A Unified Multi-Task Architecture for Cardiac Segmentation, Diagnosis, and Few-Shot Cross-Modality Clinical Adaptation
King Fahd University of Petroleum;Institute for Medical Engineering \& Science, Massachusetts Institute of Technology, US;Harvard Medical School, Harvard University, US;KFUPM–SDAIA Joint Research Centre for Artificial Intelligence, Saudi Arabia
PULSE是一种统一多任务框架,通过自监督表示和综合监督策略,实现心脏分割、诊断和跨模态临床适应的统一处理。
2025-12-03 cs.AI cs.CV
SCCL-DT: Semantic-Conflict-Aware Contrastive Learning with Dual-Rule Teacher Distillation for Zero-Shot Chest X-Ray Diagnosis
Suzhou Institute for Advanced Research, University of Science and Technology of China(中国科学技术大学苏州研究院)
针对零样本胸部X射线诊断中对比学习的语义冲突问题,提出SCCL-DT模型,通过双规则教师蒸馏优化,在五个公开胸部X射线基准上取得平均零样本AUC 0.850的性能,优于最强基线。
2026-10-16 cs.CV
Multimodal Generalized Zero Shot Learning for Gleason Grading using Self-Supervised Learning
Inception Institute of Artificial Intelligence(起源人工智能研究院)
组织病理学图像的Gleason分级对于准确的前列腺癌(PCa)诊断至关重要。由于这种图像是在侵入性组织切除术后获得的,因此在现有范例下快速诊断是具有挑战性的。我们提出了一种方法来预测格里森等级的磁共振(MR)图像,这是非介入性的,易于获取。我们在广义零样本学习(GSTML)设置中解决了这个问题,因为我们可能无法访问每个疾病等级的训练图像。合成MRI特征向量的不可见的等级(类),通过利用格里森等级的有序性质,通过条件变分自编码器(CVAE)结合自监督学习。使用循环GANs生成相应的组织病理学特征,并结合MR特征来预测测试图像的Gleason等级。实验结果表明,我们的方法优于竞争的特征生成方法的GALML,并接近完全监督的方法的性能。
2021-11-15 cs.CV cs.LG eess.IV
Label-Efficient Chest X-ray Diagnosis via Partial CLIP Adaptation
本文提出一种标签高效的胸部X射线诊断策略,通过对预训练CLIP视觉编码器进行部分微调,在NIH Chest X-ray14数据集上利用少样本学习有效提升了平均AUC得分,模拟了真实医院标注稀疏场景。
2025-07-09 cs.CV eess.IV
Few-shot Metric Domain Adaptation: Practical Learning Strategies for an Automated Plant Disease Diagnosis
Hosei University(法政大学)
本文提出少样本度量域自适应(FMDA)方法,通过最小化源域与目标域特征空间距离,在仅用目标域每类病害10张图像的情况下,显著提升植物病害自动诊断的跨域鲁棒性,F1分数最高提升29.3个百分点,并优于微调方法。
2024-12-25 cs.CV cs.LG
Using Fictitious Class Representations to Boost Discriminative Zero-Shot Learners
Technion – Israel Institute of Technology(以色列理工学院)
专注于判别式零样本学习,在这项工作中,我们引入了一种新的机制,在训练过程中动态增加看到的类的集合,以产生额外的虚构类。这些虚构的类减少了模型在训练过程中对出现在训练集中但不会出现在新暴露的类中的属性相关性的关注。该模型在零样本学习框架的两个公式内进行测试,即广义零样本学习(GSTOL)和经典零样本学习(CSTOL)。我们的模型提高了CUB数据集的最新性能,并在其他常见数据集AWA2和SUN上达到了类似的结果。我们研究了我们的方法的优点和缺点,包括训练端到端zero-shot模型时灾难性遗忘的影响。
2021-11-26 cs.AI cs.CV cs.LG
Toward Robust Canine Cardiac Diagnosis: Deep Prototype Alignment Network-Based Few-Shot Segmentation in Veterinary Medicine
Chungbuk National University(忠北国立大学);Korea University(高丽大学)
本文提出DPANet小样本分割方法,用于犬类胸部X光片中心脏与左心房增大分割,并在2way-1shot和2way-5shot设置下取得最优IoU。
2024-03-11 cs.CV
MedPromptX: Grounded Multimodal Prompting for Chest X-ray Diagnosis
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Carleton University(卡尔顿大学)
针对胸部X光诊断中EHR不完整的问题,MedPromptX整合多模态大语言模型、少样本提示和视觉定位,补充缺失EHR信息并优化少样本数据,发布新数据集,F1分数较基线提升11%。
2025-01-27 cs.AI cs.CV
Probabilistic Zero-shot Classification with Semantic Rankings
The Ohio State University(俄亥俄州立大学)
在本文中,我们提出了一个非度量排名为基础的表示语义相似性,允许自然聚合的语义信息从多个异构源。我们将基于排名的表示应用于零样本学习问题,并提出了确定性和概率性的zero-shot分类器,可以从预先训练的分类器中构建,而无需重新训练。我们在两个大型的真实世界图像数据集上展示了它们的优势。特别是,我们表明,聚合不同来源的语义信息,包括众包,导致更准确的分类。
2015-02-27 cs.AI cs.CV cs.LG
Does Bigger Mean Better? Comparitive Analysis of CNNs and Biomedical Vision Language Modles in Medical Diagnosis
University of Texas at Dallas(德克萨斯大学达拉斯分校);Independent Researcher(独立研究者);Duke University(杜克大学);University of Michigan Ann Arbor(密歇根大学安娜堡分校);Georgia Institute of Technology(佐治亚理工学院);University of California, Irvine(加州大学 Irvine 分校)
本文对比轻量级有监督CNN与零样本医学VLM BiomedCLIP在胸片肺炎、结核病检测任务上的表现,发现经决策阈值校准后,零样本BiomedCLIP性能可追平甚至超过有监督CNN基线。
2025-11-16 cs.AI cs.CV
Practical Aspects of Zero-Shot Learning
Warsaw University of Technology(华沙理工大学);Systems Research Institute Polish Academy of Sciences(波兰科学院系统研究所)
零样本学习是机器学习研究的一个重要领域。当正确标记的训练数据集不可用时,应用该方法。许多zero-shot算法已经被提出并进行了实验。然而,他们似乎都不是“大赢家”。在这种情况下,有可能开发一个元分类器,它将结合各个分类器的“最佳方面”,并优于所有分类器。在这方面,这一贡献的目标是双重的。首先,针对标准基准数据集比较了多种最先进的零样本学习方法。其次,多个元分类器的建议和实验比较(对于相同的数据集)。
2022-03-29 cs.AI cs.CV cs.LG
VL-Taboo: An Analysis of Attribute-based Zero-shot Capabilities of Vision-Language Models
Goethe University Frankfurt(法兰克福歌德大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
视觉语言模型在大量随机收集的数据上进行训练,自出现以来在许多领域产生了重大影响。但是,尽管它们在图像-文本检索等各个领域都表现出了出色的性能,但它们的内部工作原理仍然没有得到充分的理解。目前的工作分析这些模型的真正zero-shot能力。我们从分析训练语料库开始,评估测试类在多大程度上(以及哪些)是真正的zero-shot,以及这与各个类的表现如何相关。我们随后分析了这些模型的基于属性的零样本学习能力,评估了这种经典的zero-shot概念在大规模网络监督中的表现。我们利用最近发布的LAION 400 M数据语料库以及CLIP、OpenCLIP和FLAVA的公开预训练模型,在CUB和AWA 2基准测试中评估基于属性的zero-shot能力。我们的分析表明:(i)流行的zero-shot基准测试中的大多数类在预训练期间被观察到(很多);(ii)zero-shot性能主要来自于模型识别类标签的能力,无论它们何时出现在文本中,并且仅在不使用类标签时观察到基于属性的zero-shot学习的性能显著较低;(iii)所使用的属性的数量可以对性能具有显著影响,并且可以容易地导致显著的性能降低。
2022-09-12 cs.AI cs.CL cs.CV
The Solution for the 5th GCAIAC Zero-shot Referring Expression Comprehension Challenge
Nanjing University of Science and Technology(南京理工大学)
针对零样本指代表达理解任务,结合视觉提示组合与文本提示影响,采用适配数据特征的联合预测方法,在第五届GCAIAC挑战赛A、B榜分别取得84.825、71.460的准确率,获得第一名。
2024-07-06 cs.CL cs.CV cs.LG
AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Shenzhen Loop Area Institute, Shenzhen, China(深圳市环域研究所)
本文提出AGFT框架,通过概率预测进行文本引导对抗训练,提升视觉-语言模型的零样本对抗鲁棒性,同时保持跨模态语义结构。
2026-03-31 cs.AI cs.CV cs.LG
ProtoCAM: Interpretable Few-Shot Mask-Guided Prototypical Learning for Breast Lesion Classification in Ultrasound Imaging
Digital Technologies Research Centre(数字技术研究中心);National Research Council Canada(加拿大国家研究委员会)
本文提出ProtoCAM,一种结合掩码引导特征编码、原型度量学习和梯度可视化的可解释少样本框架,在BUSI数据集上以3-way 5-shot取得宏F1 0.910,实现数据稀缺下可靠的乳腺超声病变分类。
2026-09-15 cs.AI cs.CV
Alleviating the Incompatibility between Cross Entropy Loss and Episode Training for Few-shot Skin Disease Classification
University of Rochester(罗切斯特大学);Nanjing University(南京大学)
皮肤病图像分类是皮肤病诊断的关键。然而,识别皮肤病变涉及大小、颜色、形状和纹理等多个方面。更糟糕的是,许多类别只包含很少的样本,这对传统的机器学习算法甚至人类专家都构成了巨大的挑战。受最近Few-Shot Learning(FSL)在自然图像分类中的成功启发,我们提出将FSL应用于皮肤病识别,以解决训练样本极度稀缺的问题。然而,直接将FSL应用于此任务在实践中效果不佳,我们发现这个问题在很大程度上可以归因于FSL中常用的交叉熵(CE)和情节训练之间的不兼容性。基于详细的分析,我们提出了查询相关(QR)损失,这证明优于CE下的情节训练,并密切相关,最近提出的互信息估计。此外,我们进一步加强提出的QR损失与一种新的自适应硬余量策略。实验结果验证了FSL算法的有效性,以及利用少量标记样本诊断罕见皮肤病的可能性。
2020-04-21 cs.CV cs.LG eess.IV
ZSCRGAN: A GAN-based Expectation Maximization Model for Zero-Shot Retrieval of Images from Textual Descriptions
Department of CSE, IIT Kharagpur, India(印度理工学院卡格普尔分校计算机科学与工程系);Department of ECE, Duke University, USA(美国杜克大学电子与计算机工程系);Department of CSA, IISER Kolkata, India(印度科学教育与研究学院加尔各答分校计算机科学与应用系)
用于跨模态信息检索的大多数现有算法基于监督训练测试设置,其中模型学习对齐查询的模式(例如,文本)到文档的模式(例如,图像)。这样的设置假设训练集包含所有可能的查询类别的详尽表示。实际上,检索模型可能需要部署在以前看不见的类上,这意味着zero-shot IR设置。在本文中,我们提出了一种新的基于GAN的zero-shot文本到图像检索模型。当给定文本描述作为查询时,我们的模型可以在zero-shot设置中检索相关图像。该模型使用期望最大化框架进行训练。多个基准数据集上的实验表明,我们提出的模型舒适地优于几个国家的最先进的zero-shot文本到图像检索模型,以及zero-shot分类和哈希模型适用于检索。
2020-09-23 cs.CL cs.CV cs.IR
A Unified approach for Conventional Zero-shot, Generalized Zero-shot and Few-shot Learning
零样本学习中流行的技术不能很好地推广到其他相关的问题场景。在这里,我们提出了一个统一的方法为传统的zero-shot,广义zero-shot和少样本学习问题。我们的方法是基于一个新的类自适应主方向(CAPD)的概念,允许多个嵌入到一个语义空间的图像特征。给定一个图像,我们的方法为每个可见类生成一个主方向。然后,它学习如何组合这些方向以获得每个未见过类的主方向,使得测试图像的CAPD与真实类的语义嵌入对齐,并且与其他类相反。这允许从可见类到不可见类的有效和类自适应信息传输。此外,我们提出了一个自动的过程中,选择最有用的看到的类为每个看不见的类,以实现鲁棒性零样本学习。我们的方法可以更新看不见的CAPD,利用很少的看不见的图像在少样本学习的情况下工作。此外,我们的方法可以通过估计可见-不可见的多样性来推广可见的CAPD,这显著提高了广义零样本学习的性能。我们的广泛的评估表明,所提出的方法一贯取得优异的性能在zero-shot,广义zero-shot和少数/一次性学习问题。
2017-10-26 cs.CV
Multi-Label Zero-Shot Learning with Transfer-Aware Label Embedding Projection
Temple University(天普大学);Carleton University(卡尔顿大学)
零样本学习将知识从可见类转移到新的不可见类,以减少标记数据以构建新分类器的人工劳动。然而,关于零样本学习的许多努力都集中在标准的多类设置上,更具挑战性的多标签zero-shot问题受到了有限的关注。在本文中,我们提出了一个转移感知嵌入投影方法来解决多标签零样本学习。该方法将标签嵌入向量投影到低维空间中,以诱导更好的标签间关系,并显式地促进从可见标签到不可见标签的信息传输,同时使用投影的标签嵌入学习最大余量多标签分类器。辅助信息可以方便地被纳入,以指导标签嵌入投影,以进一步改善标签关系结构的zero-shot知识转移。我们进行了zero-shot多标签图像分类的实验。实验结果证明了该方法的有效性。
2018-08-07 cs.CV cs.LG stat.ML
Learning Generalized Zero-Shot Learners for Open-Domain Image Geolocalization
Stanford University(斯坦福大学)
图像地理定位是一项具有挑战性的任务,即预测给定照片的地理坐标。这是一个尚未解决的问题,依赖于将视觉线索与关于世界的一般知识相结合的能力,以跨地理做出准确的预测。我们提出了$\href{https://huggingface.co/geolocal/StreetCLIP}{\text{StreetCLIP}}$,一个强大的,公开可用的基础模型,不仅在多个开放域图像地理定位基准上实现了最先进的性能,而且在zero-shot设置中也做到了这一点,优于在超过400万张图像上训练的监督模型。我们的方法通过从合成字幕预训练CLIP,在选择的域中接地CLIP,为广义零样本学习引入了元学习方法。我们表明,我们的方法有效地将CLIP的广义zero-shot能力转移到图像地理定位领域,提高了域内广义zero-shot性能,而无需在固定的类集合上微调StreetCLIP。
2023-02-01 cs.CV cs.LG
VLA-GAUGE: Systematically Evaluating Generalization and Robustness in Vision-Language-Action Models
Software College, Northeastern University(东北大学软件学院);School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学与工程学院);Shanghai Syslong Information Technology Co., Ltd.(上海赛龙信息技术有限公司)
本研究提出VLA-GAUGE诊断框架,评估12个不同VLA模型,发现其零样本泛化与组合扰动鲁棒性不足,诊断驱动微调可显著提升模型对应性能。
2026-10-14 cs.AI cs.CV cs.RO
Zero-Shot Anticipation for Instructional Activities
University of Bonn(波恩大学);National University of Singapore(新加坡国立大学)
我们如何教机器人预测它从未见过的活动接下来会发生什么?我们解决这个问题的zero-shot预期提出了一个层次模型,概括了教学知识,从大规模的文本语料库和知识转移到视觉域。给定教学视频的一部分,我们的模型预测未来多个步骤的连贯和合理的行动,所有这些都是用丰富的自然语言。为了展示我们模型的预测能力,我们引入了Tasty Videos数据集,这是一个包含2511个用于零样本学习、识别和预测的配方的集合。
2019-10-20 cs.CV cs.LG
Towards Reliable Zero Shot Classification in Self-Supervised Models with Conformal Prediction
Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院);Massachusetts Institute of Technology(麻省理工学院)
使用对比损失(如CLIP)训练的自监督模型在zero-shot分类设置中表现出非常强大的功能。然而,要用作zero-shot分类器,这些模型需要用户在测试时在一组固定的标签上提供新的字幕。在许多设置中,很难或不可能知道新的查询标题是否与用于训练模型的源标题兼容。我们通过将zero-shot分类任务作为离群值检测问题来解决这些限制,并开发了一个适形预测程序来评估何时可以可靠地使用给定的测试标题。在一个现实世界的医学例子中,我们表明,我们提出的共形过程提高了CLIP风格的模型在zero-shot分类设置的可靠性,我们提供了一个实证分析的因素,可能会影响其性能。
2022-10-27 cs.CV cs.LG
Improving Semantic Embedding Consistency by Metric Learning for Zero-Shot Classification
Normandie Univ, UNICAEN, ENSICAEN, CNRS(诺曼底大学,卡昂大学,卡昂国立高等工程师学校,国家科学研究中心);ONERA - The French Aerospace Lab(法国国家航空航天研究院)
本文研究了zero-shot图像分类的问题。所提出的方法的关键贡献是控制图像的语义嵌入-零样本学习的主要成分之一-通过将其制定为度量学习问题。优化后的经验标准关联两种类型的子任务约束:度量区分能力和准确的属性预测。这导致了一种新的零样本学习的表达,在训练阶段不需要类的概念:只有对图像/属性,增强了一致性指标,作为地面真理。在测试时,学习的模型可以预测测试图像与给定属性集的一致性,从而允许以灵活的方式产生识别推断。尽管它的简单性,所提出的方法给出了国家的最先进的结果四个具有挑战性的数据集用于zero-shot识别评估。
2016-07-27 cs.AI cs.CV cs.LG
Zero-Shot Activity Recognition with Verb Attribute Induction
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
在本文中,我们研究了大规模的zero-shot活动识别建模的视觉和语言属性的动作动词。例如,动词“敬礼”有几个属性,如作为一个轻的运动,一个社会行为,并在持续时间短。我们使用这些属性作为视觉和文本表示之间的内部映射,以推理以前看不见的动作。与许多先前的工作,假设访问黄金标准属性的zero-shot类,并主要集中在对象属性,我们的模型唯一学习推断动作属性的字典定义和分布式单词表示。实验结果证实,从语言推断的动作属性可以提供一个预测信号,以前看不见的活动的zero-shot预测。
2017-09-02 cs.CL cs.CV
Performance Variability in Zero-Shot Classification
Universidad Nacional de Córdoba(科尔多瓦国立大学);CONICET(阿根廷国家科学技术研究委员会)
Zero-shot Classification(ZSC)是学习训练过程中看不到的类的预测器的任务。虽然文献中的不同方法使用相同的类划分进行评估,但对它们在不同类划分下的稳定性知之甚少。在这项工作中,我们通过实验表明,ZSC性能在不断变化的训练设置下表现出很强的可变性。我们建议使用集成学习作为一种尝试,以减轻这种现象。
2021-03-01 cs.CV cs.LG
CLAREL: Classification via retrieval loss for zero-shot learning
Element AI
我们解决的问题,学习细粒度的跨模态表示。我们提出了一种基于实例的深度度量学习方法,在联合视觉和文本空间。本文的主要新颖之处在于,它表明,使用每图像语义监督导致zero-shot性能的实质性改善,而不是使用仅类监督。最重要的是,我们为度量重新缩放方法提供了概率证明,该方法解决了广义零样本学习设置中非常常见的问题,即,将来自不可见类别的测试图像分类为在训练期间可见的类别之一。我们在两个细粒度的零样本学习数据集:CUB和FLOWERS上评估了我们的方法。我们发现,在广义zero-shot分类任务CLAREL始终优于现有的方法在这两个数据集。
2020-04-05 cs.CV cs.LG stat.ML
Context-Aware Zero-Shot Recognition
TTI-Chicago(丰田工业大学芝加哥分校);Vaitl Inc.(Vaitl公司);Seoul National University(首尔国立大学);ByteDance AI Lab(字节跳动人工智能实验室)
我们提出了一种新的问题设置在零样本学习,zero-shot对象识别和检测的上下文中。与传统的零样本学习方法相反,该方法通过从语义相似的可见类别的对象转移知识来简单地推断不可见类别,我们的目标是使用对象间关系先验来理解已知对象包围的图像中的新对象的身份。具体来说,我们利用视觉背景和几何关系的所有对对象在一个单一的图像,并捕捉有用的信息来推断看不见的类别。我们将我们的上下文感知零样本学习框架无缝地集成到传统的零样本学习技术中,使用条件随机场(CRF)。所提出的算法进行评估上的zero-shot区域分类和zero-shot检测任务。在Visual Genome(VG)数据集上的结果表明,与传统方法相比,我们的模型通过额外的视觉上下文显着提高了性能。
2019-04-24 cs.CV
A New Split for Evaluating True Zero-Shot Action Recognition
University of Edinburgh(爱丁堡大学);Facebook AI Research(Facebook人工智能研究院)
Zero-shot动作识别是对训练集中不可用的动作类别进行分类的任务。在这种情况下,标准的评估协议是使用现有的动作识别数据集(例如UCF 101),并将类随机分为可见和不可见。然而,最近的工作建立在Kinetics数据集上预先训练的表示上,其中类与zero-shot评估数据集中的类在很大程度上重叠。因此,在监督预训练期间存在应该是不可见的类,从而使zero-shot设置的条件无效。几年前,对于基于图像的zero-shot识别,先前已经注意到类似的关注,但是尚未被zero-shot动作识别团体考虑。在本文中,我们提出了一个新的分裂真正的zero-shot动作识别与看不见的测试类和训练或预训练类之间没有重叠。我们基准最近的几种方法上提出的真正的零杆(TruZe)分裂UCF 101和HMDB 51,与zero-shot和广义zero-shot评价。在我们广泛的分析中,我们发现我们的TruZesplits比类似的随机分裂要难得多,因为没有任何东西从预训练中泄露出来,即看不见的性能一直较低,对于zero-shot动作识别高达8.9%。在另外的评估中,我们还发现在Few-Shot动作识别中使用的分割中存在类似的问题,在这里我们看到高达17.1%的差异。我们发表了我们的分裂1,并希望我们的基准分析将改变该领域如何评估零镜头和Few-Shot动作识别向前发展。
2021-09-13 cs.CV
ConZIC: Controllable Zero-shot Image Captioning by Sampling-Based Polishing
Xidian University(西安电子科技大学)
Zero-shot能力被认为是深度学习的一场新革命,它让机器在没有精心策划的训练数据的情况下完成任务。作为zero-shot图像描述(IC)的一个良好开端和唯一现有成果,ZeroCap放弃了监督训练,并使用大规模预训练模型的知识顺序搜索标题中的每个单词。虽然有效,它的自回归生成和梯度定向搜索机制限制了字幕的多样性和推理速度。此外,ZeroCap没有考虑zero-shot IC的可控性问题。为了向前推进,我们提出了一个框架,可控Zero-shot IC,命名为ConZIC。ConZIC的核心是一种新的基于采样的非自回归语言模型GibbsBERT,它可以生成并不断地打磨每个单词。大量的定量和定性结果表明,我们提出的ConZIC的优越性能的zero-shot集成电路和可控zero-shot IC。特别是,ConZIC的生成速度比ZeroCap快约5倍,多样性得分高约1.5倍,在不同的控制信号下都能准确生成。
2023-03-09 cs.CV
TARN: Temporal Attentive Relation Network for Few-Shot and Zero-Shot Action Recognition
Queen Mary University of London(伦敦玛丽女王大学)
本文提出了一种新型的时间注意力关系网络(TARN)来解决少镜头(Few-Shot)和零镜头(zero-shot)动作识别问题。我们网络的核心是一种元学习方法,它学习比较可变时间长度的表示,即不同长度的两个视频(在Few-Shot动作识别的情况下)或视频和语义表示(如单词向量)(在zero-shot动作识别的情况下)。通过对比其他作品中的Few-Shot和zero-shot动作识别,我们a)利用注意力机制,以便执行时间对齐,和b)学习的深距离测量对齐表示在视频段级别。我们采用基于场景的培训计划,并以端到端的方式对我们的网络进行训练。所提出的方法不需要在目标域中进行任何微调,也不需要像记忆网络那样维护额外的表示。实验结果表明,该框架在Few-Shot动作识别方面优于现有技术,在zero-shot动作识别方面也取得了较好的效果。
2019-07-21 cs.CV
Exploiting Spatial Structure for Transductive Few-Shot Classification of Whole-Slide Images
Université Catholique de Louvain(鲁汶天主教大学)
针对全切片图像分类,提出SlideTIM方法,结合空间-潜在正则化与类别分布先验,在四个组织学数据集上显著提升直推式少样本分类性能。
2026-09-28 cs.CV
Alternative Semantic Representations for Zero-Shot Human Action Recognition
The University of Manchester(曼彻斯特大学)
正确的语义表示是零样本学习成功的关键。在本文中,我们探讨了两种替代的语义表示,特别是zero-shot人类动作识别:人类动作的文本描述和从静态图像中提取的与人类动作相关的深度特征。这些辅助信息可以在Web上以很小的代价获取,为大规模zero-shot人体动作识别提供了一条新的辅助信息获取途径。我们研究不同的编码方法来生成语义表示人类的行动,从这样的边信息。基于我们的zero-shot视觉识别方法,我们对UCF 101和HMDB 51进行了实验,以评估两个提出的语义表示。结果表明,我们提出的基于文本和图像的语义表示优于传统的属性和词向量大大zero-shot人类动作识别。特别地,基于图像的语义表示产生有利的性能,即使表示是从每类的少量图像中提取的。
2017-06-28 cs.CV cs.IR cs.LG
APRIL-GAN: A Zero-/Few-Shot Anomaly Classification and Segmentation Method for CVPR 2023 VAND Workshop Challenge Tracks 1&2: 1st Place on Zero-shot AD and 4th Place on Few-shot AD
Zhejiang University(浙江大学);Tencent(腾讯)
本方法基于CLIP模型并添加线性层映射图像特征至联合嵌入空间,利用记忆库存储参考特征,在VAND 2023挑战赛中零样本赛道获第一名(分割F1提升0.0489),少样本赛道获第四名(分类F1为0.8687)。
2023-10-11 cs.CV
MAKE: Multi-Aspect Knowledge-Enhanced Vision-Language Pretraining for Zero-shot Dermatological Assessment
Faculty of Engineering, Monash University, Melbourne, Australia(墨尔本大学工程学院);AIM for Health Lab, Monash University, Victoria, Australia(墨尔本大学健康人工智能实验室)
提出MAKE框架,利用多方面知识分解、细粒度对齐和诊断引导加权改进皮肤科VLP,并在八个零样本基准上超越现有模型。
2025-05-14 cs.CV
PEVA-Net: Prompt-Enhanced View Aggregation Network for Zero/Few-Shot Multi-View 3D Shape Recognition
Institute for Infocomm Research, A*STAR(新加坡科研局信息通信研究院)
本文提出PEVA-Net,利用CLIP和提示增强视图聚合,同时解决零样本与少样本多视图三维形状识别,并通过零样本描述符引导的自蒸馏提升少样本学习效果。
2024-04-30 cs.CV
Zero-Shot Task Transfer
Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校)
在这项工作中,我们提出了一种新的Meta学习算法,即TTNet,回归模型参数的新任务,没有地面真理是可用的(zero-shot任务)。为了适应新的zero-shot任务,我们的元学习器从已知任务的模型参数(具有地面真实值)和已知任务与zero-shot任务的相关性中学习。这种直觉在认知科学中找到了立足点,在认知科学中,主体(人类婴儿)可以通过将其与旧概念(手部运动或自我运动)相关联来适应新概念(深度理解),而无需接受明确的监督。我们在Taskonomy数据集上评估了我们的模型,其中有四个任务为zero-shot:表面法线,房间布局,深度和相机姿态估计。这些任务是基于数据采集复杂性和与使用深度网络的学习过程相关联的复杂性来选择的。我们提出的方法在我们的每个zero-shot任务上的表现优于最先进的模型(使用地面实况),显示了对zero-shot任务传输的承诺。我们还进行了大量的实验,研究我们的方法的各种选择,以及如何提出的方法也可以用于迁移学习。据我们所知,这是第一次在任务空间中进行零样本学习。
2019-03-04 cs.CV
Weakly Supervised Concept Learning with Class-Level Priors for Interpretable Medical Diagnosis
School of Computing Technologies(计算技术学院);RMIT University(皇家墨尔本理工大学);School of Engineering(工程学院)
本文提出了一种弱监督框架PCP,通过类级先验和正则化机制提升医疗诊断中的概念预测性能,实现比零样本基线更高的F1分数和与全监督模型相当的分类效果。
2026-03-04 cs.CV
PatchProto Networks for Few-shot Visual Anomaly Classification
Zhejiang University(浙江大学)
针对工业异常分类中异常样本稀缺的少样本学习问题,提出仅提取缺陷区域CNN特征作为原型的PatchProto网络,在MVTec-AD数据集上较基础分类器显著提升分类准确率。
2023-10-07 cs.CV
Zero-Splat TeleAssist: A Zero-Shot Pose Estimation Framework for Semantic Teleoperation
Khoury College of Computer Sciences at Northeastern University(东北大学Khoury计算机科学学院);Georgia Institute of Technology(佐治亚理工学院)
Zero-Splat TeleAssist通过整合视觉-语言分割、单目深度、加权PCA姿态提取和3DGS,实现无需标记或深度传感器的多机器人远程操作中的零样本姿态估计。
2025-12-09 cs.CV cs.LG cs.RO
Infrared Domain Adaptation with Zero-Shot Quantization
Graduate School of Informatics, Middle East Technical University(中东技术大学信息学研究生院)
本文提出一种针对红外域目标检测模型的零样本量化框架,利用批量归一化统计数据蒸馏校准数据,在无训练数据条件下有效实现模型量化。
2024-08-25 cs.CV
Visually Analyzing and Steering Zero Shot Learning
Vanderbilt University(范德堡大学)
我们提出了一个可视化的分析系统,以帮助用户分析和引导零样本学习模型。零样本学习已经成为一种可行的方案,用于对不包含标记示例的数据进行分类,因此是一种有前途的方法,可以最大限度地减少人类的数据注释。然而,理解零样本学习在哪里失败、这种失败的原因以及用户如何修改模型以防止这种失败是具有挑战性的。我们的可视化系统旨在帮助用户诊断和理解此类模型中的错误预测,以便他们在应用于与训练期间未看到的类别相关的数据时可以深入了解模型的行为。通过使用场景,我们强调了我们的系统如何帮助用户提高零样本学习的性能。
2020-09-11 cs.CV cs.HC
Context-aware Feature Generation for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University(上海交通大学)
现有的语义分割模型严重依赖于密集的逐像素注释。为了减少标注的压力,我们专注于一个具有挑战性的任务命名为zero-shot语义分割,其目的是分割看不见的零注释对象。这个任务可以通过语义词嵌入跨类别传递知识来完成。在本文中,我们提出了一种新的上下文感知的zero-shot分割称为CaGNet的特征生成方法。特别是,观察到一个像素级的功能高度依赖于其上下文信息,我们插入一个上下文模块在分割网络捕捉像素级的上下文信息,这指导了从语义词嵌入生成更多样化和上下文感知功能的过程。我们的方法在三个基准数据集上实现了最先进的结果,用于zero-shot分割。代码可在https://github.com/bcmi/CaGNet-Zero-Shot-Semantic-Segmentation上获得。
2020-08-16 cs.CV