K9-Bench: Evaluating Multimodal LLMs on Canine-Centric Videos
Ogmen Robotics Inc.（Ogmen机器人公司）；Georgia Institute of Technology（佐治亚理工学院）
介绍K9-Bench基准，通过约5000个问答对测试多模态大语言模型对犬类动作和互动理解。提出数据生成管道创建数据集，发现前沿模型在犬类任务上零样本性能有限，还提供通用数据集构建管道。
2026-07-07 cs.AI cs.CV
Care about you: towards large-scale human-centric visual relationship detection
The University of Adelaide（阿德莱德大学）
视觉关系检测旨在捕捉图像中对象对之间的相互作用。对象和人之间的关系代表了这个问题的一个特别重要的子集，涉及到诸如理解人类行为和识别启示等挑战。为了解决这个问题，我们首先构建了一个大规模的以人为中心的视觉关系检测数据集（HCVRD），它提供了比以前发布的数据集更多类型的关系注释（近10K类别）。这个大的标签空间更好地反映了人与对象交互的现实，但会产生长尾分布问题，这反过来又需要一种zero-shot方法来处理只出现在测试集中的标签。这是第一次讨论这个问题。我们提出了一个网络监督的方法来解决这些问题，并证明了所提出的模型提供了一个强大的基线上我们的HCVRD数据集。
2017-05-28 cs.CV
Zero-Splat TeleAssist: A Zero-Shot Pose Estimation Framework for Semantic Teleoperation
Khoury College of Computer Sciences at Northeastern University（东北大学Khoury计算机科学学院）；Georgia Institute of Technology（佐治亚理工学院）
Zero-Splat TeleAssist通过整合视觉-语言分割、单目深度、加权PCA姿态提取和3DGS，实现无需标记或深度传感器的多机器人远程操作中的零样本姿态估计。
2025-12-09 cs.CV cs.LG cs.RO
SORNet: Spatial Object-Centric Representations for Sequential Manipulation
University of Washington（华盛顿大学）；NVIDIA（英伟达）
顺序操作任务要求机器人感知环境的状态，并计划导致期望的目标状态的动作序列。在这些任务中，从原始传感器输入中推理对象实体之间的空间关系的能力是至关重要的，以便确定任务何时完成以及可以执行哪些动作。在这项工作中，我们提出了SORNet（空间对象为中心的表示网络），一个框架，用于学习对象为中心的表示从RGB图像条件的一组对象查询，表示为图像补丁称为规范对象视图。由于每个对象只有一个规范视图，并且没有注释，SORNet将zero-shot推广到在训练期间形状和纹理都不可见的对象实体。我们评估SORNet在各种空间推理任务，如空间关系分类和相对方向回归在复杂的桌面操作场景，并显示SORNet显着优于基线，包括国家的最先进的表示学习技术。我们还演示了应用程序的表示学习SORNet上的视觉伺服和任务规划的顺序操作的一个真正的机器人。
2022-09-14 cs.CV cs.LG cs.RO
Does MAML Only Work via Feature Re-use? A Data Centric Perspective
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近的研究表明，一个好的嵌入是我们解决许多少样本学习基准测试所需要的。此外，其他工作强烈建议模型不可知元学习（MAML）也通过相同的方法工作-通过学习良好的嵌入。这些观察结果凸显了我们对元学习算法正在做什么以及它们何时工作缺乏了解。在这项工作中，我们提供了实证结果，阐明了元学习MAML表示的功能。特别是，我们确定了三个有趣的属性：1）与以前的工作相比，我们表明，有可能定义一个家庭的合成基准，导致低程度的特征重用-这表明，目前的少样本学习基准可能不具有元学习算法成功所需的属性; 2）当类（或概念）的数量有限时发生元过拟合，并且一旦任务具有无限数量的概念（例如，在线学习）; 3）在元测试时使用MAML进行更多的调整并不一定会导致显著的表示变化，甚至不会提高元测试性能-即使在我们提出的合成基准上进行训练。最后，我们建议，为了更好地理解元学习算法，我们必须超越仅跟踪绝对性能，此外，正式量化元学习的程度，并同时跟踪两个指标。在未来的工作中，以这种方式报告结果将有助于我们更准确地识别元过拟合的来源，并帮助我们设计更灵活的元学习算法，超越固定的特征重用。最后，我们推测重新思考元学习的核心挑战在于少样本学习数据集和基准测试的设计，而不是像以前的工作所建议的那样，在算法中。
2021-12-24 cs.AI cs.CV cs.LG
Infrared Domain Adaptation with Zero-Shot Quantization
Graduate School of Informatics, Middle East Technical University（中东技术大学信息学研究生院）
本文提出一种针对红外域目标检测模型的零样本量化框架，利用批量归一化统计数据蒸馏校准数据，在无训练数据条件下有效实现模型量化。
2024-08-25 cs.CV
Dynamic VAEs with Generative Replay for Continual Zero-shot Learning
Indian Institute of Science（印度科学研究院）
连续零样本学习（Continual zero-shot learning，CSCL）是一个新的领域，用于对模型在训练过程中没有看到的对象进行顺序分类。它比zero-shot和持续学习方法更适用于实际情况，即数据可能连续地只具有少数类的属性和其他类的属性和特征。持续学习（CL）遭受灾难性遗忘，并且由于在训练期间缺乏实际数据（或特征），零样本学习（ZNL）模型不能像最先进的监督分类器那样对对象进行分类。本文提出了一种新的连续零样本学习（DVGR-CQML）模型，该模型随着每个任务的大小而增长，并使用生成重放来更新先前学习的类以避免遗忘。我们证明了我们的混合模型（DVGR-CNOL）优于基线，并且在几个数据集上是有效的，即，CUB、AWA 1、AWA 2和aPY。我们表明，我们的方法是优越的任务顺序学习的零样本学习（Zero-Shot Learning）。我们还讨论了我们的结果对太阳数据集。
2021-04-26 cs.CV
Continual Learning Improves Zero-Shot Action Recognition
University of Nottingham（诺丁汉大学）；University of Bath（巴斯大学）；University of Edinburgh（爱丁堡大学）
本文提出基于持续学习的GIL方法，利用过去类别的合成特征记忆与新颖类别真实特征结合训练分类模型，提升了零样本动作识别在未见类别上的泛化能力，并在多个基准上达到新SOTA。
2024-10-14 cs.CV
Improving Audio Classification by Transitioning from Zero- to Few-Shot
BabbleLabs
针对零样本音频分类中类别文本描述难以最优确定的问题，本文提出按类别聚合并处理少样本音频嵌入以替代噪声文本嵌入，实验表明其通常优于零样本基线。
2025-07-26 cs.LG cs.SD
Improving Semantic Embedding Consistency by Metric Learning for Zero-Shot Classification
Normandie Univ, UNICAEN, ENSICAEN, CNRS（诺曼底大学，卡昂大学，卡昂国立高等工程师学校，国家科学研究中心）；ONERA - The French Aerospace Lab（法国国家航空航天研究院）
本文研究了zero-shot图像分类的问题。所提出的方法的关键贡献是控制图像的语义嵌入-零样本学习的主要成分之一-通过将其制定为度量学习问题。优化后的经验标准关联两种类型的子任务约束：度量区分能力和准确的属性预测。这导致了一种新的零样本学习的表达，在训练阶段不需要类的概念：只有对图像/属性，增强了一致性指标，作为地面真理。在测试时，学习的模型可以预测测试图像与给定属性集的一致性，从而允许以灵活的方式产生识别推断。尽管它的简单性，所提出的方法给出了国家的最先进的结果四个具有挑战性的数据集用于zero-shot识别评估。
2016-07-27 cs.AI cs.CV cs.LG
Object-Centric Cropping for Visual Few-Shot Classification
IMT Atlantique, UMR CNRS 6285, Lab-STICC, F-29238 Brest, France Schneider Electric, Grenoble, France \ \
针对少样本图像分类中多物体/复杂背景致性能下降的问题，提出引入物体局部定位信息的以物体为中心裁剪方法，用Segment Anything Model或无监督前景提取即可实现显著性能提升。
2025-07-31 cs.CV cs.LG
A Generalization Theory for Zero-Shot Prediction
University of Washington（华盛顿大学）
针对机器学习中零样本预测的泛化机制问题，提出理论框架，明确其目标学习量与支撑泛化的关键条件独立关系，深化对预训练基础模型零样本下游预测的理论理解。
2025-08-31 cs.LG stat.ML
mcBERT: Momentum Contrastive Learning with BERT for Zero-Shot Slot Filling
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
为了解决目标域可用数据有限的问题，Zero-shot孔填充受到了相当大的关注。零样本学习的一个重要因素是使模型学习广义和可靠的表示。为此，我们提出了mc BERT（代表与BERT的动量对比学习），以开发一个强大的零射击（zero-shot）插槽填充模型。mcBERT使用BERT来初始化两个编码器，即查询编码器和密钥编码器，并且通过应用动量对比学习来训练。我们在SNIPS基准测试上的实验结果表明，mcBERT大大优于以前的模型，记录了一个新的国家的最先进的。此外，我们还表明，组成mcBERT的每个组件有助于性能的提高。
2022-06-28 cs.AI cs.CL cs.LG
Learning Multi-level Weight-centric Features for Few-shot Learning
University of Sydney（悉尼大学）；Monash University（莫纳什大学）；University of Melbourne（墨尔本大学）；University of Technology Sydney（悉尼科技大学）
少样本学习目前正受到相当大的关注，这得益于深度学习的最新进展。基于权重生成方案的当代方法提供了一个简单而灵活的解决方案。然而，他们没有充分考虑特征学习中不可见类别的表示能力和权重生成能力，使其成为一个重要的性能瓶颈。本文提出了一种以权值为中心的多层次特征学习方法，以充分发挥特征提取器在少样本学习中的双重作用。我们提出的方法包括两个基本技术：一个以权重为中心的训练策略，以提高功能的原型能力和一个多层次的功能，结合了中间和关系级的信息。前者增加了基于少量样本构造判别性决策边界的可行性。同时，后者有助于提高表征新类的可移植性，并保留基类的分类能力。我们广泛评估我们的方法，低杆分类基准。实验表明，我们提出的方法显着优于其同行在标准和广义的设置，并使用不同的网络骨干。
2021-05-04 cs.CV cs.LG stat.ML
No Hard Negatives Required: Concept Centric Learning Leads to Compositionality without Degrading Zero-shot Capabilities of Contrastive Models
Samsung AI Center（三星人工智能中心）
本文提出了一种基于概念的学习方法，无需使用硬负样本即可在不损害对比模型零样本和检索能力的情况下实现组合性，通过简单的方法改进了文本和图像编码器的全局池化问题。
2026-05-19 cs.CV cs.LG
Object-Centric World Models from Few-Shot Annotations for Sample-Efficient Reinforcement Learning
University of Edinburgh（爱丁堡大学）；Beijing Institute of Technology（北京理工大学）
本文提出OC-STORM框架，通过面向对象表示提升MBRL在复杂视觉领域的样本效率，实验证明其在Atari和Hollow Knight中的优越性能。
2026-02-25 cs.CV cs.LG
DomainGallery: Few-shot Domain-driven Image Generation by Attribute-centric Finetuning
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
针对少样本域驱动图像生成中难以描述或未见域的问题，提出属性中心微调的DomainGallery方法，通过属性擦除、解耦、正则化与增强，在Stable Diffusion上实现优越性能。
2024-11-07 cs.CV
EM-Vid: Training-Free Entity-Centric Memory for Efficient and Consistent Multi-Shot Video Generation
Max Planck Institute for Informatics（马克斯·普朗克研究所）；Adobe Research（Adobe研究）
提出一种以实体为中心的潜在补丁记忆机制，通过稀疏令牌条件化和预算更新策略，实现多镜头视频生成中实体外观一致性与计算效率的平衡。
2026-05-22 cs.AI cs.CV
PersonaShot: Benchmarking Person-Centric Narrative Continuity in Multi-Shot Video Generation
Shanghai Jiao Tong University（上海交通大学）；Tencent Youtu Lab（腾讯优图实验室）；Zhejiang University（浙江大学）
该研究针对多镜头视频生成中角色叙事连续性评估的不足，推出PersonaShot基准，设计三类特定评估器，发现先进模型感知质量与跨镜头连续性存在差距，评估器与人类专家判断一致性强。
2026-08-18 cs.CV
LOC-ZSON: Language-driven Object-Centric Zero-Shot Object Retrieval and Navigation
Amazon Lab126（亚马逊Lab126）；University of Maryland（马里兰大学）
提出 LOC-ZSON 以对象为中心的 VLM 图像表示，并结合 LLM 增强与提示模板，在 Astro 机器人上实现仿真与真实环境零样本对象导航，显著提升检索召回率和导航成功率。
2024-05-08 cs.CV cs.RO
ShotCrop$^3$: Cropping Human-Centric Images into Cinematic Triple-Shot Compositions
Huawei Noah’s Ark Lab（华为诺亚实验室）；Sun Yat-sen University（中山大学）
提出三镜头构图任务，通过三阶段训练流程（思维链微调、半监督微调和组相对策略优化）从单张人物中心图像生成远景、中景和特写三张裁剪图，并附带简短描述，以支持视觉叙事。
2026-06-04 cs.CV cs.MM
SentZero: An Enhanced Sentence-Centric Vision-Language Pretraining for Multi-Task Zero-Shot Chest X-Ray Analysis
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
SentZero提出了一种增强的句子中心视觉-语言预训练框架，通过LLM抽象级句子结构、假阴性缓解损失和句子条件残差调制，显著提升了多任务零样本胸部X光分析的泛化性能。
2026-09-29 cs.AI cs.CV
ShotVL: Human-Centric Highlight Frame Retrieval via Language Queries
Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）
提出BestShot任务及基准，构建ShotVL模型（基于InternVL微调），通过语言查询定位以人为中心视频的精彩帧，在BestShot和THUMOS14上分别提升52%和57%。
2024-12-17 cs.CV
Human Pose Descriptions and Subject-Focused Attention for Improved Zero-Shot Transfer in Human-Centric Classification Tasks
University of Kaiserslautern-Landau（凯泽斯劳滕-兰道大学）；Deutsches Forschungszentrum für Künstliche Intelligenz（德国人工智能研究中心）；ETH Zürich（苏黎世联邦理工学院）；Technical University of Munich（慕尼黑工业大学）
本研究提出基于LLM的人体姿态描述生成流水线并构建MPII Pose Descriptions数据集，同时引入带主体聚焦注意力的FocusCLIP框架，在多类零样本以人为中心分类任务中显著优于基线CLIP模型。
2024-10-28 cs.CV
Fine-Grained Zero-Shot Learning with Attribute-Centric Representations
University of Southern Queensland（昆士兰大学）；The Hong Kong Polytechnic University（香港理工大学）；Zhejiang University（浙江大学）
本文提出了一种细粒度零样本学习框架，通过属性导向表示解决属性纠缠问题，采用混合专家机制提升分类性能。
2025-12-13 cs.CV
FUNCTO: Function-Centric One-Shot Imitation Learning for Tool Manipulation
Southern University of Science and Technology（南方科技大学）；National University of Singapore（新加坡国立大学）；Smart Systems Institute, National University of Singapore（新加坡国立大学智能系统研究院）
针对现有一次性模仿学习方法难以将工具操作技能泛化到同功能新工具的问题，提出以3D功能关键点建立功能对应关系的FUNCTO方法，经真实机器人实验验证其泛化性能更优。
2025-02-21 cs.CV cs.RO
Focus on Background: Exploring SAM's Potential in Few-shot Medical Image Segmentation with Background-centric Prompting
Nanjing University of Science and Technology（南京理工大学）；University of New South Wales（新南威尔士大学）；Data61 CSIRO
本文提出FoB，通过背景中心提示生成解决SAM在医学图像分割中的过度分割问题，实验表明其在少样本分割任务中表现优异，具有良好的跨领域泛化能力。
2026-03-22 cs.CV
Geometric-Guided Few-Shot Dental Landmark Detection with Human-Centric Foundation Model
Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology, Hong Kong SAR, China（电子与计算机工程系，香港科学与技术大学）；Division of Paediatric Dentistry and Orthodontics, Faculty of Dentistry, The University of Hong Kong, Hong Kong SAR, China（牙科学院儿童牙科与正畸学系，香港大学）
本文提出少样本牙科标志点检测框架GeoSapiens，通过适配以人为中心基础模型Sapiens并引入几何损失函数，在有限CBCT数据下实现优于现有方法8.18%的检测成功率。
2025-07-07 cs.AI cs.CV cs.LG
Illiterate DALL-E Learns to Compose
Rutgers University（罗格斯大学）；KAIST（韩国科学技术院）
虽然DALL-E在图像生成中表现出了令人印象深刻的基于组合的系统泛化能力，但它需要文本-图像对的数据集，并且组合性由文本提供。相比之下，以对象为中心的表示模型（如Slot Attention模型）在没有文本提示的情况下学习可组合表示。然而，与DALL-E不同，其系统地概括zero-shot生成的能力是非常有限的。在本文中，我们提出了一个简单但新颖的基于插槽的自动编码架构，称为SLATE，结合了两个世界的最好的：学习以对象为中心的表示，允许系统的泛化在没有文本的zero-shot图像生成。因此，该模型也可以被视为文盲DALL-E模型。与现有的以对象为中心的表示模型的像素混合解码器不同，我们建议使用图像GPT解码器条件的插槽捕捉槽和像素之间的复杂的相互作用。在实验中，我们表明，这种简单，易于实现的架构，不需要一个文本提示，实现了显着的改善，在分布和分布外（zero-shot）的图像生成和定性可比或更好的插槽注意力结构比基于混合解码器的模型。
2022-03-14 cs.CV cs.LG
Representation learning from videos in-the-wild: An object-centric approach
Google AI（谷歌人工智能）；Google Research（谷歌研究院）
我们提出了一种从未经策划的视频中学习图像表示的方法。我们结合了监督损失从现成的对象检测器和自我监督的损失，自然产生的视频拍摄帧对象层次存在于每个视频。我们报告了视觉任务适应基准（VTAB）的19个迁移学习任务和8个分布泛化任务的竞争结果，并讨论了所提出的方法的优点和缺点。特别是，它在所有18/19的少样本学习任务和8/8的分布外泛化任务上都比基线有所改善。最后，我们进行了几项消融研究，并分析了预先训练的对象检测器对这套任务性能的影响。
2021-02-09 cs.CV
Optimizing Latent Graph Representations of Surgical Scenes for Zero-Shot Domain Transfer
University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；West China Hospital of Sichuan University（四川大学华西医院）；IHU Strasbourg（斯特拉斯堡大学医院研究所）；Fondazione Policlinico Universitario A. Gemelli IRCCS（Gemelli IRCCS大学综合医院基金会）
针对手术视频跨医疗中心域偏移问题，本文基准评估以对象为中心的方法，并通过消融分析提出含新型解耦损失的 LG-DG，在安全关键视图评估零样本域泛化中较最佳基线提升 9.28%。
2024-03-11 cs.CV
Zero-Shot Subject-Centric Generation for Creative Application Using Entropy Fusion
Link-To；Macau University of Science and Technology（澳门科技大学）；Huazhong University of Science and Technology（华中科技大学）
针对文本到图像生成中主体混入无关元素的问题，提出基于熵加权融合 FLUX 交叉注意力特征的零样本主体中心生成框架，并结合 LLM 智能体优化提示与提取主元素。
2025-03-12 cs.AI cs.CV eess.IV
SORT3D: Spatial Object-centric Reasoning Toolbox for Zero-Shot 3D Grounding Using Large Language Models
Carnegie Mellon University, Robotics Institute（卡内基梅隆大学，机器人研究所）
提出SORT3D方法，结合2D对象属性与基于启发式的空间推理工具箱及大语言模型的顺序推理能力，无需3D训练数据即可在未见环境中实现零样本3D对象定位与导航。
2025-08-15 cs.AI cs.CV cs.RO
GLASS: Guided Latent Slot Diffusion for Object-Centric Learning
Department of Computer Science, TU Darmstadt（图宾根大学计算机科学系）
本文提出 GLASS 槽位注意力模型，通过生成图像空间学习及语义、实例引导提升对象表示，在真实场景对象发现与条件生成任务上显著优于现有方法。
2025-06-07 cs.CV cs.LG
Learning Generalized Zero-Shot Learners for Open-Domain Image Geolocalization
Stanford University（斯坦福大学）
图像地理定位是一项具有挑战性的任务，即预测给定照片的地理坐标。这是一个尚未解决的问题，依赖于将视觉线索与关于世界的一般知识相结合的能力，以跨地理做出准确的预测。我们提出了$\href{https://huggingface.co/geolocal/StreetCLIP}{\text{StreetCLIP}}$，一个强大的，公开可用的基础模型，不仅在多个开放域图像地理定位基准上实现了最先进的性能，而且在zero-shot设置中也做到了这一点，优于在超过400万张图像上训练的监督模型。我们的方法通过从合成字幕预训练CLIP，在选择的域中接地CLIP，为广义零样本学习引入了元学习方法。我们表明，我们的方法有效地将CLIP的广义zero-shot能力转移到图像地理定位领域，提高了域内广义zero-shot性能，而无需在固定的类集合上微调StreetCLIP。
2023-02-01 cs.CV cs.LG
Any Time, Any Space: A World-State-Centric Framework for Agentic Video Generation
Zhejiang University（浙江大学）；Monash University（蒙纳士大学）；BAIR, UC Berkeley（加州大学伯克利分校人工智能研究所）；Adelaide University（阿德莱德大学）
本研究提出以世界状态为核心的ATAS框架，用于提升长形式智能体视频生成的跨镜头一致性，在多项指标上优于现有方法，相关成果已公开。
2026-10-14 cs.CV
CineOrchestra: Unified Entity-Centric Conditioning for Cinematic Video Generation
Snap Inc.（Snap公司）；UC Merced（加州大学默塞德分校）
提出CineOrchestra，一种统一控制主体、事件、相机和镜头切换的视频扩散模型，通过实体中心条件原语和参数无关的旋转位置编码实现多轴联合控制，在密集描述跟随和镜头切换时序上超越六种专用方法。
2026-06-18 cs.AI cs.CV
Towards Reliable Zero Shot Classification in Self-Supervised Models with Conformal Prediction
Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）；Massachusetts Institute of Technology（麻省理工学院）
使用对比损失（如CLIP）训练的自监督模型在zero-shot分类设置中表现出非常强大的功能。然而，要用作zero-shot分类器，这些模型需要用户在测试时在一组固定的标签上提供新的字幕。在许多设置中，很难或不可能知道新的查询标题是否与用于训练模型的源标题兼容。我们通过将zero-shot分类任务作为离群值检测问题来解决这些限制，并开发了一个适形预测程序来评估何时可以可靠地使用给定的测试标题。在一个现实世界的医学例子中，我们表明，我们提出的共形过程提高了CLIP风格的模型在zero-shot分类设置的可靠性，我们提供了一个实证分析的因素，可能会影响其性能。
2022-10-27 cs.CV cs.LG
Performance Variability in Zero-Shot Classification
Universidad Nacional de Córdoba（科尔多瓦国立大学）；CONICET（阿根廷国家科学技术研究委员会）
Zero-shot Classification（ZSC）是学习训练过程中看不到的类的预测器的任务。虽然文献中的不同方法使用相同的类划分进行评估，但对它们在不同类划分下的稳定性知之甚少。在这项工作中，我们通过实验表明，ZSC性能在不断变化的训练设置下表现出很强的可变性。我们建议使用集成学习作为一种尝试，以减轻这种现象。
2021-03-01 cs.CV cs.LG
Seeing Beyond Classes: Zero-Shot Grounded Situation Recognition via Language Explainer
Zhejiang University（浙江大学）；Finvolution Group（Finvolution集团）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出基于语言解释器（LEX）的零样本接地情境识别方法，通过动词、接地和名词三个辅助解释器增强模型对动词/名词类别的理解，解决动词概念模糊、角色定位不准和名词预测缺乏上下文感知的问题，在SWiG数据集上验证了其有效性。
2024-04-24 cs.CV
Is an Object-Centric Video Representation Beneficial for Transfer?
University of Oxford（牛津大学）；DeepMind（深度思维）
这项工作的目标是学习以对象为中心的视频表示，目的是提高新任务的可转移性，即，任务不同于动作分类的预训练任务。为此，我们引入了一个新的以对象为中心的视频识别模型的基础上的Transformer架构。该模型为视频学习一组以对象为中心的摘要向量，并使用这些向量来融合视频剪辑的视觉和时空轨迹“模态”。我们还引入了一种新的轨迹对比度损失，以进一步增强这些摘要向量中的对象性。通过对四个数据集- SomethingSomething-V2，SomethingElse，Action Genome和EpicKitchen-的实验，我们表明以对象为中心的模型优于先前的视频表示（对象不可知和对象感知），当：（1）对看不见的对象和看不见的环境的动作进行分类;（2）新类的低拍摄学习;（3）对其他下游任务的线性探测;以及（4）用于标准动作分类。
2022-10-08 cs.CV
2nd Place Winning Solution for the CVPR2023 Visual Anomaly and Novelty Detection Challenge: Multimodal Prompting for Data-centric Anomaly Detection
Huazhong University of Science and Technology（华中科技大学）
针对 CVPR2023 VAND 挑战赛，提出 SAA$+$ 框架，利用多模态提示正则化基础模型，实现零样本异常分割，在 VisA 和 MVTec-AD 基准上达到最先进性能。
2023-09-05 cs.CV
A Unified approach for Conventional Zero-shot, Generalized Zero-shot and Few-shot Learning
零样本学习中流行的技术不能很好地推广到其他相关的问题场景。在这里，我们提出了一个统一的方法为传统的zero-shot，广义zero-shot和少样本学习问题。我们的方法是基于一个新的类自适应主方向（CAPD）的概念，允许多个嵌入到一个语义空间的图像特征。给定一个图像，我们的方法为每个可见类生成一个主方向。然后，它学习如何组合这些方向以获得每个未见过类的主方向，使得测试图像的CAPD与真实类的语义嵌入对齐，并且与其他类相反。这允许从可见类到不可见类的有效和类自适应信息传输。此外，我们提出了一个自动的过程中，选择最有用的看到的类为每个看不见的类，以实现鲁棒性零样本学习。我们的方法可以更新看不见的CAPD，利用很少的看不见的图像在少样本学习的情况下工作。此外，我们的方法可以通过估计可见-不可见的多样性来推广可见的CAPD，这显著提高了广义零样本学习的性能。我们的广泛的评估表明，所提出的方法一贯取得优异的性能在zero-shot，广义zero-shot和少数/一次性学习问题。
2017-10-26 cs.CV
Multi-Label Zero-Shot Learning with Transfer-Aware Label Embedding Projection
Temple University（天普大学）；Carleton University（卡尔顿大学）
零样本学习将知识从可见类转移到新的不可见类，以减少标记数据以构建新分类器的人工劳动。然而，关于零样本学习的许多努力都集中在标准的多类设置上，更具挑战性的多标签zero-shot问题受到了有限的关注。在本文中，我们提出了一个转移感知嵌入投影方法来解决多标签零样本学习。该方法将标签嵌入向量投影到低维空间中，以诱导更好的标签间关系，并显式地促进从可见标签到不可见标签的信息传输，同时使用投影的标签嵌入学习最大余量多标签分类器。辅助信息可以方便地被纳入，以指导标签嵌入投影，以进一步改善标签关系结构的zero-shot知识转移。我们进行了zero-shot多标签图像分类的实验。实验结果证明了该方法的有效性。
2018-08-07 cs.CV cs.LG stat.ML
Bootstrap Segmentation Foundation Model under Distribution Shift via Object-Centric Learning
School of Informatics, Xiamen University（厦门大学信息学院）；The University of Hong Kong（香港大学）
针对Segment Anything等基础模型在分布外数据上泛化能力不足的问题，提出SlotSAM方法，通过自监督构建以对象为中心的表征并融入模型，增强对象级感知，显著提升新环境下的泛化能力。
2024-08-29 cs.CV
Zero-Shot and Few-Shot Learning for Lung Cancer Multi-Label Classification using Vision Transformer
Harvard Medical School（哈佛医学院）
肺癌是全球癌症相关死亡的主要原因。肺腺癌（LUAD）和肺鳞状细胞癌（LUSC）是非小细胞肺癌（NSCLC）最常见的组织学亚型。组织学是肺癌诊断的重要工具。病理学家根据优势亚型进行分类。虽然形态学仍然是诊断的标准，但需要开发重要的工具来阐明诊断。在我们的研究中，我们利用预先训练的视觉Transformer（ViT）模型在Zero-Shot和Few-Shot设置下对组织切片（来自数据集LC 25000）上的多标记肺癌进行分类。然后我们比较了Zero-Shot和Few-Shot ViT在准确度、精确度、召回率、灵敏度和特异度方面的性能。我们的研究表明，预训练的ViT模型在Zero-Shot设置中具有良好的性能，在Few-Shot设置中具有竞争力的准确性（$99.87\%$）（{epoch = 1}），在Few-Shot设置中具有最佳结果（$100.00\%$）（{epoch = 5}）。
2022-05-31 cs.AI cs.CV cs.LG
Using Fictitious Class Representations to Boost Discriminative Zero-Shot Learners
Technion – Israel Institute of Technology（以色列理工学院）
专注于判别式零样本学习，在这项工作中，我们引入了一种新的机制，在训练过程中动态增加看到的类的集合，以产生额外的虚构类。这些虚构的类减少了模型在训练过程中对出现在训练集中但不会出现在新暴露的类中的属性相关性的关注。该模型在零样本学习框架的两个公式内进行测试，即广义零样本学习（GSTOL）和经典零样本学习（CSTOL）。我们的模型提高了CUB数据集的最新性能，并在其他常见数据集AWA2和SUN上达到了类似的结果。我们研究了我们的方法的优点和缺点，包括训练端到端zero-shot模型时灾难性遗忘的影响。
2021-11-26 cs.AI cs.CV cs.LG
AdSpark: A Large-Scale Dataset and Benchmark for Product-Centric Advertisement Video Generation
Peking University（北京大学）
针对产品中心广告视频生成缺乏大规模数据和评估框架的问题，提出AdSpark数据集与基准，含30万三元组和六维评估，验证了数据集有效性并揭示关键挑战。
2026-10-08 cs.CV
Probabilistic Zero-shot Classification with Semantic Rankings
The Ohio State University（俄亥俄州立大学）
在本文中，我们提出了一个非度量排名为基础的表示语义相似性，允许自然聚合的语义信息从多个异构源。我们将基于排名的表示应用于零样本学习问题，并提出了确定性和概率性的zero-shot分类器，可以从预先训练的分类器中构建，而无需重新训练。我们在两个大型的真实世界图像数据集上展示了它们的优势。特别是，我们表明，聚合不同来源的语义信息，包括众包，导致更准确的分类。
2015-02-27 cs.AI cs.CV cs.LG
Practical Aspects of Zero-Shot Learning
Warsaw University of Technology（华沙理工大学）；Systems Research Institute Polish Academy of Sciences（波兰科学院系统研究所）
零样本学习是机器学习研究的一个重要领域。当正确标记的训练数据集不可用时，应用该方法。许多zero-shot算法已经被提出并进行了实验。然而，他们似乎都不是“大赢家”。在这种情况下，有可能开发一个元分类器，它将结合各个分类器的“最佳方面”，并优于所有分类器。在这方面，这一贡献的目标是双重的。首先，针对标准基准数据集比较了多种最先进的零样本学习方法。其次，多个元分类器的建议和实验比较（对于相同的数据集）。
2022-03-29 cs.AI cs.CV cs.LG
Context-Aware Zero-Shot Recognition
TTI-Chicago（丰田工业大学芝加哥分校）；Vaitl Inc.（Vaitl公司）；Seoul National University（首尔国立大学）；ByteDance AI Lab（字节跳动人工智能实验室）
我们提出了一种新的问题设置在零样本学习，zero-shot对象识别和检测的上下文中。与传统的零样本学习方法相反，该方法通过从语义相似的可见类别的对象转移知识来简单地推断不可见类别，我们的目标是使用对象间关系先验来理解已知对象包围的图像中的新对象的身份。具体来说，我们利用视觉背景和几何关系的所有对对象在一个单一的图像，并捕捉有用的信息来推断看不见的类别。我们将我们的上下文感知零样本学习框架无缝地集成到传统的零样本学习技术中，使用条件随机场（CRF）。所提出的算法进行评估上的zero-shot区域分类和zero-shot检测任务。在Visual Genome（VG）数据集上的结果表明，与传统方法相比，我们的模型通过额外的视觉上下文显着提高了性能。
2019-04-24 cs.CV
A New Split for Evaluating True Zero-Shot Action Recognition
University of Edinburgh（爱丁堡大学）；Facebook AI Research（Facebook人工智能研究院）
Zero-shot动作识别是对训练集中不可用的动作类别进行分类的任务。在这种情况下，标准的评估协议是使用现有的动作识别数据集（例如UCF 101），并将类随机分为可见和不可见。然而，最近的工作建立在Kinetics数据集上预先训练的表示上，其中类与zero-shot评估数据集中的类在很大程度上重叠。因此，在监督预训练期间存在应该是不可见的类，从而使zero-shot设置的条件无效。几年前，对于基于图像的zero-shot识别，先前已经注意到类似的关注，但是尚未被zero-shot动作识别团体考虑。在本文中，我们提出了一个新的分裂真正的zero-shot动作识别与看不见的测试类和训练或预训练类之间没有重叠。我们基准最近的几种方法上提出的真正的零杆（TruZe）分裂UCF 101和HMDB 51，与zero-shot和广义zero-shot评价。在我们广泛的分析中，我们发现我们的TruZesplits比类似的随机分裂要难得多，因为没有任何东西从预训练中泄露出来，即看不见的性能一直较低，对于zero-shot动作识别高达8.9%。在另外的评估中，我们还发现在Few-Shot动作识别中使用的分割中存在类似的问题，在这里我们看到高达17.1%的差异。我们发表了我们的分裂1，并希望我们的基准分析将改变该领域如何评估零镜头和Few-Shot动作识别向前发展。
2021-09-13 cs.CV
Detecting Children with Autism Spectrum Disorder based on Script-Centric Behavior Understanding with Emotional Enhancement
School of Computer Science, Wuhan University（武汉大学计算机学院）；Digital Innovation Research Center, Duke Kunshan University（杜克昆山大学数字创新研究中心）；School of Electronics and Information Technology, Sun Yat-sen University（中山大学电子与信息学院）；Child Development and Behavior Center, Third Affiliated Hospital of Sun Yat-sen University（中山大学第三附属医院儿童发展与行为中心）
本文提出一种基于以脚本为中心并辅以情感增强的行为理解的零样本ASD检测框架，通过多模态转录与提示工程注入临床知识，在两岁儿童诊断中达95.24%的F1分数并提供可解释依据。
2025-04-29 cs.AI cs.CV
ConZIC: Controllable Zero-shot Image Captioning by Sampling-Based Polishing
Xidian University（西安电子科技大学）
Zero-shot能力被认为是深度学习的一场新革命，它让机器在没有精心策划的训练数据的情况下完成任务。作为zero-shot图像描述（IC）的一个良好开端和唯一现有成果，ZeroCap放弃了监督训练，并使用大规模预训练模型的知识顺序搜索标题中的每个单词。虽然有效，它的自回归生成和梯度定向搜索机制限制了字幕的多样性和推理速度。此外，ZeroCap没有考虑zero-shot IC的可控性问题。为了向前推进，我们提出了一个框架，可控Zero-shot IC，命名为ConZIC。ConZIC的核心是一种新的基于采样的非自回归语言模型GibbsBERT，它可以生成并不断地打磨每个单词。大量的定量和定性结果表明，我们提出的ConZIC的优越性能的zero-shot集成电路和可控zero-shot IC。特别是，ConZIC的生成速度比ZeroCap快约5倍，多样性得分高约1.5倍，在不同的控制信号下都能准确生成。
2023-03-09 cs.CV
