DeFine: Decision-Making with Analogical Reasoning over Factor Profiles
University of Central Florida(中央佛罗里达大学);Tencent AI Lab, Seattle(腾讯AI实验室(西雅图));University of Rochester(罗切斯特大学);Emory University(埃默里大学)
本文提出模块化框架 DeFine,通过从复杂场景构建概率化因素画像并结合类比推理,将不确定性量化与 LLM 决策过程解耦,以提升 LLM 在咨询和财务审议等不确定场景下的决策能力。
2025-07-17 cs.AI cs.CL
Learn by Reasoning: Analogical Weight Generation for Few-Shot Class-Incremental Learning
State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(人机混合增强智能国家重点实验室,人工智能与机器人研究院,西安交通大学);Faculty of Microelectronics, Shenzhen University of Advanced Technology(微电子学院,深圳先进技术大学);College of Software Engineering, Xi’an Jiaotong University(软件工程学院,西安交通大学)
本文提出了一种受人类大脑启发的类比生成方法,通过类比学习机制在少样本类增量学习中提升模型性能。
2026-02-23 cs.AI cs.CV
AR-VRM: Imitating Human Motions for Visual Robot Manipulation with Analogical Reasoning
Wangxuan Institute of Computer Technology, Peking University(北京大学计算机技术研究院);State Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能国家重点实验室)
针对视觉机器人操作中多模态数据不足的问题,本文提出AR-VRM方法,通过显式模仿人类手部关键点动作并学习人机类比推理映射,在少样本场景下大幅提升了泛化与操作性能。
2025-08-11 cs.CV cs.RO
Analogy-Forming Transformers for Few-Shot 3D Parsing
Carnegie Mellon University(卡内基梅隆大学)
本文提出类比网络,通过从记忆中检索相关三维场景并利用端到端调制机制进行类比推理,统一处理单样本、少样本和多样本三维解析,在少样本设置下优于现有方法,并可通过扩展记忆分割新类别而无需更新权重。
2023-05-30 cs.AI cs.CV cs.LG
Can Large Reasoning Models do Analogical Reasoning under Perceptual Uncertainty?
IBM Research - Zurich(IBM瑞士研究实验室);ETH Zürich(苏黎世联邦理工学院)
本文首次评估 o3-mini 和 DeepSeek R1 在感知不确定性下的类比推理能力,发现两者在 I-RAVEN-X 上准确率大幅下降,而神经符号模型 ARLC 保持稳健,揭示纯 LRM 在分布外符号推理中的脆弱性。
2025-06-04 cs.AI cs.LG
Evaluating the Robustness of Analogical Reasoning in Large Language Models
University of Amsterdam(阿姆斯特丹大学);Santa Fe Institute(圣塔菲研究所)
本文通过字母串、数字矩阵和故事类比三类变体任务,评估LLMs类比推理的鲁棒性,发现GPT模型在多数变体上表现脆弱,缺乏人类零样本类比推理的鲁棒性,强调评估AI认知能力需同时关注准确性与鲁棒性。
2024-11-21 cs.AI cs.CL cs.LG
Analogical Reasoning as a Doctor: A Foundation Model for Gastrointestinal Endoscopy Diagnosis
本文提出RATNet基础模型,通过类比推理提升胃肠内镜诊断的泛化能力与鲁棒性,在六个场景中超越现有模型,支持联邦学习隐私保护部署。
2026-04-07 cs.AI cs.CV
Im-Promptu: In-Context Composition from Image Prompts
Princeton University(普林斯顿大学);University of California Berkeley(加州大学伯克利分校)
本研究提出名为Im-Promptu的元学习框架,探讨类比推理在视觉刺激上下文组合中的作用,通过测试不同组合程度的智能体,揭示外推能力与组合程度间的权衡,并展示其在图像生成中的应用。
2023-10-23 cs.AI cs.CV
Brain-inspired analogical mixture prototypes for few-shot class-incremental learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences(中国科学院香港创新研究院)
针对少样本类增量学习中的灾难性遗忘和过拟合,提出脑启发类比混合原型(BAMP),结合混合原型特征学习、统计类比和软投票,在基准数据集上超越现有方法。
2025-02-26 cs.CV cs.LG eess.IV
AIR: Zero-shot Generative Model Adaptation with Iterative Refinement
Singapore University of Technology and Design (SUTD)(新加坡科技设计大学)
该研究针对零样本生成模型适配中CLIP嵌入空间图文偏移不对齐导致生成质量下降的问题,实证发现偏移不对齐与概念距离正相关,提出迭代优化适配方法AIR,在26组实验中取得SOTA性能。
2025-06-12 cs.AI cs.CV
Probabilistic Prototype Calibration of Vision-Language Models for Generalized Few-shot Semantic Segmentation
University of Amsterdam(阿姆斯特丹大学);Singapore Management University(新加坡管理大学);The Netherlands Cancer Institute(荷兰癌症研究院)
针对广义少样本语义分割中确定性原型对新类适应性差的问题,提出FewCLIP概率原型校准框架,利用可学习视觉原型精炼冻结文本原型并引入分布正则化,有效缓解过拟合并显著提升泛化性能。
2025-06-28 cs.CV
Probabilistic Language-Image Pre-Training
NAVER AI Lab(NAVER AI实验室)
针对现有视觉-语言模型依赖确定性嵌入、简化图文多对多关系的问题,提出仅用概率目标预训练的ProLIP,通过无额外参数的不确定性token和包含损失实现高效不确定性估计,提升零/少样本性能与下游任务效果。
2025-10-05 cs.CV cs.LG
ProCAP: Probabilistic Cross-Attentive Prompt Learning for Vision-Language Models
University of Kurdistan(库尔德斯坦大学);The University of Queensland(昆士兰大学)
提出ProCAP,一种概率交叉注意力提示学习框架,通过双向交叉注意力连接视觉与文本提示令牌,并用高斯参数化及KL/L2正则化减少过拟合,在不更新CLIP权重下提升少样本泛化与迁移性能。
2026-09-28 cs.CV
AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Shenzhen Loop Area Institute, Shenzhen, China(深圳市环域研究所)
本文提出AGFT框架,通过概率预测进行文本引导对抗训练,提升视觉-语言模型的零样本对抗鲁棒性,同时保持跨模态语义结构。
2026-03-31 cs.AI cs.CV cs.LG
Revisiting the Role of Language Priors in Vision-Language Models
CMU(卡内基梅隆大学);Meta
该研究探究生成式视觉-语言模型的零样本图文检索性能,提出VisualGPTScore匹配分数,发现语言偏致部分基准性能偏差,给出无需微调的概率去偏后处理方案,提升了零样本基线性能。
2024-05-15 cs.AI cs.CL cs.CV
The Future of MLLM Prompting is Adaptive: A Comprehensive Experimental Evaluation of Prompt Engineering Methods for Robust Multimodal Performance
University College Dublin(都柏林大学);CeADAR: Ireland’s Centre for AI(爱尔兰人工智能与数据中心(CeADAR))
针对MLLMs提示工程优化问题,本文综合评估7种提示方法在13个开源MLLMs的24项任务上的表现,发现无单一最优方法,提出结合示例引导与选择性结构化推理的自适应策略可提升鲁棒性与准确性。
2025-04-14 cs.AI cs.CL cs.ET
KV Cache Steering for Controlling Frozen LLMs
VIS Lab, University of Amsterdam(阿姆斯特丹大学VIS实验室);FunAI Lab, University of Technology Nuremberg(纽伦堡技术大学FunAI实验室);CSAIL, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室)
我们提出缓存引导,一种对键值缓存施加一次性干预的轻量方法,可诱导小模型进行思维链推理,无需微调或改提示,并在推理基准上提升性能,支持推理风格可控迁移。
2025-09-26 cs.AI cs.CL
Few-Shot Learning of Visual Compositional Concepts through Probabilistic Schema Induction
University of California, Los Angeles(加州大学洛杉矶分校);Microsoft Research(微软研究院);Air Force Research Laboratory(空军研究实验室)
提出概率模式归纳(PSI)模型,利用深度学习在少量结构化视觉示例上进行类比映射,形成组合概念,并证明其类人少样本学习优势。
2025-05-14 cs.CV
Language-Aware Information Maximization for Transductive Few-Shot CLIP
École de Technologie Supérieure (ÉTS)(École de Technologie Supérieure);Université Catholique de Louvain (UCLouvain)(Université Catholique de Louvain);Université de Mons (UMons)(Université de Mons)
针对直推式少样本学习在视觉语言模型中研究不足的问题,提出整合三项损失的LIMO方法,结合参数高效微调策略,大幅提升了直推式少样本CLIP的性能。
2026-11-10 cs.CV
A Comparative Study on How Data Normalization Affects Zero-Shot Generalization in Time Series Foundation Models
Siemens AG(西门子股份公司);Ludwig Maximilian University of Munich(慕尼黑大学)
本研究比较了数据标准化对时间序列基础模型零样本泛化能力的影响,发现REVIN方法在效率和准确性之间实现了最佳权衡。
2026-01-29 cs.AI cs.LG
From Haystack to Needle: Label Space Reduction for Zero-shot Classification
IDLab, Ghent University - imec(IDLab,根特大学 - imec)
本文提出标签空间缩减方法,通过迭代排序和缩减候选类别来优化大语言模型零样本分类的标签空间,并利用蒸馏降低计算开销,在多个基准上显著提升宏观 F1 分数。
2025-11-05 cs.AI cs.CL cs.LG
Probabilistic Zero-shot Classification with Semantic Rankings
The Ohio State University(俄亥俄州立大学)
在本文中,我们提出了一个非度量排名为基础的表示语义相似性,允许自然聚合的语义信息从多个异构源。我们将基于排名的表示应用于零样本学习问题,并提出了确定性和概率性的zero-shot分类器,可以从预先训练的分类器中构建,而无需重新训练。我们在两个大型的真实世界图像数据集上展示了它们的优势。特别是,我们表明,聚合不同来源的语义信息,包括众包,导致更准确的分类。
2015-02-27 cs.AI cs.CV cs.LG
Probabilistic AND-OR Attribute Grouping for Zero-Shot Learning
Google AI(谷歌人工智能)
在零样本学习(Zero-shot learning,ZRL)中,训练分类器在没有任何图像样本的情况下识别视觉类。相反,它被赋予了关于类的语义信息,比如文本描述或一组属性。从属性中学习可以从显式建模属性空间的结构中受益。不幸的是,从经验样本中学习一般结构对于典型的数据集大小是困难的。在这里,我们描述LAGO,概率模型,旨在捕捉自然的软与或属性组之间的关系。我们展示了如何通过深度属性检测模型来端到端地学习这个模型。软组结构可以作为模型的一部分从数据中共同学习,并且还可以容易地结合关于组的先验知识(如果可用的话)。软与或结构成功地捕获了有意义的和预测的结构,提高了零样本学习在三个基准测试中的两个上的准确性。最后,LAGO揭示了两种不同方法的统一公式:DAP(Lampert et al.,2009)和ESSENL(Romera-Paredes & Torr,2015)。有趣的是,每个属性只取一个单例组,引入了一个新的DAP软松弛,比DAP高出约40。
2018-07-07 cs.AI cs.CV cs.LG
GVDepth: Zero-Shot Monocular Depth Estimation for Ground Vehicles based on Probabilistic Cue Fusion
University of Zagreb Faculty of Electrical Engineering and Computing(Zagreb大学电子工程与计算学院)
针对地面车辆单目深度估计泛化难的问题,提出规范表示解耦相机参数,并设计概率融合架构结合尺寸与位置线索,在五个自动驾驶数据集上实现零样本准确度量深度估计。
2025-09-25 cs.AI cs.CV cs.RO
One-Shot Image-to-Image Translation via Part-Global Learning with a Multi-adversarial Framework
Ocean University of China(中国海洋大学);University of Electronic Science and Technology of China(电子科技大学)
众所周知,人类可以从几个有限的图像样本中有效地学习和识别对象。然而,仅从少数图像中学习对于现有主流深度神经网络来说仍然是一个巨大的挑战。受人类思维中类比推理的启发,一种可行的策略是将丰富的源域中的丰富图像翻译为丰富相关但不同的目标域,而图像数据不足。为了实现这一目标,我们提出了一种新的,有效的多对抗框架(MA)的基础上部分全局学习,它完成了一次性跨域图像到图像的翻译。具体而言,我们首先设计了一个部分全局对抗训练方案,为特征提取提供了一种有效的方法,并防止鉴别器被过度拟合。然后,采用多对抗机制来增强图像到图像的翻译能力,以挖掘高层次的语义表示。提出了一种平衡对抗损失函数,以平衡训练数据,稳定训练过程。大量的实验表明,该方法可以在两个极端不平衡的图像域之间的各种数据集上获得令人印象深刻的结果,并且在单次图像到图像的翻译上优于最先进的方法。
2019-05-12 cs.CV cs.LG
MaskDiff: Modeling Mask Distribution with Diffusion Probabilistic Model for Few-Shot Instance Segmentation
University of Science, VNU-HCM(胡志明市国家大学科学大学);Vietnam National University, Ho Chi Minh City(胡志明市国家大学);Stony Brook University(石溪大学);University of Dayton(代顿大学);Monash University(莫纳什大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出 MaskDiff,用扩散概率模型建模少样本实例分割中二值掩码的条件分布,并引入无分类器引导采样融合类别信息,在 COCO 基类和新类上稳定超越现有方法。
2024-01-21 cs.CV
PMCE: Probabilistic Multi-Granularity Semantics with Caption-Guided Enhancement for Few-Shot Learning
Jiangsu Ocean University(江苏海洋大学);Waseda University(早稻田大学);Tongji University(同济大学);The Hong Kong Polytechnic University(香港理工大学)
PMCE通过多粒度语义和描述引导增强,提升少样本学习中原型的泛化能力,实现7.71%的绝对提升。
2026-01-20 cs.CV
Modeling the Probabilistic Distribution of Unlabeled Data forOne-shot Medical Image Segmentation
Baidu Research(百度研究院);University of Technology Sydney(悉尼科技大学)
现有的图像分割网络主要利用大规模标记数据集来获得高精度。然而,标记医学图像是非常昂贵的,因为它需要复杂的专业知识。因此,在追求高分割性能时,更希望仅使用少量标记数据。在本文中,我们开发了一种数据增强方法,用于单次脑磁共振成像(MRI)图像分割,它只利用一个标记的MRI图像(命名为图集)和一些未标记的图像。特别是,我们建议通过3D变分自编码器(VAE)来学习不同未标记MRI图像相对于图谱的变形(包括形状和强度)的概率分布。通过这种方式,我们的方法能够利用学习到的图像变形分布来生成新的真实的大脑MRI图像,并且生成的样本的数量将足以训练深度分割网络。此外,我们引入了一个新的标准分割基准,通过交叉数据集设置(从不同来源收集)来评估分割网络的泛化性能。大量的实验表明,我们的方法优于国家的最先进的一次性医疗分割方法。我们的代码已在https://github.com/dyh127/Modeling-the-Probabilistic-Distribution-of-Unlabeled-Data上发布。
2021-02-03 cs.CV eess.IV
Zero-shot Generation of Training Data with Denoising Diffusion Probabilistic Model for Handwritten Chinese Character Recognition
Microsoft Research Asia(微软亚洲研究院);University of Science and Technology of China(中国科学技术大学)
本文提出利用去噪扩散概率模型将字库字形转换为手写风格,实现未见汉字类别的零样本训练数据生成,并在CASIA-HWDB上验证了合成样本训练的手写汉字识别系统可与真实样本训练效果相当。
2023-05-25 cs.CV
Attentional Prototype Inference for Few-Shot Segmentation
Shandong University(山东大学);Alibaba Group(阿里巴巴集团);University of Amsterdam(阿姆斯特丹大学);Inception Institute of Artificial Intelligence(起源人工智能研究院);United Imaging Intelligence(联影智能)
本文提出注意力原型推断(API),通过概率建模全局类别原型并引入查询图像局部注意力潜变量,以变分贝叶斯推断优化,有效缓解小样本分割中的不确定性,在多个基准上取得优于现有原型方法的性能。
2023-05-30 cs.CV
Not Only Look But Observe: Variational Observation Model of Scene-Level 3D Multi-Object Understanding for Probabilistic SLAM
Automation and Systems Research Institute, Seoul National University(首尔国立大学自动化与系统研究所)
我们提出了NOLBO,变分观测模型估计三维多目标从二维Single Shot。以往的概率实例级理解主要考虑的是单目标图像,而不是多目标的Single Shot,对象与整个场景之间的关系没有得到关注。每个观察的客观性也很难加入他们的模型。因此,我们提出了一种方法来近似贝叶斯观察模型的场景级三维多目标理解。通过利用变分自动编码器(VAE),我们从整个场景中估计潜变量,这些潜变量遵循易处理的分布,同时暗示3D完整的形状和姿态。为了进行面向对象的数据关联和概率同时定位与地图构建(SLAM),我们的观测模型可以很容易地通过用潜在变量替换面向对象的特征来进行概率推理。
2020-02-04 cs.CV cs.RO
Learning Primitive Relations for Compositional Zero-Shot Learning
Seoul National University(首尔大学);Institute of New Media and Communications(新媒体与通信研究所)
本文提出学习原始关系(LPR)框架,利用交叉注意力捕捉状态与对象间关系,提升组合零样本学习在三个基准数据集上的性能。
2025-01-24 cs.AI cs.CV
Zero-Shot Learning via Joint Latent Similarity Embedding
Boston University(波士顿大学)
零触发识别(Zero-Shot Recognition,简称ZAR)是一种基于源域边信息(如属性)来预测目标域实例的类标签的方法。我们将BPR表示为一个二元预测问题。我们得到的分类器是类独立的。它将任意一对源和目标域实例作为输入,并预测它们是否来自同一个类,即是否存在匹配。我们模型的后验概率的匹配,因为它是一个足够的统计,并提出了一个潜在的概率模型在这种情况下。我们开发了一个基于字典学习的联合判别学习框架,以联合学习我们的模型在两个领域的参数,这最终导致我们的类独立分类器。许多现有的嵌入方法可以被视为我们的概率模型的特殊情况。我们的方法显示在四个基准数据集的平均准确性的最先进的4.90%的改进。我们还采用了BWRR方法进行zero-shot检索,平均精度(mAP)提高了22.45%.
2016-08-17 cs.CV
Seg2Track++: Probabilistic Track Validation and Data Association for Multi-Object Tracking and Segmentation
University of Coimbra, Institute of Systems and Robotics, Department of Electrical and Computer Engineering(科英布拉大学,系统与机器人研究所,电气与计算机工程系)
提出Seg2Track++框架,结合SAM2实例分割与概率轨迹验证,实现零样本多目标跟踪与分割,提升身份保持并抑制假阳性传播。
2026-06-02 cs.CV
PSM: Learning Probabilistic Embeddings for Multi-scale Zero-Shot Soundscape Mapping
Washington University in St. Louis(圣路易斯华盛顿大学)
本研究提出PSM概率嵌入框架,融合多尺度卫星影像、音频、文本及时空元数据学习概率联合表示,实现零样本多尺度声景制图,构建了含30万样本的GeoSound数据集,在两个数据集上性能超越现有最优水平。
2024-08-13 cs.CV cs.SD eess.AS
Generalized Zero-Shot Learning via Synthesized Examples
Indian Institute of Technology Madras(马德拉斯印度理工学院);Indian Institute of Technology Kanpur(坎普尔印度理工学院)
我们提出了一个广义零样本学习的生成框架,其中训练和测试类不一定是不相交的。建立在一个基于变分自编码器的架构,由概率编码器和概率条件解码器,我们的模型可以生成新的样本,从看到/看不见的类,给定其各自的类属性。这些样本随后可用于训练任何现成的分类模型。我们的编码器-解码器架构的关键方面之一是反馈驱动的机制,在该机制中,学习将生成的样本映射到相应的类属性向量,从而改进生成器。我们的模型能够从看不见的类中生成和利用示例来训练分类模型,这自然有助于减轻在广义零样本学习设置中预测可见类的偏见。通过一组全面的实验,我们表明,我们的模型优于几个国家的最先进的方法,在几个基准数据集,标准以及广义零样本学习。
2018-06-12 cs.CV cs.LG stat.ML
Going beyond Compositions, DDPMs Can Produce Zero-Shot Interpolations
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究突破DDPM仅能组合训练因子的认知,证明在潜在因子支撑集有间隔的独立数据子集上训练的DDPM,可通过采样流程零样本生成分布中间区域图像,且在多属性多数据集上验证了该能力。
2024-07-10 cs.AI cs.CV cs.NE
Diffusion Probabilistic Priors for Zero-Shot Low-Dose CT Image Denoising
Huazhong University of Science and Technology(华中科技大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
本文提出仅用正常剂量CT训练级联无条件扩散模型,并在反向扩散中以低剂量图像为似然、迭代求解自适应MAP问题,实现零样本低剂量CT去噪,性能超过现有无监督及部分监督方法。
2023-07-14 cs.CV eess.IV
Learning shape distributions from large databases of healthy organs: applications to zero-shot and few-shot abnormal pancreas detection
Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院);Guerbet Research(加栢研究中心);Hospital of Annecy-Genevois, Université de Paris(巴黎大学阿讷西-日内瓦医院);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
我们提出了一个可扩展的和数据驱动的方法来学习形状分布从大型数据库的健康器官。为此,将体积分割掩模嵌入到使用变分自动编码网络学习的公共概率形状空间中。利用得到的潜在形状表示来导出用于异常形状检测的零次和Few-Shot方法。所提出的分布学习方法是在1200个健康胰腺形状的大型数据库上进行说明的。下游定性和定量实验在来自具有混合病症的患者的224个胰腺的单独测试集上进行。异常胰腺检测AUC在zero-shot配置中达到65.41%,在Few-Shot配置中达到78.97%,只有15个异常样本,优于基于单一体积的基线方法。
2022-10-21 cs.CV
Zero-Shot Learning with Generative Latent Prototype Model
Zhejiang University(浙江大学)
零样本学习研究的是没有训练样本的类别的对象分类问题,正受到越来越多的关注。大多数现有的语义学习方法通过中间语义嵌入空间利用确定性迁移学习。在本文中,我们试图从生成概率建模的角度来解决这个问题。我们假设对于任何类别,观察到的表示,例如图像或文本,是从潜在空间中的唯一原型开发的,其中原型之间的语义关系通过线性重构进行编码。利用这一假设,可以从相应的原型中生成不可见类的虚拟实例,从而提出了一种新的可重构学习模型,该模型可以缓解直接迁移学习存在的领域迁移问题.在三个基准数据集上的大量实验表明,我们提出的模型可以达到最先进的结果。
2017-05-26 cs.CV
CLAREL: Classification via retrieval loss for zero-shot learning
Element AI
我们解决的问题,学习细粒度的跨模态表示。我们提出了一种基于实例的深度度量学习方法,在联合视觉和文本空间。本文的主要新颖之处在于,它表明,使用每图像语义监督导致zero-shot性能的实质性改善,而不是使用仅类监督。最重要的是,我们为度量重新缩放方法提供了概率证明,该方法解决了广义零样本学习设置中非常常见的问题,即,将来自不可见类别的测试图像分类为在训练期间可见的类别之一。我们在两个细粒度的零样本学习数据集:CUB和FLOWERS上评估了我们的方法。我们发现,在广义zero-shot分类任务CLAREL始终优于现有的方法在这两个数据集。
2020-04-05 cs.CV cs.LG stat.ML
Domain segmentation and adjustment for generalized zero-shot learning
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件工程学院)
在广义零样本学习中,用生成模型合成看不见的数据是解决可见类和看不见类之间训练数据不平衡的最流行的方法。然而,这种方法要求在训练阶段不可见的语义信息是可用的,并且训练生成模型并不简单。考虑到这些模型的生成器只能用可见的类进行训练,我们认为合成看不见的数据可能不是解决由训练数据的不平衡引起的域偏移的理想方法。在本文中,我们提出了实现广义zero-shot识别在不同的领域。因此,看不见的(看不见的)类可以避免看不见的(看不见的)类的影响。在实践中,我们提出了一个阈值和概率分布联合的方法来分割测试实例到可见,不可见和不确定的领域。此外,不确定域进一步调整,以减轻域移动。在5个基准数据集上的实验表明,与基于生成模型的方法相比,该方法具有较好的性能.
2020-02-01 cs.CV
Zero-Shot Kernel Learning
Data61/CSIRO(Data61/联邦科学与工业研究组织);Australian National University(澳大利亚国立大学)
在本文中,我们解决了一个开放的问题零样本学习。其原理是基于学习映射,该映射将从图像中提取的特征向量与描述感兴趣的对象和/或场景的属性向量相关联。反过来,这允许通过经由映射到描述新类的新定义的属性向量来匹配特征向量来对未看见的对象类和/或场景进行分类。由于这种学习任务的重要性,存在许多学习语义、概率、线性或分段线性映射的方法。相比之下,我们应用成熟的核方法来学习特征和属性空间之间的非线性映射。我们提出了一个简单的学习目标的启发线性判别分析,核目标对齐和核极化方法,促进不一致性。我们评估我们的算法的多项式以及平移不变的高斯和柯西内核的性能。尽管我们的方法很简单,但我们在几个零样本学习数据集和基准测试(包括最近的AWA 2数据集)上获得了最先进的结果。
2018-06-24 cs.CV
Query-Focused Extractive Video Summarization
Center for Research in Computer Vision at UCF(中佛罗里达大学计算机视觉研究中心)
视频数据呈爆炸性增长。随着视频数据的“大”化,智能化的视频摘要算法的研究成为一个迫切的需求。我们开发了一个概率模型,顺序和层次决定性点过程(SH-DPP),查询为中心的提取视频摘要。给定用户查询和长视频序列,我们的算法通过从视频中选择关键镜头来返回摘要。在摘要中包括镜头的决定取决于镜头与用户查询的相关性以及在视频的上下文中的重要性。我们在两个密集注释的视频数据集上验证了我们的方法。以查询为中心的视频摘要对于搜索引擎特别有用,来显示视频片段
2016-07-18 cs.CV
Imagination Based Sample Construction for Zero-Shot Learning
Renmin University of China(中国人民大学)
零样本学习(Zero-shot learning,简称ZRL)是一种在没有标记样本的情况下识别未知类别的学习方法,有效地解决了图像检索中标记数据丢失的问题。目前,在图像识别领域,主要有两种常用的方法:概率推理和特征投影。与现有的这些方法不同,我们提出了一种新的方法:样本构造来处理问题的重复性。我们提出的方法,称为基于想象的样本构造(IBSC),创新性地构造图像样本的目标类的特征空间,模仿人类的联想认知过程。基于属性和特征之间的关联,目标样本是由不同部分的各种样本。此外,相异度表示被用来选择高质量的构造样本,这些样本被用作标记数据来训练针对那些看不见的类的特定分类器。这样,零样本学习就变成了一个监督学习问题。据我们所知,这是第一个工作,以构建样本的CNOL因此,我们的工作被视为一个基线,为未来的样本建设方法。在四个基准数据集上的实验表明了该方法的优越性。
2018-10-29 cs.CV
Generative Model for Zero-Shot Sketch-Based Image Retrieval
IIT-Kanpur(印度理工学院坎普尔分校);IIT-Guwahati(印度理工学院古瓦哈提分校);IIT-Madras(印度理工学院马德拉斯分校)
我们提出了一个基于草图的图像检索(SBIR)的概率模型,在检索时,我们从新的类,在训练时不存在的草图。现有的SBIR方法,其中大部分依赖于学习类之间的草图和图像的对应关系,通常工作良好,只有以前看到的草图类,并导致在新的类检索性能差。为了解决这个问题,我们提出了一个生成模型,学习生成图像,条件是一个给定的小说类草图。这使我们能够减少SBIR问题,一个标准的图像到图像的搜索问题。我们的模型是基于逆自回归流的变分自编码器,与反馈机制,以确保强大的图像生成。我们在两个非常具有挑战性的数据集Sketchy和TU Berlin上评估了我们的模型,并使用了新的训练测试分割。所提出的方法显着优于两个数据集上的各种基线。
2019-04-18 cs.CV cs.IR stat.ML
Talking Head Generation with Probabilistic Audio-to-Visual Diffusion Priors
在本文中,我们介绍了一个简单而新颖的框架,单次音频驱动的说话头生成。与需要额外的驱动源以确定性方式进行受控合成的先前工作不同,我们而是概率性地对所有与嘴唇无关的整体面部运动(即姿势,表情,眨眼,凝视等)进行采样。以在语义上匹配输入音频,同时仍然保持音频-唇同步的照片真实感和整体自然度。这是通过我们新提出的音频到视觉的扩散之前训练的音频和解开非唇面部表示之间的映射来实现的。由于扩散先验的概率性质,我们的框架的一个很大的优势是,它可以合成不同的面部运动序列给定相同的音频片段,这是非常用户友好的许多实际应用。通过对公共基准的综合评估,我们得出结论:(1)我们的扩散先验在几乎所有相关指标上都显著优于自回归先验;(2)我们的整体系统在音频唇同步方面与之前的作品具有竞争力,但可以有效地采样丰富且自然的与嘴唇无关的面部运动,同时仍然与音频输入语义协调。
2022-12-07 cs.CV cs.GR cs.SD