Generalized Multi-view Embedding for Visual Recognition and Cross-modal Retrieval
在本文中，从不同的视觉线索和模态的多视图嵌入的问题被认为是。我们提出了一个统一的解决方案，子空间学习方法使用瑞利商，这是可扩展的多视图，监督学习，和非线性嵌入。许多方法，包括典型相关分析，偏最小二乘回归和线性判别分析研究使用特定的内在和惩罚图在同一框架内。基于核和（深）神经网络的非线性扩展的推导，实现了更好的性能比线性的。在此基础上，提出了一种新的多视角模块化判别分析方法（MvMDA）。我们证明了所提出的多视图嵌入方法在视觉对象识别和跨模态图像检索上的有效性，并且与相关方法相比，在这两个应用中获得了优异的结果。
2017-08-31 cs.CV cs.LG
Generalized Hadamard-Product Fusion Operators for Visual Question Answering
School of Engineering, University of Guelph（圭尔夫大学工程学院）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Canadian Institute for Advanced Research（加拿大高级研究学院(注：原机构名常译为加拿大高级研究所，此处按原文准确翻译)）
我们提出了一个广义类的多模态融合算子的视觉问答（VQA）的任务。我们确定现有的多模态融合运营商的基础上的Hadamard产品的推广，并表明，这种广义的融合运营商的具体非平凡的实例表现出优越的性能，在开放式精度的VQA任务。特别是，我们引入了非线性集成，特征门控和融合后神经网络层作为融合算子组件，最终在VQA 2.0测试开发集上的$1.1\%$的绝对百分比改进超过基线融合算子，使用相同的特征作为输入。我们使用我们的研究结果作为证据，我们的广义类融合算子可能会导致发现更优越的任务特定的运营商时，作为一个搜索空间的架构搜索融合运营商。
2018-04-06 cs.CV cs.LG stat.ML
Visual and Semantic Prompt Collaboration for Generalized Zero-Shot Learning
Beijing University of Technology（北京工业大学）；Macquarie University（麦考瑞大学）
本文提出视觉与语义提示协作框架，通过提示调优和分层融合机制，实现高效特征适配，解决广义零样本学习中的视觉-语义对齐与过拟合问题。
2025-03-29 cs.CV
Generalized Zero-Shot Recognition based on Visually Semantic Embedding
Boston University（波士顿大学）
我们提出了一种新的广义零样本学习（GSTML）方法，该方法在训练过程中对看不见的图像和看不见的语义向量都是不可知的。在这种情况下，以前的作品提出映射高维视觉特征的语义域，我们认为有助于语义差距。为了弥补这一差距，我们提出了一种新的低维嵌入的视觉实例，是“视觉语义。“类似于量化所呈现实例中属性存在的语义数据，我们的视觉嵌入组件量化了所呈现实例中原型部件类型的存在。同时，作为一个思想实验，我们量化的影响，嘈杂的语义数据，利用一种新的视觉预言机视觉监督学习者。这些因素，即语义噪声，视觉语义差距和标签噪声导致我们提出了一个新的图形模型的标签，语义数据和输入之间的成对交互推理。我们列出了一些基准数据集的结果，这些数据集在语义和视觉监督下的准确性比最先进的数据集有了显着的提高。
2019-04-09 cs.CV
Audio-visual Generalized Zero-shot Learning the Easy Way
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
提出EZ-AVGZL框架，通过单一对比损失对齐音频-视觉与文本嵌入，并利用差分优化增强类别判别性，在三个基准上达到最先进性能。
2024-07-18 cs.CV cs.LG cs.MM
Progressive Semantic-Visual Mutual Adaption for Generalized Zero-Shot Learning
Beijing Jiaotong University（北京交通大学）；Hefei University of Technology（合肥工业大学）
广义零样本学习（Generalized Zero-Shot Learning，简称GSML）依靠视觉信息和语义信息之间的内在交互作用，通过从已知领域中转移的知识来识别未知类别。现有的工作主要定位区域对应的共享属性。当不同的视觉外观对应于相同的属性时，共享属性不可避免地引入语义歧义，阻碍了精确的语义-视觉交互的探索。在本文中，我们部署的双重语义视觉Transformer模块（DSVTM）逐步建模属性原型和视觉特征之间的对应关系，构成一个渐进的语义视觉相互适应（PSVMA）网络的语义消歧和知识的可转移性的改善。具体来说，DSVTM设计了一个实例驱动的语义编码器，学习以实例为中心的原型，以适应不同的图像，使不匹配的语义视觉对重铸成匹配的。然后，语义驱动的实例解码器加强了语义相关的实例适应匹配对之间的准确的跨域交互，鼓励生成明确的视觉表示。此外，为了减轻对看到的类在GALML的偏见，提出了去偏置损失，以追求看到的和看不见的预测之间的响应一致性。PSVMA始终产生优于其他国家的最先进的方法的性能。代码将在https://github.com/ManLiuCoder/PSVMA上提供。
2023-03-27 cs.CV
ReVISE: Self-Supervised Speech Resynthesis with Visual Input for Universal and Generalized Speech Enhancement
Meta AI Research（Meta人工智能研究院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Meta Reality Labs Research（Meta现实实验室）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
关于利用视觉输入改善语音质量的现有技术通常分别研究每种类型的听觉失真（例如，分离、修复、视频到语音）并呈现定制的算法。本文提出将这些学科结合起来，研究广义语音增强，其目标不是重建精确的参考干净信号，而是专注于改善语音的某些方面。特别是，本文关注的可懂度，质量和视频同步。我们将这个问题归结为视听语音再合成，它包括两个步骤：伪视听语音识别（P-AVSR）和伪文本到语音合成（P-TTS）。P-AVSR和P-TTS由来自自监督语音模型的离散单元连接。此外，我们利用自监督视听语音模型初始化P-AVSR。该模型被称为ReVISE。ReVISE是第一个用于野外视频到语音合成的高质量模型，并通过单个模型在所有LRS 3视听增强任务上实现了卓越的性能。为了证明其在现实世界中的适用性，还在EasyCom上对ReVISE进行了评估，EasyCom是在具有挑战性的声学条件下收集的视听基准，只有1.6小时的训练数据。同样，ReVISE极大地抑制了噪声并提高了质量。项目页面：https://wnhsu.github.io/ReVISE。
2022-12-21 cs.CV cs.LG cs.SD
InSight-o3: Empowering Multimodal Foundation Models with Generalized Visual Search
Hong Kong University of Science and Technology（香港科技大学）；Huawei（华为）
InSight-o3通过通用视觉搜索任务提升多模态基础模型的推理能力，解决复杂视觉信息整合问题。
2025-12-21 cs.CL cs.CV cs.LG
Solving ARC visual analogies with neural embeddings and vector arithmetic: A generalized method
University of Amsterdam（阿姆斯特丹大学）
本研究将词嵌入的向量算术机制推广到视觉类比，用VAE将ARC项编码为潜在向量并通过向量运算求解，在简单项上效果良好，官方ARC得分2%，ConceptARC得分8.8%，方法可推广至其他抽象视觉推理任务。
2023-11-14 cs.AI cs.CV cs.LG
Multi-Knowledge Fusion for New Feature Generation in Generalized Zero-Shot Learning
National Pilot School of Software, Yunnan University（云南大学国家软件学院）
现有的零样本学习（Zero-Shot Learning，简称ZRL）方法存在语义不足和领域转移等问题，无法取得令人满意的效果。为了缓解这些问题，我们提出了一种新的生成式语义学习方法，从多知识中学习更多的广义特征，并在语义到视觉嵌入中不断生成新的语义。在我们的方法中，建议的多知识融合网络（MKFNet）采取不同的语义特征从多个知识作为输入，这使得更多的相关语义特征被训练语义到视觉嵌入，并最终产生更广义的视觉特征，通过自适应融合视觉特征从不同的知识领域。新特征生成器（New Feature Generator，NFG）采用自适应遗传策略，一方面丰富了语义信息，另一方面极大地提高了MKFNet生成的视觉特征与不可见视觉特征的交集。从经验上讲，我们表明，我们的方法可以实现显着更好的性能相比，现有的国家的最先进的方法在大量的基准测试的几个CNOL任务，包括传统的CNOL，广义CNOL和zero-shot检索。
2021-02-23 cs.AI cs.CV
Semantic-Spatial Discriminability Enhancement for Generalized Visual Grounding
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文针对通用视觉 grounding 任务中易混淆相似目标的问题，提出 SSDE 框架，含 SeDE 与 SpDE 模块，在十个数据集上取得优异性能。
2026-09-01 cs.CV
Domain-aware Visual Bias Eliminating for Generalized Zero-Shot Learning
University of Science and Technology of China（中国科学技术大学）；National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）
最近的方法集中在学习一个统一的语义对齐的视觉表示在两个域之间传递知识，而忽略了语义无关的视觉表示在减轻有偏见的识别问题的效果。在本文中，我们提出了一种新的领域感知视觉偏差消除（DVBE）网络，该网络构建了两个互补的视觉表示，即，语义无关和语义对齐，分别处理可见和不可见的域。具体来说，我们探索交叉注意的二阶视觉统计，以紧凑的语义自由表示，并设计了一个自适应的边缘Softmax，以最大限度地提高类间分歧。因此，无语义表示变得足够有区别，不仅可以准确地预测看到的类，而且还可以过滤掉看不见的图像，即，域检测，基于预测的类熵。对于看不见的图像，我们自动搜索一个最佳的语义视觉对齐架构，而不是手动设计，预测看不见的类。通过精确的域检测，显著减少了对所见域的有偏识别问题。在五个分类和分割基准上的实验表明，DVBE比现有方法平均提高了5.7%。
2020-04-10 cs.CV
General Data Analytics with Applications to Visual Information Analysis: A Provable Backward-Compatible Semisimple Paradigm over T-Algebra
我们考虑一个新的向后兼容的一般数据分析的范例，最近报道的半单代数（称为t-代数）。我们研究了t-代数上的抽象代数框架，用复数的固定大小的多路数组表示t-代数的元素，用直积成分的集合表示t-代数上的代数结构.在t-代数上，许多算法都是使用这种新的半简单范式以简单的方式推广的。为了证明新范式的性能和向后兼容性，我们概括了一些典型的视觉模式分析算法。在公开数据集上的实验表明，广义算法与规范算法相比，具有更好的性能。
2021-05-02 cs.CV cs.LG cs.MM
PSVMA+: Exploring Multi-granularity Semantic-visual Adaption for Generalized Zero-shot Learning
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Hefei University of Technology（合肥工业大学）；National University of Singapore（新加坡国立大学）
针对广义零样本学习中属性与实例多样性导致的视觉-语义对应不足问题，提出多粒度渐进语义-视觉自适应网络PSVMA+，通过双语义-视觉变换器模块重塑属性并聚合视觉区域，结合选择性跨粒度学习融合多粒度特征，持续优于现有方法。
2024-10-15 cs.CV
Study of visual processing techniques for dynamic speckles: a comparative analysis
Indian Institute of Technology Indore（印多尔印度理工学院）；Institute of Engineering and Technology, Devi Ahilya University（工程与技术学院，迪维阿希利亚大学）
从散斑图中获取信息的主要视觉技术有Fujii法、广义差分法、加权广义差分法、平均窗口差分法、结构函数法、修正结构函数法等。所获得的结果最终建立SF为基础的方法作为动态散斑数据的视觉检测的最佳工具。
2021-06-16 cs.CV
On Aligning Hierarchical Standardized Embedding for Audio-visual Generalized Zero-shot Learning
Southeast University（东南大学）；The University of Hong Kong（香港大学）；Beijing Institute of Technology（北京理工大学）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education（新一代人工智能技术及其跨学科应用重点实验室（东南大学），教育部）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
提出AHSE方法，通过Z-score标准化和层次化对齐策略（语义、类别、批次三级）解决音视频与文本模态间的分布与结构差异，在三个基准数据集上取得竞争性能。
2026-06-11 cs.CV
Dual Progressive Prototype Network for Generalized Zero-Shot Learning
Tencent Data Platform（腾讯数据平台）；University of Science and Technology of China（中国科学技术大学）
广义零样本学习（Generalized Zero-Shot Learning，GSHL）旨在利用辅助语义信息识别新类别，例如，类别属性。在本文中，我们处理域转移问题的关键问题，即，通过逐步提高视觉表征的跨域可转移性和类别可辨别性，可以消除可见和不可见类别之间的混淆。我们的方法，命名为双渐进原型网络（DPPN），构造两种类型的原型，记录原型的属性和类别的视觉模式，分别。DPPN利用属性原型交替搜索属性相关的局部区域并更新相应的属性原型，以逐步探索准确的属性-区域对应关系。这使得DPPN能够产生具有准确属性定位能力的视觉表示，这有利于语义视觉对齐和表示可移植性。此外，随着渐进属性本地化，DPPN进一步项目类别原型到多个空间，逐步排斥来自不同类别的视觉表示，这提高了类别的可区分性。属性和类别原型在一个统一的框架中协同学习，这使得DPPN的视觉表示可转移和独特。在四个基准测试上的实验证明，DPPN有效地缓解了GZSL中的域迁移问题。
2021-11-22 cs.CV
Improving Generalized Visual Grounding with Instance-aware Joint Learning
School of Automation, Southeast University（东南大学自动化学院）；Baidu Inc.（百度公司）；JiangNan University（江南大学）；Nanjing University of Science and Technology（南京理工大学）
提出具备实例感知能力的多任务广义视觉定位框架InstanceVG，通过实例查询统一边界框与掩码的联合及一致性预测，在多数据集上实现最先进性能。
2025-09-17 cs.CV
Generalized Visual Relation Detection with Diffusion Models
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）
针对视觉关系检测受限于预定义类别且未考虑语义模糊的问题，提出将视觉关系建模为连续嵌入并设计Diff-VRD扩散模型，实现广义VRD并在基准上验证其优越性。
2025-04-16 cs.CV
Textual Knowledge Matters: Cross-Modality Co-Teaching for Generalized Visual Class Discovery
University of Trento（特伦托大学）；Hefei University of Technology（合肥工业大学）；University of Nottingham（诺丁汉大学）
针对广义类别发现仅依赖视觉线索的局限，本文提出两阶段TextGCD框架，通过检索式文本生成与跨模态协同教学融合视觉-语言知识，并在八个数据集上显著超越现有方法。
2024-12-05 cs.CV
Hallucinate, Ground, Repeat: A Framework for Generalized Visual Relationship Detection
Auburn University（奥本大学）
本文提出受EM启发的迭代视觉接地框架，用LLM生成候选关系并训练视觉模型对齐感知证据，同时构建含21个留出谓词的Visual Genome开放世界VRD基准，显著提升未见谓词泛化性能。
2025-06-06 cs.CV
Spotlight the Negatives: A Generalized Discriminative Latent Model
Royal Institute of Technology (KTH)（瑞典皇家理工学院）；Brown University（布朗大学）
判别潜变量模型（LVM）经常被应用于各种视觉识别任务。在这些系统中，潜在的（隐藏的）变量提供了一个形式主义的视觉特征的结构化变化建模。传统上，潜变量是根据前景（正）类的变化来定义的。在这项工作中，我们增加LVMs，包括负的潜变量对应的背景类。我们形式化的评分功能，这样一个广义的LVM（GLVM）。然后，我们讨论了一个框架，学习模型的基础上GLVM评分函数。我们从理论上展示了当前的一些视觉识别方法如何从这种泛化中受益。最后，我们实验的一个广义形式的可变形零件模型与负的潜变量，并在两个不同的检测任务显着改善。
2015-07-08 cs.CV
Visual and Semantic Prototypes-Jointly Guided CNN for Generalized Zero-shot Learning
Nanjing University of Aeronautics & Astronautics（南京航空航天大学）
在人类探索世界的过程中，好奇心不断驱使着人类去认知新事物。假设你是一个动物学家，对于一个呈现的动物图像，如果你知道它的类别，你可以立即识别它。否则，你更有可能试图通过利用边信息来认知它（例如，语义信息等）你积累了。受此启发，本文将广义零样本学习（G-shot learning，G-shot L）任务分解为开集识别（Open set recognition，OSR）任务和零样本学习（Z-shot learning，Z-shot L）任务，其中OSR识别可见类（如果我们见过（或已知）它们）并拒绝未见过类（如果我们以前从未见过（或已知）它们），而Z-shot L识别被前者拒绝的未见过类。同时，在不违反OSR的假设（只有已知类的知识是可用的训练），我们还首次尝试探索一个新的广义开集识别（G-OSR）通过引入累积的边信息从已知类的OSR。对于G-RNL，这样的分解有效地解决了类过拟合问题，容易将看不见的类误分类为可见的类。该问题在大多数现有的G-CPDL方法中是普遍存在的。另一方面，对于G-OSR，引入已知类别的语义信息不仅提高了识别性能，而且赋予OSR对未知类别的认知能力。具体而言，提出了一种视觉和语义原型联合引导的卷积神经网络（VSG-CNN），以在统一的端到端学习框架中完成这两个任务（G-OSR和G-ORL）。在基准数据集上的大量实验证明了我们的学习框架的优势。
2019-08-14 cs.CV cs.LG stat.ML
Generalized Kernel-based Visual Tracking
NICTA（国家信息与通信技术研究院）；Australian National University（澳大利亚国立大学）；University of Adelaide（阿德莱德大学）
在这项工作中，我们推广了普通的MS跟踪器，并试图克服标准的均值漂移跟踪器的两个限制。众所周知，建模和维护目标对象的表示是成功的视觉跟踪器的重要组成部分。然而，很少有工作已经做了建立一个强大的模板模型，基于内核的MS跟踪。与从单个帧构建模板相比，我们从大量数据中训练了一个健壮的对象表示模型。跟踪被视为一个二元分类问题，并学习判别分类规则来区分对象和背景。采用支持向量机进行训练。然后，通过最大化分类分数来实现跟踪器。一个迭代优化方案非常相似的MS推导出用于此目的。
2009-06-07 cs.CV cs.MM
Multi-Granularity Cross-modal Alignment for Generalized Medical Visual Representation Learning
The University of Hong Kong（香港大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Cambridge（剑桥大学）
直接从成对的放射学报告中学习医学视觉表示已经成为表示学习中的一个新兴课题。然而，现有的医学图像-文本联合学习方法受到实例或局部监督分析的限制，忽略了疾病级语义对应。在本文中，我们提出了一种新的多粒度交叉模态对齐（MGCA）框架，用于广义医学视觉表示学习，通过利用医学图像和放射学报告之间自然表现出的语义对应关系，在三个不同的层次上，即，病理区域级、实例级和疾病级。具体来说，我们首先通过最大化图像-报告对之间的一致性来结合实例对齐模块。此外，对于标记对齐，我们引入了一个双向交叉注意策略来显式学习细粒度视觉标记和文本标记之间的匹配，然后通过对比学习来对齐它们。更重要的是，为了利用高级主体间关系语义（例如，疾病）的对应关系，我们设计了一种新的跨模态疾病级对齐范式，以加强跨模态集群分配的一致性。在七个下游医学图像数据集上的广泛实验结果，包括图像分类，目标检测和语义分割任务，证明了我们的框架的稳定和优越的性能。
2022-10-12 cs.AI cs.CL cs.CV
Multi-modal Cycle-consistent Generalized Zero-Shot Learning
Australian Institute for Machine Learning（澳大利亚机器学习研究院）；University of Adelaide（阿德莱德大学）
在广义零样本学习（GSTML）中，类集合被分成可见类和不可见类，其中训练依赖于可见类和不可见类的语义特征以及仅可见类的视觉表示，而测试使用可见类和不可见类的视觉表示。当前的方法通过学习从视觉空间到语义空间的转换来解决GCML，探索语义空间和视觉空间中的类分布相对相似的假设。这种方法往往会将看不见的测试视觉表示转换为一个可见类的语义特征，而不是正确的看不见的类的语义特征，导致低精度的GALML分类。最近，生成对抗网络（GAN）已经被探索用于从语义特征合成看不见的类的视觉表示-然后使用合成的可见和不可见类的表示来训练GAN L分类器。这种方法已被证明可以提高GALML分类的准确性，但是，不能保证合成的视觉表示可以以多模态循环一致的方式生成其语义特征。这种约束可能导致合成的视觉表示不能很好地表示其语义特征。在本文中，我们提出了使用这种约束的基础上，一个新的正则化的GAN训练，迫使生成的视觉特征，以重建其原始的语义特征。一旦我们的模型使用这种多模态循环一致的语义兼容性进行训练，我们就可以为可见的类，更重要的是，为不可见的类合成更具代表性的视觉表示。我们提出的方法在几个公开可用的数据集上显示了该领域最好的GALML分类结果。
2018-08-02 cs.CV
Covariance properties under natural image transformations for the generalized Gaussian derivative model for visual receptive fields
KTH Royal Institute of Technology（瑞典皇家理工学院）
本研究针对视觉感受野的广义高斯导数模型，推导其在多种自然几何图像变换下的协方差特性，揭示其支持视觉系统实现几何不变性的机制，并探讨对生物视觉的启示。
2023-06-01 cs.CV eess.IV q-bio.NC
Generalized Regressive Motion: a Visual Cue to Collision
California Institute of Technology（加州理工学院）
研究提出广义回归运动作为碰撞检测的视觉线索，通过几何分析证明其在同类碰撞中的可靠性，并通过基于代理的建模显示其比 looming 更有效。
2015-10-26 cs.CV cs.MA cs.RO
Audio-Visual Generalized Zero-Shot Learning using Pre-Trained Large Multi-Modal Models
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；Helmholtz Munich（慕尼黑亥姆霍兹中心）；Technical University of Munich（慕尼黑工业大学）；Localyzer GmbH（Localyzer有限公司）
本文利用 CLIP 和 CLAP 大型预训练模型提取音视频及文本特征，提出仅依赖前馈神经网络的简单模型，在三个广义零样本学习基准上取得最先进性能。
2024-04-09 cs.CV
Visual-Semantic Contrastive Alignment for Few-Shot Image Classification
少样本学习旨在训练和优化一个模型，该模型可以适应看不见的视觉类，只有少数标记的例子。现有的少样本学习（FSL）方法严重依赖于视觉数据，因此无法从很少的示例中捕获语义属性以学习更广义的视觉概念版本。然而，众所周知的事实是，人类视觉学习极大地受益于来自视觉、语言和音频等多种形式的输入。受人类学习本质的启发，将视觉类别的现有知识以语言的形式封装起来，我们引入了视觉和语义特征向量的对比对齐机制，以学习更广义的视觉概念，用于少样本学习。我们的方法只是简单地添加了一个辅助的对比学习目标，它捕获的上下文知识的视觉类别从一个强大的文本编码器除了现有的训练机制。因此，该方法更通用，可以插入到任何现有的FSL方法。我们在方法中使用的预训练语义特征提取器（从大规模文本语料库中学习）提供了强大的上下文先验知识来帮助FSL。在流行的FSL数据集上进行的实验结果表明，我们的方法本质上是通用的，并对现有的FSL基线提供了强有力的推动。
2022-10-20 cs.CV
Learning Generalized Transformation Equivariant Representations via Autoencoding Transformations
Futurewei Seattle Cloud Lab（未来伟西雅图云实验室）；University of Central Florida（中佛罗里达大学）；Purdue University（普渡大学）
变换等变表示（TER）旨在通过扩展卷积神经网络（CNN）成功的基础{ \em translation}等变的概念来捕获与各种变换等变的内在视觉结构。为此，我们提出了确定性自动编码变换（AET）和概率自动编码变分变换（AVT）模型，以从通用变换组中学习视觉表示。虽然AET是通过直接解码来自学习的表示的变换来训练的，但是AVT是通过最大化学习的表示和变换之间的联合互信息来训练的。这导致广义TER（GTER）等变对变换在一个更一般的方式，通过捕捉复杂的模式的视觉结构超出了传统的线性等变下的变换组。所提出的方法可以扩展到（半）监督模型，通过共同最大化的互信息的学习表示与标签和变换。实验表明，该模型在无监督和（半）监督任务中的性能优于最先进的模型。
2019-11-17 cs.CV cs.LG stat.ML
Visual Large Language Models for Generalized and Specialized Applications
Michigan State University（密歇根州立大学）；Cornell University（康奈尔大学）；Arizona State University（亚利桑那州立大学）；University of California, Berkeley（加州大学伯克利分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Yale University（耶鲁大学）
本文综述视觉大语言模型在图像、视频、深度、动作和语言等模态中的通用与专用应用，梳理场景、伦理挑战及未来方向。
2025-01-06 cs.AI cs.CV
Generative Dual Adversarial Network for Generalized Zero-shot Learning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；ByteDance AI Lab（字节跳动人工智能实验室）；Sun Yat-sen University（中山大学）
本文研究了广义零样本学习问题，该问题要求模型对来自一些可见类的图像标签对进行训练，并对来自可见类和不可见类的新图像进行分类。大多数以前的模型试图学习视觉和语义空间之间的固定单向映射，而最近提出的一些生成方法试图为看不见的类别生成图像特征，从而使零样本学习问题成为传统的全监督分类问题。在本文中，我们提出了一个新的模型，提供了一个统一的框架，三种不同的方法：视觉->语义映射，语义->视觉映射，和度量学习。具体来说，我们提出的模型包括一个特征生成器，它可以生成各种视觉特征，给定类嵌入作为输入，一个回归器，它将每个视觉特征映射回其相应的类嵌入，以及一个学习评估图像特征和类嵌入的接近度的学习器。所有三个组件都在循环一致性损失和双重对抗性损失的组合下进行训练。实验结果表明，我们的模型不仅保持了较高的准确性，从看到的类的图像分类，但也比现有的国家的最先进的模型在分类图像从看不见的类。
2019-05-25 cs.CV
Coordinated Joint Multimodal Embeddings for Generalized Audio-Visual Zeroshot Classification and Retrieval of Videos
IIT Kanpur（印度理工学院坎普尔分校）；University of Warwick（华威大学）；NEC Labs America（NEC美国实验室）
我们提出了一种视听多模态方法的零拍学习（ZEROSHOT LEARNING）的分类和检索的视频任务。近年来，人们已经对视觉感知进行了广泛的研究，但主要局限于视觉模态和图像。我们证明，音频和视觉方式都是重要的，为视频的OWL。由于目前还没有研究该任务的数据集，因此我们还从现有的大规模音频事件数据集构建了一个包含33个类别的多模态数据集，其中包含156，416个视频。我们的经验表明，通过添加音频模态的zeroshot分类和检索的任务，使用嵌入式学习方法的多模态扩展时，性能提高。我们还提出了一种新的方法来预测“占主导地位的”模态使用共同学习的模态注意力网络。我们在半监督环境中学习注意力，因此不需要对模态进行任何额外的明确标记。我们提供了定性验证的方式具体的注意力，这也成功地推广到看不见的测试类。
2019-10-19 cs.CV cs.MM cs.SD
Extremely Simple Out-of-distribution Detection for Audio-visual Generalized Zero-shot Learning
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）；Tsinghua University（清华大学）
针对音视频广义零样本学习中的域偏移问题，提出基于分布外检测的EZ-AVOOD方法，无需额外训练OOD网络即可分离已知与未知样本，并在三个数据集上取得SOTA性能。
2025-03-28 cs.CV
Bridge the Gap Between Visual and Linguistic Comprehension for Generalized Zero-shot Semantic Segmentation
Hong Kong Baptist University（香港浸会大学）；University of Oxford（牛津大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出解耦视觉-语言匹配（DeVLMatch）框架，通过空间部分和通道状态匹配模块，在细粒度物体部分和状态层面弥合视觉与语言理解鸿沟，促进已见到未见类别的知识迁移，在多个基准上超越现有方法。
2025-03-31 cs.CV
GET: Unlocking the Multi-modal Potential of CLIP for Generalized Category Discovery
Nankai University（南开大学）；NKIARI（南开人工智能研究院）
针对广义类别发现任务仅用视觉模态导致相似类分类差的问题，提出含文本嵌入合成器的双分支GET方法，利用CLIP生成伪文本嵌入并实现多模态增强，在基准上取得新SOTA。
2025-03-21 cs.AI cs.CL cs.CV
Visual Prompting for Generalized Few-shot Segmentation: A Multi-scale Approach
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（矢量人工智能研究所）；Ontario Tech University（安大略理工大学）
提出一种多尺度视觉提示方法，通过单向因果注意力机制平衡新类与基类性能，在COCO-$20^i$和Pascal-$5^i$上实现GFSS最先进性能，无需测试时优化。
2024-04-17 cs.CV
XVO: Generalized Visual Odometry via Cross-Modal Self-Training
Boston University（波士顿大学）
本研究提出半监督跨模态自训练方法XVO，利用多模态辅助任务和无约束行车视频训练通用单目VO模型，无需相机参数与微调即可在多基准数据集实现SOTA性能与跨场景迁移。
2023-10-08 cs.AI cs.CV cs.RO
A solution to generalized learning from small training sets found in infants repeated visual experiences of individual objects
Department of Computer Science, Luddy School of Informatics, Computing, and Engineering（计算机科学系，琳迪学校信息学、计算与工程学院）；Department of Psychological and Brain Sciences（心理学与脑科学系）
通过分析婴儿日常视觉经验中物体类别的分布特性，发现高相似度与高变异性混合的团块分布，并证明这种分布能在极少训练样本下支持对新实例的泛化。
2026-08-14 cs.CV
Generalized Visual Quality Assessment of GAN-Generated Face Images
City University of Hong Kong（香港城市大学）；Tongji University（同济大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
近年来，人们对生成对抗网络（GANs）的人脸生成兴趣急剧增加。许多成功的GAN算法已经被开发出来，以产生针对不同应用场景的生动的人脸图像。然而，很少有工作致力于自动质量评估的GAN生成的人脸图像（GFI），更少有人致力于广义和鲁棒的质量评估的GFI生成的看不见的GAN模型。在此，我们第一次尝试研究的主观和客观质量的广义质量评价的GFI。更具体地说，我们建立了一个大规模的数据库，包括GFI从四个GAN算法，从图像质量评估（IQA）措施的伪标签，以及通过主观测试的人的意见分数。随后，我们开发了一个质量评估模型，能够提供准确的质量预测GFI从现有的和看不见的GAN算法的基础上元学习。特别是，为了从有限的GAN算法产生的GFI对中学习共享知识，我们开发了卷积块注意力（CBA）和基于面部属性的分析（ABA）模块，确保学习到的知识与人类视觉感知保持一致。大量的实验表明，该模型实现了更好的性能相比，国家的最先进的IQA模型，并能够保持有效性时，评估GFI从看不见的GAN算法。
2022-01-28 cs.CV eess.IV
Towards Single-Source Domain Generalized Object Detection via Causal Visual Prompts
National Key Laboratory of Multispectral Information Intelligent Processing Technology, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（multispectral information intelligent processing technology national key laboratory, school of artificial intelligence and automation, huazhong university of science and technology）；Zhejiang Key Laboratory of Intelligent Education Technology and Application, Zhejiang Normal University（intelligent education technology and application zhejiang key laboratory, zhejiang normal university）；Northwest Polytechnical University；Nankai University
针对单源域泛化目标检测中模型易陷入虚假相关的问题，提出结合交叉注意力提示模块与双分支适配器的Cauvis方法，实现最优性能与强鲁棒性。
2025-10-22 cs.CV
Out-Of-Distribution Detection for Audio-visual Generalized Zero-Shot Learning: A General Framework
School of Physical Sciences University of Science and Technology of China（中国科学技术大学物理科学学院）
针对音视频广义零样本学习中的生成式训练不稳定和嵌入式领域偏移问题，提出一种结合生成对抗网络与分布外检测的统一框架，通过合成未见特征训练检测器与分类器，在三个数据集上显著优于现有方法。
2025-09-12 cs.CV cs.MM cs.SD
Learning Generalized Visual Odometry Using Position-Aware Optical Flow and Geometric Bundle Adjustment
University of Electronic Science and Technology of China（电子科技大学）；Guangxi University of Science and Technology（广西科技大学）
最近的视觉里程计（VO）方法将几何算法结合到深度学习架构中，在具有挑战性的单目VO任务上表现出出色的性能。尽管取得了令人鼓舞的结果，以前的方法忽略了在噪声环境和各种场景下的泛化能力的要求。为了解决这个具有挑战性的问题，这项工作首先提出了一种新的光流网络（PANet）。与以前的方法预测光流作为一个直接的回归任务相比，我们的PANet计算光流预测到离散的位置空间与光流概率体积，然后将其转换为光流。接下来，我们通过引入多重采样、自我运动初始化、动态阻尼因子调整和Jacobi矩阵加权来改进光束法平差模块以适应自监督训练管道。此外，提出了一种新的归一化光度损失函数，以提高深度估计的精度。实验结果表明，该系统不仅在KITTI数据集上取得了与其他基于自监督学习的方法相当的性能，而且在噪声KITTI和具有挑战性的户外（KAIST）场景上，与基于几何、基于学习和混合VO系统相比，该系统的泛化能力也有显著提高.
2022-12-21 cs.CV
Cross-Domain Visual Matching via Generalized Similarity Measure and Feature Learning
Sun Yat-sen University（中山大学）；Harbin Institute of Technology（哈尔滨工业大学）；Xidian University（西安电子科技大学）；The Hong Kong Polytechnic University（香港理工大学）
跨域视觉数据匹配是许多现实世界视觉任务中的基本问题之一，例如，通过身份证照片和监控录像进行比对这个问题的传统方法通常涉及两个步骤：i）将来自不同域的样本投影到公共空间中，以及ii）基于一定距离计算该空间中的（不）相似性。在本文中，我们提出了一种新的成对相似性度量，通过i）将传统的线性投影扩展到仿射变换，ii）通过数据驱动的组合融合仿射马氏距离和余弦相似性，从而改进现有模型。此外，我们通过深度卷积神经网络将相似性度量与特征表示学习统一起来。具体来说，我们将相似性度量矩阵纳入到深度架构中，实现了端到端的模型优化方式。我们在几个具有挑战性的跨域匹配任务中广泛评估了我们的广义相似性模型：不同视图下的人重新识别和不同模式下的人脸验证（即，来自静止图像和视频的面部、较老和较年轻的面部以及素描和照片肖像）。实验结果表明，我们的模型优于其他国家的最先进的方法的性能。
2016-05-13 cs.AI cs.CV stat.ML
ThinkGen: Generalized Thinking for Visual Generation
Beijing Jiaotong University（北京交通大学）；Bytedance Home（字节跳动）
ThinkGen通过结合预训练的大语言模型和扩散变换器，提出了一种基于思考的视觉生成框架，实现了在多种生成任务中的高效推理和高质量图像生成。
2025-12-29 cs.CV
Cluster-based Contrastive Disentangling for Generalized Zero-Shot Learning
Sichuan University（四川大学）
广义零样本学习（Generalized Zero-Shot Learning，GSML）通过只训练可见类来识别可见类和不可见类，其中不可见类的实例倾向于偏向可见类。在本文中，我们提出了一个基于对比分解（CCD）的方法，以改善GREML减轻语义差距和领域转移的问题。具体来说，我们首先对批处理数据进行聚类，形成包含相似类的几个集合。然后，将视觉特征分解为语义非特定和语义匹配变量，并根据聚类结果将语义匹配变量进一步分解为类共享和类唯一变量。具有随机交换和语义视觉对齐的分离学习模块弥合了语义鸿沟。此外，我们引入对比学习语义匹配和类唯一的变量，学习高的集内和类内的相似性，以及集间和类间的可区分性。然后，生成的视觉特征符合一般图像的底层特征，具有较强的区分信息，这很好地解释了域转移问题。我们在四个数据集上评估了我们提出的方法，并在常规和广义设置中获得了最先进的结果。
2022-03-05 cs.CV
CountGD++: Generalized Prompting for Open-World Counting
Visual Geometry Group (VGG)（视觉几何组（VGG））；University of Oxford, UK（牛津大学，英国）
提出CountGD++模型，通过扩展提示方式（包括负样本描述、伪示例自动标注和外部图像示例）提升开放世界计数的灵活性、准确性和泛化能力。
2026-05-30 cs.CV
Dual Adversarial Semantics-Consistent Network for Generalized Zero-Shot Learning
University Of Science And Technology Of China（中国科学技术大学）；Carnegie Mellon University（卡内基梅隆大学）
广义零样本学习（GSRL）是一类具有挑战性的视觉和知识转移问题，在测试过程中出现可见和不可见的类。现有的GML方法要么在嵌入阶段遭受语义损失和丢弃判别信息，要么不能保证视觉语义交互。为了解决这些局限性，我们提出了双重对抗语义一致网络（Dual Adversarial Semantics-Consistent Network，DASCN），它在一个统一的框架中学习原始和双重生成对抗网络（primal and dual Generative Adversarial Networks，GANs）。特别是，原始GAN学习从可见/不可见类的语义表示和由双GAN重构的语义表示中合成类间区分和语义保持视觉特征。双GAN通过语义一致的对抗性学习来加强合成视觉特征以很好地表示先验语义知识。据我们所知，这是第一个为GALML采用新型双GAN机制的工作。大量的实验表明，我们的方法实现了显着的改进，国家的最先进的方法。
2019-07-12 cs.CV
FREE: Feature Refinement for Generalized Zero-Shot Learning
Huazhong University of Science and Technology (HUST)（华中科技大学）；Southern University of Science and Technology (SUSTech)（南方科技大学）；Inception Institute of Artificial Intelligence (IIAI)（起源人工智能研究院）
广义零样本学习（Generalized zero-shot learning，简称GSML）在克服视觉-语义领域鸿沟和视觉-视觉偏差方面取得了显著的进展。然而，大多数现有的方法直接使用单独在ImageNet上训练的特征提取模型，忽略了ImageNet和GARML基准之间的跨数据集偏差。这样的偏见不可避免地导致低质量的视觉特征的GALML任务，这可能会限制识别性能的可见和不可见的类。在本文中，我们提出了一个简单而有效的GWML方法，称为广义零样本学习（FREE）的特征细化，以解决上述问题。FREE采用了一个特征细化（FR）模块，该模块将\textit{semantic$\rightarrow$visual}映射合并到一个统一的生成模型中，以细化可见和不可见类样本的视觉特征。此外，我们提出了一个自适应的边缘中心损失（SAMC损失），与语义循环一致性损失合作，引导FR学习类和语义相关的表示，并连接FR中的功能，以提取完全细化的功能。在五个基准数据集上进行的大量实验表明，FREE的性能优于其基线和当前最先进的方法。我们的代码可在https://github.com/shiming-chen/FREE上获得。
2021-07-29 cs.AI cs.CV
High-Discriminative Attribute Feature Learning for Generalized Zero-Shot Learning
Xidian University（西安电子科技大学）；Shenzhen Institute of Information Technology（深圳信息职业技术学院）
针对广义零样本学习中属性区域判别性不足、共享属性被忽视及数据集偏差问题，提出HDAFL，利用多核卷积、Transformer属性判别编码器和对比损失提升视觉特征可迁移性，并在三个常用数据集上验证有效。
2024-04-07 cs.CV
Combining Absolute and Semi-Generalized Relative Poses for Visual Localization
Faculty of Electrical Engineering, Czech Technical University (CTU) in Prague（布拉格捷克技术大学 电气工程学院）；Czech Institute of Informatics, Robotics and Cybernetics, CTU in Prague（布拉格捷克技术大学捷克信息学、机器人学与控制论研究所）；Visual Recognition Group, Faculty of Electrical Engineering, CTU in Prague（布拉格捷克技术大学电气工程学院视觉识别组）
本文研究视觉定位中基于结构与无结构位姿估计策略的结合，探索在2D-2D与2D-3D匹配位姿间选择的方法，证明该结合在多种实际场景中提升了定位性能。
2024-09-21 cs.CV
GeM-VG: Towards Generalized Multi-image Visual Grounding with Multimodal Large Language Models
GeM-VG通过引入MG-Data-240K数据集和混合强化微调策略，提升多图像视觉 grounding 和通用多图像理解能力。
2026-01-08 cs.AI cs.CV
Towards Domain-Generalized Open-Vocabulary Object Detection: A Progressive Domain-invariant Cross-modal Alignment Method
MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统实验室）；Institute of Microelectronics, University of Chinese Academy of Sciences（中国科学院大学微电子学院）；School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学前沿交叉科学学院）
本文提出PICA方法，通过多级模糊性和信号强度课程，解决开放词汇检测中领域变化导致的跨模态空间崩溃问题，提升模型鲁棒性。
2026-07-20 cs.CV
