Learning Visually-Grounded Semantics from Contrastive Adversarial Samples
Megvii Inc.（旷视科技）
我们研究的问题接地分布表示的文本的视觉域，即视觉语义嵌入（简称VSE）。从对VSE嵌入的有见地的对抗攻击开始，我们展示了当前框架和图像-文本数据集的局限性（例如，MS-COCO）。现实世界语义可能构成的数量与并行数据规模之间的巨大差距，在很大程度上限制了模型建立文本语义与视觉概念之间的联系。我们通过用文本对比对抗样本增强MS-COCO图像描述数据集来缓解这个问题。这些样本是使用语言规则和WordNet知识库合成的。构造过程是语法和语义感知的。这些样本强制模型将学习到的嵌入嵌入到图像中的具体概念中。除了防御已知类型的对抗攻击之外，这种简单但强大的技术还在各种下游任务的基线上带来了显著的改进。我们在https://github.com/ExplorerFreda/VSE-C上发布代码。
2018-06-27 cs.CL cs.CV
Visual-Semantic Transformer for Scene Text Recognition
Ping An Property & Casualty Insurance Company（平安财产保险股份有限公司）
语义信息建模有助于场景文本识别。在这项工作中，我们提出了一个视觉语义Transformer（VST）的语义和视觉信息建模。VST首先明确地提取主要语义信息的视觉特征图与Transformer模块和主要的视觉语义对齐模块。然后，语义信息与视觉特征图（被视为序列）相结合，以形成结合视觉和语义信息的伪多域序列，该序列随后被馈送到基于变换器的交互模块中，以使得能够学习视觉和语义特征之间的交互。通过这种方式，可以通过语义信息增强视觉特征，反之亦然。增强版本的视觉特征进一步解码的第二视觉语义对齐模块与主要的一个共享的权重。最后，解码的视觉特征和增强的语义特征由第三Transformer模块联合处理，获得最终的文本预测。在包括规则/不规则文本识别数据集的七个公共基准测试上的实验验证了我们提出的模型的有效性，在七个基准测试中的四个上达到了最先进的水平。
2021-12-02 cs.CV
Word to Sentence Visual Semantic Similarity for Caption Generation: Lessons Learned
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文提出一种基于词级和句级视觉语义相似度的后处理方法，通过从视觉上下文视角修正束搜索，选择与图像最相关的字幕输出，从而改进图像字幕生成系统。
2023-07-06 cs.CL cs.CV
Visual Semantic Information Pursuit: A Survey
University of Surrey（萨里大学）
视觉语义信息包括两个重要部分：每个视觉语义单位的意义和这些视觉语义单位所传达的连贯的视觉语义关系。从本质上讲，前者是一个视觉感知任务，而后者对应于视觉上下文推理。由于深度学习的成功，视觉感知取得了显著的进步。而视觉语义信息追踪是一种结合视觉感知和视觉上下文推理的视觉场景语义解释任务，目前还处于初级阶段。它是许多不同的计算机视觉应用的核心任务，如目标检测，视觉语义分割，视觉关系检测或场景图生成。由于它有助于提高解释的准确性和一致性，视觉上下文推理通常与视觉感知结合在当前的深度端到端视觉语义信息追踪方法中。然而，对这一令人兴奋的领域的全面审查仍然缺乏。在本次调查中，我们为所有这些方法提供了统一的理论范式，然后概述了每个潜在方向的主要发展和未来趋势。介绍了常用的基准数据集、评价指标以及相应方法的比较。
2019-03-13 cs.CV
Generalized Zero-Shot Recognition based on Visually Semantic Embedding
Boston University（波士顿大学）
我们提出了一种新的广义零样本学习（GSTML）方法，该方法在训练过程中对看不见的图像和看不见的语义向量都是不可知的。在这种情况下，以前的作品提出映射高维视觉特征的语义域，我们认为有助于语义差距。为了弥补这一差距，我们提出了一种新的低维嵌入的视觉实例，是“视觉语义。“类似于量化所呈现实例中属性存在的语义数据，我们的视觉嵌入组件量化了所呈现实例中原型部件类型的存在。同时，作为一个思想实验，我们量化的影响，嘈杂的语义数据，利用一种新的视觉预言机视觉监督学习者。这些因素，即语义噪声，视觉语义差距和标签噪声导致我们提出了一个新的图形模型的标签，语义数据和输入之间的成对交互推理。我们列出了一些基准数据集的结果，这些数据集在语义和视觉监督下的准确性比最先进的数据集有了显着的提高。
2019-04-09 cs.CV
Describing Semantic Representations of Brain Activity Evoked by Visual Stimuli
Ochanomizu University（御茶水女子大学）
基于语言表征的人脑活动的定量建模在系统神经科学中得到了积极的研究。然而，以前的研究检查了单词水平的表征，并且对我们是否可以从大脑活动中恢复结构化句子知之甚少。本研究试图从视觉刺激诱发的人脑活动中生成语义内容的自然语言描述。为了有效地使用少量可用的大脑活动数据，我们提出的方法采用了一个使用深度学习框架的预训练图像字幕网络模型。为了将大脑活动应用于图像字幕网络，我们训练回归模型，学习大脑活动和深层图像特征之间的关系。实验结果表明，该模型能够解码大脑活动，并生成使用自然语言句子的描述。我们还进行了几个实验，数据来自已知处理视觉刺激的不同脑区子集。结果表明，句子生成的语义信息遍布整个大脑皮层。
2018-01-19 cs.CV
Geometry-Entangled Visual Semantic Transformer for Image Captioning
图像描述的最新进展具有视觉语义融合或几何辅助注意力细化的特征。然而，这些基于融合的模型，他们仍然受到批评，缺乏几何信息的帧间和帧内注意力细化。另一方面，基于几何辅助注意的模型仍然受到视觉和语义信息之间的模态差距的影响。在本文中，我们介绍了一种新的几何纠缠视觉语义Transformer（GEVST）网络，实现视觉语义融合和几何辅助注意力细化的优势互补。具体地说，一个稠密字幕模型首先提出了一些具有相应的几何信息的稠密字幕。然后，为了使GEVS具有弥合视觉和语义信息之间的模态差距的能力，我们构建了四个并行的Transformer编码器VV（Pure Visual），VS（Semantic fused to Visual），SV（Visual fused to Semantic），SS（Pure Semantic）用于最终字幕生成。视觉和语义几何特征都用于融合模块和自我注意力模块，以更好地测量注意力。为了验证我们的模型，我们在MS-COCO数据集上进行了大量的实验，实验结果表明，我们的GEVST模型可以获得很好的性能增益。
2021-09-29 cs.CV
UniVSE: Robust Visual Semantic Embeddings via Structured Semantic Representations
Fudan University（复旦大学）；Bytedance AI Lab（字节跳动人工智能实验室）；Tsinghua University（清华大学）
我们提出了统一的视觉语义嵌入（UniVSE）学习视觉和文本概念的联合空间。空间统一了不同层次的概念，包括对象，属性，关系和全场景。提出了一种对比学习方法，用于仅从图像-字幕对进行细粒度对齐。此外，我们提出了一个有效的方法来执行的覆盖范围内出现在句子中的语义成分。我们证明了统一VSE在防御文本域对抗攻击跨模态检索任务的鲁棒性。这种鲁棒性还使得能够使用视觉线索来解决新句子中的单词依赖性。
2019-04-28 cs.CL cs.CV cs.LG
Describing image focused in cognitive and visual details for visually impaired people: An approach to generating inclusive paragraphs
Universidade Federal de Viçosa（维索萨联邦大学）；Universidade Federal Fluminense（弗鲁米嫩塞联邦大学）
由于辅助技术和人工智能领域的成就，最近出现了几种针对视力残疾人的服务。尽管辅助系统的可用性有所增长，但仍然缺乏支持特定任务的服务，例如理解在线内容中呈现的图像上下文，例如，网络研讨会图像描述技术及其变体被限制为辅助技术，因为它们在生成特定描述时不匹配视障人士的需求。我们提出了一种方法，用于生成上下文的网络研讨会图像相结合的密集字幕技术与一组过滤器，以适应我们的域中的字幕，和一个语言模型的抽象摘要任务。结果表明，通过结合图像分析方法和神经语言模型，我们可以产生具有更高可解释性的描述，并专注于该人群的相关信息。
2022-02-15 cs.AI cs.CL cs.CV
Visual Semantic Segmentation Based on Few/Zero-Shot Learning: An Overview
East China University of Science and Technology（华东理工大学）；Tongji University（同济大学）；Swinburne University of Technology（斯威本科技大学）
视觉语义分割的目的是将视觉样本分割成具有特定语义属性的不同块，并确定每个块的类别，它在环境感知中起着至关重要的作用。传统的基于学习的视觉语义分割方法严重依赖于具有密集注释的大规模训练数据，并且始终无法为不可见的类别估计准确的语义标签。这一障碍激发了在少量/零样本学习的帮助下研究视觉语义分割的热潮。少/zero-shot视觉语义分割的出现和迅速发展，使得从少量标记或零标记的样本中学习不可见的类别成为可能，从而推动了该方法向实际应用的扩展。因此，本文重点研究了近年来发表的几种基于少量/zero-shot的二维到三维空间的视觉语义分割方法，探讨了不同分割环境下技术解决方案的共性和差异。具体而言，少数/zero-shot视觉语义分割的问题，包括定义，典型的数据集，和技术补救措施，简要回顾和讨论。此外，还涉及三个典型的实例来揭示少/零样本学习与视觉语义分割的相互作用，包括图像语义分割、视频对象分割和3D分割。最后，讨论了少/zero-shot视觉语义分割的未来挑战。
2022-11-13 cs.CV
Not just a matter of semantics: the relationship between visual similarity and semantic similarity
Michael Stifel Center Jena（耶拿米夏埃尔·施蒂费尔中心）；Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）
知识转移、零样本学习和语义图像检索是旨在通过利用例如来自WordNet的语义信息来提高准确性的方法。假设这些信息可以以标记的训练图像的形式增强或替换丢失的视觉数据，因为语义相似性与视觉相似性相关。这个假设可能看起来微不足道，但对于此类语义方法的应用至关重要。任何违规行为都可能导致错误预测。因此，对于特定的目标问题，检查视觉语义关系是很重要的。在本文中，我们使用五种不同的语义和视觉相似性度量来彻底分析关系，而不过分依赖于任何单一的定义。我们假设和验证三个高度重要的假设的关系。我们的研究结果表明，它确实存在，WordNet的语义相似性进行更多的信息，视觉相似性不仅仅是知识的“不同的类看起来不同”。他们认为，分类不是语义方法的理想应用，错误的语义信息比没有更糟糕。
2019-05-31 cs.CV
Progressive Semantic-Visual Mutual Adaption for Generalized Zero-Shot Learning
Beijing Jiaotong University（北京交通大学）；Hefei University of Technology（合肥工业大学）
广义零样本学习（Generalized Zero-Shot Learning，简称GSML）依靠视觉信息和语义信息之间的内在交互作用，通过从已知领域中转移的知识来识别未知类别。现有的工作主要定位区域对应的共享属性。当不同的视觉外观对应于相同的属性时，共享属性不可避免地引入语义歧义，阻碍了精确的语义-视觉交互的探索。在本文中，我们部署的双重语义视觉Transformer模块（DSVTM）逐步建模属性原型和视觉特征之间的对应关系，构成一个渐进的语义视觉相互适应（PSVMA）网络的语义消歧和知识的可转移性的改善。具体来说，DSVTM设计了一个实例驱动的语义编码器，学习以实例为中心的原型，以适应不同的图像，使不匹配的语义视觉对重铸成匹配的。然后，语义驱动的实例解码器加强了语义相关的实例适应匹配对之间的准确的跨域交互，鼓励生成明确的视觉表示。此外，为了减轻对看到的类在GALML的偏见，提出了去偏置损失，以追求看到的和看不见的预测之间的响应一致性。PSVMA始终产生优于其他国家的最先进的方法的性能。代码将在https://github.com/ManLiuCoder/PSVMA上提供。
2023-03-27 cs.CV
MHSAN: Multi-Head Self-Attention Network for Visual Semantic Embedding
Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术研究院（KAIST））；Lunit Inc.（Lunit公司）
视觉语义嵌入支持各种任务，如图像-文本检索、图像描述和视觉问答。成功的视觉语义嵌入的关键是通过考虑它们之间的复杂关系来正确地表达视觉和文本数据。虽然以前的研究已经取得了很大的进步，通过编码的视觉和文本数据到一个联合空间，类似的概念是紧密定位，他们往往表示数据由一个单一的向量，忽略了在图像或文本中的多个重要组件的存在。因此，除了联合嵌入空间之外，我们还提出了一种新的多头自注意网络，通过关注数据中的重要部分来捕获视觉和文本数据的各种成分。我们的方法在MS-COCO和Flicker 30 K数据集上的图像-文本检索任务中实现了新的最先进的结果。通过可视化的注意力地图，捕捉不同的语义成分在图像和文本中的多个位置，我们证明了我们的方法实现了一个有效的和可解释的视觉语义联合空间。
2020-01-11 cs.CL cs.CV cs.LG
Jointly Visual- and Semantic-Aware Graph Memory Networks for Temporal Sentence Localization in Videos
Peking University（北京大学）；Huazhong University of Science and Technology（华中科技大学）
视频中的时间句子定位（TSLV）旨在根据给定的句子查询，从未经裁剪的视频中检索出最感兴趣的片段。然而，现有的TSLV方法都存在以下局限性：（1）它们只关注框架级或对象级的视觉表示学习和相关推理，而没有将两者结合起来;（2）它们忽略了利用丰富的语义上下文来进一步促进查询推理。为了解决这些问题，在本文中，我们提出了一种新的层次视觉和语义感知推理网络（HVSARN），它使视觉和语义感知查询推理从对象级到帧级。具体而言，我们提出了一种新的图记忆机制来执行视觉语义查询推理：对于视觉推理，我们设计了一个视觉图记忆，利用视频的视觉信息;对于语义推理，语义图记忆也被引入，显式地利用包含在视频对象的类和属性的语义知识，并在语义空间进行相关推理。三个数据集上的实验表明，我们的HVSARN实现了一个新的国家的最先进的性能。
2023-03-15 cs.CV
Probing Multimodal Embeddings for Linguistic Properties: the Visual-Semantic Case
Umeå University（于默奥大学）
语义嵌入已经推进了无数自然语言处理任务的技术水平，并且已经提出了对多模态域的各种扩展，例如视觉语义嵌入。虽然视觉语义嵌入的力量来自于通过机器学习对信息的提炼和丰富，但人们对它们的内部工作原理知之甚少，而且缺乏分析工具。为了解决这个问题，我们将探测任务的概念推广到视觉语义的情况下。为此，我们（一）讨论了探测任务的形式化嵌入的图像字幕对，（二）在我们的一般框架内定义三个具体的探测任务，（三）训练分类器探测这些属性，（四）比较各种国家的最先进的嵌入镜头下提出的探测任务。我们的实验显示，与相应的单峰嵌入相比，视觉语义嵌入的准确性提高了12%，这表明前者所表示的文本和图像维度确实相互补充。
2021-02-22 cs.CL cs.CV cs.LG
Language Models as Zero-shot Visual Semantic Learners
University of Southampton（南安普顿大学）
视觉语义嵌入（VSE）模型将图像映射到丰富的语义嵌入空间，是对象识别和零样本学习的里程碑。目前的VSE方法严重依赖于静态词嵌入技术。在这项工作中，我们提出了一个视觉语义嵌入探针（VSEP），旨在探测上下文词嵌入的视觉语义理解任务中的语义信息。我们发现，编码在Transformer语言模型中的知识可以用于需要视觉语义理解的任务。具有上下文表示的VSEP可以作为组合zero-shot学习器在复杂场景中区分单词级对象表示。我们进一步引入了一个zero-shot设置与VSEP评估模型的能力，一个新的视觉类别与一个新的词。我们发现，当对象的组合链较短时，语言模型中的语境表征优于静态词嵌入。我们注意到，目前的视觉语义嵌入模型缺乏互斥偏见，限制了他们的性能。
2021-07-26 cs.CV
Multi-modal Text Recognition Networks: Interactive Enhancements between Visual and Semantic Features
KAIST（韩国科学技术院）；NAVER Corp.（NAVER公司）；Upstage（Upstage公司）
语言知识通过提供语义来细化字符序列，为场景文本识别带来了巨大的好处。然而，由于语言知识已被单独应用于输出序列，以前的方法没有充分利用语义来理解文本识别的视觉线索。本文介绍了一种新的方法，称为多模态文本识别网络（MATRN），使视觉和语义特征之间的相互作用，以更好的识别性能。具体来说，MATRN识别视觉和语义特征对，并将空间信息编码为语义特征。在空间编码的基础上，通过参照其他模态中的相关特征来增强视觉和语义特征。此外，MATRN通过在训练阶段隐藏与字符相关的视觉线索来刺激将语义特征结合到视觉特征中。我们的实验表明，MATRN实现国家的最先进的性能在七个基准与大利润率，而天真的两种方式的组合显示不太有效的改进。进一步的烧蚀研究证明了我们提出的组件的有效性。我们的实现可以在https://github.com/wp03052/MATRN上获得。
2022-08-13 cs.CV
Aligning Visual and Lexical Semantics
University of Trento（特伦托大学）
讨论了与计算机视觉系统相关的两种语义--视觉语义和词汇语义。视觉语义学关注的是人类在使用视觉感知目标现实时如何构建概念，而词汇语义学关注的是人类如何通过使用语言构建同一目标现实的概念。视觉和词汇语义之间缺乏一致性，反过来，对CV系统的语义差距问题（SGP）的形式产生了重大影响。本文在广泛举例说明上述缺乏一致性的同时，引入了一种通用的、与领域无关的方法来加强视觉语义和词汇语义之间的一致性。
2022-12-13 cs.AI cs.CV
Decoupling Visual-Semantic Feature Learning for Robust Scene Text Recognition
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）
语义信息在场景文本识别中被证明是有效的。大多数现有的方法倾向于在基于注意力的解码器中耦合视觉和语义信息。因此，语义特征的学习容易对训练集的有限词汇产生偏差，这就是词汇依赖。在本文中，我们提出了一种新的视觉语义解耦网络（VSDN）来解决这个问题。我们的VSDN包含一个视觉解码器（VD）和一个语义解码器（SD），分别学习更纯粹的视觉和语义特征表示。此外，语义编码器（SE）的设计，以匹配SD，这可以预先训练在一起，通过一个简单的单词校正任务，额外的廉价的大词汇。从而使语义特征更加公正、准确，指导视觉特征对齐，丰富了最终的字符表示。实验表明，我们的方法实现了最先进的或有竞争力的结果在标准的基准测试，并优于流行的基线的情况下，训练集有一个小的词汇量的大幅度。
2021-11-24 cs.CV
Visual and Semantic Prompt Collaboration for Generalized Zero-Shot Learning
Beijing University of Technology（北京工业大学）；Macquarie University（麦考瑞大学）
本文提出视觉与语义提示协作框架，通过提示调优和分层融合机制，实现高效特征适配，解决广义零样本学习中的视觉-语义对齐与过拟合问题。
2025-03-29 cs.CV
Zero-Shot Recognition using Dual Visual-Semantic Mapping Paths
Zhejiang University（浙江大学）
Zero-shot识别的目标是通过使用图像特征空间和语义嵌入空间之间的共享视觉语义映射来准确地识别不可见类别的对象。该映射是在可见类的训练数据上学习的，并且预期具有到不可见类的转移能力。在本文中，我们解决这个问题，利用语义空间流形和视觉语义映射的传输能力之间的内在关系。我们形式化他们的连接和铸造zero-shot识别作为一个联合优化问题。基于此，我们提出了一个新的框架，zero-shot识别，其中包含双重视觉语义映射路径。我们的分析表明，该框架不仅可以应用先验语义知识来推断图像特征空间中的潜在语义流形，而且还可以生成优化的语义嵌入空间，这可以增强视觉语义映射到不可见类的传递能力。在四个基准数据集上对所提出的方法进行了zero-shot识别评估，取得了优异的效果。
2017-03-20 cs.CV
Semantic Diversity versus Visual Diversity in Visual Dictionaries
SAMSUNG Research Institute（三星研究院）；School of Electrical and Computing Engineering, University of Campinas (Unicamp)（坎皮纳斯大学（Unicamp）电气与计算机工程学院）；Institute of Computing, University of Campinas (Unicamp)（坎皮纳斯大学（Unicamp）计算研究所）
视觉词典是基于视觉词袋（BoVW）模型的图像分类/检索系统的重要组成部分。字典通常在没有监督的情况下从感兴趣的集合中采样的图像训练集学习。然而，对于大型、通用、动态图像集合（例如，Web），获得语义概念方面的代表性样本并不简单。本文从语义学的角度分析了语义多样性对词典质量的影响，旨在验证语义多样性在视觉词典视觉多样性中的重要性。在实验中，我们改变了用于创建字典的类的数量，然后使用多个码本大小和不同的编码和池化方法（标准BoVW和Fisher向量）计算不同的BoVW描述符。图像分类的结果表明，由于视觉词典是基于低层次的视觉外观，视觉多样性比语义多样性更重要。我们的结论打开了机会，以减轻负担，在生成视觉词典，因为我们只需要一个视觉上不同的图像集，而不是整个集合，以创建一个良好的字典。
2015-11-20 cs.CV
Visual Semantic Entropy: Do Vision Language Models Recognize Visual Ambiguity?
Australian Institute for Machine Learning, Adelaide University（澳大利亚机器学习研究所，阿德莱德大学）；Flinders University（弗林德斯大学）
针对视觉语言模型在模糊输入下产生自信错误预测的问题，提出视觉语义熵（VSE），通过仅扰动图像并聚类生成答案的语义原型来量化不确定性，在五个模型和五个基准上达到最优。
2026-07-01 cs.AI cs.CL cs.CV
TB-AVA: Text as a Semantic Bridge for Audio-Visual Parameter Efficient Finetuning
AI2 Lab, KAIST（AI2实验室，韩国科学技术院）
本文提出利用文本作为语义桥梁，通过冻结音频和视觉编码器构建参数高效微调框架，实现音频与视觉流的文本介导交互，实验表明其在多个基准上取得最佳性能。
2026-05-13 cs.CV
Visualizing and Describing Fine-grained Categories as Textures
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
我们分析了如何从最近的FGVC挑战类别可以描述其纹理内容。其动机是，鸟类或蝴蝶物种之间的细微差异通常可以用与它们相关的纹理来描述，并且几个性能最好的网络受到基于纹理表示的启发。这些表示的特点是二阶滤波器激活的无序池化，例如双线性CNN和iNaturalist 2018挑战赛的获胜者。具体来说，对于每个类别，我们（i）通过获得输入x来可视化“最大图像”，该输入x根据基于纹理的深度网络最大化特定类别的概率，以及（ii）使用一组纹理属性自动描述最大图像。纹理字幕的模型是在我们正在进行的收集基于DTD数据集的可描述纹理数据集的工作中训练的。这些可视化表示纹理的哪些方面对于每个类别最具区别性，而描述则提供了基于语言的解释。
2019-07-02 cs.CV
Progressive Semantic-Guided Vision Transformer for Zero-Shot Learning
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Huazhong University of Science and Technology（华中科技大学）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）
提出ZSLViT，一种渐进式语义引导视觉Transformer，通过语义嵌入令牌学习和令牌融合，显式发现语义相关视觉表示并丢弃无关信息，在CUB、SUN、AWA2上显著提升零样本学习性能。
2024-07-22 cs.CV cs.LG
Adaptive Semantic-Visual Tree for Hierarchical Embeddings
Harbin Institute of Technology（哈尔滨工业大学）；JD AI Research（京东AI研究院）
抽象类别固有地形成具有不同概念抽象级别的语义层次结构，特别是对于细粒度的类别。这种层次结构编码了不同层次的各种类别之间的丰富相关性，可以有效地规范语义空间，从而使预测不那么模糊。然而，以往的细粒度图像检索的研究主要集中在语义相似性或视觉相似性。在实际应用中，仅仅使用视觉相似性可能无法满足消费者使用真实图像搜索商品的需求，例如，给定红色外套作为查询图像，我们可能仅基于视觉相似性在召回结果中得到红色套装，因为它们在视觉上相似。但用户实际上想要的是一件外套而不是西装，即使外套具有不同的颜色或纹理属性。我们介绍了这个新的问题的基础上photoshopping在实际工作中。这就是为什么要集成语义信息来规则化页边距，使“语义”先于“视觉”。为了解决这个新问题，我们提出了一个分层自适应语义视觉树（ASVT）来描述商品类别的架构，同时评估不同语义级别之间的语义相似性和同一语义类内的视觉相似性。语义信息满足了消费者对与查询相似商品的需求，而视觉信息优化了语义类内的相关性。在每一层，我们根据语义层次设置不同的边界，并将它们作为先验信息来学习细粒度的特征嵌入。为了评估我们的框架，我们提出了一个名为JDProduct的新数据集，其中包含从在线购物应用程序上的实际图像查询和官方商品图像中收集的分层标签。在公共CARS 196和CUB上的广泛实验结果-
2020-03-08 cs.CV
Aligning Linguistic Words and Visual Semantic Units for Image Captioning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Nanjing University of Science and Technology（南京理工大学）；Huawei Devices（华为终端）；University of Chinese Academy of Sciences（中国科学院大学）
图像描述试图生成由多个语言词组成的句子，这些语言词用于描述图像中的对象、属性和交互，在本文中表示为视觉语义单元。基于这一观点，本文提出了基于图卷积网络（Graph Convolutional Networks，GCN）的语义和几何对象交互模型，并充分利用语言词和视觉语义单元之间的对齐关系来实现图像描述。特别地，我们构造语义图和几何图，其中每个节点对应于视觉语义单元，即，对象、属性或两个对象之间的语义（几何）交互。因此，通过相应的GCN学习处理器获得每个单元的语义（几何）上下文感知嵌入。在每一个时间步，上下文门控注意模块作为输入的嵌入的视觉语义单元和分层对齐的当前单词与这些单元，首先决定哪种类型的视觉语义单元（对象，属性，或交互）的当前单词是关于，然后找到最相关的视觉语义单元下的这种类型。在具有挑战性的MS-COCO图像描述数据集上进行了广泛的实验，并报告了与最先进方法相比的优越结果。
2019-08-06 cs.CL cs.CV cs.LG
Learning to Model Multimodal Semantic Alignment for Story Visualization
University of Oxford（牛津大学）；TU Wien（维也纳工业大学）
故事可视化的目标是生成一系列图像来叙述多句故事中的每个句子，其中图像应该是真实的，并且在动态场景和人物之间保持全局一致性。目前的作品面临的问题，语义错位，因为他们的固定架构和输入方式的多样性。为了解决这个问题，我们通过学习在基于GAN的生成模型中匹配它们的语义级别来探索文本和图像表示之间的语义对齐。更具体地说，我们根据学习引入动态交互，以动态地探索各种语义深度，并在匹配的语义水平上融合不同的模态信息，从而缓解文本-图像语义错位问题。在不同数据集上进行的大量实验表明，与最先进的方法相比，我们的方法在图像质量和故事一致性方面都有所改进，既不使用分割掩码，也不使用辅助字幕网络。
2022-11-14 cs.CL cs.CV cs.LG
Multi-modal Visual Understanding with Prompts for Semantic Information Disentanglement of Image
本文研究基于提示的图像多模态视觉理解，结合视觉与语言处理提升语义理解，提出新方法以更好地提取图像语义信息。
2023-05-16 cs.AI cs.CL cs.CV
What Remains of Visual Semantic Embeddings
University of Southampton（南安普顿大学）
零样本学习（Zero Shot Learning，简称ZOL）与儿童识别新事物的机制密切相关，近十年来引起了人们极大的兴趣。虽然视觉语义嵌入模型的不同范例被设计为对齐视觉特征和分布式单词表示，但目前还不清楚当前的语义嵌入模型在多大程度上编码来自分布式单词表示的语义信息。在这项工作中，我们将分层ImageNet的拆分引入到了CNET任务中，以避免标准ImageNet基准测试中的结构缺陷。我们为ZSL构建了一个统一的框架，以对比学习作为预训练，保证了语义信息不泄露，并鼓励线性可分离的视觉特征。我们的工作使得它公平的评估视觉语义嵌入模型的语义推理是决定性的设置上的一个CNOL。有了这个框架，我们表明，目前的CNOL模型的斗争与编码的语义关系，从词的类比和词的层次结构。我们的分析提供了动机，探索的作用，语境语言表征在CNOL任务。
2021-07-26 cs.CV
Win-Win Fusion: Multi-Modal Image Fusion with Visual-Semantic Collaboration
Electronic Information School, Wuhan University（武汉大学电子信息学院）
本研究针对多模态图像融合中视觉与语义域的优化差距，提出W2F视觉-语义协作范式，通过特定损失、注意力机制及梯度校正策略实现性能提升，在视觉吸引力与决策准确性上超越现有方法。
2026-10-12 cs.CV
DVI: Disentangling Semantic and Visual Identity for Training-Free Personalized Generation
iFLYTEK
DVI通过解构语义与视觉身份，实现无训练个性化生成，提升视觉一致性和氛围保真度。
2025-12-22 cs.CV
PSVMA+: Exploring Multi-granularity Semantic-visual Adaption for Generalized Zero-shot Learning
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Hefei University of Technology（合肥工业大学）；National University of Singapore（新加坡国立大学）
针对广义零样本学习中属性与实例多样性导致的视觉-语义对应不足问题，提出多粒度渐进语义-视觉自适应网络PSVMA+，通过双语义-视觉变换器模块重塑属性并聚合视觉区域，结合选择性跨粒度学习融合多粒度特征，持续优于现有方法。
2024-10-15 cs.CV
The emergence of visual semantics through communication games
University of Southampton（南安普顿大学）
近年来，智能体之间的通信系统的出现引起了人们的广泛关注，智能体学会用逼真的图像玩参考信号游戏。大部分工作都集中在使用固定的，预训练的图像特征提取网络，潜在的偏见的信息，代理学习沟通。在这项工作中，我们考虑一个信号游戏设置中，一个“发送者”代理必须沟通的信息，一个“接收者”谁必须选择正确的图像从许多干扰。我们调查的效果的特征提取器的权重和解决的任务上学习的模型的视觉语义。我们首先演示了在何种程度上使用预训练的特征提取网络诱导偏见的视觉语义传达的紧急通信渠道和量化的视觉语义诱导。然后，我们继续探索如何引入归纳偏见，以鼓励出现语义上有意义的沟通，而不需要任何形式的监督预训练的视觉特征提取器。我们对输入图像和游戏中的附加任务进行了各种增强，目的是诱导捕获图像概念属性的视觉表示。通过我们的实验，我们证明了捕捉视觉语义的通信系统可以通过玩正确类型的游戏以完全自我监督的方式学习。我们的工作弥合了紧急通信研究和自我监督特征学习之间的差距。
2021-01-25 cs.CL cs.CV cs.LG
Describing Common Human Visual Actions in Images
California Institute of Technology（加州理工学院）
在单目静止图像中，哪些常见的人类行为和交互是可识别的？哪些涉及对象和/或其他人？一个人一次表演多少个？我们通过探索MS COCO数据集图像中可检测到的动作和相互作用来解决这些问题。我们做出了两个主要贡献。首先，140个常见的“视觉动作”的列表，通过分析最大的在线动词词典目前可用于英语（VerbNet）和人类的句子来描述图像在MS COCO。第二，对这些“视觉动作”的一套完整的注释，由主语-宾语和相关的动词组成，我们称之为COCO-a（动作的a）。COCO-a在动作和这些动作的实例数量方面比现有的动作数据集更大，并且是独特的，因为它是数据驱动的，而不是实验者偏见。其他独特的特点是，它是详尽的，所有的主体和客体都是本地化的。我们的注释和每个动作的准确性的统计分析，互动和主体-客体组合。
2015-06-07 cs.CV
Finding beans in burgers: Deep semantic-visual embedding with localization
Sorbonne université（索邦大学）；Technicolor（特艺集团）
有几项工作提出了学习一个双路径神经网络，该网络将图像和文本分别映射到同一个共享的欧几里得空间，在该空间中，几何结构捕获有用的语义关系。这种多模态嵌入可以被训练并用于各种任务，特别是图像描述。在目前的工作中，我们引入了一个新的架构，这种类型的视觉路径，利用最近的空间感知池机制。结合从头开始联合训练的文本路径，我们的语义视觉嵌入提供了一个通用的模型。一旦在字幕图像的监督下训练，它就会在跨模态检索上产生新的最先进的性能。它还允许将新概念从嵌入空间本地化到任何输入图像中，从而在短语的视觉基础上提供最先进的结果。
2018-04-06 cs.CL cs.CV cs.LG
Neuroscience-inspired Staged Representation Learning with Disentangled Coarse- and Fine-Grained Semantics for EEG Visual Decoding
School of Information and Communication Technology, Griffith University（信息与通信技术学院，格里菲斯大学）
本文提出了一种受神经科学启发的分阶段表征学习框架，通过解纠缠的粗粒度和细粒度语义来改进EEG视觉解码，解决了现有方法在人类视觉处理分阶段和层次特性方面的不足。
2026-05-21 cs.CV
Unsupervised semantic discovery through visual patterns detection
Ca’ Foscari University（威尼斯大学）
我们提出了一种新的快速完全无监督的方法来发现语义模式。我们的算法是能够分层找到视觉类别，并产生一个分割掩模，以前的方法失败。通过对图像中的视觉模式进行建模，我们引入了“语义级别”的概念，并设计了一个概念框架以及措施和专用的基准数据集，用于未来的比较。我们的算法由两个阶段组成。过滤阶段，其通过累加器空间选择语义热点，然后聚类阶段，其在超像素的基础上传播热点的语义属性。我们提供了定性和定量的实验验证，在对噪声和语义一致性的鲁棒性方面取得了最佳结果。我们还公开了代码和数据集。
2021-02-24 cs.CV
SemanticMIM: Marring Masked Image Modeling with Semantics Compression for General Visual Representation
Zhejiang University（浙江大学）；IntSig Information Co. Ltd（影谱科技股份有限公司）
本文提出 SemanticMIM 框架，通过代理架构连接对比学习的语义压缩与 MIM 的重建阶段，学习兼具语义和位置感知的通用视觉表征，并提升性能、线性可分性与可解释性。
2024-06-15 cs.CV
Beyond Visual Semantics: Exploring the Role of Scene Text in Image Understanding
IIT Jodhpur（印度理工学院焦特布尔分校）；University of Rouen（鲁昂大学）；Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）
具有视觉和场景文本内容的图像在日常生活中无处不在。然而，当前的图像判读系统大多局限于仅使用视觉特征，而忽略了利用场景文本内容。在本文中，我们提出了联合使用场景文本和视觉通道强大的图像语义解释。我们不仅提取和编码视觉和场景文本线索，而且还建模它们的相互作用，以生成具有更丰富语义的上下文联合嵌入。因此产生的上下文嵌入应用于检索和分类任务的多媒体图像，场景文本内容，以证明其有效性。在检索框架中，我们增加了我们学到的文本视觉语义表示与场景文本线索，以减轻词汇失误，可能发生在语义嵌入。为了处理场景文本的不相关或错误识别，我们还将基于查询的注意力应用于我们的文本通道。我们展示了如何多通道的方法，涉及视觉语义和场景文本，提高了最先进的。
2019-12-04 cs.CV
Dense Semantic 3D Map Based Long-Term Visual Localization with Hybrid Features
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
视觉定位在许多应用中起着重要的作用。然而，由于季节和光照变化，以及天气和昼夜变化等大的外观变化，它仍然是一个很大的挑战，鲁棒的长期视觉定位算法。在本文中，我们提出了一种新的视觉定位方法，使用混合手工制作和学习功能与密集的语义3D地图。混合特征有助于我们在不同的成像条件下充分利用它们的优势，而密集的语义图为我们提供了可靠和完整的几何和语义信息，用于构建足够的具有语义一致性得分的2D-3D匹配对。在我们的流水线中，我们通过稠密模型和查询图像之间的语义一致性来检索和评分每个候选数据库图像。然后，语义一致性得分被用作软约束的加权RANSAC的Puppose求解器。长期的视觉定位基准的实验结果表明，我们的方法相比，国家的最先进的有效性。
2020-05-21 cs.CV
Semantic Nearest Neighbor Fields Monocular Edge Visual-Odometry
边缘检测和分割的深度学习的最新进展为基于语义边缘的自我运动估计开辟了一条新途径。在这项工作中，我们提出了一个强大的单目视觉里程计（VO）框架，使用类别感知的语义边缘。它可以在具有挑战性的户外环境中重建大规模语义地图。我们的方法的核心是一个语义最近邻场，促进了强大的数据关联的边缘跨帧使用语义。这在跟踪阶段显著地扩大了收敛半径。所提出的边缘配准方法可以很容易地集成到直接VO框架来估计光度，几何和语义一致的相机运动。不同类型的边缘进行评估和广泛的实验表明，我们提出的系统优于国家的最先进的间接，直接和语义单眼VO系统。
2019-04-01 cs.CV
3D-PointZshotS: Geometry-Aware 3D Point Cloud Zero-Shot Semantic Segmentation Narrowing the Visual-Semantic Gap
Syracuse University（雪城大学）
针对现有零样本3D点云分割方法迁移能力有限的问题，提出几何感知框架3D-PointZshotS，通过潜在几何原型增强特征生成与对齐，引入自一致性损失提升鲁棒性，在三个数据集上的调和mIoU优于基线。
2025-04-16 cs.CV
Semantic-Preserving Cross-Style Visual Reasoning for Robust Multi-Modal Understanding in Large Vision-Language Models
SANNO University（产业能率大学）
针对大型视觉-语言模型中的风格陷阱问题，提出SP-CSVR框架，通过风格-内容解耦、少样本适应和对比学习实现跨风格语义不变性，在视觉描述、问答和风格适应任务上达到最先进性能。
2025-10-26 cs.CV
Primitive Generation and Semantic-related Alignment for Universal Zero-Shot Segmentation
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）
本文提出一种基于生成模型和语义相关对齐的通用零样本分割方法，通过原始特征组装与特征解耦，实现全景、实例和语义分割的最先进性能。
2023-06-19 cs.CV
Visual Localization Using Semantic Segmentation and Depth Prediction
OPPO Research Institute（OPPO研究院）
在本文中，我们提出了一个单目视觉定位管道利用语义和深度线索。我们应用语义一致性评价对图像检索结果进行排序，并使用一种实用的聚类技术来拒绝估计离群值。此外，我们证明了一个显着的性能提升实现了多个特征提取器的组合。此外，通过使用深度预测与深度神经网络，我们表明，大量的错误匹配的关键点被识别和消除。在2020年的长期视觉定位基准测试中，拟议的管道优于大多数现有方法。
2020-05-25 cs.CV
Semantic speech retrieval with a visually grounded model of untranscribed speech
Stellenbosch University（斯泰伦博斯大学）；TTI-Chicago（芝加哥丰田技术研究所）
人们对可以从与视觉上下文配对的未标记语音中学习的模型越来越感兴趣。此设置与低资源语音处理、机器人和人类语言习得研究相关。在这里，我们研究了一个基于视觉的语音模型，在与口头字幕配对的场景图像上训练，如何捕捉语义的各个方面。我们使用外部图像标记器从图像中生成软文本标签，这些标签作为神经模型的目标，将未转录的语音映射到（语义）关键字标签。我们引入了一个新收集的数据集的人类语义相关性判断和相关的任务，语义语音检索，其目标是搜索口语的语义相关的一个给定的文本查询。在没有看到任何文本的情况下，在并行语音和图像上训练的模型在其十大语义检索中达到了近60%的精度。与在transmittance上训练的监督模型相比，我们的模型在某些方面更好地匹配人类的判断，特别是在检索非逐字语义匹配方面。我们进行了广泛的分析模型及其产生的表示。
2018-10-31 cs.CL cs.CV eess.AS
Describing Sets of Images with Textual-PCA
Tel Aviv University（特拉维夫大学）
我们试图从语义上描述一组图像，捕捉单个图像的属性和集合内的变化。我们的过程类似于主成分分析，其中投影向量的作用被替换为生成的短语。首先，生成与集合中的图像具有最大平均语义相似度的质心短语，其中相似度的计算和生成都基于预训练的视觉语言模型。然后，使用相同的模型来生成在相似性分数中生成最高变化的短语。下一个短语最大化方差，该方差在潜在空间中正交于最高方差短语，并且该过程继续。我们的实验表明，我们的方法是能够令人信服地捕捉图像集的本质，并在整个集合的上下文中以语义上有意义的方式描述单个元素。我们的代码可在https://github.com/OdedH/textual-pca上获取。
2022-10-21 cs.AI cs.CL cs.CV
Bi-Adversarial Auto-Encoder for Zero-Shot Learning
Tianjin University（天津大学）；Binghamton University（宾汉姆顿大学）；Zhejiang University（浙江大学）
现有的生成式零样本学习（Zero-Shot Learning，简称ZRL）方法只考虑了类语义到视觉特征的单向对齐，而忽略了视觉特征到类语义的对齐，无法很好地构建视觉-语义交互。在本文中，我们提出了基于自动编码器框架与双对抗网络分别为视觉和语义模态合成视觉特征，以加强与双向对齐的视觉-语义交互，这确保了合成的视觉特征符合真实的视觉分布并与语义高度相关。编码器的目标是合成真实的视觉特征，而解码器则迫使真实的和合成的视觉特征与类语义更加相关。为了进一步捕获合成视觉特征的判别信息，通过分类网络将真实视觉特征和合成视觉特征都强制分类到正确的类别中。在四个基准数据集上的实验结果表明，该方法在传统的并行任务和广义并行任务上都具有很强的竞争力。
2018-11-20 cs.CV
R-VQA: Learning Visual Relation Facts with Semantic Attention for Visual Question Answering
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；East China Normal University（华东师范大学）；Microsoft Corporation（微软公司）
近年来，视觉问答（VQA）已经成为多模态学习中最重要的任务之一，因为它需要理解视觉和文本模态。现有的方法主要依靠提取图像和问题特征，通过多模态融合或注意力机制学习它们的联合特征嵌入。最近的一些研究利用外部VQA独立的模型来检测图像中的候选实体或属性，作为VQA任务的语义知识的补充。然而，这些候选实体或属性可能与VQA任务无关，并且具有有限的语义能力。为了更好地利用图像中的语义知识，我们提出了一个新的框架来学习视觉关系事实的VQA。具体地说，我们建立了一个基于视觉基因组数据集通过一个语义相似性模块，其中每个数据由一个图像，一个相应的问题，一个正确的答案和一个支持关系事实的R-VQA（R-VQA）数据集。一个定义良好的关系检测器，然后采用预测视觉问题相关的关系事实。我们进一步提出了一个由视觉注意和语义注意组成的多步注意模型，用于提取相关的视觉知识和语义知识。我们在两个基准数据集上进行了全面的实验，证明了我们的模型达到了最先进的性能，并验证了考虑视觉关系事实的好处。
2018-07-20 cs.AI cs.CL cs.CV
The Roles of Contextual Semantic Relevance Metrics in Human Visual Processing
Institute of Natural Language Processing, Stuttgart University（斯图加特大学自然语言处理研究所）
本研究引入上下文语义相关性指标，结合深度学习技术分析眼动数据，发现融合视觉与语言的组合指标能更精确预测人类视觉注视行为，揭示了多模态信息在视觉处理中的交互作用。
2024-10-13 cs.CV
Granulon: Awakening Pixel-Level Visual Encoders with Adaptive Multi-Granularity Semantics for MLLM
National University of Singapore（国立新加坡大学）；Nanyang Technological University（南洋理工大学）
Granulon通过自适应多粒度语义增强，提升多模态大语言模型的像素级视觉理解和多粒度推理能力。
2026-03-09 cs.CV
Visual Localization Using Sparse Semantic 3D Map
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在包括季节和光照变化以及天气和昼夜变化的大范围观看条件变化下的准确和鲁棒的视觉定位是许多计算机视觉和机器人应用的关键组成部分。在这些条件下，大多数传统的方法将无法定位相机。本文提出了一种结合结构和图像的视觉定位算法。给定关于查询和数据库图像的语义信息，根据3D模型和查询图像的语义一致性对检索到的图像进行评分。然后，语义匹配得分被用作权重的RANSAC的采样和姿势是由一个标准的Pestrian求解器解决。在具有挑战性的长期视觉定位基准数据集上的实验表明，与现有的方法相比，该方法具有显着的改进。
2019-05-17 cs.CV
