用于视觉理解的结构化标签推理

基于结构化预测的选择性伪标记的无监督领域自适应

Unsupervised Domain Adaptation via Structured Prediction Based Selective Pseudo-Labeling

Durham University（杜伦大学）

无监督领域自适应的目的是解决分类问题的未标记的样本从目标域，而标记的样本只能从源域和数据分布在这两个领域是不同的。因此，当直接应用于来自目标域的样本时，从源域中的标记样本训练的分类器遭受显著的性能下降。为了解决这个问题，已经提出了不同的方法来学习域不变特征或域特定分类器。在任何一种情况下，目标域中缺少标记的样本可能是一个问题，通常通过伪标记来克服。然而，不准确的伪标记可能会导致学习过程中灾难性的错误积累。在本文中，我们提出了一种新的基于结构化预测的选择性伪标记策略。结构化预测的想法受到以下事实的启发：目标域中的样本在深度特征空间内被很好地聚类，使得可以使用无监督聚类分析来促进准确的伪标记。在四个数据集（即EST-Caltech，EST 31，ImageCLEF-DA和EST-Home）上的实验结果验证了我们的方法优于当代最先进的方法。

2019-11-18cs.CVcs.LGcs.MM

学习聚集和细化用于视觉情感分析的噪声标签

Learning to Aggregate and Refine Noisy Labels for Visual Sentiment Analysis

University of Rochester（罗切斯特大学）

视觉情感分析近年来受到越来越多的关注。然而，数据集的质量是一个问题，因为情感标签是众包的，主观的，容易出错，并对数据驱动的模型构成严重威胁，特别是深度神经网络。当被训练为过度拟合带有噪声情感标签的训练样本时，深度模型在测试案例上的泛化能力很差。受噪声标签学习的最新进展的启发，我们提出了一种鲁棒的学习方法来执行鲁棒的视觉情感分析。我们的方法依赖于外部存储器来在训练过程中聚合和过滤噪声标签。存储器由具有相应标签的原型组成，可以在线更新。学习的原型及其标签可以被视为局部区域的去噪特征和标签，并且可以指导训练过程以防止模型过度拟合噪声情况。我们建立了一个基准的视觉情感分析与标签噪声使用公开的数据集。在所提出的基准测试环境下的实验结果全面验证了该方法的有效性。

2022-01-27cs.CVcs.LG

通过分段伪标签推进弱监督音视频视频解析

Advancing Weakly-Supervised Audio-Visual Video Parsing via Segment-wise Pseudo Labeling

Hefei University of Technology（合肥工业大学）；Shanghai AI Laboratory（上海人工智能实验室）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）；Anhui Zhonghuitong Technology Co., Ltd.（安徽中汇通科技有限公司）

本文提出一种分段伪标签生成策略，利用CLIP和CLAP预训练模型生成片段级音视频伪标签，结合类别与片段丰富度的损失函数及标签去噪策略，在LLP数据集上实现了最先进的弱监督音视频解析性能。

2024-06-03cs.CVcs.MM

SpatialMath: 基于空间认知的符号推理框架用于数学问题解决

SpatialMath: Spatial Comprehension-Infused Symbolic Reasoning for Mathematical Problem-Solving

Indian Institute of Technology Delhi（印度理工学院德里）；Indian Institute of Technology Abu Dhabi（印度理工学院阿布扎克）；Microsoft Research（微软研究院）

SpatialMath通过整合空间表示到结构化符号推理链中，提升多模态模型在视觉密集型数学问题中的推理能力。

2026-01-24cs.CLcs.CVcs.LG

利用结构化语义相关性改进缺失标签的多标签学习

Improving Multi-label Learning with Missing Labels by Structured Semantic Correlations

IHPC, A*STAR（高性能计算研究所，新加坡科技研究局）；School of Computer Science and Engineering, NTU（南洋理工大学计算机科学与工程学院）

多标记学习近年来在计算机视觉领域引起了广泛的关注，在多目标识别、图像自动标注等视觉任务中得到了广泛的应用。将多个标签与复杂图像相关联是非常困难的，这不仅是由于描述图像的复杂性，而且还因为观察到的标签的不完整性。现有的作品在这个问题上要么忽略了标签和实例的相关性，或只是假设这些相关性是线性和非结构化的。考虑到图像之间的语义相关性实际上是结构化的，本文提出将结构化的语义相关性结合起来，以解决多标签学习中的标签缺失问题。具体来说，我们将图像投影到具有有效语义描述符的语义空间。然后在这些图像上构建语义图以捕获它们之间的结构化关联。我们利用语义图拉普拉斯算子作为多标签学习公式中的平滑项，将结构化的语义相关性结合起来。实验结果表明，所提出的语义描述符的有效性和有用的结构化的语义相关性。我们在四个基准数据集上取得了比最先进的多标签学习方法更好的结果。

2016-08-04cs.CV

基于结构化知识图谱的多标记零样本学习

Multi-Label Zero-Shot Learning with Structured Knowledge Graphs

National Taiwan University（台湾大学）；Carnegie Mellon University（卡内基梅隆大学）

在本文中，我们提出了一种新的多标签零样本学习（ML-SLML）深度学习架构，该架构能够为每个输入实例预测多个看不见的类标签。受人类利用感兴趣的对象之间的语义知识的方式的启发，我们提出了一个框架，采用知识图谱来描述多个标签之间的关系。我们的模型从语义标签空间中学习信息传播机制，该机制可用于对可见和不可见类标签之间的相互依赖关系进行建模。这样的调查结构化知识图谱的视觉推理，我们表明，我们的模型可以应用于解决多标签分类和ML-TML任务。与最先进的方法相比，我们的方法可以实现相当或改进的性能。

2018-05-26cs.CV

部分标记数据结构化预测的主动学习

Active Learning for Structured Prediction from Partially Labeled Data

Simon Fraser University（西蒙弗雷泽大学）

我们提出了一个通用的结构化预测主动学习算法，收集标记的数据来训练一个模型，输出一组相关的标签的图像或视频。主动学习从有限的初始训练集开始，然后迭代向用户查询未标记数据上的标签并重新训练模型。我们提出了一种新的算法，选择数据标记，选择的例子，以最大限度地提高预期的信息增益的基础上的信念传播推理。这是一种通用方法，可以应用于各种任务或模型。作为一个具体的例子，我们展示了这个框架，学习识别人类的行动和视频序列中的群体活动。实验表明，我们提出的算法优于以前的主动学习方法，可以达到与完全监督方法相当的准确性，同时利用显着较少的标记数据。

2017-06-09cs.CV

探索结构化语义先验用于不完整标签下的多标签识别

Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels

Xidian University（西安电子科技大学）；Hangzhou Zhuoxi Institute of Brain and Intelligence（杭州卓兮脑与智能研究院）；Tsinghua University（清华大学）；BNRist（北京国家信息科学与技术研究中心）；the University of Sheffield（谢菲尔德大学）

本文针对不完整标签下的多标签识别，提出利用语义先验提示器构建标签间结构化语义先验，并设计SCPNet及先验增强自监督学习方法，在多个基准数据集上显著超越现有方法。

2023-07-11cs.CV

SA-VQA：面向视觉问答的视觉和语义表示的结构化对齐

SA-VQA: Structured Alignment of Visual and Semantic Representations for Visual Question Answering

Northwestern University（西北大学）；Microsoft Research（微软研究院）

可视化问答（Visual Question Questioning，VQA）是一个备受业界和学术界关注的问题。作为一个多模态任务，它是具有挑战性的，因为它不仅需要视觉和文本的理解，但也有能力调整跨模态表示。以前的方法广泛采用实体级的对齐，如视觉区域和它们的语义标签之间的相关性，或跨问题词和对象特征的相互作用。这些尝试旨在改善跨通道表征，而忽略了它们之间的内在联系。相反，我们建议应用结构化对齐，它与视觉和文本内容的图形表示一起工作，旨在捕捉视觉和文本模态之间的深层联系。然而，它是不平凡的表示和整合结构化的比对图。在这项工作中，我们试图解决这个问题，首先将不同的模态实体转换成连续的节点和邻接图，然后将它们结构化对齐。正如我们的实验结果所示，这样的结构化对齐提高了推理性能。此外，我们的模型还表现出更好的可解释性为每个生成的答案。该模型在没有任何预训练的情况下，在GQA数据集上的性能优于最先进的方法，并在VQA-v2数据集上击败了非预训练的最先进的方法。

2022-01-25cs.CV

用于弱监督指称表达式理解的学习结构化视觉组合表示

Learning Structured Visual Compositional Representations for Weakly Supervised Referring Expression Comprehension

The University of Western Australia（西澳大利亚大学）；Murdoch University（莫道克大学）；Sun Yat-sen University（中山大学）；The Hong Kong University of Science and Technology（香港科技大学）

针对弱监督指称表达式理解问题，提出结构化视觉组合表示学习框架，显式建模一元对象嵌入和成对关系嵌入，引入组合对齐机制，实验证明该方法有效。

2026-07-07cs.CV

用于视觉识别的深度注意结构化表示学习

Deep Attentional Structured Representation Learning for Visual Recognition

EPFL（洛桑联邦理工学院）

结构化表示，如Bags of Words，VLAD和Fisher Vectors，已被证明在处理复杂的视觉识别任务方面非常有效。因此，它们最近已被纳入深度架构中。然而，虽然有效，但由此产生的深度结构化表示学习策略通常会从整个图像中聚合局部特征，忽略了这样一个事实，即在复杂的识别任务中，某些区域提供比其他区域更多的区分信息。在本文中，我们引入了一个注意结构化的表示学习框架，它在聚合过程中引入了图像特定的注意力机制。我们的框架学习以端到端的方式联合预测图像类标签和注意力地图，并且除了目标标签之外没有任何其他监督。正如我们的实验所证明的那样，这始终优于注意力较少的结构化表示学习，并在标准场景识别和细粒度分类基准上产生最先进的结果。

2018-05-14cs.CV

面向空间结构任务的高迁移性基于变换的攻击统一空间对齐框架

A Unified Spatial Alignment Framework for Highly Transferable Transformation-Based Attacks on Spatially Structured Tasks

University of Macau（澳门大学）

本文提出统一空间对齐框架SAF，用于解决空间结构任务中基于变换的对抗攻击的迁移性问题，通过同步变换标签与输入以减少空间偏差，实验显示在Cityscapes、Kvasir-SEG和COCO数据集上效果显著。

2026-03-26cs.CV

场景图思维：增强多模态大语言模型的结构化视觉推理

Scene Graph Thinking: Reinforcing Structured Visual Reasoning for Multimodal Large Language Models

Fudan University（复旦大学）

针对多模态大语言模型忽视结构化关系的问题，提出场景图思维（SaGe）范式，通过自动数据引擎转换数据、构建训练数据，采用两阶段图对齐训练范式，在多模态基准测试中取得显著改进，提升细粒度感知和推理能力。

2026-07-14cs.CV

结构化文本中视觉关系意识的图像生成

Visual-Relation Conscious Image Generation from Structured-Text

The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）

我们提出了一个端到端的网络图像生成从给定的结构化文本，其中包括视觉关系布局模块和金字塔的GANs，即堆栈-GANs。我们的视觉关系布局模块以两种方式使用结构化文本中实体之间的关系：综合使用和单独使用。我们综合使用所有可用的关系一起定位所有实体的初始边界盒。我们也使用个别的关系分别预测从初始的边界框的关系单元的所有关系在输入文本。然后，我们统一所有的关系单元，以产生视觉关系布局，即，所有实体的边界框，使得它们中的每一个唯一地对应于每个实体，同时保持其所涉及的关系。我们的视觉关系布局反映了输入文本中给出的场景结构。堆栈GANs是三个GANs的堆栈，其条件是视觉关系布局和先前GAN的输出，一致地捕获场景结构。我们的网络以高分辨率逼真地渲染实体的细节，同时保持场景结构。在两个公共数据集上的实验结果表明，我们的方法优于最先进的方法。

2020-07-18cs.CV

STRAP：基于点监督的结构化物体可供性分割

STRAP: Structured Object Affordance Segmentation with Point Supervision

Beijing Institute of Technology（北京理工大学）；AIR, Tsinghua University（清华大学智能产业研究院）；Peking University（北京大学）

本文提出STRAP方法，针对点监督下的可供性分割，通过标签共现稠密化建模标签亲和性，并利用Transformer与正则化损失建模空间亲和性，在CAD120数据集上显著超越先前方法。

2023-04-17cs.CV

基于结构化分解重建的图像标签语义分割

Semantic Segmentation from Image Labels by Reconstruction from Structured Decomposition

本文提出将弱监督图像分割重新定义为基于掩码的图像分解重建问题，隐式嵌入正则化，在初步实验中表现出良好效果和对背景歧义的鲁棒性。

2024-09-02cs.CV

视觉问答的结构化注意

Structured Attentions for Visual Question Answering

ShanghaiTech University（上海科技大学）

视觉注意力是根据图像区域与问题的相关性对图像区域进行权重分配的过程，是大多数视觉问答模型中不可缺少的一部分。虽然问题可能涉及多个区域之间的复杂关系，但很少有注意力模型可以有效地编码这种跨区域关系。在本文中，我们通过在两个数据集上显示ResNet有限的有效感受野来证明编码这种关系的重要性，并提出将视觉注意力建模为图像区域上网格结构条件随机场的多元分布。我们演示了如何转换的迭代推理算法，平均场和循环的信念传播，作为一个端到端的神经网络的递归层。我们在3个数据集上对我们的模型进行了经验评估，其中它超过了新发布的CLEVR数据集的最佳基线模型9.5%，以及VQA数据集上最好的已发布模型1.25%。源代码可在https：//github.com/zhuchen03/vqa-sva上获得。

2017-08-07cs.CV

用于视觉识别的学习结构化语义嵌入

Learning Structured Semantic Embeddings for Visual Recognition

Tsinghua University（清华大学）；Virginia Tech（弗吉尼亚理工大学）；University of California, Merced（加利福尼亚大学默塞德分校）

许多嵌入模型已被探索，将语义知识的视觉识别。现有的方法通常专注于最小化嵌入空间中相应图像和文本之间的距离，但没有显式地优化底层结构。我们的关键观察是，成对的图像-图像关系的建模提高了嵌入模型的辨别能力。在本文中，我们提出了结构化的区别和差异的限制来学习视觉语义嵌入。首先，我们利用歧视性的约束来捕捉图像嵌入的类内和类间关系。区别性约束鼓励不同类别的图像实例的可分离性。其次，我们将一对图像嵌入之间的差向量与对应的词嵌入的差向量对齐。差异约束有助于正则化图像嵌入，以保持词嵌入之间的语义关系。广泛的评估表明，所提出的结构化嵌入的单标签分类，多标签分类，和zero-shot识别的有效性。

2017-06-05cs.CV

AeroRAG：结构化多模态检索增强型LLM用于细粒度航空视觉推理

AeroRAG: Structured Multimodal Retrieval-Augmented LLM for Fine-Grained Aerial Visual Reasoning

Research Center for Space Computing System, Zhejiang Lab, Hangzhou（杭州浙大实验室空间计算系统研究中心）；Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences, Hangzhou（中国科学院大学杭州高等研究院）；School of Cyber Science and Engineering, Zhengzhou University（郑州大学计算机科学与工程学院）；School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）

本文提出AeroRAG，通过结构化场景图引导的多模态检索增强生成框架，解决航空场景中视觉问答的挑战，提升对小物体、数量、位置及物体关系的推理能力。

2026-07-14cs.CV

基于组合感知学习的结构化视觉搜索

Structured Visual Search via Composition-aware Learning

QUvA Lab, University of Amsterdam（阿姆斯特丹大学QUvA实验室）；University of Amsterdam（阿姆斯特丹大学）

本文研究了基于结构化查询的视觉搜索。该结构是以2D组合的形式，对对象的位置和类别进行编码。对象的位置和类别的变换导致视觉组成之间的连续值关系，其携带高度有益的信息，尽管没有被先前的技术利用。为此，在这项工作中，我们的目标是通过使用等方差对称的概念来利用这些连续的关系。我们的模型输出被训练成相对于输入变换对称地变化，从而产生敏感的特征空间。这样做会导致一种高效的搜索技术，因为我们的方法使用更小的特征空间从更少的数据中学习。在MS-COCO和HICO-DET两个大规模基准测试上的实验表明，我们的方法在性能上比竞争技术有相当大的提高。

2020-10-27cs.CV

PixelCraft：一个面向结构化图像高保真视觉推理的多智能体系统

PixelCraft: A Multi-Agent System for High-Fidelity Visual Reasoning on Structured Images

Microsoft Research（微软研究院）；Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港理工大学）

针对MLLM在图表和几何图形上的感知与推理难题，提出PixelCraft多智能体系统，融合像素级定位、CV工具、动态讨论与图像记忆，显著提升结构化图像推理性能。

2025-09-29cs.CV

用于多镜头视听视频生成的带高质量数据集的结构化有状态关系脚本

Structured Stateful Relational Scripts with a High-Quality Dataset for Multi-Shot Audio-Visual Video Generation

State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Meituan（美团）

针对多镜头视听视频生成中跨镜头一致性与视听对齐不足的问题，提出结构化有状态关系脚本SSRS，构建配套数据集MSAV-Script-100K，实验验证其可提升生成效果。

2026-10-14cs.CV

基于标号关系的结构化推理神经网络学习

Learning Structured Inference Neural Networks with Label Relations

Simon Fraser University（西蒙菲莎大学）；Zhejiang University（浙江大学）

场景图像具有多种对象和丰富的属性，可以进行不同层次的视觉分类。一个自然的图像可以被赋予描述主要组件的细粒度标签，描述高级抽象的粗粒度标签或揭示属性的一组标签。在不同概念层的这种分类可以用编码标签信息的标签图来建模。在本文中，我们使用最先进的深度学习框架来利用这些丰富的信息，并提出了一种通用的结构化模型，该模型利用不同的标签关系来提高图像分类性能。我们的方法采用了一种新的堆叠标签预测神经网络，捕获层间和层内标签语义。我们在基准图像数据集上评估了我们的方法，实证结果说明了我们模型的有效性。

2016-10-24cs.CVcs.LG

面向弱监督音视频视频解析的强化标签去噪

Reinforced Label Denoising for Weakly-Supervised Audio-Visual Video Parsing

Shandong University（山东大学）；Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））；Shandong Computer Science Center (National Supercomputer Center in Jinan)（山东省计算中心（国家超级计算济南中心））

本文提出基于联合强化学习的标签去噪方法RLLD，通过AVVP验证与软性内部奖励反馈机制实现标签去噪与视频解析的同步训练，实验证明其优于现有去噪技术并能提升其他AVVP模型的解析性能。

2024-12-27cs.CV

基于POS-tag引导的结构化三元组视觉问答学习

Structured Triplet Learning with POS-tag Guided Attention for Visual Question Answering

UC Irvine（加州大学欧文分校）；Microsoft（微软）；ETH Zurich（苏黎世联邦理工学院）；SIAT, CAS（中国科学院深圳先进技术研究院）

视觉问答（VQA）是一个重要的兴趣，因为它的潜力是一个强大的测试图像理解系统，并探讨语言和视觉之间的联系。尽管最近取得了许多进展，但一般VQA远未解决问题。在本文中，我们专注于VQA多项选择任务，并提供了一些很好的做法，设计一个有效的VQA模型，可以捕捉语言视觉交互和执行联合推理。我们探索了将词性（POS）标签引导的注意力，卷积n-gram，图像，问题和候选答案之间的三重注意力交互，以及基于图像-问题对的三重注意力结构化学习的机制。我们在两个流行的数据集上评估我们的模型：Visual 7 W和VQA Real Multiple Choice。我们的最终模型在Visual 7 W上达到了68.2%的最先进性能，在VQA Real Multiple Choice的测试标准分割上达到了69.6%的非常有竞争力的性能。

2018-01-24cs.CV

基于结构化潜在空间的细粒度表达式操作

Fine-Grained Expression Manipulation via Structured Latent Space

Shanghai Jiao Tong University（上海交通大学）

细粒度的面部表情处理是一个具有挑战性的问题，因为细粒度的表情细节很难被捕获。现有的表达式操作方法大多采用离散的表达式标签，主要是对全局表达式进行编辑，而忽略了对细节的操作。为了解决这个问题，我们提出了一个端到端的表达引导的生成对抗网络（EGGAN），它利用结构化的潜在代码和连续的表达标签作为输入来生成具有预期表达的图像。具体来说，我们采用了一个对抗性的自动编码器映射到一个结构化的潜在空间的源图像。然后，给定源潜码和目标表情标签，我们采用条件GAN来生成具有目标表情的新图像。此外，我们引入了感知损失和多尺度结构相似性损失，以保持身份和全球形状在生成过程中。大量的实验表明，我们的方法可以操作细粒度的表达式，并产生源和目标表达式之间的连续的中间表达式。

2020-05-10cs.CV

结构化视觉目标学习用于跨被试脑电-图像检索

Structured Visual Target Learning For Cross-Subject eeg-to-image retrieval

Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；University of La Rochelle（拉罗谢尔大学）；Indian Institute of Technology (ISM) Dhanbad（印度理工学院（ISM）丹巴德分校）

针对跨被试脑电-图像检索，提出从视觉目标侧学习结构化表征，结合块路由与MMD正则，并引入免训练精炼，在THINGS-EEG2上显著提升检索精度。

2026-09-30cs.CV

用于弱监督变化检测的深度结构化网络学习

Learning deep structured network for weakly supervised change detection

Data61-CSIRO（澳大利亚联邦科学与工业研究组织数据61）；Australian National University（澳大利亚国立大学）；ShanghaiTech University（上海科技大学）；The University of Western Australia（西澳大学）；Murdoch University（莫道克大学）

传统的变化检测方法需要大量的图像来学习背景模型，或者依赖于人类繁琐的像素级标记。在本文中，我们提出了一种弱监督的方法，只需要图像级标签，同时检测和定位一对图像中的变化。为此，我们采用具有DAG拓扑结构的深度神经网络来从图像级标记的训练数据中学习变化模式。在最初的CNN激活之上，我们定义了一个CRF模型，将局部差异和上下文与单个像素之间的密集连接结合起来。我们应用约束平均场算法来估计像素级标签，并使用估计的标签在迭代EM框架中更新CNN的参数。这使得能够对观察到的前景概率质量函数施加全局约束。我们在四个基准数据集上的评估表明了卓越的检测和定位性能。

2017-05-23cs.CV

模块化扩散模型用于结构化视觉识别

Modular Diffusion Models for Structured Visual Recognition

Department of Computer Science, University of British Columbia（不列颠哥伦比亚大学计算机科学系）；Vector Institute for AI（向量人工智能研究所）；CompVis, Ludwig Maximilian University of Munich（慕尼黑路德维希·马克西米利安大学计算机视觉实验室）；Munich Center for Machine Learning（慕尼黑机器学习中心）；CIFAR AI Chair（CIFAR人工智能教席）

提出模块化扩散模型（MDMs），通过将扩散过程分解为任务特定模块，学习结构化输出的分布，以处理视觉识别中的不确定性，在目标检测、实例分割和场景图生成任务上取得优势。

2026-06-23cs.CV

SlimVLM：面向高效视觉-语言模型的感知敏感性动态结构化剪枝与自适应视觉token选择

SlimVLM: Sensitivity-aware Dynamic Structured Pruning with Adaptive Visual Token Selection for Efficient Vision-Language Models

SlimVLM是一种结构化剪枝框架，通过自适应视觉token选择和感知敏感性动态剪枝机制，在压缩视觉-语言模型的同时保持性能，在多模态基准测试中达到最优。

2026-08-05cs.CV

基于结构化视觉证据的时间证据路由用于TimeLogicQA

Temporal Evidence Routing with Structured Visual Evidence for TimeLogicQA

Southeast University（东南大学）；National University of Singapore（新加坡国立大学）；Independent Researcher（独立研究员）；Opus AI Research（Opus AI研究院）；University of Science and Technology of China（中国科学技术大学）

提出视觉证据路由流水线，分离感知与符号时间推理，通过结构化视觉证据和确定性时间规则在TimeLogicQA上达到81.8 AvgAcc。

2026-05-31cs.CV

基于元数据的网络监督图像分类：基于视觉语义图的噪声标签自动校正

Webly Supervised Image Classification with Metadata: Automatic Noisy Label Correction via Visual-Semantic Graph

SenseTime Research（商汤科技研究院）；Rice University（莱斯大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）

Webly监督学习因其在数据扩充方面的高效性而成为近年来研究的热点。然而，采用搜索查询或主题标签作为图像的Web标签进行训练会带来大量噪声，从而降低DNN的性能。特别是，由于查询词的语义混乱，一个查询检索的图像可能包含大量属于其他概念的图像。例如，在Flickr上搜索“老虎猫”将返回大量老虎图像，而不是猫图像。这些真实的噪声样本通常在视觉空间中具有清晰的视觉语义集群，这会误导DNN学习准确的语义标签。为了纠正现实世界中的嘈杂标签，昂贵的人工注释似乎是必不可少的。幸运的是，我们发现，元数据可以提供额外的知识，发现干净的Web标签在一个劳动自由的方式，使其成为可能，以自动提供正确的语义指导之间的大量标签嘈杂的Web数据。在本文中，我们提出了一个自动标签校正VSGraph-LC的基础上的视觉语义图。VSGraph-LC从锚点选择开始，参考元数据和正确标签概念之间的语义相似性，然后使用图神经网络（GNN）在视觉图上从锚点传播正确标签。在真实网络监督学习数据集Webvision-1000和NUS-81-Web上的实验表明了VSGraph-LC的有效性和鲁棒性。此外，VSGraph-LC显示了其在开集验证集上的优势。

2020-10-12cs.CV

LAVA：标签高效的视觉学习和适应

LAVA: Label-efficient Visual Learning and Adaptation

Monash University（莫纳什大学）；University of Adelaide（阿德莱德大学）

我们提出了LAVA，一个简单而有效的方法，多领域的视觉迁移学习有限的数据。LAVA基于最近的一些创新，能够适应具有类别和域变化的部分标记数据集。首先，LAVA在源数据集上学习自监督的视觉表示，并使用类标签语义将其接地，以克服与监督预训练相关的传输崩溃问题。其次，LAVA通过一种新的方法，使用多作物增强，以获得高度鲁棒的伪标签，从未标记的目标数据的收益最大化。通过结合这些成分，LAVA在ImageNet半监督协议上实现了新的最先进技术，以及在元数据集上的多域少样本学习中的10个数据集中的7个数据集上实现了新的最先进技术。提供代码和模型。

2022-10-19cs.CV

多实例视觉语义嵌入

Multi-Instance Visual-Semantic Embedding

University of California, Los Angeles（加州大学洛杉矶分校）；Adobe Research（奥多比研究院）

视觉语义嵌入模型最近被提出，并被证明是有效的图像分类和零样本学习，通过映射到一个连续的语义标签空间的图像。虽然已经提出了几种方法用于单标签嵌入任务，但处理具有多个标签的图像（这是一个更一般的设置）仍然是一个开放的问题，主要是由于图像及其标签之间的复杂的底层对应关系。在这项工作中，我们提出了多实例视觉语义嵌入模型（MIE）嵌入与单个或多个标签相关联的图像。我们的模型发现并映射语义有意义的图像子区域到其相应的标签。在多标签图像标注和零样本学习两个任务上，我们证明了我们的方法比最先进的方法优越。

2015-12-22cs.CV

动态视觉-语义对齐用于带有模糊标签的零样本学习

Dynamic Visual-semantic Alignment for Zero-shot Learning with Ambiguous Labels

College of Computer Science and Technology（计算机科学与技术学院）；School of Computer Science（计算机科学学院）；Key Laboratory of Computing Power Network and Information Security, Ministry of Education（教育部计算能力网络与信息安全重点实验室）；Shandong Computer Science Center（山东计算机科学中心）；Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东科学院））

本文提出动态视觉-语义对齐框架，通过双向对齐模块和信息论优化，提升在模糊标签下的零样本学习性能。

2026-04-20cs.CV

VITAL：一种基于对抗学习的文本视觉解释方法

VITAL: A Visual Interpretation on Text with Adversarial Learning for Image Labeling

School of Computer Science, Wuhan University, Wuhan, Hubei, China（中国湖北省武汉市武汉大学计算机学院）；School of Information Engineering, Hubei University for Nationalities, Enshi, Hubei, China（中国湖北省恩施市湖北民族学院信息工程学院）

在本文中，我们提出了一种新的方法来解释文本信息提取视觉特征表示从多个高分辨率和照片般逼真的合成图像生成的文本到生成对抗网络（GAN），以提高图像标记的性能。首先，我们设计了一个堆叠的生成多对抗网络（GMAN），StackGMAN++，它是当前最先进的文本到图像GAN，StackGAN++的修改版本，以生成具有各种先验噪声的文本条件下的多个合成图像。然后我们从生成的合成图像中提取深层视觉特征，以探索文本的潜在视觉概念。最后，我们将图像级视觉特征、文本级特征和基于合成图像的视觉特征结合起来，对图像进行标签预测。我们在两个基准数据集上进行了实验，实验结果清楚地表明了我们所提出的方法的有效性。

2019-08-01cs.CV

OmniCapBench：面向细粒度视听字幕生成的深度结构化评估框架

OmniCapBench: A Deep-Structured Evaluation Framework for Fine-Grained Audio-Visual Captioning

Hunyuan, Tencent（腾讯混元）；Nanyang Technological University（南洋理工大学）；Northumbria University（诺森比亚大学）

研究针对MLLM视听推理评估的痛点，提出OmniCapBench深度结构化评估框架，通过原子评估单元实现可靠评分，揭示前沿MLLM局部感知强但长时视听推理弱的问题，为全模态发展提供路线图。

2026-10-09cs.CV

超越静态视觉标记：结构化的顺序视觉推理

Beyond Static Visual Tokens: Structured Sequential Visual Chain-of-Thought Reasoning

本文提出结构化顺序视觉推理方法，通过构建视觉重要性图谱并按判别顺序进行推理，提升多模态模型的视觉认知能力。

2026-09-01cs.AIcs.CV

VideoAnchor：增强子空间结构化视觉线索以实现连贯的视觉-空间推理

VideoAnchor: Reinforcing Subspace-Structured Visual Cues for Coherent Visual-Spatial Reasoning

University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Lab（鹏城实验室）

本文针对 MLLM 跨帧视觉线索受语言 token 干扰的问题，提出即插即用的 VideoAnchor，借助子空间亲和度锚定注意力并在无需重训的情况下提升视觉-空间推理性能。

2025-09-29cs.CV

TransAnyText：通过结构化视觉生成实现电商图像中任意文本的翻译

TransAnyText: Translating Arbitrary Text in E-commerce Images via Structured Visual Generation

本文提出TransAnyText框架，将电商图像文本翻译转化为生成可渲染HTML补丁，经三阶段后训练优化，在多基准上表现优于对比方法，为跨境电商图像翻译提供有效可控的解决方案。

2026-08-18cs.CV

基于标签噪声稀疏表示的动态分类器选择的鲁棒视觉跟踪

Robust Visual Tracking Using Dynamic Classifier Selection with Sparse Representation of Label Noise

School of Computer Science and Engineering Northwestern Polytechnical University（西北工业大学计算机学院）

近年来，在视觉跟踪问题中，一类基于“检测跟踪”的跟踪方法得到了广泛的应用。这些方法中的大多数使用跟踪器生成的样本在线更新分类器以处理外观变化。然而，自更新机制使这些方法遭受漂移问题，因为不正确的标签的弱分类器在训练样本。在本文中，我们将类标签分为真标签和噪声标签，并通过稀疏表示来建模。提出了一种新的动态分类器选择方法，该方法对含噪训练数据具有鲁棒性。此外，我们提出的分类器选择算法的视觉跟踪通过集成基于部分的在线助推框架。我们已经评估了我们提出的方法对12个具有挑战性的序列，涉及严重的闭塞，显着的照明变化和大的姿态变化。定性和定量的评估表明，我们的方法跟踪对象准确，鲁棒性和性能优于国家的最先进的跟踪器。

2019-03-19cs.CV

ViewSRD：通过结构化多视图分解实现3D视觉定位

ViewSRD: 3D Visual Grounding via Structured Multi-View Decomposition

South China University of Technology（华南理工大学）；Guangdong Engineering Center for Large Model and GenAI Technology（广东省大模型与生成式人工智能技术工程中心）；State Key Laboratory of Subtropical Building and Urban Science（亚热带建筑科学国家重点实验室）；Ministry of Education Key Laboratory of Big Data and Intelligent Robot（教育部大数据与智能机器人重点实验室）；Guangdong Provincial Key Lab of Computational Intelligence and Cyberspace Information（广东省计算智能与网络信息重点实验室）；Singapore Management University（新加坡国立大学）

本文提出ViewSRD框架，通过结构化多视图分解、跨视图文本-场景交互与推理，解决复杂多锚点查询中的目标解耦及视角不一致问题。

2025-07-27cs.CV

AURORA：通过结构化推理和强化学习增强参考音频视频分割

AURORA:Augmented Understanding via Structured Reasoning and Reinforcement Learning for Reference Audio-Visual Segmentation

AURORA通过结构化推理和强化学习提升参考音频视频分割的准确性和鲁棒性

2025-12-10cs.CV

无订单RNN，具有多标签分类的视觉关注

Order-Free RNN with Visual Attention for Multi-Label Classification

National Taiwan University（国立台湾大学）；Carnegie Mellon University（卡内基梅隆大学）

在本文中，我们提出了联合学习注意力和递归神经网络（RNN）模型的多标签分类。虽然存在基于使用任一模型的方法（例如，对于图像描述的任务），训练此类现有网络架构通常需要预定义的标签序列。对于多标签分类，期望具有鲁棒的推理过程，使得预测误差不会传播并因此影响性能。我们提出的模型独特地集成了注意力和长短期记忆（LSTM）模型，这不仅解决了上述问题，而且还允许人们在没有特定标签排序的先验知识的情况下识别具有不同大小的感兴趣的视觉对象。更重要的是，我们的LSTM模型可以联合利用标签共现信息。最后，通过改进束搜索技术，我们提出的网络模型可以有效地实现多标签的预测。

2017-12-20cs.CV

结构化预测的对抗性约束学习

Adversarial Constraint Learning for Structured Prediction

Department of Computer Science, Stanford University（斯坦福大学计算机科学系）

基于约束的学习通过让用户指定结构化输出的一般属性（例如物理定律施加的约束）来减少收集标签的负担。我们提出了一个新的框架，同时学习这些约束条件，并使用它们进行监督，绕过使用领域的专业知识手动指定约束的困难。学习需要结构化输出的黑盒模拟器，它会生成有效的标签，但不需要对其相应的输入或输入-标签关系进行建模。在训练时，我们限制模型产生无法通过对抗训练与模拟标签区分的输出。为我们的框架提供少量的标记输入，产生了一个新的半监督结构化预测模型;我们在多个任务上评估了这个模型-跟踪，姿态估计和时间序列预测-并发现它只需要少量的标记输入就可以实现高精度。在某些情况下，根本不需要标签。

2018-05-31cs.CVcs.LGstat.ML

使用森林包围从部分标签学习结构化输出

Learning Structured Outputs from Partial Labels using Forest Ensemble

Centre for Pattern Recognition and Data Analytics（模式识别与数据分析中心）；Deakin University（迪肯大学）

学习具有一般结构的结构化输出在计算上是具有挑战性的，除了树结构模型。因此，我们提出了一个有效的基于提升算法AdaBoost.MRF的任务。这个想法是基于实现图是树的叠加。不同于大多数现有的工作，我们的算法可以处理部分标签，因此在实践中，可靠的标签往往稀疏观察是特别有吸引力的。此外，我们的方法只适用于树，因此保证收敛。我们将AdaBoost.MRF算法应用于室内视频监控场景，其中活动在多个级别上建模。

2014-07-24cs.CVcs.LGstat.ML

学习视觉场景的结构化表示

Learning Structured Representations of Visual Scenes

National Chiao Tung University（国立交通大学）；National University of Singapore（新加坡国立大学）

作为连接这两个层次的中间级表示，视觉场景的结构化表示，如成对对象之间的视觉关系，已被证明不仅有利于组合模型学习与结构一起推理，而且为模型决策提供更高的可解释性。然而，这些表征比传统的识别任务受到的关注要少得多，留下了许多悬而未决的挑战。在这篇论文中，我们研究机器如何用视觉关系作为结构化表示来描述单个图像或视频的内容。具体来说，我们探讨如何结构化的视觉场景表示可以有效地构建和学习的静态图像和视频设置，与外部知识的整合，减少偏见的机制，并增强表示模型的改进。在本文的最后，我们还讨论了一些开放的挑战和限制，以阐明未来的方向结构化表示学习的视觉场景。

2022-07-09cs.CVcs.LGcs.MM

利用伪视觉标签改进视听视频解析

Improving Audio-Visual Video Parsing with Pseudo Visual Labels

Hefei University of Technology（合肥工业大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）；Shanghai AI Lab（上海人工智能实验室）

视听视频解析是一项任务，以预测发生在视频片段中的每一个模态的事件。它通常以弱监督的方式执行，其中仅提供视频事件标签，即，标签的模态和时间戳是未知的。由于缺乏密集注释的标签，最近的工作试图利用伪标签来丰富监管。常用的策略是通过对每个模态的已知事件标签进行分类来生成伪标签。然而，标签仍然限于视频级别，并且事件时间戳的时间边界仍然未标记。在本文中，我们提出了一种新的伪标签生成策略，可以明确地分配标签到每个视频片段，利用先验知识从开放世界。具体来说，我们利用CLIP模型来估计事件在每个视频段的视觉模态的基础上产生段级的伪标签。提出了一种新的损失函数，通过考虑它们的类别丰富度和分段性来正则化这些标签。采用标签去噪策略，每当发生高的前向二进制交叉熵损失时，通过翻转它们来改善伪标签。我们在LLP数据集上进行了大量的实验，并证明了我们的方法可以在我们新提出的损失和标签去噪策略的帮助下生成高质量的分段级伪标签。我们的方法实现了最先进的视听视频解析性能。

2023-03-04cs.CVcs.MM

结构化数据的高效多模态嵌入

Efficient Multi-Modal Embeddings from Structured Data

University of Cambridge（剑桥大学）

多模态词语义学的目标是增强嵌入与感知输入，假设人类的意义表示是基于感官经验。大多数研究集中在直接视觉输入的评价，然而，视觉背景也可以有助于语言应用。本文的另一个动机是越来越需要更多的可解释的模型，并评估模型的大小和性能的效率。这项工作探讨了视觉信息的语义的影响时，评价涉及没有直接的视觉输入，特别是语义相似性和相关性。我们研究了一种新的嵌入类型之间的语言和视觉模态，视觉基因组的结构化注释的基础上。我们比较了单模态和多模态模型，包括结构化，语言和基于图像的表示。我们衡量每个模型的效率方面的数据和模型的大小，模态/数据分布和信息增益。分析包括嵌入结构的解释。我们发现，这种新的嵌入传达了基于文本的嵌入的补充信息。它以一种经济的方式实现了相当的性能，使用的资源数量级低于可视化模型。

2021-10-06cs.CLcs.CV

VisuCraft：通过结构化信息提取增强大型视觉-语言模型在复杂视觉引导创意内容生成中的能力

VisuCraft: Enhancing Large Vision-Language Models for Complex Visual-Guided Creative Content Generation via Structured Information Extraction

Heilongjiang University of Science and Technology（黑龙江科技大学）；University of Padua（帕多瓦大学）

VisuCraft通过结构化信息提取与动态提示生成，增强大型视觉-语言模型在复杂视觉引导创意内容生成中的视觉保真度、创造力与指令遵循能力。

2025-08-04cs.CLcs.CV

基于结构化知识的可视化语义嵌入模型

Visual-Semantic Embedding Model Informed by Structured Knowledge

The University of Manchester（曼彻斯特大学）

我们提出了一种新的方法来改善视觉语义嵌入模型，将从外部结构化知识库捕获的概念表示。我们研究了它在标准和zero-shot设置下的图像分类性能。我们提出了两个新的评价框架来分析分类错误的知识库所示的类层次结构。使用ILSVRC 2012图像数据集和WordNet知识库对该方法进行了测试。相对于标准和zero-shot图像分类，我们的方法表现出优越的性能相比，原来的方法，它使用词嵌入。

2020-09-21cs.CLcs.CVcs.LG

CAVE：一种用于碎片化视觉证据推理的结构化信用分配方法

CAVE: A Structured Credit Assignment Approach for Fragmented Visual Evidence Reasoning

Tsinghua University（清华大学）；Peking University（北京大学）；Zhejiang University of Technology（浙江工业大学）

CAVE通过结构化过程-奖励机制提升碎片化视觉推理能力，引入三个互补信号优化推理步骤，提升模型可靠性与鲁棒性。

2026-10-22cs.AIcs.CV

图像中结构化事实的自动标注

Automatic Annotation of Structured Facts in Images

Adobe Research（奥多比研究院）；Rutgers University（罗格斯大学）

受事实级图像理解应用的启发，我们提出了一种从带标题的图像中自动收集结构化视觉事实的数据汇集方法。示例结构化事实包括属性对象（例如，<flower，red>），动作（例如，<baby，smile>），交互（例如，<man，walking，dog>），以及位置信息（例如，<vase，on，table>）。所收集的注释是事实图像对的形式（例如，<man，walking，dog>和包含该事实的图像区域）。通过语言方法，该方法能够收集数十万个视觉事实注释，根据人类判断的准确率为83%。我们的方法自动收集了超过380，000个视觉事实注释和超过110，000个独特的视觉事实，并在标准CPU平台上不到一天的处理时间内将它们定位在图像中。

2016-04-08cs.CLcs.CV

稀疏和结构化视觉注意

Sparse and Structured Visual Attention

University of Amsterdam（阿姆斯特丹大学）；Priberam Labs（Priberam实验室）；Institute of Systems and Robotics（系统与机器人研究所）；LUMLIS (Lisbon ELLIS Unit)（LUMLIS（里斯本ELLIS单元））；Unbabel（Unbabel公司）

视觉注意力机制广泛应用于多通道任务中，如视觉问答（VQA）。基于softmax的注意力机制的一个缺点是，它们将一些概率质量分配给所有图像区域，而不管它们的相邻结构以及它们与文本的相关性。在本文中，为了更好地将图像结构与文本联系起来，我们用两种替代的稀疏促进变换替换了传统的softmax注意力机制：sparsemax，它只能选择相关区域（对其余区域分配零权重），以及新提出的总变差稀疏注意力（TVmax），它进一步鼓励联合选择相邻的空间位置。VQA的实验表明，在准确性以及更高的相似性，人类的注意力，这表明更好的可解释性增益。

2021-07-08cs.CLcs.CV