Context-aware Mixture-of-Experts for Unbiased Scene Graph Generation
AIRS, CUHK-Shenzhen（香港中文大学（深圳）人工智能与机器人研究院）；McGill University（麦吉尔大学）
场景图生成技术近年来取得了巨大的进展。然而，其潜在的长尾分布的谓词类是一个具有挑战性的问题。对于谓词分布极不平衡的情况，现有方法通常构造复杂的上下文编码器来提取场景上下文与谓词的内在相关性，并构造复杂网络来提高网络模型对谓词分布极不平衡的学习能力。为了解决无偏SGG问题，我们引入了一个简单而有效的方法称为上下文感知混合专家模型（CAME），以提高模型的多样性和减轻有偏SGG没有复杂的设计。具体来说，我们建议整合的混合专家模型的划分和集成策略，以弥补严重长尾分布的谓词类，这是适用于大多数无偏场景图生成器。有偏SGG因此减少，并且模型倾向于预期更均匀分布的谓词预测。为了区分不同的谓词分布水平，具有相同权重的专家没有足够的多样性。为了使网络能够动态地利用丰富的场景上下文，进一步提高模型的多样性，我们简单地使用内置模块创建上下文编码器。每个专家对场景上下文的重要性和每个谓词对每个专家的重要性与专家权重（EW）和谓词权重（PW）策略动态关联。我们使用Visual Genome数据集对三个任务进行了广泛的实验，结果表明CAME优于最近的方法，并达到了最先进的性能。我们的代码将公开。
2023-01-01 cs.CV
Unbiased Scene Graph Generation by Type-Aware Message Passing on Heterogeneous and Dual Graphs
Harbin University of Science and Technology（哈尔滨理工大学）
本文提出无偏场景图生成方法TA-HDG，通过异构与对偶图上的交互式图构建和类型感知消息传递，在保持头部类性能的同时提升尾部类预测准确性。
2024-11-20 cs.CV
Salience-SGG: Enhancing Unbiased Scene Graph Generation with Iterative Salience Estimation
Technische Universität Berlin（柏林技术大学）；Humboldt Universität zu Berlin（柏林洪堡大学）；Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔INP、LJK）；Bernstein Center for Computational Neuroscience（计算神经科学伯恩斯坦中心）；Science of Intelligence Research Cluster of Excellence（卓越人工智能研究集群）
Salience-SGG通过迭代显著性估计提升场景图生成的无偏性，改进了空间理解能力。
2026-01-13 cs.CV
Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）
针对现有单目4D重建方法难处理大变形、补全不准等问题，提出Ub4D方法，通过含三个新组件的可微体渲染实现无偏重建，在新数据集上精度和鲁棒性优于SOTA。
2023-05-04 cs.CV
Triple Correlations-Guided Label Supplementation for Unbiased Video Scene Graph Generation
Zhejiang University（浙江大学）；Zhejiang University of Technology（浙江工业大学）；Central China Normal University（华中师范大学）
针对视频场景图生成中因数据偏态和标注缺失导致尾部谓词预测不佳的问题，提出Trico方法，通过探索三种互补时空相关性补充缺失谓词标签，实现无偏预测并在VidVRD和VidOR数据集上取得领先性能。
2023-07-30 cs.CV
SGG-R$^{\rm 3}$: From Next-Token Prediction to End-to-End Unbiased Scene Graph Generation
School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）；Zhongguancun Academy（中关村学院）
本文提出SGG-R$^{\rm 3}$框架，通过结合任务特定的推理过程和强化学习优化，解决场景图生成中的关系稀疏和长尾问题，提升生成效果和泛化能力。
2026-04-23 cs.CV
Bipartite Graph Network with Adaptive Message Passing for Unbiased Scene Graph Generation
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；KU Leuven（鲁汶大学）
场景图生成是一项重要的视觉理解任务，具有广泛的视觉应用。尽管最近取得了巨大的进展，但由于固有的长尾类分布和类内变化大，它仍然具有挑战性。为了解决这些问题，我们引入了一种新的置信度感知的二分图神经网络与自适应消息传播机制的无偏场景图生成。此外，我们提出了一个有效的双层数据存储策略，以减轻训练我们的图网络的数据分布不平衡的问题。我们的方法在几个具有挑战性的数据集上实现了优于或具有竞争力的性能，包括Visual Genome，Open Images V4/V6，证明了其有效性和通用性。
2021-04-29 cs.AI cs.CV
Unbiased Scene Graph Generation via Rich and Fair Semantic Extraction
Beihang University（北京航空航天大学）；Inception Institute of Artificial Intelligence (IIAI)（人工智能初创研究院）
从图像中提取视觉场景的图形表示是计算机视觉中一个具有挑战性的任务。尽管在过去的十年中场景图生成取得了令人鼓舞的进展，但我们惊讶地发现，现有方法的性能在很大程度上受到强烈偏见的限制，这主要源于（1）无意识地假设具有某些语义属性的关系，如对称和（2）不同关系上的不平衡注释。为了减轻这些偏见的负面影响，我们提出了一个新的和简单的架构命名为丰富和公平的语义提取网络（简称RiFa），不仅捕捉丰富的语义属性的关系，但也公平地预测不同规模的注释关系。RiFa使用伪连体网络分别嵌入主语和宾语，以区分它们的语义差异，同时保持它们的底层语义属性。然后，它进一步预测的基础上的视觉和语义特征的实体在一定的上下文区域的主-客体关系，并公平排名的关系预测与一些注释。在流行的Visual Genome数据集上的实验表明，RiFa在场景图任务的几个具有挑战性的设置下实现了最先进的性能。特别是，它在捕获关系的不同语义属性方面表现得更好，并且获得了最佳的整体性能。
2020-02-01 cs.CV
Dual-branch Hybrid Learning Network for Unbiased Scene Graph Generation
University of Electronic Science and Technology of China（电子科技大学）；University of Ottawa（渥太华大学）
当前场景图生成的研究主要集中在解决无偏场景图生成的长尾问题上。然而，大多数去偏置方法在训练过程中过分强调尾部谓词而低估头部谓词，从而破坏了头部谓词特征的表示能力。此外，这些受损的功能，从头部谓词损害的学习尾部谓词。事实上，尾谓词的推断很大程度上取决于从头谓词学习的一般模式，例如，“立足”要靠“在”。因此，这些去偏SGG方法既不能在尾谓词上获得优异的性能，也不能在头谓词上获得令人满意的行为。为了解决这个问题，我们提出了一个双分支混合学习网络（DHL），以照顾两个头谓词和尾的SGG，包括粗粒度的学习分支（CLB）和细粒度的学习分支（FLB）。具体来说，CLB负责学习头部谓词的专业知识和鲁棒特征，而FLB则预计将预测信息性尾部谓词。此外，DHL还配备了一个分支课程表（BCS），使两个分支机构能够很好地合作。实验表明，我们的方法实现了一个新的国家的最先进的性能在VG和GQA数据集，并使尾部谓词和头部的性能之间的权衡。此外，对两个下游任务（即，图像描述和句子到图形检索）进一步验证了该方法的通用性和实用性。
2022-07-16 cs.CV
Label Semantic Knowledge Distillation for Unbiased Scene Graph Generation
Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）
场景图生成（SGG）任务旨在检测给定图像中的所有对象及其成对视觉关系。虽然SGG在过去几年中取得了显着的进步，但几乎所有现有的SGG模型都遵循相同的训练范式：它们将SGG中的对象和谓词分类视为单标签分类问题，并且地面事实是一个热目标标签。然而，这种流行的训练范式忽略了当前SGG数据集的两个特点：1）对于正样本，某些特定的主体-客体实例可能具有多个合理谓词。2)对于阴性样本，有许多注释缺失。无论这两个特性如何，SGG模型都容易被混淆，并做出错误的预测。为此，我们提出了一种新的模型无关的标签语义知识蒸馏（LS-KD）的无偏SGG。具体而言，LS-KD通过将预测的标签语义分布（LSD）与其原始的独热目标标签融合，为每个主体-对象实例动态地生成软标签。LSD反映了这个实例和多个谓词类别之间的相关性。同时，我们提出了两种不同的策略来预测LSD：迭代自KD和同步自KD。三个SGG任务的广泛消融和结果证明了我们提出的LS-KD的优越性和通用性，它可以在不同的谓词类别之间始终实现体面的权衡性能。
2022-08-07 cs.CV
Unbiased Video Scene Graph Generation via Visual and Semantic Dual Debiasing
University of Science and Technology of China（中国科学技术大学）；College of Physics and Information Engineering, Fuzhou University（福州大学物理与信息工程学院）
针对视频场景图生成中的严重偏见问题，提出视觉与语义感知（VISA）框架，通过记忆增强时间整合与迭代结合三元组语义信息实现视觉与语义双重去偏，显著优于现有方法。
2025-04-05 cs.CV cs.MM
Generalized Unbiased Scene Graph Generation
针对现有无偏场景图生成忽略概念层面不平衡的问题，提出广义无偏场景图生成任务及多概念学习框架，通过概念正则化和平衡原型记忆实现平衡学习，在VG-SGG和OI-SGG数据集上取得新最先进成果。
2024-07-16 cs.CV
Unbiased Scene Graph Generation using Predicate Similarities
The University of Tokyo（东京大学）
场景图作为图像中显示的对象之间的关系的图形表示被广泛应用于计算机视觉中。然而，由于长尾谓词分布导致的有偏训练，这些应用程序尚未达到实际的开发阶段。近年来，许多研究都致力于解决这个问题。相比之下，相对较少的作品认为谓词相似性作为一个独特的数据集特征，这也导致了有偏的预测。由于该特征，不常见的谓词（例如，停放在，覆盖在）容易被误分类为紧密相关的频繁谓词（例如，on，in）。利用谓词相似性，我们提出了一个新的分类方案，分支的过程中，类似的谓词组的几个细粒度的分类。分类器的目的是详细地捕捉相似谓词之间的差异。我们还引入了迁移学习的思想来增强那些缺乏足够训练样本来学习描述性表示的谓词的特征。在Visual Genome数据集上进行的大量实验结果表明，我们的方法和现有的去偏方法的结合大大提高了具有挑战性的SGCls/SGDet任务中尾部谓词的性能。尽管如此，所提出的方法的整体性能没有达到目前最先进的水平，因此进一步的分析仍然是必要的，作为未来的工作。
2022-10-03 cs.CV
Taking A Closer Look at Visual Relation: Unbiased Video Scene Graph Generation with Decoupled Label Learning
Zhejiang University（浙江大学）；FinVolution Group（信也科技集团）
已经发现当前基于视频的场景图生成（VidSGG）方法在预测由于训练数据中的固有偏置分布而较少表示的谓词上表现不佳。在本文中，我们仔细研究了谓词，并确定大多数视觉关系（例如sit_above）涉及到空间模式（sit）和空间模式（above），而分布偏差在模式级别上要轻得多。基于这一见解，我们提出了一个解耦的标签学习（DLL）范式，以解决棘手的视觉关系预测从模式级的角度来看。具体地说，DLL将谓词标签进行混合，并采用单独的分类器分别学习空间模式和空间模式。然后将模式组合并映射回谓词。此外，我们提出了一种知识级标签解耦方法，将非目标知识从头部谓词转移到同一模式内的尾部谓词，以校准尾部类的分布。我们在常用的VidSGG基准上验证了DLL的有效性，即VidVRD。大量的实验表明，DLL提供了一个非常简单，但非常有效的解决长尾问题，实现了最先进的VidSGG性能。
2023-03-23 cs.CV
Head-Tail Cooperative Learning Network for Unbiased Scene Graph Generation
Xi’an Jiaotong University（西安交通大学）；Beijing Institute of Remote Sensing（北京遥感研究所）
针对场景图生成中谓词长尾分布导致的头部偏置问题，提出头尾协同学习网络，通过双分支协同与自监督学习平衡头尾谓词识别，在多个数据集上以极小Recall损失实现更高平均Recall与最优整体性能。
2023-08-23 cs.CV
HiLo: Exploiting High Low Frequency Relations for Unbiased Panoptic Scene Graph Generation
King’s College London（伦敦国王学院）；Tongji University（同济大学）；Delft University of Technology（代尔夫特理工大学）
针对全景场景图生成中的关系长尾与语义重叠问题，提出HiLo框架，通过高低频关系分支特化、一致性约束与结果融合实现显式无偏学习，并在PSG和SGE任务上取得先进性能。
2023-08-17 cs.AI cs.CV
Towards Racially Unbiased Skin Tone Estimation via Scene Disambiguation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
虚拟面部化身将在沉浸式通信、游戏和虚拟世界中发挥越来越重要的作用，因此它们的包容性至关重要。这需要准确地恢复外观，以马多为代表，不分年龄、性别或种族。虽然在估计3D面部几何形状方面已经取得了重大进展，但面部几何形状估计受到的关注较少。这项任务从根本上说是模糊的，因为观察到的颜色是一个函数的亮度和照明，这两者都是未知的。我们发现，目前的方法偏向于浅肤色，这是由于（1）偏好较浅色素沉着的强烈偏向先验和（2）忽略光/暗模糊性的算法解决方案。为了解决这个问题，我们提出了一个新的评估数据集（FAIR）和一个算法（TRUST），以提高估计的公平性。具体来说，我们创建了第一个面部面部表情评估基准，其中受试者在肤色方面是平衡的，并使用个人类型学角度（ITA）度量来测量准确性。然后，我们通过建立一个关键的观察来解决光/光的模糊性：整个场景的图像-而不是面部的裁剪图像-包含有关照明的重要信息，可用于消除歧义。TRUST通过对人脸区域和从场景图像获得的全局光照信号两者进行调节来回归面部阴影。我们的实验结果表明，显着的改善相比，国家的最先进的方法，在准确性和公平性。评估基准和代码将在https://trust.is.tue.mpg.de上提供，以供研究之用。
2022-07-23 cs.CV
Recovering the Unbiased Scene Graphs from the Biased Ones
National University of Singapore（新加坡国立大学）；ByteDance AI Lab（字节跳动人工智能实验室）
给定输入图像，场景图生成（SGG）的目的是产生全面的，图形表示描述显着对象之间的视觉关系。近年来，人们对SGG中的长尾问题进行了更多的研究，但是，不同类别的缺失标签比例的不平衡或报告偏差加剧了长尾问题，这一问题很少被考虑，现有的去偏方法也无法解决。在本文中，我们表明，由于缺失的标签，SGG可以被视为一个“从正和未标记数据中学习”（PU学习）问题，其中报告偏差可以通过利用标签频率从有偏概率中恢复无偏概率来消除，即，在所有的正例中，每类的标记的正例的比例。为了获得准确的标签频率估计，我们提出了动态标签频率估计（DLFE），以利用训练时间数据增强和多个训练迭代的平均值来引入更多有效的例子。大量的实验表明，DLFE在估计标签频率方面比传统估计的朴素变体更有效，并且DLFE显著地消除了长尾，并在VG数据集上实现了最先进的去偏性能。我们还定性地表明，SGG模型与DLFE产生显着更平衡和公正的场景图。
2021-07-05 cs.CV cs.MM
Stacked Hybrid-Attention and Group Collaborative Learning for Unbiased Scene Graph Generation
Shandong University（山东大学）；Ant Group（蚂蚁集团）
场景图生成通常遵循常规的编码器-解码器流水线，旨在首先对给定图像内的视觉内容进行编码，然后将其解析为紧凑的摘要图。现有的SGG方法不仅忽略了视觉和语言之间的模态融合不足，而且由于有偏见的关系预测，无法提供信息谓词，导致SGG远离实用。为此，在本文中，我们首先提出了一种新的堆叠混合注意力网络，它有利于模态内细化以及模态间的相互作用，作为编码器。然后，我们设计了一个创新的小组协作学习策略，以优化解码器。特别是，基于观察到的一个分类器的识别能力是有限的，对一个非常不平衡的数据集，我们首先部署了一组分类器，是在区分不同的类的子集，然后合作优化他们从两个方面，以促进无偏SGG。在VG和GQA数据集上进行的实验表明，我们不仅建立了一个新的无偏度量，而且与两个基线相比，性能几乎翻了一番。
2022-04-02 cs.AI cs.CV
Compositional Feature Augmentation for Unbiased Scene Graph Generation
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港理工大学）；FinVolution
本文提出组合特征增强策略，通过增强关系三元组特征多样性，解决SGG中的偏见问题。
2026-01-17 cs.CV
PCPL: Predicate-Correlation Perception Learning for Unbiased Scene Graph Generation
Zhejiang University（浙江大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Zhejiang University Embedded System Engineering Research Center, Ministry of Education of China（浙江大学教育部嵌入式系统工程研究中心）；Zhejiang Provincial Key Laboratory for Network Multimedia Technologies（浙江省网络多媒体技术重点实验室）
目前，场景图生成（SGG）任务在很大程度上局限于现实场景，主要是由于谓词注释分布的极端长尾偏差。因此，解决SGG的阶级不平衡问题是关键和具有挑战性的。在本文中，我们首先发现，当谓词标签彼此具有强相关性时，普遍的重新平衡策略（例如，重新采样和重新加权）将引起尾部数据的过拟合（例如，长凳坐在人行道上而不是在人行道上），或者仍然遭受来自原始不均匀分布的不利影响（例如，将不同的停放/站立/坐在上聚集成）。我们认为，主要原因是，再平衡策略是敏感的谓词的频率，但他们的相关性是盲目的，这可能会发挥更重要的作用，促进学习的谓词功能。因此，我们提出了一种新的谓词相关感知学习（简称PCPL）计划，通过直接感知和利用谓词类之间的相关性，自适应地寻找适当的损失权重。此外，我们的PCPL框架还配备了一个图形编码器模块，以更好地提取上下文特征。在基准VG 150数据集上的大量实验表明，所提出的PCPL在尾类上的性能明显更好，同时很好地保留了头类的性能，这明显优于以前的最先进的方法。
2020-09-02 cs.CV
CogTree: Cognition Tree Loss for Unbiased Scene Graph Generation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Peking University（北京大学）；University of Adelaide（阿德莱德大学）；Beihang University（北京航空航天大学）
场景图是图像的语义抽象，鼓励视觉理解和推理。然而，场景图生成（SGG）的性能是不令人满意的，当面对偏见的数据在现实世界的场景。传统的去偏研究主要从均衡数据分布或学习无偏模型和表示的角度进行研究，忽略了有偏类之间的相关性。在这项工作中，我们从一个新的认知角度来分析这个问题：从有偏见的预测中自动构建一个层次化的认知结构，并在该层次结构中导航以定位关系，使尾部关系在由粗到细的模式中得到更多的关注。为此，我们提出了一种新的去偏认知树（CogTree）损失无偏SGG。我们首先建立一个认知结构CogTree组织的关系的基础上预测的偏见SGG模型。CogTree首先区分出明显不同的关系，然后集中在一小部分容易混淆的关系上。然后，我们提出了专门针对这种认知结构的去偏损失，它支持从粗到细的正确关系的区分。这种损失是与模型无关的，并持续提高了几种最先进模型的性能。该代码可从以下网址获取：https://github.com/CYVincent/Scene-Graph-Transformer-CogTree。
2021-06-08 cs.CL cs.CV cs.MM
Unbiased Scene Graph Generation via Two-stage Causal Modeling
National University of Defense Technology（国防科技大学）；University of Oulu（奥卢大学）；Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
针对场景图生成中长尾分布与语义混淆双重偏差，提出两阶段因果建模TsCM，通过群体损失干预语义混淆、自适应Logit调整消除长尾偏差，实现头部与尾部关系预测的更优权衡。
2023-07-11 cs.CV
Vision Relation Transformer for Unbiased Scene Graph Generation
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））
针对 SGG 中局部实体信息丢失及头尾类偏差问题，提出含新型局部关系编码器的 VETO 与无偏 MEET 学习策略，在 VG、GQA 上最高提升性能47个百分点且模型小10倍。
2023-08-18 cs.AI cs.CV
Semantic Diversity-aware Prototype-based Learning for Unbiased Scene Graph Generation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
针对场景图生成中因谓词语义多样性被忽略导致预测有偏的问题，提出模型无关的DPL框架，通过学习谓词在语义空间覆盖的区域实现无偏预测，显著提升了现有SGG模型性能。
2024-07-25 cs.AI cs.CV
Unbiased Faster R-CNN for Single-source Domain Generalized Object Detection
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences（中国科学院机器人与智能制造研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
针对单源域泛化目标检测中数据偏差导致特征非因果的问题，提出无偏Faster R-CNN，通过因果建模、全局-局部变换增强、因果注意力与原型学习，在五个场景上提升泛化性能，Night-Clear场景mAP提高3.9%。
2024-05-24 cs.CV
Unbiased Scene Graph Generation from Biased Training
Nanyang Technological University（南洋理工大学）；Damo Academy, Alibaba Group（阿里达摩院）；Renmin University of China（中国人民大学）；Tsinghua University（清华大学）
针对场景图生成中的训练偏差问题，提出基于因果推断和总直接效应的去偏框架，在Visual Genome上显著提升无偏性能。
2025-10-26 cs.CV cs.LG
Panoptic Scene Graph Generation with Semantics-Prototype Learning
National University of Singapore（新加坡国立大学）；The University of Sydney（悉尼大学）；Zhejiang University（浙江大学）；Hangzhou City University（杭州城市大学）
针对全景场景图生成中的谓词标注偏差问题，提出ADTrans框架，通过学习无偏语义原型并自适应筛选、转换有偏标注，显著提升基准模型性能并达到新SOTA。
2024-01-22 cs.CV
Iterative Scene Graph Generation with Generative Transformers
Oklahoma State University（俄克拉荷马州立大学）
场景图通过以图形格式对实体（对象）及其空间关系进行编码来提供场景的丰富的结构化表示。这种表示已被证明在几个任务中是有用的，例如问答、字幕，甚至目标检测，仅举几例。当前的方法采用分类生成方法，其中场景图是通过标记场景中对象之间的所有可能边缘来生成的，这增加了该方法的计算开销。这项工作介绍了一种基于生成变换的方法来生成场景图超越链接预测。使用两个基于transformer的组件，我们首先从检测到的对象及其视觉特征中采样一个可能的场景图结构。然后，我们对采样的边缘进行谓词分类，以生成最终的场景图。这种方法使我们能够有效地生成场景图的图像与最小的推理开销。在Visual Genome数据集上的大量实验证明了该方法的有效性。在没有花里胡哨的情况下，我们在场景图生成（SGG）的不同设置中平均获得了20.7%的平均召回率（mR@100），优于最先进的SGG方法，同时为无偏见的SGG方法提供了有竞争力的性能。
2022-11-30 cs.CV
LANDMARK: Language-guided Representation Enhancement Framework for Scene Graph Generation
Southeast University（东南大学）；Anhui University（安徽大学）
场景图生成（SGG）是一个复杂的任务，遭受复杂的视觉特征和数据集长尾问题。近年来，通过设计新颖的损失函数和数据平衡策略，提出了各种无偏策略。不幸的是，这些无偏的方法未能强调语言先验的特征细化的角度。受谓词与隐含在主宾对和全局语境中的语义高度相关的启发，我们提出了LANDMARK（LANGUage-guided representationenhanceMent frAmewoRK），它从语言-视觉交互模式、全局语境和谓词对相关性中学习谓词相关的表示。具体来说，我们首先将对象标签投影到三个不同的语义嵌入，用于不同的表示学习。然后，语言注意力模块（LAM）和经验估计模块（EEM）分别将主宾词嵌入处理为注意向量和谓词分布。语言上下文模块（LCM）从每个词嵌入中编码全局上下文，避免了从局部信息中孤立学习。最后，模块输出用于更新视觉表示和SGG模型的预测。所有的语言表示都是纯粹从对象类别生成的，因此不需要额外的知识。该框架与模型无关，并持续提高现有SGG模型的性能。此外，代表层的无偏策略赋予了LANDMARK与其他方法兼容的优势。代码可在https://github.com/rafa-cxg/PySGG-cxg上获得。
2023-03-02 cs.AI cs.CL cs.CV
Biasing Like Human: A Cognitive Bias Framework for Scene Graph Generation
Southeast University（东南大学）
场景图生成是复杂的任务，因为没有特定的识别模式（例如，“看”和“近”在视觉方面没有明显的差异，而“近”可以出现在具有不同形态的实体之间）。因此，一些场景图生成方法被困在由多变的视觉特征和琐碎的数据集注释引起的最频繁的关系预测中。因此，最近的作品强调了“无偏”的方法来平衡预测更翔实的场景图。然而，人类对众多对象之间关系的快速准确判断应归因于“偏见”（即，经验和语言知识），而不是纯粹的视觉。为了提高模型的能力，受“认知偏差”机制的启发，我们提出了一种新的3范式框架，模拟人类如何将标签语言特征作为基于视觉的表示的指导，以更好地挖掘隐藏的关系模式，减轻嘈杂的视觉传播。我们的框架是模型不可知的任何场景图模型。综合实验证明，我们的框架优于基线模块在几个指标，最小的参数增量，并实现了新的SOTA性能在Visual Genome数据集。
2022-03-17 cs.CV
ComplETR: Reducing the cost of annotations for object detection in dense scenes with vision transformers
AWS AI Labs（AWS人工智能实验室）；Yonsei University（延世大学）
注释用于目标检测的边界框是昂贵的、耗时的并且容易出错。在这项工作中，我们提出了一个基于DETR的框架，称为COMPLETR，旨在明确地完成部分注释的密集场景数据集缺失的注释。这减少了对场景中的每个对象实例进行注释的需要，从而降低了注释成本。在DETR解码器中，COMPLETR使用图像中对象的补丁信息来增强对象查询。结合匹配损失，它可以有效地找到与输入补丁相似的对象，并完成缺失的注释。我们表明，我们的框架优于最先进的方法，如软采样和无偏见的教师本身，而在同一时间可以与这些方法结合使用，以进一步提高其性能。我们的框架对下游对象检测器的选择也是不可知的;我们在多个密集场景数据集上显示了几种流行检测器的性能改进，例如Faster R-CNN，Cascade R-CNN，CenterNet 2和Deformable DETR。
2022-09-13 cs.CV
Disentangling Static and Dynamic Information for Reducing Static Bias in Action Recognition
Nagoya Institute of Technology（名古屋技术大学）
针对动作识别模型过度依赖静态线索的问题，提出通过统计独立性损失解耦动态与静态信息并结合场景预测损失的方法，有效降低静态偏差。
2025-09-27 cs.CV
The Devil is in the Labels: Noisy Label Correction for Robust Scene Graph Generation
Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）；University of Rochester（罗切斯特大学）
无偏见的SGG近年来取得了重大进展。然而，几乎所有现有的SGG模型都忽略了主流SGG数据集的地面实况注释质量，即，他们总是假设：1）所有手动注释的阳性样本同样正确; 2）所有未注释的阴性样本绝对是背景。在本文中，我们认为这两个假设都不适用于SGG：有许多“噪声”groundtruth谓词标签打破了这两个假设，这些噪声样本实际上损害了无偏SGG模型的训练。为此，我们提出了一种新的模型无关NoIsy标签CorrCtion策略SGG：NICE。NICE不仅可以检测噪声样本，还可以为它们重新分配更多高质量的谓词标签。经过NICE训练后，我们可以获得更干净的SGG数据集用于模型训练。具体来说，NICE由三个部分组成：负噪声样本检测（Neg-NSD）、正NSD（Pos-NSD）和噪声样本校正（NSC）。首先，在Neg-NSD中，我们将此任务表示为分布外检测问题，并为所有检测到的噪声阴性样本分配伪标签。然后，在Pos-NSD中，我们使用基于聚类的算法将所有正样本分成多个集合，并将噪声最大的集合中的样本视为噪声正样本。最后，在NSC中，我们使用一个简单但有效的加权KNN将新的谓词标签重新分配给有噪声的正样本。不同的骨干和任务的广泛结果证明了NICE的每个组件的有效性和推广能力。
2022-06-07 cs.CV
Decoupling Visual-Semantic Feature Learning for Robust Scene Text Recognition
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）
语义信息在场景文本识别中被证明是有效的。大多数现有的方法倾向于在基于注意力的解码器中耦合视觉和语义信息。因此，语义特征的学习容易对训练集的有限词汇产生偏差，这就是词汇依赖。在本文中，我们提出了一种新的视觉语义解耦网络（VSDN）来解决这个问题。我们的VSDN包含一个视觉解码器（VD）和一个语义解码器（SD），分别学习更纯粹的视觉和语义特征表示。此外，语义编码器（SE）的设计，以匹配SD，这可以预先训练在一起，通过一个简单的单词校正任务，额外的廉价的大词汇。从而使语义特征更加公正、准确，指导视觉特征对齐，丰富了最终的字符表示。实验表明，我们的方法实现了最先进的或有竞争力的结果在标准的基准测试，并优于流行的基线的情况下，训练集有一个小的词汇量的大幅度。
2021-11-24 cs.CV
VRP-UDF: Towards Unbiased Learning of Unsigned Distance Functions from Multi-view Images with Volume Rendering Priors
School of Software, Tsinghua University（清华大学软件学院）；China Telecom Wanwei Information Technology Co., Ltd.（中国电信万维信息技术有限公司）；Kuaishou Technology（快手技术）；Department of Computer Science, Wayne State University（韦恩州立大学计算机科学系）
VRP-UDF通过引入体积渲染先验，解决多视图图像中无偏学习无符号距离函数的问题，提升表面重建的鲁棒性和可扩展性。
2026-01-17 cs.CV
Unbiased Object Detection Beyond Frequency with Visually Prompted Image Synthesis
Nanjing University of Science and Technology（南京理工大学）；Zhejiang University（浙江大学）；Department of Electrical and Computer Engineering, Sungkyunkwan University（成均馆大学电子与计算机工程系）；State Key Laboratory of Intelligent Manufacturing of Advanced Construction Machinery（先进施工机械智能制造国家重点实验室）
本文提出基于生成的去偏框架，通过视觉提示图像合成解决目标检测中的偏见问题，改进了稀有类别的性能，提升了生成图像的布局准确性。
2026-03-17 cs.CV
Fine-detailed Neural Indoor Scene Reconstruction using multi-level importance sampling and multi-view consistency
Tsinghua University（清华大学）；ByteDance（字节跳动）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
提出FD-NeuS神经隐式表面重建方法，通过多级重要性采样策略和多视图一致性方法解决室内场景重建过度平滑和优化时间长的问题，实现精细3D模型重建。
2024-10-10 cs.CV
VL-SAT: Visual-Linguistic Semantics Assisted Training for 3D Semantic Scene Graph Prediction in Point Cloud
Beihang University（北京航空航天大学）；The University of Hong Kong（香港大学）；East China University of Science and Technology（华东理工大学）
点云中的3D语义场景图（3DSSG）预测任务具有挑战性，因为（1）与2D图像相比，3D点云仅捕获具有有限语义的几何结构，以及（2）长尾关系分布固有地阻碍了无偏预测的学习。由于2D图像提供了丰富的语义和场景图在本质上应对语言，在这项研究中，我们提出了视觉语言语义辅助训练（VL-SAT）计划，可以显着授权3DSSG预测模型与歧视长尾和模糊的语义关系。其核心思想是训练一个强大的多模态预言机模型来辅助三维模型。该预言机基于视觉、语言和3D几何的语义学习可靠的结构表示，其优势可以在训练阶段异质地传递给3D模型。通过在训练中有效地利用视觉语言语义，我们的VL-SAT可以显着提高常见的3DSSG预测模型，如SGFN和SGGpoint，仅在推理阶段使用3D输入，特别是在处理尾关系三元组时。在3DSSG数据集上的综合评价和消融研究验证了所提出的方案的有效性。代码可在https://github.com/wz7in/CVPR2023-VLSAT上获得。
2023-03-25 cs.CV
Hyper-relationship Learning Network for Scene Graph Generation
JD Explore Academy（京东探索研究院）；Hangzhou Dianzi University（杭州电子科技大学）；The University of Sydney（悉尼大学）；Wuhan University（武汉大学）
从图像生成信息丰富的场景图需要从各种图组件（即，对象和关系。然而，当前的场景图生成（SGG）方法，包括无偏SGG方法，仍然难以预测信息关系，这是由于缺乏1）诸如关系之间的传递性推理的高级推理和2）可以合并图组件的所有交互的有效机制。为了解决上述问题，我们设计了一个超关系学习网络，称为HLN，SGG。具体地说，所提出的HLN源于超图，并且设计了两个图注意力网络（GAT）来推断关系：1）对象关系GAT或OR-GAT，以探索对象和关系之间的交互，以及2）超关系GAT或HR-GAT，以集成超关系的传递性推理，即，传递性推理的三个对象之间的顺序关系。因此，HLN显着提高了场景图生成的性能，通过集成和推理从对象的相互作用，关系的相互作用，和传递推理的超关系。我们在最流行的SGG数据集上评估HLN，即，Visual Genome数据集，实验结果表明，它比最近的国家的最先进的方法有很大的优越性。例如，HLN将每个关系的召回率从11.3%提高到13.1%，并将每个图像的召回率从19.8%保持到34.9%。我们将在GitHub上发布源代码和预训练模型。
2022-03-06 cs.CV
NICEST: Noisy Label Correction and Training for Robust Scene Graph Generation
College of Computer Science, Zhejiang University（浙江大学计算机学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；Data Platform, Tencent（腾讯数据平台）；Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系）
针对场景图生成数据集存在噪声标签、现有模型训练受偏差影响的问题，提出由噪声标签校正模块NICE和多教师知识蒸馏训练策略NIST组成的NICEST方法，还构建了VG-OOD基准以评估泛化性，有效提升了模型性能。
2024-04-13 cs.CV
Towards Unbiased Source-Free Object Detection via Vision Foundation Models
State Key Laboratory of Complex and Critical Software Environment, Beihang University, Beijing, 100191, China（复杂与关键软件环境国家重点实验室，北京航空航天大学，北京，100191，中国）；School of Computer Science and Engineering, Beihang University, Beijing, 100191, China（计算机科学与工程学院，北京航空航天大学，北京，100191，中国）；School of Computer Science and Information Engineering, Hefei University of Technology, Hefei, 230601, China（计算机科学与信息工程学院，合肥工业大学，合肥，230601，中国）
本文提出DSOD框架，通过VFM辅助缓解源偏问题，提升跨域目标检测性能，实验表明在多个基准上优于现有方法。
2026-01-19 cs.CV
Multi-Label Meta Weighting for Long-Tailed Dynamic Scene Graph Generation
University of Amsterdam（阿姆斯特丹大学）
针对视频场景图生成中谓语分布长尾且多标签的问题，提出多标签元学习框架，学习元权重网络以平衡各类别损失，提升长尾性能且不损头部性能。
2023-06-16 cs.CV
PRISM-0: A Predicate-Rich Scene Graph Generation Framework for Zero-Shot Open-Vocabulary Tasks
针对全监督场景图生成（SGG）因数据有限和长尾谓词分布导致的训练偏差问题，提出零样本开放词汇SGG框架PRISM-0，通过自下而上 pipeline 结合基础模型捕捉多样谓词，在零样本设置下性能媲美弱监督模型，部分任务超监督方法。
2025-11-15 cs.CV cs.LG
Advancing Surgical VQA with Scene Graph Knowledge
University of Strasbourg（斯特拉斯堡大学）；Technische Universität München（慕尼黑工业大学）；IHU Strasbourg（斯特拉斯堡大学医院中心）；CNRS（法国国家科学研究中心）
该研究针对手术VQA系统的数据集偏差与场景推理不足问题，构建了基于手术场景图的无偏数据集SSG-QA，并提出融入场景嵌入交互模块的SSG-QA-Net模型，显著提升了手术VQA性能。
2024-06-24 cs.AI cs.CV
ALF: Adaptive Label Finetuning for Scene Graph Generation
针对场景图生成中关系长尾分布导致的偏倚预测问题，提出即插即用的单阶段数据迁移管道ALF，通过ALC和AIL组件实现稳健关系迁移并降低计算成本，实验显示mR@100较Motif提升16%，成本仅比IETrans增加6%。
2024-11-26 cs.AI cs.CV
Women also Snowboard: Overcoming Bias in Captioning Models (Extended Abstract)
UC Berkeley（加州大学伯克利分校）；Boston University（波士顿大学）
已知大多数机器学习方法捕获和利用训练数据的偏差。虽然有些偏见对学习有益，但其他偏见是有害的。具体地，图像描述模型倾向于夸大存在于训练数据中的偏差。由于过度依赖于学习的先验和图像上下文，这可能导致在期望或需要无偏字幕的领域中出现不正确的字幕。我们调查生成的性别特定的字幕词（例如，男人，女人）的基础上的人的外观或图像上下文。我们引入了一个新的模型，确保平等的性别概率时，性别证据被遮挡的场景和自信的预测时，性别证据存在。由此产生的模型被迫看一个人，而不是使用上下文线索来做出性别特定的预测。组成我们模型的损失，外观混淆损失和置信损失是通用的，可以添加到任何描述模型中，以减轻描述数据集中不必要的偏差的影响。我们提出的模型在与人描述图像并提及其性别时的错误率低于先前的工作，并且更接近包含女性的句子与包含男性的句子的地面真值比率。
2018-07-02 cs.CV
Women also Snowboard: Overcoming Bias in Captioning Models
UC Berkeley（加州大学伯克利分校）；Boston University（波士顿大学）
已知大多数机器学习方法捕获和利用训练数据的偏差。虽然有些偏见对学习有益，但其他偏见是有害的。具体地，图像描述模型倾向于夸大存在于训练数据中的偏差（例如，如果一个词存在于60%的训练句子中，则在测试时它可能在70%的句子中被预测）。由于过度依赖于学习的先验和图像上下文，这可能导致在期望或需要无偏字幕的领域中出现不正确的字幕。在这项工作中，我们调查的性别特定的字幕词（例如，男人，女人）的基础上的人的外观或图像上下文的生成。我们引入了一个新的模型，确保平等的性别概率时，性别证据被遮挡的场景和自信的预测时，性别证据存在。由此产生的模型被迫看一个人，而不是使用上下文线索来做出性别特异性预测。组成我们模型的损失，外观混淆损失和置信损失是通用的，可以添加到任何描述模型中，以减轻描述数据集中不必要的偏差的影响。我们提出的模型在与人描述图像并提及其性别时的错误率低于先前的工作，并且更接近包含女性的句子与包含男性的句子的地面真值比率。我们还表明，与其他方法不同，我们的模型在预测性别时确实更经常地关注人们。
2019-03-13 cs.CV
DO-Bench: An Attributable Benchmark for Diagnosing Object Hallucination in Vision-Language Models
Shanghai Key Laboratory of Multidimensional Information Processing, East China Normal University（多维信息处理上海市重点实验室，东华大学）；Zhongguancun Academy（中关村学院）
本文提出DO-Bench，通过结构化多模态干预隔离错误来源，评估模型对文本先验和感知能力的鲁棒性，揭示物体幻觉的异质性失败模式。
2026-04-18 cs.AI cs.CV
HomebrewedDB: RGB-D Dataset for 6D Pose Estimation of 3D Objects
Technical University of Munich（慕尼黑工业大学）；Siemens Corporate Technology（西门子中央研究院）
创建和评估6D对象姿态检测器的最重要的先决条件之一是具有标记的6D姿态的数据集。随着深度学习的出现，对此类数据集的需求不断增长。尽管存在一些，但它们是稀缺的，通常具有有限的设置，例如每个序列一个对象，或者它们专注于特定的对象类型，例如无纹理的工业零件。此外，两个重要的组成部分往往被忽视：仅使用可用的3D模型而不是真实数据进行训练和可扩展性，即训练一种方法来检测所有对象，而不是为每个对象训练一个检测器。其他挑战，如遮挡，变化的光线条件和对象外观的变化，以及精确定义的基准要么不存在，要么分散在不同的数据集中。在本文中，我们提出了一个用于6D姿态估计的数据集，该数据集涵盖了上述挑战，主要针对3D模型（纹理和无纹理）的训练，可扩展性，遮挡以及光线条件和对象外观的变化。该数据集包含33个对象（17个玩具，8个家庭和8个行业相关对象），超过13个不同难度的场景。我们还提出了一组基准测试各种所需的检测器属性，特别是专注于可扩展性方面的对象和电阻的数量变化的光线条件，遮挡和杂波。我们还使用最先进的DPOD检测器为所提出的基准设定了基线。考虑到制作这样的数据集的难度，我们计划发布代码，允许其他研究人员在未来扩展这个数据集或制作自己的数据集。
2019-09-30 cs.CV cs.RO
