Improving Deep Binary Embedding Networks by Order-aware Reweighting of Triplets
Sun Yat-sen University（中山大学）
在本文中，我们专注于基于三元组的深度二进制嵌入网络的图像检索任务。三重损失已被证明是最有效的排名问题。然而，大多数以前的作品平等对待三胞胎或选择硬三胞胎的基础上的损失。这种策略没有考虑顺序关系，这是重要的检索任务。为此，我们提出了一种顺序感知的重新加权方法，以有效地训练基于三元组的深度网络，该方法对重要的三元组进行上加权，对无信息的三元组进行下加权。首先，我们提出的顺序意识的加权因子来表示的三胞胎，这取决于二进制码的秩顺序的重要性。然后，我们将三元组损失整形为三元组损失的平方，使得损失函数将在重要的三元组上放置更多的权重。在四个基准数据集上的广泛评估表明，与最先进的基线相比，所提出的方法实现了显着的性能。
2018-04-17 cs.CV
Linguistic Structures as Weak Supervision for Visual Scene Graph Generation
University of Pittsburgh（匹兹堡大学）
在场景图生成中的先前工作需要在三元组-主体和对象以及将它们关联的谓词（具有或不具有限界框信息）的级别上进行分类监督。然而，场景图生成是一个整体的任务：因此，整体的，上下文监督应该直观地提高性能。在这项工作中，我们将探讨如何在字幕的语言结构可以有利于场景图生成。我们的方法捕获了标题中提供的关于单个三元组之间关系的信息，以及主题和对象的上下文（例如提到的视觉属性）。字幕是一种比三元组更弱的监督类型，因为三元组中人类注释的主题和对象的详尽列表与字幕中的名词之间的对齐很弱。然而，考虑到网络上多模态数据的大量和多样化的来源（例如带有图像和标题的博客文章），语言监督比众包三元组更具可扩展性。我们展示了与利用实例和图像级监督的先前方法进行的广泛实验比较，并消除了我们的方法，以显示利用短语和顺序上下文的影响，以及提高主体和对象本地化的技术。
2021-05-28 cs.CV
Person Re-identification with Adversarial Triplet Embedding
College of Information Science & Electronic Engineering（信息与电子工程学院）；Zhejiang University（浙江大学）
在公安视频监控中，人员身份识别是一项重要的工作，有着广泛的应用。在过去的几年里，针对这个问题，具有三重态损失的深度学习网络变得流行起来。然而，三元组丢失通常遭受不良局部最优性，并且严重依赖于硬示例挖掘策略。在本文中，我们提出了一种新的深度度量学习方法来解决这个问题，称为对抗三元组嵌入（ATE），在这种方法中，我们在统一的框架中同时生成对抗三元组和判别特征嵌入。特别是，对抗三元组是通过将对抗扰动引入训练过程来生成的。将这种对抗博弈转化为极大极小问题，从而从理论上得到最优解。在多个基准数据集上的大量实验证明了该方法对最先进文献的有效性。
2020-12-28 cs.CV
Leveraging Predicate and Triplet Learning for Scene Graph Generation
Beihang University（北京航空航天大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出双粒度关系建模（DRM）网络和双粒度知识转移（DKT）策略，利用谓词与三元组线索生成紧凑表示并缓解长尾问题，在多个数据集上取得最先进性能。
2024-06-04 cs.CV
Learning Embeddings for Image Clustering: An Empirical Study of Triplet Loss Approaches
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；University of Mannheim（曼海姆大学）；Offenburg University（奥芬堡大学）
在这项工作中，我们评估两个不同的图像聚类目标，k-均值聚类和相关聚类，在三重损失引起的特征空间嵌入的背景下。具体来说，我们训练一个卷积神经网络，通过优化两个流行版本的三重损失来学习判别特征，以便在噪声标签的假设下研究它们的聚类特性。此外，我们提出了一个新的，简单的三重损失制定，它显示出理想的性能方面的正式聚类目标，并优于现有的方法。我们评估所有三个三重损失公式的K均值和相关聚类CIFAR-10图像分类数据集。
2020-07-06 cs.CV
Triplet Similarity Embedding for Face Verification
University of Maryland（马里兰大学）
在这项工作中，我们提出了一个无约束的人脸验证算法，并在最近发布的IJB-A数据集上对其进行了评估，该数据集旨在推动人脸验证方法的边界。该算法将基于CNN的深度方法与使用三元组相似性约束以大间隔方式学习的低维判别嵌入相结合。除了提高性能外，这种嵌入还在内存和后处理操作（如哈希和可视化）方面提供了显着的优势。在IJB-A数据集上的实验表明，该算法在验证和识别指标方面优于现有方法，同时需要更少的训练时间。
2016-03-13 cs.CV
Zero-Shot Scene Graph Generation via Triplet Calibration and Reduction
Beihang University（北京航空航天大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对场景图生成在未见三元组上泛化差的问题，提出T-CAR框架，通过三元组校准损失、未见空间约简损失和上下文编码器提升零样本场景图生成性能。
2023-09-07 cs.CV cs.MM
TripletTrack: 3D Object Tracking using Triplet Embeddings and LSTM
KU Leuven（鲁汶大学）；ETH Zurich（苏黎世联邦理工学院）；TRACE vzw（TRACE非营利组织）
3D物体跟踪是自动驾驶系统中的一项关键任务。它对于系统对周围环境的感知起着至关重要的作用。与此同时，人们对仅依赖廉价传感器（如摄像头）的自动驾驶汽车算法的兴趣越来越大。在本文中，我们研究使用三重嵌入结合运动表示的三维对象跟踪。我们从一个现成的3D对象检测器开始，并应用跟踪机制，在该机制中，对象通过在局部对象特征嵌入和运动描述符上计算的亲和力得分进行匹配。特征嵌入被训练为包括关于视觉外观和单眼3D对象特征的信息，而运动描述符提供对象轨迹的强有力的表示。我们将证明，我们的方法可以有效地重新识别对象，并且在遮挡、错过检测的情况下也能可靠而准确地表现出来，并且可以在不同的视场中检测到重新出现。实验评估表明，我们的方法优于国家的最先进的nuScenes的大幅度。我们还在KITTI上获得了竞争性结果。
2022-10-28 cs.CV
Probabilistic Debiasing of Scene Graphs
Rensselaer Polytechnic Institute（伦斯勒理工学院）
由于关系及其父对象对的长尾性质，最先进的（SOTA）模型生成的场景图的质量受到损害。场景图的训练由多数对的多数关系主导，因此，在训练收敛后，少数对中的关系的对象条件分布不被保留。因此，有偏模型在关系的边缘分布中的更频繁的关系上表现良好，如“on”和“wearing”，而在不太频繁的关系上表现不佳，如“eating”或“hanging from”。在这项工作中，我们提出了虚拟证据纳入内三元组贝叶斯网络（BN），以保持对象条件分布的关系标签，并消除由边缘概率的关系所产生的偏见。少数类中的关系数量不足，这在学习三元组内贝叶斯网络中构成了一个重要问题。我们解决这一不足的嵌入为基础的增强的三元组，我们借用样本的少数三元组类从它的邻居三元组的语义空间。我们在两个不同的数据集上进行实验，并在关系的平均召回率方面取得了显着的改善。与场景图模型的SOTA去偏置技术相比，我们还实现了召回率和平均召回率性能之间的更好平衡。
2023-03-14 cs.CV
Structured Sparse R-CNN for Direct Scene Graph Generation
Nanjing University（南京大学）
场景图生成是在图像中检测目标对及其相互关系。现有的SGG方法通常使用多级流水线将此任务分解为目标检测、关系图构建和密集或密集到稀疏关系预测。相反，从SGG作为直接集预测的角度来看，本文提出了一个简单，稀疏和统一的框架，称为结构化稀疏R-CNN。我们的方法的关键是一组可学习的三元组查询和一个结构化的三元组检测器，它们可以以端到端的方式从训练集联合优化。具体而言，三元组查询编码的对象对与它们的关系的一般先验，并提供一个初始的猜测场景图为后续的细化。三元组检测器呈现级联架构，以利用定制的动态头逐步细化检测到的场景图。此外，为了减轻我们的方法的训练难度，我们提出了一个放松和增强的训练策略的基础上知识蒸馏从暹罗稀疏R-CNN。我们在Visual Genome和Open Images V4/V6数据集上进行了实验，结果表明我们的方法达到了最先进的性能。此外，我们还进行了深入的消融研究，以提供关于我们在三重检测器设计和训练策略中的结构化建模的见解。代码和模型可在https://github.com/MCG-NJU/Structured-Sparse-RCNN上获得。
2022-03-28 cs.CV
Vehicle Re-Identification: an Efficient Baseline Using Triplet Embedding
NVIDIA（英伟达）
在本文中，我们解决的问题，车辆重新识别的摄像头网络利用三元组嵌入。重新识别是在不同相机之间匹配对象外观的问题。随着监控摄像头的普及，智能和更安全的城市成为可能，人们越来越需要通过摄像头重新识别车辆。智慧城市场景中出现的典型挑战包括视点、照明和自遮挡的变化。大多数成功的重新识别方法涉及（深度）学习嵌入空间，使得与表示不同身份的车辆相比，具有相同身份的车辆被投影得更靠近彼此。用于学习嵌入（空间）的流行损失函数包括对比损失或三重损失。在本文中，我们提供了一个广泛的评估，这些损失适用于车辆重新识别，并证明使用最佳实践学习嵌入优于大多数以前的方法中提出的车辆重新识别文献。与大多数现有的最先进的方法相比，我们的方法更简单，更直接，只利用身份级别的注释进行训练，同时使用最小的已发布嵌入维度进行有效的推理。此外，在这项工作中，我们介绍了一个正式的评价三重采样的变体（批量样品）到重新鉴定文献。
2019-08-08 cs.CV
DDS: Decoupled Dynamic Scene-Graph Generation Network
University of California Santa Barbara（加州大学圣巴巴拉分校）；Army Research Laboratory（陆军研究实验室）；Microsoft（微软公司）
提出解耦动态场景图生成网络DDS，通过两个独立分支解耦对象与关系特征，显著提升对未见三元组的检测性能。
2025-01-20 cs.CV
Adversarial Learning with Margin-based Triplet Embedding Regularization
Beijing University of Posts and Telecommunications（北京邮电大学）
深度神经网络（DNN）在各种计算机视觉任务上取得了巨大的成功，然而，它们非常容易受到对抗攻击的攻击。为了解决这个问题，我们建议通过将基于边缘的三元组嵌入正则化项集成到分类目标中来提高表示空间的局部平滑性，以便获得的模型学习抵抗对抗性示例。正则化项由两步优化组成，这两步优化找到潜在的扰动并以迭代的方式对它们进行大幅度的惩罚。在MNIST、CASIA-WebFace、VGGFace 2和MS-Celeb-1 M上的实验结果表明，我们的方法在简单的对象分类和深度人脸识别中提高了网络对特征和标签对抗攻击的鲁棒性。
2019-09-20 cs.CV
TriTransNet: RGB-D Salient Object Detection with a Triplet Transformer Embedding Network
Anhui University（安徽大学）；Hefei University（合肥学院）
显著目标检测是一种像素级的密集预测任务，能够突出场景中的显著目标。最近U-Net框架被广泛使用，连续卷积和池化操作生成相互补充的多层特征。鉴于高层特征对性能的贡献更大，我们提出了一个三重Transformer嵌入模块，通过学习跨层的长程依赖关系来增强它们。它是第一个使用三个Transformer编码器共享权重，以增强多层次的功能。通过进一步设计尺度调整模块处理输入，设计三流解码器处理输出，并将深度特征与颜色特征进行多模态融合，提出的三重Transformer嵌入网络（TriTransNet）在RGB-D显著目标检测中达到了最新的性能，将性能提升到了一个新的水平。实验结果证明了所提出的模块的有效性和TriTransNet的竞争力。
2021-08-09 cs.CV
SketchTriplet: Self-Supervised Scenarized Sketch-Text-Image Triplet Generation
Beijing University of Posts and Telecommunications（北京邮电大学）；Alibaba Group（阿里巴巴集团）
本文提出自监督场景草图生成方法，无需现有场景草图，将单对象草图转为场景草图，并构建大规模“文本-草图-图像”三元组数据集，提升下游任务性能。
2024-05-29 cs.CV
Compositional Feature Augmentation for Unbiased Scene Graph Generation
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港理工大学）；FinVolution
本文提出组合特征增强策略，通过增强关系三元组特征多样性，解决SGG中的偏见问题。
2026-01-17 cs.CV
A Differentiable 3D Scene Graph Metric via Contextual Hellinger Triplet Geometry
Sookmyung Women’s University（淑明女子大学）
该研究针对三维场景图预测的图级监督缺失问题，提出Contextual Hellinger Triplet Geometry方法，构建可微度量目标，在3DSSG数据集上验证其可提升场景生成质量并增强图的相关特性。
2026-10-14 cs.CV cs.LG
SPAN: Learning Similarity between Scene Graphs and Images with Transformers
Institute of Information Processing, Leibniz University Hannover（汉诺威莱布尼茨大学信息处理研究所）
针对现有场景图生成评估指标的缺陷，该研究首次提出场景图-图像对比学习框架SPAN，通过图序列化技术结合Transformer实现跨模态对齐，并提出新评估指标与基准，验证了框架的有效性。
2024-05-20 cs.CV
UniQ: Unified Decoder with Task-specific Queries for Efficient Scene Graph Generation
Huazhong University of Science and Technology（华中科技大学）；Pingan Technology（平安科技）
针对一阶段场景图生成中实体特征耦合与解耦难以兼顾的问题，本文提出 UniQ 架构，以任务特定查询生成解耦特征并用统一解码器建模三元组耦合特征，在 Visual Genome 上优于现有方法。
2025-01-10 cs.CV
roadscene2vec: A Tool for Extracting and Embedding Road Scene-Graphs
University of California - Irvine（加州大学尔湾分校）
最近，结合图形学习技术使用的道路场景图形表示已被证明在包括动作分类、风险评估和碰撞预测在内的任务中优于最先进的深度学习技术。为了使道路场景图表示的应用程序的探索，我们介绍roadscene2vec：一个开源的工具，用于提取和嵌入道路场景图。roadscene2vec的目标是通过提供用于生成场景图的工具、用于生成时空场景图嵌入的图学习模型以及用于可视化和分析基于场景图的方法的工具，来实现对道路场景图的应用和功能的研究。roadscene2vec的功能包括（i）从视频剪辑或来自CARLA模拟器的数据生成定制的场景图，（ii）多个可配置的时空图嵌入模型和基于CNN的基线模型，（iii）使用图形和序列嵌入进行风险评估和碰撞预测应用的内置功能，（iv）用于评估迁移学习的工具，以及（v）用于可视化场景图和分析图学习模型的可解释性的实用程序。我们展示了roadscene2vec在这些用例中的实用性，并对图学习模型和基于CNN的模型进行了实验结果和定性评估。roadscene2vec可在https://github.com/AICPS/roadscene2vec上获得。
2021-12-30 cs.CV
Triplet: Triangle Patchlet for Mesh-Based Inverse Rendering and Scene Parameters Approximation
本文提出基于网格的Triangle Patchlet（Triplet）框架，通过光栅化、光线追踪及迭代网格提取等技术，在无先验条件下统一估计光照、材质与几何，实现了最先进的视觉质量与高精度逆向渲染。
2024-10-16 cs.CV cs.GR
SoftTriple Loss: Deep Metric Learning Without Triplet Sampling
Alibaba Group（阿里巴巴集团）
距离度量学习（Distance Metric Learning，DML）是学习同类样本比异类样本更接近的嵌入。它可以转换为一个具有三重约束的优化问题。由于大量的三元组约束，采样策略对于DML是必不可少的。随着深度学习在分类方面的巨大成功，它已被应用于DML。当使用深度神经网络（DNN）学习嵌入时，每次迭代时只有一小批数据可用。必须在小批量内对三元组约束集进行采样。由于mini-batch不能很好地捕获原始集合中的邻居，因此它使学习的嵌入次优。相反，使用DNN优化SoftMax损失，这是一种分类损失，在某些DML任务中表现出优越的性能。它启发我们研究SoftMax的制定。我们的分析表明，SoftMax损失相当于平滑的三重损失，其中每个类都有一个中心。在现实世界的数据中，一个类可以包含多个局部聚类而不是单个聚类，例如，不同姿势的鸟因此，我们提出SoftTriple损失来扩展SoftMax损失，每个类别都有多个中心。与传统的深度度量学习算法相比，优化SoftTriple损失可以通过适度增加最后一个全连接层的大小来学习没有采样相位的嵌入。在细粒度基准数据集上的实验验证了该损失函数的有效性。代码可在https://github.com/idstcv/SoftTriple上获得
2020-04-15 cs.CV
Detecting unseen visual relations using analogies
Ecole normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague（捷克理工大学捷克信息学、机器人与控制论研究所）
我们试图检测图像中的视觉关系的三元组t =（主题，谓词，对象）的形式，如“人骑狗”，其中训练样本的个别实体是可用的，但它们的组合是看不见的训练。由于视觉关系的组合性质，这是一个重要的设置：为所有可能的三元组收集足够的训练数据将非常困难。这项工作的贡献是三方面的。首先，我们学习了一种视觉关系的表示，它结合了（i）主语、宾语和谓语的个体嵌入以及（ii）表示关系三元组的视觉短语嵌入。其次，我们学习如何使用涉及类似对象的关系之间的类比将视觉短语嵌入从现有的训练三元组转移到看不见的测试三元组。第三，我们在三个具有挑战性的数据集上展示了我们的方法的好处：在HICO-DET上，我们的模型在频繁和看不见的三元组的强基线上实现了显着的改进，并且我们观察到在COCO-a数据集上检索具有词汇表外谓词的看不见的三元组以及UnRel数据集中具有挑战性的不寻常的三元组的相似改进。
2019-09-22 cs.CV
Repairing People Trajectories Based on Point Clustering
INRIA（法国国家信息与自动化研究所）；Pulsar（脉冲星项目组）；Phu Xuan Private University（富宣私立大学）
提出了一种基于机器学习的任意目标跟踪算法的改进方法。在训练阶段，提取重要的轨迹特征，然后使用这些特征来计算轨迹的置信度值。对物体通常丢失和被发现的位置进行聚类，以构建场景中的“丢失区域”和“找到区域”的集合。使用这些区域，我们构建了一个三元组区域集，即三个区域：内/外区域（对象可以进入或退出场景的区域），“丢失区域”和“找到区域”。多亏了这些三元组，在测试阶段，我们可以根据它们最有可能属于哪个三元组来修复错误的轨迹。我们的方法相对于现有技术方法的优点在于：（i）该方法不依赖于预定义的上下文场景，（ii）我们利用场景的语义，以及（iii）我们提出了一种基于噪声轨迹的置信度值来过滤噪声轨迹的方法。
2010-07-02 cs.CV
HierRelTriple: Guiding Indoor Layout Generation with Hierarchical Relationship Triplet Losses
提出层次化关系三元组建模框架HierRelTriple，通过提取O2R、O2O和C2C三级空间关系并计算IoU损失集成至扩散去噪过程，显著提升了室内布局生成的物理真实性与空间关系指标。
2025-09-16 cs.CV
Domain Alignment with Triplets
University of Chinese Academy of Sciences（中国科学院大学）；Australian National University（澳大利亚国立大学）
深度领域自适应方法可以通过学习领域不变的嵌入来减少分布差异。然而，这些方法只关注整体数据分布的对齐，而没有考虑源图像和目标图像之间的类级关系。因此，鸟的目标嵌入可以与飞机的源嵌入对准。这种语义错位会直接降低目标数据集上的分类器性能。为了缓解这个问题，我们提出了一个相似性约束对齐（SCA）的无监督领域自适应方法。当对齐嵌入空间中的分布时，SCA强制执行相似性保留约束以维护源图像和目标图像之间的类级别关系，即，如果源图像和目标图像具有相同的类别标签，则它们对应的嵌入被认为是邻近对齐的，反之亦然。在没有目标标签的情况下，我们为目标图像分配伪标签。给定标记源图像和伪标记目标图像，相似性保持约束可以通过最小化三元组损失来实现。在域对齐损失和相似性保持约束的联合监督下，我们训练网络以获得具有两个关键特征的域不变嵌入：类内紧致性和类间可分性。在两个数据集上进行的大量实验很好地证明了SCA的有效性。
2019-01-22 cs.CV
Fast Training of Triplet-based Deep Binary Embedding Networks
The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
在本文中，我们的目标是学习一个映射（或嵌入）从图像到一个紧凑的二进制空间，其中汉明距离对应于图像检索任务的排名措施。我们使用三重损失，因为这已被证明是最有效的排名问题。然而，在以前的作品中的训练可能是昂贵的，由于优化是直接在三元组空间上执行的，其中用于训练的可能三元组的数量是训练样本的数量的立方。为了解决这个问题，我们建议将高阶二进制码学习明确地分为两个交错的阶段，将其作为多标签分类问题。为了解决第一阶段，我们设计了一个大规模的高阶二进制码推理算法，以减少高阶目标的一个标准的二进制二次问题，图割可以用来有效地推断二进制码，作为每个训练数据的标签。在第二阶段，我们建议通过精心设计的深度卷积神经网络（CNN）将原始图像映射到紧凑的二进制代码，并且可以通过训练二进制CNN分类器来解决哈希函数拟合。提出了一种增量/交错优化策略，以确保这两个步骤在训练过程中相互交互，以提高精度。我们在几个基准数据集上进行了实验，这些数据集证明了训练时间的改进（多达两个数量级）以及为各种检索任务产生最先进的哈希。
2016-08-01 cs.CV
A Simple Approach for Zero-Shot Learning based on Triplet Distribution Embeddings
KTH Royal Institute of Technology（瑞典皇家理工学院）；Sony Europe B.V.（索尼欧洲公司）
零样本学习（Zero-Shot Learning，简称ZRL）的目标是在没有标记训练数据的情况下，利用包含可见类和不可见类之间的知识的语义信息来识别不可见类。现有的语义空间嵌入方法主要使用向量来表示语义空间的嵌入。尽管流行，这样的向量表示限制了表现力方面的建模类内的变化，为每个类。我们通过利用分布嵌入来解决这个问题。更具体地说，图像嵌入和类嵌入都被建模为高斯分布，其中它们的相似性关系通过使用三元组约束来保持。指导我们方法的关键直觉是，对于每个图像，正确的类标签的嵌入应该比任何其他类标签的嵌入更接近。在多个基准数据集上进行的大量实验表明，该方法在传统的GML和更具挑战性的广义零样本学习（GML）设置下都取得了非常有竞争力的结果。
2021-03-29 cs.CV cs.LG
T$^3$-S2S: Training-free Triplet Tuning for Sketch to Scene Synthesis in Controllable Concept Art Generation
Australian National University（澳大利亚国立大学）；Vertex Lab（Vertex实验室）；University of Technology Sydney（悉尼大学）
本文提出T3-S2S方法，通过三元组微调实现可控概念艺术生成中的草图到场景合成，提升多实例场景生成的可控性和细节精度。
2026-02-06 cs.CL cs.CV cs.GR
Learning Embeddings for Product Visual Search with Triplet Loss and Online Sampling
Yahoo Research（雅虎研究院）
在本文中，我们提出了学习嵌入功能的电子商务领域内的基于内容的图像检索使用的三重损失和在线采样方法，从一个minibatch构建三胞胎。我们将我们的方法与几个强大的基线以及DeepFashion和Stanford Online Product数据集的最新作品进行了比较。我们的方法在DeepFashion数据集上的表现明显优于最先进的方法。通过修改以支持从单个产品类别中采样小批量，与斯坦福在线产品数据集的最新技术相比，相同的方法显示出具有竞争力的结果。
2018-10-10 cs.CV cs.IR cs.LG
Rethinking the Evaluation of Unbiased Scene Graph Generation
Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）；University of Rochester（罗切斯特大学）
现有的场景图生成方法往往预测频繁谓词类别，而由于谓词分布严重不平衡，无法识别罕见谓词类别。为了提高SGG模型对不同谓词类别的鲁棒性，最近的研究集中在无偏SGG上，并采用平均召回率@K（mR@K）作为主要的评估指标。然而，我们发现了关于这个事实标准度量的两个被忽视的问题，这使得当前无偏的SGG评估脆弱且不公平：1）mR@K忽略了谓词之间的相关性，并且在将所有三元组预测排序在一起时无意中破坏了类别独立性，而不管谓词类别如何。2)mR@K忽略了不同谓词的组合多样性，并对某些可组合关系三元组类型有限的过于简单的类别样本赋予过高的权重。此外，我们研究了对象和谓词之间的相关性，这可以作为一个简单但强大的基线无偏SGG。在本文中，我们改进了mR@K，并提出了两个互补的评价指标无偏SGG：独立平均召回（MR）和加权IMR（wIMR）。这两个度量分别考虑了可组合关系三元组的类别独立性和多样性。我们通过大量的实验比较了所提出的指标与事实标准指标，并讨论了以更可信的方式评估无偏SGG的解决方案。
2022-10-11 cs.CV
Multi-scale Microaneurysms Segmentation Using Embedding Triplet Loss
Technical University of Munich（慕尼黑工业大学）；Carl Zeiss Meditec AG（卡尔蔡司医疗技术股份公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
深度学习技术最近被用于眼底图像分析和糖尿病视网膜病变检测。微动脉瘤是糖尿病视网膜病变进展的重要指标。我们介绍了一种两阶段深度学习方法，用于使用多尺度输入进行微动脉瘤分割，并进行选择性采样和嵌入三重丢失。该模型首先在两个尺度上进行分割，然后用分类模型对分割结果进行细化。为了提高分类模型的鉴别能力，我们将三重嵌入损失与选择性采样例程。该模型进行了定量评估，以评估分割性能和定性分析模型的预测。这种方法比完全卷积神经网络引入了30.29%的相对改进。
2019-08-14 cs.CV eess.IV physics.med-ph
Grounding Surgical Action Triplets with Instrument Instance Segmentation: A Dataset and Target-Aware Fusion Approach
Tongji University（同济大学）
本文提出通过仪器实例分割接地手术动作三元组，引入CholecTriplet-Seg数据集和TargetFusionNet架构，提升手术场景中动作理解的准确性和鲁棒性。
2025-11-01 cs.CV
CLIP-Layout: Style-Consistent Indoor Scene Synthesis with Semantic Furniture Embedding
Meta AI
提出CLIP-Layout自回归场景模型，利用基于CLIP的图像嵌入进行实例级家具预测，实现风格一致、功能合理的室内场景合成，并支持零样本文本引导编辑。
2023-06-02 cs.CV
LiveScene: Language Embedding Interactive Radiance Fields for Physical Scene Rendering and Control
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）；Zhejiang University（浙江大学）；Peking University（北京大学）
本文提出 LiveScene，一种场景级语言嵌入交互式辐射场，通过将复杂交互场景分解为局部可变形场并引入交互感知语言嵌入，实现了多物体高效重建与自然语言控制，并在新视角合成、场景控制和语言 grounding 上表现优异。
2025-03-12 cs.CV
RAFT-3D: Scene Flow using Rigid-Motion Embeddings
Princeton University（普林斯顿大学）
我们解决场景流的问题：给定一对立体或RGB-D视频帧，估计像素级3D运动。我们介绍了RAFT-3D，一个新的场景流的深度架构。RAFT-3D基于为光流开发的RAFT模型，但迭代地更新像素级SE 3运动的密集场，而不是2D运动。RAFT-3D的一个关键创新是刚性运动嵌入，它表示将像素软分组为刚性对象。刚性运动嵌入的积分是Dense-SE 3，这是一个可微层，可以强制嵌入的几何一致性。实验结果表明，RAFT-3D算法具有较好的性能。在FlyingThings 3D上，在双视图评估下，我们将最佳发布准确率（d < 0.05）从34.3%提高到83.7%。在KITTI上，我们实现了5.77的错误，优于最好的方法（6.31），尽管没有使用对象实例监督。代码可在https://github.com/princeton-vl/RAFT-3D上获得。
2021-04-06 cs.CV
Improved Embeddings with Easy Positive Triplet Mining
George Washington University（乔治·华盛顿大学）
深度度量学习试图定义一种嵌入，其中语义相似的图像被嵌入到附近的位置，而语义不相似的图像被嵌入到远处的位置。大量的工作集中在损失函数和策略上，通过将来自同一类的图像在嵌入空间中尽可能地靠近来学习这些嵌入。在本文中，我们提出了一种替代的，松散的嵌入策略，要求嵌入函数只将每个训练图像映射到同一类中最相似的示例，这种方法我们称之为“Easy Positive”挖掘。我们提供了一系列实验和可视化，强调这种Easy Positive挖掘导致嵌入更灵活，更好地推广到新的未知数据。这种简单的挖掘策略产生的召回性能超过了最先进的方法（包括那些复杂的损失函数和集成方法）的图像检索数据集，包括CUB，斯坦福在线产品，店内服装和酒店-50 K。
2020-03-18 cs.CV cs.LG
A weakly supervised adaptive triplet loss for deep metric learning
Amazon.com Services Inc（亚马逊服务公司）；University of Maryland（马里兰大学）
我们解决了视觉相似性搜索中的距离度量学习问题，定义为学习图像嵌入模型，该模型将图像投影到欧几里得空间中，在该空间中，语义和视觉相似的图像更接近，不同的图像彼此距离更远。我们提出了一种弱监督自适应三元组损失（ATL），能够捕获细粒度的语义相似性，鼓励学习的图像嵌入模型，以及跨域数据的推广。该方法使用弱标记的产品描述数据来隐式地确定细粒度的语义类，避免了需要注释大量的训练数据。我们评估亚马逊时尚检索基准和DeepFashion店内检索数据。该方法在跨域数据上将三重丢失基线的性能提高了10.6%，并且在所有评估指标上都优于最先进的模型。
2019-09-27 cs.CV
Assessing Multimodal Chronic Wound Embeddings with Expert Triplet Agreement
Institute of Medical Biometry and Statistics (IMBI), Medical Faculty and Medical Center, University of Freiburg（弗莱堡大学医学院与医学中心医学统计与生物统计研究所）；Department of Computer Science, Faculty of Engineering, University of Freiburg（弗莱堡大学工程学院计算机科学系）；Department of Dermatology, Medical Faculty and Medical Center, University of Freiburg（弗莱堡大学医学院与医学中心皮肤科）
本文提出通过专家三元组比较评估嵌入空间，引入TriDerm框架整合图像、边界掩码和专家报告，融合视觉与文本模态提升专家一致性至73.5%。
2026-04-02 cs.CV
Boosting Standard Classification Architectures Through a Ranking Regularizer
University of Maryland, College Park（马里兰大学帕克分校）；Honda Research Institute, USA（本田研究院（美国））
我们采用三重损失作为特征嵌入正则化器来提高分类性能。标准架构，如ResNet和Inception，被扩展为以最小的超参数调整来支持这两种损失。这在微调预训练网络的同时提高了通用性。三重损失是最近提出的嵌入正则化的一个强大的替代品。然而，它是避免由于大批量的要求和高计算成本。通过我们的实验，我们重新评估了这些假设。在推理过程中，我们的网络支持分类和嵌入任务，而没有任何计算开销。定量评估突出了五个细粒度识别数据集的稳步改善。对不平衡视频数据集的进一步评估取得了显着的改善。三重丢失为分类模型带来了最近邻等特征嵌入特性。代码可从\url{http://bit.ly/2LNYEqL}获得。
2020-03-02 cs.CV
LinkNet: Relational Embedding for Scene Graph
KAIST（韩国科学技术院）
对象及其相互关系是图像理解的重要内容。场景图提供捕获图像的这些属性的结构化描述。然而，推理对象之间的关系是非常具有挑战性的，只有少数最近的作品试图解决从图像生成场景图的问题。在本文中，我们提出了一种方法，提高了场景图生成明确建模的整个对象实例之间的相互依赖关系。我们设计了一个简单而有效的关系嵌入模块，使我们的模型能够共同表示所有相关对象之间的连接，而不是孤立地关注一个对象。我们的方法显着受益的场景图生成任务的主要部分：关系分类。在基本的Faster R-CNN之上使用它，我们的模型在Visual Genome基准测试中获得了最先进的结果。通过引入全局上下文编码模块和几何布局编码模块，进一步提高了算法的性能。我们通过广泛的消融研究验证了我们的最终模型LinkNet，证明了它在场景图生成中的有效性。
2018-11-15 cs.CV
Bi-directional Exponential Angular Triplet Loss for RGB-Infrared Person Re-Identification
Peking University（北京大学）；Pengcheng Laboratory（鹏城实验室）
红外人脸识别是一个跨模态匹配问题，其中模态差异是一个很大的挑战。现有的大多数作品使用基于欧几里德度量的约束来解决来自不同模态的图像的特征之间的差异。然而，这些方法不能学习角度判别特征嵌入，因为欧几里得距离不能有效地测量嵌入向量之间的夹角。由于角度判别特征空间对于基于嵌入向量的人体图像分类至关重要，本文提出了一种新的排序损失函数，即双向指数角度三重损失函数，通过明确约束嵌入向量之间的夹角来帮助学习角度可分离的公共特征空间.此外，为了帮助稳定和学习嵌入向量的大小，我们采用了公共空间批量归一化层。在SYSU-MM 01和RegDB数据集上的定量和定性实验支持了我们的分析。在SYSU-MM 01数据集上，与基线相比，1级准确度/ mAP的性能从7.40% / 11.46%提高到38.57% / 38.61%。所提出的方法可以推广到单模态Re-ID的任务，并将Market-1501数据集上的rank-1准确率/ mAP从92.0% / 81.7%提高到94.7% / 86.6%，DukeMTMC-reID数据集上的rank-1准确率/mAP从82.6% / 70.6%提高到87.6% / 77.1%。代码：https://github.com/prismformore/expAT
2020-12-29 cs.CV
RelTR: Relation Transformer for Scene Graph Generation
Leibniz University Hannover（汉诺威莱布尼茨大学）；University of Twente（特文特大学）
本文提出端到端一阶段场景图生成模型RelTR，将关系预测建模为集合预测问题，通过编码器-解码器架构直接输出主语-谓词-宾语三元组，在Visual Genome和Open Images V6上取得优越性能与快速推理。
2023-04-14 cs.CV
Domain-aware Triplet loss in Domain Generalization
University of Queensland（昆士兰大学）
尽管随着深度学习的发展，在对象识别领域取得了很大进展，但仍有几个因素对深度学习模型的性能产生负面影响。域偏移是这些因素之一，并且是由测试数据和训练数据的分布的差异引起的。本文研究了领域泛化中的紧凑特征聚类问题，以优化多领域数据的嵌入空间。我们为领域泛化设计了一个领域感知的三元组损失，以帮助模型不仅可以聚类相似的语义特征，而且可以分散来自领域的特征。与以前的方法集中在分布对齐，我们的算法被设计为分散域信息的嵌入空间。其基本思想是基于嵌入特征可以根据域信息进行聚类的假设，这在本文中得到了数学和经验的支持。此外，在我们的探索领域泛化的特征聚类，我们注意到，在领域泛化的度量学习损失的收敛影响因素比预定义的领域更重要。为了解决这个问题，我们利用两种方法来规范化嵌入空间，减少嵌入特征的内部协变量偏移。消融研究证明了我们的算法的有效性。在PACS、VLCS和Bull-Home等基准数据集上的实验表明，该方法优于关注领域差异的相关方法。特别是，我们在RegnetY-16上的结果明显优于基准数据集上的最新方法。我们的代码将在https://github.com/workerbcd/DCT上发布
2023-03-01 cs.CV
A Discriminative Learned CNN Embedding for Remote Sensing Image Scene Classification
University of Electronic Science and Technology of China（电子科技大学）；Leshan Normal University（乐山师范学院）
在这项工作中，一个歧视性学习CNN嵌入遥感图像场景分类。我们提出的siamese网络同时计算两个输入图像的分类损失函数和度量学习损失函数。具体来说，对于分类损失，我们使用标准的交叉熵损失函数来预测图像的类别。对于度量学习损失，我们的siamese网络学习将类内和类间输入对映射到一个特征空间，在这个特征空间中，类内输入很接近，类间输入被一个间隔隔开。具体来说，对于遥感图像场景分类，我们希望将来自同一场景的图像映射到接近的特征向量，并将来自不同场景的图像映射到相距很远的特征向量。在三个不同的遥感图像数据集上进行实验，以评估我们提出的方法的有效性。实验结果表明，该方法具有良好的分类性能.
2019-12-02 cs.CV
LLaVA-4D: Embedding SpatioTemporal Prompt into LMMs for 4D Scene Understanding
School of Computing, National University of Singapore（计算学院，新加坡国立大学）
针对现有3D大多模态模型无法捕捉动态物体的问题，提出嵌入时空提示的LLaVA-4D框架，构建对应数据集并通过实验验证其在4D场景理解多任务上的有效性。
2025-05-18 cs.CV
Deep Person Re-Identification with Improved Embedding and Efficient Training
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
近年来，深度卷积神经网络（CNN）极大地推动了人员重新识别任务。其核心是在扩大类间差异的同时减小类内方差。然而，为了实现这一点，现有的深度模型倾向于采用图像对或三元组来形成验证丢失，这是低效且不稳定的，因为训练对或三元组的数量随着训练数据的数量增长而快速增长。此外，它们的性能是有限的，因为它们忽略了这样一个事实，即不同的嵌入维度可能发挥不同的重要性。在本文中，我们提出采用识别损失与中心损失的训练一个深度模型的人重新识别。训练过程是有效的，因为它不需要图像对或三元组的训练，而类间的区别和类内方差得到很好的处理。为了提高性能，设计了一个新的特征重新加权（FRW）层，以明确强调每个嵌入维度的重要性，从而改进嵌入。在几个基准数据集上的实验表明，我们的方法在准确性和速度上都优于最先进的方法。
2017-07-08 cs.CV
Multi-threshold Deep Metric Learning for Facial Expression Recognition
School of Computer and Information Engineering, Zhejiang Gongshang University（浙江工商大学计算机与信息工程学院）
针对面部表情识别中三元组深度度量学习的最优阈值难确定问题，提出多阈值深度度量学习方法，通过划分嵌入层切片对应多阈值训练，提升特征判别力与识别准确率。
2024-06-24 cs.CV
TASE: Truncation-Aware Semantic Embeddings for 3D Scene Understanding and Editing
Bosch Research（博世研究院）；Rheinisch-Westfälische Technische Hochschule Aachen（亚琛工业大学）；University of Bonn（波恩大学）
提出TASE方法，通过将预训练的2D语义特征投影到截断感知嵌入空间，结合尺度和平移等变损失，实现可控的3D场景文本驱动编辑，在大几何修改任务上显著优于现有方法。
2026-08-27 cs.CV
SceneTrilogy: On Human Scene-Sketch and its Complementarity with Photo and Text
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
在本文中，我们扩展场景理解，包括人体素描。其结果是一个完整的三部曲的场景表示从三个不同的和互补的形式-素描，照片和文字。我们不是学习一个严格的三向嵌入并完成它，而是专注于学习一个灵活的联合嵌入，它完全支持这种互补性带来的“可选性”。我们的嵌入支持两个轴上的可选性：（i）跨模态的可选性-使用模态的任何组合作为下游任务（如检索）的查询，（ii）跨任务的可选性-同时利用嵌入进行区分（例如，检索）或生成任务（例如，字幕）。这为最终用户提供了灵活性，充分利用了每种模式的最佳效果，因此首先满足了我们提出三部曲的目的。首先，信息瓶颈和条件可逆神经网络的组合从草图，照片和文本中的模态不可知性中分离出模态特定的组件。第二，使用修改的交叉注意，从草图，照片和文本的模态不可知的实例协同。一旦学会，我们表明我们的嵌入可以适应场景相关任务的多方面，包括那些首次通过包含草图而启用的任务，所有这些都没有任何特定于任务的修改。项目页：\url{http://www.pinakinathc.me/scenetrilogy}
2023-03-26 cs.CV
Syn3DTxt: Embedding 3D Cues for Scene Text Generation
National Taiwan University of Science and Technology（台湾科技大学）；National Chengchi University（中正大学）
针对场景文本生成中三维上下文不足的问题，提出在合成数据集中加入表面法线以增强空间关系表示的新标准，实验证明其提供更优几何上下文，促进复杂三维条件下的文本渲染。
2025-05-24 cs.CV
HBReID: Harder Batch for Re-identification
ANT GROUP（蚂蚁集团）
三重损失是ReID任务中广泛采用的损失函数，其将最难的正对拉近并将最难的负对推远。然而，所选样本不是全局最难的，而是仅在小批量中最难的，这将影响性能。在这份报告中，提出了一种硬批挖掘方法，以挖掘全球最难的样本，使三元组更难。更具体地，最相似的类被选择到同一个小批中，使得相似的类可以被推得更远。此外，由场景分类器和对抗损失组成的对抗场景去除模块用于学习场景不变特征表示。在MSMT17数据集上的实验证明了该方法的有效性，该方法优于以往的所有方法，取得了较好的效果。
2021-12-09 cs.CV
Physically Aware 360$^\circ$ View Generation from a Single Image using Disentangled Scene Embeddings
Disentangled360通过结合方向解耦体积渲染和单图像360°视图合成，实现了医学影像和自然场景重建中的高效真实感视图生成。
2025-12-11 cs.CV
LLM4SGG: Large Language Models for Weakly Supervised Scene Graph Generation
KAIST（韩国科学技术院）；ETRI（电子通信研究院）；Korea University（高丽大学）
提出LLM4SGG方法，利用大型语言模型结合思维链和少样本学习，解决弱监督场景图生成中三元组提取的语义过度简化和对齐时的低密度图问题，在多个数据集上显著提升了性能且具备数据效率。
2024-07-29 cs.AI cs.CV cs.LG
