Boosting Standard Classification Architectures Through a Ranking Regularizer
University of Maryland, College Park(马里兰大学帕克分校);Honda Research Institute, USA(本田研究院(美国))
我们采用三重损失作为特征嵌入正则化器来提高分类性能。标准架构,如ResNet和Inception,被扩展为以最小的超参数调整来支持这两种损失。这在微调预训练网络的同时提高了通用性。三重损失是最近提出的嵌入正则化的一个强大的替代品。然而,它是避免由于大批量的要求和高计算成本。通过我们的实验,我们重新评估了这些假设。在推理过程中,我们的网络支持分类和嵌入任务,而没有任何计算开销。定量评估突出了五个细粒度识别数据集的稳步改善。对不平衡视频数据集的进一步评估取得了显着的改善。三重丢失为分类模型带来了最近邻等特征嵌入特性。代码可从\url{http://bit.ly/2LNYEqL}获得。
2020-03-02 cs.CV
Bi-directional Exponential Angular Triplet Loss for RGB-Infrared Person Re-Identification
Peking University(北京大学);Pengcheng Laboratory(鹏城实验室)
红外人脸识别是一个跨模态匹配问题,其中模态差异是一个很大的挑战。现有的大多数作品使用基于欧几里德度量的约束来解决来自不同模态的图像的特征之间的差异。然而,这些方法不能学习角度判别特征嵌入,因为欧几里得距离不能有效地测量嵌入向量之间的夹角。由于角度判别特征空间对于基于嵌入向量的人体图像分类至关重要,本文提出了一种新的排序损失函数,即双向指数角度三重损失函数,通过明确约束嵌入向量之间的夹角来帮助学习角度可分离的公共特征空间.此外,为了帮助稳定和学习嵌入向量的大小,我们采用了公共空间批量归一化层。在SYSU-MM 01和RegDB数据集上的定量和定性实验支持了我们的分析。在SYSU-MM 01数据集上,与基线相比,1级准确度/ mAP的性能从7.40% / 11.46%提高到38.57% / 38.61%。所提出的方法可以推广到单模态Re-ID的任务,并将Market-1501数据集上的rank-1准确率/ mAP从92.0% / 81.7%提高到94.7% / 86.6%,DukeMTMC-reID数据集上的rank-1准确率/mAP从82.6% / 70.6%提高到87.6% / 77.1%。代码:https://github.com/prismformore/expAT
2020-12-29 cs.CV
Deep Person Re-Identification with Improved Embedding and Efficient Training
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
近年来,深度卷积神经网络(CNN)极大地推动了人员重新识别任务。其核心是在扩大类间差异的同时减小类内方差。然而,为了实现这一点,现有的深度模型倾向于采用图像对或三元组来形成验证丢失,这是低效且不稳定的,因为训练对或三元组的数量随着训练数据的数量增长而快速增长。此外,它们的性能是有限的,因为它们忽略了这样一个事实,即不同的嵌入维度可能发挥不同的重要性。在本文中,我们提出采用识别损失与中心损失的训练一个深度模型的人重新识别。训练过程是有效的,因为它不需要图像对或三元组的训练,而类间的区别和类内方差得到很好的处理。为了提高性能,设计了一个新的特征重新加权(FRW)层,以明确强调每个嵌入维度的重要性,从而改进嵌入。在几个基准数据集上的实验表明,我们的方法在准确性和速度上都优于最先进的方法。
2017-07-08 cs.CV
Multi-threshold Deep Metric Learning for Facial Expression Recognition
School of Computer and Information Engineering, Zhejiang Gongshang University(浙江工商大学计算机与信息工程学院)
针对面部表情识别中三元组深度度量学习的最优阈值难确定问题,提出多阈值深度度量学习方法,通过划分嵌入层切片对应多阈值训练,提升特征判别力与识别准确率。
2024-06-24 cs.CV
Self-restrained Triplet Loss for Accurate Masked Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形研究所);TU Darmstadt(达姆施塔特工业大学)
使用面部作为生物识别身份特征的动机是捕获过程的非接触性质和识别算法的高准确性。在当前COVID-19疫情后,为控制疫情,公共场所已强制佩戴口罩。然而,由于戴口罩的人脸遮挡提出了一个新兴的挑战,人脸识别系统。在本文中,我们提出了一种解决方案,以提高蒙面人脸识别性能。具体来说,我们提出了嵌入解蔽模型(EUM)操作现有的人脸识别模型的顶部。我们还提出了一种新的损失函数,自我约束的三元组(SRT),这使得EUM产生嵌入类似于这些相同身份的未蒙面的面孔。三个人脸识别模型,两个真实的蒙面数据集,和两个合成生成的蒙面人脸数据集上取得的评价结果证明,我们提出的方法显着提高了性能,在大多数实验设置。
2021-12-13 cs.CV
FaceNet: A Unified Embedding for Face Recognition and Clustering
Google Inc.(谷歌公司)
尽管最近在人脸识别领域取得了重大进展,但大规模有效地实现人脸验证和识别对当前方法提出了严峻的挑战。在本文中,我们提出了一个系统,称为FaceNet,直接学习从人脸图像映射到一个紧凑的欧几里德空间,距离直接对应于人脸相似性的度量。一旦生成了这个空间,就可以使用标准技术轻松实现人脸识别、验证和聚类等任务,并将FaceNet嵌入作为特征向量。我们的方法使用经过训练的深度卷积网络来直接优化嵌入本身,而不是像以前的深度学习方法那样使用中间瓶颈层。为了进行训练,我们使用了一种新的在线三元组挖掘方法生成的粗略对齐的匹配/非匹配人脸补丁的三元组。我们的方法的好处是更大的代表性效率:我们实现了最先进的人脸识别性能,每张脸只使用128字节。在广泛使用的Labeled Faces in the Wild(LFW)数据集上,我们的系统实现了99.63%的新记录准确率。在YouTube Faces DB上,它达到了95.12%。我们的系统在两个数据集上都将出错率与最佳公布结果相比降低了30%。我们还介绍了谐波嵌入的概念,以及谐波三重态损失,它描述了不同版本的人脸嵌入(由不同的网络产生),这些嵌入彼此兼容,并允许彼此之间进行直接比较。
2015-06-17 cs.CV
Joint Discriminative and Metric Embedding Learning for Person Re-Identification
West Virginia University(西弗吉尼亚大学);University of Misan(米桑大学)
人的重新识别是一项具有挑战性的任务,因为高的类内方差引起的不受限制的滋扰因素的变化,如姿势,照明,视点,背景和传感器噪声。最近的方法假设,功能强大的架构有能力学习的特征表示不变的滋扰因素,通过训练他们的损失,最大限度地减少类内方差和最大限度地提高类间分离,没有明确建模滋扰因素。主要的方法要么使用带有余量的判别损失,如带有附加角余量的softmax损失,要么使用度量学习损失,如带有批量硬挖掘三元组的三元组损失。由于softmax强制了特征归一化,因此它限制了监督特征嵌入的梯度流。我们通过加入损失并利用三重损失作为缺失梯度的代理来解决这个问题。我们通过增加预测属性的判别任务,进一步提高了对滋扰因素的不变性。我们广泛的评估强调,当只学习整体表示时,我们在三个最具挑战性的数据集上始终优于最先进的技术。这样的表示更容易在实际系统中部署。最后,我们发现加入损耗消除了在softmax损耗中具有裕度的要求,同时提高了性能。
2022-12-28 cs.CV
Relation Preserving Triplet Mining for Stabilising the Triplet Loss in Re-identification Systems
Singapore Management University(新加坡管理大学);University of Tübingen(蒂宾根大学);University of New South Wales(新南威尔士大学)
对象外观随姿态变化而显著变化。这给嵌入方案带来了挑战,嵌入方案试图将具有相同对象ID的实例映射到尽可能接近的位置。这个问题在复杂的计算机视觉任务中变得非常突出,例如重新识别(reID)。在本文中,我们认为,这些戏剧性的外观变化表明,一个对象ID是由多个自然组,它是适得其反,强制映射实例从不同的组到一个共同的位置。这导致我们引入关系保持三元组挖掘(RPTM),特征匹配指导的三元组挖掘方案,确保三元组将尊重对象ID内的自然分组。我们使用这种三元组挖掘机制,建立一个姿势感知,良好的条件三元组损失隐式执行视图的一致性。这允许单个网络在数据集上使用固定参数进行训练,同时提供最先进的结果。代码可在https://github.com/adhirajghosh/RPTM_reid上获得。
2022-11-14 cs.CV
Learning Embeddings with Centroid Triplet Loss for Object Identification in Robotic Grasping
TU Dortmund(多特蒙德大学);University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所);Fraunhofer IML(弗劳恩霍夫物流研究所)
本文提出质心三元组损失 CTL,用于训练输入尺寸灵活、支持多查询多图库的物体识别嵌入模型,并在 ArmBench 上达到新最优,在 HOPE 中实现可比或超越专用方法的未见物体检测。
2024-07-08 cs.CV
Teacher-Student Training and Triplet Loss for Facial Expression Recognition under Occlusion
Novustech Services(诺沃斯特科技服务公司);University of Bucharest(布加勒斯特大学)
本文研究了强遮挡条件下的人脸表情识别问题。我们对50%的面部被遮挡的情况特别感兴趣,例如当受试者佩戴虚拟现实(VR)耳机时。虽然以前的研究表明,预训练卷积神经网络(CNN)的完全可见(非遮挡)的脸提高了准确性,我们建议采用知识蒸馏,以实现进一步的改进。首先,我们采用经典的教师-学生训练策略,其中教师是在完全可见的面部上训练的CNN,学生是在遮挡面部上训练的CNN。其次,提出了一种基于三元组损失的知识蒸馏方法。在训练过程中,目标是减少锚嵌入与正嵌入之间的距离,锚嵌入由学生CNN(将遮挡的面部作为输入)产生,正嵌入由教师CNN(在完全可见的面部上训练)产生,因此它变得小于锚与负嵌入之间的距离(来自与锚不同的类别),由学生CNN产生。第三,我们建议将通过经典的师生策略和我们基于三重丢失的新颖师生策略获得的提取嵌入组合成单个嵌入向量。我们在FER+和AffectNet两个基准上进行了实验,使用两种CNN架构VGG-f和VGG-face,表明知识蒸馏可以在VR设置中为遮挡面部设计的最先进的方法上带来显着的改进。
2021-02-25 cs.CV cs.LG
Bayesian Triplet Loss: Uncertainty Quantification in Image Retrieval
Technical University of Denmark(丹麦技术大学);University of Oxford(牛津大学);University of Zaragoza(萨拉戈萨大学)
图像检索中的不确定性量化对于下游决策至关重要,但它仍然是一个具有挑战性且未探索的问题。目前用于估计不确定性的方法校准不良,计算昂贵,或基于几何学。我们提出了一种新的方法,将图像嵌入视为随机特征,而不是确定性特征。我们的两个主要贡献是:(1)匹配三元组约束的可能性,并评估锚点更接近正而不是负的概率;(2)证明传统l2归一化合理的特征空间上的先验。为了确保计算效率,我们推导出一个变分近似的后验,称为贝叶斯三重损失,产生国家的最先进的不确定性估计和匹配的预测性能,目前国家的最先进的方法。
2021-09-17 cs.CV
Variance & Greediness: A comparative study of metric-learning losses
KDDI Research, Inc.(KDDI研究公司)
本文通过比较七种度量学习损失函数,揭示了方差与贪婪性在嵌入学习中的权衡,为不同应用场景提供了选择指导。
2026-01-29 cs.CV
Homocentric Hypersphere Feature Embedding for Person Re-identification
The Hong Kong Polytechnic University(香港理工大学);Alibaba DAMO Academy(阿里巴巴达摩院)
由于摄像机视角、光照、分辨率和人体姿势的变化很大,人员重新识别(Person ReID)是一项具有挑战性的任务。近年来,随着深度学习技术的发展,Person ReID的性能得到了迅速提高。特征提取和特征匹配是Person ReID训练和部署阶段的两个关键组件。然而,许多现有的Person ReID方法在训练阶段和部署阶段之间存在度量不一致性,并且在特征表示中耦合了特征向量的大小和方向信息。同时,传统的三元组丢失方法只关注小批量样本,缺乏对全局特征分布的了解。为了解决这些问题,我们提出了一种新的同心超球面嵌入方案,解耦的幅度和方向信息的特征和权重向量,并重新制定分类损失和三重损失的角度版本,并将它们组合成一个角度的歧视性损失。我们在广泛使用的Person ReID基准上广泛评估了我们提出的方法,包括Market 1501,CUHK 03和DukeMTMC-ReID。我们的方法在所有数据集上都表现出领先的性能。
2018-05-01 cs.CV
Deep Feature Learning via Structured Graph Laplacian Embedding for Person Re-Identification
Beijing Etrol Technologies Co., Ltd(北京安控科技股份有限公司);Carnegie Mellon University(卡内基梅隆大学)
学习样本对之间的距离度量对于视觉识别,特别是对于人的再识别(Re-Id)具有重要意义。最近,对比度和三重丢失被提出来增强深度学习特征的区分能力,并取得了显着的成功。可以看出,对比度或三重丢失只是这些训练样本之间的欧几里得距离关系的一种特殊情况。因此,我们提出了一个结构化图拉普拉斯嵌入算法,它可以将所有这些结构化的距离关系表示成图拉普拉斯形式。该方法可以充分利用训练样本之间的结构化距离关系,并构造出完备图。此外,这种提法使我们的方法易于实现和超级有效。当将所提出的算法与softmax损失嵌入CNN训练时,我们的方法可以获得更强大和更有区分力的深度特征,具有个人间分散性和个人内紧凑性,这对人的Re-Id至关重要。我们在最近四个广泛使用的Re-Id基准数据集上,在三个流行的网络,即AlexNet,DGDNet和ResNet 50上说明了我们提出的方法的有效性。我们提出的方法实现了最先进的性能。
2017-07-25 cs.CV
Dual-Triplet Metric Learning for Unsupervised Domain Adaptation in Video-Based Face Recognition
École de technologie supérieure(高等技术学院);Nuvoola Inc.(努沃拉公司)
深度学习模型的可扩展性和复杂性仍然是许多视觉识别应用中的关键问题,例如,视频监控,其中需要对来自每个新摄像机的标记图像数据进行微调以减少从源域捕获的视频之间的域偏移,例如,实验室环境和目标领域,即操作环境。在许多视频监控应用中,如人脸识别(FR)和人员重新识别,成对匹配器用于将使用摄像机捕获的查询图像分配给图库中的对应参考图像。摄像机的不同配置和操作条件可能会在成对距离分布中引入显著的偏移,从而导致新摄像机的识别性能下降。本文提出了一种新的深度领域自适应(DA)方法,使用新的摄像机捕获的未标记的轨迹来适应Siamese网络的CNN嵌入。为此,引入双三元组损失用于度量学习,其中两个三元组使用来自源相机和新目标相机的视频数据来构造。为了构成双三元组,引入了相互监督学习方法,其中源相机充当老师,为目标相机提供初始嵌入。然后,学生依赖于教师来迭代地标记在例如,初始相机校准。源嵌入和目标嵌入继续同时学习,使得它们的成对距离分布变得对齐。为了验证,所提出的度量学习技术用于在不同的训练场景下训练深度暹罗网络,并与COX-S2 V和基于私有视频的FR数据集上的静态到视频FR的最新技术进行比较。
2020-02-11 cs.CV eess.IV
Informative and Representative Triplet Selection for Multilabel Remote Sensing Image Retrieval
Technische Universität Berlin(柏林工业大学)
遥感图像间的相似性学习是基于内容的遥感图像检索的基础。最近,将图像的语义相似性映射到嵌入(度量)空间的深度度量学习方法在RS中非常流行。用于学习度量空间的常见方法依赖于选择与称为锚的参考图像相似(正)和不相似(负)的图像的三元组。选择三元组是一项困难的任务,特别是对于多标签RS CBIR,其中每个训练图像由多个类别标签注释。为了解决这个问题,在本文中,我们提出了一种新的三元组采样方法的框架内定义的多标签RS CBIR问题的深度神经网络(DNN)。所提出的方法选择了一个小的最具代表性和信息的三元组的基础上两个主要步骤。在第一步中,使用迭代算法从当前小批量中选择在嵌入空间中彼此不同的锚点集合。在第二步中,通过基于新策略评估图像之间的相关性、硬度和多样性,为每个锚点选择不同的正图像和负像集合。在两个多标签基准档案上获得的实验结果表明,在DNN的上下文中选择最具信息性和代表性的三元组导致:i)降低DNN的训练阶段的计算复杂性,而不会对性能造成任何重大损失;以及ii)由于信息三元组允许快速收敛,因此学习速度增加。所提出的方法的代码可在https://git.tu-berlin.de/rsim/image-retrieval-from-triplets上公开获得。
2021-11-09 cs.CV eess.IV
Two-Stage Triplet Loss Training with Curriculum Augmentation for Audio-Visual Retrieval
KDDI Research, Inc.(KDDI综合研究所)
本文提出一种基于课程学习的两阶段三元组损失训练范式,通过从半难到难三元组的渐进式训练及插值增强技术优化嵌入空间,在视听跨模态检索任务上实现了约9.8%的MAP提升。
2023-10-20 cs.CV cs.IR cs.MM
Learning Binary Semantic Embedding for Histology Image Classification and Retrieval
Shandong University(山东大学);Shandong Jianzhu University(山东建筑大学)
随着医学影像技术和机器学习的发展,计算机辅助诊断技术因其能为病理学家提供重要的参考而引起了广泛的研究兴趣。医学图像的指数级增长和传统分类模型的不可解释性阻碍了计算机辅助诊断的应用。为了解决这些问题,我们提出了一种新的学习二进制语义嵌入(LBSE)的方法。基于高效和有效的嵌入,分类和检索进行组织学图像提供可解释的计算机辅助诊断。该方法将双监督、位不相关和平衡约束、非对称策略和离散优化无缝集成到二进制嵌入学习中。在三个基准数据集上进行的实验验证了LBSE在各种场景下的优越性。
2020-10-07 cs.AI cs.CV
End-to-end Binary Representation Learning via Direct Binary Embedding
University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
学习二进制表示对于大规模计算机视觉任务至关重要。大多数现有的算法需要一个单独的量化约束来学习有效的散列函数。在这项工作中,我们提出了直接二进制嵌入(DBE),一个简单但非常有效的算法,以端到端的方式学习二进制表示。通过在深度卷积神经网络(DCNN)中附加一个巧妙设计的DBE层,DBE可以直接从连续的DBE层激活中学习二进制代码,而不会产生量化误差。通过使用深度残差网络(ResNet)作为DCNN组件,DBE从图像中捕获丰富的语义。此外,在处理多标签图像的努力,我们设计了一个联合交叉熵损失,其中包括softmax交叉熵和加权二进制交叉熵考虑标签的相关性和独立性,分别。大量的实验表明,DBE在自然物体识别,图像检索和图像注释等任务上比最先进的方法具有显着的优越性。
2017-06-04 cs.CV cs.IR
Deep Metric Learning Beyond Binary Supervision
POSTECH(浦项科技大学);Inria(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院)
视觉相似性的度量学习大多采用二进制监督,指示一对图像是否属于同一类。这样的二进制指示符仅覆盖图像关系的有限子集,并且不足以表示由连续和/或结构化标签(诸如对象姿态、图像标题和场景图)描述的图像之间的语义相似性。受此启发,我们提出了一种使用连续标签进行深度度量学习的新方法。首先,我们提出了一个新的三重损失,允许在标签空间中的距离比被保存在学习度量空间。因此,提出的损失使我们的模型能够学习相似度,而不仅仅是顺序。此外,我们设计了一个三元组挖掘策略,适用于连续标签的度量学习。我们解决三个不同的图像检索任务与连续标签的人类姿势,房间布局和图像标题,并证明我们的方法相比,以前的方法的优越性能。
2019-04-21 cs.CV cs.LG
Triplet Loss-less Center Loss Sampling Strategies in Facial Expression Recognition Scenarios
Clemson University(克莱姆森大学);University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
面部表情传递着海量的信息,在情感表达中起着至关重要的作用。深度神经网络(DNN)与深度度量学习(DML)技术相结合,提高了面部表情识别(FER)应用中模型的区分能力。DNN仅配备分类损失函数,如交叉熵,不能压缩类内特征变化或分离类间特征距离,以及当它被支持损失项的DML加强时。三重中心损失(TCL)函数应用于样本在嵌入空间中的嵌入的所有维度。在我们的工作中,我们开发了三种策略:全合成,半合成和基于预测的阴性样本选择策略。为了达到更好的效果,我们引入了一个选择性注意力模块,该模块使用输入样本的高语义深度特征提供像素和元素注意力系数的组合。我们在RAF-DB(一个高度不平衡的数据集)上评估了所提出的方法。实验结果表明,与基线相比,所有三种阴性样本选择策略都有显着改善。
2023-02-08 cs.AI cs.CC cs.CV
Learning Embeddings for Image Clustering: An Empirical Study of Triplet Loss Approaches
Fraunhofer ITWM(弗劳恩霍夫工业数学研究所);University of Mannheim(曼海姆大学);Offenburg University(奥芬堡大学)
在这项工作中,我们评估两个不同的图像聚类目标,k-均值聚类和相关聚类,在三重损失引起的特征空间嵌入的背景下。具体来说,我们训练一个卷积神经网络,通过优化两个流行版本的三重损失来学习判别特征,以便在噪声标签的假设下研究它们的聚类特性。此外,我们提出了一个新的,简单的三重损失制定,它显示出理想的性能方面的正式聚类目标,并优于现有的方法。我们评估所有三个三重损失公式的K均值和相关聚类CIFAR-10图像分类数据集。
2020-07-06 cs.CV
Tiny Descriptors for Image Retrieval with Unsupervised Triplet Hashing
Institute for Infocomm Research(资讯通信研究院);Université Pierre et Marie Curie(皮埃尔和玛丽·居里大学);CentraleSupélec(巴黎中央理工-高等电力学院)
一个典型的图像检索流水线开始于比较来自大型数据库的全局描述符,以找到候选匹配的短列表。一个好的图像描述符是检索管道的关键,应该协调两个矛盾的要求:提供尽可能高的召回率和尽可能紧凑的快速匹配。随着深度卷积神经网络(DCNN)在大规模图像分类中的成功应用,越来越多地使用从DCNN中提取的描述符来代替传统的手工描述符,如具有更好检索性能的Fisher向量(FV)。然而,典型的DCNN描述符的维度-从视觉特征金字塔或完全连接的层中提取-在数千个标量值处仍然相当高。在本文中,我们提出了无监督三重哈希(UTH),一种完全无监督的方法来计算非常紧凑的二进制哈希-在32-256位范围内-从高维全局描述符。UTH由两个连续的深度学习步骤组成。首先,堆叠限制玻尔兹曼机(SRBM),一种无监督的深度神经网络,用于学习二进制嵌入函数,能够将描述符大小降低到所需的比特率。SRBM通常能够以丢失原始DCNN描述符空间的一些期望度量属性为代价来确保非常高的压缩率。然后,三元组网络,基于权重共享网络的秩学习方案被用来微调二进制嵌入函数,以尽可能多地保留原始空间的有用度量属性。使用DCNN描述符对多个公开可用的数据集进行的全面实证评估表明,我们的方法能够在目标比特范围内显着优于最先进的无监督方案。
2015-11-10 cs.CV cs.IR cs.LG
HBST: A Hamming Distance embedding Binary Search Tree for Visual Place Recognition
Sapienza University of Rome(罗马大学)
可靠高效的视觉位置识别是现代SLAM系统的主要组成部分。利用我们以前的工作,在本文中,我们提出了一个汉明距离嵌入二叉搜索树(HBST)的方法进行二进制描述符匹配和图像检索。HBST允许通过利用二进制特征描述符的特定属性在对数时间内进行描述符搜索和插入。我们支持我们的搜索结构背后的想法,对利用描述符属性及其对搜索和插入的完整性和复杂性的影响进行了彻底的分析。为了验证我们的主张,我们在广泛的公开数据集上对HBST和几种最先进的方法进行了比较实验。HBST是一个紧凑的开源C++头文件库。
2018-02-28 cs.CV cs.RO
Triplet-Aware Scene Graph Embeddings
University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校);Intel AI Lab(英特尔人工智能实验室)
场景图已经成为用于诸如图像生成、视觉关系检测、视觉问答和图像检索等任务的结构化知识的重要形式。虽然可视化和解释词嵌入是很好的理解,场景图嵌入还没有得到充分的探讨。在这项工作中,我们训练场景图嵌入在布局生成任务与不同形式的监督,特别是引入三重监督和数据增强。我们看到,在添加三元组监督和数据增强之后,测量布局预测的良好性的两个指标,即平均交集对并集(mIoU)(52.3%对49.2%)和关系得分(61.7%对54.1%)的性能都有了显着提高。为了理解这些不同的方法如何影响场景图表示,我们应用了几种新的可视化和评估方法来探索场景图嵌入的演变。我们发现,三重监督显着提高嵌入可分性,这是高度相关的布局预测模型的性能。
2019-09-19 cs.CV
Triplet Similarity Embedding for Face Verification
University of Maryland(马里兰大学)
在这项工作中,我们提出了一个无约束的人脸验证算法,并在最近发布的IJB-A数据集上对其进行了评估,该数据集旨在推动人脸验证方法的边界。该算法将基于CNN的深度方法与使用三元组相似性约束以大间隔方式学习的低维判别嵌入相结合。除了提高性能外,这种嵌入还在内存和后处理操作(如哈希和可视化)方面提供了显着的优势。在IJB-A数据集上的实验表明,该算法在验证和识别指标方面优于现有方法,同时需要更少的训练时间。
2016-03-13 cs.CV
TripletTrack: 3D Object Tracking using Triplet Embeddings and LSTM
KU Leuven(鲁汶大学);ETH Zurich(苏黎世联邦理工学院);TRACE vzw(TRACE非营利组织)
3D物体跟踪是自动驾驶系统中的一项关键任务。它对于系统对周围环境的感知起着至关重要的作用。与此同时,人们对仅依赖廉价传感器(如摄像头)的自动驾驶汽车算法的兴趣越来越大。在本文中,我们研究使用三重嵌入结合运动表示的三维对象跟踪。我们从一个现成的3D对象检测器开始,并应用跟踪机制,在该机制中,对象通过在局部对象特征嵌入和运动描述符上计算的亲和力得分进行匹配。特征嵌入被训练为包括关于视觉外观和单眼3D对象特征的信息,而运动描述符提供对象轨迹的强有力的表示。我们将证明,我们的方法可以有效地重新识别对象,并且在遮挡、错过检测的情况下也能可靠而准确地表现出来,并且可以在不同的视场中检测到重新出现。实验评估表明,我们的方法优于国家的最先进的nuScenes的大幅度。我们还在KITTI上获得了竞争性结果。
2022-10-28 cs.CV
TriTransNet: RGB-D Salient Object Detection with a Triplet Transformer Embedding Network
Anhui University(安徽大学);Hefei University(合肥学院)
显著目标检测是一种像素级的密集预测任务,能够突出场景中的显著目标。最近U-Net框架被广泛使用,连续卷积和池化操作生成相互补充的多层特征。鉴于高层特征对性能的贡献更大,我们提出了一个三重Transformer嵌入模块,通过学习跨层的长程依赖关系来增强它们。它是第一个使用三个Transformer编码器共享权重,以增强多层次的功能。通过进一步设计尺度调整模块处理输入,设计三流解码器处理输出,并将深度特征与颜色特征进行多模态融合,提出的三重Transformer嵌入网络(TriTransNet)在RGB-D显著目标检测中达到了最新的性能,将性能提升到了一个新的水平。实验结果证明了所提出的模块的有效性和TriTransNet的竞争力。
2021-08-09 cs.CV
SoftTriple Loss: Deep Metric Learning Without Triplet Sampling
Alibaba Group(阿里巴巴集团)
距离度量学习(Distance Metric Learning,DML)是学习同类样本比异类样本更接近的嵌入。它可以转换为一个具有三重约束的优化问题。由于大量的三元组约束,采样策略对于DML是必不可少的。随着深度学习在分类方面的巨大成功,它已被应用于DML。当使用深度神经网络(DNN)学习嵌入时,每次迭代时只有一小批数据可用。必须在小批量内对三元组约束集进行采样。由于mini-batch不能很好地捕获原始集合中的邻居,因此它使学习的嵌入次优。相反,使用DNN优化SoftMax损失,这是一种分类损失,在某些DML任务中表现出优越的性能。它启发我们研究SoftMax的制定。我们的分析表明,SoftMax损失相当于平滑的三重损失,其中每个类都有一个中心。在现实世界的数据中,一个类可以包含多个局部聚类而不是单个聚类,例如,不同姿势的鸟因此,我们提出SoftTriple损失来扩展SoftMax损失,每个类别都有多个中心。与传统的深度度量学习算法相比,优化SoftTriple损失可以通过适度增加最后一个全连接层的大小来学习没有采样相位的嵌入。在细粒度基准数据集上的实验验证了该损失函数的有效性。代码可在https://github.com/idstcv/SoftTriple上获得
2020-04-15 cs.CV
Detecting unseen visual relations using analogies
Ecole normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);INRIA(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院);Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague(捷克理工大学捷克信息学、机器人与控制论研究所)
我们试图检测图像中的视觉关系的三元组t =(主题,谓词,对象)的形式,如“人骑狗”,其中训练样本的个别实体是可用的,但它们的组合是看不见的训练。由于视觉关系的组合性质,这是一个重要的设置:为所有可能的三元组收集足够的训练数据将非常困难。这项工作的贡献是三方面的。首先,我们学习了一种视觉关系的表示,它结合了(i)主语、宾语和谓语的个体嵌入以及(ii)表示关系三元组的视觉短语嵌入。其次,我们学习如何使用涉及类似对象的关系之间的类比将视觉短语嵌入从现有的训练三元组转移到看不见的测试三元组。第三,我们在三个具有挑战性的数据集上展示了我们的方法的好处:在HICO-DET上,我们的模型在频繁和看不见的三元组的强基线上实现了显着的改进,并且我们观察到在COCO-a数据集上检索具有词汇表外谓词的看不见的三元组以及UnRel数据集中具有挑战性的不寻常的三元组的相似改进。
2019-09-22 cs.CV
A Simple Approach for Zero-Shot Learning based on Triplet Distribution Embeddings
KTH Royal Institute of Technology(瑞典皇家理工学院);Sony Europe B.V.(索尼欧洲公司)
零样本学习(Zero-Shot Learning,简称ZRL)的目标是在没有标记训练数据的情况下,利用包含可见类和不可见类之间的知识的语义信息来识别不可见类。现有的语义空间嵌入方法主要使用向量来表示语义空间的嵌入。尽管流行,这样的向量表示限制了表现力方面的建模类内的变化,为每个类。我们通过利用分布嵌入来解决这个问题。更具体地说,图像嵌入和类嵌入都被建模为高斯分布,其中它们的相似性关系通过使用三元组约束来保持。指导我们方法的关键直觉是,对于每个图像,正确的类标签的嵌入应该比任何其他类标签的嵌入更接近。在多个基准数据集上进行的大量实验表明,该方法在传统的GML和更具挑战性的广义零样本学习(GML)设置下都取得了非常有竞争力的结果。
2021-03-29 cs.CV cs.LG
Domain Alignment with Triplets
University of Chinese Academy of Sciences(中国科学院大学);Australian National University(澳大利亚国立大学)
深度领域自适应方法可以通过学习领域不变的嵌入来减少分布差异。然而,这些方法只关注整体数据分布的对齐,而没有考虑源图像和目标图像之间的类级关系。因此,鸟的目标嵌入可以与飞机的源嵌入对准。这种语义错位会直接降低目标数据集上的分类器性能。为了缓解这个问题,我们提出了一个相似性约束对齐(SCA)的无监督领域自适应方法。当对齐嵌入空间中的分布时,SCA强制执行相似性保留约束以维护源图像和目标图像之间的类级别关系,即,如果源图像和目标图像具有相同的类别标签,则它们对应的嵌入被认为是邻近对齐的,反之亦然。在没有目标标签的情况下,我们为目标图像分配伪标签。给定标记源图像和伪标记目标图像,相似性保持约束可以通过最小化三元组损失来实现。在域对齐损失和相似性保持约束的联合监督下,我们训练网络以获得具有两个关键特征的域不变嵌入:类内紧致性和类间可分性。在两个数据集上进行的大量实验很好地证明了SCA的有效性。
2019-01-22 cs.CV
Multi-scale Microaneurysms Segmentation Using Embedding Triplet Loss
Technical University of Munich(慕尼黑工业大学);Carl Zeiss Meditec AG(卡尔蔡司医疗技术股份公司);Johns Hopkins University(约翰斯·霍普金斯大学)
深度学习技术最近被用于眼底图像分析和糖尿病视网膜病变检测。微动脉瘤是糖尿病视网膜病变进展的重要指标。我们介绍了一种两阶段深度学习方法,用于使用多尺度输入进行微动脉瘤分割,并进行选择性采样和嵌入三重丢失。该模型首先在两个尺度上进行分割,然后用分类模型对分割结果进行细化。为了提高分类模型的鉴别能力,我们将三重嵌入损失与选择性采样例程。该模型进行了定量评估,以评估分割性能和定性分析模型的预测。这种方法比完全卷积神经网络引入了30.29%的相对改进。
2019-08-14 cs.CV eess.IV physics.med-ph
Deep Triplet Quantization
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Microsoft Research Asia(微软亚洲研究院)
深度哈希通过从相似性数据中对深度表示和哈希码进行端到端学习,建立高效和有效的图像检索。我们提出了一个紧凑的编码解决方案,专注于深度学习量化方法,该方法在相似性检索方面表现出优于哈希解决方案的性能。我们提出了深度三元组量化(DTQ),这是一种从相似性三元组中学习深度量化模型的新方法。为了实现更有效的三元组训练,我们设计了一种新的三元组选择方法,Group Hard,它在每个图像组中随机选择硬三元组。为了生成紧凑的二进制码,我们进一步应用三重量化与弱正交性在三重训练。量化损失减少了码本冗余,并通过反向传播增强了深度表示的可量化性。大量实验表明,DTQ可以生成高质量且紧凑的二进制代码,从而在NUS-WIDE、CIFAR-10和MS-COCO三个基准数据集上产生最先进的图像检索性能。
2019-02-01 cs.CV
A weakly supervised adaptive triplet loss for deep metric learning
Amazon.com Services Inc(亚马逊服务公司);University of Maryland(马里兰大学)
我们解决了视觉相似性搜索中的距离度量学习问题,定义为学习图像嵌入模型,该模型将图像投影到欧几里得空间中,在该空间中,语义和视觉相似的图像更接近,不同的图像彼此距离更远。我们提出了一种弱监督自适应三元组损失(ATL),能够捕获细粒度的语义相似性,鼓励学习的图像嵌入模型,以及跨域数据的推广。该方法使用弱标记的产品描述数据来隐式地确定细粒度的语义类,避免了需要注释大量的训练数据。我们评估亚马逊时尚检索基准和DeepFashion店内检索数据。该方法在跨域数据上将三重丢失基线的性能提高了10.6%,并且在所有评估指标上都优于最先进的模型。
2019-09-27 cs.CV
Assessing Multimodal Chronic Wound Embeddings with Expert Triplet Agreement
Institute of Medical Biometry and Statistics (IMBI), Medical Faculty and Medical Center, University of Freiburg(弗莱堡大学医学院与医学中心医学统计与生物统计研究所);Department of Computer Science, Faculty of Engineering, University of Freiburg(弗莱堡大学工程学院计算机科学系);Department of Dermatology, Medical Faculty and Medical Center, University of Freiburg(弗莱堡大学医学院与医学中心皮肤科)
本文提出通过专家三元组比较评估嵌入空间,引入TriDerm框架整合图像、边界掩码和专家报告,融合视觉与文本模态提升专家一致性至73.5%。
2026-04-02 cs.CV
Domain-aware Triplet loss in Domain Generalization
University of Queensland(昆士兰大学)
尽管随着深度学习的发展,在对象识别领域取得了很大进展,但仍有几个因素对深度学习模型的性能产生负面影响。域偏移是这些因素之一,并且是由测试数据和训练数据的分布的差异引起的。本文研究了领域泛化中的紧凑特征聚类问题,以优化多领域数据的嵌入空间。我们为领域泛化设计了一个领域感知的三元组损失,以帮助模型不仅可以聚类相似的语义特征,而且可以分散来自领域的特征。与以前的方法集中在分布对齐,我们的算法被设计为分散域信息的嵌入空间。其基本思想是基于嵌入特征可以根据域信息进行聚类的假设,这在本文中得到了数学和经验的支持。此外,在我们的探索领域泛化的特征聚类,我们注意到,在领域泛化的度量学习损失的收敛影响因素比预定义的领域更重要。为了解决这个问题,我们利用两种方法来规范化嵌入空间,减少嵌入特征的内部协变量偏移。消融研究证明了我们的算法的有效性。在PACS、VLCS和Bull-Home等基准数据集上的实验表明,该方法优于关注领域差异的相关方法。特别是,我们在RegnetY-16上的结果明显优于基准数据集上的最新方法。我们的代码将在https://github.com/workerbcd/DCT上发布
2023-03-01 cs.CV
Feature learning based on visual similarity triplets in medical image analysis: A case study of emphysema in chest CT scans
University of Copenhagen(哥本哈根大学);Eindhoven University of Technology(埃因霍温理工大学);Hvidovre Hospital(维兹奥勒医院);Bispebjerg Hospital(比斯佩比约医院);Erasmus MC - University Medical Center Rotterdam(伊拉斯谟医学中心——鹿特丹大学医学中心)
使用卷积神经网络(CNN)的监督特征学习可以提供医学图像的简洁和疾病相关的表示。然而,训练CNN需要注释的图像数据。注释医学图像可能是一项耗时的任务,即使是专家注释也会受到评估者之间和评估者内部差异的影响。评估图像的视觉相似性,而不是指示特定的病理或估计疾病的严重程度,可以让非专家参与,帮助发现新的模式,并可能减少评级者的变异性。我们考虑的任务,评估肺气肿的程度在胸部CT扫描。我们从视觉评估的肺气肿程度中获得视觉相似性三元组,并使用CNN学习低维嵌入。我们在973张图像上评估了这些网络,并表明CNN可以从衍生的相似性三元组中学习疾病相关的特征表示。据我们所知,这是第一个医学图像应用程序,其中相似性三元组已被用于学习可用于嵌入不可见测试图像的特征表示
2018-06-19 cs.CV
Identifying Ambiguous Similarity Conditions via Semantic Matching
Nanjing University(南京大学)
图像内部丰富的语义导致了图像与其他图像之间的模糊关系,即,两个图像在一种情况下可能相似,但在另一种情况下可能不同。假设“aircraft”与“bird”的相似度大于“训练”,弱监督条件相似性学习(WS-CSL)学习多个嵌入来匹配语义条件,而不需要“can fly”等显式条件标签。然而,三元组中的相似性关系是不确定的,除非提供一个条件。例如,一旦条件标签变为“is vehicle”,先前的比较就变得无效。为此,我们引入了一种新的评估标准,通过将学习到的嵌入分配到其最佳条件后预测比较的正确性,该标准衡量了WS-CSL作为监督模型可以覆盖多少潜在语义。此外,我们提出了距离诱导的语义条件验证网络(DiscoverNet),它的特点是在一个“分解和融合”的方式的实例-实例和三元组-条件关系。为了使学习的嵌入覆盖所有语义,DiscoverNet在三元组和条件之间的对应关系上使用了一个集合模块或额外的正则化器。DiscoverNet在UT-Zappos-50 k和Celeb-A w.r.t.等基准测试中达到了最先进的性能。不同的标准
2022-04-08 cs.CV
Triplet Probabilistic Embedding for Face Verification and Clustering
University of Maryland(马里兰大学)
尽管在过去的二十五年中取得了重大进展,无约束的人脸验证仍然是一个具有挑战性的问题。本文提出了一种方法,将基于深度CNN的方法与使用三重概率约束学习的低维判别嵌入相结合,以解决无约束人脸验证问题。除了产生性能改进之外,这种嵌入在内存和后处理操作(如特定于主题的聚类)方面提供了显着的优势。在具有挑战性的IJB-A数据集上的实验表明,该算法在验证和识别指标方面优于现有方法,同时需要更少的训练数据和训练时间。所提出的方法在CFP数据集上的优异性能表明,我们的深度CNN学习的表示对极端姿势变化具有鲁棒性。此外,我们通过在IJB-A和LFW数据集上进行简单的聚类实验,证明了深度特征对年龄,姿势,模糊和杂乱等挑战的鲁棒性。
2017-01-18 cs.CV cs.LG stat.ML
Learning Local Image Descriptors with Deep Siamese and Triplet Convolutional Networks by Minimising Global Loss Functions
The University of Adelaide(阿德莱德大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
最近在训练深度卷积神经网络(ConvNet)模型方面的创新激发了设计新方法来自动学习局部图像描述符。为这项任务提出的最新深度ConvNets由一个连体网络组成,该网络通过惩罚局部图像块对的错误分类来训练。目前来自机器学习的结果表明,用三元组网络代替这种连体可以提高几个问题的分类精度,但这还没有被证明用于局部图像描述符学习。此外,目前的连体和三联网络已经用随机梯度下降进行了训练,该梯度下降从局部图像块的单个对或三联体中计算梯度,这可能使它们容易过度拟合。在本文中,我们首先提出了使用三元组网络的局部图像描述符学习的问题。此外,我们还建议使用全局损失,最大限度地减少训练集中的总体分类错误,这可以提高模型的泛化能力。使用UBC基准数据集比较本地图像描述符,我们表明,在UBC数据集误差方面,三重网络比连体网络产生更准确的嵌入。此外,我们还证明了三重态和全局损失的组合产生了最好的嵌入领域,使用这个三重态网络。最后,我们还证明了使用全局损失训练的中心-环绕连体网络在UBC数据集上产生了最佳的结果。预先训练的模型可在https://github.com/vijaykbg/deep-patchmatch上在线获得
2016-08-01 cs.CV
Deep Hashing with Triplet Quantization Loss
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学协同媒体创新中心)
随着图像数据库的爆炸式增长,深度哈希(学习图像的紧凑二进制描述符)已成为快速图像检索的关键。许多现有的深度哈希方法利用量化损失,定义为量化前后特征之间的距离,以减少二值化特征的误差。虽然最小化量化损失保证了量化对检索精度的影响最小,但不幸的是,即使在量化之前,它也会显着降低特征的表现力。在本文中,我们表明,上述定义的量化损失是过于限制,事实上没有必要保持高检索精度。因此,我们提出了一种新形式的量化损失测量的三重态。三元组量化损失的核心思想是学习有区别的实值描述符,从而使量化后的检索精度损失最小。在两个广泛使用的不同规模的基准数据集CIFAR-10和In-shop上进行的大量实验表明,所提出的方法优于最先进的深度哈希方法。此外,我们表明,紧凑的二进制描述符与三重量化损失导致量化后的性能下降非常小。
2017-10-31 cs.CV
Batch-Incremental Triplet Sampling for Training Triplet Networks Using Bayesian Updating Theorem
University of Waterloo(滑铁卢大学)
Triplet网络的变体是用于学习判别嵌入子空间的鲁棒实体。存在不同的三元组挖掘方法来选择最合适的训练三元组。这些挖掘方法中的一些依赖于实例之间的极端距离,而另一些则使用采样。然而,从数据的随机分布中采样而不是仅仅从现有的嵌入实例中采样可以提供更多的判别信息。在这项工作中,我们从分布的数据,而不是从现有的实例中采样三元组。我们考虑一个多元正态分布的嵌入每一类。使用贝叶斯更新和共轭先验,我们动态更新类的分布,通过接收新的小批量的训练数据。所提出的具有贝叶斯更新的三元组挖掘可以与任何基于三元组的损失函数一起使用,例如,三重损失或邻域分量分析(NCA)损失。因此,我们的三元组挖掘方法被称为贝叶斯更新三元组(BUT)和贝叶斯更新NCA(BUNCA),这取决于使用的损失函数。两个公共数据集,即MNIST和组织病理学结直肠癌(CRC)的实验结果,证实了所提出的三元组挖掘方法的有效性。
2020-10-13 cs.CV cs.LG eess.IV
Smart Mining for Deep Metric Learning
The University of Adelaide(阿德莱德大学);Monash University(莫纳什大学)
为了解决深度度量学习问题和生成特征嵌入,当前的方法通常使用三元组模型来最小化来自同一类的样本之间的相对距离,并最大化来自不同类的样本之间的相对距离。虽然成功了,但这个三元组模型的训练收敛性可能会受到绝大多数训练样本将产生幅度接近于零的梯度的事实的影响。这个问题激发了探索嵌入的全局结构的方法和探索硬负/正挖掘的其他方法的发展。这种采矿方法的有效性往往与棘手的计算要求有关。在本文中,我们提出了一种新的深度度量学习方法,该方法结合了三元组模型和嵌入空间的全局结构。我们依赖于一个智能挖掘过程,以低计算成本产生有效的训练样本。此外,我们提出了一种自适应控制器,可以自动调整智能挖掘超参数,加快训练过程的收敛速度。我们的经验表明,我们提出的方法可以比其他竞争挖掘方法更快,更准确地训练三元组ConvNets。此外,我们还证明了我们的方法在CUB-200-2011和Cars 196数据集上实现了新的最先进的嵌入结果。
2017-07-27 cs.CV
Trident: Detecting Face Forgeries with Adversarial Triplet Learning
Department of Computer Engineering, Bilkent University(计算机工程系,比尔肯特大学)
提出Trident人脸伪造检测框架,采用Siamese网络三元组学习与域对抗训练,捕捉细粒度伪造特征并学习与伪造无关的表示,有效提升对未见篡改的泛化与鲁棒性。
2025-06-29 cs.CV
PVSNet: Palm Vein Authentication Siamese Network Trained using Triplet Loss and Adaptive Hard Mining by Learning Enforced Domain Specific Features
Indian Institute of Technology Mandi(印度理工学院曼迪分校);Indian Institute of Technology Indore(印度理工学院印多尔分校)
设计一个端到端的深度学习网络来匹配具有有限训练样本的生物特征是一项极具挑战性的任务。为了解决这个问题,我们提出了一种设计端到端深度CNN框架的新方法,即,PVSNet分为两个主要步骤:首先,编码器-解码器网络用于学习生成域特定特征,然后是Siamese网络,其中卷积层以无监督方式预先训练为自动编码器。所提出的模型是通过三重损失函数,调整学习特征嵌入的方式,最大限度地减少嵌入对之间的距离,从同一主题和最大限度地提高与来自不同主题的距离,与利润。特别地,已经提出了使用基于自适应余量的硬否定挖掘的三重连体匹配网络。与训练策略相关的超参数(如自适应裕度)已被调整,以使学习在生物特征数据集上更有效。在广泛的实验中,所提出的网络在三种类型的典型静脉数据集上的性能优于大多数现有的深度学习解决方案,这清楚地证明了我们所提出的方法的有效性。
2018-12-15 cs.CV
Hotel Recognition via Latent Image Embedding
HSE University(高等经济大学)
我们用深度度量学习来解决酒店识别问题。我们概述了现有的方法,并提出了一个修改的对比损失称为对比三重损失。我们构建了一个强大的管道来对度量学习模型进行基准测试,并在Hotels-50 K和CUB 200数据集上进行了实验。对比三重损失被证明可以在Hotels-50 k上实现更好的检索。我们开源我们的代码。
2021-06-15 cs.CV cs.IR cs.LG
Age-Oriented Face Synthesis with Conditional Discriminator Pool and Adversarial Triplet Loss
University of Warwick(华威大学);Deakin University(迪肯大学)
香草生成对抗网络(GAN)通常用于生成描绘衰老和年轻面孔的逼真图像。然而,这种普通GANs在面向年龄的人脸合成任务中的性能通常受到模式坍塌问题的影响,这可能导致生成具有最小变化的人脸和较差的合成精度。此外,最近的面向年龄的人脸合成方法使用的L1或L2约束,以保持合成的脸,这隐含地限制了身份持久性的能力时,这些约束与一个平凡的加权因子。在本文中,我们提出了一种面向年龄的人脸合成任务,实现了高的合成精度与强身份持久性的能力。具体来说,为了实现高的合成精度,我们的方法解决了模式坍塌的问题与一个新的条件判别池(CDP),其中包括多个判别器,每个针对一个特定的年龄类别。为了实现强大的身份持久性能力,我们的方法使用了一种新的对抗性三重损失。这种基于三重损失的损失增加了一个排名操作,以进一步将正嵌入拉向锚嵌入,从而显著降低了特征空间中的类内方差。通过大量的实验,我们表明,我们提出的方法优于国家的最先进的方法在合成精度和身份持久性的能力,定性和定量。
2020-07-03 cs.CV
TVAE: Triplet-Based Variational Autoencoder using Metric Learning
Stanford University(斯坦福大学)
深度度量学习已被证明在学习语义表示和编码信息方面非常有效,这些信息可用于测量数据相似性,这依赖于从度量学习中学习到的嵌入。同时,变分自编码器(VAE)被广泛用于近似推理,并被证明对有向概率模型具有良好的性能。然而,对于传统的VAE,数据标签或特征信息是棘手的。类似地,传统的表示学习方法无法表示数据的许多突出方面。在这个项目中,我们提出了一个新的集成框架,通过结合深度度量学习来学习VAE中的潜在嵌入。通过优化VAE的平均向量上的三重损失以及VAE的标准证据下限(ELBO)来学习这些特征。这种方法,我们称之为基于三元组的变分自动编码器(TVAE),允许我们在潜在嵌入中捕获更多细粒度的信息。我们的模型在MNIST数据集上进行了测试,达到了95.60%的高三重精度,而传统的VAE(Kingma & Welling,2013)达到了75.08%的三重精度。
2023-02-08 cs.AI cs.CV cs.LG
Cost-Effective HITs for Relative Similarity Comparisons
Cornell University(康奈尔大学);University of California, San Diego(加州大学圣地亚哥分校)
相似性比较的形式“是对象a更类似于b比c?“对于计算机视觉和机器学习应用很有用。不幸的是,$n$点的嵌入是由$n^3$三元组指定的,这使得收集每个三元组成为一项昂贵的任务。在注意到这一困难后,其他研究人员研究了更智能的三重抽样技术,但他们没有研究它们的有效性或潜在的缺点。虽然减少收集的三元组的数量很重要,但理解如何最好地向用户显示三元组收集任务也很重要。在这项工作中,我们探讨了一种替代显示收集三胞胎和分析的货币成本和速度的显示。我们提出了最佳实践,为收集三胞胎创建成本效益高的人工智能任务。我们表明,而不是改变采样算法,简单的改变众包用户界面可以导致更高质量的嵌入。我们还提供了一个数据集以及从人群工作人员收集的标签。
2014-04-12 cs.CV cs.LG
A Quadruplet Loss for Enforcing Semantically Coherent Embeddings in Multi-output Classification Problems
Instituto de Telecomunicações(电信研究所);University of Beira Interior(贝拉内格罗大学)
本文描述了一个用于学习多输出分类问题中语义一致特征嵌入的目标函数,即,当响应变量的维数大于1时。特别是,我们认为在视觉监控环境中的身份检索和软生物特征标记的问题,这已经吸引了越来越多的兴趣。受三重损失[34]函数的启发,我们提出了一个推广:1)定义一个考虑元素对之间一致标签数量的度量; 2)忽略锚点的概念,根据对之间一致标签的数量,对于A,B,C,D距离约束,将d(A1,A2)< d(A1,B)替换为d(A,B)< d(C,D)。作为三重损失公式,我们的建议也优先考虑正对之间的小距离,但同时明确规定其他对之间的距离直接对应于它们在一致标签方面的相似性。这产生了在类质心和它们的语义描述之间具有强对应性的特征嵌入,即,其中,元素与共享它们的一些标签的其他元素的距离比与具有完全不相交的标签成员关系的元素的距离更近。作为实际效果,所提出的损失可以被视为特别适合于基于作为k-邻居的简单规则来执行联合粗略(软标签)+精细(ID)推断,这相对于先前相关的损失函数是新颖的。此外,与其三元组对应物相反,所提出的损失对于挖掘学习实例(例如半硬对)的任何苛刻标准都是不可知的。我们的实验在五个不同的数据集(BIODI,LFW,IJB-A,Megaface和PETA)进行,并验证了我们的假设,显示出非常有前途的结果。
2020-03-20 cs.CV
Multiview Representation Learning from Crowdsourced Triplet Comparisons
Kyoto University(京都大学);University of Yamanashi(山梨大学)
众包已被用于在许多领域大规模收集数据。三元组相似性比较是一种众包任务,其中众包工作者被问到这样一个问题:“在三个给定的对象中,哪两个更相似?””这对人类来说是很容易回答的。然而,该比较有时可以基于多个视图,即,不同的独立属性,如颜色和形状。对于相同的三个对象,每个视图可能导致不同的结果。尽管在之前的工作中提出了一种生成多视图嵌入的算法,但它至少涉及两个问题:(1)现有算法无法独立预测新样本的多视图嵌入,以及(2)不同的人可能喜欢不同的视图。在这项研究中,我们提出了一个端到端的归纳深度学习框架来解决多视图表示学习问题。实验结果表明,该方法可以得到任意对象的多视图嵌入,其中每个视图对应于对象的一个独立属性。我们从一个众包平台收集了两个数据集,实验研究我们提出的方法与传统基线方法相比的性能。
2023-02-08 cs.CV cs.HC
Learning to map between ferns with differentiable binary embedding networks
Institute of Medical Informatics, Universität zu Lübeck(吕贝克大学医学信息学研究所)
当前的深度学习方法是基于重复的、昂贵的卷积应用,这些卷积具有参数密集型权重矩阵。在这项工作中,我们提出了一个新的概念,使可微随机蕨类植物在端到端网络中的应用。然后,它可以用作深度网络架构中的无乘法卷积层替代方案。我们对TUPAC'16挑战的二进制分类任务的实验表明,与最先进的二进制XNOR网络相比,结果有所改善,并且仅比其2倍参数密集型浮点CNN对应物的性能略差。
2020-05-26 cs.CV
Pose Embeddings: A Deep Architecture for Learning to Match Human Poses
Simon Fraser University(西蒙弗雷泽大学);Google Inc.(谷歌公司)
我们提出了一种学习嵌入的方法,该方法将人类的图像以相似的姿势放置在附近。这种嵌入可以用作基于人体姿势比较图像的直接方法,避免了估计身体关节位置的潜在挑战。姿态嵌入学习是在基于三元组的距离准则下制定的。深度架构用于允许学习能够在不同姿势之间进行区分的表示。在视频数据中的人体姿态匹配和检索实验表明了该方法的有效性。
2015-07-01 cs.CV