FaceNet: A Unified Embedding for Face Recognition and Clustering
Google Inc.（谷歌公司）
尽管最近在人脸识别领域取得了重大进展，但大规模有效地实现人脸验证和识别对当前方法提出了严峻的挑战。在本文中，我们提出了一个系统，称为FaceNet，直接学习从人脸图像映射到一个紧凑的欧几里德空间，距离直接对应于人脸相似性的度量。一旦生成了这个空间，就可以使用标准技术轻松实现人脸识别、验证和聚类等任务，并将FaceNet嵌入作为特征向量。我们的方法使用经过训练的深度卷积网络来直接优化嵌入本身，而不是像以前的深度学习方法那样使用中间瓶颈层。为了进行训练，我们使用了一种新的在线三元组挖掘方法生成的粗略对齐的匹配/非匹配人脸补丁的三元组。我们的方法的好处是更大的代表性效率：我们实现了最先进的人脸识别性能，每张脸只使用128字节。在广泛使用的Labeled Faces in the Wild（LFW）数据集上，我们的系统实现了99.63%的新记录准确率。在YouTube Faces DB上，它达到了95.12%。我们的系统在两个数据集上都将出错率与最佳公布结果相比降低了30%。我们还介绍了谐波嵌入的概念，以及谐波三重态损失，它描述了不同版本的人脸嵌入（由不同的网络产生），这些嵌入彼此兼容，并允许彼此之间进行直接比较。
2015-06-17 cs.CV
Domain-aware Triplet loss in Domain Generalization
University of Queensland（昆士兰大学）
尽管随着深度学习的发展，在对象识别领域取得了很大进展，但仍有几个因素对深度学习模型的性能产生负面影响。域偏移是这些因素之一，并且是由测试数据和训练数据的分布的差异引起的。本文研究了领域泛化中的紧凑特征聚类问题，以优化多领域数据的嵌入空间。我们为领域泛化设计了一个领域感知的三元组损失，以帮助模型不仅可以聚类相似的语义特征，而且可以分散来自领域的特征。与以前的方法集中在分布对齐，我们的算法被设计为分散域信息的嵌入空间。其基本思想是基于嵌入特征可以根据域信息进行聚类的假设，这在本文中得到了数学和经验的支持。此外，在我们的探索领域泛化的特征聚类，我们注意到，在领域泛化的度量学习损失的收敛影响因素比预定义的领域更重要。为了解决这个问题，我们利用两种方法来规范化嵌入空间，减少嵌入特征的内部协变量偏移。消融研究证明了我们的算法的有效性。在PACS、VLCS和Bull-Home等基准数据集上的实验表明，该方法优于关注领域差异的相关方法。特别是，我们在RegnetY-16上的结果明显优于基准数据集上的最新方法。我们的代码将在https://github.com/workerbcd/DCT上发布
2023-03-01 cs.CV
Cluster Loss for Person Re-Identification
Capillary Technologies（凯普丽利科技公司）；Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
人物再识别（ReID）是计算机视觉中的一个重要问题，特别是在视频监控应用中。问题的重点是在不同的相机或同一相机的不同帧中识别人。主要的挑战在于识别同一个人的相似性对大的外观和结构的变化，同时区分个人。最近，具有三重丢失的深度学习网络已经成为个人ReID的常见框架。然而，三重损失集中在训练集上获得正确的顺序。我们证明了它在聚类任务中的表现较差。在本文中，我们设计了一个集群损失，它可以导致模型输出具有更大的类间变化和更小的类内变化相比，三重损失。因此，我们的模型具有更好的泛化能力，可以达到更高的准确率，特别是在测试集上的聚类任务。为了提高训练的效果和更快的收敛速度，我们还引入了批量硬训练机制。
2018-12-21 cs.CV
Mutual Mean-Teaching: Pseudo Label Refinery for Unsupervised Domain Adaptation on Person Re-identification
The Chinese University of Hong Kong（香港中文大学）
人物再识别（re-ID）的目的是在不同的相机识别相同的人的图像。然而，不同数据集之间的域差异对在一个数据集上训练的re-ID模型适应另一个数据集提出了明显的挑战。最先进的无监督领域自适应方法的人重新识别转移学习的知识，从源域通过优化与伪标签创建的聚类算法在目标域。虽然他们取得了国家的最先进的性能，不可避免的标签噪声所造成的聚类过程被忽略。这种噪声伪标签大大阻碍了模型进一步改进目标域上的特征表示的能力。为了减轻噪声伪标签的影响，我们建议通过提出一个无监督的框架，相互意义教学（MMT），通过离线精炼的硬伪标签和在线精炼的软伪标签，以替代的训练方式从目标域学习更好的特征，从而软精炼目标域中的伪标签。此外，通常的做法是同时采用分类损失和三重损失来实现人的re-ID模型的最佳性能。然而，传统的三重丢失不能与软精炼标签一起工作。为了解决这个问题，提出了一种新的软softmax-triplet loss，以支持软伪三元组标签的学习，以实现最佳的领域自适应性能。提出的MMT框架实现了14.4%，18.2%，13.1%和16.4%的市场到公爵，公爵到市场，市场到MSMT和公爵到MSMT无监督领域自适应任务的mAP的显着改善。代码可在https://github.com/yxgeee/MMT上获得。
2020-01-30 cs.CV
Leveraging triplet loss for unsupervised action segmentation
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙高等科学研究理事会-加泰罗尼亚理工大学机器人与工业信息研究所）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本研究提出一种完全无监督的动作分割框架，基于浅层网络与带新型选择策略的三元组损失从单视频学习动作表征，在两个基准数据集上取得了有竞争力的无监督分割性能。
2023-07-19 cs.AI cs.CV
An Empirical Study on Clustering Pretrained Embeddings: Is Deep Strictly Better?
Google Research（谷歌研究院）；University of Colorado, Boulder（科罗拉多大学博尔德分校）
最近在人脸嵌入聚类方面的研究发现，无监督的、浅层的、基于分类的方法--包括$k$ -均值和层次凝聚聚类--不如有监督的、深层的、归纳的方法。虽然报告的改进确实令人印象深刻，但实验主要限于人脸数据集，其中聚类嵌入具有高度区分性或按类别分离（Recall@1高于90%，通常接近天花板），并且实验方法似乎倾向于深度方法。我们在三个数据集上对17种聚类方法进行了大规模的实证研究，并获得了一些可靠的发现。值得注意的是，深度方法对于具有更多不确定性的嵌入来说是非常脆弱的，在这种情况下，它们与基于层次分析的浅层方法相匹配，甚至表现更差。当嵌入具有高度区分性时，深度方法确实优于基线，与过去的结果一致，但方法之间的差距比以前报道的要小得多。我们相信我们的基准扩展了监督聚类方法的范围，超越了人脸领域，可以作为这些方法可以改进的基础。为了实现可重复性，我们在附录中包含了所有必要的细节，并计划发布代码。
2022-11-09 cs.CV cs.LG
Deep Metric Learning Meets Deep Clustering: An Novel Unsupervised Approach for Feature Embedding
AIOZ；University of Liverpool（利物浦大学）；University of Adelaide（阿德莱德大学）
无监督深度距离度量学习（UDML）旨在从未标记的数据集中学习嵌入空间中的样本相似性。传统的UDML方法通常使用三重损失或成对损失，这需要挖掘正样本和负样本w.r.t.锚数据点。然而，这在无监督设置中具有挑战性，因为标签信息不可用。在本文中，我们提出了一种新的UDML方法，克服了这一挑战。特别地，我们建议使用深度聚类损失来学习质心，即，伪标签，表示语义类。在学习过程中，这些质心也用于重建输入样本。因此，它确保了质心的代表性-每个质心代表视觉上相似的样本。因此，质心给出了关于阳性（视觉上相似）和阴性（视觉上不相似）样品的信息。基于伪标签，我们提出了一种新的无监督度量损失，它强制执行嵌入空间中样本的正集中和负分离。基准数据集上的实验结果表明，该方法优于其他UDML方法。
2020-09-09 cs.CV
No Fuss Distance Metric Learning using Proxies
Google Research（谷歌研究院）
我们解决的问题，距离度量学习（DML），定义为学习的距离与语义相似性的概念一致。传统上，对于这个问题，监督以遵循顺序关系的点集的形式表示--锚点$x$类似于一组正点$Y$，而不类似于一组负点$Z$，并且在这些距离上定义的损失被最小化。虽然优化的细节不同，但在这项工作中，我们将这种类型的监督称为Triplets，并将遵循这种模式的所有方法称为基于Triplet-Based方法。这些方法很难优化。一个主要的问题是需要找到信息三元组，这通常是通过各种技巧，如增加批量大小，硬或半硬三元组挖掘等，即使有这些技巧，这种方法的收敛速度是缓慢的。在本文中，我们提出了优化的三重损失的三重不同的空间，由一个锚数据点和相似和不同的代理点，以及学习。这些代理近似于原始数据点，因此代理上的三重丢失是原始丢失的严格上限。这种基于代理的损失在经验上表现得更好。因此，代理损失改善了三个标准零样本学习数据集的最新结果，最多可达15%，同时收敛速度是其他基于三元组的损失的三倍。
2017-08-01 cs.CV
Semi-supervised learning made simple with self-supervised clustering
University of Trento（特伦托大学）；Inria（法国国家信息与自动化研究所）；SAP AI Research（SAP人工智能研究院）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本研究提出一种将基于聚类的自监督方法转化为半监督学习器的简易多任务框架，融合监督与自监督目标，在CIFAR100和ImageNet上取得了最优性能。
2023-06-13 cs.CV
Joint Unsupervised Learning of Deep Representations and Image Clusters
Virginia Tech（弗吉尼亚理工大学）
在本文中，我们提出了一个循环的框架，联合无监督学习（JULE）的深度表示和图像集群。在我们的框架中，聚类算法中的连续操作表示为递归过程中的步骤，堆叠在卷积神经网络（CNN）输出的表示之上。在训练过程中，图像聚类和表示联合更新：图像聚类在前向传递中进行，而表示学习在后向传递中进行。这个框架背后的核心思想是，良好的表示有利于图像聚类，聚类结果为表示学习提供监督信号。通过将两个过程集成到具有统一加权三重损失的单个模型中并对其进行端到端优化，我们不仅可以获得更强大的表示，还可以获得更精确的图像聚类。大量的实验表明，我们的方法优于国家的最先进的图像聚类在各种图像数据集。此外，学习到的表征在转移到其他任务时具有很好的泛化能力。
2016-06-20 cs.CV cs.LG
Deep Attention-guided Graph Clustering with Dual Self-supervision
City University of Hong Kong（香港城市大学）；Caritas Institute of Higher Education（明爱专上学院）；Southeast University（东南大学）
现有的深度嵌入聚类工作仅考虑最深层来学习特征嵌入，因此无法很好地利用来自聚类分配的可用区分信息，导致性能限制。为此，我们提出了一种新的方法，即具有双重自监督的深度注意力引导图聚类（DAGC）。具体地说，DAGC首先利用异质性融合模块来自适应地整合每层中的自动编码器和图卷积网络的特征，然后使用尺度融合模块来动态地连接不同层中的多尺度特征。这样的模块能够通过基于注意力的机制来学习区分性特征嵌入。此外，我们设计了一个分布式融合模块，利用聚类分配直接获得聚类结果。为了更好地探索从集群分配的判别信息，我们开发了一个双重的自我监督解决方案，包括一个软自我监督策略与三重Kullback-Leibler发散损失和一个硬自我监督策略与伪监督损失。大量的实验验证了我们的方法在六个基准数据集上的性能始终优于最先进的方法。特别是，我们的方法提高了ARI超过18.14%的最佳基线。
2022-12-26 cs.AI cs.CV
An Empirical Study into Clustering of Unseen Datasets with Self-Supervised Encoders
Vector Institute（向量研究所）；Aalborg University（奥尔堡大学）；Pioneer Centre for AI（人工智能先锋中心）；Dalhousie University（达尔豪斯大学）；University of Guelph（圭尔夫大学）
该研究通过基准实验对比监督与自监督编码器在未见图像数据集上的聚类表现，发现微调SSL编码器的域内外性能变化，且UMAP降维下的轮廓系数可作为无标签数据聚类性能的代理指标。
2026-09-07 cs.AI cs.CV cs.LG
Teacher-Student Training and Triplet Loss to Reduce the Effect of Drastic Face Occlusion
SecurifAI；University of Bucharest（布加勒斯特大学）
我们研究了一系列的识别任务，在两个现实的情况下，需要强遮挡下的人脸分析。一方面，我们的目标是识别佩戴虚拟现实（VR）耳机的人的面部表情。另一方面，我们的目标是估计佩戴外科口罩人士的年龄及识别他们的性别。对于所有这些任务，共同点是面部的一半被遮挡。在这个具有挑战性的环境中，我们证明了在完全可见的人脸上训练的卷积神经网络（CNN）表现出非常低的性能水平。虽然在被遮挡的人脸上微调深度学习模型非常有用，但我们表明，通过从在完全可见的人脸上训练的模型中提取知识，可以获得额外的性能增益。为此，我们研究了两种知识蒸馏方法，一种是基于师生培训的方法，一种是基于三联体损失的方法。我们的主要贡献包括在一个新的方法，知识蒸馏的基础上三重损失，概括跨模型和任务。此外，我们考虑结合通过传统的师生培训或通过我们的新的师生培训的基础上三重损失的蒸馏模型。我们提供的经验证据表明，在大多数情况下，无论是个人和组合知识蒸馏方法带来统计上显着的性能改进。我们使用三种不同的神经模型（VGG-f，VGG-face，ResNet-50）对各种任务（面部表情识别，性别识别，年龄估计）进行实验，无论模型或任务如何，都显示出一致的改进。
2021-11-20 cs.CV cs.LG
When Relation Networks meet GANs: Relation GANs with Triplet Loss
Dalian University of Technology（大连理工大学）；The University of Hong Kong（香港大学）
尽管最近的研究在使用生成对抗网络（GANs）生成逼真图像方面取得了显着进展，但缺乏训练稳定性仍然是大多数GANs挥之不去的问题，特别是在高分辨率输入和复杂数据集上。由于随机生成的分布很难与真实分布重叠，因此训练GANs通常会遇到梯度消失问题。已经提出了一些方法来解决这个问题，通过限制的ESTA的能力，使用经验的技术，如权重裁剪，梯度惩罚，频谱归一化等。在本文中，我们提供了一个更有原则的方法作为一种替代解决方案，这个问题。我们没有训练器来区分真实和虚假的输入样本，而是通过训练器来区分来自相同分布的配对样本和来自不同分布的配对样本来研究配对样本之间的关系。为此，我们探索了一个关系网络架构的数据库，并设计了一个三元组损失，执行更好的泛化和稳定性。在基准数据集上的大量实验表明，所提出的关系式和新的损失可以提供显着的改善，包括无条件和有条件的图像生成和图像翻译的可变视觉任务。
2020-03-17 cs.CV cs.LG eess.IV
