Domain Alignment with Triplets
University of Chinese Academy of Sciences（中国科学院大学）；Australian National University（澳大利亚国立大学）
深度领域自适应方法可以通过学习领域不变的嵌入来减少分布差异。然而，这些方法只关注整体数据分布的对齐，而没有考虑源图像和目标图像之间的类级关系。因此，鸟的目标嵌入可以与飞机的源嵌入对准。这种语义错位会直接降低目标数据集上的分类器性能。为了缓解这个问题，我们提出了一个相似性约束对齐（SCA）的无监督领域自适应方法。当对齐嵌入空间中的分布时，SCA强制执行相似性保留约束以维护源图像和目标图像之间的类级别关系，即，如果源图像和目标图像具有相同的类别标签，则它们对应的嵌入被认为是邻近对齐的，反之亦然。在没有目标标签的情况下，我们为目标图像分配伪标签。给定标记源图像和伪标记目标图像，相似性保持约束可以通过最小化三元组损失来实现。在域对齐损失和相似性保持约束的联合监督下，我们训练网络以获得具有两个关键特征的域不变嵌入：类内紧致性和类间可分性。在两个数据集上进行的大量实验很好地证明了SCA的有效性。
2019-01-22 cs.CV
A Systematic Evaluation and Benchmark for Embedding-Aware Generative Models: Features, Models, and Any-shot Scenarios
Zhejiang University（浙江大学）
嵌入感知生成模型（EAGM）通过在语义和视觉特征空间之间构造一个生成器，解决了零样本学习（Zero-Shot Learning，ZRL）中数据不足的问题。由于预定义的基准和协议，拟议的EAGM的数量正在迅速增加。我们认为，现在是时候退后一步，重新考虑嵌入意识生成范式。本文的主要工作有两个方面。首先，基准数据集中的嵌入特征在某种程度上被忽视了，这可能会限制EAGM的性能，而大多数研究人员都专注于如何改进EAGM。因此，我们进行了系统的评估，10个代表性的EAGM，并证明，即使是非常简单的修改嵌入功能可以提高EAGM的性能显着的EAGL。因此，现在是时候更多地关注基准数据集中的当前嵌入特征了。其次，基于五个基准数据集，每个基准数据集具有六个任意样本学习场景，我们首次系统地比较了十个典型的EAGM的性能，并给出了零样本学习（EAGM）和少样本学习（FSL）的强基线。同时，一个全面的生成模型库，即生成任意镜头学习（GASL）库，其中包含的模型，功能，参数，和场景的EAGM的EAGL和FSL。本文中的任何结果都可以很容易地用一个基于GASL的命令行复制。
2023-02-16 cs.CV
Compositional Embeddings for Multi-Label One-Shot Learning
Worcester Polytechnic Institute（伍斯特理工学院）；Google Brain（谷歌大脑）
我们提出了一个组合嵌入框架，在一次性学习的设置中，该框架不仅可以推断每个输入图像的单个类，而且可以推断一组类。具体来说，我们提出并评估了几种新的模型，包括（1）一个嵌入函数f与一个“组合”函数g联合训练，该函数计算两个嵌入向量中编码的类之间的集合并集运算;以及（2）嵌入f与一个“查询”函数h联合训练，该函数计算一个嵌入中编码的类是否继承了另一个嵌入中编码的类。与以前的工作相比，这些模型必须既感知与输入示例相关联的类，又对不同类标签集之间的关系进行编码，并且仅使用由训练样本之间的标签集关系组成的弱一次性监督来训练它们。在OmniGlot、Open Images和COCO数据集上的实验表明，本文提出的组合嵌入模型优于现有的嵌入方法。我们的组合嵌入模型应用于单次和监督学习的多标签对象识别。
2020-11-13 cs.LG stat.ML
Deep Clustering via Center-Oriented Margin Free-Triplet Loss for Skin Lesion Detection in Highly Imbalanced Datasets
Amasya University（阿马西亚大学）；Bilkent University（比尔肯特大学）；National Magnetic Resonance Research Center, Bilkent University（比尔肯特大学国家磁共振研究中心）；Sabuncu Brain Research Center, Bilkent University（比尔肯特大学萨本朱脑研究中心）
黑色素瘤是一种致命的皮肤癌，是可以治愈的，并且在早期诊断时具有显著增加的存活率。基于学习的方法对于从皮肤镜图像检测黑色素瘤具有重要的前景。然而，由于黑色素瘤是一种罕见的疾病，现有的皮肤病变数据库主要包含高度不平衡的良性与恶性样本的数量。反过来，由于大多数类别的统计优势，这种不平衡在分类模型中引入了实质性偏差。为了解决这个问题，我们引入了一种基于皮肤镜图像的潜在空间嵌入的深度聚类方法。聚类是使用一种新的面向中心的无边缘三重损失（COM-三重）来实现的，该算法对卷积神经网络主干的图像嵌入进行了强制执行。该方法的目标是形成最大分离的聚类中心，而不是最小化分类错误，因此它对类不平衡不太敏感。为了避免对标记数据的需要，我们进一步提出了基于高斯混合模型生成的伪标签来实现COM三元组。综合实验表明，COM-三重损失的深度聚类优于三重损失的聚类，以及监督和无监督设置中的竞争分类器。
2022-04-03 cs.AI cs.CV cs.LG
Discriminative Embedding Autoencoder with a Regressor Feedback for Zero-Shot Learning
零样本学习（Zero-shot learning，ZRL）的目的是利用类别的语义表示来识别新的对象类别，其核心思想是探索新类别与熟悉类别之间的语义关系。一些典型的模型是学习图像特征空间和语义空间之间的适当嵌入，而重要的是学习区分性特征，并包含由粗到细的图像特征和语义信息。在本文中，我们提出了一个判别式嵌入自编码器与回归反馈模型的可编程逻辑。编码器学习从图像特征空间到判别嵌入空间的映射，该映射通过裕度调节所学习的特征之间的类间距离和类内距离，使得所学习的特征对于对象识别是判别性的。回归量反馈学习将重构的样本映射回判别嵌入和语义嵌入，帮助解码器提高样本的质量，并为未见过的类提供泛化。在SUN、CUB、AWA 1、AWA 2四个基准数据集上对该模型进行了验证，实验结果表明，该模型的性能优于现有模型，特别是在广义零样本学习（GSTOL）方面，取得了显著的改进.
2019-07-18 cs.CV
Fantastic Embeddings and How to Align Them: Zero-Shot Inference in a Multi-Shop Scenario
Bocconi University（博科尼大学）；Coveo Labs（Coveo实验室）；Coveo（Coveo公司）
本文解决了利用多个嵌入空间进行多商店个性化的挑战，证明了zero-shot推理是可能的，通过将购物意图从一个网站转移到另一个网站，而无需人工干预。我们详细介绍了一个机器学习管道，首先在商店内进行训练和优化嵌入，并通过额外的定性见解来支持定量结果。然后，我们转向更困难的任务，即在商店之间使用学习到的嵌入：如果来自不同商店的产品位于同一个向量空间中，则用户意图-由该空间中的区域表示-可以以zero-shot方式在网站之间传输。我们提出了无监督和有监督的方法，并对它们进行了基准测试，以在嵌入空间之间“旅行”，每种方法都有自己的数据量和质量假设。我们表明，zero-shot个性化确实是可能的规模通过测试共享嵌入空间与两个下游任务，事件预测和类型提前建议。最后，我们策划了一个跨商店匿名嵌入数据集，以促进对这一重要业务场景的包容性讨论。
2020-07-20 cs.IR cs.LG
Zero-Shot Audio Classification Based on Class Label Embeddings
Tampere University（坦佩雷大学）
提出了一种基于类别标签文本信息的零样本学习音频分类方法。我们提出了一个基于双线性模型的音频分类系统，该系统以音频特征嵌入和语义类标签嵌入为输入，并测量音频特征嵌入和类标签嵌入之间的兼容性。我们使用VGGish从音频记录中提取音频特征嵌入。我们把文本标签作为音频类的语义边信息，并使用Word 2 Vec生成类标签嵌入。在ESC-50数据集上的实验结果表明，该系统可以在较小的训练数据集上进行zero-shot音频分类。它可以实现准确性（平均26%）优于随机猜测（10%）对每个音频类别.特别地，对于自然音频类的类别，它达到高达39.7%。
2019-08-07 cs.LG cs.SD eess.AS
Leveraging LLM Embeddings for Cross Dataset Label Alignment and Zero Shot Music Emotion Prediction
Singapore University of Technology and Design（新加坡科技设计大学）
本研究提出一种利用LLM嵌入实现跨数据集标签对齐的音乐情感识别方法，通过非参数聚类对齐多数据集标签、引入对齐正则化提升模型适配性，实现无需额外训练的零样本音乐情感预测。
2024-10-17 cs.LG cs.MM cs.SD
Triplet Permutation Method for Deep Learning of Single-Shot Person Re-Identification
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
通过训练深度卷积神经网络来解决单次人物重新识别（Re-Id）是一项艰巨的挑战，因为缺乏训练数据，因为每个人只有两张图像可用。这会导致模型的过拟合，导致性能退化。本文提出了三重排列方法，从特定的re-id数据集生成多个训练集。这是一种新的三重网络馈送策略，它减少了单次Re-Id模型的过拟合。在最具挑战性的Re-Id数据集之一PRID 2011上证明了改进的性能，证明了方法的有效性。
2020-03-18 cs.CV
Improved Embeddings with Easy Positive Triplet Mining
George Washington University（乔治·华盛顿大学）
深度度量学习试图定义一种嵌入，其中语义相似的图像被嵌入到附近的位置，而语义不相似的图像被嵌入到远处的位置。大量的工作集中在损失函数和策略上，通过将来自同一类的图像在嵌入空间中尽可能地靠近来学习这些嵌入。在本文中，我们提出了一种替代的，松散的嵌入策略，要求嵌入函数只将每个训练图像映射到同一类中最相似的示例，这种方法我们称之为“Easy Positive”挖掘。我们提供了一系列实验和可视化，强调这种Easy Positive挖掘导致嵌入更灵活，更好地推广到新的未知数据。这种简单的挖掘策略产生的召回性能超过了最先进的方法（包括那些复杂的损失函数和集成方法）的图像检索数据集，包括CUB，斯坦福在线产品，店内服装和酒店-50 K。
2020-03-18 cs.CV cs.LG
Learning Embeddings for Product Visual Search with Triplet Loss and Online Sampling
Yahoo Research（雅虎研究院）
在本文中，我们提出了学习嵌入功能的电子商务领域内的基于内容的图像检索使用的三重损失和在线采样方法，从一个minibatch构建三胞胎。我们将我们的方法与几个强大的基线以及DeepFashion和Stanford Online Product数据集的最新作品进行了比较。我们的方法在DeepFashion数据集上的表现明显优于最先进的方法。通过修改以支持从单个产品类别中采样小批量，与斯坦福在线产品数据集的最新技术相比，相同的方法显示出具有竞争力的结果。
2018-10-10 cs.CV cs.IR cs.LG
CovidExpert: A Triplet Siamese Neural Network framework for the detection of COVID-19
Shahjalal University of Science and Technology（沙赫贾拉勒科技大学）
感染COVID-19的患者可能会出现肺炎样症状以及可能损害肺部的呼吸系统问题。根据医学图像，可以使用各种机器学习方法来准确地识别和预测冠状病毒疾病。大多数已发表的机器学习方法可能需要大量的超参数调整，并且不适合小数据集。少样本学习算法通过利用相对小的数据集中的数据，旨在减少对大数据集的需求。这启发我们开发了一个少样本学习模型，用于早期检测COVID-19，以减少这种危险疾病的后效应。所提出的架构结合了少样本学习与预训练的卷积神经网络的集合，从CT扫描图像中提取特征向量进行相似性学习。提出的三重连体网络作为少样本学习模型，将CT扫描图像分为正常、COVID-19和社区获得性肺炎。建议的模型达到了98.719%的总体准确性，99.36%的特异性，98.72%的灵敏度，和ROC评分为99.9%，只有200 CT扫描每个类别的训练数据。
2023-02-17 cs.CV cs.LG
Improving Deep Binary Embedding Networks by Order-aware Reweighting of Triplets
Sun Yat-sen University（中山大学）
在本文中，我们专注于基于三元组的深度二进制嵌入网络的图像检索任务。三重损失已被证明是最有效的排名问题。然而，大多数以前的作品平等对待三胞胎或选择硬三胞胎的基础上的损失。这种策略没有考虑顺序关系，这是重要的检索任务。为此，我们提出了一种顺序感知的重新加权方法，以有效地训练基于三元组的深度网络，该方法对重要的三元组进行上加权，对无信息的三元组进行下加权。首先，我们提出的顺序意识的加权因子来表示的三胞胎，这取决于二进制码的秩顺序的重要性。然后，我们将三元组损失整形为三元组损失的平方，使得损失函数将在重要的三元组上放置更多的权重。在四个基准数据集上的广泛评估表明，与最先进的基线相比，所提出的方法实现了显着的性能。
2018-04-17 cs.CV
Person Re-identification with Adversarial Triplet Embedding
College of Information Science & Electronic Engineering（信息与电子工程学院）；Zhejiang University（浙江大学）
在公安视频监控中，人员身份识别是一项重要的工作，有着广泛的应用。在过去的几年里，针对这个问题，具有三重态损失的深度学习网络变得流行起来。然而，三元组丢失通常遭受不良局部最优性，并且严重依赖于硬示例挖掘策略。在本文中，我们提出了一种新的深度度量学习方法来解决这个问题，称为对抗三元组嵌入（ATE），在这种方法中，我们在统一的框架中同时生成对抗三元组和判别特征嵌入。特别是，对抗三元组是通过将对抗扰动引入训练过程来生成的。将这种对抗博弈转化为极大极小问题，从而从理论上得到最优解。在多个基准数据集上的大量实验证明了该方法对最先进文献的有效性。
2020-12-28 cs.CV
Learning Embeddings for Image Clustering: An Empirical Study of Triplet Loss Approaches
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；University of Mannheim（曼海姆大学）；Offenburg University（奥芬堡大学）
在这项工作中，我们评估两个不同的图像聚类目标，k-均值聚类和相关聚类，在三重损失引起的特征空间嵌入的背景下。具体来说，我们训练一个卷积神经网络，通过优化两个流行版本的三重损失来学习判别特征，以便在噪声标签的假设下研究它们的聚类特性。此外，我们提出了一个新的，简单的三重损失制定，它显示出理想的性能方面的正式聚类目标，并优于现有的方法。我们评估所有三个三重损失公式的K均值和相关聚类CIFAR-10图像分类数据集。
2020-07-06 cs.CV
Hierarchical Relational Learning for Few-Shot Knowledge Graph Completion
The University of Sydney（悉尼大学）；University of California, Davis（加州大学戴维斯分校）
本文提出层次关系学习方法HiRe，通过联合捕获实体级、三元组级和上下文级关系信息来学习少样本关系的元表示，从而提升少样本知识图谱补全的泛化能力，并在基准数据集上验证了其优于现有方法的性能。
2025-06-03 cs.AI cs.CV cs.LG
fine-CLIP: Enhancing Zero-Shot Fine-Grained Surgical Action Recognition with Vision-Language Models
University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）；ICube（ICube实验室）；IHU Strasbourg（斯特拉斯堡大学医院研究所）；University Hospital of Strasbourg（斯特拉斯堡大学医院）
针对CLIP在零样本细粒度手术动作识别中忽视局部细节与层次结构的问题，提出fine-CLIP，通过层次提示、LoRA视觉适配和基于图的凝聚策略，在CholecT50上显著提升F1和mAP。
2025-03-25 cs.CV
Triplet-Aware Scene Graph Embeddings
University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）；Intel AI Lab（英特尔人工智能实验室）
场景图已经成为用于诸如图像生成、视觉关系检测、视觉问答和图像检索等任务的结构化知识的重要形式。虽然可视化和解释词嵌入是很好的理解，场景图嵌入还没有得到充分的探讨。在这项工作中，我们训练场景图嵌入在布局生成任务与不同形式的监督，特别是引入三重监督和数据增强。我们看到，在添加三元组监督和数据增强之后，测量布局预测的良好性的两个指标，即平均交集对并集（mIoU）（52.3%对49.2%）和关系得分（61.7%对54.1%）的性能都有了显着提高。为了理解这些不同的方法如何影响场景图表示，我们应用了几种新的可视化和评估方法来探索场景图嵌入的演变。我们发现，三重监督显着提高嵌入可分性，这是高度相关的布局预测模型的性能。
2019-09-19 cs.CV
UniTriGen: Unified Triplet Generation of Aligned Visible-Infrared-Label for Few-Shot RGB-T Semantic Segmentation
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；School of Computer Science & Technology, Xi’an University of Posts & Telecommunications（西安邮电大学计算机科学与技术学院）；MMLab, The Chinese University of Hong Kong（香港中文大学MMLab）
UniTriGen提出统一三元组生成框架，通过共享潜在空间和扩散过程生成一致的可见-红外-标签三元组，解决少样本RGB-T语义分割中的对齐问题。
2026-05-14 cs.CV
Zero-Shot Scene Graph Generation via Triplet Calibration and Reduction
Beihang University（北京航空航天大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对场景图生成在未见三元组上泛化差的问题，提出T-CAR框架，通过三元组校准损失、未见空间约简损失和上下文编码器提升零样本场景图生成性能。
2023-09-07 cs.CV cs.MM
TripletTrack: 3D Object Tracking using Triplet Embeddings and LSTM
KU Leuven（鲁汶大学）；ETH Zurich（苏黎世联邦理工学院）；TRACE vzw（TRACE非营利组织）
3D物体跟踪是自动驾驶系统中的一项关键任务。它对于系统对周围环境的感知起着至关重要的作用。与此同时，人们对仅依赖廉价传感器（如摄像头）的自动驾驶汽车算法的兴趣越来越大。在本文中，我们研究使用三重嵌入结合运动表示的三维对象跟踪。我们从一个现成的3D对象检测器开始，并应用跟踪机制，在该机制中，对象通过在局部对象特征嵌入和运动描述符上计算的亲和力得分进行匹配。特征嵌入被训练为包括关于视觉外观和单眼3D对象特征的信息，而运动描述符提供对象轨迹的强有力的表示。我们将证明，我们的方法可以有效地重新识别对象，并且在遮挡、错过检测的情况下也能可靠而准确地表现出来，并且可以在不同的视场中检测到重新出现。实验评估表明，我们的方法优于国家的最先进的nuScenes的大幅度。我们还在KITTI上获得了竞争性结果。
2022-10-28 cs.CV
One-Shot Learning with Triplet Loss for Vegetation Classification Tasks
Joint Institute for Nuclear Research（联合核子研究所）；ITMO University（ITMO大学）
三重损失函数是可以显著提高单次学习任务的准确性的选项之一。从2015年开始，许多项目使用Siamese网络和这种损失进行人脸识别和对象分类。在我们的研究中，我们专注于与植被相关的两个任务。第一个是五种作物（葡萄、棉花、小麦、黄瓜和玉米）的25类植物病害检测。这项任务的动机是，疾病造成的收成损失对大型农业结构和农村家庭都是一个严重问题。第二个任务是苔藓种类（5类）的鉴定。苔藓是污染物的天然生物载体;因此，它们被用于环境监测计划。藓类植物的种类鉴定是样品前处理的重要环节。在这两项任务中，我们使用了自我收集的图像数据库。我们尝试了几种深度学习架构和方法。我们的Siamese网络架构与三重损失函数和MobileNetV 2作为基础网络在上述两个任务中表现出最令人印象深刻的结果。植物病害检测的平均准确率达97.8%以上，苔藓种类分类的平均准确率达97.6%。
2021-01-15 cs.CV
Optimization of Image Embeddings for Few Shot Learning
PES University（PES大学）
在本文中，我们改进的图像嵌入生成的图神经网络解决方案的少样本学习。我们为现有网络提出了替代架构，如Inception-Net，U-Net，Attention U-Net和Squeeze-Net，以生成嵌入并提高模型的准确性。我们以生成嵌入的时间为代价来提高嵌入的质量。所提出的实现优于Omniglot数据集上的1次和5次学习的现有最先进方法。实验涉及测试集和训练集，它们之间没有共同的类。5路和10路/20路测试的结果已制成表格。
2020-04-04 cs.CV cs.LG
Vehicle Re-Identification: an Efficient Baseline Using Triplet Embedding
NVIDIA（英伟达）
在本文中，我们解决的问题，车辆重新识别的摄像头网络利用三元组嵌入。重新识别是在不同相机之间匹配对象外观的问题。随着监控摄像头的普及，智能和更安全的城市成为可能，人们越来越需要通过摄像头重新识别车辆。智慧城市场景中出现的典型挑战包括视点、照明和自遮挡的变化。大多数成功的重新识别方法涉及（深度）学习嵌入空间，使得与表示不同身份的车辆相比，具有相同身份的车辆被投影得更靠近彼此。用于学习嵌入（空间）的流行损失函数包括对比损失或三重损失。在本文中，我们提供了一个广泛的评估，这些损失适用于车辆重新识别，并证明使用最佳实践学习嵌入优于大多数以前的方法中提出的车辆重新识别文献。与大多数现有的最先进的方法相比，我们的方法更简单，更直接，只利用身份级别的注释进行训练，同时使用最小的已发布嵌入维度进行有效的推理。此外，在这项工作中，我们介绍了一个正式的评价三重采样的变体（批量样品）到重新鉴定文献。
2019-08-08 cs.CV
Teacher-Student Training and Triplet Loss for Facial Expression Recognition under Occlusion
Novustech Services（诺沃斯特科技服务公司）；University of Bucharest（布加勒斯特大学）
本文研究了强遮挡条件下的人脸表情识别问题。我们对50%的面部被遮挡的情况特别感兴趣，例如当受试者佩戴虚拟现实（VR）耳机时。虽然以前的研究表明，预训练卷积神经网络（CNN）的完全可见（非遮挡）的脸提高了准确性，我们建议采用知识蒸馏，以实现进一步的改进。首先，我们采用经典的教师-学生训练策略，其中教师是在完全可见的面部上训练的CNN，学生是在遮挡面部上训练的CNN。其次，提出了一种基于三元组损失的知识蒸馏方法。在训练过程中，目标是减少锚嵌入与正嵌入之间的距离，锚嵌入由学生CNN（将遮挡的面部作为输入）产生，正嵌入由教师CNN（在完全可见的面部上训练）产生，因此它变得小于锚与负嵌入之间的距离（来自与锚不同的类别），由学生CNN产生。第三，我们建议将通过经典的师生策略和我们基于三重丢失的新颖师生策略获得的提取嵌入组合成单个嵌入向量。我们在FER+和AffectNet两个基准上进行了实验，使用两种CNN架构VGG-f和VGG-face，表明知识蒸馏可以在VR设置中为遮挡面部设计的最先进的方法上带来显着的改进。
2021-02-25 cs.CV cs.LG
Adversarial Learning with Margin-based Triplet Embedding Regularization
Beijing University of Posts and Telecommunications（北京邮电大学）
深度神经网络（DNN）在各种计算机视觉任务上取得了巨大的成功，然而，它们非常容易受到对抗攻击的攻击。为了解决这个问题，我们建议通过将基于边缘的三元组嵌入正则化项集成到分类目标中来提高表示空间的局部平滑性，以便获得的模型学习抵抗对抗性示例。正则化项由两步优化组成，这两步优化找到潜在的扰动并以迭代的方式对它们进行大幅度的惩罚。在MNIST、CASIA-WebFace、VGGFace 2和MS-Celeb-1 M上的实验结果表明，我们的方法在简单的对象分类和深度人脸识别中提高了网络对特征和标签对抗攻击的鲁棒性。
2019-09-20 cs.CV
TriTransNet: RGB-D Salient Object Detection with a Triplet Transformer Embedding Network
Anhui University（安徽大学）；Hefei University（合肥学院）
显著目标检测是一种像素级的密集预测任务，能够突出场景中的显著目标。最近U-Net框架被广泛使用，连续卷积和池化操作生成相互补充的多层特征。鉴于高层特征对性能的贡献更大，我们提出了一个三重Transformer嵌入模块，通过学习跨层的长程依赖关系来增强它们。它是第一个使用三个Transformer编码器共享权重，以增强多层次的功能。通过进一步设计尺度调整模块处理输入，设计三流解码器处理输出，并将深度特征与颜色特征进行多模态融合，提出的三重Transformer嵌入网络（TriTransNet）在RGB-D显著目标检测中达到了最新的性能，将性能提升到了一个新的水平。实验结果证明了所提出的模块的有效性和TriTransNet的竞争力。
2021-08-09 cs.CV
Few-shot Learning with Deep Triplet Networks for Brain Imaging Modality Recognition
QMENTA（QMENTA公司（注：QMENTA是一家公司，此处按原文提取））
图像模态识别对于当前临床环境中的高效成像工作流程至关重要，其中多种成像模态用于更好地理解复杂疾病。正在开发新的罕见模式的新兴生物标志物，以帮助这种理解，但这些图像的可用性往往是有限的。这种情况下提出了识别新的成像模式，而无需大量收集和注释。在这项工作中，我们提出了一个基于深度三元组网络的有限训练样本的少样本学习模型。我们表明，所提出的模型是更准确地区分不同的方式比传统的卷积神经网络分类器有限的样本时。此外，我们评估了这两个分类器的性能时，提出了嘈杂的样本，并提供了一个初步检查所提出的模型如何可以将不确定性的措施，对样本外的例子更强大。
2019-08-27 cs.CV stat.ML
Few-Shot Learning via Embedding Adaptation with Set-to-Set Functions
Nanjing University（南京大学）；USC（南加州大学）；Google（谷歌）
在有限的数据下学习是视觉识别的一个关键挑战。许多少样本学习方法通过从可见类学习实例嵌入函数并将该函数应用于具有有限标签的不可见类的实例来解决这一挑战。这种类型的迁移学习是任务不可知的：嵌入函数不是关于看不见的类的最佳区分学习的，其中辨别它们会导致目标任务。在本文中，我们提出了一种新的方法来适应的实例嵌入的目标分类任务与集到集的功能，产生嵌入的任务是特定的，是有区别的。我们根据经验研究了这种集到集函数的各种实例化，并观察到Transformer是最有效的--因为它自然地满足了我们所需模型的关键属性。我们将该模型表示为FEAT（Few-Shot embedding adaptation w/ Transformer），并在标准的Few-Shot分类基准和四个扩展的少样本学习设置上验证它，这些设置具有基本用例，即，跨域、转换、广义少样本学习和低样本学习。它在基线模型和以前的方法上取得了一致的改进，并在两个基准上建立了新的最先进的结果。
2021-06-13 cs.CV cs.LG
Pseudo-triplet Guided Few-shot Composed Image Retrieval
Shandong University（山东大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；City University of Hong Kong（香港城市大学）；Shandong Jianzhu University（山东建筑大学）
针对小样本组合图像检索中训练数据少和三元组无差别选择的问题，提出两阶段伪三元组引导方案PTG-FSCIR，通过伪三元组生成与挑战性采样策略提升模型性能，在多个数据集上取得显著提升。
2024-11-12 cs.CV cs.MM
Multi-scale Microaneurysms Segmentation Using Embedding Triplet Loss
Technical University of Munich（慕尼黑工业大学）；Carl Zeiss Meditec AG（卡尔蔡司医疗技术股份公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
深度学习技术最近被用于眼底图像分析和糖尿病视网膜病变检测。微动脉瘤是糖尿病视网膜病变进展的重要指标。我们介绍了一种两阶段深度学习方法，用于使用多尺度输入进行微动脉瘤分割，并进行选择性采样和嵌入三重丢失。该模型首先在两个尺度上进行分割，然后用分类模型对分割结果进行细化。为了提高分类模型的鉴别能力，我们将三重嵌入损失与选择性采样例程。该模型进行了定量评估，以评估分割性能和定性分析模型的预测。这种方法比完全卷积神经网络引入了30.29%的相对改进。
2019-08-14 cs.CV eess.IV physics.med-ph
Batch-Incremental Triplet Sampling for Training Triplet Networks Using Bayesian Updating Theorem
University of Waterloo（滑铁卢大学）
Triplet网络的变体是用于学习判别嵌入子空间的鲁棒实体。存在不同的三元组挖掘方法来选择最合适的训练三元组。这些挖掘方法中的一些依赖于实例之间的极端距离，而另一些则使用采样。然而，从数据的随机分布中采样而不是仅仅从现有的嵌入实例中采样可以提供更多的判别信息。在这项工作中，我们从分布的数据，而不是从现有的实例中采样三元组。我们考虑一个多元正态分布的嵌入每一类。使用贝叶斯更新和共轭先验，我们动态更新类的分布，通过接收新的小批量的训练数据。所提出的具有贝叶斯更新的三元组挖掘可以与任何基于三元组的损失函数一起使用，例如，三重损失或邻域分量分析（NCA）损失。因此，我们的三元组挖掘方法被称为贝叶斯更新三元组（BUT）和贝叶斯更新NCA（BUNCA），这取决于使用的损失函数。两个公共数据集，即MNIST和组织病理学结直肠癌（CRC）的实验结果，证实了所提出的三元组挖掘方法的有效性。
2020-10-13 cs.CV cs.LG eess.IV
Embedding Propagation: Smoother Manifold for Few-Shot Classification
Element AI；University of British Columbia（不列颠哥伦比亚大学）
Few-Shot分类具有挑战性，因为训练集的数据分布与测试集的数据分布可能大不相同，因为它们的类不相交。这种分布偏移通常导致较差的泛化。流形平滑已被证明可以通过扩展决策边界和减少类表示的噪声来解决分布偏移问题。此外，流形光滑性是半监督学习和直推式学习算法的关键因素。在这项工作中，我们建议使用嵌入传播作为一个无监督的非参数正则化流形平滑Few-Shot分类。嵌入传播利用基于相似性图的神经网络的提取特征之间的插值。我们的经验表明，嵌入传播产生一个更平滑的嵌入流形。我们还表明，应用嵌入传播的转导分类器实现了新的国家的最先进的结果在迷你Imagenet，分层Imagenet，Imagenet-FS和CUB。此外，我们表明，嵌入传播一致地提高了多个半监督学习场景中的模型的准确性高达16个点。所提出的嵌入传播操作可以很容易地作为非参数层集成到神经网络中。我们在https://github.com/ElementAI/embedding-propagation上提供培训代码和使用示例。
2020-07-13 cs.CV cs.LG
Hotel Recognition via Latent Image Embedding
HSE University（高等经济大学）
我们用深度度量学习来解决酒店识别问题。我们概述了现有的方法，并提出了一个修改的对比损失称为对比三重损失。我们构建了一个强大的管道来对度量学习模型进行基准测试，并在Hotels-50 K和CUB 200数据集上进行了实验。对比三重损失被证明可以在Hotels-50 k上实现更好的检索。我们开源我们的代码。
2021-06-15 cs.CV cs.IR cs.LG
Modality-Aware Triplet Hard Mining for Zero-shot Sketch-Based Image Retrieval
Huazhong University of Science and Technology（华中科技大学）；Baidu Research（百度研究院）
本文从跨模态度量学习的角度研究了基于零镜头草图的图像检索（Zero-Shot Sketch-Based Image Retrieval，简称SBIR）问题。该任务具有两个特征：1）zero-shot设置需要具有良好的类内紧凑性和类间差异的度量空间以用于识别新类;以及2）草图查询和照片库处于不同的模态。度量学习的观点从两个方面使BS-SBIR受益。首先，它通过深度度量学习（DML）的最新良好实践促进了改进。通过结合DML中的两种基本学习方法，例如，通过分类训练和成对训练，我们建立了一个强有力的基线，用于EST-SBIR。没有花里胡哨，这个基线达到了有竞争力的检索精度。其次，它提供了一个见解，适当地抑制模态差距是至关重要的。为此，我们设计了一种新的方法命名为模态感知三元组硬挖掘（MATHM）。MATHM通过三种类型的成对学习来增强基线，例如，跨模态样本对、模态内样本对以及它们的组合。\We还设计了一种自适应加权方法，在训练过程中动态地平衡这三个分量。实验结果证实，MATHM带来了另一轮的显着改善的基础上强大的基线，并建立了新的国家的最先进的性能。例如，在TU-Berlin数据集上，我们实现了47.88+ 2.94%mAP@all和58.28+ 2.34%Prec@100。代码将在https://github.com/huangzongheng/MATHM上公开。
2021-12-16 cs.CV
Few-Shot Transfer Learning to improve Chest X-Ray pathology detection using limited triplets
Emory University（埃默里大学）；Indiana University Purdue University-Indianapolis（印第安纳大学与普渡大学印第安纳波利斯联合分校）
应用于医学成像的深度学习方法在许多诊断任务上已经达到了接近人类或优于人类的性能。例如，在胸部X光检查中检测病理的CheXpert竞赛已经显示出出色的多类分类性能。然而，训练和验证深度学习模型需要大量的图像集合，并且仍然会产生错误的推断，正如人在回路中所识别的那样。在本文中，我们介绍了一种实用的方法，通过Few-Shot学习（FSL）来改进预训练模型的预测。在训练和验证模型之后，收集少量的假推断图像以使用\textbf{\textit{Image Triplets}}重新训练模型-假阳性或假阴性、真阳性和真阴性。重新训练的FSL模型在性能上产生了相当大的增益，只有几个时期和几个图像。此外，FSL为人在环系统提供了快速再训练的机会，放射科医生可以重新标记错误的推断，并且可以快速重新训练模型。我们比较了我们的再训练模型的性能与现有的FSL方法在医学成像，训练和评估模型一次。
2022-04-16 cs.CV eess.IV
Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of the Same Coin
Carnegie Mellon University（卡内基梅隆大学）；Institute for Systems and Robotics（系统与机器人研究所）；Instituto Superior Técnico（高等技术学院）
本文研究少样本分类中双曲嵌入与欧氏嵌入的对比，发现双曲嵌入在共同半径下表现最佳，但固定半径的欧氏编码器可取得更优性能。
2023-09-18 cs.CV cs.LG
Multi-Label Zero-Shot Learning with Transfer-Aware Label Embedding Projection
Temple University（天普大学）；Carleton University（卡尔顿大学）
零样本学习将知识从可见类转移到新的不可见类，以减少标记数据以构建新分类器的人工劳动。然而，关于零样本学习的许多努力都集中在标准的多类设置上，更具挑战性的多标签zero-shot问题受到了有限的关注。在本文中，我们提出了一个转移感知嵌入投影方法来解决多标签零样本学习。该方法将标签嵌入向量投影到低维空间中，以诱导更好的标签间关系，并显式地促进从可见标签到不可见标签的信息传输，同时使用投影的标签嵌入学习最大余量多标签分类器。辅助信息可以方便地被纳入，以指导标签嵌入投影，以进一步改善标签关系结构的zero-shot知识转移。我们进行了zero-shot多标签图像分类的实验。实验结果证明了该方法的有效性。
2018-08-07 cs.CV cs.LG stat.ML
Training-free Zero-shot Composed Image Retrieval with Local Concept Reranking
Queen Mary University of London（伦敦玛丽女王大学）；University College London（伦敦大学学院）
提出一种免训练零样本组合图像检索方法，通过将查询转换为显式文本并引入局部概念重排序机制，显著提升了检索性能与泛化能力。
2024-03-24 cs.CV
Constellation Loss: Improving the efficiency of deep metric learning loss functions for optimal embedding
Tecnalia（泰克纳利亚）
近年来，度量学习已成为一个引人注目的研究领域。损失函数如对比损失、三重损失或多类N对损失使得生成能够处理存在许多类和每个类的图像数量稀缺的复杂场景的模型成为可能，不仅用于构建分类器，而且用于测量相似性是关键的许多其他应用。通过度量学习训练的深度神经网络也提供了解决少样本学习问题的可能性。当前使用的现有技术水平的损失函数，例如三元组和对比损失函数，由于有效训练样本的选择，仍然遭受缓慢收敛，该有效训练样本已经通过同时添加来自不同类别的附加样本而由多类别N对损失部分解决。在这项工作中，我们扩展了三重和多类N对损失函数提出的星座损失度量，其中所有类组合之间的距离同时学习。我们已经比较了我们的星座损失的视觉类嵌入表明，我们的损失函数通过获得更紧凑的集群，同时实现更好的分类结果超过其他方法。
2019-05-25 cs.CV cs.LG
TVAE: Triplet-Based Variational Autoencoder using Metric Learning
Stanford University（斯坦福大学）
深度度量学习已被证明在学习语义表示和编码信息方面非常有效，这些信息可用于测量数据相似性，这依赖于从度量学习中学习到的嵌入。同时，变分自编码器（VAE）被广泛用于近似推理，并被证明对有向概率模型具有良好的性能。然而，对于传统的VAE，数据标签或特征信息是棘手的。类似地，传统的表示学习方法无法表示数据的许多突出方面。在这个项目中，我们提出了一个新的集成框架，通过结合深度度量学习来学习VAE中的潜在嵌入。通过优化VAE的平均向量上的三重损失以及VAE的标准证据下限（ELBO）来学习这些特征。这种方法，我们称之为基于三元组的变分自动编码器（TVAE），允许我们在潜在嵌入中捕获更多细粒度的信息。我们的模型在MNIST数据集上进行了测试，达到了95.60%的高三重精度，而传统的VAE（Kingma & Welling，2013）达到了75.08%的三重精度。
2023-02-08 cs.AI cs.CV cs.LG
Ontology-based n-ball Concept Embeddings Informing Few-shot Image Classification
The University of Manchester（曼彻斯特大学）
我们提出了一种新的框架ViOCE集成本体为基础的背景知识的形式$n$球概念嵌入到一个神经网络为基础的视觉架构。该方法由两个部分组成-通过学习捕获包容性和不相交性的n球嵌入将本体的符号知识转换为连续空间，并使用学习的嵌入指导视觉模型的训练和推理。我们使用Few-Shot图像分类任务评估ViOCE，其中它在两个标准基准测试中表现出卓越的性能。
2021-09-19 cs.AI cs.CV cs.LG
HyCIR: Boosting Zero-Shot Composed Image Retrieval with Synthetic Labels
Samsung R&D Institute China-Beijing（三星中国北京研发中心）
针对零样本组合图像检索（ZS-CIR）与三元组监督CIR性能差距大的问题，提出仅需未标注图像的SynCir标签合成流程与混合训练策略的HyCIR方法，结合两种对比学习，在CIRR、CIRCO基准上取得SOTA零样本性能。
2024-07-09 cs.CV
Detecting unseen visual relations using analogies
Ecole normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague（捷克理工大学捷克信息学、机器人与控制论研究所）
我们试图检测图像中的视觉关系的三元组t =（主题，谓词，对象）的形式，如“人骑狗”，其中训练样本的个别实体是可用的，但它们的组合是看不见的训练。由于视觉关系的组合性质，这是一个重要的设置：为所有可能的三元组收集足够的训练数据将非常困难。这项工作的贡献是三方面的。首先，我们学习了一种视觉关系的表示，它结合了（i）主语、宾语和谓语的个体嵌入以及（ii）表示关系三元组的视觉短语嵌入。其次，我们学习如何使用涉及类似对象的关系之间的类比将视觉短语嵌入从现有的训练三元组转移到看不见的测试三元组。第三，我们在三个具有挑战性的数据集上展示了我们的方法的好处：在HICO-DET上，我们的模型在频繁和看不见的三元组的强基线上实现了显着的改进，并且我们观察到在COCO-a数据集上检索具有词汇表外谓词的看不见的三元组以及UnRel数据集中具有挑战性的不寻常的三元组的相似改进。
2019-09-22 cs.CV
WCE Polyp Detection with Triplet based Embeddings
University of Barcelona（巴塞罗那大学）；University Hospital Vall d’Hebron（希伯伦谷大学医院）
无线胶囊式内窥镜是一种用于可视化整个胃肠道并诊断肠道疾病（如息肉或出血）的医疗程序。目前的分析是通过手动检查视频的几乎每一帧来执行的，这是一项繁琐且容易出错的任务。自动图像分析方法可用于减少医生评估胶囊内窥镜视频所需的时间，但这些方法仍处于研究阶段。在本文中，我们专注于计算机辅助胶囊内镜图像中的息肉检测。这是一个具有挑战性的问题，因为息肉外观的多样性，不平衡的数据集结构和数据的稀缺性。我们开发了一种新的息肉计算机辅助决策系统，该系统结合了深度卷积神经网络和度量学习。该方法的关键点是使用三重损失函数，目的是改善小数据集时图像的特征提取。三元组损失函数允许通过迫使来自相同类别的图像由相似的嵌入向量表示，同时确保来自不同类别的图像由不同的向量表示，来训练鲁棒检测器。经验结果显示，与基线方法相比，AUC值有意义的增加。在考虑将该技术应用于临床实践时，良好的性能并不是唯一的要求。决策的可信度和可解释性与绩效同样重要。为此，我们还提供了一种方法来生成我们的息肉检测器的结果的视觉解释。这些解释可用于建立医生对系统的信任，也可用于向设计者传达关于方法的内部工作的信息以用于调试目的。
2020-10-02 cs.CV cs.LG eess.IV
Fast Training of Triplet-based Deep Binary Embedding Networks
The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
在本文中，我们的目标是学习一个映射（或嵌入）从图像到一个紧凑的二进制空间，其中汉明距离对应于图像检索任务的排名措施。我们使用三重损失，因为这已被证明是最有效的排名问题。然而，在以前的作品中的训练可能是昂贵的，由于优化是直接在三元组空间上执行的，其中用于训练的可能三元组的数量是训练样本的数量的立方。为了解决这个问题，我们建议将高阶二进制码学习明确地分为两个交错的阶段，将其作为多标签分类问题。为了解决第一阶段，我们设计了一个大规模的高阶二进制码推理算法，以减少高阶目标的一个标准的二进制二次问题，图割可以用来有效地推断二进制码，作为每个训练数据的标签。在第二阶段，我们建议通过精心设计的深度卷积神经网络（CNN）将原始图像映射到紧凑的二进制代码，并且可以通过训练二进制CNN分类器来解决哈希函数拟合。提出了一种增量/交错优化策略，以确保这两个步骤在训练过程中相互交互，以提高精度。我们在几个基准数据集上进行了实验，这些数据集证明了训练时间的改进（多达两个数量级）以及为各种检索任务产生最先进的哈希。
2016-08-01 cs.CV
Spatial-Aware Object Embeddings for Zero-Shot Localization and Classification of Actions
University of Amsterdam（阿姆斯特丹大学）
我们的目标是zero-shot定位和分类的人的行动，在视频。传统的方法依赖于全局属性或对象分类分数的zero-shot知识转移，我们的主要贡献是空间感知对象嵌入。为了达到空间感知，我们在免费提供的演员和对象检测器之上构建嵌入。在词嵌入空间中确定对象的相关性，并进一步用估计的空间偏好来实施。除了局部对象感知，我们还将全局对象感知嵌入到我们的嵌入中，以最大限度地提高演员和对象的交互。最后，我们利用对象的位置和大小的空间感知嵌入展示了一个新的时空动作检索方案与复合查询。四个当代动作视频数据集上的动作定位和分类实验支持我们的建议。除了在zero-shot定位和分类设置中的最先进的结果之外，我们的空间感知嵌入甚至与最近的监督动作定位替代方案具有竞争力。
2017-07-28 cs.CV
Episode Adaptive Embedding Networks for Few-shot Learning
Australian National University（澳大利亚国立大学）
少样本学习的目标是使用每个类的一些标记实例来学习分类器。少样本学习的度量学习方法将样本嵌入到高维空间中，并基于样本嵌入之间的距离进行分类。然而，这样的实例嵌入通常在所有剧集中共享，因此缺乏根据特定于剧集的特征来概括分类器的区分能力。在本文中，我们提出了一种新的方法，即\emph{Episode Adaptive Embedding Network}（EAEN），学习情节特定的嵌入的实例。通过利用每个通道像素嵌入维度上情节中所有实例的概率分布，EAEN不仅可以缓解少样本学习任务中遇到的过拟合问题，而且还可以捕获特定于情节的判别特征。为了实证验证EAEN的有效性和鲁棒性，我们在三个广泛使用的基准数据集上进行了大量的实验，在不同的通用嵌入骨干和不同分类器的各种组合下。实验结果表明，EAEN算法在不同的环境下，显著提高了$10\%$到$20\%$的分类精度。
2021-06-17 cs.CV
Semantically Grounded Visual Embeddings for Zero-Shot Learning
Istituto Italiano di Tecnologia（意大利技术研究院）
零样本学习方法依赖于固定的视觉和语义嵌入，这些嵌入是从独立的视觉和语言模型中提取的，两者都是为其他大规模任务预先训练的。这是当前零样本学习框架的弱点，因为这种不相交的嵌入无法将视觉和文本信息充分关联到它们共享的语义内容。因此，我们建议通过在代理任务上使用双流网络计算联合图像和文本模型来学习语义接地和丰富的视觉信息。为了改善图像和文本表示之间的这种对齐，由属性提供，我们利用辅助标题来提供接地的语义信息。我们的方法，被称为联合嵌入zero-shot学习的几个基准数据集进行评估，提高现有的国家的最先进的方法在标准（$+1.6$ \%上aPY，$+2.6\%$ FLO）和广义（$+2.1\%$上AWA $2$，$+2.2\%$上CUB）zero-shot识别的性能。
2022-04-10 cs.CV
Zero-Shot Semantic Segmentation via Spatial and Multi-Scale Aware Visual Class Embedding
MINDsLab Inc.（MINDsLab 公司）；Agency for Defense Development（国防发展局）
全监督语义分割技术带来了场景理解的范式转变。然而，昂贵的标签成本负担仍然是一个挑战。为了解决成本问题，近年来的研究提出了基于语言模型的zero-shot语义分割（L-SLOSS）方法。在本文中，我们解决了L-CSSs的局限性，推广是一个优点，零样本学习。针对这一局限性，本文提出了一种无语言模型的zero-shot语义分割框架--空间和多尺度感知的视觉类嵌入网络（SM-VCENet）。此外，利用面向视觉的类嵌入SM-VCENet通过多尺度注意和空间注意丰富了类嵌入的视觉信息。我们还提出了一个新的基准（PASCAL 2 COCO）的zero-shot语义分割，它提供了泛化评价领域自适应，并包含视觉上具有挑战性的样本。在实验中，我们的SM-VCENet优于zero-shot语义分割国家的最先进的PASCAL-5i基准测试的相对利润，并显示在PASCAL 2COCO基准测试的泛化鲁棒性。
2021-12-20 cs.CV
Few-Shot Learning with Embedded Class Models and Shot-Free Meta Training
Amazon Web Services（亚马逊云科技）；UCLA（加州大学洛杉矶分校）
我们提出了一种学习嵌入的方法，用于少样本学习，适用于任何数量的方式和任何数量的镜头（镜头免费）。我们不是将类原型固定为样本嵌入的欧几里得平均值，而是允许它们生活在更高维的空间（嵌入式类模型）中，并随着模型参数一起学习原型。类表示函数是隐式定义的，这允许我们使用简单的恒定大小架构来处理每个类的可变数量的镜头。类嵌入包含度量学习，这有助于添加新类而不会拥挤类表示空间。尽管是通用的，没有调整到基准，我们的方法实现了最先进的性能标准的Few-Shot基准数据集。
2020-04-21 cs.CV cs.LG stat.ML
A weakly supervised adaptive triplet loss for deep metric learning
Amazon.com Services Inc（亚马逊服务公司）；University of Maryland（马里兰大学）
我们解决了视觉相似性搜索中的距离度量学习问题，定义为学习图像嵌入模型，该模型将图像投影到欧几里得空间中，在该空间中，语义和视觉相似的图像更接近，不同的图像彼此距离更远。我们提出了一种弱监督自适应三元组损失（ATL），能够捕获细粒度的语义相似性，鼓励学习的图像嵌入模型，以及跨域数据的推广。该方法使用弱标记的产品描述数据来隐式地确定细粒度的语义类，避免了需要注释大量的训练数据。我们评估亚马逊时尚检索基准和DeepFashion店内检索数据。该方法在跨域数据上将三重丢失基线的性能提高了10.6%，并且在所有评估指标上都优于最先进的模型。
2019-09-27 cs.CV
Assessing Multimodal Chronic Wound Embeddings with Expert Triplet Agreement
Institute of Medical Biometry and Statistics (IMBI), Medical Faculty and Medical Center, University of Freiburg（弗莱堡大学医学院与医学中心医学统计与生物统计研究所）；Department of Computer Science, Faculty of Engineering, University of Freiburg（弗莱堡大学工程学院计算机科学系）；Department of Dermatology, Medical Faculty and Medical Center, University of Freiburg（弗莱堡大学医学院与医学中心皮肤科）
本文提出通过专家三元组比较评估嵌入空间，引入TriDerm框架整合图像、边界掩码和专家报告，融合视觉与文本模态提升专家一致性至73.5%。
2026-04-02 cs.CV
Boosting Standard Classification Architectures Through a Ranking Regularizer
University of Maryland, College Park（马里兰大学帕克分校）；Honda Research Institute, USA（本田研究院（美国））
我们采用三重损失作为特征嵌入正则化器来提高分类性能。标准架构，如ResNet和Inception，被扩展为以最小的超参数调整来支持这两种损失。这在微调预训练网络的同时提高了通用性。三重损失是最近提出的嵌入正则化的一个强大的替代品。然而，它是避免由于大批量的要求和高计算成本。通过我们的实验，我们重新评估了这些假设。在推理过程中，我们的网络支持分类和嵌入任务，而没有任何计算开销。定量评估突出了五个细粒度识别数据集的稳步改善。对不平衡视频数据集的进一步评估取得了显着的改善。三重丢失为分类模型带来了最近邻等特征嵌入特性。代码可从\url{http://bit.ly/2LNYEqL}获得。
2020-03-02 cs.CV
