Deep Metric Learning with Hierarchical Triplet Loss
Shenzhen Malong Artificial Intelligence Research Center（深圳码隆人工智能研究中心）；The University of Hong Kong（香港大学）；Malong Technologies（码隆科技）
我们提出了一种新的分层三元组损失（HTL）能够自动收集信息丰富的训练样本（三元组），通过定义的分层树，编码全球上下文信息。这使我们能够应对随机采样在训练传统的三元组丢失时的主要限制，这是深度度量学习的核心问题。我们的主要贡献有两个方面。(i)我们构造了一个分层的类级树，其中递归地合并相邻的类。层次结构自然地捕获了整个数据库上的内在数据分布。(ii)通过引入一个新的违反边界，我们将三元组收集问题公式化，该违反边界是基于设计的层次树动态计算的。这使得它能够在全局上下文的指导下自动选择有意义的硬样本。它鼓励模型从视觉相似类中学习更多有区别的特征，从而加快收敛速度并提高性能。我们的方法进行了评估的图像检索和人脸识别的任务，在那里它优于标准的三重损失大幅1%-18%。它在许多基准测试中实现了最先进的性能，并且学习迭代次数少得多。
2018-10-16 cs.CV
Beyond triplet loss: a deep quadruplet network for person re-identification
University of Chinese Academy of Sciences（中国科学院大学）；University of Dundee（邓迪大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
人员再识别（ReID）是广域视频监控中的一项重要任务，其重点是识别不同摄像机之间的人员。最近，具有三重丢失的深度学习网络成为人ReID的常见框架。然而，三重损失主要关注在训练集上获得正确的顺序。它仍然存在从训练集到测试集的泛化能力较弱的问题，从而导致性能较差。在本文中，我们设计了一个四重损失，它可以导致模型输出具有更大的类间变化和更小的类内变化相比，三重损失。因此，我们的模型具有更好的泛化能力，可以达到更高的测试集上的性能。特别地，基于人ReID的四元组损失，提出了使用基于边缘的在线硬否定挖掘的四元组深度网络。在广泛的实验中，所提出的网络在代表性数据集上的性能优于大多数最先进的算法，这清楚地证明了我们所提出的方法的有效性。
2017-04-06 cs.CV
Triplet-based Deep Similarity Learning for Person Re-Identification
Leibniz University Hannover（莱布尼茨汉诺威大学）；University of Twente（特文特大学）
近年来，人的再识别在计算机视觉领域和工业界都引起了极大的关注。在本文中，我们提出了一个新的框架，用于使用卷积神经网络（CNN）进行基于三元组的深度相似性学习的人员重新识别。该网络使用三元组输入进行训练：其中两个具有相同的类标签，另一个是不同的。它旨在学习深层特征表示，减少同一类内的距离，同时尽可能增加不同类之间的距离。此外，我们在六个不同的数据集上联合训练了模型，这与通常的做法不同-一个模型只在一个数据集上训练，并在同一个数据集上进行测试。然而，在大量的训练样本中，大量的可能的三元组数据使得训练是不可能的。为了解决这一挑战，提出了一种双采样方案，以尽可能有效地生成三重图像。建议的框架进行了评估的几个基准数据集。实验结果表明，我们的方法是有效的人的重新识别任务，它是可比的，甚至优于国家的最先进的方法。
2018-02-09 cs.CV
Incorporating Intra-Class Variance to Fine-Grained Visual Recognition
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）
细粒度视觉识别的目标是在视觉上相似的类别中捕获有区别的特征。最先进的研究工作已经通过使用三元组网络的深度度量学习显著提高了细粒度识别性能。然而，类内方差对识别性能和鲁棒特征表示的影响还没有得到很好的研究。在本文中，我们提出了利用类内方差的三元组网络的度量学习，以提高细粒度识别的性能。通过将每个类别中的训练图像划分为几个组，我们形成了跨不同类别以及不同组的三重样本，这被称为组敏感的三重样本采样（GS-TRS）。相应地，通过将类内方差与GS-TRS相结合来增强三元组损失函数，这可能有助于三元组网络的优化目标。在基准数据集CompCar和VehicleID上的大量实验表明，所提出的GS-TRS在分类和检索任务方面都显着优于最先进的方法。
2017-03-01 cs.CV
Vehicle Re-Identification: an Efficient Baseline Using Triplet Embedding
NVIDIA（英伟达）
在本文中，我们解决的问题，车辆重新识别的摄像头网络利用三元组嵌入。重新识别是在不同相机之间匹配对象外观的问题。随着监控摄像头的普及，智能和更安全的城市成为可能，人们越来越需要通过摄像头重新识别车辆。智慧城市场景中出现的典型挑战包括视点、照明和自遮挡的变化。大多数成功的重新识别方法涉及（深度）学习嵌入空间，使得与表示不同身份的车辆相比，具有相同身份的车辆被投影得更靠近彼此。用于学习嵌入（空间）的流行损失函数包括对比损失或三重损失。在本文中，我们提供了一个广泛的评估，这些损失适用于车辆重新识别，并证明使用最佳实践学习嵌入优于大多数以前的方法中提出的车辆重新识别文献。与大多数现有的最先进的方法相比，我们的方法更简单，更直接，只利用身份级别的注释进行训练，同时使用最小的已发布嵌入维度进行有效的推理。此外，在这项工作中，我们介绍了一个正式的评价三重采样的变体（批量样品）到重新鉴定文献。
2019-08-08 cs.CV
A Triplet-loss Dilated Residual Network for High-Resolution Representation Learning in Image Retrieval
Ferdowsi University of Mashhad（马什哈德菲尔多西大学）；McMaster University（麦克马斯特大学）
基于内容的图像检索是基于视觉内容（如颜色、形状或空间关系以及纹理）从大量图像库中检索图像子集的过程。在某些应用中，例如定位，图像检索被用作初始步骤。在这种情况下，顶部检索图像的准确性显著影响整个系统的准确性。本文介绍了一个简单而有效的图像检索系统，具有较少的可训练参数，它提供了可接受的准确率在顶部检索的图像。所提出的方法受益于一个膨胀的残余卷积神经网络与三重损失。实验评估表明，该模型可以提取更丰富的信息（即，高分辨率表示），从而提高图像检索的准确性，而不增加模型的深度或复杂性。为了增强提取的表示的鲁棒性，当前研究从每个特征图中获取候选感兴趣区域，并对这些区域应用广义均值池化。由于基于三元组的网络中三元组的选择影响模型训练，我们采用了三元组在线挖掘方法。我们在两个具有挑战性的图像检索数据集上测试了所提出的方法在各种配置下的性能，即Revisited Paris6k（RPar）和UKBench。实验结果表明，在RPar中等和硬模式下的准确率分别为94.54和80.23（平均精度为10级），在UKBench数据集中的准确率分别为3.86（召回率为4级）。
2023-03-15 cs.AI cs.CV
Batch-Incremental Triplet Sampling for Training Triplet Networks Using Bayesian Updating Theorem
University of Waterloo（滑铁卢大学）
Triplet网络的变体是用于学习判别嵌入子空间的鲁棒实体。存在不同的三元组挖掘方法来选择最合适的训练三元组。这些挖掘方法中的一些依赖于实例之间的极端距离，而另一些则使用采样。然而，从数据的随机分布中采样而不是仅仅从现有的嵌入实例中采样可以提供更多的判别信息。在这项工作中，我们从分布的数据，而不是从现有的实例中采样三元组。我们考虑一个多元正态分布的嵌入每一类。使用贝叶斯更新和共轭先验，我们动态更新类的分布，通过接收新的小批量的训练数据。所提出的具有贝叶斯更新的三元组挖掘可以与任何基于三元组的损失函数一起使用，例如，三重损失或邻域分量分析（NCA）损失。因此，我们的三元组挖掘方法被称为贝叶斯更新三元组（BUT）和贝叶斯更新NCA（BUNCA），这取决于使用的损失函数。两个公共数据集，即MNIST和组织病理学结直肠癌（CRC）的实验结果，证实了所提出的三元组挖掘方法的有效性。
2020-10-13 cs.CV cs.LG eess.IV
Informative and Representative Triplet Selection for Multilabel Remote Sensing Image Retrieval
Technische Universität Berlin（柏林工业大学）
遥感图像间的相似性学习是基于内容的遥感图像检索的基础。最近，将图像的语义相似性映射到嵌入（度量）空间的深度度量学习方法在RS中非常流行。用于学习度量空间的常见方法依赖于选择与称为锚的参考图像相似（正）和不相似（负）的图像的三元组。选择三元组是一项困难的任务，特别是对于多标签RS CBIR，其中每个训练图像由多个类别标签注释。为了解决这个问题，在本文中，我们提出了一种新的三元组采样方法的框架内定义的多标签RS CBIR问题的深度神经网络（DNN）。所提出的方法选择了一个小的最具代表性和信息的三元组的基础上两个主要步骤。在第一步中，使用迭代算法从当前小批量中选择在嵌入空间中彼此不同的锚点集合。在第二步中，通过基于新策略评估图像之间的相关性、硬度和多样性，为每个锚点选择不同的正图像和负像集合。在两个多标签基准档案上获得的实验结果表明，在DNN的上下文中选择最具信息性和代表性的三元组导致：i）降低DNN的训练阶段的计算复杂性，而不会对性能造成任何重大损失;以及ii）由于信息三元组允许快速收敛，因此学习速度增加。所提出的方法的代码可在https://git.tu-berlin.de/rsim/image-retrieval-from-triplets上公开获得。
2021-11-09 cs.CV eess.IV
Offline versus Online Triplet Mining based on Extreme Distances of Histopathology Patches
University of Waterloo（滑铁卢大学）
我们分析了离线和在线三联体挖掘对包含100，000个补丁的结直肠癌（CRC）组织病理学数据集的影响。我们认为极端的，即，最远和最近的补丁到给定的锚，无论是在在线和离线挖掘。虽然许多作品只专注于在线选择三胞胎（批量），但我们也研究了离线训练前极端距离和邻居补丁的影响。我们分析了极端情况下的嵌入距离离线与在线挖掘的影响，包括容易的积极，批量半硬，批量硬三重挖掘，邻域成分分析损失，其代理版本，距离加权抽样。我们还研究了基于极端距离的在线方法，并全面比较了离线和基于数据模式的在线挖掘性能，并将离线挖掘解释为具有大小批量大小的在线挖掘的易于处理的概括。此外，我们还讨论了极端距离方面的不同结直肠组织类型的关系。我们发现，离线和在线挖掘方法对于特定的架构（例如本研究中的ResNet-18）具有相当的性能。此外，我们发现，包括不同的极端距离的组合情况下，是有希望的，特别是在在线方法。
2022-08-10 cs.CV cs.LG eess.IV
Acceleration of Large Margin Metric Learning for Nearest Neighbor Classification Using Triplet Mining and Stratified Sampling
University of Waterloo（滑铁卢大学）
度量学习是流形学习中的一种技术，其目标是找到一个投影子空间，分别用于增加和减少类间和类内方差。一些度量学习方法基于具有锚正负三元组的三元组学习。最近邻分类的大间隔度量学习是实现这一目标的基本方法之一。最近，已经引入了具有三重态损失的连体网络。许多三元组挖掘方法已被开发的暹罗网络，然而，这些技术还没有被应用于最近邻分类的大间隔度量学习的三元组。在这项工作中，受连体网络挖掘方法的启发，我们提出了几种用于大间隔度量学习的三元组挖掘技术。此外，一个分层的方法，提出了加速和可扩展性的优化，其中三元组选择分层超球分层抽样。我们分析了三个公开可用的数据集，即，Fisher Iris、ORL Faces和MNIST数据集。
2020-09-29 cs.CV cs.LG stat.ML
Auxiliary Cross-Modal Representation Learning with Triplet Loss Functions for Online Handwriting Recognition
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
本文提出基于三元组损失的跨模态表示学习方法（CMR-IS），利用图像辅助任务提升时间序列分类性能，在在线手写识别中实现更高准确率与更好泛化。
2023-08-03 cs.CV cs.LG
PADS: Policy-Adapted Sampling for Visual Similarity Learning
Heidelberg Collaboratory for Image Processing / IWR（海德堡图像处理合作实验室/IWR）；Heidelberg University（海德堡大学）
学习视觉相似性需要学习关系，通常是三个图像之间的关系。尽管三元组方法很强大，但它们的计算复杂性主要限制了训练所有可能的训练三元组的子集。因此，决定在学习过程中何时使用哪个训练样本的采样策略至关重要。目前，突出的范例是固定的或课程抽样策略，在培训开始之前预定义。然而，这个问题确实需要一个采样过程，在训练过程中根据相似性表示的实际状态进行调整。因此，我们采用强化学习，并让教师网络根据学习者网络的当前状态调整采样分布，这表示视觉相似性。使用标准的基于三元组的损失的基准数据集上的实验表明，我们的自适应采样策略显着优于固定采样策略。此外，虽然我们的自适应采样仅应用于基本的三重学习框架之上，但我们达到了与采用不同附加学习信号或强大集成架构的最先进方法相竞争的结果。代码可以在https://github.com/Confusezius/CVPR2020_PADS下找到。
2020-03-28 cs.CV
SoftTriple Loss: Deep Metric Learning Without Triplet Sampling
Alibaba Group（阿里巴巴集团）
距离度量学习（Distance Metric Learning，DML）是学习同类样本比异类样本更接近的嵌入。它可以转换为一个具有三重约束的优化问题。由于大量的三元组约束，采样策略对于DML是必不可少的。随着深度学习在分类方面的巨大成功，它已被应用于DML。当使用深度神经网络（DNN）学习嵌入时，每次迭代时只有一小批数据可用。必须在小批量内对三元组约束集进行采样。由于mini-batch不能很好地捕获原始集合中的邻居，因此它使学习的嵌入次优。相反，使用DNN优化SoftMax损失，这是一种分类损失，在某些DML任务中表现出优越的性能。它启发我们研究SoftMax的制定。我们的分析表明，SoftMax损失相当于平滑的三重损失，其中每个类都有一个中心。在现实世界的数据中，一个类可以包含多个局部聚类而不是单个聚类，例如，不同姿势的鸟因此，我们提出SoftTriple损失来扩展SoftMax损失，每个类别都有多个中心。与传统的深度度量学习算法相比，优化SoftTriple损失可以通过适度增加最后一个全连接层的大小来学习没有采样相位的嵌入。在细粒度基准数据集上的实验验证了该损失函数的有效性。代码可在https://github.com/idstcv/SoftTriple上获得
2020-04-15 cs.CV
Cost-Effective HITs for Relative Similarity Comparisons
Cornell University（康奈尔大学）；University of California, San Diego（加州大学圣地亚哥分校）
相似性比较的形式“是对象a更类似于b比c？“对于计算机视觉和机器学习应用很有用。不幸的是，$n$点的嵌入是由$n^3$三元组指定的，这使得收集每个三元组成为一项昂贵的任务。在注意到这一困难后，其他研究人员研究了更智能的三重抽样技术，但他们没有研究它们的有效性或潜在的缺点。虽然减少收集的三元组的数量很重要，但理解如何最好地向用户显示三元组收集任务也很重要。在这项工作中，我们探讨了一种替代显示收集三胞胎和分析的货币成本和速度的显示。我们提出了最佳实践，为收集三胞胎创建成本效益高的人工智能任务。我们表明，而不是改变采样算法，简单的改变众包用户界面可以导致更高质量的嵌入。我们还提供了一个数据集以及从人群工作人员收集的标签。
2014-04-12 cs.CV cs.LG
AdaSample: Adaptive Sampling of Hard Positives for Descriptor Learning
Nankai University（南开大学）；A*STAR（新加坡科技研究局）；The University of Adelaide（阿德莱德大学）
三重态丢失已被广泛应用于广泛的计算机视觉任务中，包括局部描述符学习。三元组丢失的有效性在很大程度上依赖于三元组选择，其中常见的做法是首先从数据集中采样类内补丁（阳性）用于批量构建，然后挖掘批量阴性以形成三元组。对于高信息量的三联体集，研究者们大多集中在第二阶段的硬否定集的挖掘上，而对信息量批次的构建关注相对较少。为了缓解这个问题，我们提出了AdaSample，一个自适应的在线批量采样器，在本文中。具体地，基于其信息量对硬阳性进行采样。通过这种方式，我们在一个新的最大损失最小化训练协议中制定了一个硬度感知的积极挖掘管道。所提出的方法的有效性进行了评估，在几个标准的基准，它表现出显着的和一致的性能增益的顶部现有的强基线。
2019-11-27 cs.CV
Siamese Network Training Using Artificial Triplets By Sampling and Image Transformation
这项工作中使用的设备使用两个热成像摄像机检测水面上的物体，这有助于用户在人眼无法检测和避免物体的情况下（夜晚，雾等）。为了自主避免障碍物碰撞，需要实时跟踪物体，并为每个物体分配特定的身份以确定其动态（轨迹，速度等）。用于进行碰撞预测。在接下来的工作中，使用TensorFlow作为Python中的高级编程环境，使用称为卷积神经网络（CNN）的计算机视觉（CV）的机器学习（ML）方法。为了验证算法，使用在工作期间创建的注释工具生成测试集，以进行适当的评估。一旦得到验证，该算法就被部署在平台上，并使用测试船生成的序列进行测试。
2021-09-26 cs.AI cs.CV
Online Descriptor Enhancement via Self-Labelling Triplets for Visual Data Association
Massachusetts Institute of Technology（麻省理工学院）
针对现有视觉数据关联方法依赖领域训练数据、推理时无法自适应的问题，提出基于自标注难三元组的在线描述子增强方法，通过浅层网络增量优化实现更优的检测跟踪性能。
2021-06-03 cs.CV cs.RO
OPML: A One-Pass Closed-Form Solution for Online Metric Learning
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Computing and Information Technology, University of Wollongong（伍伦贡大学计算与信息技术学院）
为了在大规模数据的在线度量学习中实现较低的计算成本，本文提出了一种一遍封闭形式的解决方案，即OPML。典型地，所提出的OPML首先采用一次通过三元组构造策略，其目的是仅使用非常少量的三元组来近似通过批处理方式获得的整个原始三元组的表示能力。然后，OPML采用封闭形式的解决方案来更新新到来的样本的度量，这导致低空间（即，$O(d)$）和时间（即，$O(d^2)$）复杂度，其中$d$是特征维度。此外，进一步提出了OPML的扩展（即COPML），以增强实际情况下前几个样本来自同一类（即，冷启动问题）。在实验中，我们系统地评估了我们的方法（OPML和COPML）在三个典型任务上的性能，包括UCI数据分类、人脸验证和视频中的异常事件检测，旨在全面评估所提出的方法在不同样本数、不同特征维数和不同特征提取方式（即，手工制作和深度学习）。结果表明，OPML和COPML可以以很低的计算代价获得很好的性能。此外，COPML冷启动设置下的有效性进行了实验验证。
2016-09-29 cs.CV cs.LG
Multi-scale Microaneurysms Segmentation Using Embedding Triplet Loss
Technical University of Munich（慕尼黑工业大学）；Carl Zeiss Meditec AG（卡尔蔡司医疗技术股份公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
深度学习技术最近被用于眼底图像分析和糖尿病视网膜病变检测。微动脉瘤是糖尿病视网膜病变进展的重要指标。我们介绍了一种两阶段深度学习方法，用于使用多尺度输入进行微动脉瘤分割，并进行选择性采样和嵌入三重丢失。该模型首先在两个尺度上进行分割，然后用分类模型对分割结果进行细化。为了提高分类模型的鉴别能力，我们将三重嵌入损失与选择性采样例程。该模型进行了定量评估，以评估分割性能和定性分析模型的预测。这种方法比完全卷积神经网络引入了30.29%的相对改进。
2019-08-14 cs.CV eess.IV physics.med-ph
Diversity Promoting Online Sampling for Streaming Video Summarization
IBM Almaden Research Center（IBM阿尔马登研究中心）；Arizona State University（亚利桑那州立大学）
许多应用程序受益于采样算法，其中少量精心选择的样本用于概括大型数据集的不同属性。在本文中，我们使用不同的采样流视频摘要。一些新兴的应用支持流视频，但现有的摘要算法需要访问整个视频，这需要大量的内存和计算能力。我们提出了一种高效的内存和计算速度快，在线算法，使用竞争性学习不同的采样。我们的算法是在线K-means的推广，这样的成本函数减少了聚类错误，同时也确保了不同的样本集。多样性被测量为样本周围的凸包的体积。最后，针对VSUMM数据集中的50个视频对人类用户测量了所提出的算法的性能。该算法的性能优于批处理模式汇总，同时需要显着降低内存和计算需求。
2016-10-29 cs.CV
Low-Rank Robust Online Distance/Similarity Learning based on the Rescaled Hinge Loss
Sabzevar University of New Technology（萨布泽瓦尔新技术大学）；Ferdowsi University of Mashhad（马什哈德费尔多西大学）；Hakim Sabzevari University（哈基姆萨布泽瓦里大学）
度量学习中的一个重要挑战是对输入数据的大小和维度的可伸缩性。在线度量学习算法被提出来解决这一挑战。现有的方法通常基于（被动主动）PA方法。因此，它们可以以自适应的学习率快速处理大量数据。然而，这些算法是基于铰链损失，因此对离群值和标签噪声不鲁棒。此外，现有的在线方法通常假设预先存在训练三元组或成对约束。然而，现实世界应用中的许多数据集都是以输入数据及其关联标签的形式存在的。我们解决这些挑战，制定了强大的重新缩放铰链损失函数的在线距离相似性学习问题。该模型具有较强的通用性，可以应用于任何基于PA的在线距离相似度算法。此外，我们开发了一个有效的强大的一次通过三重构造算法。最后，为了在高维DML环境中提供可扩展性，提出了所提出的方法的低秩版本，不仅显著降低了计算成本，而且保持了学习度量的预测性能。此外，它还为深度距离相似性学习提供了一个简单的扩展。我们对来自各种应用程序的数据集进行了几次实验。结果证实，所提出的方法显着优于国家的最先进的在线DML方法的标签噪声和离群值的存在下，由一个很大的利润。
2020-10-10 cs.CV cs.LG stat.ML
Enhanced Data Transfer Cooperating with Artificial Triplets for Scene Graph Generation
University of Tokyo（东京大学）；NEC Corporation（日本电气公司）
针对场景图生成中信息丰富关系三元组监督不足的问题，提出特征空间三元组增强与软传递两个模块，在Visual Genome数据集上取得了最高的召回率与平均召回率均值。
2024-07-21 cs.CV
Memory Group Sampling Based Online Action Recognition Using Kinetic Skeleton Features
Shandong University（山东大学）
在线行为识别是以人为中心的智能服务的重要任务，但由于人类行为的时空尺度的多样性和不确定性，在线行为识别目前还很难实现。在本文中，我们提出了两个核心思想来处理在线动作识别问题。首先，我们结合空间和时间骨架特征来描述动作，其中不仅包括几何特征，还包括多尺度运动特征，从而同时覆盖了动作的空间和时间信息。其次，我们提出了一种记忆组采样方法，结合以前的动作帧和当前的动作帧，这是基于事实，即相邻的帧在很大程度上是冗余的，和采样机制，确保长期的上下文信息也被考虑。最后，一个改进的一维CNN网络被用于训练和测试使用的特征从采样帧。在公开数据集上与现有方法的比较结果表明，该方法快速有效，具有较好的性能
2020-11-03 cs.CV cs.HC
Online progressive instance-balanced sampling for weakly supervised object detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）
基于多实例检测网络（MIDN）的弱监督目标检测（WSOD）研究已经取得了很大的进展。然而，大多数方法忽略了这样一个事实，即在训练阶段，压倒性的负面实例存在于每一幅图像中，这将误导训练，使网络陷入局部极小。针对这一问题，提出了一种基于硬采样和软采样的在线渐进实例平衡采样（OPIS）算法。该算法包括两个模块：渐进式实例平衡（PIB）模块和渐进式实例重新加权（PIR）模块。PIB模块结合随机抽样和IoU平衡抽样，在平衡正实例和负实例的同时逐步挖掘硬负实例。PIR模块还利用分类器得分和相邻细化的IoU来重新加权正实例的权重，以使网络聚焦于正实例。在PASCAL VOC 2007和2012数据集上进行的大量实验结果表明，该方法可以显着改善基线，这也与许多现有的最先进的结果相当。此外，与基线方法相比，该方法不需要额外的网络参数，补充训练开销小，可以很容易地集成到基于实例分类器精化范式的其他方法中。
2022-06-21 cs.CV
LAP-Net: Adaptive Features Sampling via Learning Action Progression for Online Action Detection
Tongji University（同济大学）；The Hong Kong University of Science and Technology（香港科技大学）；Technische Universität München（慕尼黑工业大学）
在线动作检测是一项任务，目的是从流视频中识别正在进行的动作，而无需任何辅助信息或访问未来的帧。最近提出的方法聚合固定的时间范围内不可见的，但预期的未来帧表示作为补充功能，并取得了良好的性能。它们基于这样的观察：人类经常通过同时考虑未来的愿景来检测正在进行的行动。然而，我们观察到，在不同的行动进展，最佳的补充功能，应获得不同的时间范围，而不是简单地固定未来的时间范围。为此，我们引入了自适应特征采样策略，以克服上述可变范围的最佳补充功能。具体来说，在本文中，我们提出了一种新的学习动作进展网络称为LAP网络，它集成了自适应特征采样策略。在每个时间步，该采样策略首先估计当前动作进展，然后决定应该使用什么时间范围来聚合最佳补充特征。我们在三个基准数据集（TVSeries、THUMOS-14和HDD）上评估了我们的LAP-Net。大量的实验表明，与我们的自适应特征采样策略，提出的LAP网络可以显着优于当前国家的最先进的方法有很大的利润。
2020-11-16 cs.CV
GPS: Distilling Compact Memories via Grid-based Patch Sampling for Efficient Online Class-Incremental Learning
Sichuan University（四川大学）
针对在线类增量学习中基于蒸馏的重放方法计算开销大的问题，提出无需可训练模型的GPS策略，通过网格补丁采样生成紧凑记忆样本，集成到现有框架后在记忆受限下平均精度提升3%-4%，计算开销小。
2025-04-15 cs.CV
PCCT: Progressive Class-Center Triplet Loss for Imbalanced Medical Image Classification
Sun Yat-Sen University（中山大学）
不平衡的训练数据是医学图像分类的一个重大挑战。在这项研究中，我们提出了一种新的渐进式类中心三联体（PCCT）框架，以减轻类不平衡的问题，特别是对罕见病的诊断，主要是通过仔细设计的三联体抽样策略和三联体损失的形成。具体而言，预防和打击腐败框架包括两个连续的阶段。在第一阶段，PCCT通过类平衡的三重损失来训练诊断系统，以粗略地分离不同类的分布。在第二阶段中，PCCT框架通过涉及三重丢失的类中心进一步改进诊断系统，以使每个类的分布更紧凑。对于类平衡的三元组丢失，在每次训练迭代中对每个类的三元组进行相等采样，从而缓解不平衡的数据问题。对于涉及三元组丢失的类中心，每个三元组中的正样本和负样本被其对应的类中心替换，这强制执行更接近类中心的相同类的数据表示。此外，类中心涉及三重损失扩展到两两排序损失和四重损失，这表明所提出的框架的推广。大量的实验支持PCCT框架有效地用于具有不平衡训练图像的医学图像分类。在两个皮肤图像数据集和一个胸部X射线数据集上，所提出的方法在所有类别上分别获得平均F1分数86.2，65.2和90.66，在罕见类别上分别获得平均F1分数81.4，63.87和81.92，实现了最先进的性能，并且优于广泛使用的方法来解决类别不平衡问题。
2022-07-11 cs.CV
Learning Local Image Descriptors with Deep Siamese and Triplet Convolutional Networks by Minimising Global Loss Functions
The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
最近在训练深度卷积神经网络（ConvNet）模型方面的创新激发了设计新方法来自动学习局部图像描述符。为这项任务提出的最新深度ConvNets由一个连体网络组成，该网络通过惩罚局部图像块对的错误分类来训练。目前来自机器学习的结果表明，用三元组网络代替这种连体可以提高几个问题的分类精度，但这还没有被证明用于局部图像描述符学习。此外，目前的连体和三联网络已经用随机梯度下降进行了训练，该梯度下降从局部图像块的单个对或三联体中计算梯度，这可能使它们容易过度拟合。在本文中，我们首先提出了使用三元组网络的局部图像描述符学习的问题。此外，我们还建议使用全局损失，最大限度地减少训练集中的总体分类错误，这可以提高模型的泛化能力。使用UBC基准数据集比较本地图像描述符，我们表明，在UBC数据集误差方面，三重网络比连体网络产生更准确的嵌入。此外，我们还证明了三重态和全局损失的组合产生了最好的嵌入领域，使用这个三重态网络。最后，我们还证明了使用全局损失训练的中心-环绕连体网络在UBC数据集上产生了最佳的结果。预先训练的模型可在https://github.com/vijaykbg/deep-patchmatch上在线获得
2016-08-01 cs.CV
Video Quality Assessment for Online Processing: From Spatial to Temporal Sampling
School of Information Technology, Jiangxi University of Finance and Economics（江西财经大学信息技术学院）；Harvard Medical School, Harvard University（哈佛大学医学院）
针对VQA模型时空建模有效性-效率权衡探索不足的问题，本文从时空联合采样视角研究可接受性能下的最少信息保留量，在6个公开库验证了丢弃大部分信息仍能保持性能，并初步设计出由简单模块构成的在线VQA模型，验证其可行性。
2025-01-13 cs.AI cs.CV
Random Sampling for Fast Face Sketch Synthesis
Xidian University（西安电子科技大学）
基于样本的人脸草图合成在数字娱乐和执法领域都有着重要的作用。它通常由两部分组成：邻居选择和重建权重表示。基于样本的人脸草图合成方法中，最耗时或最主要的计算复杂度在于邻域选择过程。现有技术的人脸草图合成方法通过$K$ -NN（$K$ nearest neighbor）搜索以数据驱动的方式在线执行邻居选择。实际上，在线搜索增加了合成的时间消耗。此外，由于这些方法需要遍历整个训练数据集进行邻居选择，因此计算复杂性随着训练数据库的规模而增加，因此这些方法具有有限的可扩展性。在本文中，我们提出了一个简单但有效的离线随机抽样代替在线$K$ -NN搜索，以提高综合效率。在公共人脸草图数据库上的实验表明，该方法在合成质量和时间消耗方面都优于现有的方法。该方法可以推广到其他异构人脸图像变换问题，如人脸幻觉。我们将我们提出的方法的源代码和评估指标在线发布：http://www.ihitworld.com/RSLCR.html。
2017-08-11 cs.CV
Online Learning to Sample
University College London（伦敦大学学院）；Xerox Research Center Europe（施乐欧洲研究中心）；UGA（格勒诺布尔-阿尔卑斯大学）
本文提出AW-SGD算法，通过在线学习优化采样策略，提升在线优化效率，应用于图像分类、矩阵分解和强化学习。
2016-03-15 cs.CV cs.LG cs.NA
A Theoretically Sound Upper Bound on the Triplet Loss for Improving the Efficiency of Deep Distance Metric Learning
University of Liverpool（利物浦大学）；University of Adelaide（阿德莱德大学）；PARC；Singapore University of Technology and Design（新加坡科技设计大学）
我们提出了一种基于三元组损失函数优化的方法，该方法大大提高了深度距离度量学习的效率。基于三元组损失函数的朴素优化的这种训练过程的一个时期具有运行时间复杂度O（N^3），其中N是训练样本的数量。这种优化的伸缩性很差，解决这种高复杂性问题的最常见方法是基于对训练过程所需的三元组集进行子采样。该领域探索的另一种方法依赖于引入类质心的三元组丢失的ad-hoc线性化（根据N），这必须使用每个小批的整个训练集进行优化-这意味着这种方法的简单实现具有运行时复杂度O（N^2）。这种复杂性问题通常可以通过较差但计算成本较低的近似质心优化方法来缓解。在本文中，我们首先提出了一个坚实的理论上的线性化的三重态损失与使用类质心，其中的主要结论是，我们的新的线性损失代表了一个严格的上限的三重态损失。此外，基于上述理论，我们提出了一种不再需要质心优化步骤的训练算法，这意味着我们的方法是该领域中第一个保证线性运行时复杂度的方法。我们表明，使用所提出的上限训练深度距离度量学习方法比基于三元组的方法快得多，同时在基准数据集（CUB-200-2011和CAR 196）上产生有竞争力的检索准确性结果。
2019-04-18 cs.CV
An Efficient Sampling-based Method for Online Informative Path Planning in Unknown Environments
ETH Zürich（苏黎世联邦理工学院）；The University of Sydney（悉尼大学）
在线规划信息路径的能力对机器人自主性至关重要。特别是，经常使用基于采样的方法，因为它们能够使用任意的信息增益公式。然而，它们倾向于局部最小值，导致次优轨迹，并且有时达不到全局覆盖。在本文中，我们提出了一个新的RRT* 启发式的在线信息路径规划算法。我们的方法不断扩展候选轨迹的单个树，并重新连接段以维护树并细化中间轨迹。这使得算法能够实现全局覆盖，并使用单个目标函数在全局上下文中最大化路径的效用。我们展示了该算法的能力，在自主室内探索的应用程序，以及准确的截断符号距离场（TSDF）为基础的3D重建板上的微型飞行器（MAV）。我们研究了常用的信息增益和成本公式在这些情况下的影响，并提出了一种新的基于TSDF的三维重建增益和成本效用公式。在现实的仿真环境中的详细评估表明，我们的方法在这些任务中优于最先进的方法。一个真正的MAV上的实验证明了我们的方法鲁棒实时规划的能力，探索室内环境，仅与板载传感和计算。我们为未来的研究提供我们的框架。
2020-01-14 cs.CV cs.RO
