Do Lessons from Metric Learning Generalize to Image-Caption Retrieval?
University of Amsterdam(阿姆斯特丹大学)
半硬底片的三重丢失已经成为从头开始优化的图像字幕检索(ICR)方法的事实上的选择。度量学习的最新进展产生了新的损失函数,在图像检索和表示学习等任务上优于三重损失。我们问这些发现是否推广到ICR的设置,通过比较三个损失函数的两个ICR方法。我们否定地回答这个问题:在ICR任务上,半硬否定挖掘的三重损失仍然优于从度量学习中新引入的损失函数。为了更好地理解这些结果,我们引入了一种分析方法来比较损失函数,通过计算有多少样本对梯度w.r.t.优化过程中的查询表示。我们发现,损失函数,导致较低的评估分数的ICR任务,在一般情况下,采取太多的(非信息)样本时,计算梯度w.r.t.查询表示,这导致次优性能。具有半硬负的三重态损失被示出优于其他损失函数,因为当计算梯度时,它仅考虑一个(硬)负。
2022-02-14 cs.AI cs.CV cs.IR
Expressive Power and Loss Surfaces of Deep Learning Models
本文件的目标有两个方面。第一个目标是作为深度学习模型工作的临时教程,强调关于深度学习成功原因的几何直觉。第二个目标是用新的见解和结果来补充当前关于深度学习模型的表达能力及其损失表面的结果。特别是,我们描述了如何深神经网络雕刻出流形,特别是当乘法神经元的介绍。乘法用于点积和注意力机制,并且它用于胶囊网络和基于自注意力的Transformers。我们还描述了如何随机多项式,随机矩阵,自旋玻璃和计算复杂性的损失表面的观点是相互关联的。
2021-11-20 cs.AI cs.CV cs.LG
Deep Metric Learning Model for Imbalanced Fault Diagnosis
University of Electronic Science and Technology of China(电子科技大学)
基于数据驱动和深度学习的智能诊断方法是近年来研究的热点和有意义的领域。然而,在实际应用场景中,时序故障的不平衡性是一个亟待解决的问题。本文提出了一种新的深度度量学习模型,其中考虑了不平衡的故障数据和四元组数据对设计方式。在此基础上,提出了一种考虑类间距离和类内数据分布的四元组损失函数。这种四重损失特别注意不平衡的样本对。四重损失和softmax损失函数的合理组合可以减少不平衡的影响。在两个开源数据集上的实验结果表明,该方法能有效地提高不平衡故障诊断的性能。
2021-07-14 cs.AI cs.LG
The Effect of Perceptual Metrics on Music Representation Learning for Genre Classification
University of Bristol(布里斯托尔大学);Universitat de Valencia(瓦伦西亚大学)
研究感知度量在音乐流派分类表征学习中的作用,发现以感知损失训练的自编码器提取特征比直接作距离度量更能提升分类性能和泛化能力。
2024-09-25 cs.AI cs.CV cs.LG
Multimodal-Aware Weakly Supervised Metric Learning with Self-weighting Triplet Loss
Dalian University of Technology(大连理工大学)
近年来,我们目睹了从弱监督数据中学习合适的距离度量的兴趣激增。大多数现有的方法旨在将所有相似的样本拉得更近,而将不相似的样本推得尽可能远。然而,当数据集的某些类别表现出多峰分布时,这些目标相互冲突,因此很难同时满足。此外,为了确保有效的度量,许多方法需要重复的特征值分解过程,这是昂贵的和数值不稳定的。因此,如何从弱监督数据中学习合适的距离度量仍然是一个开放但具有挑战性的问题。为了解决这个问题,在本文中,我们提出了一种新的弱监督度量学习算法,命名为Multimodal Aware weakly supervised Metric Learning(MDaML)。MDaML将数据空间划分为多个聚类,并为每个样本分配局部聚类中心和权重。然后,将其与加权三元组损失相结合,可以进一步增强局部可分性,这鼓励局部不相似样本与局部相似样本保持较大的距离。同时,MDaML将度量学习问题转化为SPD流形上的无约束优化问题,利用黎曼共轭梯度下降(RCGD)算法可以有效地求解该问题.在13个数据集上进行的大量实验验证了所提出的MDaML的优越性。
2021-02-03 cs.AI cs.LG cs.MM
SuSana Distancia is all you need: Enforcing class separability in metric learning via two novel distance-based loss functions for few-shot image classification
Tecnologico de Monterrey, School of Engineering and Sciences(蒙特雷理工学院工程与科学学院);Centro de Investigación y de Estudios Avanzados(高级研究与调查中心)
针对少样本学习中潜在空间类可分性未完全强制的问题,提出Proto-Triplet Loss和ICNN loss两种基于距离的损失函数,在miniImagenet上提升2%准确率,并在多个数据集上展现竞争力。
2023-05-18 cs.AI cs.CV
Revisiting Distance Metric Learning for Few-Shot Natural Language Classification
Warsaw University of Technology(华沙理工大学);NASK - National Research Institute(NASK国家研究院)
距离度量学习(Distance Metric Learning,DML)近年来在图像处理中受到广泛关注。本文分析了它对少样本学习设置下自然语言处理(NLP)分类任务的监督微调语言模型的影响。我们研究了在已知的SentEval传输任务数据集上训练RoBERTa语言模型的几个DML损失函数。我们还分析了在模型推断期间使用基于代理的DML损失的可能性。我们的系统实验表明,在少样本学习设置下,特别是基于代理的DML丢失可以积极影响监督语言模型的微调和推理。平均而言,使用CCE(分类交叉熵损失)和ProxyAnchor Loss组合调整的模型具有最佳性能,并且比仅使用CCE的模型高出约3.27个百分点-高达10.38个百分点,具体取决于训练数据集。
2022-11-28 cs.AI cs.CL cs.LG
Risk Bounds for Robust Deep Learning
Ruhr-University Bochum(波鸿鲁尔大学)
据观察,某些损失函数可以使深度学习管道对数据中的缺陷具有鲁棒性。在本文中,我们支持这些实证研究结果与统计理论。我们特别表明,具有无界、Lipschitz连续损失函数(例如最小绝对偏差损失、Huber损失、Cauchy损失和Tukey双权损失)的经验风险最小化可以在对数据的最小假设下提供有效的预测。更一般地说,我们的论文为深度学习中鲁棒损失函数的好处提供了理论证据。
2020-09-14 cs.AI cs.LG cs.NE
Is Fairness Only Metric Deep? Evaluating and Addressing Subgroup Gaps in Deep Metric Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Tübingen(蒂宾根大学);Massachusetts Institute of Technology(麻省理工学院)
深度度量学习(DML)通过强调表示的相似性结构,使学习具有更少的监督。在zero-shot检索等环境中,人们已经做了很多工作来提高DML的泛化能力,但对其公平性的影响知之甚少。在本文中,我们首先评估了在不平衡数据上训练的最先进的DML方法,并展示了这些表示在用于下游任务时对少数子群性能的负面影响。在这项工作中,我们首先定义公平性在DML通过分析的表示空间的三个属性-类间对齐,类内对齐,和均匀性-并提出findDML,公平性在非平衡的DML基准来表征表示公平性。利用findDML,我们发现在DML表示的偏见传播到常见的下游分类任务。令人惊讶的是,即使在下游任务中的训练数据被重新平衡时,这种偏差也会传播。为了解决这个问题,我们提出了部分属性去相关(PARADE),从敏感属性的特征表示去相关,并减少子组之间的性能差距,在嵌入空间和下游指标。
2022-03-23 cs.AI cs.CY cs.LG
Zero loss guarantees and explicit minimizers for generic overparametrized Deep Learning networks
University of Texas at Austin(得克萨斯大学奥斯汀分校)
本文研究过参数化深度学习网络达到零损失的充分条件,显式构造无需梯度下降的零损失极小化子,并揭示深度增加可能损害梯度下降优化效率。
2025-02-19 cs.AI cs.LG math.AP
Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression
Stanford University(斯坦福大学);The University of Adelaide(阿德莱德大学);Aibee Inc(Aibee公司)
交集大于并集(IoU)是目标检测基准测试中最常用的评价指标。然而,在优化用于回归限界框的参数的常用距离损失和最大化该度量值之间存在差距。度量的最优目标是度量本身。在轴对齐的2D边界框的情况下,可以表明$IoU$可以直接用作回归损失。然而,$IoU$有一个平台,使得在不重叠的边界框的情况下进行优化是不可行的。在本文中,我们解决了$IoU$的弱点,通过引入一个广义的版本作为一个新的损失和一个新的度量。通过将这种广义$IoU$($GIoU$)作为一个损失到国家的最先进的对象检测框架,我们显示了一致的改进,他们的性能使用标准,$IoU$为基础,和新的,$GIoU$为基础,性能指标流行的目标检测基准,如PASCAL VOC和MS COCO。
2019-04-15 cs.AI cs.CV cs.LG
Constellation Loss: Improving the efficiency of deep metric learning loss functions for optimal embedding
Tecnalia(泰克纳利亚)
近年来,度量学习已成为一个引人注目的研究领域。损失函数如对比损失、三重损失或多类N对损失使得生成能够处理存在许多类和每个类的图像数量稀缺的复杂场景的模型成为可能,不仅用于构建分类器,而且用于测量相似性是关键的许多其他应用。通过度量学习训练的深度神经网络也提供了解决少样本学习问题的可能性。当前使用的现有技术水平的损失函数,例如三元组和对比损失函数,由于有效训练样本的选择,仍然遭受缓慢收敛,该有效训练样本已经通过同时添加来自不同类别的附加样本而由多类别N对损失部分解决。在这项工作中,我们扩展了三重和多类N对损失函数提出的星座损失度量,其中所有类组合之间的距离同时学习。我们已经比较了我们的星座损失的视觉类嵌入表明,我们的损失函数通过获得更紧凑的集群,同时实现更好的分类结果超过其他方法。
2019-05-25 cs.CV cs.LG
Addressing the Loss-Metric Mismatch with Adaptive Loss Alignment
Apple Inc.(苹果公司)
在大多数机器学习训练范例中,一个固定的、通常是手工制作的损失函数被假定为底层评估度量的良好代理。在这项工作中,我们通过元学习自适应损失函数来直接优化评估指标来评估这一假设。我们提出了一个样本有效的强化学习方法,在训练过程中动态地适应损失。我们的经验表明,这种配方如何提高性能,同时优化评估指标和平滑的损失景观。我们在度量学习和分类场景中验证了我们的方法,在不同的任务集上显示出比最先进的方法有相当大的改进。重要的是,我们的方法适用于广泛的损失函数和评估指标。此外,学习到的策略可以跨任务和数据传输,证明了该方法的通用性。
2019-05-15 cs.CV cs.LG stat.ML
Jaccard Metric Losses: Optimizing the Jaccard Index with Soft Labels
KU Leuven(鲁汶大学);Tsinghua University(清华大学)
提出Jaccard度量损失(JMLs),解决传统IoU损失无法处理软标签的问题,在4个数据集和13种架构上显著提升语义分割性能并超越现有知识蒸馏与半监督方法。
2024-03-20 cs.AI cs.CV cs.LG
HyP$^2$ Loss: Beyond Hypersphere Metric Space for Multi-label Image Retrieval
Tsinghua University(清华大学);Peng Cheng National Laboratory(鹏城国家实验室);Tencent AI Lab(腾讯AI实验室)
图像检索是一种具有广阔应用前景的多媒体检索技术,深度哈希算法是图像检索的主要分支,它致力于低存储量和高效检索。在本文中,我们对深度哈希中的度量学习进行了深入的研究,以在多标签场景中建立强大的度量空间,其中对损失具有高计算开销和收敛困难,而代理损失理论上无法表达深刻的标签依赖关系,并在构建的超球空间中表现出冲突。为了解决这些问题,我们提出了一种新的度量学习框架与混合代理对损失(HyP $^2$损失),构建了一个表达度量空间与有效的训练复杂度w.r.t.整个数据集。HyP $^2$ Loss通过学习代理优化超球空间,挖掘数据间的相关性,结合了基于对的方法的充分数据对应性和基于代理的方法的高效性.在四个标准多标签基准上的大量实验证明,所提出的方法优于最先进的,在不同的哈希位之间是鲁棒的,并实现了更快,更稳定的收敛速度显着的性能增益。我们的代码可在https://github.com/JerryXu0129/HyP2-Loss上获得。
2022-08-14 cs.CV cs.LG
Proxy Anchor Loss for Deep Metric Learning
POSTECH(浦项科技大学)
现有的度量学习损失可以分为两类:基于对的损失和基于代理的损失。前一个类可以利用数据点之间的细粒度语义关系,但由于其高训练复杂度,通常会减慢收敛速度。相比之下,后一类能够实现快速可靠的收敛,但不能考虑丰富的数据到数据的关系。本文提出了一种新的代理为基础的损失,同时利用对和代理为基础的方法,并克服其局限性。由于使用代理,我们的损失提高了收敛速度,并且对噪声标签和离群值具有鲁棒性。同时,它允许嵌入数据向量在其梯度中相互交互,以利用数据到数据的关系。我们的方法在四个公共基准上进行了评估,其中使用我们的损失训练的标准网络达到了最先进的性能,并且收敛速度最快。
2020-03-31 cs.CV cs.LG
Adaptive additive classification-based loss for deep metric learning
Amazon(亚马逊)
最近的工作表明,深度度量学习算法可以受益于来自另一种输入模态的弱监督。这种额外的模态可以作为距离直接结合到流行的基于三重态的损失函数中。最近,分类损失和基于代理的度量学习已经被观察到导致更快的收敛以及更好的检索结果,而不需要复杂和昂贵的采样策略。在本文中,我们提出了一种对现有自适应余量的扩展,用于基于分类的深度度量学习。我们的扩展为每个样本的每个负代理引入了一个单独的保证金。这些边界是在训练期间根据其他模态中的类的预先计算的距离来计算的。我们的结果在亚马逊时尚检索数据集和公共DeepFashion数据集上都建立了新的最先进的技术。这在基于fastText和BERT的嵌入中观察到,用于额外的文本模态。我们的结果是实现了更快的收敛速度和更低的代码复杂度比现有的国家的最先进的。
2020-06-25 cs.CV cs.LG
DAAL: Density-Aware Adaptive Line Margin Loss for Multi-Modal Deep Metric Learning
Pokhara University(博卡拉大学);Universita di Verona(维罗纳大学);Eng. for Innovative Medicine(创新医学工程学院)
本文提出密度感知自适应线形间隔损失(DAAL),通过保持嵌入密度分布并形成自适应子簇,增强类内方差和类间分离,在细粒度数据集上取得优越性能,推进多模态深度度量学习。
2024-11-05 cs.CV cs.LG
NPT-Loss: A Metric Loss with Implicit Mining for Face Recognition
University of Surrey(萨里大学)
近年来,使用深度卷积神经网络(DCNN)的人脸识别(FR)取得了显著的成功。基于DCNN的FR的一个关键要素是损失函数的适当设计,以确保各种身份之间的区别。最先进的(SOTA)解决方案利用具有加法和/或乘法余量的归一化Softmax损失。尽管很受欢迎,但这些基于Softmax+保证金的损失并不是理论上的动机,保证金的有效性只是直观地证明。在这项工作中,我们利用一个替代框架,提供了一个更直接的机制,实现各种身份的特征之间的歧视。我们提出了一种新的损失,相当于一个三重损失与代理和一个隐含的机制,硬负挖掘。我们给出了理论上的理由,最大限度地减少建议的损失,确保所有身份之间的最小可分性。所提出的损耗易于实现,并且不需要像SOTA解决方案中那样进行大量的超参数调整。我们给出的经验证据表明,尽管它的简单性,建议的损失始终实现SOTA性能在各种基准的高分辨率和低分辨率FR任务。
2021-03-05 cs.CV cs.LG
The Group Loss++: A deeper look into group loss for deep metric learning
Technical University of Munich(慕尼黑工业大学);Ca’ Foscari University of Venice(威尼斯大学)
深度度量学习通过利用神经网络来获得高度区分的特征嵌入,从而在聚类和图像检索等任务中取得了令人印象深刻的结果,这些特征嵌入可用于将样本分为不同的类别。许多研究致力于设计智能损失函数或数据采掘策略来训练这样的网络。大多数方法只考虑一个小批量中的样本对或三个样本组来计算损失函数,这通常是基于嵌入之间的距离。我们提出了组损失,一个损失函数的基础上可微标签传播方法,强制嵌入相似性的所有样本的一组,同时促进,在同一时间,低密度区域之间的数据点属于不同的群体。在“相似对象应该属于同一组”的平滑假设的指导下,所提出的损失训练神经网络用于分类任务,在类内的样本之间强制执行一致的标签。我们设计了一组针对我们的算法量身定制的推理策略,名为Group Loss++,进一步改善了我们模型的结果。我们在四个检索数据集上展示了聚类和图像检索的最新结果,并在两个人重新识别数据集上展示了竞争结果,为检索和重新识别提供了统一的框架。
2022-04-04 cs.CV cs.LG
On loss functions and evaluation metrics for music source separation
Universitat Pompeu Fabra(庞培法布拉大学);Dolby Laboratories(杜比实验室)
我们调查损失函数提供更好的分离,通过基准测试的音乐声源分离的广泛的一套。为此,我们首先调查了我们确定的最具代表性的音频声源分离损失,然后在受控的实验设置中对其进行一致的基准测试。我们还探索使用这样的损失作为评估指标,通过交叉相关的主观测试的结果。根据观察,标准的信号失真比度量可能会误导在某些情况下,我们研究替代评估指标的基础上考虑的损失。
2022-02-16 cs.LG cs.SD eess.AS
Theoretical Guarantees of Deep Embedding Losses Under Label Noise
Idiap Research Institute(Idiap研究所);École Polytechnique Fédéral de Lausanne(洛桑联邦理工学院)
收集标记数据来训练深度神经网络是昂贵的,甚至对于许多任务来说是不切实际的。因此,研究工作一直集中在自动策划的数据集或无监督和弱监督学习。这些方向的共同问题是使用不可靠的标签信息进行学习。在本文中,我们讨论了深度嵌入学习损失对标签噪声的容忍度,即当观察到的标签与真实标签不同时。具体来说,我们提供了充分条件,实现理论保证的两个常见的损失函数:边际损失和三重损失。从这些理论结果中,我们可以估计采样策略和初始化如何影响对标签噪声的抵抗水平。该分析还有助于为无监督和弱监督深度嵌入学习提供更有效的指导。
2019-01-02 cs.CV cs.LG
Embedding Expansion: Augmentation in Embedding Space for Deep Metric Learning
NAVER/LINE Vision
学习样本对之间的距离度量已被研究用于图像检索和聚类。随着基于对的度量学习损失的显着成功,最近的工作提出了使用生成的合成点度量学习损失的增强和推广。然而,这些方法需要额外的生成网络以及主网络,这可能导致更大的模型大小,更慢的训练速度和更难优化。同时,后处理技术,如查询扩展和数据库增强,提出了组合的特征点,以获得额外的语义信息。在本文中,受查询扩展和数据库增强的启发,我们提出了一种基于对度量学习损失的嵌入空间增强方法,称为嵌入扩展。该方法通过特征点的组合生成包含增强信息的合成点,并进行硬负对挖掘,以使用信息量最大的特征表示进行学习。由于其简单性和灵活性,它可以用于现有的度量学习损失,而不会影响模型大小,训练速度或优化难度。最后,嵌入扩展和代表性度量学习损失的组合在图像检索和聚类任务中优于最先进的损失和以前的样本生成方法。实现是公开的。
2020-04-23 cs.CV cs.IR cs.LG
Benchmarking Deep AUROC Optimization: Loss Functions and Algorithmic Choices
University of Iowa(爱荷华大学)
ROC曲线下面积(AUROC)已被广泛应用于不平衡分类,并与深度学习技术相结合。然而,没有现有的工作,提供健全的信息,为同行选择适当的深度AUROC最大化技术。在这项工作中,我们从三个方面填补了这一空白。(i)我们基准测试了各种损失函数与不同的算法选择深度AUROC优化问题。我们研究了两类损失函数:成对损失和复合损失,共包括10个损失函数。有趣的是,我们发现复合损失,作为一个创新的损失函数类,显示出更有竞争力的性能比成对损失从训练收敛和测试泛化的角度。然而,具有更多损坏标签的数据有利于成对对称损失。(ii)此外,我们的基准和突出的基本算法的选择,如积极的采样率,正则化,规范化/激活,和优化。主要调查结果包括:更高的正采样率可能有利于深度AUROC最大化;不同的数据集有利于不同的正则化权重;适当的归一化技术,如sigmoid和$\ell_2$评分归一化,可以提高模型性能。(iii)对于优化方面,我们基准SGD型,动量型,亚当型优化器的成对和复合损失。我们的研究结果表明,虽然亚当式方法从培训的角度更具竞争力,但它并没有优于其他测试的角度。
2022-07-04 cs.AI cs.LG
A Comparative Study of Deep Learning Loss Functions for Multi-Label Remote Sensing Image Classification
本文在多标签遥感(RS)图像场景分类问题框架下分析和比较了不同的深度学习损失函数。我们考虑七个损失函数:1)交叉熵损失; 2)焦点损失; 3)加权交叉熵损失; 4)汉明损失; 5)Huber损失; 6)排名损失;和7)sparseMax损失。所有考虑的损失函数进行了分析首次在RS。在理论分析之后,进行实验分析以比较所考虑的损失函数的以下方面:1)总体准确性; 2)类别不平衡意识(对于其,与每个类别相关联的样本的数量显著变化); 3)可对流性和可微性;以及4)学习效率(即,收敛速度)。在此基础上,给出了在多标记遥感场景分类问题中损失函数的选择原则。
2020-09-29 cs.CV cs.LG
Mean Field Theory in Deep Metric Learning
ZOZO Research(ZOZO研究院)
本文将统计物理的平均场理论应用于深度度量学习,从基于对的损失函数推导出训练复杂度更低的基于分类的损失函数,并在三个图像检索数据集中的两个上优于基线方法。
2023-06-27 cond-mat.stat-mech cs.LG
A Systematic Performance Analysis of Deep Perceptual Loss Networks: Breaking Transfer Learning Conventions
Umeå University(于默奥大学);Luleå University of Technology(吕勒奥理工大学)
本文系统评估了14种预训练损失网络在四个应用领域中的表现,发现不带批归一化的VGG效果最佳,且特征提取层选择与架构选择同样重要,并打破了ImageNet准确率越高下游性能越好的迁移学习惯例。
2024-07-03 cs.CV cs.LG
Deep Metric Learning via Facility Location
Google Research(谷歌研究院);MIT(麻省理工学院)
使用深度网络以端到端的方式学习表示和相似性度量已经证明了聚类和检索的出色结果。然而,这些最近的方法仍然遭受性能下降,源于本地度量训练过程,这是不知道的嵌入空间的全局结构。我们提出了一个全局度量学习方案,用于在一个新的结构化预测框架中使用可学习的聚类函数和聚类度量(NMI)优化深度度量嵌入。我们在CUB 200 -2011,Cars 196和斯坦福在线产品数据集上的实验显示了NMI和Recall@K评估指标中测量的聚类和检索任务的最新性能。
2017-04-11 cs.CV cs.LG
Surrogate regret bounds for generalized classification performance metrics
Poznan University of Technology(波兹南理工大学)
我们考虑优化的广义性能指标的二进制分类的替代损失。我们专注于一类指标,这是线性分数函数的假阳性和假阴性率(其中的例子包括$F_β$ -措施,Jaccard相似系数,AM措施,和许多其他)。我们的分析涉及以下两个步骤。首先,实值函数$f$通过最小化训练样本上的二元分类的代理损失来学习。假设代理损失是一个强适当的复合损失函数(例如逻辑损失、平方误差损失、指数损失等)。然后,给定$f$,通过直接优化目标性能度量,在单独的验证样本上调谐阈值$\widehatθ$。我们表明,所得到的分类器(从阈值$f$上$\widehatθ$)测量相对于目标度量的遗憾是上限的遗憾$f$测量相对于代理损失。我们还扩展了我们的结果,以涵盖多标签分类,并提供遗憾的微观和宏观平均措施的界限。我们的研究结果进行了进一步分析,在合成和真实数据集的计算研究。
2016-10-07 cs.LG
Supervised Metric Learning to Rank for Retrieval via Contextual Similarity Optimization
Boston University(波士顿大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
针对图像检索度量学习易受噪声标签影响、依赖大量数据的问题,提出同时优化余弦与上下文相似度的 contextual loss,在四个基准上达到新最优。
2023-06-02 cs.CV cs.LG
Beyond validation loss: Clinically-tailored optimization metrics improve a model's clinical performance
University of Washington(华盛顿大学)
本文提出通过临床定制指标优化模型,以提升其在医疗场景中的性能表现。
2026-01-22 cs.LG
Relational Surrogate Loss Learning
The University of Sydney(悉尼大学);SenseTime Research(商汤科技研究院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Huazhong University of Science and Technology(华中科技大学);University of Science and Technology of China(中国科学技术大学)
机器学习中的评估度量通常很难被视为损失函数,因为它们可能是不可微和不可分解的,例如,平均精度和F1得分。本文旨在通过重新审视替代损失学习来解决这个问题,其中采用深度神经网络来近似评估指标。与其通过深度神经网络来追求评估度量的精确恢复,我们被提醒这些评估度量存在的目的,即区分一个模型比另一个模型更好还是更差。在本文中,我们表明,直接维护代理损失和指标之间的模型的关系就足够了,并提出了一种基于秩相关的优化方法,以最大限度地提高这种关系,并学习代理损失。与以前的作品相比,我们的方法更容易优化,并享有显着的效率和性能增益。大量的实验表明,我们的方法实现了各种任务,包括图像分类和神经机器翻译的改进,甚至优于人类姿势估计和机器阅读理解任务的最先进的方法。代码可在:https://github.com/hunto/ReLoss.
2022-02-26 cs.CV cs.LG
Introducing One Sided Margin Loss for Solving Classification Problems in Deep Networks
University of Tehran(德黑兰大学)
为了有效地解决最大间隔分类问题,本文引入了一种新的损失函数--OSM(One-Sided Margin)。与铰链损失不同,在OSM中,用相应的超参数显式地确定裕度,然后解决分类问题。在实验中,我们观察到在几种常用的深度模型中,使用OSM损失比二进制和分类交叉熵导致更快的训练速度和更好的准确性,用于分类和光学字符识别问题。OSM一直表现出更好的分类准确性超过交叉熵和铰链损失的小到大的神经网络。它还导致了更有效的培训程序。我们在CIFAR 10(98.82\%),CIFAR 100(91.56\%),Flowers(98.04\%),Stanford Cars(93.91\%)的几个基准数据集上实现了小型网络的最新准确率,与其他损失函数相比有了相当大的改进。此外,对于大型网络,其精度优于交叉熵和铰链损失。因此,我们坚信OSM是铰链和交叉熵损失的强大替代方案,可以在分类任务上训练深度神经网络。
2022-06-02 cs.CV cs.LG
The Group Loss for Deep Metric Learning
Technical University of Munich(慕尼黑工业大学)
深度度量学习通过利用神经网络来获得高度区分的特征嵌入,从而在聚类和图像检索等任务中取得了令人印象深刻的结果,这些特征嵌入可用于将样本分为不同的类别。许多研究致力于设计智能损失函数或数据采掘策略来训练这样的网络。大多数方法只考虑一个小批量中的样本对或三个样本组来计算损失函数,这通常是基于嵌入之间的距离。我们提出了组损失,一个损失函数的基础上可微标签传播方法,强制嵌入相似性的所有样本的一组,同时促进,在同一时间,低密度区域之间的数据点属于不同的群体。在“相似对象应该属于同一组”的平滑假设的指导下,所提出的损失训练神经网络用于分类任务,在类内的样本之间强制执行一致的标签。我们在几个数据集上展示了聚类和图像检索的最新结果,并展示了我们的方法与其他技术(如集成)相结合时的潜力
2020-07-20 cs.CV cs.LG stat.ML
Deep Metric Loss for Multimodal Learning
Gwangju Institute of Science and Technology(光州科学技术院)
本文提出 MultiModal 损失,依据各单模态对预测的贡献对实例分组,以缓解过拟合并优化多模态模型,在合成数据和四个真实数据集上验证了性能提升。
2023-08-21 cs.AI cs.LG
Non-parametric Binary regression in metric spaces with KL loss
我们提出了一个非参数变量的二元回归,其中的假设是正规化的Lipschitz函数采取度量空间[0,1]和损失是对数。这种设置提出了新的计算和统计挑战。在计算方面,我们基于内点方法推导出一种新的高效优化算法;一个有吸引力的特点是它是无参数的(即,不需要调整更新步长)。在统计方面,基于覆盖数和Rademacher技术,无界损失函数提出了经典推广边界的问题。我们绕过这个挑战,通过自适应截断的方法,并提出了一个下界,表明截断是,在某种意义上说,必要的。
2020-10-19 cs.LG
Multi-Head Deep Metric Learning Using Global and Local Representations
ObjectVideo Labs, Inc.(ObjectVideo实验室公司)
深度度量学习(DML)模型通常需要强大的局部和全局表示,然而,在DML模型训练中有效集成局部和全局特征是一个挑战。DML模型通常使用特定的损失函数进行训练,包括基于成对和基于代理的损失。基于成对的损失函数利用了数据点之间丰富的语义关系,然而,它们在DML模型训练期间经常遭受缓慢的收敛。另一方面,基于代理的损失函数通常导致训练期间收敛的显著加速,而基于代理的损失通常没有充分探索数据点之间的丰富关系。在本文中,我们提出了一种新的DML方法来解决这些挑战。所提出的DML方法通过集成基于成对和基于代理的损失函数来利用混合损失,以利用丰富的数据到数据关系以及快速收敛。此外,所提出的DML方法利用全局和局部特征,以获得丰富的表示在DML模型训练。最后,我们还使用二阶注意力的特征增强,以提高准确和高效的检索。在我们的实验中,我们广泛评估了所提出的DML方法在四个公共基准测试,实验结果表明,所提出的方法在所有基准测试中达到了最先进的性能。
2021-12-28 cs.CV cs.LG
Robust Metric Learning based on the Rescaled Hinge Loss
Ministry of Higher Education and Scientific Research(高等教育与科学研究部);Sabzevar University of New Technology(萨布瓦尔新技术大学);Birjand University of Technology(比尔詹德理工大学)
距离/相似性学习是机器学习中的一个基本问题。例如,kNN分类器或聚类方法基于距离/相似性度量。度量学习算法通过从数据中学习最佳距离函数来提高这些方法的效率。大多数度量学习方法需要成对或三元组形式的训练信息。如今,这种培训信息往往是通过众包方法从互联网上获得的。因此,该信息可能包含标签噪声或离群值,导致学习度量的性能较差。甚至有可能学习的度量函数比一般度量(如欧几里得距离)执行得更差。为了解决这一问题,本文提出了一种新的鲁棒性度量学习方法的基础上重新缩放铰链损失。这种损失函数是流行的铰链损失的一般情况,最初在(Xu et al. 2017)中引入,以开发一种新的鲁棒SVM算法。在本文中,我们制定了度量学习问题使用重新缩放铰链损失函数,然后开发了一个有效的算法的基础上HQ(半二次)来解决这个问题。在各种真实和合成数据集上的实验结果证实,在存在标签噪声和离群值的情况下,我们新的鲁棒算法的性能大大优于最先进的度量学习方法。
2020-01-22 cs.LG stat.ML
A Softmax-free Loss Function Based on Predefined Optimal-distribution of Latent Features for Deep Learning Classifier
Shanghai University(上海大学)
在模式分类领域,深度学习分类器的训练多为端到端学习,而损失函数是对网络最终输出(后验概率)的约束,因此Softmax的存在必不可少。在端到端学习的情况下,通常没有有效的完全依赖中间层特征的损失函数来约束学习,导致样本潜在特征的分布不是最优的,因此分类精度仍有提升空间。基于预定义均匀分布类质心的概念,提出了一种基于预定义最优潜在特征分布的Softmax自由损失函数-POD损失。该损失函数仅对样本的潜在特征进行约束,包括样本的潜在特征向量与预定义的均匀分布类的中心之间的范数自适应余弦距离,以及样本的潜在特征之间的相关性。最后,余弦距离用于分类。在几个典型的深度学习分类网络上对几个常用数据集进行的实验表明,与常用的Softmax Loss、一些典型的Softmax相关损失函数和PEDCC-Loss相比,POD Loss的分类性能始终显著更好,更容易收敛。代码可在https://github.com/TianYuZu/POD-Loss上找到。
2022-10-21 cs.CV cs.LG
A Unified Framework of Surrogate Loss by Refactoring and Interpolation
University of Michigan(密歇根大学);Princeton University(普林斯顿大学)
我们引入了UniLoss,这是一个统一的框架,用于生成代理损失,用于使用梯度下降训练深度网络,减少了特定任务代理损失的手动设计量。我们的关键观察是,在许多情况下,在一批示例上使用性能指标评估模型可以重构为四个步骤:从输入到实值分数,从分数到分数对的比较,从比较到二进制变量,以及从二进制变量到最终的性能指标。使用这种重构,我们通过插值为每个不可微步骤生成可微近似。使用UniLoss,我们可以使用一个统一的框架针对不同的任务和指标进行优化,与特定任务的损失相比,可以实现相当的性能。我们在三个任务和四个数据集上验证了UniLoss的有效性。代码可在https://github.com/princeton-vl/uniloss上获得。
2020-07-27 cs.CV cs.LG
A Study of Plasticity Loss in On-Policy Deep Reinforcement Learning
Microsoft Research(微软研究院)
该研究聚焦同策略深度强化学习中受关注较少的可塑性损失问题,通过实验证实该问题在域偏移下普遍存在、现有多数方法失效,同时发现再生式方法可在多类场景中持续缓解该问题。
2024-11-01 cs.AI cs.LG
A Comparison of Metric Learning Loss Functions for End-To-End Speaker Verification
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心);LIMSI(机械与工程计算机科学实验室)
尽管度量学习方法越来越受欢迎,但很少有工作试图对这些说话人验证技术进行公平的比较。我们试图填补这一空白,并在VoxCeleb数据集上系统地比较几种度量学习损失函数。第一类损失函数是从交叉熵损失(通常用于监督分类)导出的,并且包括同馀余弦损失、加性角裕度损失和中心损失。第二类损失函数关注训练样本之间的相似性,包括对比损失和三重损失。我们表明,添加剂的角度边际损失函数优于所有其他损失函数的研究,同时学习更强大的表示。基于SincNet可训练特征和x向量架构的组合,本文中使用的网络使我们更接近真正的端到端说话人验证系统,当与附加角裕度损失相结合时,同时仍然与x向量基线竞争。本着可重复研究的精神,我们还发布了开源Python代码来重现我们的结果,并在torch.hub上共享预训练的PyTorch模型,这些模型可以直接使用,也可以在微调后使用。
2020-03-31 cs.LG cs.SD eess.AS
Spectral, Probabilistic, and Deep Metric Learning: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一篇关于度量学习的教程和调查论文。算法分为谱学习、概率学习和深度度量学习。我们首先从距离度量、马氏距离和广义马氏距离的定义开始。在谱方法中,我们从使用数据分散点的方法开始,包括第一个谱度量学习,Fisher判别分析的相关方法,相关成分分析(RCA),判别成分分析(DCA)和Fisher-HSIC方法。然后,涵盖了大间隔度量学习,不平衡度量学习,局部线性度量适应和对抗性度量学习。我们还解释了几种在特征空间中进行度量学习的核谱方法。我们还介绍了黎曼流形上的几何度量学习方法。在概率方法中,我们从输入和特征空间中的类折叠开始,然后解释邻域分量分析方法,贝叶斯度量学习,信息论方法和度量学习中的经验风险最小化。在深度学习方法中,我们首先引入重构自编码器和监督损失函数用于度量学习。然后,暹罗网络和它的各种损失函数,三重挖掘,三重抽样解释。基于Fisher判别分析的深度判别分析方法也进行了综述。最后,我们介绍了多模态深度度量学习、神经网络的几何度量学习和Few-Shot度量学习。
2022-01-23 cs.CV cs.LG stat.ML
sigmoidF1: A Smooth F1 Score Surrogate Loss for Multilabel Classification
RTL Nederland B.V.(RTL荷兰公司);University of Amsterdam(阿姆斯特丹大学)
多类多标签分类是通过预测将多个标签归属于示例的任务。当前模型将多标签设置简化为多个二进制分类或多类分类,允许使用现有的损失函数(sigmoid,交叉熵,logistic等)。多标签分类约简不适应每个示例不同数量的标签的预测,并且潜在的损失是对性能指标的遥远估计。我们提出了一个损失函数sigmoidF1,它是F1分数的近似值,(1)对于随机梯度下降是平滑和易处理的,(2)自然地近似于多标签度量,(3)估计标签倾向和标签计数。我们表明,任何混淆矩阵度量都可以用光滑代理来表示。我们评估建议的损失函数的文本和图像数据集,并与各种指标,考虑到多标签分类评价的复杂性。sigmoidF1在一个文本和两个图像数据集以及几个度量上优于其他损失函数。这些结果表明,使用推理时间度量作为损失函数的非平凡的分类问题,如多标签分类的有效性。
2022-10-31 cs.LG stat.ML
A Generalized Surface Loss for Reducing the Hausdorff Distance in Medical Imaging Segmentation
Rice University(莱斯大学);The University of Texas MD Anderson Cancer Center(德克萨斯大学MD安德森癌症中心)
针对医学分割训练偏重区域指标而 Hausdorff 误差较大的问题,提出带类别不平衡权重、数值性质更优的 Generalized Surface Loss,并在 nnUNet 的 LiTS 与 BraTS 实验中优于其他损失。
2024-01-24 cs.CV cs.LG eess.IV
AnyLoss: Transforming Classification Metrics into Loss Functions
University of Notre Dame(圣母大学)
本文提出AnyLoss,一种将任何基于混淆矩阵的指标转化为可微损失函数的通用方法,通过近似函数实现,有效处理不平衡数据并保持高效学习速度。
2024-05-23 cs.LG
The Optimiser Hidden in Plain Sight: Training with the Loss Landscape's Induced Metric
MIT(麻省理工学院);NSF AI Institute for Fundamental Interactions(NSF基础相互作用人工智能研究所)
本研究提出一类基于损失景观诱导黎曼度量的新型神经网络优化器,具备自适应学习率等优良理论性质,计算复杂度与Adam相当,低维场景效果突出,训练神经网络时略优于现有主流方法。
2025-09-03 cs.AI cs.LG math.OC
Generating Images with Perceptual Similarity Metrics based on Deep Networks
University of Freiburg(弗莱堡大学)
图像生成机器学习模型通常使用基于图像空间中的距离的损失函数来训练。这通常会导致过度平滑的结果。我们提出了一类损失函数,我们称之为深度感知相似性度量(DeePSiM),以减轻这个问题。我们不是计算图像空间中的距离,而是计算由深度神经网络提取的图像特征之间的距离。该度量更好地反映了图像的感知相似性,从而导致更好的结果。我们展示了三个应用:自动编码器训练,变分自编码器的修改,以及深度卷积网络的逆。在所有情况下,生成的图像看起来清晰,类似于自然图像。
2016-02-09 cs.CV cs.LG cs.NE
Memorization in Deep Neural Networks: Does the Loss Function matter?
Indian Institute of Science(印度科学学院)
深度神经网络,通常由于过度参数化,被证明能够准确地记忆甚至随机标记的数据。实证研究也表明,没有一种标准的正则化技术可以减轻这种过拟合。我们调查是否选择的损失函数可以影响这种记忆。我们的经验表明,与基准数据集MNIST和CIFAR-10,对称的损失函数,而不是交叉熵或平方误差损失,结果在网络的能力显着改善,以抵抗这种过拟合。然后,我们提供了一个正式的定义为记忆的鲁棒性,并提供了一个理论解释,为什么对称损失提供这种鲁棒性。我们的研究结果清楚地表明了损失函数在这种记忆现象中所起的作用。
2021-07-22 cs.CV cs.LG stat.ML
DeepTriangle: A Deep Learning Approach to Loss Reserving
Kasa AI(卡莎人工智能公司)
提出了一种基于深度神经网络的损失准备方法。该方法允许对已付损失和未决索赔进行联合建模,并纳入异质输入。我们验证了跨业务线的损失准备金数据的模型,并表明它们提高了现有随机方法的预测精度。这些模型需要最少的特征工程和专家输入,并且可以自动化,比手动工作流程更频繁地生成预测。
2019-09-16 cs.LG q-fin.RM stat.AP
Surface Similarity Parameter: A New Machine Learning Loss Metric for Oscillatory Spatio-Temporal Data
Hamburg University of Technology(汉堡工业大学);Imperial College London(帝国理工学院)
受监督的机器学习方法需要在训练阶段最小化损失泛函的公式化。序列数据在许多研究领域中普遍存在,并且通常使用为表格数据设计的基于欧氏距离的损失函数来处理。对于平滑振荡数据,这些常规方法缺乏同时惩罚幅度、频率和相位预测误差的能力,并且倾向于偏向幅度误差。我们引入了表面相似性参数(SSP)作为一种新的损失函数,特别适用于在光滑振荡序列上训练机器学习模型。我们对混沌时空动力学系统的大量实验表明,SSP有利于形成梯度,从而加快训练过程,减少最终的预测误差,增加权重初始化的鲁棒性,并实现更强的正则化效果相比,使用经典的损失函数。结果表明,特别是对于高度复杂和混乱的数据,如来自非线性二维Kuramoto-Sivashinsky方程和流体中色散表面重力波的线性传播的数据的新的损失度量的潜力。
2022-09-29 cs.LG
Normalized Loss Functions for Deep Learning with Noisy Labels
The University of Melbourne(墨尔本大学);Shanghai Jiao Tong University(上海交通大学)
鲁棒的损失函数对于在存在噪声(不正确)标签的情况下训练准确的深度神经网络(DNN)至关重要。它已被证明,常用的交叉熵(CE)损失是不鲁棒的噪声标签。虽然已经设计了新的损失函数,但是它们仅是部分鲁棒的。在本文中,我们从理论上表明,通过应用一个简单的归一化:任何损失都可以鲁棒噪声标签。然而,在实践中,仅仅是鲁棒性不足以使损失函数训练准确的DNN。通过研究几种鲁棒损失函数,我们发现它们存在欠拟合问题。为了解决这个问题,我们提出了一个框架,建立强大的损失函数称为主动被动损失(APL)。APL结合了两个强大的损失函数,相互促进对方。在基准数据集上的实验表明,由我们的APL框架创建的新损失函数家族可以持续大幅优于最先进的方法,特别是在大噪声率下,例如60%或80%的错误标签。
2020-06-24 cs.CV cs.LG stat.ML
Evaluating the Impact of Loss Function Variation in Deep Learning for Classification
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学)
损失函数可以说是神经网络最重要的超参数之一。到目前为止,已经设计了许多损失函数,使得正确的选择不是平凡的。然而,有关损失函数的选择,详细的理由没有在相关的工作。正如我们所看到的,这表明了深度学习社区缺乏经验基础的教条主义心态。在这项工作中,我们考虑了监督分类设置中的深度神经网络,并分析了损失函数的选择对训练结果的影响。虽然某些损失函数表现不佳,但我们的工作经验表明,代表性不足的损失(如KL Divergence)可以显着优于最先进的选择,突出表明需要将损失函数作为调整的超参数,而不是固定的选择。
2022-10-28 cs.LG
Deep Learning of Compressed Sensing Operators with Structural Similarity Loss
Technion Israel Institute of Technology(以色列理工学院);McGovern Institute for Brain Research, Massachusetts Institute of Technology(麻省理工学院麦戈文脑科学研究所)
压缩感知(CS)是一种信号处理框架,用于从通过信号的线性投影获得的少量测量有效地重建信号。在本文中,我们提出了一种用于CS的端到端深度学习方法,其中完全连接的网络执行线性感知和非线性重建阶段。在训练阶段,传感矩阵和非线性重建算子联合优化使用结构相似性指数(SSIM)作为损失,而不是标准的均方误差(MSE)损失。我们比较所提出的方法与国家的最先进的重建质量下的损失,即SSIM分数和MSE分数。
2019-06-25 cs.CV cs.LG eess.IV