Learning Loss Functions for Semi-supervised Learning via Discriminative Adversarial Networks
AI Foundations, IBM Research（IBM研究院人工智能基础部）；IBM T.J Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了区分对抗网络（DAN）的半监督学习和损失函数学习。我们的DAN方法建立在生成对抗网络（GANs）和条件GANs的基础上，但包括使用两个鉴别器而不是生成器和鉴别器的关键区别。DAN可以被看作是一个学习预测器的损失函数的框架，它还以简单的方式实现了半监督学习。我们针对两种不同的预测任务提出了DAN的实例：分类和排名。我们在三个不同任务的数据集上的实验结果表明，DAN是一个很有前途的框架，用于半监督学习和学习预测器的损失函数。对于所有任务，DAN的半监督能力可以显着提高小标记集的预测器性能，而任务之间的架构变化较小。此外，由DAN自动学习的损失函数是非常有竞争力的，并且通常优于半监督学习和监督学习的标准成对和负对数似然损失函数。
2017-07-07 cs.LG
Supervised classification via minimax probabilistic transformations
BCAM-Basque Center of Applied Mathematics（BCAM巴斯克应用数学中心）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
用于监督分类的常规技术约束所考虑的分类规则，并且使用用于分类0-1损失的替代损失。分类规则的Festival族是那些享有适合于代理损失最小化的参数表示和适合于过拟合控制的低复杂度特性的分类规则。本文提出了基于鲁棒风险最小化（RRM）的分类技术，我们称之为线性概率分类器（LPC）。所提出的技术考虑无约束的分类规则，优化分类0-1损失，并在学习过程中提供性能界限。LPC通过使用线性优化来实现有效的学习，并通过使用RRM在多面体不确定性分布集上避免过度拟合。我们还提供了有限样本的泛化界的LPC，并显示其竞争力的性能与国家的最先进的技术，使用基准数据集。
2019-05-31 cs.LG stat.ML
Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning
Preferred Networks, Inc.（首选网络公司）；Kyoto University（京都大学）；ATR Cognitive Mechanisms Laboratories（ATR认知机制实验室）；Ritsumeikan University（立命馆大学）
我们提出了一种新的正则化方法的基础上虚拟对抗损失：一个新的措施，局部光滑的条件标签分布给定的输入。虚拟对抗损失被定义为每个输入数据点周围的条件标签分布对局部扰动的鲁棒性。与对抗训练不同，我们的方法定义了没有标签信息的对抗方向，因此适用于半监督学习。因为我们平滑模型的方向只是“虚拟”对抗，我们称我们的方法为虚拟对抗训练（VAT）。增值税的计算成本相对较低。对于神经网络，虚拟对抗损失的近似梯度可以用不超过两对的前向和反向传播来计算。在我们的实验中，我们将VAT应用于多个基准数据集上的监督和半监督学习任务。通过对基于熵最小化原理的算法进行简单的增强，我们的VAT在SVHN和CIFAR-10上的半监督学习任务中实现了最先进的性能。
2018-06-27 cs.LG stat.ML
Probabilistic Contrastive Loss for Self-Supervised Learning
National University of Singapore（新加坡国立大学）；Youtu Lab Tencent（腾讯优图实验室）
提出了一种适用于自监督学习的概率对比损失函数。众所周知的对比度损失是确定性的，并且涉及温度超参数，该温度超参数缩放两个赋范特征嵌入之间的内积。通过重新解释的温度超参数作为一个量有关的半径的超球，我们推导出一个新的损失函数，涉及到一个置信度的措施，量化的不确定性在数学接地的方式。一些有趣的性质的建议损失函数的经验证明，这与人类的预测。我们相信本研究为对比学习的研究提供了一个新的视角。
2021-12-02 cs.LG
Symmetric Neural-Collapse Representations with Supervised Contrastive Loss: The Impact of ReLU and Batching
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of British Columbia（不列颠哥伦比亚大学）
本文发现，在SCL的最终层引入ReLU激活，可在不损害测试准确性的情况下，有效恢复类别不平衡下学习表示的对称性，并提出了批绑定策略以确保该对称性。
2023-10-18 cs.LG stat.ML
Improving Supervised Phase Identification Through the Theory of Information Losses
本文研究了配电系统中的相位辨识问题。特别是，它侧重于提高监督学习的准确性，专注于利用一些问题的信息理论属性。这种关注，以及信息理论机器学习（ITML）的最新进展，帮助我们创建了两种新技术。第一个将信息损失的界限转化为数据选择技术。这是重要的，因为在实践中很难获得相位识别数据标签。第二部分从ITML的角度解释了配电系统的性质。这使我们能够在应用于问题的任何分类器所学习的表示中获得改进。我们在真实数据集上对这两种技术进行了实验测试，发现它们在每种情况下都能产生惊人的性能。在最极端的情况下，它们将相位识别精度从$51.7\%$提高到$97.3\%$。此外，由于许多问题共享的物理性质，相位识别利用本文中，该技术可以应用到广泛的类似问题。
2019-11-04 cs.LG stat.ML
SCEHR: Supervised Contrastive Learning for Clinical Risk Prediction using Electronic Health Records
Weill Cornell Medicine（威尔康奈尔医学院）
对比学习在图像和文本领域以自监督或监督的方式表现出很好的性能。在这项工作中，我们将监督对比学习框架扩展到基于纵向电子健康记录（EHR）的临床风险预测问题。我们提出了一种通用的监督对比损失$\mathcal{L}_{\text{Contrastive Cross Entropy} } + λ\mathcal{L}_{\text{Supervised Contrastive Regularizer}}$，用于在统一的框架中学习二元分类（例如，住院死亡率预测）和多标签分类（例如，表型）。我们的监督对比损失实践了对比学习的关键思想，即同时通过其两个组件将相似的样本拉近并将不相似的样本彼此分开：$\mathcal{L}_{\text{Contrastive Cross Entropy} }$尝试将样本与代表正和负集群的学习锚进行对比，而$\mathcal{L}_{\text{Supervised Contrastive Regularizer}}$尝试根据其监督标签将样本彼此进行对比。我们提出了上述监督对比损失的两个版本，并且我们对真实世界EHR数据的实验表明，我们提出的损失函数在提高强基线甚至最先进模型在临床风险预测基准任务上的性能方面表现出益处。我们的损失函数可以很好地处理临床风险预测问题中常见的极不平衡数据。我们的损失函数可以很容易地用来取代现有临床预测模型中采用的（二进制或多标记）交…
2021-10-11 cs.LG
Supervised Contrastive Learning
Google Research（谷歌研究院）；Boston University（波士顿大学）；Snap Inc.（森宝公司）；MIT（麻省理工学院）
近年来，应用于自监督表示学习的对比学习已经出现了复苏，导致了深度图像模型的无监督训练的最新表现。现代批量对比方法的性能优于或显著优于传统的对比损失，如三重，最大余量和N对损失。在这项工作中，我们将自监督批量对比方法扩展到完全监督设置，使我们能够有效地利用标签信息。属于同一类的点簇在嵌入空间中被拉到一起，同时将来自不同类的样本簇推开。我们分析了两种可能的版本的监督对比（SupCon）损失，确定性能最好的制定的损失。在ResNet-200上，我们在ImageNet数据集上实现了81.4%的top-1准确率，比该架构报告的最佳数字高出0.8%。我们在其他数据集和两个ResNet变体上显示出一致的优于交叉熵的性能。损失显示出对自然损坏的鲁棒性的益处，并且对超参数设置（例如优化器和数据增强）更稳定。我们的损失函数易于实现，参考TensorFlow代码在https://t.ly/supcon上发布。
2021-03-10 cs.CV cs.LG stat.ML
Mutual Exclusivity Loss for Semi-Supervised Deep Learning
University of Utah（犹他大学）
在本文中，我们考虑使用深度卷积神经网络（ConvNets）进行半监督学习的问题。半监督学习的动机是观察到未标记的数据是廉价的，可以用来提高分类器的准确性。在本文中，我们提出了一个无监督的正则化项，明确地迫使分类器的预测多个类是互斥的，并有效地引导决策边界躺在低密度空间之间的流形对应于不同类别的数据。我们提出的方法是通用的，可以与任何基于反向传播的学习方法一起使用。我们通过不同的实验表明，我们的方法可以提高使用未标记数据的ConvNets的对象识别性能。
2016-06-09 cs.CV cs.LG stat.ML
An Inclusive Theoretical Framework of Robust Supervised Contrastive Loss against Label Noise
Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出统一理论框架，首次推导任意对比损失的鲁棒条件，证明InfoNCE不鲁棒并提出对称InfoNCE（SymNCE），同时解释最近邻样本选择等已有技术，实验验证其抗标签噪声优势。
2025-01-02 cs.LG
Adaptive Mixing of Auxiliary Losses in Supervised Learning
Google Research（谷歌研究院）
在若干监督学习场景中，使用辅助损失以便将额外信息或约束引入到监督学习目标中。例如，知识蒸馏旨在模仿强大的教师模型的输出;类似地，在基于规则的方法中，弱标记信息由标记函数提供，这些标记函数可能是对真实标记的基于规则的噪声近似。我们以一种有原则的方式来解决学习合并这些损失的问题。我们的建议，AMAL，使用验证数据的双层优化标准，学习最佳的混合权重，在一个实例级别，在训练数据。我们描述了一种元学习方法来解决这个双层目标，并展示了如何将其应用于监督学习的不同场景。在一些知识蒸馏和规则去噪领域的实验表明，AMAL在这些领域的竞争基线提供了显着的收益。我们实证分析我们的方法，并分享其提供性能增益的机制的见解。
2022-12-07 cs.LG
GraphVICRegHSIC: Towards improved self-supervised representation learning for graphs with a hyrbid loss function
University of Toronto（多伦多大学）
自监督学习和预训练策略在过去的几年里得到了发展，特别是对于卷积神经网络（CNN）。近年来，这些方法在图神经网络（GNNs）中也得到了广泛的应用。在本文中，我们使用了一种基于图的具有不同损失函数的自监督学习策略（Bar-low Twins [Zbontaret等人，2021]，HSIC [Tsaiet al.，2021]，VICReg [Bardeset等人，2021]）与CNN结合应用，取得了良好的效果。我们还提出了一种结合VICReg和HSIC优点的混合损失函数，称之为VICRegHSIC。在MUTAG、PROTEINS、IMDB-Binary等7个数据集上比较了上述方法的性能。实验表明，在7个数据集中，我们的混合损失函数的性能优于其他方法。此外，还探讨了不同批量、投影仪尺寸和数据扩充策略的影响。
2021-11-26 cs.AI cs.CG cs.CV
Learning Neural Sequence-to-Sequence Models from Weak Feedback with Bipolar Ramp Loss
Heidelberg University（海德堡大学）
在许多机器学习场景中，无法使用黄金标签进行监督，因此无法直接通过最大似然估计（MLE）来训练神经模型。在弱监督场景中，可以采用度量增强目标来将反馈分配给模型输出，其可以用于提取用于训练的监督信号。我们提出了两个独立的弱监督任务，机器翻译和语义解析的几个目标。我们表明，目标应该积极劝阻负输出，除了促进替代金结构。这种双极性的概念自然存在于斜坡损失目标中，我们将其应用于神经模型。我们表明，双极斜坡损失目标优于其他非双极斜坡损失目标和最小风险训练（MRT）的弱监督任务，以及监督机器翻译任务。此外，我们引入了一个新的令牌级斜坡损失目标，它能够在两个弱监督任务上甚至优于最好的序列级斜坡损失。
2019-07-06 cs.CL cs.LG stat.ML
Understanding Self-supervised Contrastive Learning through Supervised Objectives
KAIST（韩国科学技术院）
本研究通过将自监督表示学习表述为监督学习目标的近似，推导出与InfoNCE相关的损失函数，引入原型表示偏差和平衡对比损失概念，从理论角度解释并改进了自监督对比学习算法。
2025-10-12 cs.LG
Visualizing the loss landscape of Self-supervised Vision Transformer
Electronics and Telecommunications Research Institute (ETRI)（电子与电信研究院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文通过可视化损失景观，发现MAE训练的自监督ViT比监督ViT具有更平滑更宽的损失曲率，且EMA教师能扩大凸性区域加速收敛，首次从优化角度解释其泛化优势。
2024-05-28 cs.CV cs.LG
Losses over Labels: Weakly Supervised Learning via Direct Loss Construction
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
针对弱监督学习依赖伪标签的传统范式局限，提出LoL方法，直接将启发式规则转化为损失函数以融入更多信息，在多个文本与图像分类基准任务上性能优于现有方法，纳入梯度信息可进一步提升效果。
2023-10-04 cs.LG
Local contrastive loss with pseudo-label based self-training for semi-supervised medical image segmentation
Computer Vision Laboratory, ETH Zurich（苏黎世联邦理工学院计算机视觉实验室）
基于监督式深度学习的方法可为医学图像分割提供准确的结果。然而，它们需要大型标记数据集，并且获得它们是一项艰巨的任务，需要临床专业知识。基于半/自监督学习的方法通过利用未标记的数据以及有限的注释数据来解决这个限制。最近的自监督学习方法使用对比损失从未标记图像中学习良好的全局水平表示，并在流行的自然图像数据集（如ImageNet）上实现高性能的分类任务。在像素级预测任务（如分割）中，学习良好的局部表示和全局表示以实现更好的准确性至关重要。然而，现有的本地对比损失为基础的方法的影响仍然有限的学习良好的本地表示，因为相似和不相似的本地区域的定义基于随机扩增和空间接近，而不是基于本地区域的语义标签，由于缺乏大规模的专家注释在半/自我监督设置。在本文中，我们提出了一个本地对比损失学习良好的像素级功能，通过利用语义标签信息，从伪标签的未标记的图像旁边有限的注释图像分割有用。特别地，我们定义了建议的损失，以鼓励具有相同伪标签/标签的像素的类似表示，同时与数据集中具有不同伪标签/标签的像素的表示不同。我们执行基于伪标签的自训练和训练网络，通过联合优化建议的对比损失的标记和未标记的集和分割损失的有限的标记集。我们在三个公共心脏和前列腺数据集上进行了评估，并获得了较高的分割性能。
2021-12-17 cs.AI cs.CV cs.LG
Not to Cry Wolf: Distantly Supervised Multitask Learning in Critical Care
ETH Zurich（苏黎世联邦理工学院）；University Hospital Zurich（苏黎世大学医院）
重症监护室（ICU）的患者需要持续和密切的监护。为了帮助临床工作人员完成这项任务，医院使用监控系统，如果其算法指示患者的状况可能正在恶化，则会触发视听警报。然而，目前的监测系统对运动伪影和技术错误极为敏感。因此，它们通常每天为每位患者触发数百到数千个假警报-将重要警报淹没在噪音中，并增加临床工作人员的疲惫。在这种情况下，数据是丰富的，但获得值得信赖的专家注释是费力和昂贵的。我们将从多变量时间序列中减少虚警的问题框架为机器学习任务，并使用一种新型的多任务网络架构来解决这个问题，该架构通过多个相关的辅助任务进行远程监督，以减少训练所需的昂贵标签的数量。我们表明，我们的方法比现实世界ICU数据的几个最先进的基线有了显着的改进，并为远程监督多任务学习中任务选择和架构选择的重要性提供了新的见解。
2018-06-07 cs.AI cs.LG stat.ML
A Minimax Approach to Supervised Learning
Stanford University（斯坦福大学）
给定一个从$X$预测$Y$的任务，一个损失函数$L$，和一组$(X,Y)$上的概率分布$Γ$，最小化$Γ$上最坏情况预期损失的最优决策规则是什么？在本文中，我们解决这个问题，通过引入一个推广的原则，最大熵。应用这一原则的分布集的边缘$X$约束的经验边际的数据，我们开发了一个通用的极小极大方法的监督学习问题。而对于一些损失函数，如平方误差和对数损失，极大极小方法重新推导出众所周知的回归模型，对于0-1损失，它导致一个新的线性分类器，我们称之为最大熵机。最大熵机器最大限度地减少了最坏情况下的0-1损失的结构化分布集，并通过我们的数值实验可以优于其他知名的线性分类器，如SVM。我们还证明了一个界的最坏情况下的最小极大方法的推广错误。
2017-07-04 cs.IT cs.LG math.IT
On the Surrogate Gap between Contrastive and Supervised Losses
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
对比表示学习鼓励数据表示使语义相似的对比随机抽取的负样本更接近，这在视觉、语言和图形等各个领域都取得了成功。最近的理论研究试图解释的好处，大负样本量的上限下游分类损失的对比损失。然而，以前的替代边界有两个缺点：它们只适用于有限范围的负样本大小，即使在该范围内也过大。由于这些缺点，在负样本量理论上如何与下游分类性能相关方面仍然没有达成共识。根据简化设置，其中从真实分布中提取阳性对（不是通过数据增强生成的;如先前研究中所假设的），本研究为所有阴性样本量的下游分类损失建立了替代上限和下限，最好地解释了早期研究中阴性样本量的经验观察结果。我们的界限表明，对比损失可以被视为下游损失的替代目标，较大的负样本量可以改善下游分类，因为对比损失和监督损失之间的替代差距衰减。我们验证了我们的理论与合成，视觉和语言数据集上的实验是一致的。
2022-05-30 cs.LG
Distance Metric Learning Loss Functions in Few-Shot Scenarios of Supervised Language Models Fine-Tuning
Warsaw University of Technology（华沙理工大学）；NASK - National Research Institute（NASK国家研究所）
本文分析了距离度量学习（DML）损失函数对分类任务的语言模型的监督微调的影响。我们使用来自SentEval Transfer Tasks的已知数据集进行了实验。我们的实验表明，应用DML损失函数可以提高Few-Shot场景中RoberTa大型模型的下游分类任务的性能。使用SoftTriple损失进行微调的模型可以比使用标准分类交叉熵损失函数的模型获得更好的结果，从0.04到13.48个百分点，具体取决于训练数据集。此外，我们完成了一个全面的分析与解释性技术，以评估模型的可靠性和解释他们的结果。
2022-11-28 cs.AI cs.CL cs.LG
Contrastive Distillation Is a Sample-Efficient Self-Supervised Loss Policy for Transfer Learning
Meta AI
传统的强化学习方法集中在直接从情景决策中学习决策策略，而缓慢而隐式地学习泛化所需的组合表示的语义。虽然已经采用了一些方法来通过辅助自监督损失来改进表示，同时学习决策策略，但从手工设计和上下文无关的自监督损失（多视图）学习组成表示仍然相对缓慢地适应现实世界，现实世界包含许多非IID子空间，这些子空间需要在不同抽象级别的时间和空间注意力模式中快速分布偏移。相比之下，监督语言模型级联显示出适应许多不同流形的灵活性，以及自主任务转移所需的自学习提示。然而，到目前为止，语言模型的迁移方法，如少样本学习和微调仍然需要人的监督和使用自学习方法的迁移学习还没有得到充分的探索。我们提出了一个自我监督的损失政策，称为对比蒸馏，体现了高互信息与源和目标任务从权重令牌的潜在变量。我们展示了这是如何优于常见的迁移学习方法，并提出了一个有用的设计轴的权衡计算的泛化在线传输。对比蒸馏是通过从内存中采样改进，并提出了一个简单的算法，更有效地抽样对比损失的负例比随机抽样。
2022-12-21 cs.CL cs.LG
Any2Graph: Deep End-To-End Supervised Graph Prediction With An Optimal Transport Loss
Télécom Paris（巴黎电信学院）；IP Paris（巴黎理工学院）；LTCI（信息与通信技术实验室）；CMAP（应用数学中心）；Ecole polytechnique（巴黎综合理工学院）
提出Any2graph框架，通过部分掩蔽融合Gromov-Wasserstein最优传输损失实现端到端监督图预测，能处理任意大小图，在合成数据集和真实任务中优于现有方法。
2024-10-15 cs.LG
Self-Supervised Contrastive Learning is Approximately Supervised Contrastive Learning
Texas A&M University（德克萨斯农工大学）
该研究填补自监督对比学习（CL）理论空白，证明其隐式近似仅负样本监督对比损失（NSCL），且两者差距随类别数增加消失，还刻画NSCL几何结构并提出少样本误差边界，实证验证理论发现。
2025-11-10 cs.LG
Engineering the Neural Collapse Geometry of Supervised-Contrastive Loss
University of British Columbia（不列颠哥伦比亚大学）
本研究针对监督对比损失的特征嵌入几何结构调控问题，提出通过加入原型调整几何结构的方法，揭示了原型数量远超批次大小时与带固定分类器和归一化嵌入的交叉熵损失的关联，并通过视觉数据集实验验证了结论。
2023-10-02 cs.LG
AAG: Self-Supervised Representation Learning by Auxiliary Augmentation with GNT-Xent Loss
Shanghai Jiao Tong University（上海交通大学）；Haohua Technology Co., Ltd（浩华科技有限公司）
自监督表示学习是一个新兴的研究课题，它具有强大的学习能力与未标记的数据。作为一种主流的自监督学习方法，基于增强的对比学习在各种缺乏人工标注的计算机视觉任务中取得了巨大的成功。尽管目前的进展，现有的方法往往受到额外的内存或存储成本的限制，其性能仍然有很大的改进空间。在这里，我们提出了一种自监督的表示学习方法，即AAG，其特点是辅助增强策略和GNT-Xent损失。辅助增强能够通过增加图像的多样性来提高对比学习的性能。所提出的GNT-Xent损失能够实现稳定和快速的训练过程，并产生有竞争力的准确性。在CIFAR 10、CIFAR 100和SVHN上的实验结果证明了AAG方法的优越性。特别是，AAG在CIFAR 10上达到了94.5%的top-1准确率，批量为64，比Simplified在批量为1024时的最佳结果高出0.5%。
2020-10-20 cs.CV cs.LG
SINCERE: Supervised Information Noise-Contrastive Estimation REvisited
Tufts University（塔夫茨大学）
针对SupCon损失存在类内排斥问题，提出理论上合理的SINCERE损失，消除类内排斥，提升嵌入分离与迁移学习分类准确率，并推导信息论界限。
2024-11-07 cs.CV cs.LG
Semi-supervised Graph Embedding Approach to Dynamic Link Prediction
The University of Tokyo（东京大学）
我们提出了一个简单的离散时间半监督图嵌入方法，在动态网络中的链接预测。学习的嵌入反映了来自时间和横截面网络结构的信息，这是通过将损失函数定义为来自过去动态的监督损失和预测当前网络中的邻域上下文的无监督损失的加权和来执行的。我们的模型也能够学习不同的嵌入形成和溶解动力学。这些关键方面有助于我们的模型的预测性能，我们提供了三个真实世界的动态网络的实验表明，我们的方法是可比的最先进的方法在链接形成预测和优于最先进的基线方法在链接解散预测。
2016-10-14 cs.LG cs.SI physics.soc-ph
The Effect of Spoken Language on Speech Enhancement using Self-Supervised Speech Representation Loss Functions
TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）
研究探讨自监督语音表示的训练语言对语音增强模型性能的影响，发现训练语言匹配对性能影响较小，而特定语言的训练数据量显著影响增强性能。
2023-10-20 cs.LG cs.SD eess.AS
Adaptive von Mises-Fisher Likelihood Loss for Supervised Deep Time Series Hashing
The University of Texas Rio Grande Valley（德克萨斯理工大学里奥格兰德谷分校）；University of Connecticut（康涅狄格大学）
本文提出一种基于 von Mises-Fisher 分布的哈希损失，将数据映射到超球面空间以减少信息损失，并通过最大化类别分布间隔提升监督深度时间序列哈希性能，实验优于现有基线。
2025-09-23 cs.LG
Self-Supervised Pretext Tasks for Infant Cry Analysis: A Controlled Comparison and a Cautionary Result on Donateacry
本文对比六种自监督预文本任务用于婴儿哭声分析，发现Donateacry哭声原因分类任务瓶颈在标签而非模型，且评估协议泄漏会虚高性能，有效样本量为婴儿数量。
2026-09-01 cs.LG
Advancing Supervised Learning with the Wave Loss Function: A Robust and Smooth Approach
Indian Institute of Technology Indore（印度理工学院印多尔分校）
提出名为wave loss的非对称鲁棒平滑损失函数，结合SVM和TSVM构建Wave-SVM与Wave-TSVM模型，并首次用Adam算法求解SVM，在多数据集上取得更优预测精度。
2024-10-13 cs.LG
What shapes the loss landscape of self-supervised learning?
The University of Tokyo（东京大学）；Physics & Informatics Laboratories, NTT Research, Inc.（NTT研究公司物理与信息学实验室）；Harvard University（哈佛大学）；University of Michigan（密歇根大学）；RIKEN Center for Emergent Matter Science (CEMS)（理化学研究所涌现物质科学中心）
防止表示的完全和维度崩溃最近已经成为自监督学习（SSL）的设计原则。然而，在我们的理论理解中仍然存在问题：这些崩溃何时发生？机制和原因是什么？我们回答这些问题，推导和彻底分析SSL损失景观的分析听话的理论。在这个理论中，我们确定了维度崩溃的原因，并研究了归一化和偏差的影响。最后，我们利用分析理论提供的可解释性来理解维度崩溃是如何有益的，以及是什么影响了SSL对数据不平衡的鲁棒性。
2023-03-12 cs.LG physics.data-an
Learning the Relation between Similarity Loss and Clustering Loss in Self-Supervised Learning
Nanjing University（南京大学）；Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）；Amazon.com L.L.C.（亚马逊有限责任公司）；Alibaba Group（阿里巴巴集团）；The Hong Kong University of Science and Technology（香港科技大学）；Southern Methodist University（南卫理公会大学）
本文研究自监督学习中相似性损失与特征级交叉熵损失的关系，提出结合两幅不同图像的相似性信息，理论分析与实验证明两者的合适组合能取得最先进的结果。
2023-06-05 cs.CV cs.LG
Semi-supervised Learning using Robust Loss
University of Southern California（南加州大学）
在医疗应用中，手动标记的数据量有限，因此半监督学习和自动标记策略可以成为训练深度神经网络的资产。然而，自动生成的标签的质量可能是不均匀的，并且不如手动标签。在本文中，我们提出了一种半监督训练策略，用于利用手动标记的数据和额外的未标记数据。与现有的方法相比，我们应用鲁棒损失的自动标记的数据，自动补偿不均匀的数据质量使用教师-学生的框架。首先，我们使用在标记数据上预先训练的教师模型为未标记数据生成伪标签。这些伪标签是有噪声的，并且将它们与标记数据一起用于训练深度神经网络会严重降低学习的特征表示和网络的泛化能力。在这里，我们通过使用鲁棒的损失函数来减轻这些伪标签的影响。具体来说，我们使用三个强大的损失函数，即β交叉熵，对称交叉熵，广义交叉熵。我们表明，我们提出的策略提高了模型的性能，通过补偿不均匀的质量标签在图像分类以及分割应用。
2022-03-03 cs.LG eess.IV
Similarity-Dissimilarity Loss for Multi-label Supervised Contrastive Learning
University of Essex（埃塞克斯大学）；Queen Mary University of London（伦敦大学玛丽女王学院）
本文提出相似性-差异性损失，通过动态加权样本解决多标签场景下正样本确定问题，提供理论证明并统一单标签与多标签对比学习框架，实验表明方法在图像、文本和医疗领域均优于基线。
2026-06-13 cs.CL cs.CV cs.LG
DSV: An Alignment Validation Loss for Self-supervised Outlier Model Selection
Carnegie Mellon University（卡内基梅隆大学）
针对自监督异常检测中增强超参数缺乏系统调优方法的问题，提出无监督验证损失DSV，通过代理损失衡量增强与异常机制的对齐，并在理论分析和21个真实任务上验证其优于基线。
2023-07-13 cs.LG
Sentence Embeddings using Supervised Contrastive Learning
Princeton University（普林斯顿大学）
句子嵌入将句子编码在固定的密集向量中，并在各种NLP任务和系统中发挥了重要作用。构建句子嵌入的方法包括无监督学习（如Quick-Thoughts）和监督学习（如Infersent）。随着预训练的NLP模型的成功，最近的研究表明，在SNLI和Multi-NLI数据上微调预训练的BERT可以创建最先进的句子嵌入，在各种评估基准上优于以前的句子嵌入方法。在本文中，我们提出了一种新的方法来建立句子嵌入进行监督对比学习。具体来说，我们的方法在SNLI数据上微调预训练的BERT，同时包含监督交叉熵损失和监督对比损失。与仅使用类似于当前最先进方法SBERT的监督交叉熵损失进行微调的基线相比，我们的监督对比方法在语义文本相似性（STS）基准测试中平均提高了2.8%，在各种句子迁移任务中平均提高了1.05%。
2021-06-09 cs.CL cs.LG
Rician likelihood loss for quantitative MRI using self-supervised deep learning
Centre for Medical Image Computing（医学影像计算中心）；University College London（伦敦大学学院）
针对自监督深度学习定量MRI在低信噪比下参数估计偏差的问题，提出数值稳定的负对数Rician似然损失，替代MSE损失，在5-30信噪比范围内提升ADC和IVIM扩散系数估计准确性。
2023-07-13 cs.CE cs.LG eess.IV
PoCoNet: Better Speech Enhancement with Frequency-Positional Embeddings, Semi-Supervised Conversational Data, and Biased Loss
Amazon Web Services（亚马逊云科技）
神经网络应用通常受益于更大尺寸的模型，但对于当前的语音增强模型，更大规模的网络通常会遭受对各种真实世界用例的鲁棒性降低，超出训练数据中遇到的情况。我们介绍了几个创新，导致更好的大型神经网络的语音增强。新型PoCoNet架构是一种卷积神经网络，通过使用频率位置嵌入，能够更有效地在早期层中构建频率相关特征。半监督方法通过预增强噪声数据集来帮助增加会话训练数据量，从而提高真实录音的性能。一个新的损失函数偏向于保持语音质量，帮助优化更好地匹配人类对语音质量的感知意见。烧蚀实验和客观的和人的意见指标显示所提出的改进的好处。
2020-08-11 cs.LG cs.NE cs.SD
von Mises-Fisher Loss: An Exploration of Embedding Geometries for Supervised Learning
University of Colorado, Boulder（科罗拉多大学博尔德分校）；Google Research（谷歌研究院）
最近的研究表明，利用softmax交叉熵的分类损失不仅对于固定集分类任务更优越，而且还优于专门为开放集任务开发的损失，包括少样本学习和检索。Softmax分类器已经使用不同的嵌入几何进行了研究-欧几里德，双曲和球形-并且已经声称一个或另一个的优越性，但它们没有系统地与仔细的对照进行比较。我们对各种固定集分类和图像检索任务的嵌入几何对softmax损失进行了实证调查。一个有趣的属性观察到的球形损失导致我们提出了一个概率分类的基础上的冯米塞斯-费舍尔分布，我们表明，它是竞争力与国家的最先进的方法，同时产生改进的开箱即用校准。我们要引导他们，引导他们。
2021-12-03 cs.CV cs.LG
Learning to segment with limited annotations: Self-supervised pretraining with regression and contrastive loss in MRI
University of Arizona（亚利桑那大学）；Houston Methodist Hospital（休斯顿卫理公会医院）
获取大型数据集的手动注释以用于深度学习（DL）模型的监督训练是具有挑战性的。与标记数据集相比，大型未标记数据集的可用性促使使用自监督预训练来初始化后续分割任务的DL模型。在这项工作中，我们考虑了两种用于驱动DL模型学习不同表示的预训练方法：a）利用图像内的空间依赖性的回归损失和b）利用图像对之间的语义相似性的对比损失。在使用磁共振（MR）图像的两个下游分割应用中评估预训练技术的效果：a）腹部T2加权MR图像中的肝脏分割和b）前列腺T2加权MR图像中的前列腺分割。我们观察到，使用自我监督预训练的DL模型可以用更少的标记数据集进行微调，以获得相当的性能。此外，我们还观察到，使用基于对比损失的预训练初始化DL模型的性能优于回归损失。
2022-05-26 cs.AI cs.CV cs.LG
Mixed Supervised Graph Contrastive Learning for Recommendation
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
提出MixSGCL方法，将推荐与对比损失整合为监督对比学习损失以统一优化方向，并引入节点级和边级混合挖掘监督信号，有效缓解数据稀疏性，在准确率和效率上超越现有方法。
2024-04-25 cs.IR cs.LG
FeaRLESS: Feature Refinement Loss for Ensembling Self-Supervised Learning Features in Robust End-to-end Speech Recognition
University of Texas at Dallas（德克萨斯大学达拉斯分校）
自监督学习表示（SSLR）在许多领域中为下游任务提供了鲁棒的功能。最近，几个SSLR在自动语音识别（ASR）基准语料库上显示出有希望的结果。然而，以前的研究只显示了作为ASR模型输入特征的孤立SSLR的性能。在这项研究中，我们建议调查不同的SSLR组合使用各种融合方法在端到端（E2E）ASR模型的有效性。此外，我们将展示这些提取的SSLR之间的相关性。因此，我们进一步提出了去相关的特征细化损失，以有效地组合输入特征集。对于评估，我们表明，建议的“FeaRLESS学习功能”比系统更好地执行没有建议的功能细化损失的华尔街日报和无畏的步骤挑战（FSC）语料库。
2022-06-30 cs.LG cs.SD eess.AS
Fast Weakly Supervised Action Segmentation Using Mutual Consistency
University of Bonn（波恩大学）；Toyota Motor Europe（丰田汽车欧洲公司）
动作分割是预测视频中每一帧动作的任务。由于获得用于动作分割的视频的完整注释是昂贵的，因此只能从成绩单中学习的弱监督方法很有吸引力。在本文中，我们提出了一种新的端到端的弱监督动作分割方法的基础上的两个分支神经网络。我们的网络的两个分支预测了两个冗余但不同的动作分割表示，我们提出了一种新的相互一致性（MuCon）损失，以加强两个冗余表示的一致性。使用MuCon损失以及用于转录预测的损失，我们提出的方法实现了最先进方法的准确性，同时$14$在训练和推理期间快$20$倍。即使在完全监督的环境中，MuCon损失也是有益的。
2021-06-10 cs.CV cs.LG
Perceive and predict: self-supervised speech representation based loss functions for speech enhancement
TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）；M Health Information Systems Inc.（3M健康信息系统公司）
本研究发现干净与带噪语音的自监督早期特征编码距离与语音质量及可懂度高度相关，将其作为损失函数训练语音增强模型，在PESQ和STOI等客观指标上优于STFT频谱图距离等常见损失函数。
2023-06-26 cs.CL cs.LG cs.SD
Intrinsically Motivated Self-supervised Learning in Reinforcement Learning
Peking University（北京大学）；Tsinghua University（清华大学）
在基于视觉的强化学习（RL）任务中，为了获得更多的语义表示并提高样本效率，通常采用代理自监督损失来分配辅助任务。然而，由于表示学习部分和决策部分被分离，自监督辅助任务中的丰富信息被忽视。为了充分利用辅助任务中的信息，我们提出了一个简单而有效的想法，采用自我监督损失作为内在奖励，称为强化学习中的内在激励自监督学习（IM-SSR）。我们正式表明，自我监督的损失可以分解为探索新的状态和鲁棒性的提高，从滋扰消除。IM-SSR可以毫不费力地插入任何具有自监督辅助目标的强化学习，几乎没有额外的成本。结合IM-SSR，以前的底层算法在DeepMind控制套件的各种基于视觉的机器人任务中，特别是在奖励信号稀疏时，在样本效率和泛化方面都取得了显着的改进。
2022-05-13 cs.AI cs.LG
Supervised online diarization with sample mean loss for multi-domain data
PerVoice Spa（PerVoice公司）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
最近，提出了一种完全监督的说话人日记化方法（UIS-RNN），该方法使用参数共享递归神经网络的多个实例对说话人进行建模。在本文中，我们提出了定性的修改模型，显着提高学习效率和整体日记性能。特别是，我们引入了一种新的损失函数，我们称之为样本平均损失，我们提出了一个更好的建模的扬声器转向行为，通过设计一个分析表达式来计算一个新的扬声器加入对话的概率。此外，我们还证明了我们的模型可以在固定长度的语音段上进行训练，从而消除了在推理中对说话人变化信息的需求。使用x向量作为输入特征，我们在DIHARD II挑战中使用的多域数据集上评估了我们提出的方法：我们的在线方法相对于原始UIS-RNN有所改进，并使用PLDA评分实现了与离线凝聚聚类基线相似的性能。
2019-11-13 cs.LG cs.SD eess.AS
Scope Loss for Imbalanced Classification and RL Exploration
RBC CM（加拿大皇家银行资本市场）；University of Toronto（多伦多大学）
本文提出Scope Loss，通过揭示强化学习探索-利用权衡与监督分类数据不平衡的等价性，以梯度调整方式同时缓解过度利用和类别不平衡问题，无需调参，并在强化学习基准和偏斜分类数据集上验证其优于现有损失函数。
2023-08-08 cs.AI cs.LG
Multimodal-Aware Weakly Supervised Metric Learning with Self-weighting Triplet Loss
Dalian University of Technology（大连理工大学）
近年来，我们目睹了从弱监督数据中学习合适的距离度量的兴趣激增。大多数现有的方法旨在将所有相似的样本拉得更近，而将不相似的样本推得尽可能远。然而，当数据集的某些类别表现出多峰分布时，这些目标相互冲突，因此很难同时满足。此外，为了确保有效的度量，许多方法需要重复的特征值分解过程，这是昂贵的和数值不稳定的。因此，如何从弱监督数据中学习合适的距离度量仍然是一个开放但具有挑战性的问题。为了解决这个问题，在本文中，我们提出了一种新的弱监督度量学习算法，命名为Multimodal Aware weakly supervised Metric Learning（MDaML）。MDaML将数据空间划分为多个聚类，并为每个样本分配局部聚类中心和权重。然后，将其与加权三元组损失相结合，可以进一步增强局部可分性，这鼓励局部不相似样本与局部相似样本保持较大的距离。同时，MDaML将度量学习问题转化为SPD流形上的无约束优化问题，利用黎曼共轭梯度下降（RCGD）算法可以有效地求解该问题.在13个数据集上进行的大量实验验证了所提出的MDaML的优越性。
2021-02-03 cs.AI cs.LG cs.MM
Why do Angular Margin Losses work well for Semi-Supervised Anomalous Sound Detection?
Fraunhofer FKIE（弗劳恩霍夫FKIE研究所）
该研究从理论与实验层面揭示角间隔损失在半监督异常声音检测中表现优异的原因，证明其可最小化紧致性损失、避免平凡解，并验证相关分类辅助任务能提升含噪场景下的检测性能。
2023-11-24 cs.LG cs.SD eess.AS
Does Self-supervised Learning Really Improve Reinforcement Learning from Pixels?
Stony Brook University（石溪大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
我们研究了自监督学习（SSL）是否可以改善像素的在线强化学习（RL）。我们扩展了对比强化学习框架（例如，CURL），共同优化SSL和RL损失，并对各种自监督损失进行大量实验。我们的观察结果表明，现有的RL SSL框架在使用相同数量的数据和增强时，仅利用图像增强，无法带来比基线有意义的改进。我们进一步进行进化搜索，以找到RL的多个自监督损失的最佳组合，但发现即使这样的损失组合也未能有意义地优于仅利用精心设计的图像增强的方法。在包括真实世界机器人环境在内的多个不同环境中对这些方法进行评估后，我们确认没有任何一种自监督丢失或图像增强方法可以主导所有环境，并且当前SSL和RL联合优化的框架是有限的。最后，我们对多个因素进行了消融研究，并展示了用不同方法学习的表征的性质。
2023-01-13 cs.CV cs.LG cs.RO
Semi-supervised learning for medical image classification using imbalanced training data
La Trobe University（拉筹伯大学）
医学图像分类通常具有挑战性，原因有两个：由于昂贵且耗时的注释协议而缺乏标记的示例，以及由于更广泛人群中疾病阳性个体的相对稀缺而导致的不平衡的类别标签。半监督学习（SSL）方法存在用于处理标签的缺乏，但是它们通常不解决类不平衡的问题。在这项研究中，我们提出了自适应混合一致性损失（ABCL），在扰动为基础的SSL方法的一致性损失的下降替代。ABCL抵消数据倾斜，根据类频率自适应混合的目标类分布的一致性损失。我们的实验与ABCL揭示了改进未加权平均召回两个不同的不平衡的医学图像分类数据集相比，现有的一致性损失，不是为了抵消类的不平衡。
2021-08-20 cs.CV cs.LG
SimO Loss: Anchor-Free Contrastive Loss for Fine-Grained Supervised Contrastive Learning
Henery M.Rowan College of Engineering（亨利·M·罗恩工程学院）；Rowan University（罗恩大学）；MLNomads
本研究提出一种基于SimO损失的无锚点对比学习方法，通过半度量损失同时优化相似/不相似样本的嵌入距离与正交性，在CIFAR-10上验证其能形成结构良好的类别邻域，为表征几何特性的应用提供新思路。
2024-10-07 cs.AI cs.CV cs.LG
