Learning Surrogate Losses
University of Hildesheim(希尔德斯海姆大学)
损失函数的最小化是机器学习的核心和灵魂。在本文中,我们提出了一种现成的优化方法,可以最小化几乎任何不可微和不可分解的损失函数(例如,错误分类率,AUC,F1,Jaccard指数,Mathew相关系数等)。天衣无缝我们的策略通过代理神经网络来近似真实损失,从而学习真实损失的平滑松弛版本。所提出的损失网络是一种集式模型,它对小批量实例的阶数是不变的。最终,通过双层优化与预测模型联合学习替代损失。与最先进的基线相比,具有不同现实生活中的损失函数的多个数据集的实证结果证明了学习代理损失的效率。
2019-05-24 cs.LG stat.ML
The Lovász Hinge: A Novel Convex Surrogate for Submodular Losses
CentraleSupélec, Université Paris-Saclay(巴黎萨克雷大学中央理工高等电力学院);Inria(法国国家信息与自动化研究所);KU Leuven(鲁汶大学)
当同时进行多组预测时,非模块化损失的学习是一个重要的问题。构造用于集合预测的凸代理损失函数的主要工具是边缘重标度和松弛重标度。在这项工作中,我们表明,这些策略导致紧凸代理,当潜在的损失函数是增加不正确的预测的数量。然而,梯度或切割平面计算这些功能是NP难的非超模损失函数。相反,我们提出了一种新的替代损失函数的子模块损失,Lovász铰链,这导致O(p log p)的复杂性与O(p)oracle访问损失函数计算梯度或切割平面。我们证明了Lovász铰链是凸的,并产生一个扩展。其结果是,我们已经开发出第一个听话的凸替代文献中的次模损失。我们通过几组预测任务,包括PASCAL VOC和Microsoft COCO数据集,展示了这种新型凸代理的实用性。
2017-05-15 cs.LG stat.ML
Minimizing The Misclassification Error Rate Using a Surrogate Convex Loss
University of Waterloo(滑铁卢大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);University of Pennsylvania(宾夕法尼亚大学)
我们仔细研究如何以及最小化凸代理损失函数,对应于最小化的误分类出错率的线性预测的二元分类问题。特别是,我们表明,在所有凸代理损失,铰链损失基本上是最好的可能的范围内,所有凸损失函数,误分类出错率的最佳保证金出错率的线性预测。我们还提供了具体的凸代理人,显示不同的常用损失定性地彼此不同的下限。
2012-06-27 cs.LG stat.ML
An Embedding Framework for Consistent Polyhedral Surrogates
University of Colorado Boulder(科罗拉多大学博尔德分校)
我们形式化和研究的自然方法设计凸代理损失函数通过嵌入,如分类,排名,或结构化预测的问题。在这种方法中,我们嵌入了许多预测中的每一个(例如,排名)作为$\mathbb{R}^d$中的点,将原始损失值分配给这些点,并以某种方式“凸化”损失以获得代理。我们建立了一个强有力的连接,这种方法和多面体(分段线性凸)代理损失。给定任何多面体损失$L$,我们给出了一个链接函数的结构,通过该链接函数,$L$是它嵌入的损失的一致代理。相反,我们将展示如何构建一个一致的多面体代理任何给定的离散损失。我们的框架产生简洁的证明的一致性或不一致的各种多面体的代理人在文献中,不一致的代理人,它进一步揭示了这些代理人是一致的离散损失。我们展示了一些额外的嵌入结构,如嵌入和匹配贝叶斯风险的等价性,以及各种非冗余概念的等价性。使用这些结果,我们建立了间接启发,一致性的必要条件,也是足够的多面体代理人工作时。
2022-01-11 cs.LG stat.ML
An Embedding Framework for the Design and Analysis of Consistent Polyhedral Surrogates
University of Colorado Boulder(科罗拉多大学博尔德分校)
我们形式化和研究的自然方法设计凸代理损失函数通过嵌入,如分类,排名,或结构化预测的问题。在这种方法中,将多个预测(例如排名)中的每一个作为一个点嵌入$R^d$中,将原始损失值分配给这些点,并以某种方式“凸化”损失以获得替代。我们建立了这种方法和多面体(分段线性凸)代理损失之间的强连接:每个离散损失嵌入一些多面体损失,每个多面体损失嵌入一些离散损失。此外,嵌入产生了一致的链接函数以及线性替代遗憾界。我们的结果是建设性的,我们用几个例子说明。特别是,我们的框架给出了简洁的证明的一致性或不一致的各种多面体的代理人在文献中,和不一致的代理人,它进一步揭示了离散的损失,这些代理人是一致的。我们继续展示嵌入的其他结构,例如嵌入和匹配贝叶斯风险的等价性,以及各种非冗余概念的等价性。使用这些结果,我们建立了间接启发,一致性的必要条件,也是足够的多面体代理人工作时。
2022-06-29 cs.GT cs.LG
Surrogate regret bounds for generalized classification performance metrics
Poznan University of Technology(波兹南理工大学)
我们考虑优化的广义性能指标的二进制分类的替代损失。我们专注于一类指标,这是线性分数函数的假阳性和假阴性率(其中的例子包括$F_β$ -措施,Jaccard相似系数,AM措施,和许多其他)。我们的分析涉及以下两个步骤。首先,实值函数$f$通过最小化训练样本上的二元分类的代理损失来学习。假设代理损失是一个强适当的复合损失函数(例如逻辑损失、平方误差损失、指数损失等)。然后,给定$f$,通过直接优化目标性能度量,在单独的验证样本上调谐阈值$\widehatθ$。我们表明,所得到的分类器(从阈值$f$上$\widehatθ$)测量相对于目标度量的遗憾是上限的遗憾$f$测量相对于代理损失。我们还扩展了我们的结果,以涵盖多标签分类,并提供遗憾的微观和宏观平均措施的界限。我们的研究结果进行了进一步分析,在合成和真实数据集的计算研究。
2016-10-07 cs.LG
On the Surrogate Gap between Contrastive and Supervised Losses
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心)
对比表示学习鼓励数据表示使语义相似的对比随机抽取的负样本更接近,这在视觉、语言和图形等各个领域都取得了成功。最近的理论研究试图解释的好处,大负样本量的上限下游分类损失的对比损失。然而,以前的替代边界有两个缺点:它们只适用于有限范围的负样本大小,即使在该范围内也过大。由于这些缺点,在负样本量理论上如何与下游分类性能相关方面仍然没有达成共识。根据简化设置,其中从真实分布中提取阳性对(不是通过数据增强生成的;如先前研究中所假设的),本研究为所有阴性样本量的下游分类损失建立了替代上限和下限,最好地解释了早期研究中阴性样本量的经验观察结果。我们的界限表明,对比损失可以被视为下游损失的替代目标,较大的负样本量可以改善下游分类,因为对比损失和监督损失之间的替代差距衰减。我们验证了我们的理论与合成,视觉和语言数据集上的实验是一致的。
2022-05-30 cs.LG
Calibration and Consistency of Adversarial Surrogate Losses
Google Research(谷歌研究院);Rutgers University(罗格斯大学);Courant Institute of Mathematical Sciences(库朗数学科学研究所)
对抗鲁棒性是分类器在应用中越来越重要的特性。鲁棒算法的设计依赖于代理损失,因为大多数假设集的对抗损失的优化是NP难的。但是,应该使用哪些替代损失,以及它们何时从理论保证中受益?我们提出了一个广泛的研究这个问题,包括H-校准和H-一致性的对抗性代理损失的详细分析。我们表明,在一些一般的假设下,凸损失函数,或基于上确界的凸损失经常使用的应用程序,不H校准的重要假设集,如广义线性模型或单层神经网络。然后,我们给出了H-校准的一个特征,并证明了一些代理损失确实是H-校准的对抗性损失,这些假设集。接下来,我们证明了H校准不足以保证一致性,并证明了在没有任何分布假设的情况下,在对抗环境中没有连续的替代损失是一致的。特别是,这证明了COLT 2020出版物中提出的声明是不准确的。(校准结果存在正确的模细微定义差异,但一致性声明不成立。)接下来,我们确定自然条件下,我们详细描述的一些代理损失是H-一致的假设集,如广义线性模型和单层神经网络。我们还报告了一系列的实证结果与模拟数据,这表明许多H校准的替代损失确实是不H一致的,并验证了我们的理论假设。
2021-05-04 cs.LG stat.ML
Online AUC Optimization Based on Second-order Surrogate Loss
本文提出一种基于二阶代理损失的在线AUC优化算法,直接替代聚合成对损失,实现更紧的遗憾界并扩展到核方法,实验验证其高效性。
2025-10-24 cs.LG
Online Structured Prediction with Fenchel--Young Losses and Improved Surrogate Regret for Online Multiclass Classification with Logistic Loss
The University of Tokyo(东京大学);Kyoto University(京都大学)
本文将利用代理差距框架从在线多类分类扩展到基于Fenchel–Young损失的在线结构化预测,提出随机化解码方法,并在逻辑损失下将代理遗憾界改进为O(‖U‖F²),比先前结果提升d倍。
2024-10-22 cs.LG
Contextual bandits with surrogate losses: Margin bounds and efficient algorithms
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
我们使用代理损失,以获得几个新的遗憾界和新的上下文强盗学习算法。使用斜坡损失,我们得到新的利润率为基础的遗憾界的标准序列复杂性措施的基准类的实值回归函数。使用铰链损失,我们得到了一个有效的算法与$\sqrt{dT}$型错误绑定对基准政策引起的$d$维回归。在可实现性假设下,我们的结果也产生了经典的遗憾界限。
2018-11-04 cs.LG stat.ML
A Convex Surrogate Operator for General Non-Modular Loss Functions
Inria(法国国家信息与自动化研究所);CentraleSupélec, Université Paris-Saclay(巴黎萨克雷大学中央理工-高等电力学院);KU Leuven(鲁汶大学)
经验风险最小化经常采用凸替代底层离散损失函数,以实现优化过程中的计算易处理性。然而,经典的凸代理只能紧绑定模损失函数,子模函数或超模函数分别保持多项式时间的计算。在这项工作中,一种新的通用凸代理一般非模块化的损失函数,这是第一次提供了一个易于处理的解决方案,既不是超模块化,也不是次模块化的损失函数。这种凸代理是基于一个子模-超模分解,本文证明了其存在性和唯一性。它取两个凸代理的和,这两个凸代理分别使用松弛重缩放和Lov{á}sz铰链来分别绑定超模分量和子模分量。它进一步证明了这个代理是凸的,分段线性的,损失函数的扩展,次梯度计算是多项式时间。实验结果报告的非次模损失的基础上的S{}rensen-Dice差异函数,和一个真实世界的人脸跟踪数据集与数万帧,证明了改进的性能,效率和可扩展性的新的凸代理。
2016-04-12 cs.LG stat.ML
On Structured Prediction Theory with Calibrated Convex Surrogate Losses
INRIA/ENS(法国国家信息与自动化研究所/巴黎高等师范学院);HSE(高等经济学院);MILA(米拉魁北克人工智能研究所);DIRO(计算机科学与运筹学系);Université de Montréal(蒙特利尔大学)
我们提供了新的理论见解结构化预测的上下文中有效的凸代理损失最小化的一致性保证。对于任何任务损失,我们构建了一个凸代理,可以通过随机梯度下降优化,我们证明了紧边界上的所谓的“校准功能”有关的超额代理风险的实际风险。与之前的相关工作相比,我们仔细监控学习保证中类的指数数量以及优化复杂性的影响。作为一个有趣的结果,我们形式化的直觉,一些任务的损失,使学习比别人更难,经典的0-1损失是不适合一般的结构化预测。
2018-01-29 cs.LG stat.ML
Query-Free Adversarial Transfer via Undertrained Surrogates
Dartmouth College(达特茅斯学院)
深度神经网络容易受到对抗性样本的影响--在模型输入中添加微小的扰动,导致模型输出错误的预测。我们引入了一种新的方法,通过欠训练产生攻击的代理模型来提高黑盒环境中对抗攻击的效率。使用两个数据集和五个模型架构,我们表明这种方法在架构之间传输良好,并且远远优于最先进的方法。我们解释我们的方法的有效性作为一个功能的减少代理模型损失函数曲率和增加的普遍梯度特性,并表明我们的方法减少了存在的局部损失最大值,阻碍了可转移性。我们的研究结果表明,寻找强单代理模型是一种高效,简单的方法来产生可转移的对抗攻击,这种方法代表了一个有价值的路线,为未来的研究在这一领域。
2020-11-28 cs.CV cs.LG
A Flexible Fairness Framework with Surrogate Loss Reweighting for Addressing Sociodemographic Disparities
University of Toronto(多伦多大学);York University(约克大学);Vector Institute(矢量研究所)
本文提出α-β公平机器学习框架,通过新代理损失函数与重加权技术、P-SGD-S算法,在多数据集上实现公平性提升且性能下降可控,可灵活调节公平-准确率权衡。
2025-03-21 cs.LG
Theoretically Grounded Loss Functions and Algorithms for Score-Based Multi-Class Abstention
Courant Institute of Mathematical Sciences(柯朗数学科学研究所);Google Research(谷歌研究院)
本文针对多类分类中的弃权学习,提出新的基于分数的替代损失函数族及两阶段算法,并给出非渐近一致性保证,实验验证了其在多个数据集上的有效性。
2024-03-31 cs.LG stat.ML
Non-Stationary Online Structured Prediction with Surrogate Losses
CyberAgent, Tokyo, Japan(日本东京CyberAgent公司);National Institute of Informatics, Tokyo, Japan(日本东京信息机构);Center for Advanced Intelligence Project, RIKEN, Tokyo, Japan(日本东京RIKEN高级智能项目);The Institute of Statistical Mathematics, Tokyo, Japan(日本东京统计数学研究所);Tohoku University, Miyagi, Japan(日本宫城县立东大学);Nanyang Technological University, Singapore(新加坡南洋理工大学)
本文提出在非平稳环境下,通过结合在线梯度下降的动态后悔分析与替代损失间隙技术,获得目标损失的上限,同时扩展到更广泛的设置,并证明依赖于F_T和P_T的紧性。
2026-05-14 cs.LG
On the Rates of Convergence from Surrogate Risk Minimizers to the Bayes Optimal Classifier
The University of Sydney(悉尼大学)
我们研究了从经验代理风险最小化到贝叶斯最优分类器的收敛速度。具体来说,我们引入了\emph{consistency intensity}的概念来表征代理损失函数,并利用这个概念来获得从经验代理风险最小化到贝叶斯最优分类器的收敛速度,从而能够公平地比较不同代理风险最小化的超额风险。本文的主要结果具有实际意义,包括(1)表明铰链损失优于逻辑和指数损失的意义上,其经验极小收敛到贝叶斯最优分类器和(2)指导修改代理损失函数,以加速收敛到贝叶斯最优分类器。
2021-02-25 cs.LG stat.ML
A Minimax Surrogate Loss Approach to Conditional Difference Estimation
MIT(麻省理工学院);Duke University(杜克大学)
我们提出了一种新的机器学习方法来估计个性化的处理效应在经典的潜在结果框架与二元结果。为了克服这个问题,治疗和控制结果为同一个单位都需要监督学习,我们提出了替代损失函数,将治疗和控制数据。新的替代品产生更严格的界限比治疗组和对照组的损失之和。一个特定的选择损失函数,即一种类型的铰链损失,产生一个极大极小支持向量机制定。由此产生的优化问题只需要一个凸优化问题的解决方案,将治疗和控制单元,它使核技巧被用来处理非线性(也是非参数)估计。统计学习界限也提出了框架和实验结果。
2018-05-04 cs.LG stat.ML
Surrogate Losses in Passive and Active Learning
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
主动学习是一种用于监督机器学习的序贯设计,其中学习算法顺序地从大量未标记的数据点池中请求所选实例的标签。目标是产生相对低风险的分类器,如在0-1损失下测量的,理想地使用比足以实现相同的随机标记数据点的数量更少的标记请求。本文研究了代理损失函数在主动学习中的潜在应用。具体而言,它提出了一种主动学习算法的基础上任意分类校准的代理损失函数,随着标签请求的数量足够的分类算法返回,以实现给定的风险下的0-1损失的分析。有趣的是,这些结果不能通过简单地优化代理风险,通过主动学习的程度足以提供一个保证0-1的损失,这是常见的做法,在分析代理损失的被动学习。一些结果对被动学习中使用替代损失有额外的影响。
2019-11-13 cs.LG math.ST stat.ML
Calibrated Surrogate Losses for Adversarially Robust Classification
The University of Tokyo(东京大学);RIKEN(理化学研究所);AIP(应用物理研究所);University of Michigan(密歇根大学)
对抗鲁棒分类寻求对测试模式的对抗扰动不敏感的分类器。这个问题通常通过极大极小目标来表述,其中目标损失是受扰动大小约束的0-1损失的最坏情况值。最近的工作提出了对抗性0-1损失的凸代理,以使优化更容易处理。一个主要的问题是一致性,即替代风险的最小化是否意味着对抗性0-1风险的最小化。在这项工作中,我们分析这个问题,通过镜头的校准,这是一个逐点一致性的概念。我们表明,没有凸代理损失校准相对于对抗0-1损失时,限制到类的线性模型。我们进一步介绍了一类非凸损失,并提供了必要和充分条件,在这类损失进行校准。我们还表明,如果底层分布满足Massart的噪声条件,凸损失也可以在对抗设置校准。
2021-05-13 cs.LG stat.ML
A surrogate loss function for optimization of $F_β$ score in binary classification with imbalanced data
Kangwon National University(江原大学);Bionsight, Inc.(Bionsight公司)
$F_β$得分是一种常用的分类性能度量,在不平衡数据集的分类任务中起着至关重要的作用。然而,$F_β$分数由于其不可微性而不能被用于优化神经网络参数的基于梯度的学习算法用作损失函数。另一方面,诸如二进制交叉熵(BCE)损失之类的常用损失函数与诸如$F_β$分数之类的性能度量不直接相关,使得通过使用损失函数优化的神经网络可能不会产生最佳性能度量。在这项研究中,我们调查的分类性能指标和损失函数的梯度相对于模型参数之间的关系。然后,我们提出了一个可微的代理损失函数的$F_β$分数的优化。我们表明,建议的代理$F_β$损失函数的梯度路径近似的$F_β$分数的大样本限制的梯度路径。通过使用ResNets和基准图像数据集的数值实验,证明了与其他损失函数相比,所提出的代理$F_β$损失函数对于优化二值分类任务中类不平衡下的$F_β$分数是有效的.
2021-04-03 cs.LG stat.ML
Task Loss Estimation for Sequence Prediction
Université de Montréal(蒙特利尔大学);University of Wrocław(弗罗茨瓦夫大学)
通常,监督机器学习任务的性能是用一个无法直接优化的任务损失函数来评估的。这种损失函数的示例包括分类误差、编辑距离和BLEU分数。这个问题的一个常见的解决方法是优化一个替代损失函数,例如交叉熵或铰链损失。为了使这种补救措施有效,重要的是要确保代理损失的最小化导致任务损失的最小化,我们称之为与任务损失的一致性。在这项工作中,我们提出了另一种方法来推导可微代理损失,证明满足这一要求。我们专注于为每个输入输出对定义得分的广泛类别的模型。我们的想法是,这个分数可以被解释为任务损失的估计,估计误差可以被用作一致的替代损失。这种方法的一个显著特征是,它为每个输入-输出对定义了期望的分数值。我们使用这个属性来设计专门的替代损失的编码器-解码器模型经常用于序列预测任务。在我们的实验中,我们以语音识别为基准。使用新的替代损失代替交叉熵来训练编码器-解码器语音识别器带来了显着的约13%的相对改善的情况下,没有额外的语料库用于语言建模的字符出错率(CER)。
2016-01-19 cs.LG
Multi-relational Learning Using Weighted Tensor Decomposition with Modular Loss
University of Maryland(马里兰大学)
我们通过张量分解提出了一个多关系学习的模块化框架。在我们的学习设置中,训练数据包含一组对象之间的多种类型的关系,我们用稀疏的三模式张量表示。目标是预测缺失条目的值。为此,我们将每个关系建模为潜在因素的线性组合的函数。我们通过计算低秩张量分解,使用加权目标函数的拟牛顿优化来学习这种潜在表示。通过加权目标捕获观测数据中的稀疏性,从而在训练数据有限时提高精度。利用稀疏性也提高了效率,可能比未加权的方法高出一个数量级。此外,我们的框架可以容纳平滑的、特定于任务的损失函数的任意组合,使其更适合于学习不同类型的关系。对于实值函数和二元关系的典型情况,我们提出了几个损失函数,并导出了相关的参数梯度。我们评估我们的方法在合成和真实数据,显示出显着的改进,在准确性和可扩展性相关的因式分解技术。
2013-05-31 cs.LG
On Measuring and Quantifying Performance: Error Rates, Surrogate Loss, and an Example in SSL
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学);Leiden University Medical Center(莱顿大学医学中心);University of Oslo(奥斯陆大学)
在各种学习方法中,特别是在领域自适应、主动学习、协变量偏移下的学习、半监督学习、具有概念漂移的学习等中,人们通常想要将基线分类器与一个或多个高级(或至少不同)策略进行比较。在本章中,我们基本上认为,如果这样的分类器,在各自的训练阶段,优化了所谓的替代损失,它也可能是有价值的,以比较这种损失的行为在测试集上,其次是常规分类出错率。它可以为我们提供出错率无法捕获的分类器相对性能的额外视图。作为一个例子,有限但令人信服的实证结果表明,我们可能能够找到半监督学习策略,可以保证性能的改善,随着对数似然的未标记数据的数量增加。相反,后者可能无法保证分类出错率。
2017-07-13 cs.CV cs.LG stat.ML
Learning Differentiable Surrogate Losses for Structured Prediction
Télécom Paris(巴黎电信学院);IP Paris(巴黎理工学院)
本文提出一种通过对比学习直接从输出数据中学习由神经网络参数化的结构化损失函数的新框架,该可微损失支持代理回归训练和基于梯度下降的解码预测,在图预测任务上达到或超越预定义核方法。
2024-11-18 cs.LG stat.ML
On the Consistency of Ordinal Regression Methods
INRIA(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);Télécom ParisTech(巴黎高等电信学院);Université Paris-Saclay(巴黎萨克雷大学)
文献中提出的许多有序回归模型可以被看作是最小化0 - 1、绝对或平方损失函数的凸替代的方法。一个关键的属性,允许研究这种近似的统计含义是费舍尔一致性。Fisher一致性是替代损失函数的理想属性,并意味着在总体设置中,即,如果生成数据的概率分布是可用的,则对替代的优化将产生最佳可能模型。在本文中,我们将描述一个丰富的家庭替代损失函数的有序回归,包括支持向量有序回归,ORBoosting和最小绝对偏差的背景下使用的Fisher一致性。我们将看到,对于包含支持向量有序回归和ORBoosting的代理损失函数族,一致性可以完全由实值函数在零处的导数来表征,就像二进制分类中基于凸边缘的代理一样。我们还推导出超额风险界的绝对误差,概括现有的风险界的二元分类的代理。最后,我们的分析提出了一种新的替代平方误差损失。我们将这种新的替代品与9个不同数据集上的竞争方法进行了比较。我们的方法在实践中具有很强的竞争力,在9个数据集中有7个数据集的最小二乘损失优于最小二乘损失。
2017-07-21 cs.LG
On Machine Learning-Driven Surrogates for Sound Transmission Loss Simulations
Ecole Centrale Lyon(里昂中央理工学院);Compredict GmbH(Compredict公司);Institut Camille Jordan(卡米尔·若尔当研究所);Univ. Gustave Eiffel(古斯塔夫·埃菲尔大学);Inria(法国国家信息与自动化研究所)
代理模型是计算昂贵的模拟的基于数据的近似,其使得能够在许多物理领域中有效地探索模型的设计空间和明智的决策。然而,由于波动现象的非光滑、复杂行为,在振动声学领域中使用代理模型是具有挑战性的。本文研究了四种机器学习(ML)方法在声传输损失(STL)的替代建模。使用特征重要性和特征工程来提高模型的准确性,同时增加其可解释性和物理一致性。所提出的技术转移到其他问题的振动声学域和可能的局限性的模型进行了讨论。
2022-04-25 cs.LG cs.SD eess.AS
Convex Calibration Dimension for Multiclass Loss Matrices
Indian Institute of Science(印度科学学院)
我们研究了一般多类学习问题的代理损失函数的一致性,定义了一个一般的多类损失矩阵。我们扩展的概念,分类校准,这已经研究了二进制和多类0-1分类问题(和某些其他特定的学习问题),一般的多类设置,并推导出必要和充分条件的替代损失校准相对于损失矩阵在这种设置。然后,我们引入了多类损失矩阵的凸校准维度的概念,它测量预测空间的最小“尺寸”,在该预测空间中,可以设计相对于损失矩阵校准的凸代理。我们推导出这个量的上界和下界,并使用这些结果来分析各种损失矩阵。特别是,我们应用我们的框架来研究各种子集的排名损失,并使用凸校准尺寸作为工具来显示这些损失的各种类型的凸校准代理的存在和不存在。我们的研究结果加强了Duchi et al.(2010)和Calauzenes et al.(2012)关于子集排序中不存在某些类型的凸校准代理的最新结果。我们预计凸校准维度可能被证明是一个有用的工具,在研究和设计一般的多类学习问题的代理损失。
2015-08-23 cs.LG stat.ML
On the Consistency of Top-k Surrogate Losses
University of California, Berkeley(加州大学伯克利分校);Google Research Accra(谷歌阿克拉研究院);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
顶部$k$误差通常用于评估计算机视觉中具有挑战性的分类任务的性能,因为它被设计用于补偿地面真实标签中的模糊性。这一实际的成功激发了我们对一致性顶级$k$分类的理论分析。令人惊讶的是,当取一个向量的$k$ -argmax保证返回另一个向量的$k$ -argmax时,并没有严格理解,尽管这样做对于描述贝叶斯最优性至关重要;我们做了两个任务。然后,我们定义顶部$k$校准,并表明它是必要的和充分的一致性。基于对顶$k$校准的分析,提出了一类顶$k$校准的Bregman发散替代函数.我们的分析继续显示先前提出的铰链样顶部- $k$替代损失不是顶部- $k$校准的,并且表明没有凸铰链损失是顶部- $k$校准的。另一方面,我们提出了一个新的铰链损失是一致的。我们进一步探索,显示我们的铰链损失保持一致的限制下,线性函数,而交叉熵不。最后,我们展示了一个可微的,凸损失函数,这是顶部$k$校准特定的$k$。
2020-07-07 cs.LG stat.ML
$\mathscr{H}$-Consistency Estimation Error of Surrogate Loss Minimizers
Google Research(谷歌研究院);Courant Institute of Mathematical Sciences(库朗数学科学研究所)
我们提出了一个详细的研究替代损失估计误差的估计误差。我们把这种保证称为$\mathscr{H}$一致性估计误差界,因为它们考虑了所采用的假设集$\mathscr{H}$。这些保证明显强于$\mathscr{H}$ -校准或$\mathscr{H}$ -一致性。当$\mathscr{H}$是所有可测函数的族时,它们也比文献中导出的类似的过量误差界更有信息量。我们证明一般定理提供这样的保证,分布依赖和分布无关的设置。我们表明,我们的界限是紧的,模凸性假设。我们还表明,以前的超额误差界可以恢复为我们的一般结果的特殊情况。然后,我们提出了一系列明确的界限的情况下的零-一损失,与多种选择的替代损失和家庭的线性函数和神经网络与一个隐藏层。在这种情况下,我们进一步证明了更有利的分布相关的保证。我们还提出了一系列明确的界限的情况下,对抗性的损失,代理损失的上确界的$ρ$利润,铰链或S形损失的基础上,并为相同的两个一般的假设集。在这里,我们也证明了自然分布的假设下,这些保证的几个增强。最后,我们报告的模拟结果,说明我们的界限和他们的紧密性。
2022-05-16 cs.LG stat.ML
Zero Grads: Learning Local Surrogate Losses for Non-Differentiable Graphics
University College London(伦敦大学学院)
ZeroGrads 通过在线自监督学习局部神经代理损失,使任意黑盒非可微图形流水线可被梯度优化,并在高达 35k 变量的问题上验证了其可扩展性。
2024-05-07 cs.CV cs.GR cs.LG
On the Consistency of AUC Pairwise Optimization
Nanjing University(南京大学)
ROC曲线下面积(area under ROC curve,AUC)是一个重要的评价指标,在类不平衡学习、代价敏感学习、学习排序等学习任务中得到了广泛的应用。许多学习方法都试图优化AUC,但由于AUC的非凸性和不连续性,几乎所有的学习方法都使用代理损失函数。因此,AUC的一致性至关重要;然而,它以前几乎没有被触及过。本文给出了基于代理损失函数的学习方法的渐近一致性的一个充分条件。在此基础上,我们证明了指数损失和逻辑损失与AUC是一致的,但铰链损失是不一致的。然后,我们推导出与AUC一致的$q$ -范数铰链损失和一般铰链损失。我们还得到了指数损失和逻辑损失的一致界,并得到了许多代理损失函数在无噪声设置下的一致界。此外,我们公开了AUC的指数替代损失和准确度的指数替代损失之间的等效性,并且这种发现的一个直接结果是AdaBoost和RankBoost是等效的。
2014-07-02 cs.LG stat.ML
Learning to Defer to Multiple Experts: Consistent Surrogate Losses, Confidence Calibration, and Conformal Ensembles
University of Amsterdam(阿姆斯特丹大学);Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
我们研究了学习推迟(L2 D)多个专家的统计特性。特别是,我们解决了开放的问题,得出一致的替代损失,信心校准,和原则的专家。首先,我们推导出两个一致的替代项-一个基于softmax参数化,另一个基于one-vs-all(OvA)参数化-分别类似于Mozannar和Sontag(2020)以及Verma和Nalisnick(2022)提出的单个专家损失。然后我们研究了框架估计P(m_j = y)的能力|x),第j个专家将正确预测x的标签的概率。理论表明,基于softmax的损失会导致错误校准在估计值之间传播,而基于OvA的损失不会(尽管在实践中,我们发现存在权衡)。最后,我们提出了一个共形推理技术,选择一个子集的专家查询时,系统推迟。我们对星系,皮肤病变和仇恨言论分类的任务进行经验验证。
2023-02-23 cs.LG stat.ML
Unifying Lower Bounds on Prediction Dimension of Consistent Convex Surrogates
CU Boulder(科罗拉多大学博尔德分校)
给定一个预测任务,理解何时可以和不能设计一致的凸代理损失,特别是低维的,是机器学习研究的一个重要和活跃的领域。预测任务可以作为目标损失给出,如在分类和结构化预测中,或者简单地作为数据的(条件)统计,如在风险度量估计中。这两种情况通常涉及设计和分析替代损失的不同技术。我们使用属性启发的工具统一了这些设置,并给出了预测维度的一般下限。我们的下界收紧现有的结果在离散预测的情况下,表明以前的校准为基础的界限,可以在很大程度上通过属性启发恢复。对于连续估计,我们的下界解决了估计风险和不确定性度量的开放问题。
2021-02-16 cs.LG
(ASNA) An Attention-based Siamese-Difference Neural Network with Surrogate Ranking Loss function for Perceptual Image Quality Assessment
McMaster University(麦克马斯特大学);Sharif University of Technology(谢里夫理工大学)
最近,深度卷积神经网络(DCNN)利用对抗训练框架进行图像复原和增强,显著提高了处理后图像的清晰度。令人惊讶的是,尽管这些DCNN在视觉上比其他方法产生更清晰的图像,但当采用流行的措施来评估它们时,它们可能会得到较低的质量分数。因此,有必要制定一个定量指标来反映他们的表现,这是很好地与图像的感知质量对齐。著名的定量指标,如峰值信噪比(PSNR),结构相似性指数测度(SSIM)和感知指数(PI)与图像的平均意见评分(MOS)没有很好的相关性,特别是对于用对抗性损失函数训练的神经网络。本文提出了一种卷积神经网络,它是对传统的连体网络结构的扩展,称为连体差分神经网络。我们已经配备了这种架构的空间和通道的注意力机制,以提高我们的方法的性能。最后,我们采用了一个辅助损失函数来训练我们的模型。建议的附加成本函数替代排名损失,以增加斯皮尔曼的排名相关系数,而它是可微的神经网络参数。我们的方法在\textbf{\textit{NTIRE 2021 Perceptual Image Quality Assessment}} Challenge中取得了优异的性能。我们所提出的方法的实现是公开的。
2021-05-06 cs.CV cs.LG eess.IV
Quantifying the Impact of Lossy Compression on Neural Generative Surrogate Modeling
LLNL-CONF-2007282
研究有损压缩训练数据对生成代理模型质量的影响,提出利用神经网络训练不确定性估计压缩容错阈值的方法,在保持模型质量的同时实现高达39倍的数据存储节省和3倍的训练加速。
2026-06-16 cs.AI cs.DC cs.LG
Sequential RC-TGAN: Generating Relational Time Series with Spectral Envelope Loss
Mitacs
提出Seq. RC-TGAN框架,结合谱包络损失函数和变分高斯混合模型,有效生成含周期性和季节性的分类与连续时间序列,并引入两种新评估指标。
2026-07-01 cs.LG
Linear-Core Surrogates: Smooth Loss Functions with Linear Rates for Classification and Structured Prediction
Google Research(谷歌研究);Courant Institute of Mathematical Sciences(Courant数学科学研究所)
本文提出线性核心替代方案,结合平滑损失的优化优势与边际损失的统计效率,提升结构预测的计算效率和鲁棒性。
2026-10-27 cs.LG stat.ML
Multiclass Classification Calibration Functions
University of Alberta(阿尔伯塔大学)
在本文中,我们完善的过程中计算校准功能的多类分类代理损失。校准函数是一个强大的工具,可以轻松地将替代风险的界限(可以通过众所周知的方法计算)转换为真实风险的界限,即犯错误的概率。它们特别适用于非参数设置,其中近似误差可以控制,并且提供比通过替代损失上限0-1损失的常见技术更严格的界限。更复杂的现有校准函数结果的抽象性质要求在逐个情况的基础上明确地导出校准函数,每当需要新的替代损失的界限时,都需要重复的努力。我们设计了一个精简的分析,简化了大量的替代损失,已在文献中提出的推导校准函数的过程。推导校准函数的努力,然后推测在验证中,对于一个选定的替代损失,少量的条件,我们介绍。作为案例研究,我们恢复了Lee等人(2004)的已知损失的现有校准函数,并为已知损失提供了新的校准函数,包括一对所有损失和逻辑斯谛回归损失,以及过去已被证明是分类校准的许多其他损失,但没有导出校准函数。
2016-09-20 cs.LG stat.ML
An Alternative Surrogate Loss for PGD-based Adversarial Testing
DeepMind(深度思维)
基于投影梯度下降(PGD)的对抗性测试方法被广泛用于搜索导致神经网络输入错误分类的范数有界扰动。本文深入研究了这些方法,并解释了不同超参数(即,优化器、步长和替代损失)。我们引入了多目标测试的概念,它巧妙地利用替代替代损失,并解释何时以及如何保证多目标找到最佳扰动。最后,我们证明了MultiTargeted优于更复杂的方法,并且通常需要比文献中发现的其他PGD变体更少的迭代步骤。值得注意的是,MultiTargeted在MadryLab的白盒MNIST和CIFAR-10排行榜上排名第一,将其MNIST模型的准确性降低到88.36%($ε= 0.3$的$\ell_\infty$扰动),将其CIFAR-10模型的准确性降低到44.03%(在$ε= 8/255$)。MultiTargeted还在TRADES排行榜上排名第一,将其CIFAR-10模型的准确性降低至53.07%($\ell_\infty$扰动$ε= 0.031$)。
2019-10-21 cs.LG stat.ML
SoDeep: a Sorting Deep net to learn ranking loss surrogates
Sorbonne Université(索邦大学);Technicolor(特艺集团)
机器学习中的几个任务使用不可微的度量进行评估,例如平均精度或斯皮尔曼相关性。然而,它们的不可微性阻止了将它们用作学习框架中的目标函数。存在替代和松弛方法,但倾向于特定于给定的度量。在目前的工作中,我们介绍了一种新的方法来学习这种不可微的目标函数的近似。我们的方法是基于一个深层次的架构,近似任意组的分数排序。它使用合成数据进行虚拟免费训练。这种排序深度(SoDeep)网络可以以即插即用的方式与现有的深度架构相结合。我们证明了我们的方法在三个不同的任务,需要排名:跨模态的文本图像检索,多标签图像分类和视觉记忆力排名的兴趣。我们的方法在这三个任务上产生了非常有竞争力的结果,这验证了SoDeep作为基于排名的损失中排序操作的代理的优点和灵活性。
2019-04-08 cs.CV cs.IR cs.LG
sigmoidF1: A Smooth F1 Score Surrogate Loss for Multilabel Classification
RTL Nederland B.V.(RTL荷兰公司);University of Amsterdam(阿姆斯特丹大学)
多类多标签分类是通过预测将多个标签归属于示例的任务。当前模型将多标签设置简化为多个二进制分类或多类分类,允许使用现有的损失函数(sigmoid,交叉熵,logistic等)。多标签分类约简不适应每个示例不同数量的标签的预测,并且潜在的损失是对性能指标的遥远估计。我们提出了一个损失函数sigmoidF1,它是F1分数的近似值,(1)对于随机梯度下降是平滑和易处理的,(2)自然地近似于多标签度量,(3)估计标签倾向和标签计数。我们表明,任何混淆矩阵度量都可以用光滑代理来表示。我们评估建议的损失函数的文本和图像数据集,并与各种指标,考虑到多标签分类评价的复杂性。sigmoidF1在一个文本和两个图像数据集以及几个度量上优于其他损失函数。这些结果表明,使用推理时间度量作为损失函数的非平凡的分类问题,如多标签分类的有效性。
2022-10-31 cs.LG stat.ML
Physics-constrained neural networks for surrogate modeling of lossless periodic structures
Institute of Space Research, German Aerospace Center (DLR)(航天研究院,德国航天中心(DLR))
提出物理约束神经网络(PCNN),通过将能量守恒作为硬约束投影到Stiefel流形,快速预测RCWA输出的Jones矩阵,并用于增强现实眼镜的衍射波导合束器逆向设计。
2026-09-11 cs.LG physics.optics
Surrogate Gap Minimization Improves Sharpness-Aware Training
Yale University(耶鲁大学);Google Research(谷歌研究院)
最近提出的Sharpness-Aware Minimization(SAM)通过最小化定义为参数空间中邻域内的最大损失的\textit{perturbed loss}来提高泛化能力。然而,我们发现,无论是尖锐的和平坦的极小值可以有一个低的扰动损失,这意味着SAM并不总是喜欢平坦的极小值。相反,我们定义了一个\textit{surrogate gap},一个措施相当于主导特征值的海森在局部最小值时,附近的半径(以获得扰动损失)是小的。代理间隙易于计算,并且在训练期间直接最小化是可行的。基于上述观察,我们提出了代理\textbf{G} ap引导的\textbf{S} harmonization- \textbf{A} ware \textbf{M}最小化(GSAM),这是SAM的一种新的改进,计算开销可以忽略不计。从概念上讲,GSAM由两个步骤组成:1)像SAM一样的梯度下降,以最小化扰动损失,以及2)在\textit{orthogonal}方向(梯度分解后)的\textit{ascent}步骤,以最小化代理间隙,但不影响扰动损失。GSAM寻求具有小损失(步骤1)和低锐度(步骤2)的区域,从而产生具有高泛化能力的模型。理论上,我们证明了GSAM的收敛性和可证明的比SAM更好的推广。从经验上讲,GSAM始终提高泛化能力(例如,在ViT-B/32的ImageNet top-1准确度上,SA…
2022-03-19 cs.AI cs.LG
Solving Hidden Monotone Variational Inequalities with Surrogate Losses
Mila Québec AI Institute(魁北克AI研究所);Université de Montréal(蒙特利尔大学);Department of Computer Science, Rice University(计算机科学系,里士大学);CIFAR AI Chair(CIFAR人工智能席位)
本文提出一种基于替代损失的深度学习框架求解隐藏单调变分不等式,保证收敛、统一现有方法并适配ADAM,实验验证在极小极大优化和投影贝尔曼误差中的有效性,并改进TD(0)效率。
2025-05-26 cs.LG math.OC
A Univariate Bound of Area Under ROC
ROC曲线下面积(Area under ROC,AUC)是二分类和二分排序问题的重要度量。然而,很难直接优化AUC作为学习目标,所以大多数现有的算法是基于优化替代损失AUC。这些替代损失的一个显著缺点是,它们需要在训练数据之间进行成对比较,这导致运行时间缓慢,并增加了在线学习的本地存储。在这项工作中,我们描述了一个新的替代损失的基础上重新制定的AUC风险,这不需要成对比较,但排名的预测。我们进一步表明,可以避免排名操作,并根据此代理获得的学习目标在时间和存储上具有线性复杂度。我们进行实验,以证明在线和批量算法的有效性AUC优化建议的替代损失的基础上。
2018-05-25 cs.LG stat.ML
Binary Excess Risk for Smooth Convex Surrogates
Michigan State University(密歇根州立大学)
在统计学习理论中,0-1损失的凸替代物是高度优选的,因为凸性带来的计算和理论优点。这是更重要的,如果我们考虑光滑的代理证明了这一事实,即平滑度是进一步有益的计算-通过获得优化的{ \it optimal}收敛速度,并在统计意义上-通过提供一个改进的{ \it optimal}速度的泛化界限。本文从统计一致性的角度研究了光滑性,并展示了它对二元超额风险的影响。我们发现,在相反的优化和泛化误差,有利于选择光滑的替代损失,光滑的损失函数可能会降低二进制超额风险。出于这个负面的结果,我们提供了一个统一的分析,整合优化误差,泛化界,并在凸过度风险转化为二进制过度风险时,检查平滑的影响,二进制过度风险的错误。我们表明,在有利的条件下,适当的选择光滑凸损失将导致一个二元超额风险,优于$O(1/\sqrt{n})$。
2014-02-07 cs.LG stat.ML
On the Error Resistance of Hinge Loss Minimization
Apple(苹果公司);Google Brain(谷歌大脑)
机器学习中常用的分类算法,例如支持向量机,最小化训练样本上的凸替代损失。在实践中,这些算法对训练数据中的错误具有惊人的鲁棒性。在这项工作中,我们确定了一组条件下的数据,这种替代损失最小化算法可证明学习正确的分类。这使我们能够建立,在一个统一的框架,这些算法的鲁棒性在各种模型的数据以及错误。特别是,我们表明,如果数据是线性分类略有非平凡的保证金(即保证金至少$C/\sqrt{d}$为$d$维单位向量),类条件分布是近各向同性和logconvex,那么代理损失最小化的未损坏的数据上的错误可以忽略不计,即使当一个常数部分的例子是adversarially错误标记。
2020-12-02 cs.LG
Discriminative Nonparametric Latent Feature Relational Models with Data Augmentation
Tsinghua University(清华大学)
提出了一种判别式非参数潜在特征关系模型(LFRM),用于链接预测自动推断潜在特征的维数。在一般的RegBayes(regularized Bayesian inference)框架下,我们将贝叶斯模型的预测损失与概率推理相结合,为不同类型的链路设置不同的正则化参数,以处理真实网络中的不平衡问题,并统一分析平滑对数损失和分段线性铰链损失。对于非共轭后验推断,我们提出了一个简单的吉布斯采样通过数据增强,而不作限制性的假设,在变分方法。我们进一步开发了一个近似采样器,使用随机梯度Langevin动力学来处理具有数十万个实体和数百万个链接的大型网络,其数量级大于现有LFRM模型可以处理的数量级。对各种真实网络的广泛研究显示出良好的性能。
2015-12-07 cs.LG stat.ML
Exploiting the Surrogate Gap in Online Multiclass Classification
Leiden University(莱顿大学)
我们提出了Gaptron,一个随机的一阶在线多类分类算法。在充分的信息设置中,我们显示预期的错误界相对于逻辑损失,铰链损失,和平滑铰链损失与不断遗憾,其中的期望是相对于学习者的随机性。在强盗分类设置,我们表明,Gaptron是第一个线性时间算法与$O(K\sqrt{T})$预期遗憾,其中$K$是类的数量。此外,Gaptron的预期错误界不依赖于特征向量的维数,与以前的算法$O(K\sqrt{T})$遗憾的强盗分类设置。我们提出了一种新的证明技术,利用零-一损失和代理损失之间的差距,而不是利用属性,如指数或混合性,这是传统上用于证明对数或常数遗憾界。
2021-02-26 cs.LG math.OC stat.ML
The Adversarial Consistency of Surrogate Risks for Binary Classification
Courant Institute(Courant 院);New York University(纽约大学)
本文刻画了鲁棒二分类中替代损失函数的对抗一致性条件,证明对抗一致类远小于标准设置,并给出ρ-间隔损失的定量一致性结果。
2023-12-23 cs.LG math.ST stat.TH
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University(波士顿大学);Google(谷歌)
随机梯度下降(SGD)在机器学习中发挥了核心作用。然而,它需要一个精心挑选的步长来快速收敛,这是众所周知的繁琐和耗时的调整。在过去的几年里,大量的自适应梯度算法已经出现,以改善这个问题。他们已被证明有效地减少劳动调整在实践中,但他们中的许多人缺乏理论保证,即使在凸设置。在本文中,我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来,这导致SGD算法具有自调整的步长,保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
Efficient Regularized Least-Squares Algorithms for Conditional Ranking on Relational Data
University of Turku(图尔库大学);Ghent University(根特大学)
在像生物信息学、信息检索和社会网络分析这样的领域中,人们可以找到学习任务,其中目标包括推断对象的排名,以特定的目标对象为条件。我们提出了一个通用的内核框架,用于从各种类型的关系数据中学习条件排名,其中排名可以以看不见的数据对象为条件。我们提出了有效的算法,条件排名通过优化平方回归和排名损失函数。我们从理论上证明,使用排名损失的学习可能比回归损失更好地推广。此外,我们证明了关系的对称性或互易性可以在学习模型中有效地实施。对合成数据和真实数据的实验表明,所提出的方法在预测能力和计算效率方面具有最先进的性能。此外,我们还表明经验,将对称性或互易性的属性可以提高泛化性能。
2013-06-08 cs.LG stat.ML