Adversarial Consistency and the Uniqueness of the Adversarial Bayes Classifier
Mathematics, Courant Institute, New York, USA（数学，Courant研究所，纽约，美国）
本文研究对抗学习中的凸替代损失一致性，发现其等价于对抗贝叶斯分类器的唯一性，为鲁棒分类器设计提供理论指导。
2024-10-21 cs.LG math.ST stat.ML
sigmoidF1: A Smooth F1 Score Surrogate Loss for Multilabel Classification
RTL Nederland B.V.（RTL荷兰公司）；University of Amsterdam（阿姆斯特丹大学）
多类多标签分类是通过预测将多个标签归属于示例的任务。当前模型将多标签设置简化为多个二进制分类或多类分类，允许使用现有的损失函数（sigmoid，交叉熵，logistic等）。多标签分类约简不适应每个示例不同数量的标签的预测，并且潜在的损失是对性能指标的遥远估计。我们提出了一个损失函数sigmoidF1，它是F1分数的近似值，（1）对于随机梯度下降是平滑和易处理的，（2）自然地近似于多标签度量，（3）估计标签倾向和标签计数。我们表明，任何混淆矩阵度量都可以用光滑代理来表示。我们评估建议的损失函数的文本和图像数据集，并与各种指标，考虑到多标签分类评价的复杂性。sigmoidF1在一个文本和两个图像数据集以及几个度量上优于其他损失函数。这些结果表明，使用推理时间度量作为损失函数的非平凡的分类问题，如多标签分类的有效性。
2022-10-31 cs.LG stat.ML
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University（波士顿大学）；Google（谷歌）
随机梯度下降（SGD）在机器学习中发挥了核心作用。然而，它需要一个精心挑选的步长来快速收敛，这是众所周知的繁琐和耗时的调整。在过去的几年里，大量的自适应梯度算法已经出现，以改善这个问题。他们已被证明有效地减少劳动调整在实践中，但他们中的许多人缺乏理论保证，即使在凸设置。在本文中，我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来，这导致SGD算法具有自调整的步长，保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
Binary Excess Risk for Smooth Convex Surrogates
Michigan State University（密歇根州立大学）
在统计学习理论中，0-1损失的凸替代物是高度优选的，因为凸性带来的计算和理论优点。这是更重要的，如果我们考虑光滑的代理证明了这一事实，即平滑度是进一步有益的计算-通过获得优化的{ \it optimal}收敛速度，并在统计意义上-通过提供一个改进的{ \it optimal}速度的泛化界限。本文从统计一致性的角度研究了光滑性，并展示了它对二元超额风险的影响。我们发现，在相反的优化和泛化误差，有利于选择光滑的替代损失，光滑的损失函数可能会降低二进制超额风险。出于这个负面的结果，我们提供了一个统一的分析，整合优化误差，泛化界，并在凸过度风险转化为二进制过度风险时，检查平滑的影响，二进制过度风险的错误。我们表明，在有利的条件下，适当的选择光滑凸损失将导致一个二元超额风险，优于$O(1/\sqrt{n})$。
2014-02-07 cs.LG stat.ML
On Measuring and Quantifying Performance: Error Rates, Surrogate Loss, and an Example in SSL
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）；Leiden University Medical Center（莱顿大学医学中心）；University of Oslo（奥斯陆大学）
在各种学习方法中，特别是在领域自适应、主动学习、协变量偏移下的学习、半监督学习、具有概念漂移的学习等中，人们通常想要将基线分类器与一个或多个高级（或至少不同）策略进行比较。在本章中，我们基本上认为，如果这样的分类器，在各自的训练阶段，优化了所谓的替代损失，它也可能是有价值的，以比较这种损失的行为在测试集上，其次是常规分类出错率。它可以为我们提供出错率无法捕获的分类器相对性能的额外视图。作为一个例子，有限但令人信服的实证结果表明，我们可能能够找到半监督学习策略，可以保证性能的改善，随着对数似然的未标记数据的数量增加。相反，后者可能无法保证分类出错率。
2017-07-13 cs.CV cs.LG stat.ML
On the Outsized Importance of Learning Rates in Local Update Methods
Google Research（谷歌研究院）
我们研究了一系列算法，我们称之为局部更新方法，它概括了许多联邦学习和元学习算法。我们证明，二次目标，局部更新方法执行随机梯度下降的代理损失函数，我们确切地描述。我们发现，客户端学习率的选择控制的条件数，代理损失，以及代理和真正的损失函数的最小值之间的距离。我们使用这个理论，以获得新的联邦平均的收敛速度，展示这种替代损失的条件数和它的对齐与真正的损失函数之间的权衡。我们验证我们的研究结果经验，表明在通信有限的设置，适当的学习率调整往往足以达到接近最佳的行为。我们还提出了一种实用的方法，用于本地更新方法中的自动学习率衰减，这有助于减少对学习率调整的需求，并突出了其在各种任务和数据集上的经验性能。
2020-07-02 cs.LG math.OC stat.ML
Multiclass Classification, Information, Divergence, and Surrogate Risk
我们提供了一个统一的观点，统计信息的措施，多路贝叶斯假设检验，多类分类问题的损失函数，和多分布$f$ -分歧，阐述所有这些对象之间的等价结果，并扩展现有的结果为二进制结局空间更一般的。我们认为一个泛化的$f$ -分歧多个分布，我们提供了一个建设性的分歧，统计信息（在DeGroot的意义上）之间的等价性，和损失的多类分类。我们的研究结果的一个主要应用是在多类分类问题中，我们必须推断一个判别函数$γ$ -用于从数据$X$对标签$Y$进行预测-和一个数据表示（或者，在假设检验问题的设置中，一个试验设计），表示为一个量化器$\mathsf{q}$从一个家庭的可能的量化器$\mathsf{Q}$。在这种情况下，我们的特点是损失函数之间的等价性，这意味着优化两个损失中的任何一个产生一个最佳的判别式和量化器$\mathsf{q}$，补充和扩展阮等早期的结果。#21453;多类案件。我们的研究结果提供了一个更实质性的基础比标准的分类校准结果比较不同的损失：我们描述的凸损失是一致的，共同选择一个数据表示和最小化（加权）的概率错误的多类分类问题。
2017-09-10 cs.IT math.IT math.ST
Efficient estimation of divergence-based sensitivity indices with Gaussian process surrogates
我们认为，估计的敏感性指数的基础上的分歧措施，如海林格距离。对于复杂模型的灵敏度分析，这些基于分歧的指数可以通过蒙特卡罗抽样（MCS）结合核密度估计（KDE）来估计。在直接方法中，必须在MCS生成的每个输入点处评估复杂模型，从而在输入-输出空间中产生可用于密度估计的样本。然而，如果复杂模型的计算成本强烈地限制了模型评估的数量，则这种直接法给出了大的误差。我们建议使用高斯过程（GP）代理，以增加在组合的输入输出空间中的样本的样本个数。通过扩大样本集，KDE变得更加准确，从而改进了估计。为了比较GP代理，我们使用随机配置获得的样本构造的代理，结合拉格朗日插值。在此基础上，提出了一种基于最小生成树的灵敏度指标估计方法。最后，我们还提出了一种新的基于散度测度的敏感性指标，即直接敏感性指标。当输入数据是相关的时，这些是有用的。
2019-09-17 math.ST stat.TH
The Pessimistic Limits and Possibilities of Margin-based Losses in Semi-supervised Learning
Radboud University（拉德堡德大学）；Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
考虑一个分类问题，其中我们有标记和未标记的数据。我们表明，线性分类器定义的凸利润为基础的代理损失正在减少，这是不可能构建任何半监督的方法，能够保证改进的监督分类器上的标记和未标记的数据上的代理损失。对于也增加的凸边际损失函数，我们证明了安全的改进是可能的。
2019-01-08 cs.LG stat.ML
A deep learning based surrogate model for stochastic simulators
Indian Institute of Technology Delhi（印度理工学院德里分校）
提出了一种基于深度学习的随机模拟器代理模型。其基本思想是用产生式神经网络逼近随机响应。这样一个框架的挑战在于设计的网络架构和选择损失函数适合随机响应。虽然我们利用一个简单的前馈神经网络，我们建议使用条件最大均值差异（CMMD）的损失函数。CMMD利用再生核希尔伯特空间的属性，并允许捕获目标和神经网络预测分布之间的差异。所提出的方法在数学上是严格的，在这个意义上说，它没有假设的概率密度函数的响应。所提出的方法的性能说明使用四个基准问题从文献中选择。所获得的结果表明所提出的方法的优异性能。
2021-10-24 cs.LG stat.ML
Convex Surrogate Loss Functions for Contextual Pricing with Transaction Data
Darden School of Business, University of Virginia（弗吉尼亚大学达顿商学院）
我们研究一个非政策上下文定价问题，其中卖家可以访问客户之前提供的价格样本，无论他们是否以该价格购买，以及描述客户和/或所售商品的辅助功能。这与充分研究的环境形成对比，在这种环境中，观察到客户的估价（支付意愿）样本。在我们的设置中，观察到的数据受到以前的定价政策的影响，我们不知道客户会如何回应替代价格。我们引入合适的损失函数，可以直接优化，以找到一个有效的定价政策与预期的收入保证，而不需要估计的中间需求函数。我们主要研究凸损失函数。这是特别相关的线性定价政策时，需要解释的原因，导致一个易于处理的凸收益优化问题。我们提出了广义铰链和分位数定价损失函数，价格在一个乘法因子的条件预期估值或一个特定的分位数的价格出售，尽管估值数据没有被观察到。当估值分布为对数凹分布时，我们分别证明了这些定价策略的期望收益界，并给出了有限样本情况下的推广界。最后，我们对合成数据和真实数据进行了模拟，以证明这种方法在上下文定价方面具有竞争力，并且在某些情况下优于最先进的方法。
2023-01-11 cs.IR cs.LG stat.ML
Stochastic regularized majorization-minimization with weakly convex and multi-convex surrogates
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
随机优化最小化（SMM）是一类随机最优化算法，其通过采样新数据点并最小化目标函数的代理函数的递归平均来进行。代理需要是强凸的，一般非凸设置的收敛速度分析不可用。在本文中，我们提出了一个扩展的SMM代理人只允许是弱凸或块多凸，平均代理人近似最小化与近端正则化或块最小化内半径减小，分别。对于非独立同分布的一般非凸约束情形，数据样本，我们表明，所提出的算法的一阶最优性差距衰减率$O((\log n)^{1+ε}/n^{1/2})$的经验损失和$O((\log n)^{1+ε}/n^{1/4})$的预期损失，其中$n$表示处理的数据样本的数量。在一些附加的假设下，后者的收敛速度可以提高到$O((\log n)^{1+ε}/n^{1/2})$。作为推论，我们获得了一般非凸依赖数据设置下的各种最优化方法的第一收敛速度界：双平均投影梯度下降及其推广，近点经验风险最小化，和在线矩阵/张量分解算法。我们还提供了实验验证我们的结果。
2023-03-21 cs.LG math.OC stat.ML
Hypothesis Transfer Learning with Surrogate Classification Losses: Generalization Bounds through Algorithmic Stability
Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）
本文利用算法稳定性框架分析二分类中带代理损失的正则化经验风险最小化假设迁移学习，在温和假设下推出训练误差、超额风险和交叉验证估计的无复杂度泛化界。
2023-07-14 cs.LG stat.ML
Information, Divergence and Risk for Binary Experiments
我们统一f-分歧，布雷格曼分歧，替代损失界（遗憾界），适当的评分规则，匹配损失，成本曲线，ROC曲线和信息。我们这样做，通过系统地研究这些对象的积分和变分表示，并在这样做，确定他们的原语，所有相关的成本敏感的二进制分类。以及澄清之间的关系生成和歧视性的学习观点，新的机器导致紧密和更一般的代理损失的界限和广义Pinsker不等式有关的f-分歧变分分歧。新的观点阐明了现有的算法：它提供了一个新的推导支持向量机的分歧，并与最大均值离散Fisher线性判别。它还提出了新的技术估计f-发散。
2009-01-05 math.ST stat.ML stat.TH
Surrogate Losses in Passive and Active Learning
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
主动学习是一种用于监督机器学习的序贯设计，其中学习算法顺序地从大量未标记的数据点池中请求所选实例的标签。目标是产生相对低风险的分类器，如在0-1损失下测量的，理想地使用比足以实现相同的随机标记数据点的数量更少的标记请求。本文研究了代理损失函数在主动学习中的潜在应用。具体而言，它提出了一种主动学习算法的基础上任意分类校准的代理损失函数，随着标签请求的数量足够的分类算法返回，以实现给定的风险下的0-1损失的分析。有趣的是，这些结果不能通过简单地优化代理风险，通过主动学习的程度足以提供一个保证0-1的损失，这是常见的做法，在分析代理损失的被动学习。一些结果对被动学习中使用替代损失有额外的影响。
2019-11-13 cs.LG math.ST stat.ML
On Fisher Consistency of Surrogate Losses for Optimal Dynamic Treatment Regimes with Multiple Categorical Treatments per Stage
本文针对多阶段多分类治疗的最优动态治疗方案，提出使用Fisher一致的代理损失函数，给出必要充分条件，并开发SDSS算法，在模拟和真实数据中验证了其有效性。
2025-05-22 math.ST stat.TH
The Adversarial Consistency of Surrogate Risks for Binary Classification
Courant Institute（Courant 院）；New York University（纽约大学）
本文刻画了鲁棒二分类中替代损失函数的对抗一致性条件，证明对抗一致类远小于标准设置，并给出ρ-间隔损失的定量一致性结果。
2023-12-23 cs.LG math.ST stat.TH
Finding the Optimal Dynamic Treatment Regime Using Smooth Fisher Consistent Surrogate Loss
针对序贯个体化治疗决策，本文提出 Fisher 一致的平滑非凹替代损失及 DTRESLO 方法，证明其理论遗憾界，并通过模拟和脓毒症 EHR 数据验证可扩展性与效果。
2023-10-01 math.ST stat.ME stat.TH
Efficient Policy Learning from Surrogate-Loss Classification Reductions
Cornell University（康奈尔大学）
最近关于从观察数据中学习政策的同策略学习工作突出了有效政策评价的重要性，并建议减少加权（对成本敏感的）分类。但是，有效的政策评估不需要产生有效的政策参数估计。我们认为估计问题的加权代理损失分类减少的策略学习与任何评分函数，无论是直接的，逆倾向加权，或双鲁棒。我们表明，在一个正确的规范假设下，加权分类公式不需要是有效的政策参数。我们绘制了一个对比实际（可能加权）的二进制分类，正确的规格意味着一个参数模型，而策略学习，它只意味着一个半参数模型。鉴于此，我们提出了一种基于广义矩量法的估计方法，该方法对策略参数是有效的。我们提出了一个特定的方法，基于最近的发展解决矩问题，使用神经网络，并证明了这种方法的效率和遗憾的好处经验。
2020-02-12 cs.LG econ.EM math.ST
On Predictive Density Estimation under $α$-divergence Loss
在$X \sim N_d(θ, σ^2_X I_d)$的基础上，我们研究了$α-$发散损失$L_α$下的预测密度对估计$Y \sim N_d(θ, σ^2_Y I_d)$密度的有效性.我们确定了大量的情况下，插件密度的改善是通过扩大方差，从而延长适用于Kullback-Leibler损失的早期研究结果。在维数$d$，方差$σ^2_X$和$σ^2_Y$，损失$L_α$ ; $α\in (-1,1)$的选择等方面，结果和证明是统一的.研究结果也适用于大量的插件密度，以及限制参数空间与$θ\in Θ\subset \mathbb{R}^d$。理论研究结果是伴随着各种观察，插图和影响，例如处理与鲁棒性相对于模型方差和同步优势相对于损失。
2018-06-07 math.ST stat.TH
Bayesian predictive densities for linear regression models under alpha-divergence loss: some results and open problems
本文考虑方差未知的正态线性模型在α-散度损失下的预测密度估计，其中α-1 <= α <= 1。我们首先给出了问题的一般标准型，然后给出了广义贝叶斯解在上述损失下的一般表达式。对于Maruyama和Strawderman（2005，2006）研究的一类特殊的分层广义先验，分别针对均值向量和方差的估计问题，给出了广义Bayes预测密度.此外，我们表明，对于这些先验的一个子类，当alpha=1时，所得估计量相对于右不变先验支配广义贝叶斯估计量，即，最佳（完全）等变极大极小估计量。
2010-02-19 math.ST stat.TH
