Learning with Non-Convex Truncated Losses by SGD
The University of Iowa（爱荷华大学）；Alibaba Group（阿里巴巴集团）
使用{ \it凸损失}函数进行学习多年来一直是一种主导范式。非凸损失函数如何提高学习的泛化能力，并具有广泛的适用性，仍然是一个有趣的问题。本文研究了通过截断传统的损失函数而形成的一族目标函数，它既适用于浅层学习，也适用于深度学习。截断损失函数有可能不那么脆弱，并且对可能是对抗性的观测中的大噪声更鲁棒。更重要的是，它是一种通用的技术，而无需假设噪声分布的知识。为了证明截断损失下的非凸学习的合理性，基于截断损失和随机梯度下降（SGD）方法找到的一个近似平稳点的统计误差，建立了经验风险最小化的超额风险界.我们的实验为浅和深度学习回归离群值，损坏的数据和重尾噪声进一步证明了所提出的方法。
2018-05-21 cs.LG stat.ML
On Structured Prediction Theory with Calibrated Convex Surrogate Losses
INRIA/ENS（法国国家信息与自动化研究所/巴黎高等师范学院）；HSE（高等经济学院）；MILA（米拉魁北克人工智能研究所）；DIRO（计算机科学与运筹学系）；Université de Montréal（蒙特利尔大学）
我们提供了新的理论见解结构化预测的上下文中有效的凸代理损失最小化的一致性保证。对于任何任务损失，我们构建了一个凸代理，可以通过随机梯度下降优化，我们证明了紧边界上的所谓的“校准功能”有关的超额代理风险的实际风险。与之前的相关工作相比，我们仔细监控学习保证中类的指数数量以及优化复杂性的影响。作为一个有趣的结果，我们形式化的直觉，一些任务的损失，使学习比别人更难，经典的0-1损失是不适合一般的结构化预测。
2018-01-29 cs.LG stat.ML
Regularized ERM on random subspaces
研究了经典经验风险最小化的一个自然推广，其中假设空间是给定空间的随机子空间。特别是，我们认为可能的数据依赖的子空间跨越的数据的随机子集，恢复作为一个特殊情况下Nystrom方法的核方法。考虑随机子空间自然会节省计算量，但问题是相应的学习精度是否会降低。最近已经探索了最小二乘损失和自协调损失函数（如逻辑损失）的计算-计算权衡。在这里，我们将这些结果扩展到凸Lipschitz损失函数，这可能是不光滑的，例如支持向量机中使用的铰链损失。这种统一的分析需要开发新的证明，使用不同的技术工具，如亚高斯输入，以实现快速。我们的主要结果表明，根据学习问题的难度，存在不同的设置，可以在不损失性能的情况下提高计算效率。
2022-12-08 cs.LG math.ST stat.ML
Binary Excess Risk for Smooth Convex Surrogates
Michigan State University（密歇根州立大学）
在统计学习理论中，0-1损失的凸替代物是高度优选的，因为凸性带来的计算和理论优点。这是更重要的，如果我们考虑光滑的代理证明了这一事实，即平滑度是进一步有益的计算-通过获得优化的{ \it optimal}收敛速度，并在统计意义上-通过提供一个改进的{ \it optimal}速度的泛化界限。本文从统计一致性的角度研究了光滑性，并展示了它对二元超额风险的影响。我们发现，在相反的优化和泛化误差，有利于选择光滑的替代损失，光滑的损失函数可能会降低二进制超额风险。出于这个负面的结果，我们提供了一个统一的分析，整合优化误差，泛化界，并在凸过度风险转化为二进制过度风险时，检查平滑的影响，二进制过度风险的错误。我们表明，在有利的条件下，适当的选择光滑凸损失将导致一个二元超额风险，优于$O(1/\sqrt{n})$。
2014-02-07 cs.LG stat.ML
Localization, Convexity, and Star Aggregation
Massachusetts Institute of Technology（麻省理工学院）
偏移量拉德马赫复杂度已被证明在包括不适当的统计学习和在线学习在内的广泛类别的问题中为平方损失提供了严格的上限。我们证明了偏移复杂性可以推广到任何损失，满足一定的一般凸性条件。此外，我们表明，这种情况是密切相关的指数的自洽和统一的明显不同的结果。通过一个新的几何参数，我们的许多界限转化为不适当的学习在一个非凸类Audibert的星算法。因此，偏移复杂度提供了一个通用的分析工具，涵盖了凸经验风险最小化和不适当的学习下的熵条件。应用该方法，我们恢复正确和不正确的学习与$p$ -损失$1 < p < \infty$的最佳速率，并表明，不正确的变种经验风险最小化可以达到快速的速度为逻辑斯谛回归和其他广义线性模型。
2021-10-26 cs.LG stat.ML
Generalization Bounds via Convex Analysis
ICREA（加泰罗尼亚研究与高等教育机构）；Universitat Pompeu Fabra（庞培法布拉大学）
自Russo和Zou（2016，2019）以及Xu和Raginsky（2017）的着名作品以来，众所周知，监督学习算法的泛化误差可以根据其输入和输出之间的互信息来限制，因为任何固定假设的损失都具有亚高斯尾。在这项工作中，我们推广了这一结果超出了标准的选择香农的互信息来衡量输入和输出之间的依赖性。我们的主要结果表明，它确实是可能的，以取代任何强凸函数的联合输入输出分布的互信息，与亚高斯条件的损失取代了一个适当选择的规范捕获的几何形状的依赖措施的约束。这使我们能够得到一系列的泛化界，要么是全新的或加强以前已知的。例子包括以$p$ -范数发散和Wasserstein-2距离表示的界限，它们分别适用于重尾损失分布和高度平滑的损失函数。我们的分析完全基于凸分析的基本工具，通过跟踪与依赖度量和损失函数相关的潜在函数的增长。
2022-07-19 cs.LG stat.ML
Risk-aware linear bandits with convex loss
Inria（法国国家信息与自动化研究所）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
在多臂强盗等决策问题中，智能体通过优化某个反馈来顺序学习。虽然平均回报准则已被广泛研究，但反映对不利结果的厌恶的其他度量，如均值方差或条件风险价值（CVaR），可能对关键应用（医疗保健，农业）感兴趣。算法已经提出了这样的风险意识的措施下，没有上下文信息的强盗反馈。在这项工作中，我们研究的背景土匪，这样的风险措施，可以通过最小化的凸损失作为线性函数的上下文。一个典型的例子，适合在这个框架是预期的措施，这是作为一个非对称最小二乘问题的解决方案。利用上鞅的混合方法，我们得到了这种风险测度估计的置信序列。然后，我们提出了一个乐观的UCB算法来学习最佳的风险意识的行动，与遗憾的保证类似的广义线性土匪。这种方法需要在算法的每一轮解决一个凸问题，我们可以通过只允许通过在线梯度下降获得的近似解来放松，代价是遗憾稍高。最后，我们通过评估所产生的算法的数值实验。
2023-03-27 cs.LG stat.ML
The Pessimistic Limits and Possibilities of Margin-based Losses in Semi-supervised Learning
Radboud University（拉德堡德大学）；Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
考虑一个分类问题，其中我们有标记和未标记的数据。我们表明，线性分类器定义的凸利润为基础的代理损失正在减少，这是不可能构建任何半监督的方法，能够保证改进的监督分类器上的标记和未标记的数据上的代理损失。对于也增加的凸边际损失函数，我们证明了安全的改进是可能的。
2019-01-08 cs.LG stat.ML
Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses
The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）；Pontificia Universidad Católica de Chile（智利天主教大学）
一致稳定性是算法稳定性的一个概念，当数据集中的单个数据点被替换时，它限制了算法输出的模型中的最坏情况变化。Hardt等人（2016）的一项有影响力的工作提供了随机梯度下降（SGD）算法在充分光滑凸损失上的一致稳定性的强上界。这些结果导致了重要的进展，在理解的推广性质的SGD和几个应用程序的差异私人凸优化光滑损失。我们的工作是第一个解决的一致稳定性SGD { \em nonsmooth}凸损失。具体来说，我们提供了尖锐的上限和下限的几种形式的SGD和全批GD任意Lipschitz非光滑凸损失。我们的下界表明，在非光滑的情况下，（S）GD可以是固有的稳定性比在光滑的情况下。另一方面，我们的上界表明（S）GD是足够稳定的推导新的和有用的泛化误差的界限。最值得注意的是，我们得到了第一个维度独立的推广界多通SGD在非光滑的情况下。此外，我们的界限允许我们推导出一个新的算法差分私人非光滑随机凸优化与最优超额人口风险。对于非光滑情况，我们的算法比最著名的算法更简单，更有效。Feldman et al.（2020）。
2020-06-12 cs.LG math.OC stat.ML
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University（波士顿大学）；Google（谷歌）
随机梯度下降（SGD）在机器学习中发挥了核心作用。然而，它需要一个精心挑选的步长来快速收敛，这是众所周知的繁琐和耗时的调整。在过去的几年里，大量的自适应梯度算法已经出现，以改善这个问题。他们已被证明有效地减少劳动调整在实践中，但他们中的许多人缺乏理论保证，即使在凸设置。在本文中，我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来，这导致SGD算法具有自调整的步长，保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
Primal Method for ERM with Flexible Mini-batching Schemes and Non-convex Losses
The University of Edinburgh（爱丁堡大学）
在这项工作中，我们开发了一个新的算法正则化的经验风险最小化。我们的方法扩展了Shalev-Shwartz [02/2015]的最新技术，该技术能够对SDCA进行双自由分析，以实现任意的mini-square方案。此外，我们的方法是能够更好地利用信息的数据定义的ERM问题。对于凸的损失函数，我们的复杂性结果与QUARTZ的结果相匹配，QUARTZ是一种原始-对偶方法，也允许任意的mini-slave方案。双自由分析的优点在于，只要平均损失是凸的，即使对于非凸损失函数，它也能保证收敛。我们通过实验说明了能够设计任意的迷你的可伸缩方案的效用。
2015-06-07 cs.DS cs.LG math.OC
A Convex Loss Function for Set Prediction with Optimal Trade-offs Between Size and Conditional Coverage
Inria（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）
本文提出了一种用于集合预测的凸损失函数，通过优化集合大小与条件覆盖之间的平衡，提升分类和回归任务的性能。
2025-12-22 cs.LG math.OC stat.ML
Convex Surrogate Loss Functions for Contextual Pricing with Transaction Data
Darden School of Business, University of Virginia（弗吉尼亚大学达顿商学院）
我们研究一个非政策上下文定价问题，其中卖家可以访问客户之前提供的价格样本，无论他们是否以该价格购买，以及描述客户和/或所售商品的辅助功能。这与充分研究的环境形成对比，在这种环境中，观察到客户的估价（支付意愿）样本。在我们的设置中，观察到的数据受到以前的定价政策的影响，我们不知道客户会如何回应替代价格。我们引入合适的损失函数，可以直接优化，以找到一个有效的定价政策与预期的收入保证，而不需要估计的中间需求函数。我们主要研究凸损失函数。这是特别相关的线性定价政策时，需要解释的原因，导致一个易于处理的凸收益优化问题。我们提出了广义铰链和分位数定价损失函数，价格在一个乘法因子的条件预期估值或一个特定的分位数的价格出售，尽管估值数据没有被观察到。当估值分布为对数凹分布时，我们分别证明了这些定价策略的期望收益界，并给出了有限样本情况下的推广界。最后，我们对合成数据和真实数据进行了模拟，以证明这种方法在上下文定价方面具有竞争力，并且在某些情况下优于最先进的方法。
2023-01-11 cs.IR cs.LG stat.ML
Jensen: An Easily-Extensible C++ Toolkit for Production-Level Machine Learning and Convex Optimization
Microsoft Corporation（微软公司）；University of California, Davis（加州大学戴维斯分校）
本文介绍了Jensen，这是一个易于扩展和可扩展的生产级机器学习和凸优化工具包。Jensen实现了凸（或损失）函数、凸优化算法（包括梯度下降、L-BFGS、随机梯度下降、共轭梯度等）的框架，以及一系列机器学习分类器和回归器（逻辑回归、SVM、最小二乘回归等）。该框架使得使用几行代码部署和训练模型成为可能，并且还通过集成新的损失函数和优化算法来扩展和构建模型。
2018-07-17 cs.LG math.OC stat.ML
Stability of SGD: Tightness Analysis and Improved Bounds
Rutgers University（罗格斯大学）；Queens College of CUNY（纽约市立大学皇后学院）；Indian Institute of Science（印度科学学院）；Stony Brook University（石溪大学）
基于随机梯度下降（SGD）的方法已被广泛用于训练大规模机器学习模型，这些模型在实践中也推广得很好。对于这种泛化性能，已经提供了几种解释，其中一个突出的是算法稳定性[18]。然而，没有已知的平滑损失函数的例子，可以证明其分析是严密的。此外，除了损失函数的属性，数据分布也被证明是泛化性能的一个重要因素。这就提出了一个问题：文[18]的稳定性分析对于光滑函数是否是紧的，如果不是，对于什么样的损失函数和数据分布可以改进稳定性分析？在本文中，我们首先解决开放的问题，在数据无关的设置的界限的紧密性：我们表明，对于一般的数据集，现有的分析凸和强凸损失函数是紧的，但它可以改善非凸损失函数。接下来，我们给出了一个新的和改进的数据依赖的边界：我们显示了稳定性上界的一大类凸正则化损失函数，可以忽略不计的正则化参数，并改善现有的数据依赖的边界在非凸设置。我们希望我们的研究结果将启动进一步的努力，以更好地理解非凸损失函数下的数据依赖设置，从而提高对深度网络泛化能力的理解。
2021-02-10 cs.LG math.OC stat.ML
Convexification of Learning from Constraints
Max Planck Institute for Informatics（马克斯·普朗克计算机科学研究所）
带有约束标签（与固定标签相反）的正则化经验风险最小化是一种非常普遍的学习抽象。对于常见的损失和正则化函数，该优化问题假设为目标函数为非凸的混合整数规划（MIP）的形式。在这种形式下，问题是抵抗标准优化技术。我们构造了目标函数为凸的具有相同解的MIP。具体来说，我们的特点是紧凸扩展的目标函数，由Legendre-Fenchel双共轭。计算这个最紧凸扩张的值是NP-困难的。然而，通过将我们的特征应用于目标函数的加法分解中的每个函数，我们获得了一类可以有效计算的更宽松的凸扩展。对于一些分解，常见的损失和正则化函数，我们得到一个封闭的形式。
2016-02-22 cs.LG math.OC stat.ML
Iterative Regularization for Learning with Convex Loss Functions
我们考虑凸损失函数的监督学习问题，并提出了一种新的形式的迭代正则化的次梯度方法的基础上。与其他正则化方法不同，在迭代正则化中不考虑约束或惩罚，并且通过（早期）停止经验迭代来实现泛化。在再生核Hilbert空间的框架下，考虑了非参数情形，证明了在一般正则条件下，超额风险的有限样本界.我们的研究提供了一类新的高效正则化学习算法，并对机器学习中统计和优化之间的相互作用提供了见解。
2015-04-01 math.OC stat.ML
The Geometry and Calculus of Losses
本文以具有特定结构的凸集为基础，将损失定义为其支撑函数的次梯度，揭示损失与（反）范数关系，发展损失微积分及极损失理论。
2023-08-17 cs.IT cs.LG math.IT
Asymptotics of constrained $M$-estimation under convexity
CREST-ENSAE
本文研究了在凸约束下，使用凸损失函数（无需可导）的M估计的渐近性，探讨了损失函数与约束集边界结构的相互作用，并扩展到U估计量。
2025-12-12 math.ST stat.TH
On the transferability of adversarial examples between convex and 01 loss models
New Jersey Institute of Technology（新泽西理工学院）
在存在离群值的情况下，01损失给出了与凸损失模型不同且更准确的边界。边界的差异是否可以转化为在01损失模型和凸模型之间不可转移的对抗性示例？我们在本文中通过研究线性01损失和凸（铰链）损失模型之间以及具有符号激活和01损失的双层神经网络与sigmoid激活和logistic损失之间的对抗性示例的可转移性来经验性地探索这一点。我们首先证明了白盒对抗性例子在凸模型和01损失模型之间以及01损失模型之间不能有效地转移。由于这种不可转移性，我们看到凸替代模型黑盒攻击对01损失的有效性低于凸模型。有趣的是，我们还看到01损失替代模型攻击在凸模型和01损失模型上都是无效的，这很可能是由于01损失模型的非唯一性。我们直观地展示了异常值的存在如何导致01和凸损失模型之间的不同决策边界，从而产生不可转移的对手。事实上，我们在MNIST上看到，对手在01损失和凸模型之间的转移比在CIFAR10和ImageNet上更容易，后者可能包含离群值。我们直观地展示了01损失的非连续性如何使对手在双层神经网络中不可转移。我们将CIFAR10特征离散化，使其更像MNIST，并发现它并没有提高可转移性，因此表明由于离群值而导致的不同边界更可能是不可转移性的原因。由于这种不可转移性，我们表明，我们的双层符号激活网络与01损失可以达到与简单的卷积网络相当的鲁棒性。
2020-07-29 cs.LG stat.ML
Minimizing The Misclassification Error Rate Using a Surrogate Convex Loss
University of Waterloo（滑铁卢大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；University of Pennsylvania（宾夕法尼亚大学）
我们仔细研究如何以及最小化凸代理损失函数，对应于最小化的误分类出错率的线性预测的二元分类问题。特别是，我们表明，在所有凸代理损失，铰链损失基本上是最好的可能的范围内，所有凸损失函数，误分类出错率的最佳保证金出错率的线性预测。我们还提供了具体的凸代理人，显示不同的常用损失定性地彼此不同的下限。
2012-06-27 cs.LG stat.ML
The Lovász Hinge: A Novel Convex Surrogate for Submodular Losses
CentraleSupélec, Université Paris-Saclay（巴黎萨克雷大学中央理工高等电力学院）；Inria（法国国家信息与自动化研究所）；KU Leuven（鲁汶大学）
当同时进行多组预测时，非模块化损失的学习是一个重要的问题。构造用于集合预测的凸代理损失函数的主要工具是边缘重标度和松弛重标度。在这项工作中，我们表明，这些策略导致紧凸代理，当潜在的损失函数是增加不正确的预测的数量。然而，梯度或切割平面计算这些功能是NP难的非超模损失函数。相反，我们提出了一种新的替代损失函数的子模块损失，Lovász铰链，这导致O（p log p）的复杂性与O（p）oracle访问损失函数计算梯度或切割平面。我们证明了Lovász铰链是凸的，并产生一个扩展。其结果是，我们已经开发出第一个听话的凸替代文献中的次模损失。我们通过几组预测任务，包括PASCAL VOC和Microsoft COCO数据集，展示了这种新型凸代理的实用性。
2017-05-15 cs.LG stat.ML
The perils of being unhinged: On the accuracy of classifiers minimizing a noise-robust convex loss
Google（谷歌）；Columbia University（哥伦比亚大学）
Van Rooyen等人引入了凸损失函数对随机分类噪声具有鲁棒性的概念，并建立了“无铰链”损失函数在这个意义上是鲁棒的。在本说明中，我们研究了通过最小化精神错乱损失获得的二元分类器的准确性，并观察到即使对于简单的线性可分数据分布，最小化精神错乱损失也可能只会产生准确性并不比随机猜测更好的二元分类器。
2022-03-04 cs.LG stat.ML
Convex Calibration Dimension for Multiclass Loss Matrices
Indian Institute of Science（印度科学学院）
我们研究了一般多类学习问题的代理损失函数的一致性，定义了一个一般的多类损失矩阵。我们扩展的概念，分类校准，这已经研究了二进制和多类0-1分类问题（和某些其他特定的学习问题），一般的多类设置，并推导出必要和充分条件的替代损失校准相对于损失矩阵在这种设置。然后，我们引入了多类损失矩阵的凸校准维度的概念，它测量预测空间的最小“尺寸”，在该预测空间中，可以设计相对于损失矩阵校准的凸代理。我们推导出这个量的上界和下界，并使用这些结果来分析各种损失矩阵。特别是，我们应用我们的框架来研究各种子集的排名损失，并使用凸校准尺寸作为工具来显示这些损失的各种类型的凸校准代理的存在和不存在。我们的研究结果加强了Duchi et al.（2010）和Calauzenes et al.（2012）关于子集排序中不存在某些类型的凸校准代理的最新结果。我们预计凸校准维度可能被证明是一个有用的工具，在研究和设计一般的多类学习问题的代理损失。
2015-08-23 cs.LG stat.ML
The Convexity and Design of Composite Multiclass Losses
Research School of Computer Science, The Australian National University（澳大利亚国立大学计算机科学研究院）；NICTA；Tsinghua University（清华大学）
我们考虑用于多类预测的复合损失函数，其包括适当的（即，费雪一致性）损失的概率分布和逆链接函数。我们建立条件，他们的（强）凸性，并探讨其影响。我们还展示了如何分离的关注，通过使用这种复合表示允许设计的家庭损失具有相同的贝叶斯风险。
2012-06-18 cs.LG stat.ML
From Shallow Bayesian Neural Networks to Gaussian Processes: General Convergence, Identifiability and Scalable Inference
Universidade do Estado de Minas Gerais (UEMG)（巴西米纳斯戈亚斯州大学）；Universidade Federal de Minas Gerais (UFMG)（巴西联邦大学矿务学院）
本文研究了浅层贝叶斯神经网络到高斯过程的收敛性，提出了一种新的协方差函数，并通过实验验证了其在可扩展推断中的有效性。
2026-02-26 cs.AI cs.LG stat.ML
Misclassification excess risk bounds for PAC-Bayesian classification via convexified loss
Norwegian University of Science and Technology（挪威科技大学）
针对现有PAC-贝叶斯界多针对凸替代损失的局限，本研究利用期望型PAC-贝叶斯相对界，推导了使用凸替代损失时PAC-贝叶斯分类的误分类超额风险界，并在多个重要应用中验证了方法有效性。
2024-08-16 cs.LG stat.ML
Regularizers versus Losses for Nonlinear Dimensionality Reduction: A Factored View with New Convex Relaxations
University of Alberta（阿尔伯塔大学）
我们证明了几乎所有的非参数降维方法都可以用一个简单的过程来表示：正则化损失最小化加上奇异值截断。通过区分损失和正则化在这样一个过程中的作用，我们恢复了一个因子化的角度，揭示了一些差距，在目前的文献。除了确定一个有用的新损失流形展开，一个关键的贡献是获得新的凸正则化，结合距离最大化与秩减少。这些正则化器可以应用于任何损失。
2012-06-27 cs.LG stat.ML
Fast Global Convergence via Landscape of Empirical Loss
Faculty of Electrical Engineering, Technion（以色列理工学院电气工程学院）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H. Milton Stewart工业与系统工程学院）
虽然优化凸目标（损失）函数已经成为机器学习的动力至少二十年，非凸损失函数最近吸引了快速增长的兴趣，由于许多理想的属性，如优越的鲁棒性和分类精度，与他们的凸对应。非凸估计的主要障碍是，它是在一般情况下难以找到最优解。本文研究了一些非凸M-估计的计算问题。特别是，我们证明了随机方差缩减方法收敛到全局最优的线性速率，通过利用人口损失的统计性质。在此基础上，我们改进了\cite{mei2016landscape}中批梯度法的收敛性分析。
2018-02-13 cs.LG stat.ML
Structured Prediction with Projection Oracles
NTT Communication Science Laboratories（NTT通信科学实验室）
在本文中，我们提出了一个一般的框架，推导出结构化预测的损失函数。在我们的框架中，用户选择一个包含输出空间的凸集，并提供一个用于投影到该集合上的预言。给定该预言，我们的框架自动生成相应的凸和光滑损失函数。正如我们所展示的，添加投影作为输出层可以证明会使损失更小。我们确定的边缘多面体，输出空间的凸包，作为最佳的凸集上的项目。然而，由于到边缘多面体上的投影有时可能是昂贵的计算，我们允许使用任何凸超集代替，具有潜在的更便宜的计算投影。由于有效的投影算法可用于许多凸集，这使我们能够为各种任务构建损失函数。在理论方面，当与校准解码相结合时，我们证明了我们的损失函数可以用作感兴趣的（潜在非凸的）目标损失函数的一致代理。我们证明了我们在标签排名，有序回归和多标签分类上的损失，证实了预测能够提高准确性。
2020-02-26 cs.LG stat.ML
Optimal Binary Classifier Aggregation for General Losses
University of California, San Diego（加州大学圣地亚哥分校）
我们解决了在半监督二进制分类设置中聚集具有已知损失界限的预测器集合的问题，以最小化未标记数据上发生的预测损失。我们找到了一个非常一般的一类损失函数，包括所有凸和许多非凸损失的最小最大最优预测，扩展了最近的分析问题的误分类错误。其结果是一个家庭的半监督集成聚合算法是有效的线性学习凸优化，但极小极大最优没有任何松弛。他们的决策规则采用决策理论中熟悉的形式-将sigmoid函数应用于集成裕度的概念-而没有基于裕度的学习中通常所做的假设。
2016-11-07 cs.LG stat.ML
Exact Rank and Convex Calibration Dimension Lower Bounds for the Multi-Label F1 Loss
本文针对多标签F1损失，确定其相关矩阵的精确秩，通过分析贝叶斯几何给出凸校准维的下界，证明其凸校准维为Θ(s²)。
2026-08-11 cs.LG stat.ML
Consistent Robust Adversarial Prediction for General Multiclass Classification
Carnegie Mellon University（卡内基梅隆大学）；Conversant LLC（Conversant有限责任公司）；California Institute of Technology（加州理工学院）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of Pennsylvania（宾夕法尼亚大学）
我们提出了一个强大的对抗性预测框架一般多类分类。我们的方法寻求预测分布，该预测分布针对（近似）匹配训练数据统计的最坏情况条件标签分布（对抗分布）鲁棒地优化非凸和非连续多类损失度量。虽然优化的损失度量是非凸和非连续的，但该框架的对偶公式是一个凸优化问题，可以重新转换为具有指定凸代理损失的风险最小化模型，我们称之为对抗代理损失。我们表明，对抗性代理损失填补了现有的空白，代理损失建设一般多类分类问题，同时更好地与原始多类损失对齐，保证Fisher一致性，使一种方式，通过内核技巧，将丰富的特征空间，并提供在实践中有竞争力的性能。
2019-11-20 cs.LG stat.ML
Optimizing the Performative Risk under Weak Convexity Assumptions
Princeton University（普林斯顿大学）
在执行性预测中，预测模型会影响生成未来数据的分布，这是经典监督学习中忽略的现象。在此闭环设置中，称为执行风险（$\mathrm{PR}$）的自然性能度量捕获预测模型\emph{after}部署所引起的预期损失。使用表演风险作为优化目标的核心困难在于数据分布本身取决于模型参数。这种依赖性是由环境决定的，而不是由学习者控制的。因此，即使选择凸损失函数也可能导致高度非凸的$\mathrm{PR}$最小化问题。先前的工作已经确定了一对损失的一般条件和从模型参数到分布的映射，这意味着表演风险的凸性。在本文中，我们放松这些假设，并专注于获得较弱的凸性概念，而不牺牲的顺应性的$\mathrm{PR}$最小化问题的迭代优化方法。
2022-10-21 cs.LG stat.ML
Theory of Curriculum Learning, with Convex Loss Functions
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本研究为课程学习提供理论分析，证明在凸损失下收敛率随难度分数单调变化，并调和了课程学习与困难数据挖掘的矛盾。
2018-12-09 cs.LG stat.ML
Hinge-loss Markov Random Fields: Convex Inference for Structured Prediction
University of Maryland（马里兰大学）
结构域的图形模型是强大的工具，但组合预测空间的计算复杂性可能会对模型施加限制，或者需要近似推理才能处理。我们使用铰链损失马尔可夫随机场（HL-MRF），而不是在组合空间中工作，这是一类具有连续变量上的对数凹密度函数的图形模型，可以表示离散预测的置信度。本文证明了HL-MRF是快速准确的结构化预测的通用工具。我们介绍了第一个推理算法，这是可扩展的，适用于整个类的HL-MRF，并展示了如何训练HL-MRF与几个学习算法。我们的实验表明，HL-MRFs匹配或超过最先进的方法，包括离散模型，在四个应用领域的预测性能。
2013-09-26 cs.LG stat.ML
Two-temperature logistic regression based on the Tsallis divergence
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Google Brain（谷歌大脑）
我们开发了一种多类逻辑回归的变体，它对噪声具有更强的鲁棒性。该算法每个类有一个权重向量，代理损失是线性激活的函数（每个类一个）。具有线性激活向量$\mathbf{a}$和类$c$的示例的代理损失具有$-\log_{t_1} \exp_{t_2} (a_c - G_{t_2}(\mathbf{a}))$的形式，其中两个温度$t_1$和$t_2$分别“回火”$\log$和$\exp$，并且$G_{t_2}(\mathbf{a})$是推广对数分区函数的标量值。我们使用Tsallis分歧来激发这种损失。我们的方法允许通过选择温度参数在非凸损耗和凸损耗之间过渡。当对数的温度$t_1$变得小于指数的温度$t_2$时，替代损失变为“准凸”。温度的各种调整恢复以前的方法和调整的非凸度的程度是至关重要的实验。特别是，准凸性和有界性的损失提供了显着的鲁棒性离群值。我们解释了这一点，表明$t_1 < 1$上限的替代损失和$t_2 >1$使预测分布有一个沉重的尾巴。我们表明，代理损失是贝叶斯一致的，即使在非凸的情况下。此外，我们提供了有效的迭代算法计算的日志分区值只有在几个迭代次数。我们在大型真实世界数据集上的令人信服的实验结果表明，在有噪声和无噪声的情况下使用双温度变量的优势。
2019-08-03 cs.LG stat.ML
Deep linear neural networks with arbitrary loss: All local minima are global
Loyola Marymount University（洛约拉马利蒙特大学）；California State University, Long Beach（加州州立大学长滩分校）
我们考虑具有任意凸可微损失的深度线性网络。我们提供了一个简短而基本的证明，证明了如果隐藏层1）至少与输入层一样宽，或者2）至少与输出层一样宽，则所有局部极小值都是全局极小值。这个结果在以下意义上是最强的：如果损失是凸的和Lipschitz但不可微的，那么深度线性网络可以有次优的局部极小值。
2018-07-24 cs.LG stat.ML
Calibrated Surrogate Losses for Adversarially Robust Classification
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；AIP（应用物理研究所）；University of Michigan（密歇根大学）
对抗鲁棒分类寻求对测试模式的对抗扰动不敏感的分类器。这个问题通常通过极大极小目标来表述，其中目标损失是受扰动大小约束的0-1损失的最坏情况值。最近的工作提出了对抗性0-1损失的凸代理，以使优化更容易处理。一个主要的问题是一致性，即替代风险的最小化是否意味着对抗性0-1风险的最小化。在这项工作中，我们分析这个问题，通过镜头的校准，这是一个逐点一致性的概念。我们表明，没有凸代理损失校准相对于对抗0-1损失时，限制到类的线性模型。我们进一步介绍了一类非凸损失，并提供了必要和充分条件，在这类损失进行校准。我们还表明，如果底层分布满足Massart的噪声条件，凸损失也可以在对抗设置校准。
2021-05-13 cs.LG stat.ML
Private Stochastic Convex Optimization with Optimal Rates
The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）；University of California Santa Cruz（加州大学圣克鲁兹分校）
研究了随机凸优化问题的差分隐私算法。在这个问题中，目标是近似最小化给定i.i.d.的种群损失。样本来自凸函数和Lipschitz损失函数上的分布。现有的一长串关于私有凸优化的工作集中在经验损失上，并推导出超额经验损失的渐近紧界。然而，一个显着的差距存在于已知的人口损失的界限。我们发现，对数因子，DP算法的最佳过剩人口损失等于较大的最佳非私人过剩人口损失，和DP算法的最佳过剩经验损失。这意味着，相反的直觉基于私营企业风险管理，私营SCO有渐近相同的$1/\sqrt{n}$率为非私营SCO的参数制度中最常见的实践。此设置中的最佳先前结果给出$1/n^{1/4}$的速率。我们的方法建立在现有的差分隐私算法，并依赖于算法的稳定性分析，以确保泛化。
2019-08-27 cs.CR cs.DS cs.LG
Expressive Losses for Verified Robustness via Convex Combinations
Imperial College London（伦敦帝国学院）；University of Oxford（牛津大学）；Inria（法国国家信息与自动化研究所）；École Normale Supérieure（高等师范学院）；PSL University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Google DeepMind（谷歌DeepMind）
本文提出通过凸组合构造表达性损失，以单参数调节最坏情况损失的上下界权衡，在多种设置下取得最先进的可验证鲁棒性，并揭示近似精度与权衡优劣的非必然关联。
2024-03-18 cs.CR cs.LG stat.ML
Nonconvex Extension of Generalized Huber Loss for Robust Learning and Pseudo-Mode Statistics
我们提出了一个扩展的推广的伪Huber损失制定。我们表明，使用对数-exp变换与逻辑函数，我们可以创建一个损失相结合的理想性质的严格凸损失与强大的损失函数。有了这个公式，我们表明，可以利用线性收敛算法来找到一个最小值。我们进一步讨论了一个准凸的复合损失的创建，并提供了一个导数免费指数收敛速度算法。
2022-02-22 cs.LG stat.CO stat.ML
Generalized XGBoost Method
XGBoost方法有很多优点，特别适合大数据的统计分析，但其损失函数仅限于凸函数。在许多具体应用中，非凸损失函数将是优选的。本文提出了一种广义的XGBoost方法，该方法对损失函数的约束条件要求较弱，并且涉及到更一般的损失函数，包括凸的损失函数和一些非凸的损失函数。进一步，将该方法推广到多元损失函数，得到了一种更广义的XGBoost方法.该方法是一种多目标参数正则化树Boosting方法，可以对大多数常用的参数概率分布中的多个参数进行建模，并由预测变量进行拟合。同时，给出了非寿险定价中的相关算法和实例。
2022-01-19 cs.LG stat.AP stat.ML
Composite Binary Losses
我们研究了二进制分类和类概率估计的损失，并将对它们的理解从保证金损失扩展到一般的复合损失，这是一个适当的损失与链接函数的组成。我们讨论了当保证金损失可以是适当的复合损失，明确显示如何确定一个对称的损失完全从一半的部分损失，引入一个内在的参数化的复合二进制损失，并给出一个完整的特性之间的关系适当的损失和“分类校准”的损失。我们还考虑了“最佳”替代二元损失的问题。我们引入了一个精确的概念“最好的”，并表明存在的情况下，两个凸代理损失是不可分割的。我们提供了一个完整的显式表征的凸性的复合二进制损失的链接函数和权重函数与适当的损失，使复合损失。这一特性表明了“替代调谐”的新方法。最后，在附录中，我们提出了一些新的算法独立的结果之间的关系的适当性，凸性和鲁棒性误分类噪声的二进制损失，并表明所有凸适当的损失是非鲁棒性误分类噪声。
2009-12-17 stat.ML
Oracle Efficient Private Non-Convex Optimization
University of Pennsylvania（宾夕法尼亚大学）；University of Minnesota（明尼苏达大学）
目标扰动是差分私有学习和优化的最有效算法之一。这种方法是在给定的优化问题（如ERM问题）上增加一个随机线性项，然后精确求解。然而，到目前为止，这种方法的分析主要依赖于目标函数的凸性和光滑性，限制了它的通用性。我们给出了两个算法，大大扩展了这种方法。第一种算法只要求损失函数有界，并在离散域上运行。它的隐私性和准确性保证甚至在不假设凸性的情况下也成立。这给出了在任意离散域上的Oracle高效优化算法，其一般性与指数机制相当。第二种算法在连续域上操作，仅要求损失函数有界且Lipschitz为其连续参数。它的隐私分析不需要凸性。它的精度分析确实需要凸性，但不需要二阶条件，如光滑性。即使没有凸性，该算法也可以作为一种通用的Oracle高效优化算法，并根据经验评估其精度。我们补充我们的理论结果与非凸的情况下，我们使用整数规划求解器作为我们的优化预言机的经验评估。我们发现，对于学习线性分类器的问题，使用我们的方法直接优化0/1损失可以优于在Adult数据集上私下优化凸代理损失函数的更标准方法。
2020-12-29 cs.CR cs.LG stat.ML
Boosting in the presence of outliers: adaptive classification with non-convex loss functions
University of California at San Diego（加州大学圣地亚哥分校）
本文研究了二进制分类问题的非凸损失函数的作用和效率。特别是，我们研究如何设计一个简单而有效的提升算法，是强大的离群数据。对特定非凸损失对预测准确性的作用的分析取决于损失梯度的递减尾部特性--损失有效适应外围数据的能力、损失的局部凸特性和污染数据的比例。为了有效地利用这些性质，我们提出了一个新的家庭的非凸损失命名为$γ$ -鲁棒损失。此外，我们提出了一个新的提升框架，{ \it Arch Boost}，旨在增强现有的工作，使其相应的分类算法是显着更适应未知的数据污染。随着Arch Boosting框架，非凸损失导致了一类新的boosting算法，称为自适应，鲁棒，boosting（ARB）。此外，我们提出了理论的例子，证明所提出的算法的鲁棒性。特别是，我们开发了一个新的故障点分析和一个新的影响函数分析，证明收益的鲁棒性。此外，我们提出了新的理论结果，仅基于局部曲率，这可能是用来建立统计和优化性能的建议拱提升算法与高度非凸损失函数。大量的数值计算被用来说明这些理论特性，并揭示了现有的提升方法的优势时，数据表现出一些离群值。
2015-10-05 cs.AI cs.LG math.ST
Efficient, Anytime Algorithms for Calibration with Isotonic Regression under Strictly Convex Losses
我们调查的校准估计，以提高性能的最佳单调变换的估计输出。我们首先研究了传统的平方误差设置及其加权变量，并表明最佳单调变换是一个独特的阶梯函数的形式。我们进一步表明，这种阶梯行为保持一般严格凸损失函数。它们的最佳单调变换也是唯一的，即，存在实现最小损耗的单个阶梯变换。我们提出了一个线性的时间和空间算法，可以找到这样的最佳转换为特定的损失设置。我们的算法有一个在线实现，其中到目前为止观察到的样本的最佳变换是在线性空间和摊销时间中找到的，当样本以有序的方式到达时。我们还扩展我们的结果的情况下，功能是不平凡的单独优化，并提出了一个随时算法，它具有线性空间和伪线性时间复杂度。
2021-10-31 cs.CC cs.LG math.OC
Improved Rates for Differentially Private Stochastic Convex Optimization with Heavy-Tailed Data
University of Waterloo（滑铁卢大学）；Meta；Cornell University（康奈尔大学）
研究了在差分隐私（DP）约束下重尾数据的随机凸优化问题。关于这个问题的大多数先前的工作仅限于损失函数是Lipschitz的情况。相反，介绍了王，肖，Devadas，徐\cite{WangXDX20}，我们研究一般的凸损失函数的梯度分布有界的$k$次矩的假设。我们提供了改进的上界的过度人口风险下集中DP凸和强凸损失函数。一路上，我们推导出新的算法私人均值估计的重尾分布，在纯和集中DP。最后，我们证明了私人随机凸优化强凸损失和均值估计的近匹配下界，显示了新的分离之间的纯和集中DP。
2022-11-01 cs.CR cs.DS cs.LG
DC Proximal Newton for Non-Convex Optimization Problems
Université de Rouen（鲁昂大学）；Université de Nice Sophia-Antipolis（尼斯索菲亚-安提波利斯大学）；CNRS（法国国家科学研究中心）；INSA de Rouen（鲁昂国立应用科学学院）
本文提出一种新的非凸优化算法，通过近端牛顿法处理非凸损失和正则化函数，理论分析证明其极限点为DC目标函数的 stationary points，实验显示其在高维转导学习中更高效。
2015-07-02 cs.LG cs.NA math.NA
A Regularized Online Newton Method for Stochastic Convex Bandits with Linear Vanishing Noise
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
针对噪声随接近最优解线性减小的随机凸赌博机，提出正则化在线牛顿方法，实现多对数遗憾并推广至新噪声模型。
2025-01-19 cs.LG math.OC stat.ML
On Dynamic Regret and Constraint Violations in Constrained Online Convex Optimization
Tata Institute of Fundamental Research（塔塔基础研究所）
一个约束版本的在线凸优化（OCO）问题被认为是。对于时隙时间，对于每个时隙，首先选择一个动作。随后的损失函数和约束违反罚款评估在选定的行动点。对于每个槽，假设损失函数以及定义约束集的函数都是光滑且强凸的。此外，一旦一个动作被选择，一个可行的集在一个小的邻域内的当前动作的本地信息也被揭示。算法被允许在给定所描述的反馈以选择下一动作的情况下在其选择点处计算至多一个梯度。算法的目标是同时最小化动态遗憾（与预言机的损失相比所产生的损失）和约束违反惩罚（与预言机的惩罚相比所产生的惩罚）。我们提出了一个算法，按照投影梯度下降在一个适当的选择集周围的当前动作。我们表明，动态遗憾和约束违反顺序有界的{ \it路径长度}，连续的最佳行动之间的距离之和。此外，我们证明了导出的界限是最好的可能。
2023-01-24 cs.LG math.OC stat.ML
Faster Differentially Private Convex Optimization via Second-Order Methods
Google（谷歌）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research–Brain Team（谷歌研究院大脑团队）
本研究提出利用损失函数二阶信息加速差分隐私凸优化的方法，开发了正则化三次牛顿法的隐私变体，在强凸损失函数上实现二次收敛与最优超出损失，且比DP-GD/DP-SGD快10-40倍。
2023-05-22 cs.CR cs.LG math.OC
Private Stochastic Convex Optimization: Optimal Rates in Linear Time
Apple（苹果公司）；Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）；Google（谷歌）
我们研究了随机凸优化的差分私有（DP）算法：给定独立同分布的最小化种群损失的问题。从凸损失函数上的分布中采样。Basily et al.（2019）最近的一项工作已经建立了给定$n$样本可实现的过量种群损失的最佳界限。不幸的是，他们的算法达到这个界限是相对低效的：它需要$O(\min\{n^{3/2}, n^{5/2}/d\})$梯度计算，其中$d$是优化问题的维度。我们描述了两种新的技术，用于推导DP凸优化算法都实现了最佳的界限上的超额损失和使用$O(\min\{n, n^2/d\})$梯度计算。特别是，算法匹配的最佳非私有算法的运行时间。第一种方法依赖于使用可变批量，并使用Feldman等人（2018）的迭代技术进行隐私放大分析。第二种方法是基于一个一般性的减少本地化的问题的近似最优解与差分隐私。这样的定位，反过来，可以实现使用现有的（非私有）一致稳定的优化算法。在早期的工作中，我们的算法需要一个温和的平滑假设。我们还给出了一个线性时间算法实现的最佳界限上的超额损失的强凸的情况下，以及一个更快的算法的非光滑的情况下。
2020-05-10 cs.CR cs.LG math.OC
Learning with Gradient Descent and Weakly Convex Losses
University of Oxford（牛津大学）；Facebook AI Research（脸书人工智能研究院）
研究了当经验风险为弱凸时，即经验风险的Hessian矩阵的最小负特征值大小有界时梯度下降算法的学习性能。通过证明该特征值可以控制梯度下降的稳定性，证明了泛化误差界与以前的工作相比在更宽的步长范围内保持不变。然后通过将测试误差分解为泛化误差、优化误差和近似误差来实现样本外保证，其中每个误差都可以相对于算法参数、样本量和本征值的大小来界定和权衡。在两层神经网络的情况下，我们证明了经验风险可以满足局部弱凸性的概念，具体地说，Hessian的最小特征值可以通过层的归一化来控制，即，网络扩展这使得当群体风险最小化满足复杂性假设时，可以实现测试误差保证。通过权衡网络的复杂性和可伸缩性，深入了解神经网络伸缩性的隐式偏差，这是进一步支持的实验结果。
2021-06-01 cs.LG math.ST stat.ML
