Multiclass Classification Calibration Functions
University of Alberta（阿尔伯塔大学）
在本文中，我们完善的过程中计算校准功能的多类分类代理损失。校准函数是一个强大的工具，可以轻松地将替代风险的界限（可以通过众所周知的方法计算）转换为真实风险的界限，即犯错误的概率。它们特别适用于非参数设置，其中近似误差可以控制，并且提供比通过替代损失上限0-1损失的常见技术更严格的界限。更复杂的现有校准函数结果的抽象性质要求在逐个情况的基础上明确地导出校准函数，每当需要新的替代损失的界限时，都需要重复的努力。我们设计了一个精简的分析，简化了大量的替代损失，已在文献中提出的推导校准函数的过程。推导校准函数的努力，然后推测在验证中，对于一个选定的替代损失，少量的条件，我们介绍。作为案例研究，我们恢复了Lee等人（2004）的已知损失的现有校准函数，并为已知损失提供了新的校准函数，包括一对所有损失和逻辑斯谛回归损失，以及过去已被证明是分类校准的许多其他损失，但没有导出校准函数。
2016-09-20 cs.LG stat.ML
Efficient Primal-Dual Algorithms for Large-Scale Multiclass Classification
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们开发了有效的算法来训练$\ell_1$ -正则化线性分类器与大维度$d$的特征空间，类数$k$，和样本量$n$。我们的重点是一类特殊的损失，其中包括，特别是，多类铰链和物流损失。我们的方法结合了几个想法：（i）传递到等价的鞍点问题与准双线性目标;（ii）应用随机镜像下降与适当的选择几何，保证了良好的精度界;（iii）设计非均匀采样计划近似的矩阵产品。特别是，对于多类铰链损失，我们提出了一个\textit{sublinear}算法，在$O(d+n+k)$算术运算中进行迭代。
2019-02-11 cs.LG math.OC stat.ML
Online Structured Prediction with Fenchel--Young Losses and Improved Surrogate Regret for Online Multiclass Classification with Logistic Loss
The University of Tokyo（东京大学）；Kyoto University（京都大学）
本文将利用代理差距框架从在线多类分类扩展到基于Fenchel–Young损失的在线结构化预测，提出随机化解码方法，并在逻辑损失下将代理遗憾界改进为O(‖U‖F²)，比先前结果提升d倍。
2024-10-22 cs.LG
Optimal Multiclass U-Calibration Error and Beyond
University of Southern California（南加州大学）
针对在线多类 U-校准问题，证明其最优 U-校准误差为 $Θ(\sqrt{KT})$，并在 Lipschitz 等自然假设下进一步强化误差界限。
2024-05-28 cs.LG stat.ML
Deconstructing Data Reconstruction: Multiclass, Weight Decay and General Losses
Weizmann Institute of Science（魏茨曼科学研究所）；TTI-Chicago（芝加哥丰田技术研究所）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文将训练样本重建方法从二分类多层感知机扩展到多分类与卷积网络及一般损失，并分析权重衰减和神经元数量对可重建性的影响。
2023-11-02 cs.LG
The Multiclass Score-Oriented Loss (MultiSOL) on the Simplex
University of Padova（帕多瓦大学）；Department of Mathematics DIMA（数学系DIMA）；University of Genova（热那亚大学）
本文提出多类分数导向损失（MultiSOL），通过多维阈值框架扩展分数导向损失，保留二分类设置的优势，实现与最新损失函数相当的性能，并揭示简单几何与分数导向学习的交互。
2025-11-27 cs.LG
Consistent Robust Adversarial Prediction for General Multiclass Classification
Carnegie Mellon University（卡内基梅隆大学）；Conversant LLC（Conversant有限责任公司）；California Institute of Technology（加州理工学院）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of Pennsylvania（宾夕法尼亚大学）
我们提出了一个强大的对抗性预测框架一般多类分类。我们的方法寻求预测分布，该预测分布针对（近似）匹配训练数据统计的最坏情况条件标签分布（对抗分布）鲁棒地优化非凸和非连续多类损失度量。虽然优化的损失度量是非凸和非连续的，但该框架的对偶公式是一个凸优化问题，可以重新转换为具有指定凸代理损失的风险最小化模型，我们称之为对抗代理损失。我们表明，对抗性代理损失填补了现有的空白，代理损失建设一般多类分类问题，同时更好地与原始多类损失对齐，保证Fisher一致性，使一种方式，通过内核技巧，将丰富的特征空间，并提供在实践中有竞争力的性能。
2019-11-20 cs.LG stat.ML
Robust Losses from Univariate Base Functions for Noisy-Label Learning
School of Mathematics, Harbin Institute of Technology（哈尔滨工业大学数学学院）；School of Earth and Space Sciences, Peking University（北京大学地球与空间科学学院）
针对噪声标签学习问题，提出从单变量基函数构建鲁棒多类损失的框架，开发两种方案并分析其性质，推导理论标准，所提损失在多噪声设置下经实验验证有竞争力或更优。
2026-07-21 cs.LG
Improved scalability under heavy tails, without strong convexity
真实世界的数据充满了外围值。机器学习面临的挑战是，学习者通常不知道它接收到的反馈（损失、梯度等）会不会是厚尾的在这项工作中，我们研究了一个简单的算法策略，可以利用时，损失和梯度可以重尾。核心技术引入了一个简单的鲁棒验证子例程，用于提高廉价的基于梯度的子过程的信心。与文献中最近的鲁棒梯度下降方法相比，维度依赖性（风险边界和成本）得到了大幅改善，而不依赖于强凸性或昂贵的每步鲁棒性。从经验上讲，我们还表明，在重尾损失下，所提出的程序不能简单地用天真的交叉验证代替。综上所述，我们有一个可扩展的方法，具有透明的保证，它表现良好，没有先验知识的“方便”的反馈，它将收到。
2020-12-15 cs.LG stat.ML
Strong convexity-guided hyper-parameter optimization for flatter losses
North Carolina State University（北卡罗来纳州立大学）；BITS Pilani K.K Birla Goa Campus（BITS Pilani K.K Birla果阿校区）；HappyMonk AI
本文提出一种白盒超参数优化方法，通过最小化损失强凸性以提升平坦度，并在14个分类数据集上以极短运行时间取得强劲性能。
2024-02-07 cs.LG
Exploiting the Surrogate Gap in Online Multiclass Classification
Leiden University（莱顿大学）
我们提出了Gaptron，一个随机的一阶在线多类分类算法。在充分的信息设置中，我们显示预期的错误界相对于逻辑损失，铰链损失，和平滑铰链损失与不断遗憾，其中的期望是相对于学习者的随机性。在强盗分类设置，我们表明，Gaptron是第一个线性时间算法与$O(K\sqrt{T})$预期遗憾，其中$K$是类的数量。此外，Gaptron的预期错误界不依赖于特征向量的维数，与以前的算法$O(K\sqrt{T})$遗憾的强盗分类设置。我们提出了一种新的证明技术，利用零-一损失和代理损失之间的差距，而不是利用属性，如指数或混合性，这是传统上用于证明对数或常数遗憾界。
2021-02-26 cs.LG math.OC stat.ML
General Loss Functions Lead to (Approximate) Interpolation in High Dimensions
Georgia Institute of Technology（佐治亚理工学院）
本文构建统一原始-对偶框架，证明过参数化高维分类中一般凸损失的梯度下降隐式偏差近似为最小范数插值，并恢复指数尾损失的精确等价。
2025-06-09 cs.LG math.OC stat.ML
Weston-Watkins Hinge Loss and Ordered Partitions
University of Michigan（密歇根大学）
支持向量机（SVM）的多类扩展已经以各种方式制定。最近对9种此类公式进行的经验比较[Dobalan等人，2016]推荐了Weston和Watkins（WW）提出的变体，尽管事实上WW铰链损失未相对于0-1损失进行校准。在这项工作中，我们引入了一种新的离散损失函数的多类分类，有序分区损失，并证明了相对于此损失的WW-hinge损失校准。我们还认为，有序分区损失是最大的离散损失满足这一属性的信息。最后，我们应用我们的理论来证明Dopelan等人的经验观察，即WW-SVM即使在大规模标签噪声下也能很好地工作，这对多类SVM来说是一个挑战。
2020-06-12 cs.LG math.OC stat.ML
A Hybrid Loss for Multiclass and Structured Prediction
The University of Adelaide（阿德莱德大学）；The Australian National University（澳大利亚国立大学）；NICTA
我们提出了一种新的混合损失的多类和结构化的预测问题，这是一个凸组合的日志损失的条件随机场（CRF）和多类铰链损失的支持向量机（SVM）。我们提供了一个充分条件时，混合损失是Fisher一致的分类。这个条件取决于标签之间的优势度量-具体来说，最佳标签和第二佳标签的概率之间的差距。我们还证明了Fisher一致性是必要的参数一致性时，学习模型，如CRF。我们的经验表明，混合损失通常执行最少以及-往往优于-它的组成损失的各种任务，如人类行为识别。在这样做的时候，我们还提供了一个实证比较的概率和利润率为基础的方法，多类和结构化预测的功效。
2014-02-09 cs.AI cs.CV cs.LG
Learning with Multiclass AUC: Theory and Algorithms
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Sun Yat-sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）
ROC曲线下面积（AUC）是一个众所周知的排名指标，用于解决不平衡学习和推荐系统等问题。绝大多数现有的基于AUC优化的机器学习方法只关注二进制类的情况，而不考虑多类的情况。在本文中，我们开始了一个早期的试验，考虑通过优化多类AUC指标学习多类评分函数的问题。我们的基础是基于M度量，这是AUC的一个著名的多类扩展。我们首先重新审视了这个指标，表明它可以消除少数类对的不平衡问题。出于这一动机，我们提出了一个经验的替代风险最小化框架，近似优化M度量。理论上，我们证明：（i）优化大多数流行的可微代理损失足以渐近地达到贝叶斯最优评分函数;（ii）训练框架具有不平衡感知的泛化误差界，与传统的$O(\sqrt{1/N})$结果相比，它更关注少数类的瓶颈样本。实际上，为了处理计算操作的低可扩展性，我们提出了三种流行的代理损失函数的加速方法，包括指数损失，平方损失和铰链损失，以加快损失和梯度评估。最后，在11个真实数据集上的实验结果证明了我们提出的框架的有效性。
2021-07-28 cs.LG
Cut your Losses with Squentropy
University of California, San Diego（加州大学圣地亚哥分校）；Halıcıoğlu Data Science Institute（哈利哲奥卢数据科学研究所）；Wisconsin Institute for Discovery（威斯康星发现研究所）
几乎所有用于分类的实用神经模型都是使用交叉熵损失进行训练的。然而，这种普遍存在的选择几乎没有理论或经验证据支持。最近的工作（Hui & Belkin，2020）表明，使用（重新缩放的）平方损失的训练通常在分类准确性方面更优越。在本文中，我们提出了“squentropy”损失，这是两个术语的总和：交叉熵损失和不正确类的平均平方损失。我们提供了一个广泛的多类分类问题的实验表明，squentropy损失优于纯交叉熵和重新缩放平方损失的分类精度。我们还证明，它提供了显着更好的模型校准比这些替代损失，而且，相对于随机初始化的方差较小。此外，与平方损失相比，平方熵损失通常可以使用与标准交叉熵损失完全相同的优化参数（包括学习率）进行训练，使其成为真正的“即插即用”替代品。最后，与重标度平方损失不同，多类平方熵不包含需要调整的参数。
2023-02-08 cs.LG stat.ML
SDCA without Duality, Regularization, and Individual Convexity
The Hebrew University of Jerusalem（希伯来大学）
随机对偶坐标上升是一种求解凸损失情况下正则化损失最小化的流行方法。我们描述了SDCA的变体，不需要显式正则化，不依赖于对偶。我们证明了线性收敛速度，即使个别损失函数是非凸的，只要预期的损失是强凸的。
2016-05-21 cs.LG
Loss Functions for Top-k Error: Analysis and Insights
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）
为了提高现实计算机视觉任务的性能，近年来现代基准数据集中的类数量显着增加。类数量的增加伴随着类标签之间的模糊性增加，这就提出了一个问题，即top-1错误是否是正确的性能度量。在本文中，我们提供了一个广泛的比较和评估，建立多类方法比较他们的top-k性能都从实践和理论的角度来看。此外，我们引入了新的top-k损失函数作为softmax和多类SVM损失的修改，并为它们提供了有效的优化方案。在实验中，我们在各种数据集上比较了所有提出和建立的top-k错误优化方法。本文的一个有趣的见解是，softmax损失同时为所有k产生具有竞争力的top-k性能。对于特定的top-k错误，我们新的top-k损失通常会导致进一步的改进，同时比softmax更快地进行训练。
2016-04-13 cs.CV cs.LG stat.ML
Convergent Privacy Loss of Noisy-SGD without Convexity and Smoothness
Georgia Institute of Technology（佐治亚理工学院）
针对Noisy-SGD隐私分析中内部状态暴露导致界发散的问题，在非凸非光滑损失下证明其收敛R'enyi DP界（仅需Hölder连续梯度），并优化光滑强凸损失的隐私界，拓展了隐藏状态分析的DP适用性。
2025-02-18 cs.CR cs.LG
Conditional Random Fields and Support Vector Machines: A Hybrid Approach
The University of Adelaide（阿德莱德大学）；The Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息与通信技术研究院）
我们提出了一种新的混合损失的多类和结构化的预测问题，这是一个凸组合的日志损失条件随机场（CRF）和多类铰链损失的支持向量机（SVM）。我们提供了一个充分条件时，混合损失是Fisher一致的分类。这个条件取决于标签之间的优势度量-具体来说，最可能的标签之间的每个观察概率的差距。我们还证明了Fisher一致性是必要的参数一致性时，学习模型，如CRF。我们的经验表明，混合损失通常执行至少以及-往往优于-它的各种任务的组成损失。在这样做的过程中，我们还提供了一个实证比较的概率和利润率为基础的方法，多类和结构化的预测和标签的优势对这些结果的影响。
2010-09-17 cs.LG
Multiclass Loss Geometry Matters for Generalization of Gradient Descent in Separable Classification
Blavatnik School of Computer Science, Tel Aviv University（塔夫茨大学布劳维特克计算机科学学院）；Google Research（谷歌研究）
研究可分线性分类中无正则化梯度方法的泛化性能，证明收敛速率受损失模板几何性质而非损失函数本身影响，并建立了多分类设置下基于 $p$-范数平滑模板的风险上下界。
2025-05-28 cs.LG
Dirichlet Follow-the-Leader Closes the Gap in Simultaneous Multiclass U-Calibration
Johns Hopkins University（约翰斯·霍普金斯大学）
本研究提出狄利克雷逐次学习器算法，解决了多类别U校准中预测器的悔策率差距问题，得到的算法对有界和光滑真损失均达到最优悔策率。
2026-08-10 cs.LG
sigmoidF1: A Smooth F1 Score Surrogate Loss for Multilabel Classification
RTL Nederland B.V.（RTL荷兰公司）；University of Amsterdam（阿姆斯特丹大学）
多类多标签分类是通过预测将多个标签归属于示例的任务。当前模型将多标签设置简化为多个二进制分类或多类分类，允许使用现有的损失函数（sigmoid，交叉熵，logistic等）。多标签分类约简不适应每个示例不同数量的标签的预测，并且潜在的损失是对性能指标的遥远估计。我们提出了一个损失函数sigmoidF1，它是F1分数的近似值，（1）对于随机梯度下降是平滑和易处理的，（2）自然地近似于多标签度量，（3）估计标签倾向和标签计数。我们表明，任何混淆矩阵度量都可以用光滑代理来表示。我们评估建议的损失函数的文本和图像数据集，并与各种指标，考虑到多标签分类评价的复杂性。sigmoidF1在一个文本和两个图像数据集以及几个度量上优于其他损失函数。这些结果表明，使用推理时间度量作为损失函数的非平凡的分类问题，如多标签分类的有效性。
2022-10-31 cs.LG stat.ML
Of Dice and Games: A Theory of Generalized Boosting
Universita degli Studi di Milano（米兰大学）；Institute for Advanced Study（高等研究院）；Politecnico di Milano（米兰理工大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Technion（以色列理工学院）；TU Wien（维也纳技术大学）
本研究拓展传统提升理论，构建涵盖代价敏感与多目标损失的广义提升理论，提出弱学习保证分类体系，揭示两类损失的几何等价性，完善了代价敏感场景下的学习理论基础。
2024-12-11 cs.LG stat.ML
Online Quantile Omniprediction for Proper Losses
University of California, Berkeley（加州大学伯克利分校）；University of Toronto（多伦多大学）；ICSI（国际科学计算研究所）；LBNL（劳伦斯伯克利国家实验室）
本文针对现有全预测方法在多分类、连续任务中误差率缓慢的问题，提出在线分位数预测算法，可在动态环境中同时适配多种恰当损失，还可集成COVID-19住院人数的分位数预测。
2026-10-16 cs.LG stat.ME
The Geometry and Calculus of Losses
本文以具有特定结构的凸集为基础，将损失定义为其支撑函数的次梯度，揭示损失与（反）范数关系，发展损失微积分及极损失理论。
2023-08-17 cs.IT cs.LG math.IT
An Improved Privacy and Utility Analysis of Differentially Private SGD with Bounded Domain and Smooth Losses
UST
本文改进了差分隐私随机梯度下降的隐私和效用分析，针对有界域和光滑损失函数，揭示了隐私损失收敛机制及隐私效用权衡的理论界。
2026-01-15 cs.CR cs.LG stat.ML
Online Non-Stationary Stochastic Quasar-Convex Optimization
The Australian National University（澳大利亚国立大学）
本文研究动态环境下的在线随机类星体凸优化，建立基于累积路径变化和梯度方差的在线梯度下降遗憾界，并将其应用于时变参数的广义线性模型，给出多种激活函数下的遗憾界并通过数值实验验证。
2024-07-04 cs.LG math.OC
Unified Focal loss: Generalising Dice and cross entropy-based losses to handle class imbalanced medical image segmentation
University of Cambridge（剑桥大学）；University of Salerno（萨莱诺大学）
自动分割方法是医学图像分析的一个重要进展。机器学习技术，特别是深度神经网络，是大多数医学图像分割任务的最新技术。类不平衡的问题对医学数据集构成了重大挑战，病变通常相对于背景占据相当小的体积。用于深度学习算法训练的损失函数在对类别不平衡的鲁棒性方面有所不同，这对模型收敛有直接影响。最常用的分割损失函数是基于交叉熵损失、骰子损失或两者的组合。我们提出了统一的焦点损失，一个新的层次框架，概括骰子和交叉熵为基础的损失处理类的不平衡。我们在五个公开的、类别不平衡的医学成像数据集上评估了我们提出的损失函数：CVC-ClinicDB、用于血管提取的数字视网膜图像（DRIVE）、乳腺超声2017（BUS 2017）、脑肿瘤分割2020（BraTS 20）和肾肿瘤分割2019（KiTS 19）。我们比较了我们的损失函数的性能与六个骰子或交叉熵为基础的损失函数，在2D二进制，3D二进制和3D多类分割任务，表明我们提出的损失函数是强大的类不平衡，并始终优于其他损失函数。源代码可从以下网址获得：https://github.com/mlyg/unified-focal-loss
2021-11-24 cs.CV cs.LG eess.IV
Privacy Loss of Noisy Stochastic Gradient Descent Might Converge Even for Non-Convex Losses
McMaster University（麦克马斯特大学）；Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México（墨西哥国立自治大学应用数学与系统研究所）
本文研究了非凸损失下DP-SGD的隐私损失问题，证明了在不依赖凸性或平滑性假设时，投影DP-SGD的隐私损失能呈指数级收敛，并利用非线性数据处理不等式分析了非投影变体。
2023-05-17 cs.CR cs.IT cs.LG
Regret Bounds without Lipschitz Continuity: Online Learning with Relative-Lipschitz Losses
University of British Columbia（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
在线凸优化（OCO）中，通常假设函数的Lipschitz连续性以获得次线性遗憾。而且，当这些函数也是强凸函数时，许多算法只有对数遗憾。近年来，凸优化领域的研究者提出了“相对Lipschitz连续性”和“相对强凸性”的概念。这两个概念都是经典概念的推广。它已被证明，次梯度方法在相对设置具有类似于他们的性能在经典设置的性能。在这项工作中，我们考虑OCO相对Lipschitz和相对强凸函数。我们扩展了经典OCO算法的遗憾界的相对设置。具体来说，我们显示遗憾的界限遵循正规化的领导者算法和在线镜像下降的一个变体。由于这些方法的通用性，这些结果产生各种各样的OCO算法的遗憾界。此外，我们进一步扩展的结果与额外的正则化算法，如正则化双平均。
2020-12-28 cs.LG math.OC
DPO Unchained: Your Training Algorithm is Secretly Disentangled in Human Choice Theory (and its Loss' Convexity is Dispensable)
Google Research（谷歌研究）；Google DeepMind（谷歌DeepMind）；Work done while at Google DeepMind（在谷歌深Mind的工作）；CEE-M, Univ Montpellier, CNRS, INRAE, Institut Agro（CEE-M，蒙彼利埃大学，CNRS，INRAE，农业研究所）
本文揭示了DPO与人类选择理论的深层联系，证明其损失函数凸性并非必需，并扩展了非凸损失、任意人类选择模型嵌入等新特性。
2026-06-23 cs.AI cs.CL cs.LG
EnsLoss: Stochastic Calibrated Loss Ensembles for Preventing Overfitting in Classification
The Chinese University of Hong Kong（香港中文大学）
本文提出EnsLoss方法，将集成学习扩展到损失函数层面，通过随机校准损失导数在单次训练中实现损失集成，并在多个数据集上验证了其优于固定损失方法的性能。
2024-09-04 cs.LG stat.ME stat.ML
Convex Dominance in Deep Learning I: A Scaling Law of Loss and Learning Rate
FAIR, Meta Superintelligence Labs（FAIR，Meta超智能实验室）；Independent Researcher（独立研究者）
本研究通过凸性视角构建了深度学习中损失与学习率的缩放定律，揭示了训练初期弱凸特性及学习率调度对损失预测的影响。
2026-02-06 cs.CL cs.LG math.OC
A New Family of Generalization Bounds Using Samplewise Evaluated CMI
Chalmers University of Technology（查尔姆斯理工大学）
我们提出了一个新的家庭的信息理论的推广界，其中的训练损失和人口损失的比较，通过一个联合凸函数。这个函数是上界的解体，抽样，评估条件互信息（CMI），信息措施，取决于所选择的假设所产生的损失，而不是假设本身，是常见的可能近似正确（PAC）-贝叶斯结果。我们证明了这个框架的一般性，通过恢复和扩展以前已知的信息理论界。此外，使用评估的CMI，我们推导出Seeger的PAC-贝叶斯界的样本平均版本，其中凸函数是二进制KL分歧。在某些情况下，这种新的界限导致比以前的界限更严格地表征深度神经网络的种群损失。最后，我们得出这些平均界限的高概率版本。我们证明了统一性的评估CMI界使用它们来恢复平均和高概率的广义界有限Natarajan维的多类分类。
2023-03-27 cs.IT cs.LG math.IT
Privacy of the last iterate in cyclically-sampled DP-SGD on nonconvex composite losses
Google Research（谷歌研究院）
针对DP-SGD最后迭代隐私核算的挑战，本研究放弃强假设，为循环采样、梯度裁剪的DP-SGD变体建立了基于小步长和利普希茨光滑性的RDP上界，提升了最后迭代隐私核算的实用性。
2025-02-10 cs.CR cs.DS cs.LG
Loss Functions and Operators Generated by f-Divergences
Google DeepMind（谷歌DeepMind）
本研究基于$f$-散度构建推广逻辑损失的凸损失函数，提出对应$f$-softargmax算子及可并行二分计算算法，实证发现α=1.5的α-散度损失在语言模型多任务中表现良好。
2025-06-12 cs.LG stat.ML
Online stochastic gradient descent on non-convex losses from high-dimensional inference
University of California, Berkeley（加州大学伯克利分校）；University of Waterloo（滑铁卢大学）
本文研究高维推断中非凸损失上的在线随机梯度下降，提出基于信息指数的样本复杂度阈值，揭示初始搜索阶段消耗大部分数据，随后快速收敛。
2021-05-10 cs.LG math.PR math.ST
Reconstructing Test Labels from Noisy Loss Functions
Amazon（亚马逊）
机器学习分类器依赖于损失函数进行性能评估，通常是在私有（隐藏）数据集上。在最近的一系列研究中，标签推理被引入作为仅从在所选预测向量处评估的（可能扰动的）交叉熵损失函数值重建该私有数据集的地面真值标签的问题（没有对隐藏数据集的任何其他访问）。在本文中，我们正式研究的必要条件和充分条件下，标签推断是可能的\emph{any}（噪声）损失函数值。使用工具，从分析数论，我们表明，广泛的一类常用的损失函数，包括一般Bregman分歧为基础的损失和多类交叉熵与常见的激活函数，如sigmoid和softmax，它是可能的设计标签推理攻击，即使成功的任意噪声水平，并只使用一个单一的查询从对手。我们正式研究了标签推理的计算复杂性，并表明，虽然在一般情况下，为这些攻击设计对抗性预测向量是co-NP-hard的，但一旦我们拥有这些向量，攻击也可以通过对任何神经网络模型的轻量级增强来进行，使它们看起来是良性的，难以检测。本文中的观察提供了对现代机器学习固有漏洞的更深入理解，并可用于设计未来值得信赖的机器学习。
2021-10-30 cs.LG
Introducing the CZAR Loss: A Tailored Objective Function for Financial Log-Return Predictions
Allora Foundation（Allora基金会）；Liverpool John Moores University（利物浦约翰摩尔大学）
针对金融对数收益预测中对称损失导致零预测偏差的问题，提出CZAR分段二次损失函数，在凸性、非对称惩罚等五要求下设计，实验证明其降低方向准确率阈值并提升大波动预测效果。
2026-09-30 cs.CE cs.LG q-fin.CP
Conveyance: A Versatile Framework for Learning in Structured Class Spaces
Centre for Artificial Intelligence in Public Health Research, Robert Koch Institute（公共健康人工智能研究中心，罗伯特· Koch 研究所）；Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；Institute for AI in Medicine, Charité Universitätsmedizin Berlin（医学人工智能研究所，柏林夏里特大学医学院）
针对标准损失函数忽略类间结构关系的问题，提出Conveyance分类方法，通过最大化不同类划分上的两个间隔来编码图结构关系，在层次分类、序数回归和多实例学习任务中达到或超越专用基线。
2026-11-02 cs.LG
Private Non-Convex Federated Learning Without a Trusted Server
University of Southern California（南加州大学）
研究无可信服务器下的非凸跨孤岛联邦学习，提出ISRL-DP与Shuffle DP算法，在非凸非平滑及异构数据下达到接近最优效用并改进现有界限。
2023-06-25 cs.CR cs.LG math.OC
Universal Online Convex Optimization Meets Second-order Bounds
National Key Laboratory for Novel Software Technology（现代软件工程国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）；JD AI Research（京东AI研究院）
本文提出一种通用在线凸优化策略，通过专家集合与带二阶界和超额损失的元算法聚合预测，统一处理强凸、指数凹和一般凸函数，并扩展至在线复合优化，在保持极小极大最优性的同时取得问题相关遗憾界。
2024-11-20 cs.LG math.OC
Ratio-based Loss Functions
Department of Mathematics, University of Bayreuth, Chair of Stochastics and Machine Learning（数学系，拜罗伊特大学，随机过程与机器学习研究所）
本文综述了一类称为比率型的损失函数，探讨其连续性、Lipschitz连续性、凸性和可微性等性质，为未来研究提供基础。
2026-05-07 cs.LG math.ST stat.ML
Accelerated Neural Network Training with Rooted Logistic Objectives
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
该研究针对神经网络训练收敛受数据可分性限制的问题，设计了严格凸的有根逻辑损失函数，在多类模型和基准上实现更快收敛与性能提升，并可用于生成模型微调。
2023-10-05 cs.AI cs.CV cs.LG
