Online Convex Optimization with Unconstrained Domains and Losses
Stanford University（斯坦福大学）
我们提出了一个在线凸优化算法（RescaledExp），实现了最佳的遗憾，在无约束的设置没有任何先验知识的损失函数的界限。我们证明了一个下界显示现有的算法，需要一个已知的界上的损失函数和任何算法，不需要这样的知识的遗憾之间的指数分离。RescaledExp在迭代次数上渐进地匹配此下限。RescaledExp本质上是无超参数的，我们根据经验证明它与需要超参数优化的先前优化算法相匹配。
2017-03-07 cs.LG stat.ML
Fast Global Convergence via Landscape of Empirical Loss
Faculty of Electrical Engineering, Technion（以色列理工学院电气工程学院）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H. Milton Stewart工业与系统工程学院）
虽然优化凸目标（损失）函数已经成为机器学习的动力至少二十年，非凸损失函数最近吸引了快速增长的兴趣，由于许多理想的属性，如优越的鲁棒性和分类精度，与他们的凸对应。非凸估计的主要障碍是，它是在一般情况下难以找到最优解。本文研究了一些非凸M-估计的计算问题。特别是，我们证明了随机方差缩减方法收敛到全局最优的线性速率，通过利用人口损失的统计性质。在此基础上，我们改进了\cite{mei2016landscape}中批梯度法的收敛性分析。
2018-02-13 cs.LG stat.ML
Curriculum Loss: Robust Learning and Generalization against Label Corruption
Centre for Artificial Intelligence, University of Technology Sydney（悉尼科技大学人工智能中心）
深度神经网络（DNN）具有强大的表达能力，甚至可以记住带有错误标签的样本。在DNN中重申鲁棒性和泛化性对标签损坏至关重要。为此，本文研究了0-1损失，它与经验对手（重新加权）风险\citep{hu2016does}具有单调关系。虽然0-1损失具有一些鲁棒性，但难以优化。为了有效地优化0-1损失，同时保持其鲁棒性，我们提出了一种非常简单和有效的损失，即课程损失（CL）。我们的CL是一个更严格的上限的0-1损失相比，传统的总和为基础的替代损失。此外，CL可以自适应地选择用于模型训练的样本。因此，我们的损失可以被视为课程样本选择策略的一个新视角，它在课程学习和鲁棒学习之间架起了一座桥梁。基准数据集上的实验结果验证了所提出的损失的鲁棒性。
2020-02-21 cs.LG stat.ML
SDCA without Duality, Regularization, and Individual Convexity
The Hebrew University of Jerusalem（希伯来大学）
随机对偶坐标上升是一种求解凸损失情况下正则化损失最小化的流行方法。我们描述了SDCA的变体，不需要显式正则化，不依赖于对偶。我们证明了线性收敛速度，即使个别损失函数是非凸的，只要预期的损失是强凸的。
2016-05-21 cs.LG
Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses
The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）；Pontificia Universidad Católica de Chile（智利天主教大学）
一致稳定性是算法稳定性的一个概念，当数据集中的单个数据点被替换时，它限制了算法输出的模型中的最坏情况变化。Hardt等人（2016）的一项有影响力的工作提供了随机梯度下降（SGD）算法在充分光滑凸损失上的一致稳定性的强上界。这些结果导致了重要的进展，在理解的推广性质的SGD和几个应用程序的差异私人凸优化光滑损失。我们的工作是第一个解决的一致稳定性SGD { \em nonsmooth}凸损失。具体来说，我们提供了尖锐的上限和下限的几种形式的SGD和全批GD任意Lipschitz非光滑凸损失。我们的下界表明，在非光滑的情况下，（S）GD可以是固有的稳定性比在光滑的情况下。另一方面，我们的上界表明（S）GD是足够稳定的推导新的和有用的泛化误差的界限。最值得注意的是，我们得到了第一个维度独立的推广界多通SGD在非光滑的情况下。此外，我们的界限允许我们推导出一个新的算法差分私人非光滑随机凸优化与最优超额人口风险。对于非光滑情况，我们的算法比最著名的算法更简单，更有效。Feldman et al.（2020）。
2020-06-12 cs.LG math.OC stat.ML
SDCA without Duality
The Hebrew University（希伯来大学）
随机对偶坐标上升是一种求解凸损失情况下正则化损失最小化的流行方法。在本文中，我们将展示如何SDCA的一个变体可以应用于非凸损失。我们证明了线性收敛速度，即使个别损失函数是非凸的，只要期望损失是凸的。
2015-02-22 cs.LG
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University（波士顿大学）；Google（谷歌）
随机梯度下降（SGD）在机器学习中发挥了核心作用。然而，它需要一个精心挑选的步长来快速收敛，这是众所周知的繁琐和耗时的调整。在过去的几年里，大量的自适应梯度算法已经出现，以改善这个问题。他们已被证明有效地减少劳动调整在实践中，但他们中的许多人缺乏理论保证，即使在凸设置。在本文中，我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来，这导致SGD算法具有自调整的步长，保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
A Convex Loss Function for Set Prediction with Optimal Trade-offs Between Size and Conditional Coverage
Inria（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）
本文提出了一种用于集合预测的凸损失函数，通过优化集合大小与条件覆盖之间的平衡，提升分类和回归任务的性能。
2025-12-22 cs.LG math.OC stat.ML
Online Learning on Hidden-Convex Losses via Algorithmic Equivalence: Optimal Regret, Geometric Barrier, and Bandit Feedback
Singapore University of Technology and Design（新加坡科技设计大学）；National Technical University of Athens（雅典国家技术大学）；National and Kapodistrian University of Athens（雅典国家与卡多斯大学）；University of California, Irvine（加州大学 Irvine 分校）；Archimedes, Athena Research Center, Greece（希腊阿提卡研究中心 Archimedes）；National University of Singapore, Centre for Quantum Technologies（新加坡国立大学 量子技术中心）
本文通过更精确的离散时间算法等价性论证，证明在线梯度下降在隐凸损失上达到最优的$\mathcal{O}(\sqrt{T})$遗憾，并澄清了所需几何条件，同时扩展到单点Bandit反馈得到$\mathcal{O}(T^{3/4})$期望遗憾。
2026-05-25 cs.LG math.OC stat.ML
Private Stochastic Convex Optimization with Optimal Rates
The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）；University of California Santa Cruz（加州大学圣克鲁兹分校）
研究了随机凸优化问题的差分隐私算法。在这个问题中，目标是近似最小化给定i.i.d.的种群损失。样本来自凸函数和Lipschitz损失函数上的分布。现有的一长串关于私有凸优化的工作集中在经验损失上，并推导出超额经验损失的渐近紧界。然而，一个显着的差距存在于已知的人口损失的界限。我们发现，对数因子，DP算法的最佳过剩人口损失等于较大的最佳非私人过剩人口损失，和DP算法的最佳过剩经验损失。这意味着，相反的直觉基于私营企业风险管理，私营SCO有渐近相同的$1/\sqrt{n}$率为非私营SCO的参数制度中最常见的实践。此设置中的最佳先前结果给出$1/n^{1/4}$的速率。我们的方法建立在现有的差分隐私算法，并依赖于算法的稳定性分析，以确保泛化。
2019-08-27 cs.CR cs.DS cs.LG
CLASP: An online learning algorithm for Convex Losses And Squared Penalties
Department of Computer Science, NOVA School of Science and Technology（计算机科学系，NOVA科学与技术学院）；Institute for Systems and Robotics, LARSyS, Instituto Superior Técnico, Universidade de Lisboa（系统与机器人研究所，LARSyS，理工学院，里斯本大学）
CLASP是一种用于凸损失和平方惩罚的在线学习算法，通过利用凸投影的强非扩张性，实现了对强凸问题的对数级别的悔值和累积惩罚保证。
2026-01-24 cs.LG math.OC
Improved Rates for Differentially Private Stochastic Convex Optimization with Heavy-Tailed Data
University of Waterloo（滑铁卢大学）；Meta；Cornell University（康奈尔大学）
研究了在差分隐私（DP）约束下重尾数据的随机凸优化问题。关于这个问题的大多数先前的工作仅限于损失函数是Lipschitz的情况。相反，介绍了王，肖，Devadas，徐\cite{WangXDX20}，我们研究一般的凸损失函数的梯度分布有界的$k$次矩的假设。我们提供了改进的上界的过度人口风险下集中DP凸和强凸损失函数。一路上，我们推导出新的算法私人均值估计的重尾分布，在纯和集中DP。最后，我们证明了私人随机凸优化强凸损失和均值估计的近匹配下界，显示了新的分离之间的纯和集中DP。
2022-11-01 cs.CR cs.DS cs.LG
Fast Distributed Coordinate Descent for Non-Strongly Convex Losses
School of Mathematics, University of Edinburgh, Edinburgh, EH9 3JZ, United Kingdom
提出了一种有效的分布式随机坐标下降法，用于极小化正则化非强凸损失函数。该方法获得最佳的$O(1/k^2)$收敛速度，其中$k$是迭代计数器。工作的核心是步长参数的理论研究。我们已经实现了Archer -在英国最大的超级计算机的方法，并表明该方法能够解决（合成）LASSO最优化问题与50亿个变量。
2014-07-27 cs.LG math.OC
Online Convex Optimization Against Adversaries with Memory and Application to Statistical Arbitrage
Technion（以色列理工学院）
具有记忆的在线学习的框架自然地捕获具有时间约束的学习问题，并且先前针对专家设置进行了研究。在这项工作中，我们扩展的概念，学习与记忆的一般在线凸优化（OCO）的框架，并提出了两个算法，达到低遗憾。第一个算法适用于Lipschitz连续损失函数，获得凸和强凸损失的最优遗憾界。第二个算法达到最佳遗憾界，并适用于更广泛的凸损失，而不需要Lipschitz连续性，但更复杂的实现。我们补充我们的理论结果与金融统计套利的应用：我们设计算法构建均值回复投资组合。
2014-06-10 cs.LG
Hierarchical Class-Based Curriculum Loss
Samsung Research America（三星美国研究院）
机器学习中的分类算法通常假设平坦标签空间。然而，大多数真实世界的数据在标签之间具有依赖性，这通常可以通过使用层次结构来捕获。利用这种关系，可以帮助开发一个模型，能够满足依赖关系，提高模型的准确性和可解释性。此外，由于层次结构中的不同级别对应于不同的粒度，因此同等地惩罚每个标签可能不利于模型学习。在本文中，我们提出了一个损失函数，分层课程损失，具有两个属性：（i）满足标签空间中存在的分层约束，以及（ii）根据标签在层次结构中的级别为标签提供非均匀权重，通过训练范式隐式学习。我们从理论上表明，建议的损失函数是一个更严格的0-1损失的限制相比，任何其他损失满足层次约束。我们测试我们的损失函数在现实世界的图像数据集，并表明，它显着大幅优于多个基线。
2020-06-05 cs.CV cs.LG stat.ML
Mollifying Networks
University of Montreal（蒙特利尔大学）；University of Oxford（牛津大学）；Politecnico di Milano（米兰理工大学）
由于损失函数的高度非凸性质，深度神经网络的优化可能比传统的凸优化问题更具挑战性，例如，它可能涉及病态景观，例如鞍形表面，对于基于简单梯度下降的算法来说，鞍形表面可能难以逃脱。在本文中，我们从一个平滑的-或\textit{mollified} -目标函数开始攻击高度非凸神经网络的优化问题，该目标函数在训练过程中逐渐具有更多的非凸能量景观。我们的命题受到最近连续方法研究的启发：类似于课程方法，我们开始学习一个更容易（可能是凸的）的目标函数，并让它在训练过程中发展，直到它最终回到原始的，难以优化的目标函数。通过在训练过程中退火的单个超参数来控制软化网络的复杂性。我们显示各种困难的优化任务的改进，并建立与最近的工作连续方法的神经网络和软化的关系。
2016-08-17 cs.LG cs.NE
Mitigating Privacy Risk in Membership Inference by Convex-Concave Loss
Southern University of Science and Technology（南方科技大学）；Singapore University of Technology and Design（新加坡科技设计大学）；South China University of Technology（华南理工大学）；Jilin University（吉林大学）
针对梯度上升防御成员推理攻击导致训练不稳定的问题，本文提出Convex-Concave Loss，通过凹项降低损失凸性并以梯度下降增大训练损失方差，实现更优的隐私-效用权衡。
2024-06-18 cs.CR cs.LG
Convergent Privacy Loss of Noisy-SGD without Convexity and Smoothness
Georgia Institute of Technology（佐治亚理工学院）
针对Noisy-SGD隐私分析中内部状态暴露导致界发散的问题，在非凸非光滑损失下证明其收敛R'enyi DP界（仅需Hölder连续梯度），并优化光滑强凸损失的隐私界，拓展了隐藏状态分析的DP适用性。
2025-02-18 cs.CR cs.LG
Recurrent Neural Network Training with Convex Loss and Regularization Functions by Extended Kalman Filtering
IMT School for Advanced Studies（IMT高等研究院）
本文研究了使用扩展卡尔曼滤波来训练具有相当一般的凸损失函数和正则化项的递归神经网络的网络参数，包括$\ell_1$ -正则化。我们表明，学习方法是有竞争力的随机梯度下降在非线性系统辨识基准和训练线性系统的二进制输出。我们还探讨了该算法在数据驱动的非线性模型预测控制中的应用及其与无偏置闭环跟踪干扰模型的关系。
2022-11-02 cs.LG cs.SY eess.SY
Privacy Loss of Noisy Stochastic Gradient Descent Might Converge Even for Non-Convex Losses
McMaster University（麦克马斯特大学）；Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México（墨西哥国立自治大学应用数学与系统研究所）
本文研究了非凸损失下DP-SGD的隐私损失问题，证明了在不依赖凸性或平滑性假设时，投影DP-SGD的隐私损失能呈指数级收敛，并利用非线性数据处理不等式分析了非投影变体。
2023-05-17 cs.CR cs.IT cs.LG
A Curriculum View of Robust Loss Functions
Zhihu Inc.（知乎公司）；Westlake University（西湖大学）
该研究从课程视角分析鲁棒损失函数，将其重写为同类别分数间隔、不同样本加权函数的形式，解释欠拟合与鲁棒性的成因，通过调整课程提升欠拟合鲁棒损失的性能，并指出训练调度对噪声鲁棒性的重要影响。
2023-05-03 cs.CL cs.LG
Heterogeneous Graph Neural Networks with Loss-decrease-aware Curriculum Learning
Central South University（中南大学）
针对异构图神经网络课程学习中以绝对损失衡量样本难度的不足，提出依据 epoch 间损失下降趋势评估难度的 LDTS 及缓解训练不平衡的采样策略，构建 LDHGNN 并验证其有效性。
2024-05-10 cs.AI cs.LG
SAT: Improving Adversarial Training via Curriculum-Based Loss Smoothing
University of California, Berkeley（加州大学伯克利分校）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
对抗训练（AT）已经成为训练健壮网络的热门选择。然而，它倾向于牺牲干净的准确性，有利于鲁棒性，并遭受大的泛化误差。为了解决这些问题，我们提出了平滑对抗训练（SAT），由我们对损失Hessian的特征谱的分析指导。我们发现，课程学习，一个方案，强调开始“容易”，并逐步增加对“困难”的培训，平滑的对抗性损失的景观，为一个适当选择的难度度量。我们提出了一个一般的配方课程学习在对抗设置，并提出了两个难度度量的基础上的最大海森特征值（H-SAT）和软最大概率（P-SA）。我们证明，即使在大的扰动范数下，SAT也能稳定网络训练，并使网络能够以比AT更好的精确度与鲁棒性权衡曲线运行。与AT、TRADES和其他基线相比，这导致了清洁准确性和鲁棒性的显著提高。为了突出一些结果，与AT相比，我们的最佳模型在CIFAR-100上分别将正常和鲁棒精度提高了6%和1%。在Imagenette上，ImageNet的十类子集，我们的模型在正常和鲁棒准确度上分别比AT高出23%和3%。
2021-11-08 cs.CR cs.LG stat.ML
Loss-aware Curriculum Learning for Heterogeneous Graph Neural Networks
Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）；KongFoo Technology Co., Ltd.（孔府科技有限公司）
本文提出损失感知训练调度方法 LTS，通过按节点质量由易到难组织训练，提升异构图神经网络的鲁棒性与准确率。
2024-02-29 cs.LG
Worst-Case-Aware Curriculum Learning for Zero and Few Shot Transfer
National University of Defense Technology（国防科技大学）；University of Copenhagen（哥本哈根大学）
基于预训练语言编码器的多任务迁移学习在一系列任务中实现了最先进的性能。标准方法隐含地假设我们有训练数据的任务同样代表我们感兴趣的任务，这一假设通常很难证明。本文提出了一种更不可知的方法来多任务迁移学习，它使用自动化的课程学习，以尽量减少一个新的家庭的最坏情况下意识的损失跨任务。这些损失不仅导致在异常值任务上的更好的性能;它们还导致在zero-shot和Few-Shot传输设置中的更好的性能。
2020-09-23 cs.CL cs.LG
Curriculum-based Asymmetric Multi-task Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Tencent Inc.（腾讯公司）；JD.com Inc.（京东集团）
我们介绍CAMRL，第一个基于非对称多任务学习（AMTL）算法，用于处理多个强化学习（RL）任务。为了减轻基于CAMRL的AMTL中定制一次性训练顺序的负面影响，CAMRL根据训练时间、总体性能和任务间性能差距的指标，在并行单任务RL和非对称多任务RL（MTRL）之间切换其训练模式。为了灵活地利用多源先验知识并减少AMTL中的负传递，我们定制了具有多个可微排序函数的复合损失，并通过交替优化和Frank-Wolfe算法来优化损失。基于不确定性的超参数自动调整也被应用于消除在优化过程中费力的超参数分析的需要。通过优化复合损失，CAMRL预测下一个训练任务，并不断重新访问传递矩阵和网络权重。我们已经在多任务RL中进行了广泛的基准测试，包括Gym-minigrid，Meta-world，Atari视频游戏，基于视觉的PyBullet任务和RLBench，以显示CAMRL相对于相应的单任务RL算法和最先进的MTRL算法的改进。代码可在以下网址获得：https://github.com/huanghanchi/CAMRL
2022-11-07 cs.LG
Dual-Criterion Curriculum Learning: Application to Temporal Data
Université Paris Saclay, Université Paris Cité, ENS Paris Saclay, CNRS, SSA, INSERM, Centre Borelli（巴黎萨克雷大学、巴黎cité大学、巴黎萨克雷高等师范学院、国家科学研究中心、SSA、国家医学研究院、Borelli中心）；Centre d’Analyse et de Mathématique Sociales, EHESS, CNRS（分析与数学社会研究中心、高等社会科学学院、国家科学研究中心）；EDF R&D（电力公司研发）
本文提出双标准课程学习框架，结合损失和密度标准提升时间序列预测的训练效果。
2026-03-24 cs.AI cs.LG
Crowd Counting via Segmentation Guided Attention Networks and Curriculum Loss
Durham University（杜伦大学）
自动人群行为分析是智能交通系统的一项重要任务，可以有效地控制不同道路参与者的流量和动态路线规划。人群计数是自动人群行为分析的关键之一。近年来，使用深度卷积神经网络（CNN）的人群计数取得了令人鼓舞的进展。研究人员已经投入了大量的精力来设计变体CNN架构，其中大多数都是基于预训练的VGG 16模型。由于表达能力不足，VGG 16的骨干网络之后通常是另一个专门为良好的计数性能而设计的笨重网络。虽然VGG模型在图像分类任务中的表现已经超过了Inception模型，但是现有的使用Inception模块构建的人群计数网络仍然只有少量的具有基本类型的Inception模块的层。为了填补这一空白，在本文中，我们首先在常用的人群计数数据集上对基线Inception-v3模型进行了基准测试，并取得了令人惊讶的良好性能，与大多数现有的人群计数模型相当或更好。随后，我们通过提出一个以Inception-v3为骨干的分段引导注意力网络（SGANet）和一个用于人群计数的新课程损失，进一步推动了这项颠覆性工作的边界。我们进行了全面的实验，我们的SGANet与现有技术的性能进行比较，所提出的模型可以达到最先进的性能与MAE为57.6，6.3和87.6上海科技A，上海科技B和UCF\_QNRF，分别。
2020-08-03 cs.CV cs.LG cs.MM
Curriculum Learning Meets Weakly Supervised Modality Correlation Learning
Sun Yat-sen University（中山大学）
在多模态情感分析（MSA）领域，一些研究利用存储在样本中的固有模态相关信息进行自监督学习。然而，他们以随机顺序喂养训练对，而不考虑难度。在没有人工注释的情况下，自监督学习生成的训练对通常包含噪声。如果在简单阶段使用噪声或硬对进行训练，模型可能会陷入糟糕的局部最优。本文将课程学习引入到弱监督模态相关学习中。弱监督相关学习利用标签信息来生成负对的分数，以学习更具鉴别力的嵌入空间，其中负对被定义为来自不同样本的两个单峰嵌入。为了辅助相关学习，我们提出的课程学习，其中包括精心设计的评分和喂养功能，根据难度的训练对喂给模型。评分函数使用预先训练的和当前的相关性预测器来计算对的难度，其中具有大损失的对被定义为硬对。值得注意的是，在我们的算法中丢弃了最难的对，这些对被假设为噪声对。此外，馈送函数将相关损失的差异作为反馈来确定馈送动作（"停留"、"后退"或"前进"）。所提出的方法在MSA上达到了最先进的性能。
2022-12-15 cs.LG
On the transferability of adversarial examples between convex and 01 loss models
New Jersey Institute of Technology（新泽西理工学院）
在存在离群值的情况下，01损失给出了与凸损失模型不同且更准确的边界。边界的差异是否可以转化为在01损失模型和凸模型之间不可转移的对抗性示例？我们在本文中通过研究线性01损失和凸（铰链）损失模型之间以及具有符号激活和01损失的双层神经网络与sigmoid激活和logistic损失之间的对抗性示例的可转移性来经验性地探索这一点。我们首先证明了白盒对抗性例子在凸模型和01损失模型之间以及01损失模型之间不能有效地转移。由于这种不可转移性，我们看到凸替代模型黑盒攻击对01损失的有效性低于凸模型。有趣的是，我们还看到01损失替代模型攻击在凸模型和01损失模型上都是无效的，这很可能是由于01损失模型的非唯一性。我们直观地展示了异常值的存在如何导致01和凸损失模型之间的不同决策边界，从而产生不可转移的对手。事实上，我们在MNIST上看到，对手在01损失和凸模型之间的转移比在CIFAR10和ImageNet上更容易，后者可能包含离群值。我们直观地展示了01损失的非连续性如何使对手在双层神经网络中不可转移。我们将CIFAR10特征离散化，使其更像MNIST，并发现它并没有提高可转移性，因此表明由于离群值而导致的不同边界更可能是不可转移性的原因。由于这种不可转移性，我们表明，我们的双层符号激活网络与01损失可以达到与简单的卷积网络相当的鲁棒性。
2020-07-29 cs.LG stat.ML
Minimizing The Misclassification Error Rate Using a Surrogate Convex Loss
University of Waterloo（滑铁卢大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；University of Pennsylvania（宾夕法尼亚大学）
我们仔细研究如何以及最小化凸代理损失函数，对应于最小化的误分类出错率的线性预测的二元分类问题。特别是，我们表明，在所有凸代理损失，铰链损失基本上是最好的可能的范围内，所有凸损失函数，误分类出错率的最佳保证金出错率的线性预测。我们还提供了具体的凸代理人，显示不同的常用损失定性地彼此不同的下限。
2012-06-27 cs.LG stat.ML
HuCurl: Human-induced Curriculum Discovery
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
提出HuCurl课程发现框架，利用标注熵和损失度量样本难度，在课程空间中自动发现有效课程，证明最优课程常为非单调且可跨数据集与模型规模迁移。
2023-07-14 cs.CL cs.LG
The Lovász Hinge: A Novel Convex Surrogate for Submodular Losses
CentraleSupélec, Université Paris-Saclay（巴黎萨克雷大学中央理工高等电力学院）；Inria（法国国家信息与自动化研究所）；KU Leuven（鲁汶大学）
当同时进行多组预测时，非模块化损失的学习是一个重要的问题。构造用于集合预测的凸代理损失函数的主要工具是边缘重标度和松弛重标度。在这项工作中，我们表明，这些策略导致紧凸代理，当潜在的损失函数是增加不正确的预测的数量。然而，梯度或切割平面计算这些功能是NP难的非超模损失函数。相反，我们提出了一种新的替代损失函数的子模块损失，Lovász铰链，这导致O（p log p）的复杂性与O（p）oracle访问损失函数计算梯度或切割平面。我们证明了Lovász铰链是凸的，并产生一个扩展。其结果是，我们已经开发出第一个听话的凸替代文献中的次模损失。我们通过几组预测任务，包括PASCAL VOC和Microsoft COCO数据集，展示了这种新型凸代理的实用性。
2017-05-15 cs.LG stat.ML
Localized Physics-informed Gaussian Processes with Curriculum Training for Topology Optimization
University of California, Irvine（加州大学欧文分校）
本研究提出一种基于物理信息高斯过程的无网格拓扑优化框架，通过定制DNN参数化共享多输出均值函数，结合局部损失权重与课程训练，在斯托克斯流耗散功率最小化问题上表现优于商用COMSOL。
2025-03-18 cs.LG
The perils of being unhinged: On the accuracy of classifiers minimizing a noise-robust convex loss
Google（谷歌）；Columbia University（哥伦比亚大学）
Van Rooyen等人引入了凸损失函数对随机分类噪声具有鲁棒性的概念，并建立了“无铰链”损失函数在这个意义上是鲁棒的。在本说明中，我们研究了通过最小化精神错乱损失获得的二元分类器的准确性，并观察到即使对于简单的线性可分数据分布，最小化精神错乱损失也可能只会产生准确性并不比随机猜测更好的二元分类器。
2022-03-04 cs.LG stat.ML
Convex Calibration Dimension for Multiclass Loss Matrices
Indian Institute of Science（印度科学学院）
我们研究了一般多类学习问题的代理损失函数的一致性，定义了一个一般的多类损失矩阵。我们扩展的概念，分类校准，这已经研究了二进制和多类0-1分类问题（和某些其他特定的学习问题），一般的多类设置，并推导出必要和充分条件的替代损失校准相对于损失矩阵在这种设置。然后，我们引入了多类损失矩阵的凸校准维度的概念，它测量预测空间的最小“尺寸”，在该预测空间中，可以设计相对于损失矩阵校准的凸代理。我们推导出这个量的上界和下界，并使用这些结果来分析各种损失矩阵。特别是，我们应用我们的框架来研究各种子集的排名损失，并使用凸校准尺寸作为工具来显示这些损失的各种类型的凸校准代理的存在和不存在。我们的研究结果加强了Duchi et al.（2010）和Calauzenes et al.（2012）关于子集排序中不存在某些类型的凸校准代理的最新结果。我们预计凸校准维度可能被证明是一个有用的工具，在研究和设计一般的多类学习问题的代理损失。
2015-08-23 cs.LG stat.ML
The Convexity and Design of Composite Multiclass Losses
Research School of Computer Science, The Australian National University（澳大利亚国立大学计算机科学研究院）；NICTA；Tsinghua University（清华大学）
我们考虑用于多类预测的复合损失函数，其包括适当的（即，费雪一致性）损失的概率分布和逆链接函数。我们建立条件，他们的（强）凸性，并探讨其影响。我们还展示了如何分离的关注，通过使用这种复合表示允许设计的家庭损失具有相同的贝叶斯风险。
2012-06-18 cs.LG stat.ML
A Convex Surrogate Operator for General Non-Modular Loss Functions
Inria（法国国家信息与自动化研究所）；CentraleSupélec, Université Paris-Saclay（巴黎萨克雷大学中央理工-高等电力学院）；KU Leuven（鲁汶大学）
经验风险最小化经常采用凸替代底层离散损失函数，以实现优化过程中的计算易处理性。然而，经典的凸代理只能紧绑定模损失函数，子模函数或超模函数分别保持多项式时间的计算。在这项工作中，一种新的通用凸代理一般非模块化的损失函数，这是第一次提供了一个易于处理的解决方案，既不是超模块化，也不是次模块化的损失函数。这种凸代理是基于一个子模-超模分解，本文证明了其存在性和唯一性。它取两个凸代理的和，这两个凸代理分别使用松弛重缩放和Lov{á}sz铰链来分别绑定超模分量和子模分量。它进一步证明了这个代理是凸的，分段线性的，损失函数的扩展，次梯度计算是多项式时间。实验结果报告的非次模损失的基础上的S{}rensen-Dice差异函数，和一个真实世界的人脸跟踪数据集与数万帧，证明了改进的性能，效率和可扩展性的新的凸代理。
2016-04-12 cs.LG stat.ML
Image Difficulty Curriculum for Generative Adversarial Networks (CuGAN)
University of Bucharest（布加勒斯特大学）；Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；University “Politehnica” of Bucharest（布加勒斯特理工大学）
尽管近年来取得了重大进展，但生成对抗网络（GANs）仍然非常难以训练。在本文中，我们提出了三种新的课程学习策略来训练GANs。所有的策略都是首先根据训练图像的难度分数对训练图像进行排名，这些难度分数是由最先进的图像难度预测器估计的。我们的第一个策略是将图像分成逐渐更难的批次。我们的第二个策略引入了一个新的课程损失函数，考虑到真实图像的难度分数的训练。我们的第三个策略是基于从一个不断发展的分布中进行采样，在初始训练阶段有利于更容易的图像，并逐渐收敛到一个均匀的分布，在这个分布中，样本的可能性是相等的，无论难度如何。我们比较了我们的课程学习策略与经典的培训过程中的两个任务：图像生成和图像翻译。我们的实验表明，所有的策略提供更快的收敛速度和优越的结果。例如，我们在频谱归一化GANs（SNGANs）上应用的最佳课程学习策略在25.0%的案例中欺骗了人类注释者，认为生成的CIFAR类图像是真实的，而使用经典过程训练的SNGANs仅在18.4%的案例中欺骗了注释者。同样，在图像翻译中，人类注释者在40.5%的情况下更喜欢使用课程学习训练的Cycle-consistent GAN（CycleGAN）生成的图像，而在19.8%的情况下，CycleGAN基于经典训练生成的图像，39.7%的情况下被标记为领带。
2019-10-22 cs.CV cs.LG stat.ML
Regularizers versus Losses for Nonlinear Dimensionality Reduction: A Factored View with New Convex Relaxations
University of Alberta（阿尔伯塔大学）
我们证明了几乎所有的非参数降维方法都可以用一个简单的过程来表示：正则化损失最小化加上奇异值截断。通过区分损失和正则化在这样一个过程中的作用，我们恢复了一个因子化的角度，揭示了一些差距，在目前的文献。除了确定一个有用的新损失流形展开，一个关键的贡献是获得新的凸正则化，结合距离最大化与秩减少。这些正则化器可以应用于任何损失。
2012-06-27 cs.LG stat.ML
Structured Prediction with Projection Oracles
NTT Communication Science Laboratories（NTT通信科学实验室）
在本文中，我们提出了一个一般的框架，推导出结构化预测的损失函数。在我们的框架中，用户选择一个包含输出空间的凸集，并提供一个用于投影到该集合上的预言。给定该预言，我们的框架自动生成相应的凸和光滑损失函数。正如我们所展示的，添加投影作为输出层可以证明会使损失更小。我们确定的边缘多面体，输出空间的凸包，作为最佳的凸集上的项目。然而，由于到边缘多面体上的投影有时可能是昂贵的计算，我们允许使用任何凸超集代替，具有潜在的更便宜的计算投影。由于有效的投影算法可用于许多凸集，这使我们能够为各种任务构建损失函数。在理论方面，当与校准解码相结合时，我们证明了我们的损失函数可以用作感兴趣的（潜在非凸的）目标损失函数的一致代理。我们证明了我们在标签排名，有序回归和多标签分类上的损失，证实了预测能够提高准确性。
2020-02-26 cs.LG stat.ML
Target Curricula via Selection of Minimum Feature Sets: a Case Study in Boolean Networks
University of Newcastle（纽卡斯尔大学）
我们考虑了在监督多标签分类（MLC）问题上训练布尔模型时引入目标课程的效果。特别是，我们考虑如何在没有先验知识的情况下订购目标，以及如何在使用元分析训练离散非线性模型时执行这样的课程。我们表明，目标之间的层次依赖关系，可以利用执行适当的课程，使用分层损失函数。在已知目标困难的多输出电路推理问题上，用这种损失函数训练的前馈布尔网络（FBN）实现了显着更低的样本外误差，在某些情况下高达$10\%$。这种改进随着损失更加强调目标顺序而增加，并且与容易到困难的课程密切相关。我们还证明了相同的改进三个真实的世界模型和两个基因调控网络（GRN）推理问题。我们提出了一个简单的先验方法，用于确定一个适当的目标顺序和估计布尔MLCs中的目标关系的强度。这些方法使用内在维度作为目标难度的代理，该目标难度使用被称为最小特征集（minFS）问题的组合优化问题的最优解来估计。我们还表明，可以实现相同的泛化增益，而不提供任何知识的目标难度。
2017-11-01 cs.AI cs.LG
Primal Method for ERM with Flexible Mini-batching Schemes and Non-convex Losses
The University of Edinburgh（爱丁堡大学）
在这项工作中，我们开发了一个新的算法正则化的经验风险最小化。我们的方法扩展了Shalev-Shwartz [02/2015]的最新技术，该技术能够对SDCA进行双自由分析，以实现任意的mini-square方案。此外，我们的方法是能够更好地利用信息的数据定义的ERM问题。对于凸的损失函数，我们的复杂性结果与QUARTZ的结果相匹配，QUARTZ是一种原始-对偶方法，也允许任意的mini-slave方案。双自由分析的优点在于，只要平均损失是凸的，即使对于非凸损失函数，它也能保证收敛。我们通过实验说明了能够设计任意的迷你的可伸缩方案的效用。
2015-06-07 cs.DS cs.LG math.OC
Adversarial Bandit Optimization with Globally Bounded Perturbations to Convex Losses
Department of Informatics, Kyushu University（九州大学信息学系）；RIKEN AIP（理化学研究所革新智能综合研究中心）
研究损失函数可能非凸非光滑的对抗性赌博机优化，提出一种修改的赌博机优化算法，并分析扰动预算对遗憾的影响，将线性损失下的全局预算后行动扰动模型扩展到一般凸且β-光滑损失。
2026-06-23 cs.LG
Curriculum Learning for Biological Sequence Prediction: The Case of De Novo Peptide Sequencing
Fudan University（复旦大学）；University of British Columbia（不列颠哥伦比亚大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Zhejiang University（浙江大学）
针对现有非自回归Transformer肽测序模型依赖CTC损失易训练失败的问题，提出融入结构化蛋白质序列课程学习策略的改进模型，搭配自优化推理模块，大幅降低训练失败率，在9个基准物种的多指标上均优于现有方法。
2025-06-16 cs.LG q-bio.BM
Convex losses and their applications to SVM, SVR, and Shallow Neural Networks
DAIS
该研究提出多种适用于SVM和神经网络的新型凸损失函数，结合粒子群优化算法求解原始SVM问题，经嵌套交叉验证实验，发现新型损失函数对部分数据集的泛化性能无显著影响。
2026-09-21 cs.LG
DiscrimLoss: A Universal Loss for Hard Samples and Incorrect Samples Discrimination
Harbin Institute of Technology（哈尔滨工业大学）
给定带有标签噪声的数据（即，不正确的数据），深度神经网络将逐渐记住标签噪声并损害模型性能。为了缓解这个问题，提出了课程学习，通过以有意义的（例如，容易到难）序列。以前的工作将不正确的样本作为一般的硬样本，而不区分硬样本（即，正确数据中的硬样本）和不正确的样本。事实上，模型应该从硬样本中学习以促进泛化，而不是过度拟合不正确的样本。在本文中，我们解决了这个问题，通过添加一个新的损失函数DisputeLoss，在现有的任务损失。它的主要作用是在训练的早期阶段自动稳定地估计容易样本和困难样本（包括硬样本和不正确样本）的重要性，以提高模型的性能。然后，在接下来的阶段中，Dispersion Loss致力于区分硬样本和不正确样本，以提高模型的泛化能力。这种训练策略可以以自我监督的方式动态地制定，有效地模仿课程学习的主要原则。通过对图像分类、图像回归、文本序列回归和事件关系推理的实验，证明了该方法的通用性和有效性，特别是在存在不同噪声水平的情况下。
2022-08-21 cs.AI cs.CV cs.LG
Boosting in the presence of outliers: adaptive classification with non-convex loss functions
University of California at San Diego（加州大学圣地亚哥分校）
本文研究了二进制分类问题的非凸损失函数的作用和效率。特别是，我们研究如何设计一个简单而有效的提升算法，是强大的离群数据。对特定非凸损失对预测准确性的作用的分析取决于损失梯度的递减尾部特性--损失有效适应外围数据的能力、损失的局部凸特性和污染数据的比例。为了有效地利用这些性质，我们提出了一个新的家庭的非凸损失命名为$γ$ -鲁棒损失。此外，我们提出了一个新的提升框架，{ \it Arch Boost}，旨在增强现有的工作，使其相应的分类算法是显着更适应未知的数据污染。随着Arch Boosting框架，非凸损失导致了一类新的boosting算法，称为自适应，鲁棒，boosting（ARB）。此外，我们提出了理论的例子，证明所提出的算法的鲁棒性。特别是，我们开发了一个新的故障点分析和一个新的影响函数分析，证明收益的鲁棒性。此外，我们提出了新的理论结果，仅基于局部曲率，这可能是用来建立统计和优化性能的建议拱提升算法与高度非凸损失函数。大量的数值计算被用来说明这些理论特性，并揭示了现有的提升方法的优势时，数据表现出一些离群值。
2015-10-05 cs.AI cs.LG math.ST
Exploring the loss landscape of regularized neural networks via convex duality
Stanford University（斯坦福大学）
本文通过将正则化神经网络转化为等价凸问题并利用对偶理论，系统刻画了其损失景观的驻点结构、最优解连通性与非唯一性，并证明相关结果可推广至向量值与三层网络架构。
2025-04-29 cs.LG
Efficient, Anytime Algorithms for Calibration with Isotonic Regression under Strictly Convex Losses
我们调查的校准估计，以提高性能的最佳单调变换的估计输出。我们首先研究了传统的平方误差设置及其加权变量，并表明最佳单调变换是一个独特的阶梯函数的形式。我们进一步表明，这种阶梯行为保持一般严格凸损失函数。它们的最佳单调变换也是唯一的，即，存在实现最小损耗的单个阶梯变换。我们提出了一个线性的时间和空间算法，可以找到这样的最佳转换为特定的损失设置。我们的算法有一个在线实现，其中到目前为止观察到的样本的最佳变换是在线性空间和摊销时间中找到的，当样本以有序的方式到达时。我们还扩展我们的结果的情况下，功能是不平凡的单独优化，并提出了一个随时算法，它具有线性空间和伪线性时间复杂度。
2021-10-31 cs.CC cs.LG math.OC
Learning with Symmetric Label Noise: The Importance of Being Unhinged
The Australian National University（澳大利亚国立大学）；National ICT Australia（澳大利亚国家信息与通信技术研究院）
凸势最小化是事实上的二进制分类方法。然而，Long和Servedio [2010]证明了在对称标签噪声（SLN）下，线性函数类上任何凸势的最小化可以导致分类性能等同于随机猜测。这表面上表明凸损失不是SLN鲁棒的。在本文中，我们提出了一个凸的，分类校准的损失，并证明了它是SLN-鲁棒的。损失由于是负无界的而避免了Long和Servedio [2010]的结果。这种损失是铰链损失的一种变形，在铰链损失中，人们不箝位在零;因此，我们称之为非铰链损失。我们表明，最佳的unhinged解决方案是等价的强正则化SVM，是任何凸势的极限解，这意味着强L2正则化使大多数标准学习者SLN鲁棒。实验证实了非铰链损失的SLN鲁棒性。
2015-05-28 cs.LG
Locally Convex Global Loss Network for Decision-Focused Learning
KAIST（韩国科学技术院）
针对决策聚焦学习中计算最优决策梯度的挑战及现有方法适用域受限问题，提出局部凸全局损失网络LCGLN，通过部分输入凸神经网络实现通用DFL的单一替代损失，经三个随机决策问题验证其有效性与灵活性。
2025-02-10 cs.AI cs.LG
Convex Dominance in Deep Learning I: A Scaling Law of Loss and Learning Rate
FAIR, Meta Superintelligence Labs（FAIR，Meta超智能实验室）；Independent Researcher（独立研究者）
本研究通过凸性视角构建了深度学习中损失与学习率的缩放定律，揭示了训练初期弱凸特性及学习率调度对损失预测的影响。
2026-02-06 cs.CL cs.LG math.OC
Construction of non-convex polynomial loss functions for training a binary classifier with quantum annealing
Google（谷歌）
量子退火是一种启发式量子算法，它利用量子资源来最小化嵌入可编程物理系统的能量水平的目标函数。为了利用潜在的量子优势，需要能够以合理的低开销将感兴趣的问题映射到本地硬件。由于实验的考虑约束我们的目标函数采取的形式，一个低的程度PUBO（多项式无约束二进制优化），我们采用非凸的损失函数，这是多项式函数的利润。我们表明，这些损失函数是强大的标签噪声，并提供了一个明显的优势，凸方法。这些损失函数对于经典方法也可能是有用的，因为它们编译成正则化的风险表达式，该正则化的风险表达式可以相对于训练样本的数量在恒定时间内进行评估。
2014-06-17 cs.LG quant-ph
