Towards Calibrated Losses for Adversarial Robust Reject Option Classification
IIIT Hyderabad（印度国际信息技术研究院（海得拉巴））
本文研究对抗扰动且允许弃权（不执行）预测场景下的分类问题，提出对抗鲁棒拒绝选项损失，给出替代损失的校准表征，并证明 Shifted DRL 和 DSL 满足校准条件且具有鲁棒性。
2024-10-14 cs.LG stat.ML
Tightening the Approximation Error of Adversarial Risk with Auto Loss Function Search
University of Science and Technology of China（中国科学技术大学）
尽管取得了巨大的成功，但深度神经网络（DNN）很容易受到对抗性样本的影响。如何准确评估DNN的对抗鲁棒性对于其在现实世界中的应用部署至关重要。稳健性的一个理想指标是对抗风险。不幸的是，由于它涉及最大化0-1损失，计算真正的风险在技术上是棘手的。最常见的解决方案是通过用一个替代损失来代替0-1损失来计算近似风险。已经使用了一些函数，例如交叉熵（CE）损失和对数比差（DLR）损失。然而，这些函数都是手动设计的，可能不太适合对抗鲁棒性评估。在本文中，我们利用AutoML来缩小真实风险和近似风险之间的误差（差距）。我们的主要贡献如下。首先，AutoLoss-AR，第一个方法来搜索代理损失的对抗性风险，一个精心设计的搜索空间，提出。在10个对抗训练模型上的实验结果证明了该方法的有效性：使用最佳发现损失评估的风险比使用手工基线评估的风险高0.2%至1.6%。其次，提取出5个具有清晰可读公式的替代损失，并在7个看不见的对抗训练模型上进行测试。这些损失超过基线0.8%至2.4%，表明它们可以单独用作某种新知识。此外，这些损失的更好的性能的可能原因进行了探讨。
2022-04-09 cs.AI cs.LG
Robust Learning under Non-Gaussian Noise with Adaptive Log-Correntropy Loss
University of South Florida（南佛罗里达大学）；California Polytechnic State University（加州州立理工大学）
提出自适应对数相关熵损失（ALCL），通过可微重参数化联合学习形状和尺度参数，使损失几何动态适应残差统计，抑制极端异常值，在混合重尾和脉冲噪声下优于MSE和固定核相关熵损失。
2026-11-04 cs.AI cs.LG
Adversarial Training for Robust Coverage Network under Worst-case Facility Losses
State Key Laboratory of Autonomous Intelligent Unmanned Systems, Beijing Institute of Technology（自主智能无人系统国家重点实验室，北京理工大学）；School of AI, Beijing Institute of Technology（北京理工大学人工智能学院）
针对最大覆盖选址-阻断问题，提出基于对抗学习的双智能体深度强化学习框架，实现高效求解与鲁棒决策。
2026-05-26 cs.AI cs.LG
Improving Adversarial Robustness in Weight-quantized Neural Networks
Duke University（杜克大学）；Cadence Design Systems, Inc.（楷登电子设计系统公司）
如今，神经网络变得越来越深入，计算密集度越来越高。量化是在硬件平台上部署神经网络并以可忽略的性能损失节省计算成本的有用技术。然而，最近的研究表明，神经网络模型，无论是全精度还是量化的，都容易受到对抗攻击的攻击。在这项工作中，我们分析了对抗和量化损失，然后引入标准来评估它们。我们提出了一种基于边界的再训练方法，以减轻对抗和量化损失，并采用非线性映射方法来抵御白盒梯度的对抗攻击。评估表明，我们的方法可以更好地恢复量化后的准确性比其他基线方法的黑盒和白盒对抗攻击。研究结果还表明，对抗性训练存在量化损失，与其他训练方法不能很好地配合。
2021-01-23 cs.CR cs.LG
Interpreting Robust Optimization via Adversarial Influence Functions
Harvard University（哈佛大学）；Rutgers University（罗格斯大学）
鲁棒优化在当今数据科学中得到了广泛的应用，特别是在对抗性训练中。然而，与标准训练相比，很少有研究量化鲁棒优化如何改变优化器和预测损失。本文受稳健统计中影响函数的启发，引入对抗影响函数（AIF）作为研究稳健优化问题的工具。所提出的AIF具有封闭的形式，可以有效地计算。为了说明AIF的使用，我们将其应用于研究模型灵敏度-定义为在实施鲁棒优化后捕获自然数据上的预测损失的变化的量。我们使用AIF来分析模型复杂性和随机平滑如何影响特定模型的模型灵敏度。我们进一步推导出核回归的AIF，特别是应用于神经切线核，并通过实验证明了所提出的AIF的有效性。最后，将AIF理论推广到分布鲁棒优化问题。
2020-10-03 cs.AI cs.LG stat.ML
Non-stationary Online Learning for Curved Losses: Improved Dynamic Regret via Mixability
National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国）；The University of Tokyo, Japan（东京大学，日本）
该研究针对非平稳在线学习中强曲率损失动态后悔研究不足的问题，利用可混合性提出固定份额更新的指数权重方法，将可混合损失的动态后悔界在维度d上从d的10/3次方降至1次方，且无需KKT分析。
2025-06-12 cs.LG
On the Convergence of A Family of Robust Losses for Stochastic Gradient Descent
Centre for Quantum Computation and Intelligent Systems（量子计算与智能系统中心）；University of Technology Sydney（悉尼科技大学）
采用凸损失函数的随机梯度下降（SGD）算法的收敛性已被广泛研究。然而，使用凸损失的普通SGD方法不能很好地执行噪声标签，这对SGD方法中原始变量的更新产生不利影响。不幸的是，噪声标签在现实世界的应用中无处不在，例如众包。为了处理噪声标签，在本文中，我们提出了一个家庭的SGD方法的鲁棒损失。通过采用我们的鲁棒损失，SGD方法成功地减少了噪声标签对原始变量每次更新造成的负面影响。我们不仅证明了采用鲁棒损失的SGD方法的收敛速度为O（1/T），而且给出了两种典型鲁棒损失的鲁棒性分析。在6个真实数据集上的综合实验结果表明，在大多数情况下，使用鲁棒损失的SGD方法比其他基线方法具有更好的鲁棒性，并且收敛速度更快。
2016-05-05 cs.LG
Wasserstein Distributionally Robust Optimization and Variation Regularization
University of Texas at Austin（德克萨斯大学奥斯汀分校）；New York University（纽约大学）；Georgia Institute of Technology（佐治亚理工学院）
Wasserstein分布鲁棒优化（DRO）最近在运筹学和机器学习的各种应用中取得了经验上的成功，部分原因是它的正则化效应。虽然Wasserstein DRO和正则化之间的联系已经建立在几个设置，现有的结果往往需要限制性的假设，如光滑性或凸性，这是不满意的许多问题。在本文中，我们开发了一个一般理论的变化正则化效果的Wasserstein DRO -一种新的形式的正则化，推广总变差正则化，Lipschitz正则化和梯度正则化。我们的结果涵盖可能的非凸和非光滑的损失和损失的非欧几里德空间。例子包括多项报童，投资组合选择，线性预测，神经网络，流形学习，泊松过程的强度估计等，作为我们的变分正则化理论的应用，我们得到新的泛化保证对抗性鲁棒学习。
2020-10-30 cs.LG math.OC stat.ML
A Layer-wise Adversarial-aware Quantization Optimization for Improving Robustness
Duke University（杜克大学）；Monta Vista High School（蒙塔维斯塔高中）
神经网络正以更高的能量和计算成本获得更好的精度。量化后，可以大大节省成本，量化后的模型更硬件友好，精度损失可以接受。另一方面，最近的研究发现神经网络容易受到对抗攻击，只有通过对抗训练等防御方法才能提高神经网络模型的鲁棒性。在这项工作中，我们发现，对抗训练的神经网络比普通模型更容易受到量化损失。为了同时最小化对抗和量化损失并使量化模型鲁棒，我们提出了一种逐层对抗感知量化方法，使用Lipschitz常数为神经网络选择最佳量化参数设置。我们从理论上推导出的损失，并证明我们的度量选择的一致性。实验结果表明，该方法可以有效地提高量化对抗训练神经网络的鲁棒性。
2021-10-23 cs.AI cs.CV cs.LG
Robust Losses from Univariate Base Functions for Noisy-Label Learning
School of Mathematics, Harbin Institute of Technology（哈尔滨工业大学数学学院）；School of Earth and Space Sciences, Peking University（北京大学地球与空间科学学院）
针对噪声标签学习问题，提出从单变量基函数构建鲁棒多类损失的框架，开发两种方案并分析其性质，推导理论标准，所提损失在多噪声设置下经实验验证有竞争力或更优。
2026-07-21 cs.LG
Robust Losses for Learning Value Functions
本文针对强化学习中均方贝尔曼误差对离群值敏感的问题，提出Huber贝尔曼误差和绝对贝尔曼误差的鞍点优化形式，并推导出在离策略预测与控制中更稳定、对元参数更不敏感的梯度算法。
2023-04-17 cs.LG
Non-Stationary Online Structured Prediction with Surrogate Losses
CyberAgent, Tokyo, Japan（日本东京CyberAgent公司）；National Institute of Informatics, Tokyo, Japan（日本东京信息机构）；Center for Advanced Intelligence Project, RIKEN, Tokyo, Japan（日本东京RIKEN高级智能项目）；The Institute of Statistical Mathematics, Tokyo, Japan（日本东京统计数学研究所）；Tohoku University, Miyagi, Japan（日本宫城县立东大学）；Nanyang Technological University, Singapore（新加坡南洋理工大学）
本文提出在非平稳环境下，通过结合在线梯度下降的动态后悔分析与替代损失间隙技术，获得目标损失的上限，同时扩展到更广泛的设置，并证明依赖于F_T和P_T的紧性。
2026-05-14 cs.LG
On the Robustness of Average Losses for Partial-Label Learning
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Southeast University（东南大学）；Chongqing University（重庆大学）；The University of Queensland（昆士兰大学）；Nanyang Technological University（南洋理工大学）；The University of Tokyo（东京大学）
部分标签学习（PLL）利用具有PL的实例，其中PL包括几个候选标签，但只有一个是真实标签（TL）。在PLL中，基于识别的策略（IBS）动态地净化每个PL，以选择（最有可能的）TL进行训练;基于平均的策略（ABS）平等地对待所有候选标签进行训练，并让训练后的模型能够预测TL。虽然PLL研究集中在IBS上以获得更好的性能，但ABS也值得研究，因为现代IBS在训练开始时表现得像ABS，为PL纯化和TL选择做准备。本文分析了ABS不能令人满意的原因，并提出了改进的方法。理论上，我们形式化了PLL的五个问题设置，证明了具有有界多类损耗的平均PL损耗（APLL）总是鲁棒的，而具有无界损耗的APLL可能是非鲁棒的，这是对PLL鲁棒性的首次分析。在实验上，我们有两个有希望的发现：ABS使用有界损失可以匹配/超过IBS使用无界损失的最先进的性能;在使用强大的APLL热启动后，IBS可以进一步改善自身。我们的工作引起了人们对ABS研究的关注，ABS的研究反过来又可以促进IBS的发展，从而推动整个PLL的发展。
2022-11-24 cs.LG
Monotonic Transformation Invariant Multi-task Learning
The University of Texas at Austin, TX 78712, USA（德克萨斯大学奥斯汀分校）
本文提出DiBS-MTL方法，通过单调变换不变性提升多任务学习的鲁棒性，实验证明其在非凸任务损失场景下具有优越性能。
2026-02-02 cs.LG
Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity
The University of Iowa（爱荷华大学）；University at Albany（奥尔巴尼大学）；Texas A&M University（得克萨斯农工大学）
本文从分布鲁棒优化视角研究多类分类的标签分布鲁棒（LDR）损失，证明了其一致性并提出一种能自适应实例标签噪声的新LDR损失，在多个数据集上展现出稳定竞争力。
2023-06-28 cs.LG
Triplet Losses-based Matrix Factorization for Robust Recommendations
Politecnico di Torino（都灵理工大学）
就像其他基于学习的模型一样，推荐系统也会受到训练数据偏差的影响。虽然典型的评估指标（如命中率）不关心它们，但某些类别的最终用户受到这些偏见的严重影响。在这项工作中，我们建议使用多个三重损失条款提取有意义的和强大的表示用户和项目。我们通过几个“偏见意识”的评价指标，以及在训练集的变化和预测方差w.r.t.协议的稳定性，经验评估这种表示的合理性。每个用户的。
2022-10-21 cs.IR cs.LG
Concave losses for robust dictionary learning
University of São Paulo（圣保罗大学）；Institute of Mathematics and Statistics（数学与统计研究所）；Université de Rouen Normandie（鲁昂诺曼底大学）；LITIS EA 4108（信息处理与系统实验室）
传统的字典学习方法是基于二次凸损失函数的，因此对离群值敏感。在本文中，我们提出了一个通用的框架，鲁棒字典学习的基础上凹损失。我们提供的凹函数的组成，特别是关于超梯度计算，这是通用字典学习算法适用于光滑和非光滑损失的关键。为了提高离群点的识别，我们引入了一种基于不完全字典学习的初始化启发式算法。使用合成数据和真实数据的实验结果表明，我们的方法能够更好地检测离群值，能够生成更好的字典，性能优于K-SVD和LC-KSVD等最先进的方法。
2017-11-02 cs.LG stat.ML
Distributionally Robust Losses for Latent Covariate Mixtures
Stanford University（斯坦福大学）；Columbia Business School（哥伦比亚商学院）
虽然现代大规模数据集通常由异质的子群体组成-例如，多个人口统计组或多个文本语料库-最小化平均损失的标准实践无法保证所有子群体的均匀低损失。我们提出了一个凸的过程，控制最坏情况下的性能在一个给定的大小的所有子群。我们的程序带有有限样本（非参数）收敛保证最差的子群体。从经验上讲，我们观察到词汇相似性，葡萄酒质量和累犯预测任务，我们的最坏情况程序学习模型，以及对看不见的亚群。
2022-08-10 cs.LG stat.ML
Robust Time Series Forecasting with Non-Heavy-Tailed Gaussian Loss-Weighted Sampler
Université Paris-Est Créteil（巴黎东部克雷泰伊大学）；HN-Services（HN服务公司）；ESIEE Paris（巴黎ESIEE学院）
针对多变量时间序列预测中重尾损失导致的过拟合与训练低效问题，提出高斯损失加权采样器，通过加权构建非重尾损失分布，提升训练效率与预测精度。
2024-06-19 cs.LG
On Symmetric Losses for Robust Policy Optimization with Noisy Preferences
The University of Tokyo, Japan（东京大学）；RIKEN AIP, Japan（日本理化学研究所AIP）
针对人类偏好数据含噪声的问题，本文将奖励建模视为分类问题，提出利用对称损失实现鲁棒策略优化的SymPO方法，并从理论和实验上证明了其在噪声标签下仍能保持奖励保序性以促进策略改进。
2025-05-30 cs.AI cs.LG
An Inclusive Theoretical Framework of Robust Supervised Contrastive Loss against Label Noise
Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出统一理论框架，首次推导任意对比损失的鲁棒条件，证明InfoNCE不鲁棒并提出对称InfoNCE（SymNCE），同时解释最近邻样本选择等已有技术，实验验证其抗标签噪声优势。
2025-01-02 cs.LG
A direct proof of a unified law of robustness for Bregman divergence losses
Tata Institute of Fundamental Research（印度塔塔基础研究机构）
本文通过偏差-方差分解重新表述Bubeck和Sellke的证明技术，直接将鲁棒插值的过参数化定律推广至Bregman散度损失，无需Rademacher复杂度等工具。
2025-04-21 cs.LG
Calibrated Surrogate Losses for Adversarially Robust Classification
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；AIP（应用物理研究所）；University of Michigan（密歇根大学）
对抗鲁棒分类寻求对测试模式的对抗扰动不敏感的分类器。这个问题通常通过极大极小目标来表述，其中目标损失是受扰动大小约束的0-1损失的最坏情况值。最近的工作提出了对抗性0-1损失的凸代理，以使优化更容易处理。一个主要的问题是一致性，即替代风险的最小化是否意味着对抗性0-1风险的最小化。在这项工作中，我们分析这个问题，通过镜头的校准，这是一个逐点一致性的概念。我们表明，没有凸代理损失校准相对于对抗0-1损失时，限制到类的线性模型。我们进一步介绍了一类非凸损失，并提供了必要和充分条件，在这类损失进行校准。我们还表明，如果底层分布满足Massart的噪声条件，凸损失也可以在对抗设置校准。
2021-05-13 cs.LG stat.ML
Robust Density Estimation under Besov IPM Losses
Carnegie Mellon University（卡内基梅隆大学）
研究了Huber污染模型中非参数密度估计的Minimax收敛速度，其中一部分数据来自未知的离群分布.我们提供了这个问题的第一个结果下的一个大家庭的损失，称为Besov积分概率距离（IPM），其中包括$\mathcal{L}^p$，Wasserstein，Kolmogorov-Smirnov，和其他常见的概率分布之间的距离。具体而言，根据一系列的人口和离群分布的平滑假设，我们表明，重新缩放阈值小波级数估计实现极大极小最优收敛速度下各种各样的损失。最后，基于最近在IPM损失下的非参数密度估计与生成对抗网络（GANs）之间的联系，我们证明了某些GAN架构也可以实现这些极大极小化率。
2021-09-06 cs.LG math.ST stat.ML
Duality in RKHSs with Infinite Dimensional Outputs: Application to Robust Losses
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院，巴黎电信学院，LTCI实验室）
当输出空间是希尔伯特空间时，算子值核（OVK）和相关的向量值再生核希尔伯特空间提供了一种扩展标量核方法的优雅方式。虽然主要用于有限维的多任务回归等问题，但该框架处理无限维输出空间的能力解锁了更多的应用，如函数回归，结构化输出预测和结构化数据表示。然而，这些复杂的计划至关重要地依赖于输出空间中的内核技巧，所以以前的大多数工作都集中在平方范数损失函数，完全忽略了鲁棒性问题，可能会出现在这样的代理问题。为了克服这一限制，本文开发了一种对偶方法，允许解决OVK机的损失函数范围很广。无限维拉格朗日乘子处理通过一个双重表示定理，和$ε$不敏感的损失和Huber损失的算法进行了彻底的详细说明。通过理论稳定性分析以及对结构化数据应用程序的经验改进来强调健壮性的好处。
2020-08-21 cs.LG stat.ML
RobustNeRF: Ignoring Distractors with Robust Losses
Google Research, Brain Team（谷歌研究院大脑团队）；University of Toronto（多伦多大学）；Simon Fraser University（西蒙菲莎大学）
针对NeRF场景中干扰物导致的伪影问题，提出将训练数据中的干扰物建模为优化问题的异常值进行鲁棒估计，成功移除异常值并提升合成与真实场景下的新视角合成质量。
2024-07-26 cs.CV cs.LG
Robust Covariate Shift Prediction with General Losses and Feature Views
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
协变量偏移通过允许不同的训练和测试输入分布来放松广泛使用的独立同分布（IID）假设。不幸的是，解决协变量偏移的常用方法，试图通过使用重要性加权来消除训练和测试分布之间的偏差，通常在理论上提供较差的性能保证，在实践中提供具有高方差的不可靠预测。最近开发的方法，构建一个预测，固有的强大的学习困难下协变量偏移的限制，以最大限度地减少对数损失，并可能过于保守，当面对高维学习任务。我们以两种方式解决这些限制：通过稳健地最小化各种损失函数，包括非凸函数，在测试分布下;以及根据输入变量和示例标签之间关系的不同基于特征的视图，分别塑造协变量偏移的影响。这些推广使得稳健的协变量偏移预测适用于更多的任务场景。我们证明了分类的好处下协变量偏移任务。
2017-12-28 cs.LG stat.ML
Learning with Non-Convex Truncated Losses by SGD
The University of Iowa（爱荷华大学）；Alibaba Group（阿里巴巴集团）
使用{ \it凸损失}函数进行学习多年来一直是一种主导范式。非凸损失函数如何提高学习的泛化能力，并具有广泛的适用性，仍然是一个有趣的问题。本文研究了通过截断传统的损失函数而形成的一族目标函数，它既适用于浅层学习，也适用于深度学习。截断损失函数有可能不那么脆弱，并且对可能是对抗性的观测中的大噪声更鲁棒。更重要的是，它是一种通用的技术，而无需假设噪声分布的知识。为了证明截断损失下的非凸学习的合理性，基于截断损失和随机梯度下降（SGD）方法找到的一个近似平稳点的统计误差，建立了经验风险最小化的超额风险界.我们的实验为浅和深度学习回归离群值，损坏的数据和重尾噪声进一步证明了所提出的方法。
2018-05-21 cs.LG stat.ML
An Exploration into why Output Regularization Mitigates Label Noise
Edgify
标签噪声对监督学习算法提出了真正的挑战。因此，近年来，减轻标签噪声吸引了大量的研究。噪声鲁棒损失是用于处理标签噪声的更有前途的方法之一，因为这些方法仅需要改变损失函数并且不需要改变分类器本身的设计，这在开发时间方面可能是昂贵的。在这项工作中，我们专注于使用输出正则化（如标签平滑和熵）的损失。虽然这些损失在实践中表现良好，但它们减轻标签噪声的能力缺乏数学严谨性。在这项工作中，我们的目标是关闭这个差距，显示损失，其中包括输出正则化项，成为对称的正则化系数趋于无穷大。我们认为，正则化系数可以被看作是一个超参数控制的非线性，因此，噪声鲁棒性的损失函数。
2021-04-26 cs.LG
Enhancing Noise-Robust Losses for Large-Scale Noisy Data Learning
ScaDS.AI Dresden/Leipzig（德累斯顿/莱比锡智能数据中心）
本文通过定量分析初始化阶段网络输出与损失函数梯度区域的重叠，提出logit偏置方法解决噪声鲁棒损失的欠拟合问题，实现最先进性能并实现零数据集依赖的超参数确定。
2025-01-27 cond-mat.dis-nn cs.AI cs.LG
Patient-Aware Feature Alignment for Robust Lung Sound Classification:Cohesion-Separation and Global Alignment Losses
Seoul National University of Science and Technology（首尔科学技术大学）
肺音分级对呼吸系统疾病的早期诊断至关重要。然而，生物医学信号往往表现出患者间的差异，甚至在具有相同症状的患者之间，需要考虑个体差异的学习方法。我们提出了一个患者感知特征对齐（PAFA）框架，其中包含两个新的损失，患者凝聚分离损失（PCSL）和全局患者对齐损失（GPAL）。PCSL将同一患者的特征聚类，同时将这些特征与其他患者分离，以捕获患者的变异性，而GPAL将每个患者的质心绘制到全局中心，防止特征空间碎片化。在ICBHI数据集上，该方法取得了较好的效果，四类分类的分类率为64.84%，两类分类的分类率为72.08%.这些发现突出了PAFA捕捉个性化模式的能力，并在不同的患者群中展示了性能增益，为以患者为中心的医疗保健提供了更广泛的应用。
2025-05-28 cs.LG cs.SD eess.AS
Robust Losses for Decision-Focused Learning
Delft University of Technology（代尔夫特理工大学）
针对决策聚焦学习中经验后悔值作为期望后悔值替代不准确的问题，评估了不确定性影响并提出三种鲁棒损失函数，有效改善了测试样本经验后悔值且不增加计算时间。
2024-07-27 cs.LG math.OC
MetaCURL: Non-stationary Concave Utility Reinforcement Learning
Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；EDF Lab（法国电力公司实验室）；Sorbonne Université（索邦大学）
本文提出首个针对非平稳 MDP 的凹效用强化学习算法 MetaCURL，通过元算法与沉睡专家框架聚合黑盒实例输出，在部分信息下实现了最优动态遗憾。
2024-05-30 cs.LG math.PR math.ST
Robust Amortized Bayesian Inference with Self-Consistency Losses on Unlabeled Data
本文提出了一种半监督方法，利用 unlabeled 数据提升 amortized 贝叶斯推断在非模拟范围内的鲁棒性。
2026-03-03 cs.LG stat.ML
Joint Asymmetric Loss for Learning with Noisy Labels
Harbin Institute of Technology（哈尔滨工业大学）；Tsinghua University（清华大学）
针对非对称损失无法兼容 APL 的问题，本文提出 AMSE 被动损失并构建 JAL 框架，理论上给出非对称条件，实验验证其抗噪有效性。
2025-07-23 cs.CV cs.LG
I'm Sorry for Your Loss: Spectrally-Based Audio Distances Are Bad at Pitch
越来越多的研究表明，综合故障模式意味着较差的推广。我们比较常用的音频到音频损失的合成基准，测量两个固定正弦波之间的间距。结果令人惊讶：许多人对音高方向的感觉很差。这些缺点暴露使用简单的秩假设。我们的任务对人类来说微不足道，但对于这些音频距离来说很困难，这表明通过改善电流损耗可以在自我监督音频学习方面取得重大进展。
2020-12-09 cs.AI cs.LG cs.SD
Stationary Robust Mean-Field Games under Model Mismatches
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Central Florida（中央佛罗里达大学）
针对多智能体强化学习中训练与真实环境的模型失配问题，提出基于分布鲁棒的无限时域平稳平均场博弈框架，证明均衡存在性并给出首个收敛算法，建立有限种群近似均衡的误差界。
2026-06-23 cs.GT cs.LG
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales（新南威尔士大学）
针对多目标强化学习难以适应非平稳环境的问题，本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法，在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
Robust Control under Stationary Ambiguity
Imperial College London（伦敦帝国学院）；JPMorgan Chase & Co.（摩根大通公司）；University of St. Gallen（圣加仑大学）
本文针对模拟控制策略在真实系统中易因潜在因素变化丧失鲁棒性的问题，提出平稳歧义的建模原则，构建对应模拟器训练策略，在对冲任务中验证其能持续保持鲁棒性。
2026-08-06 cs.LG q-fin.CP
Quantification of Tail-trimming Effects for Interval CVaR Based Nonlinear Regression
Department of Industrial Engineering, Tsinghua University（清华大学工业工程系）
本文提出基于区间条件风险价值的稳健非线性回归模型，通过修剪极端损失提升稳健性，并在理论和实验上证明其优于传统稳健回归方法。
2026-11-04 cs.LG math.OC stat.ML
Smart Surrogate Losses for Contextual Stochastic Linear Optimization with Robust Constraints
Department of Industrial Engineering and Operations Research University of California, Berkeley（工业工程与运营管理系加州大学伯克利分校）
研究带不确定约束的上下文随机线性优化，提出可行性敏感的 SPO-RC 损失及其凸代理 SPO-RC+，并通过截断数据集与重要性重加权纠正偏差，实验证明该方法能有效处理约束不确定性并提升性能。
2025-05-28 cs.LG math.OC stat.ML
Doubly Robust Bayesian Inference for Non-Stationary Streaming Data with $β$-Divergences
The Alan Turing Institute（艾伦·图灵研究所）；University of Warwick（华威大学）
我们提出了第一个强大的贝叶斯在线变点检测算法，通过一般贝叶斯推断（GBI）与$β$ -分歧。由此产生的推理过程是双重强大的参数和变点（CP）后，线性时间和恒定的空间复杂度。我们提供了一个指数模型的构造，并在贝叶斯线性回归模型上进行了演示。在这样做时，我们做了两个额外的贡献：首先，我们使GBI可扩展的结构变分近似是精确的$β\to 0$。其次，我们给出了一个原则性的方法来选择的分歧参数$β$的期望预测损失最小的在线。将CP的错误发现率从超过90%降低到真实世界数据的0%，这提供了最先进的技术。
2018-11-27 cs.LG stat.ML
Exploring Adversarial Robustness of Deep Metric Learning
Aalborg University（奥尔堡大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
深度度量学习（DML）是一种广泛使用的技术，涉及学习样本对之间的距离度量。DML使用深度神经架构来学习输入的语义嵌入，其中相似示例之间的距离很小，而不同示例之间的距离很远。虽然底层的神经网络在自然发生的样本上产生良好的准确性，但它们容易受到不利扰动样本的影响，从而降低性能。我们朝着训练鲁棒的DML模型迈出了第一步，并解决了度量损失依赖于小批量样本的主要挑战，而不像标准损失只依赖于特定的输入输出对。我们分析了这种依赖效应，并提供了一个强大的优化配方。通过在三个常用的DML数据集上进行实验，我们证明了对抗准确性提高了5-76倍，并且优于现有的DML模型。
2021-02-14 cs.AI cs.LG
Stochastic Mirror Descent for Low-Rank Tensor Decomposition Under Non-Euclidean Losses
Shenzhen Research Institute of Big Data（深圳大数据研究院）；Oregon State University（俄勒冈州立大学）；University of Minnesota（明尼苏达大学）
本文研究了统计机器学习和信号处理中经常出现的一类非欧几里德损失函数下的低秩正则多元分解（CPD）。这些损失函数通常用于某些类型的张量数据，例如，计数和二进制张量，其中最小二乘损失被认为是不自然的。与最小二乘损失相比，非欧几里德损失通常更具挑战性。非欧几里德CPD已经吸引了相当大的兴趣和一些现有的作品存在。然而，紧迫的计算和理论挑战，如可扩展性和收敛问题，仍然存在。这项工作提供了一个统一的随机算法框架下的各种非欧几里德损失函数的大规模CPD分解。我们的主要贡献在于基于张量纤维采样策略的灵活的随机镜像下降框架。利用采样方案和低秩张量的多线性代数结构，所提出的轻量级算法确保在合理的条件下全局收敛到一个稳定点。数值结果表明，我们的框架达到了有前途的非欧CPD性能。与最先进的方法相比，所提出的框架还显示出大量的计算节省。
2021-04-29 cs.LG eess.SP stat.ML
Critical Point-Finding Methods Reveal Gradient-Flat Regions of Deep Network Losses
Redwood Center for Theoretical Neuroscience, University of California, Berkeley（加州大学伯克利分校红木理论神经科学中心）；Helen Wills Neuroscience Institute, University of California, Berkeley（加州大学伯克利分校海伦·威尔斯神经科学研究所）；Department of Physics, University of California, Berkeley（加州大学伯克利分校物理系）；Biophysics Graduate Group, University of California, Berkeley（加州大学伯克利分校生物物理研究生小组）
尽管深度神经网络的损失函数是高度非凸的，但基于梯度的优化算法从许多随机初始点收敛到近似相同的性能。一个线程的工作集中在解释这一现象的特征的局部曲率附近的临界点的损失函数，其中梯度接近零，并证明神经网络损失享有一个没有坏的局部极小值属性和丰富的鞍点。我们在这里报告说，用于找到这些假定的临界点的方法遭受一个坏的局部极小问题自己：他们经常收敛到或通过梯度范数有一个固定点的区域。我们称之为梯度平坦区域，因为它们出现在梯度近似在海森核中时，使得损失在梯度方向上局部近似线性或平坦。我们描述了这些区域的存在如何需要小心解释过去的结果，声称找到神经网络损失的临界点，并在设计二阶优化神经网络的方法。
2020-03-23 cs.LG cs.NE stat.ML
A Symmetric Loss Perspective of Reliable Machine Learning
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能研究中心）
本文综述对称损失在损坏标签二分类中的鲁棒作用，涵盖BER最小化、AUC最大化及关键词与未标注文档学习，并展望可靠机器学习中的损失设计。
2023-06-05 cs.LG stat.ML
Mitigating Memorization of Noisy Labels by Clipping the Model Prediction
Southern University of Science and Technology（南方科技大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；South China University of Technology（华南理工大学）；Nanyang Technological University（南洋理工大学）；RIKEN AIP（理化学研究所人工智能研究中心）
针对噪声标签下深度神经网络泛化性能差的问题，提出LogitClip方法通过钳制logit向量范数为损失引入上界，理论验证其耐噪性，实验证明可显著提升CE及多种常用鲁棒损失的噪声鲁棒性与泛化性能。
2023-06-13 cs.AI cs.LG
Outlier-Robust Training of Machine Learning Models
Massachusetts Institute of Technology（麻省理工学院）；Laboratory of Information & Decision Systems（信息与决策系统实验室）
本文通过修改Black-Rangarajan对偶性统一了M估计与风险最小化两类鲁棒损失设计，提出自适应交替算法（AAA），利用鲁棒损失核σ扩大收敛区域，并在回归、分类和神经场景重建中验证了有效性。
2024-12-31 cs.CV cs.LG
Boosting Single Positive Multi-label Classification with Generalized Robust Loss
University of International Business and Economics（对外经济贸易大学）
针对单正例多标签学习中的假阴性问题，提出基于期望风险最小化的广义软伪标签损失框架及可平衡正负样本的新型鲁棒损失，在四个基准上显著提升性能。
2024-05-06 cs.AI cs.CV cs.LG
Preference Learning with Response Time: Robust Losses and Guarantees
Stanford University（斯坦福大学）
针对传统偏好学习未利用用户决策时间信息、线性奖励下误差率随奖励幅度指数增长的问题，本文结合EZ模型提出带响应时间的偏好学习方法与Neyman正交损失，将误差率降至多项式级，提升了样本效率，并扩展到非参数奖励，经图像实验验证有效。
2025-10-24 cs.AI cs.LG econ.TH
Unified Focal loss: Generalising Dice and cross entropy-based losses to handle class imbalanced medical image segmentation
University of Cambridge（剑桥大学）；University of Salerno（萨莱诺大学）
自动分割方法是医学图像分析的一个重要进展。机器学习技术，特别是深度神经网络，是大多数医学图像分割任务的最新技术。类不平衡的问题对医学数据集构成了重大挑战，病变通常相对于背景占据相当小的体积。用于深度学习算法训练的损失函数在对类别不平衡的鲁棒性方面有所不同，这对模型收敛有直接影响。最常用的分割损失函数是基于交叉熵损失、骰子损失或两者的组合。我们提出了统一的焦点损失，一个新的层次框架，概括骰子和交叉熵为基础的损失处理类的不平衡。我们在五个公开的、类别不平衡的医学成像数据集上评估了我们提出的损失函数：CVC-ClinicDB、用于血管提取的数字视网膜图像（DRIVE）、乳腺超声2017（BUS 2017）、脑肿瘤分割2020（BraTS 20）和肾肿瘤分割2019（KiTS 19）。我们比较了我们的损失函数的性能与六个骰子或交叉熵为基础的损失函数，在2D二进制，3D二进制和3D多类分割任务，表明我们提出的损失函数是强大的类不平衡，并始终优于其他损失函数。源代码可从以下网址获得：https://github.com/mlyg/unified-focal-loss
2021-11-24 cs.CV cs.LG eess.IV
Distributionally Robust PAC-Bayesian Control
本文提出一种分布鲁棒的PAC-Bayesian框架，用于验证基于学习的有限时间 horizon 控制器性能。通过结合PAC-Bayes泛化理论和基于类型1 Wasserstein距离的分布鲁棒优化，解决无界损失和环境分布偏移问题，提供高概率安全证书。
2026-04-12 cs.LG cs.SY eess.SY
RNN-Transducer-based Losses for Speech Recognition on Noisy Targets
University of London（伦敦大学）
本文针对语音识别中噪声转录问题，提出 Star-Transducer、Bypass-Transducer 和 Target-Robust Transducer 三种损失函数，分别处理删除、插入及任意错误，显著恢复了 RNN-T 模型的性能。
2025-04-09 cs.AI cs.CL cs.LG
