When does a predictor know its own loss?
Apple(苹果公司);Harvard University(哈佛大学);Stanford University(斯坦福大学)
本研究探讨损失预测的理论基础,证明非平凡损失预测与多重校准审计等价,并通过实验验证二者正相关。
2025-02-27 cs.LG
Auditability and the Landscape of Distance to Multicalibration
本文研究如何衡量预测器的多重校准程度,指出已有度量 wdMC 和 dMC 无法同时满足修改幅度刻画与信息论可审计性,并提出连续化 dMC 和到交集多重校准距离两个等价度量,同时揭示多重校准距离的损失景观与几何结构。
2025-09-21 cs.LG
Augmented Feature Boosting for Multicalibration
Cornell University(康奈尔大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文提出一种无离散化的特征增强提升方法,通过将前一轮预测器输出作为额外特征并调用平方损失预言机,实现多校准,并利用增强假设类的表达能力推导出多准确性、多校准及水平集多校准的层次化保证。
2026-09-29 cs.LG
Sample Complexity of Multicalibration for Multilevel Properties
Amazon(亚马逊);The Wharton School, University of Pennsylvania(宾夕法尼亚大学沃顿商学院);University of California, Davis(加州大学戴维斯分校)
该研究针对k个序列属性的多校准,建立了匹配的上下样本复杂度界,给出随机学习器,实例化理论为三个典型示例,明确了样本复杂度与群体规模的关系。
2026-08-06 cs.LG math.ST stat.ML
Improved and Oracle-Efficient Online $\ell_1$-Multicalibration
H. Milton Stewart School of Industrial and Systems Engineering / Algorithms and Randomness Center, Georgia Institute of Technology, Atlanta, USA(赫尔曼·米尔顿·斯图尔特工业与系统工程学院/算法与随机性中心,佐治亚理工学院,亚特兰大,美国);School of Electrical and Computer Engineering/H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology, Atlanta, USA(电气与计算机工程学院/赫尔曼·米尔顿·斯图尔特工业与系统工程学院,佐治亚理工学院,亚特兰大,美国);School of Computer Science, Georgia Institute of Technology, Atlanta, GA, USA(计算机科学学院,佐治亚理工学院,亚特兰大,佐治亚州,美国)
我们研究了\emph{online multicalibration},这是一个框架,用于确保在$T$回合中,在对抗性环境中跨多个组进行校准预测。虽然在线校准通常在$\ell_1$范数中进行研究,但在线多校准的先前方法采用了间接方法,即获得其他范数(如$\ell_2$和$\ell_{\infty}$)中的速率,然后将这些保证转移到$\ell_1$,但会产生额外的损失。相比之下,我们提出了一种直接的方法,实现了改进的和甲骨文高效率的$\widetilde{\mathcal{O}}(T^{-1/3})$和$\widetilde{\mathcal{O}}(T^{-1/4})$,分别为在线$\ell_1$ -多校准。我们的关键见解是一个新的减少在线\(\ell_1\) -多校准的在线学习问题与基于产品的奖励,我们称之为\emph{online linear-product optimization}($\mathtt{OLPO}$)。为了提高$\widetilde{\mathcal{O}}(T^{-1/3})$的速度,我们引入了一个线性化的$\mathtt{OLPO}$,并设计了一个无遗憾算法,这个线性化的问题。虽然该方法保证了期望的次线性速率(几乎匹配在线校准的最佳速率),但是当组族\(\mathcal{H}\)很大或无限大时,由于它枚举了所有可能的组,因此计算代价很高。为了解决可扩展性…
2025-05-29 cs.DS cs.LG
The Sample Complexity of Multicalibration with an ERM Oracle
Harvard University(哈佛大学)
该研究分析使用ERM神谕时多校准预测器的样本复杂度,给出最优样本复杂度界,揭示神谕效率的计算代价及交换多校准与普通多校准的计算难度差异。
2026-10-14 cs.DS cs.GT cs.LG
Loss Minimization through the Lens of Outcome Indistinguishability
Apple(苹果公司);Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校);VMware(威睿)
我们提出了一个新的观点,损失最小化和最近的概念,通过镜头的结果不可预测性。对于损失和假设类的集合,全方位预测要求预测器同时为集合中的每个损失提供损失最小化保证,并与类中的最佳(损失特定)假设进行比较。我们提出了一个通用的模板来学习预测满足我们称之为损失结果不可否认性的保证。对于一组统计测试--基于损失和假设类的集合--预测因子是损失OI,如果它与自然界对结果的真实概率无法区分(根据测试)。通过设计,损失OI意味着以直接和直观的方式进行全方位预测。我们进一步简化损失OI,将其分解为一个校准条件加上来自损失和假设类的一类函数的多精度。通过仔细分析这个类,我们给出了有效的构造omnipredictors有趣的类损失函数,包括非凸损失。这种分解突出了一个新的多组公平性的概念,我们称之为校准的多精度,它位于多精度和多校准之间的效用。我们表明,校准多精度意味着损失OI的重要的一组凸损失所产生的广义线性模型,而不需要充分的多校准。对于这样的损失,我们表现出我们的计算概念的损失OI和几何概念的不可分割性,制定为勾股定理在相关的布雷格曼分歧之间的等价性。我们给出了一种有效的校准多精度算法,其计算复杂性与多精度算法相当。总之,校准的多精度在全方位预测领域的效率和通用性之间提供了一个有趣的权衡点。
2022-12-08 cs.LG
Omnipredictors
VMware Research(VMware研究院);Microsoft Research(微软研究院);Stanford University(斯坦福大学);USC(南加州大学)
损失最小化是机器学习中的主导范例,其中预测器被训练以最小化取决于不确定事件的某个损失函数(例如,“明天会下雨吗?'').不同的损失函数意味着不同的学习算法,并且有时意味着非常不同的预测器。虽然广泛且有吸引力,但这种方法的明显缺点是在学习时可能不知道损失函数,这要求算法使用最佳猜测损失函数。我们提出了一个严格的新范式损失最小化机器学习的损失函数可以忽略在学习的时候,只有在决定一个动作时考虑。我们引入了一个(${\mathcal{L}},\mathcal{C}$)-omnipredictor的概念,它可以用来优化家庭${\mathcal{L}}$中的任何损失。一旦设置了损失函数,预测器的输出就可以进行后处理(单个预测的简单单变量数据独立转换),以便与$\mathcal{C}$类中的任何假设进行比较。后处理本质上是如果预测器的输出是不确定事件的真实概率,则将执行的操作。在某种意义上,全预测器从类$\mathcal{C}$中提取所有预测能力,而不管$\mathcal{L}$中的损失函数如何。我们表明,这种“损失遗忘”的学习是可行的,通过连接到多校准,一个概念引入的上下文中的算法公平性。此外,我们还展示了如何将多校准视为不可知提升的解决方案概念,从而为过去的结果提供新的启示。最后,我们将我们的见解转移回算法公平性的上下文中,通过提供多组损失最小化的全方位预测。
2021-09-11 cs.LG stat.ML
Multigroup Fairness and Omniprediction: Separations and Equivalences
Stanford University(斯坦福大学);Apple(苹果公司);University of Oxford(牛津大学);Institute for Advanced Study(普林斯顿高等研究院);Harvard University(哈佛大学)
本研究探讨全知预测与多组公平性之间的关系,证明普通全知预测不要求多组公平性,而损失结果不可区分性等价于校准多准确性。
2026-10-07 cs.LG
Omnipredictors for Constrained Optimization
Stanford University(斯坦福大学)
全预测因子的概念(Gopalan,Kalai,Reingold,Sharan和Wieder ITCS 2021)提出了一种新的损失最小化范式。与基于已知损失函数学习预测器不同,与类$\mathcal C$中的假设损失相比,全预测器可以容易地进行后处理,以最小化丰富损失函数家族中的任何一个。它已被证明,这样的omnipredictors存在,并暗示(所有凸和Lipschitz损失函数)的概念,多校准的算法公平性文献。在本文中,我们介绍了全预测约束优化,并研究其复杂性和影响。我们引入的概念允许学习者不知道稍后将分配的损失函数以及稍后将施加的约束,只要用于定义这些约束的子群体是已知的。我们展示了如何获得omnipredictors约束优化问题,依赖于适当的变种多校准。我们还调查了这一概念的影响时,使用的约束是所谓的组公平的概念。
2023-02-16 cs.CY cs.DS cs.LG
On the Performance of Direct Loss Minimization for Bayesian Neural Networks
Indiana University(印第安纳大学)
直接损失最小化(DLM)是一种基于正则化损失最小化的伪贝叶斯方法。与变分推理相比,它用预测损失代替了证据下限(ELBO)中的损失项,这与评估中使用的损失函数相同。先前工作中的一些理论和经验结果表明,DLM可以显着改善某些模型的ELBO优化。然而,正如我们在本文中指出的,贝叶斯神经网络(BNN)的情况并非如此。本文探讨了BNN的DLM的实际性能,其失败的原因及其与优化ELBO的关系,揭示了两种算法的一些有趣的事实。
2022-11-15 cs.LG stat.ML
Generalized Huber Loss for Robust Learning and its Efficient Minimization for a Robust Statistics
我们提出了一个广义的Huber损失公式。我们表明,选择一个合适的函数,特别是对数-exp变换,我们可以实现一个损失函数,它结合了理想的性质的绝对和二次损失。我们提供了一个算法,找到这样的损失函数的最小值,并表明,找到一个集中的度量是不是比传统的均值和中位数难得多。
2021-08-28 cs.LG stat.ML
GANs beyond divergence minimization
Lady Davis Institute(戴维斯夫人研究所)
生成对抗网络(GANs)可以被解释为两个玩家之间的对抗游戏,一个是GAN D,另一个是生成器G,其中D学习从虚假数据中区分真实数据,G通过“愚弄”D认为虚假数据实际上是真实数据来学习生成真实数据。目前,主流观点认为,G实际上是通过最小化发散来学习的,因为当D是最优的时,一般目标函数是发散。然而,由于理论与实践之间的不一致,这一观点受到了挑战。在本文中,我们讨论了与G的大多数损失函数相关的性质(例如,饱和/非饱和f-GAN、LSGAN、WGAN等)。我们证明了这些损失函数不是发散的,并且不具有与发散预期相同的均衡。这表明G不需要最小化与D最大化相同的目标函数,也不需要在用假数据交换真实数据(非饱和GAN)之后最大化D的目标,而是可以使用广泛的可能损失函数来学习生成真实数据。我们通过两个单独且独立的D最大化和G最小化步骤来定义GANs。我们将生成器步骤推广到四类新的损失函数,其中大多数是实际的分歧(而传统的G损失函数不是)。我们测试了各种各样的损失函数,从这四个类的合成数据集和CIFAR-10。我们观察到,大多数损失函数收敛良好,并提供可比的数据生成质量的非饱和GAN,LSGAN和WGAN-GP生成器损失函数,无论我们使用发散或非发散。这些结果表明,GANs不符合发散最小化理论,并且形成了比之前假设的更广泛的模型范围。
2018-09-06 cs.AI cs.LG stat.ML
Screening Data Points in Empirical Risk Minimization via Ellipsoidal Regions and Safe Loss Functions
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);ENS(巴黎高等师范学院);PSL(巴黎文理研究大学)
我们设计了简单的筛选测试,以自动丢弃经验风险最小化的数据样本,而不会失去优化保证。我们推导出损失函数,产生一个稀疏的解决方案的双重目标。我们还展示了如何正则化凸损失,以确保这样一个双重稀疏诱导属性,并提出了一个通用的方法来设计筛选测试的分类或回归的基础上椭圆近似的最佳集。除了产生计算增益外,我们的方法还允许我们将数据集压缩为代表点的子集。
2020-06-12 cs.LG stat.ML
Learning Randomly Perturbed Structured Predictors for Direct Loss Minimization
Technion(以色列理工学院)
直接损失最小化是在结构化标签空间上学习预测器的一种流行方法。这种方法在计算上很有吸引力,因为它用优化代替了积分,并允许使用损失扰动预测在深度网络中传播梯度。最近,这种技术被扩展到生成模型,同时引入了一个随机预测器,从随机扰动的得分函数中采样结构。在这项工作中,我们学习这些随机结构化预测变量的方差,并表明它在结构化预测中的学习得分函数和随机噪声之间取得了更好的平衡。我们经验证明学习的信号和随机噪声之间的平衡结构化离散空间的有效性。
2021-06-14 cs.LG stat.ML
Direct loss minimization algorithms for sparse Gaussian processes
Indiana University(印第安纳大学);Microsoft Research New England(微软研究院新英格兰分院)
本文提供了一个深入的调查直接损失最小化(DLM),优化后,以最大限度地减少预测损失,在稀疏高斯过程。对于共轭的情况下,我们认为DLM的对数损失和DLM的平方损失显示在这两种情况下显着的性能改善。DLM在非共轭情况下的应用更加复杂,因为对数损失DLM目标中的期望对数通常是难以处理的,并且简单的采样导致梯度的有偏估计。本文提出了两个技术贡献,以解决这个问题。首先,提出了一种新的方法,使用产品抽样,它给出了无偏估计的梯度(uPS)的目标函数。其次,有偏蒙特卡罗估计(bMC)的理论分析表明,随机梯度下降收敛,尽管有偏梯度。实验证明了DLM的经验成功。采样方法的比较表明,虽然uPS是潜在的采样效率更高,bMC提供了一个更好的权衡收敛时间和计算效率。
2020-10-27 cs.LG stat.ML
High Dimensional Classification via Regularized and Unregularized Empirical Risk Minimization: Precise Error and Optimal Loss
本文通过理论分析,深入研究了当考虑高维数据时,经验风险最小化框架在岭正则化和非正则化两种情况下的分类性能。专注于分离两类高斯混合的基本问题,建议的分析允许一组足够大的维度$p$的众多数据向量$\mathbf{x} \in \mathbb R^p$的分类误差的精确预测。这个精确的误差取决于损失函数、训练样本的数量以及混合数据模型的统计数据。研究表明,在数据统计的某些额外非稀疏条件下,它仍然超出高斯分布。在此定量误差分析的基础上,我们将简单平方损失确定为脊正则化和非正则化情况下高维分类的最佳选择,无论训练样本的数量如何。
2020-11-25 cs.LG stat.ML
Loss minimization and parameter estimation with heavy tails
Columbia University(哥伦比亚大学);Ben-Gurion University of the Negev(本-古里安大学)
这项工作研究的应用和推广的一个简单的估计技术,提供指数浓度下重尾分布,假设只有有界低阶矩。我们表明,该技术可用于近似最小化光滑和强凸损失,特别是最小二乘线性回归。例如,我们的$d$维估计器只需要$\tilde{O}(d\log(1/δ))$随机样本就可以获得概率为$1-δ$的最优最小二乘损失的常数因子近似,而不需要协变量或噪声是有界的或亚高斯的。我们提供了进一步的应用稀疏线性回归和低秩协方差矩阵估计与类似的津贴的噪声和协变量分布。其核心技术是将均值估计推广到任意度量空间。
2016-04-18 cs.LG stat.ML
Persistent Reductions in Regularized Loss Minimization for Variable Selection
在多面体规范的正则化损失最小化的背景下,我们表明,对于广泛的损失函数类(可能是非光滑和非凸的)并且在输入数据的简单几何条件下,可以有效地识别特征的子集,该特征的子集被保证在具有来自所述类别的损失函数的所有问题中的所有最优解中具有零系数,在对原始问题执行任何迭代优化之前。此过程是独立的,只接受数据作为输入,不需要调用任何loss函数。因此,我们把这个过程作为上述一类正则化损失最小化问题的持续约简。这种减少可以有效地实现通过极端射线识别子程序应用于从数据点形成的多面体锥。我们采用现有的输出敏感算法的极端射线识别,这使得我们的保证和算法适用于超高维问题。
2020-11-30 cs.LG math.OC stat.ML
Generalized Venn and Venn-Abers Calibration with Applications in Conformal Prediction
University of Washington(华盛顿大学)
本文提出统一的Venn和Venn-Abers校准框架,将二元分类扩展至一般损失函数预测问题,生成有限样本下边际校准的集值预测,并提出Venn多校准方法,在保形预测中恢复并扩展了多种特例。
2025-07-15 cs.LG stat.ME stat.ML
A Huber Loss Minimization Approach to Byzantine Robust Federated Learning
Zhejiang Lab(浙江大学实验室)
本文提出一种基于 Huber 损失最小化的新型聚合器以防御联邦学习中的对抗攻击,理论证明其在 i.i.d 下对受攻击比例 $ε$ 依赖最优且无需精确了解 $ε$,并支持不等数据量,同时扩展至 non-i.i.d 数据场景。
2024-03-25 cs.AI cs.LG
Fairness Without Demographics in Repeated Loss Minimization
Stanford(斯坦福大学)
机器学习模型(例如,语音识别器)通常被训练以最小化平均损失,这导致表示不一致-少数群体(例如,非母语者)对训练目标的贡献较小,因此往往遭受较高的损失。更糟糕的是,由于模型的准确性会影响用户的保留率,少数群体可能会随着时间的推移而缩小。在本文中,我们首先表明,现状的经验风险最小化(ERM)放大代表性的差距随着时间的推移,这甚至可以使最初公平的模型不公平。为了缓解这一问题,我们开发了一种基于分布鲁棒优化(DRO)的方法,该方法最大限度地减少了接近经验分布的所有分布的最坏情况风险。我们证明,这种方法控制风险的少数群体在每个时间步骤,在罗尔斯的分配正义的精神,同时保持遗忘的身份的群体。我们证明,DRO防止差异放大的例子,ERM失败,并显示在现实世界中的文本自动完成任务的少数群体用户满意度的改善。
2018-07-30 cs.LG stat.ML
On the exact minimization of saturated loss functions for robust regression and subspace estimation
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学及其应用研究实验室)
本文讨论了稳健回归和子空间估计,更精确地说,讨论了最小化饱和损失函数的问题。特别是,我们专注于计算复杂性的问题,并表明,一个确切的算法与多项式时间复杂度相对于数据的数量可以设计强大的回归和子空间估计。这个结果是通过采用分类的观点,并与搜索的线性模型,可以近似的最大数量的点与给定的错误的问题。基于随机采样的算法的近似变量也进行了讨论,实验表明,它提供了一个类似的算法简单的精度增益比传统的RANSAC。
2018-08-24 cs.LG stat.ML
Sharpness-Aware Minimization for Efficiently Improving Generalization
Google Research(谷歌研究院);Blueshift, Alphabet(Alphabet 旗下 Blueshift)
在当今严重过度参数化的模型中,训练损失的值几乎不能保证模型的泛化能力。事实上,像通常所做的那样,只优化训练损失值很容易导致模型质量不佳。之前的工作连接的几何形状的损失景观和泛化的动机,我们引入了一种新的,有效的程序,而不是同时最小化损失值和损失的锐度。特别是,我们的程序,清晰度感知最小化(SAM),寻求位于具有均匀低损失的邻域中的参数;这种提法导致了一个最小-最大优化问题,可以有效地执行梯度下降。我们提出的实证结果表明,SAM提高了模型在各种基准数据集(例如,CIFAR-10,CIFAR-100,ImageNet,微调任务)和模型,为几个项目提供了最先进的性能。此外,我们发现SAM本身提供的标签噪声的鲁棒性与国家的最先进的程序,专门针对学习与嘈杂的标签。我们在\url{https://github.com/google-research/sam}上开源我们的代码。
2021-04-29 cs.LG stat.ML
Monge SAM: Robust Reparameterization-Invariant Sharpness-Aware Minimization Based on Loss Geometry
Technical University of Denmark(丹麦技术大学)
针对SAM因依赖欧几里得度量导致重参数化下不具不变性的问题,提出基于损失曲面诱导的黎曼度量的M-SAM,其适用于任意建模选择、计算高效,理论和实证表明其增强超参数鲁棒性并减少次优均衡吸引。
2025-02-12 cs.LG stat.ML
Sign-Constrained Regularized Loss Minimization
Gunma University(群马大学);Tohoku University(东北大学)
在实际分析中,关于分析目标的领域知识经常被积累,尽管典型地,这些知识在统计分析阶段被丢弃,并且统计工具被用作黑盒。在本文中,我们引入了符号约束,这是一个方便和简单的表示非专家在一般的学习问题。我们已经开发了两个新的符号约束正则化损失最小化的优化算法,称为符号约束Pegasos(SC-Pega)和符号约束SDCA(SC-SDCA),通过简单地插入到原来的Pegasos和SDCA,分别符号校正步骤。我们提出的理论分析,保证插入的符号校正步骤不会降低这两种算法的收敛速度。两个应用程序中,符号约束学习是有效的。一种是利用解释变量与目标变量之间的相关性的先验信息。二是将符号约束引入到支持向量机的成对方法中。实验结果表明,在这两个应用程序中引入符号约束的泛化性能显着改善。
2017-10-12 cs.AI cs.LG
Risk Minimization in Structured Prediction using Orbit Loss
Bar-Ilan University(巴伊兰大学)
在结构化预报框架中引入了一种新的替代损失函数轨道损失,具有良好的理论和实用价值。虽然轨道损失不是凸的,但它有一个简单的分析梯度和一个简单的类似感知器的学习规则。我们从理论上分析了新的损失和状态的PAC贝叶斯推广界。我们还证明了新的损失在强意义上是一致的;即,由训练参数集实现的风险接近任何线性解码器在给定特征上可实现的下确界风险。针对风险最小化的方法,例如结构化斜坡损失、结构化概率单位损失和直接损失最小化,每个训练迭代需要至少两个推理操作。从这个意义上说,轨道损失更有效,因为它只需要一个推理操作,同时产生类似的性能。最后,我们提出的损失函数的结构铰链损失,结构斜坡损失,结构概率损失和直接损失最小化方法的几个基准数据集和任务的实证比较的文件。
2015-12-09 cs.LG
On Coresets for Regularized Loss Minimization
RelationalAI(RelationalAI公司);UC Merced(加州大学默塞德分校);Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
我们设计和数学分析基于采样的正则化损失最小化问题的算法,这些算法可以在流行的大数据计算模型中实现,其中对数据的访问以某种方式受到限制。我们的主要结果是,如果正则化的效果不成为可以忽略不计的规范的假设规模,并作为数据规模,那么一个均匀的样本适度的大小是具有高概率的coreset。在损失函数是逻辑回归或软边缘支持向量机的情况下,并且正则化器是常见的推荐选择之一,该结果意味着大小为$O(d \sqrt{n})$的均匀样本很有可能是$\Re^d$中$n$点的核心集。我们将这个上界与两个下界进行对比。第一个下界表明我们对均匀抽样的分析是严格的;也就是说,较小的均匀样本可能不是核心集。第二个下限表明,在某种意义上,均匀采样接近最佳,因为通常不存在明显较小的核心集。
2019-05-31 cs.LG stat.ML
MLE-guided parameter search for task loss minimization in neural sequence modeling
New York University(纽约大学)
神经自回归序列模型用于在各种自然语言处理(NLP)任务中生成序列,并根据序列级任务损失对其进行评估。这些模型通常使用最大似然估计进行训练,它忽略了任务损失,但经验上表现良好,作为替代目标。用于直接优化任务丢失的典型方法(诸如策略梯度和最小风险训练)是基于在序列空间中的采样以获得基于单个序列的丢失来评分的候选更新方向。在本文中,我们开发了一种替代方法,基于随机搜索的参数空间,利用访问的最大似然梯度。我们提出了最大似然引导参数搜索(MGS),它从更新方向上的分布中采样,该更新方向是围绕当前参数和围绕最大似然梯度的随机搜索的混合,每个方向由其在任务损失中的改进加权。MGS将采样转移到参数空间,并使用从多个序列中汇集的损失对候选者进行评分。我们的实验表明,MGS能够优化序列级损失,大大减少重复和非终止序列完成,并在机器翻译的最小风险训练的类似改进。
2020-10-05 cs.LG stat.ML
Making Risk Minimization Tolerant to Label Noise
Indian Institute of Science(印度科学学院);GE Global Research(通用电气全球研究中心)
在许多应用中,需要从中学习分类器的训练数据被标签噪声破坏。许多标准算法,如SVM,在标签噪声的存在下表现不佳。本文研究了风险最小化算法对标签噪声的鲁棒性。我们证明了一个充分条件下的损失函数的风险最小化的损失是容忍均匀标签噪声。我们证明了$0-1$损失、S形损失、斜坡损失和概率单位损失满足这个条件,尽管标准凸损失函数都不满足这个条件。我们还证明了,通过在损失函数中选择一个足够大的参数值,S形损失,斜坡损失和概率比特损失也可以容忍不均匀的标签噪声,如果我们可以假设类别在噪声下是可分离的。免费数据分发。通过大量的实证研究,我们表明,风险最小化下的$0-1$损失,S形损失和斜坡损失有更好的鲁棒性标签噪声相比,SVM算法。
2015-09-10 cs.LG
Doing well with less! On Sampling Techniques for Empirical Pairwise Loss Estimation/Minimization
IDS, LTCI Télécom Paris Palaiseau, France(IDS、LTCI 雷电巴黎实验室,巴黎帕莱索,法国)
本文利用调查采样技术,通过直接对成对样本进行采样而非单个观测,在保留少量信息的情况下实现与全量成对评估相当的估计或优化性能,为精度与计算成本之间提供了理论上有依据的权衡。
2026-06-01 cs.LG stat.ML
Surrogate Gap Minimization Improves Sharpness-Aware Training
Yale University(耶鲁大学);Google Research(谷歌研究院)
最近提出的Sharpness-Aware Minimization(SAM)通过最小化定义为参数空间中邻域内的最大损失的\textit{perturbed loss}来提高泛化能力。然而,我们发现,无论是尖锐的和平坦的极小值可以有一个低的扰动损失,这意味着SAM并不总是喜欢平坦的极小值。相反,我们定义了一个\textit{surrogate gap},一个措施相当于主导特征值的海森在局部最小值时,附近的半径(以获得扰动损失)是小的。代理间隙易于计算,并且在训练期间直接最小化是可行的。基于上述观察,我们提出了代理\textbf{G} ap引导的\textbf{S} harmonization- \textbf{A} ware \textbf{M}最小化(GSAM),这是SAM的一种新的改进,计算开销可以忽略不计。从概念上讲,GSAM由两个步骤组成:1)像SAM一样的梯度下降,以最小化扰动损失,以及2)在\textit{orthogonal}方向(梯度分解后)的\textit{ascent}步骤,以最小化代理间隙,但不影响扰动损失。GSAM寻求具有小损失(步骤1)和低锐度(步骤2)的区域,从而产生具有高泛化能力的模型。理论上,我们证明了GSAM的收敛性和可证明的比SAM更好的推广。从经验上讲,GSAM始终提高泛化能力(例如,在ViT-B/32的ImageNet top-1准确度上,SA…
2022-03-19 cs.AI cs.LG
Chaining Bounds for Empirical Risk Minimization
University of Alberta(阿尔伯塔大学);Imperial College London(帝国理工学院)
本文推广了标准链技术,证明了在随机设计条件下,即使噪声和估计值的大小是无界的,经验风险最小化的超额风险上界也是存在的。该界适用于许多损失函数,除了平方损失,和尺度仅与亚高斯或亚指数参数没有进一步的统计假设,如有界峰度条件的假设类。一个详细的分析提供了斜率约束和惩罚线性最小二乘回归与亚高斯设置,这往往证明了严格的样本复杂性界对数因子。
2016-09-07 cs.LG stat.ML
Learning with Bad Training Data via Iterative Trimmed Loss Minimization
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们研究了一个简单而通用的框架来解决当一小部分训练样本被损坏时学习模型参数的问题。我们首先做一个简单的观察:在各种这样的设置中,训练精度的演变(作为训练时期的函数)对于干净和坏样本是不同的。基于此,我们建议通过在(a)选择具有最低电流损耗的样本和(b)仅在这些样本上重新训练模型之间交替来迭代地最小化修剪损耗。我们证明了这个过程恢复地面真相(线性收敛速度)在广义线性模型与标准的统计假设。在实验上,我们在三种设置中证明了它的有效性:(a)仅在标签中有错误的深度图像分类器,(b)具有不良训练图像的生成对抗网络,以及(c)具有对抗(图像,标签)对的深度图像分类器(即,后门攻击)。对于随机标签噪声的充分研究的设置,我们的算法实现了最先进的性能,而无需访问任何先验保证的干净样本。
2019-02-18 cs.LG stat.ML
Stochastic Dual Coordinate Ascent Methods for Regularized Loss Minimization
Hebrew University(希伯来大学);Rutgers University(罗格斯大学)
随机梯度下降算法由于其强大的理论保证,已成为解决大规模有监督机器学习优化问题(如支持向量机)的热门方法。虽然密切相关的双坐标上升(DCA)方法已在各种软件包中实现,但迄今为止缺乏良好的收敛性分析。本文提出了一种新的分析随机双坐标上升(SDCA)显示,这类方法享有强大的理论保证,是可比的或更好的SGD。该分析证明了SDCA在实际应用中的有效性。
2013-01-30 cs.LG math.OC stat.ML
Structured Prediction by Conditional Risk Minimization
MIT(麻省理工学院)
我们提出了一个一般的方法,监督学习结构化的输出空间,如组合和多面体集,这是基于最小化估计的条件风险函数。给定一个定义在输出标签对上的损失函数,我们首先通过解决一个(可能是无限的)正则化最小二乘问题来估计条件风险函数。预测是通过解决一个推理问题,最大限度地减少估计的条件风险函数的输出空间。我们表明,这种方法使,在某些情况下,有效的训练和推理,而不显式地引入一个凸代理的原始损失函数,即使它是不连续的。对真实世界和合成数据集的实证评估表明,我们的方法在适应各种损失函数的有效性。
2017-02-26 cs.LG stat.ML
Conditional Density Estimation with Dimensionality Reduction via Squared-Loss Conditional Entropy Minimization
Tokyo Institute of Technology(东京工业大学)
回归的目的是在给定输入的情况下估计输出的条件均值。然而,回归是不够的信息,如果条件密度是多峰,异方差,和不对称的。在这种情况下,估计条件密度本身是优选的,但是条件密度估计(CDE)在高维空间中是具有挑战性的。处理高维的一种简单方法是首先执行降维(DR),然后执行CDE。然而,这样的两步过程在实践中执行得不好,因为在第一DR步骤中引起的误差可能在第二CDE步骤中被放大。在本文中,我们提出了一种新的单次拍摄过程,同时进行CDE和DR在一个集成的方式。我们的主要思想是制定DR作为最小化的条件熵的平方损失变量的问题,这是通过CDE解决。因此,一个额外的CDE步骤是不需要DR后。我们证明了所提出的方法的有用性,通过广泛的实验,包括人形机器人过渡和计算机艺术的各种数据集。
2014-04-28 cs.LG stat.ML
On the Error Resistance of Hinge Loss Minimization
Apple(苹果公司);Google Brain(谷歌大脑)
机器学习中常用的分类算法,例如支持向量机,最小化训练样本上的凸替代损失。在实践中,这些算法对训练数据中的错误具有惊人的鲁棒性。在这项工作中,我们确定了一组条件下的数据,这种替代损失最小化算法可证明学习正确的分类。这使我们能够建立,在一个统一的框架,这些算法的鲁棒性在各种模型的数据以及错误。特别是,我们表明,如果数据是线性分类略有非平凡的保证金(即保证金至少$C/\sqrt{d}$为$d$维单位向量),类条件分布是近各向同性和logconvex,那么代理损失最小化的未损坏的数据上的错误可以忽略不计,即使当一个常数部分的例子是adversarially错误标记。
2020-12-02 cs.LG
LSAM: Asynchronous Distributed Training with Landscape-Smoothed Sharpness-Aware Minimization
针对SAM在分布式大批量训练中效率低的问题,提出结合SAM对抗步骤与异步分布式采样的LSAM优化器,消除同步瓶颈、加快收敛且准确率更高,兼顾泛化优势与训练效率。
2025-09-03 cs.LG stat.ML
On Data Preconditioning for Regularized Loss Minimization
the University of Iowa(爱荷华大学);Michigan State University(密歇根州立大学);Alibaba Group(阿里巴巴集团)
研究通过数据预处理技术提升一阶方法在正则化损失最小化中的收敛速度,分析了问题条件数对收敛的影响,并提出随机采样方法实现高效预处理。
2015-09-25 cs.LG cs.NA math.NA
ASAM: Adaptive Sharpness-Aware Minimization for Scale-Invariant Learning of Deep Neural Networks
Samsung Research(三星研究院)
近年来,损失面的尖锐度作为泛化间隙的有效度量,作为学习算法的动机,表现出最先进的性能。然而,在具有固定半径的刚性区域中定义的锐度在对参数重新缩放的敏感性方面具有缺点,这使得损失不受影响,从而导致锐度和泛化间隙之间的连接减弱。在本文中,我们引入了自适应锐度的概念,这是规模不变的,并提出了相应的推广界。我们提出了一种新的学习方法,自适应锐度感知最小化(ASAM),利用建议的泛化界。在不同基准数据集上的实验结果表明,ASAM有助于显着提高模型的泛化性能。
2021-06-29 cs.LG stat.ML
Exclusive Sparsity Norm Minimization with Random Groups via Cone Projection
University of Rochester(罗切斯特大学)
许多实际应用,如基因表达分析,多任务学习,图像识别,信号处理和医学数据分析追求稀疏的解决方案的特征选择的目的,特别是有利于非零\emph{evenly}分布在不同的群体。排他性稀疏性范数已被广泛用于此目的。然而,对于排它性稀疏范数优化问题还缺乏系统的研究。本文从优化的角度提供了两个主要的贡献:1)我们提供了几个有效的算法来解决排他性稀疏范数最小化的光滑损失或铰链损失(非光滑损失)。所有算法均达到最优收敛速度$O(1/k^2)$($k$为迭代次数)。据我们所知,这是第一次保证这样的收敛速度为一般的排他性稀疏范数最小化; 2)在群信息不足以定义唯一稀疏范数的情况下,我们提出用随机分组方案来构造群,并证明了如果群的个数选择适当,非零(真实特征)将以理想的方式以高概率被分组。实验结果验证了所提出的算法的有效性,以及随机分组方案对所提出的排他性SVM公式的有效性。
2015-10-27 cs.LG stat.ML
Ordered SGD: A New Stochastic Optimization Framework for Empirical Risk Minimization
MIT(麻省理工学院);Google Research(谷歌研究院)
我们提出了一个新的随机最优化框架的经验风险最小化问题,如那些出现在机器学习。传统的方法,如(小批量)随机梯度下降(SGD),利用经验平均损失的无偏梯度估计。相比之下,我们开发了一种计算效率高的方法来构建一个梯度估计器,该估计器故意偏向于那些具有较高电流损耗的观测值。在理论方面,我们表明,所提出的方法最大限度地减少了一个新的有序修改的经验平均损失,并保证以次线性率收敛到全局最优凸损失和弱凸(非凸)损失的临界点。此外,我们证明了一个新的泛化界所提出的算法。在经验方面,数值实验表明,与标准小批量SGD相比,我们提出的方法在包括SVM,逻辑斯谛回归和深度学习问题在内的各种模型中始终改善了测试误差。
2020-02-01 cs.LG math.OC stat.ML
Stochastic Smoothing for Nonsmooth Minimizations: Accelerating SGD by Exploiting Structure
College of Computing(计算学院);Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们考虑随机最小化的非光滑凸损失函数,一个中心问题,在机器学习。我们提出了一种新的算法称为加速非光滑随机梯度下降(ANSGD),它利用常见的非光滑损失函数的结构,以实现最佳收敛速度的一类问题,包括支持向量机。这是第一个随机算法,可以实现最佳的O(1/t)的速度最小化非光滑损失函数(具有强凸性)。通过实证比较,ANSGD显着优于以前的次梯度下降算法,包括SGD的速度快。
2012-10-01 cs.LG stat.CO stat.ML
Differentially Private Empirical Risk Minimization Revisited: Faster and More General
State University of New York at Buffalo(纽约州立大学布法罗分校)
在本文中,我们研究了在不同的设置不同的私人经验风险最小化(ERM)问题。对于光滑(强)凸损失函数与或不与(非)光滑正则化,我们给出的算法,实现最佳或接近最佳的效用界,与以前的工作相比,梯度复杂性。对于高维($p\gg n$)环境下具有光滑凸损失函数的ERM,我们给出了一个算法,该算法比以前的算法以更小的梯度复杂度达到上界。最后,将期望超额经验风险从凸损失函数推广到满足Polyak-Lojasiewicz条件的非凸损失函数,并给出了比\cite{ijcai2017-548}更严格的效用上界.
2018-02-14 cs.CR cs.LG stat.ML
Training Deep Neural Networks via Direct Loss Minimization
Tsinghua University(清华大学);University of Toronto(多伦多大学)
深度神经网络的监督训练通常依赖于最小化交叉熵。然而,在许多领域,我们感兴趣的是在特定于应用程序的指标上表现良好。在本文中,我们提出了一种直接损失最小化方法来训练深度神经网络,它可证明地最小化特定于应用的损失函数。这通常是不平凡的,因为这些函数既不光滑也不可分解,因此不适合用标准的基于梯度的方法进行优化。我们证明了我们的方法的有效性,在最大限度地提高平均精度的排名问题的背景下。为了实现这个目标,我们开发了一种新的动态规划算法,可以有效地计算权重更新。我们的方法证明优于各种基线的动作分类和目标检测的上下文中,特别是在标签噪声的存在下。
2016-06-02 cs.LG
Accelerated Proximal Stochastic Dual Coordinate Ascent for Regularized Loss Minimization
The Hebrew University(希伯来大学);Rutgers University(罗格斯大学);Baidu Inc.(百度公司)
本文提出一种正则化损失最小化问题的加速随机对偶坐标上升方法,并通过内-外迭代流程提升其效率,改进了支持向量机、逻辑回归等关键机器学习优化问题的理论结果。
2013-10-08 cs.LG cs.NA math.NA
Fix the Loss, Not the Radius: Rethinking the Adversarial Perturbation of Sharpness-Aware Minimization
CSMT, Wenzhou-Kean University(温州肯恩大学计算机科学与技术学院);International Frontier Interdisciplinary Research Institute, Wenzhou-Kean University(温州肯恩大学国际前沿交叉学科研究院)
本文提出LE-SAM,通过将传统SAM的固定半径扰动改为固定损失空间预算,提升模型泛化能力,实验显示其优于SAM及其变种。
2026-05-11 cs.LG
Consistent optimization of AMS by logistic loss minimization
Poznań University of Technology(波兹南理工大学)
在本文中,我们从理论上证明了一种在希格斯玻色子机器学习挑战赛的参与者中流行的方法,以优化近似中位数显著性(AMS)。该方法基于以下两阶段程序。首先,通过最小化训练样本上的二元分类的替代损失(例如逻辑损失)来学习实值函数。然后,通过AMS的直接优化,在单独的验证样本上调整阈值。我们表明,所得到的(阈值)分类器测量相对于平方AMS的遗憾,是上界的底层实值函数测量相对于逻辑损失的遗憾。因此,我们证明了最小化逻辑代理是优化AMS的一致方法。
2014-12-05 cs.LG
Consistent Multilabel Ranking through Univariate Losses
Mathematics and Computer Science, Marburg University(马尔堡大学数学与计算机科学学院)
我们考虑多标签分类中的秩损失最小化问题,这通常是通过定义在标签对上的凸代理损失来解决的。最近,这种方法受到质疑,一个负面的结果表明,常用的成对替代损失,如指数和逻辑损失,是不一致的。在本文中,我们展示了一个积极的结果,这可以说是令人惊讶的,鉴于前一个:更简单的单变量的指数和逻辑代理(即,定义在单个标签上)对于秩损失最小化是一致的。而不是直接证明收敛性,我们给出了一个更强大的结果,通过推导遗憾界和收敛速度。建议的损失建议有效的和可扩展的算法,这是实验测试。
2012-06-27 cs.LG stat.ML
On the Joint Minimization of Regularization Loss Functions in Deep Variational Bayesian Methods for Attribute-Controlled Symbolic Music Generation
针对属性控制符号音乐生成中变分贝叶斯方法难以联合最小化正则化损失的问题,本文探索KLD与AR损失的权衡,发现合适的属性变换可同时实现潜维度的可控性与正则化,提升生成模型性能。
2025-11-10 cs.AI cs.LG eess.AS
Non-Negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation
CyberAgent, Inc.(赛博代理公司);The University of Tokyo(东京大学)
密度比估计(DRE)是异常检测和领域自适应等各种机器学习任务的核心。在现有的DRE研究中,基于Bregman散度(BD)最小化的方法得到了广泛的研究。然而,当BD最小化应用于高度灵活的模型(如深度神经网络)时,往往会遭受我们所说的训练损失黑客攻击,这是由经验BD估计量的典型特征引起的过拟合的来源。在本文中,为了减轻列车损失黑客攻击,我们提出了一个非负校正的经验BD估计。理论上,我们通过一个泛化误差界证实了所提出方法的合理性。通过实验,我们提出的方法表现出良好的性能,在基于内点的离群点检测。
2021-07-17 cs.CV cs.LG stat.ML
A sparse semismooth Newton based proximal majorization-minimization algorithm for nonconvex square-root-loss regression problems
Zhejiang University City College(浙大城市学院);Southwest Jiaotong University(西南交通大学);The Hong Kong Polytechnic University(香港理工大学);National University of Singapore(新加坡国立大学)
本文考虑高维非凸平方根损失回归问题,并提出了一种近似优化最小化算法。我们的关键思想,使建议的PMM是有效的是开发一个稀疏半光滑牛顿方法来解决相应的子问题。利用下划线问题中的Kurdyka-Schojasiewicz性质,证明了PMM算法收敛于d-平稳点.我们还分析了算法中初始子问题的预言性质。大量的数值实验证明了所提出的PMM算法的高效率。
2020-05-27 cs.LG cs.NA math.NA
Navigating Potholes with Geometry-Aware Sharpness Minimization
Mila, Université de Montréal(Mila,蒙特利尔大学);Samsung – SAIL Montreal(三星–SAIL蒙特利尔)
本文提出LLQR+SAM方法,结合学习预条件器与尖锐性最小化,通过双时间尺度结构提升模型鲁棒性,实验证明其在视觉和序列建模任务中表现优异。
2026-05-15 cs.AI cs.LG