Establishing Linear Surrogate Regret Bounds for Convex Smooth Losses via Convolutional Fenchel-Young Losses
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);The Institute of Statistical Mathematics(统计数学研究所);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Skywork AI
本文提出通过卷积Fenchel-Young损失构建凸光滑替代损失,以实现线性替代遗憾界,从而解决凸光滑损失与线性遗憾界之间的权衡问题。
2025-11-26 cs.LG stat.ML
A General Theory for Structured Prediction with Smooth Convex Surrogates
INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
在这项工作中,我们提供了一个结构化预测的理论框架,概括了现有的理论的替代方法的二进制和多类分类的基础上估计条件概率与光滑凸代理(如逻辑回归)。该理论依赖于一个自然的表征的任务损失的结构特性,并允许获得统计保证,许多广泛使用的方法的背景下,多标签,排名,有序回归和图形匹配。特别是,我们刻画了一个合适的Bregman发散与链接函数组成的一个给定的任务损失的光滑凸代理兼容。这允许导出紧边界的校准函数,并获得新的结果对现有的代理框架结构化预测,如条件随机场和二次代理。
2019-02-13 cs.AI cs.LG stat.ML
Parametric Nonconvex Optimization via Convex Surrogates
KU Leuven(鲁汶大学)
本文提出一种基于学习的方法,通过构造近似问题来解决参数非凸优化问题,利用凸和单调项的组合构建替代函数,通过并行凸优化直接求解,实验验证了方法的有效性。
2026-04-07 cs.LG cs.SY eess.SY
Binary Excess Risk for Smooth Convex Surrogates
Michigan State University(密歇根州立大学)
在统计学习理论中,0-1损失的凸替代物是高度优选的,因为凸性带来的计算和理论优点。这是更重要的,如果我们考虑光滑的代理证明了这一事实,即平滑度是进一步有益的计算-通过获得优化的{ \it optimal}收敛速度,并在统计意义上-通过提供一个改进的{ \it optimal}速度的泛化界限。本文从统计一致性的角度研究了光滑性,并展示了它对二元超额风险的影响。我们发现,在相反的优化和泛化误差,有利于选择光滑的替代损失,光滑的损失函数可能会降低二进制超额风险。出于这个负面的结果,我们提供了一个统一的分析,整合优化误差,泛化界,并在凸过度风险转化为二进制过度风险时,检查平滑的影响,二进制过度风险的错误。我们表明,在有利的条件下,适当的选择光滑凸损失将导致一个二元超额风险,优于$O(1/\sqrt{n})$。
2014-02-07 cs.LG stat.ML
Stochastic regularized majorization-minimization with weakly convex and multi-convex surrogates
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
随机优化最小化(SMM)是一类随机最优化算法,其通过采样新数据点并最小化目标函数的代理函数的递归平均来进行。代理需要是强凸的,一般非凸设置的收敛速度分析不可用。在本文中,我们提出了一个扩展的SMM代理人只允许是弱凸或块多凸,平均代理人近似最小化与近端正则化或块最小化内半径减小,分别。对于非独立同分布的一般非凸约束情形,数据样本,我们表明,所提出的算法的一阶最优性差距衰减率$O((\log n)^{1+ε}/n^{1/2})$的经验损失和$O((\log n)^{1+ε}/n^{1/4})$的预期损失,其中$n$表示处理的数据样本的数量。在一些附加的假设下,后者的收敛速度可以提高到$O((\log n)^{1+ε}/n^{1/2})$。作为推论,我们获得了一般非凸依赖数据设置下的各种最优化方法的第一收敛速度界:双平均投影梯度下降及其推广,近点经验风险最小化,和在线矩阵/张量分解算法。我们还提供了实验验证我们的结果。
2023-03-21 cs.LG math.OC stat.ML
Quantifying Learning Guarantees for Convex but Inconsistent Surrogates
NRU HSE(高等经济大学);MILA(米拉魁北克人工智能研究所);DIRO(蒙特利尔大学);Skoltech(斯科尔科沃科技学院)
研究了基于最小化凸代理的机器学习方法的一致性性质。我们扩展了Osokin et al.(2017)最近的框架,用于对不一致代理的情况下的一致性属性进行定量分析。我们的关键技术贡献在于一个新的下限的校准函数的二次代理,这是不平凡的(不总是零)不一致的情况下。新的界限允许量化设置的不一致性水平,并显示如何使用不一致的代理学习可以保证样本的复杂性和优化难度。我们将我们的理论应用于两个具体案例:具有树结构损失的多类分类和具有平均精度损失的排名。结果表明,近似计算的权衡所造成的不一致的代理人和他们的潜在利益。
2019-01-09 cs.AI cs.LG stat.ML
Convex Calibration Dimension for Multiclass Loss Matrices
Indian Institute of Science(印度科学学院)
我们研究了一般多类学习问题的代理损失函数的一致性,定义了一个一般的多类损失矩阵。我们扩展的概念,分类校准,这已经研究了二进制和多类0-1分类问题(和某些其他特定的学习问题),一般的多类设置,并推导出必要和充分条件的替代损失校准相对于损失矩阵在这种设置。然后,我们引入了多类损失矩阵的凸校准维度的概念,它测量预测空间的最小“尺寸”,在该预测空间中,可以设计相对于损失矩阵校准的凸代理。我们推导出这个量的上界和下界,并使用这些结果来分析各种损失矩阵。特别是,我们应用我们的框架来研究各种子集的排名损失,并使用凸校准尺寸作为工具来显示这些损失的各种类型的凸校准代理的存在和不存在。我们的研究结果加强了Duchi et al.(2010)和Calauzenes et al.(2012)关于子集排序中不存在某些类型的凸校准代理的最新结果。我们预计凸校准维度可能被证明是一个有用的工具,在研究和设计一般的多类学习问题的代理损失。
2015-08-23 cs.LG stat.ML
Input convex neural networks as surrogates in mathematical optimisation
Aalto University(阿尔托大学);KTH Royal Institute of Technology(瑞典皇家理工学院);Technical University of Denmark(丹麦技术大学)
该研究提出用输入凸神经网络(ICNN)作为数学优化的代理模型,其能得到更紧致的线性规划松弛,开发了分支定界算法,在三类案例中验证了其精度与FNN相当且求解更高效。
2026-08-11 cs.LG math.OC
An Embedding Framework for Consistent Polyhedral Surrogates
University of Colorado Boulder(科罗拉多大学博尔德分校)
我们形式化和研究的自然方法设计凸代理损失函数通过嵌入,如分类,排名,或结构化预测的问题。在这种方法中,我们嵌入了许多预测中的每一个(例如,排名)作为$\mathbb{R}^d$中的点,将原始损失值分配给这些点,并以某种方式“凸化”损失以获得代理。我们建立了一个强有力的连接,这种方法和多面体(分段线性凸)代理损失。给定任何多面体损失$L$,我们给出了一个链接函数的结构,通过该链接函数,$L$是它嵌入的损失的一致代理。相反,我们将展示如何构建一个一致的多面体代理任何给定的离散损失。我们的框架产生简洁的证明的一致性或不一致的各种多面体的代理人在文献中,不一致的代理人,它进一步揭示了这些代理人是一致的离散损失。我们展示了一些额外的嵌入结构,如嵌入和匹配贝叶斯风险的等价性,以及各种非冗余概念的等价性。使用这些结果,我们建立了间接启发,一致性的必要条件,也是足够的多面体代理人工作时。
2022-01-11 cs.LG stat.ML
Convex Calibrated Surrogates for the Multi-Label F-Measure
University of Pennsylvania(宾夕法尼亚大学);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
F-measure是一种广泛使用的多标签分类性能度量,其中多个标签可以同时在一个实例中处于活动状态(例如,在图像标记中,多个标签可以在任何图像中处于活动状态)。特别是,F度量明确地平衡了召回率(预测为活跃的活跃标签的分数)和精度(预测为活跃的标签的分数),这两者在评估多标签分类器的整体性能时都很重要。然而,与大多数离散预测问题一样,直接优化F测度在计算上是困难的。在本文中,我们探讨的问题,设计凸代理损失校准的F-措施-特别是,具有的属性,最大限度地减少代理损失收益率(在足够的数据的限制)贝叶斯最优多标签分类器的F-措施。我们证明了$s$ -标签问题的F-测度,当被视为$2^s \times 2^s$损失矩阵时,具有至多$s^2+1$的秩,并应用Ramaswamy等人的结果。(2014)为F-测度设计一族凸校准代理。由此产生的代理风险最小化算法可以看作是分解的多标签F-测量学习问题的$s^2+1$二进制类概率估计问题。我们还为我们的代理人提供了一个定量的后悔转移界限,它允许将二元问题的任何后悔保证转移到整体F-测度问题的后悔保证,并讨论了与Dembczynski et al.(2013)算法的联系。我们的实验证实了我们的理论发现。
2020-09-16 cs.LG stat.ML
Matrix Completion via Non-Convex Relaxation and Adaptive Correlation Learning
Northwestern Polytechnical University(西北工业大学)
现有的矩阵完备化方法主要集中在优化秩函数的松弛,如核范数、Schatten-p范数等,通常需要多次迭代才能收敛。此外,大多数现有的模型只利用了矩阵的低秩性质,一些结合其他知识的方法在实践中相当耗时。为了解决这些问题,我们提出了一种新的非凸代理,可以通过封闭形式的解决方案进行优化,使它在几十次迭代内经验收敛。此外,优化是无参数的,并证明了收敛。与秩松弛算法相比,代理算法通过优化秩的上界来实现。从理论上证明了它与现有的矩阵完备化模型是等价的。除了低秩的假设,我们打算利用列相关矩阵完成,从而自适应相关学习,这是缩放不变的,开发。更重要的是,在结合相关学习之后,模型仍然可以通过封闭形式的解决方案来求解,因此它仍然可以快速收敛。实验证明了非凸代理和自适应相关学习的有效性。
2022-03-04 cs.LG
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University(波士顿大学);Google(谷歌)
随机梯度下降(SGD)在机器学习中发挥了核心作用。然而,它需要一个精心挑选的步长来快速收敛,这是众所周知的繁琐和耗时的调整。在过去的几年里,大量的自适应梯度算法已经出现,以改善这个问题。他们已被证明有效地减少劳动调整在实践中,但他们中的许多人缺乏理论保证,即使在凸设置。在本文中,我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来,这导致SGD算法具有自调整的步长,保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
An Embedding Framework for the Design and Analysis of Consistent Polyhedral Surrogates
University of Colorado Boulder(科罗拉多大学博尔德分校)
我们形式化和研究的自然方法设计凸代理损失函数通过嵌入,如分类,排名,或结构化预测的问题。在这种方法中,将多个预测(例如排名)中的每一个作为一个点嵌入$R^d$中,将原始损失值分配给这些点,并以某种方式“凸化”损失以获得替代。我们建立了这种方法和多面体(分段线性凸)代理损失之间的强连接:每个离散损失嵌入一些多面体损失,每个多面体损失嵌入一些离散损失。此外,嵌入产生了一致的链接函数以及线性替代遗憾界。我们的结果是建设性的,我们用几个例子说明。特别是,我们的框架给出了简洁的证明的一致性或不一致的各种多面体的代理人在文献中,和不一致的代理人,它进一步揭示了离散的损失,这些代理人是一致的。我们继续展示嵌入的其他结构,例如嵌入和匹配贝叶斯风险的等价性,以及各种非冗余概念的等价性。使用这些结果,我们建立了间接启发,一致性的必要条件,也是足够的多面体代理人工作时。
2022-06-29 cs.GT cs.LG
On the Consistency of Ordinal Regression Methods
INRIA(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);Télécom ParisTech(巴黎高等电信学院);Université Paris-Saclay(巴黎萨克雷大学)
文献中提出的许多有序回归模型可以被看作是最小化0 - 1、绝对或平方损失函数的凸替代的方法。一个关键的属性,允许研究这种近似的统计含义是费舍尔一致性。Fisher一致性是替代损失函数的理想属性,并意味着在总体设置中,即,如果生成数据的概率分布是可用的,则对替代的优化将产生最佳可能模型。在本文中,我们将描述一个丰富的家庭替代损失函数的有序回归,包括支持向量有序回归,ORBoosting和最小绝对偏差的背景下使用的Fisher一致性。我们将看到,对于包含支持向量有序回归和ORBoosting的代理损失函数族,一致性可以完全由实值函数在零处的导数来表征,就像二进制分类中基于凸边缘的代理一样。我们还推导出超额风险界的绝对误差,概括现有的风险界的二元分类的代理。最后,我们的分析提出了一种新的替代平方误差损失。我们将这种新的替代品与9个不同数据集上的竞争方法进行了比较。我们的方法在实践中具有很强的竞争力,在9个数据集中有7个数据集的最小二乘损失优于最小二乘损失。
2017-07-21 cs.LG
Misclassification excess risk bounds for PAC-Bayesian classification via convexified loss
Norwegian University of Science and Technology(挪威科技大学)
针对现有PAC-贝叶斯界多针对凸替代损失的局限,本研究利用期望型PAC-贝叶斯相对界,推导了使用凸替代损失时PAC-贝叶斯分类的误分类超额风险界,并在多个重要应用中验证了方法有效性。
2024-08-16 cs.LG stat.ML
Trading off Consistency and Dimensionality of Convex Surrogates for the Mode
Department of Computer Science University of Colorado Boulder(计算机科学系科罗拉多大学博尔德分校);Department of Computer Science Boston College(计算机科学系波士顿学院)
本文研究了在多类分类中如何通过权衡替代损失函数的维度、问题实例数量和一致性区域来提升模式识别的性能。
2026-01-17 cs.LG stat.ML
Locally Convex Global Loss Network for Decision-Focused Learning
KAIST(韩国科学技术院)
针对决策聚焦学习中计算最优决策梯度的挑战及现有方法适用域受限问题,提出局部凸全局损失网络LCGLN,通过部分输入凸神经网络实现通用DFL的单一替代损失,经三个随机决策问题验证其有效性与灵活性。
2025-02-10 cs.AI cs.LG
Calibrated Surrogate Losses for Adversarially Robust Classification
The University of Tokyo(东京大学);RIKEN(理化学研究所);AIP(应用物理研究所);University of Michigan(密歇根大学)
对抗鲁棒分类寻求对测试模式的对抗扰动不敏感的分类器。这个问题通常通过极大极小目标来表述,其中目标损失是受扰动大小约束的0-1损失的最坏情况值。最近的工作提出了对抗性0-1损失的凸代理,以使优化更容易处理。一个主要的问题是一致性,即替代风险的最小化是否意味着对抗性0-1风险的最小化。在这项工作中,我们分析这个问题,通过镜头的校准,这是一个逐点一致性的概念。我们表明,没有凸代理损失校准相对于对抗0-1损失时,限制到类的线性模型。我们进一步介绍了一类非凸损失,并提供了必要和充分条件,在这类损失进行校准。我们还表明,如果底层分布满足Massart的噪声条件,凸损失也可以在对抗设置校准。
2021-05-13 cs.LG stat.ML
Consistent Robust Adversarial Prediction for General Multiclass Classification
Carnegie Mellon University(卡内基梅隆大学);Conversant LLC(Conversant有限责任公司);California Institute of Technology(加州理工学院);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Pennsylvania(宾夕法尼亚大学)
我们提出了一个强大的对抗性预测框架一般多类分类。我们的方法寻求预测分布,该预测分布针对(近似)匹配训练数据统计的最坏情况条件标签分布(对抗分布)鲁棒地优化非凸和非连续多类损失度量。虽然优化的损失度量是非凸和非连续的,但该框架的对偶公式是一个凸优化问题,可以重新转换为具有指定凸代理损失的风险最小化模型,我们称之为对抗代理损失。我们表明,对抗性代理损失填补了现有的空白,代理损失建设一般多类分类问题,同时更好地与原始多类损失对齐,保证Fisher一致性,使一种方式,通过内核技巧,将丰富的特征空间,并提供在实践中有竞争力的性能。
2019-11-20 cs.LG stat.ML
Two-temperature logistic regression based on the Tsallis divergence
University of California, Santa Cruz(加州大学圣克鲁兹分校);Google Brain(谷歌大脑)
我们开发了一种多类逻辑回归的变体,它对噪声具有更强的鲁棒性。该算法每个类有一个权重向量,代理损失是线性激活的函数(每个类一个)。具有线性激活向量$\mathbf{a}$和类$c$的示例的代理损失具有$-\log_{t_1} \exp_{t_2} (a_c - G_{t_2}(\mathbf{a}))$的形式,其中两个温度$t_1$和$t_2$分别“回火”$\log$和$\exp$,并且$G_{t_2}(\mathbf{a})$是推广对数分区函数的标量值。我们使用Tsallis分歧来激发这种损失。我们的方法允许通过选择温度参数在非凸损耗和凸损耗之间过渡。当对数的温度$t_1$变得小于指数的温度$t_2$时,替代损失变为“准凸”。温度的各种调整恢复以前的方法和调整的非凸度的程度是至关重要的实验。特别是,准凸性和有界性的损失提供了显着的鲁棒性离群值。我们解释了这一点,表明$t_1 < 1$上限的替代损失和$t_2 >1$使预测分布有一个沉重的尾巴。我们表明,代理损失是贝叶斯一致的,即使在非凸的情况下。此外,我们提供了有效的迭代算法计算的日志分区值只有在几个迭代次数。我们在大型真实世界数据集上的令人信服的实验结果表明,在有噪声和无噪声的情况下使用双温度变量的优势。
2019-08-03 cs.LG stat.ML
SOC-ICNN: From Polyhedral to Conic Geometry for Learning Convex Surrogate Functions
School of Future Technology(未来技术学院);School of Automation Science and Engineering(自动化科学与工程学院)
SOC-ICNN通过将优化问题从线性规划扩展到二次锥规划,引入平滑曲率提升表示能力,实验表明其在函数逼近和决策质量上表现优异。
2026-04-24 cs.LG math.OC stat.ML
Predictions as Surrogates: Revisiting Surrogate Outcomes in the Age of AI
Stanford Data Science(斯坦福数据科学)
将生物统计学和经济学中的替代结局模型与预测驱动推断(PPI)建立形式化联系,提出重新校准的PPI方法,通过机器学习学习最优“插补损失”,始终优于仅使用真实结局数据的估计量,并实现最小渐近方差。
2026-06-23 cs.LG stat.ML
A Flexible Fairness Framework with Surrogate Loss Reweighting for Addressing Sociodemographic Disparities
University of Toronto(多伦多大学);York University(约克大学);Vector Institute(矢量研究所)
本文提出α-β公平机器学习框架,通过新代理损失函数与重加权技术、P-SGD-S算法,在多数据集上实现公平性提升且性能下降可控,可灵活调节公平-准确率权衡。
2025-03-21 cs.LG
DCEmbed: Scalable Optimization over Neural Surrogates
Stanford University(斯坦福大学);Johns Hopkins University(约翰斯·霍普金斯大学);Massachusetts Institute of Technology(麻省理工学院)
提出 DCEmbed 方法,利用神经网络的差凸表示避免二进制变量,通过迭代凸凹过程高效求解嵌入神经代理的优化问题,在多个实验中显著加速收敛并提升解质量。
2026-09-29 cs.LG math.OC
Surrogate Regret Bounds for Polyhedral Losses
University of Colorado Boulder(科罗拉多大学博尔德分校)
代理风险最小化是监督机器学习中普遍存在的范例,其中通过最小化数据集上的代理损失来解决目标问题。代理后悔界限,也称为超额风险界限,是证明代理风险最小化的推广率的常用工具。虽然替代遗憾界已被开发为某些类别的损失函数,如适当的损失,一般的结果是相对稀疏。我们提供了两个一般结果。第一个给出了一个线性代理遗憾界的任何多面体(分段线性和凸)代理,这意味着代理泛化率直接转化为目标率。第二个表明,充分非多面体代理,遗憾界是一个平方根,这意味着快速代理泛化率转化为目标的速度慢。总之,这些结果表明多面体代理在许多情况下是最佳的。
2021-10-26 cs.LG stat.ML
Support Vector Algorithms for Optimizing the Partial Area Under the ROC Curve
Harvard University(哈佛大学);Radcliffe Institute for Advanced Study, Harvard University(哈佛大学拉德克利夫高等研究院);Indian Institute of Science(印度科学院)
ROC曲线下面积(AUC)是机器学习中广泛使用的性能度量。然而,越来越多地,在一些应用中,从排名到生物特征筛选到医学,性能不是根据ROC曲线下的全部面积来衡量的,而是根据两个假阳性率之间的ROC曲线下的\emph{partial}面积来衡量的。在本文中,我们开发的支持向量算法直接优化任何两个假阳性率之间的部分AUC。我们的方法是基于最小化一个合适的代理或替代目标的部分AUC误差。在完整AUC的情况下,可以通过将性能度量表示为成对项的总和来容易地构造和优化凸代理。另一方面,部分AUC不允许这样一个简单的可分解结构,这使得设计和优化该度量的(紧密)凸代理更具挑战性。我们的方法建立在Joachims(2005)的结构SVM框架上,为部分AUC设计凸代理,并使用切割平面求解器解决由此产生的优化问题。与完整AUC不同,其中切割平面求解器的每次迭代中所需的组合优化可以被有效地分解和求解,部分AUC的对应问题更难分解。我们的主要贡献之一是一个多项式时间的算法来解决与部分AUC相关的组合优化问题。我们还开发了一种方法,用于优化一个更紧密的非凸铰链损失为基础的替代品的部分AUC使用差分凸规划。我们对各种现实世界和基准任务的实验证实了所提出方法的有效性。
2016-05-13 cs.LG stat.ML
Calibration and Consistency of Adversarial Surrogate Losses
Google Research(谷歌研究院);Rutgers University(罗格斯大学);Courant Institute of Mathematical Sciences(库朗数学科学研究所)
对抗鲁棒性是分类器在应用中越来越重要的特性。鲁棒算法的设计依赖于代理损失,因为大多数假设集的对抗损失的优化是NP难的。但是,应该使用哪些替代损失,以及它们何时从理论保证中受益?我们提出了一个广泛的研究这个问题,包括H-校准和H-一致性的对抗性代理损失的详细分析。我们表明,在一些一般的假设下,凸损失函数,或基于上确界的凸损失经常使用的应用程序,不H校准的重要假设集,如广义线性模型或单层神经网络。然后,我们给出了H-校准的一个特征,并证明了一些代理损失确实是H-校准的对抗性损失,这些假设集。接下来,我们证明了H校准不足以保证一致性,并证明了在没有任何分布假设的情况下,在对抗环境中没有连续的替代损失是一致的。特别是,这证明了COLT 2020出版物中提出的声明是不准确的。(校准结果存在正确的模细微定义差异,但一致性声明不成立。)接下来,我们确定自然条件下,我们详细描述的一些代理损失是H-一致的假设集,如广义线性模型和单层神经网络。我们还报告了一系列的实证结果与模拟数据,这表明许多H校准的替代损失确实是不H一致的,并验证了我们的理论假设。
2021-05-04 cs.LG stat.ML
Solving Hidden Monotone Variational Inequalities with Surrogate Losses
Mila Québec AI Institute(魁北克AI研究所);Université de Montréal(蒙特利尔大学);Department of Computer Science, Rice University(计算机科学系,里士大学);CIFAR AI Chair(CIFAR人工智能席位)
本文提出一种基于替代损失的深度学习框架求解隐藏单调变分不等式,保证收敛、统一现有方法并适配ADAM,实验验证在极小极大优化和投影贝尔曼误差中的有效性,并改进TD(0)效率。
2025-05-26 cs.LG math.OC
Convex Surrogate Loss Functions for Contextual Pricing with Transaction Data
Darden School of Business, University of Virginia(弗吉尼亚大学达顿商学院)
我们研究一个非政策上下文定价问题,其中卖家可以访问客户之前提供的价格样本,无论他们是否以该价格购买,以及描述客户和/或所售商品的辅助功能。这与充分研究的环境形成对比,在这种环境中,观察到客户的估价(支付意愿)样本。在我们的设置中,观察到的数据受到以前的定价政策的影响,我们不知道客户会如何回应替代价格。我们引入合适的损失函数,可以直接优化,以找到一个有效的定价政策与预期的收入保证,而不需要估计的中间需求函数。我们主要研究凸损失函数。这是特别相关的线性定价政策时,需要解释的原因,导致一个易于处理的凸收益优化问题。我们提出了广义铰链和分位数定价损失函数,价格在一个乘法因子的条件预期估值或一个特定的分位数的价格出售,尽管估值数据没有被观察到。当估值分布为对数凹分布时,我们分别证明了这些定价策略的期望收益界,并给出了有限样本情况下的推广界。最后,我们对合成数据和真实数据进行了模拟,以证明这种方法在上下文定价方面具有竞争力,并且在某些情况下优于最先进的方法。
2023-01-11 cs.IR cs.LG stat.ML
Online AUC Optimization Based on Second-order Surrogate Loss
本文提出一种基于二阶代理损失的在线AUC优化算法,直接替代聚合成对损失,实现更紧的遗憾界并扩展到核方法,实验验证其高效性。
2025-10-24 cs.LG
On the Consistency of Top-k Surrogate Losses
University of California, Berkeley(加州大学伯克利分校);Google Research Accra(谷歌阿克拉研究院);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
顶部$k$误差通常用于评估计算机视觉中具有挑战性的分类任务的性能,因为它被设计用于补偿地面真实标签中的模糊性。这一实际的成功激发了我们对一致性顶级$k$分类的理论分析。令人惊讶的是,当取一个向量的$k$ -argmax保证返回另一个向量的$k$ -argmax时,并没有严格理解,尽管这样做对于描述贝叶斯最优性至关重要;我们做了两个任务。然后,我们定义顶部$k$校准,并表明它是必要的和充分的一致性。基于对顶$k$校准的分析,提出了一类顶$k$校准的Bregman发散替代函数.我们的分析继续显示先前提出的铰链样顶部- $k$替代损失不是顶部- $k$校准的,并且表明没有凸铰链损失是顶部- $k$校准的。另一方面,我们提出了一个新的铰链损失是一致的。我们进一步探索,显示我们的铰链损失保持一致的限制下,线性函数,而交叉熵不。最后,我们展示了一个可微的,凸损失函数,这是顶部$k$校准特定的$k$。
2020-07-07 cs.LG stat.ML
Learning Deterministic Surrogates for Robust Convex QCQPs
University of Edinburgh(爱丁堡大学)
提出双隐层模型,通过求解确定性代理和评估最坏情况,实现不确定凸QCQP的鲁棒决策聚焦学习,并以松弛处理不确定约束,实验验证其正则化有效性。
2023-12-19 cs.AI cs.LG math.OC
Adversarial Consistency and the Uniqueness of the Adversarial Bayes Classifier
Mathematics, Courant Institute, New York, USA(数学,Courant研究所,纽约,美国)
本文研究对抗学习中的凸替代损失一致性,发现其等价于对抗贝叶斯分类器的唯一性,为鲁棒分类器设计提供理论指导。
2024-10-21 cs.LG math.ST stat.ML
Universal Online Convex Optimization with $1$ Projection per Round
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
针对通用在线凸优化中每轮需多次投影导致的高时间开销问题,本文基于黑箱归约与专家建议框架,提出每轮仅需1次投影的通用算法,通过创新的遗憾分解与专家损失设计,同时为多种凸函数建立最优遗憾界并实现小损失遗憾。
2024-05-30 cs.LG math.OC
One to beat them all: "RYU" -- a unifying framework for the construction of safe balls
Univ. Rennes, IRMAR - UMR 6625, F-35000 Rennes, France(里尔大学,IRMAR - UMR 6625,法国里尔);Mathematic department, School of Education, Can Tho Univ, Vietnam(数学系,教育学院,河内大学,越南);IETR UMR CNRS 6164, CentraleSupelec Rennes Campus, 35576 Cesson Sévigné, France(IETR UMR CNRS 6164,CentraleSupelec 里尔校区,法国塞松塞文尼);Univ. Rennes, Ensai, CNRS, CREST - UMR 9194, F-35000 Rennes, France(里尔大学,Ensai,CNRS,CREST - UMR 9194,法国里尔)
本文提出RYU框架,用于构造保证包含目标优化问题对偶解的有界安全区域,适用于由Lipschitz光滑凸函数与闭真凸函数组成的目标函数,并改进现有最先进方法。
2024-12-01 cs.LG math.OC stat.ML
Relaxed Majorization-Minimization for Non-smooth and Non-convex Optimization
Peking University(北京大学);Shanghai Jiaotong University(上海交通大学);National University of Defense Technology(国防科技大学)
本文提出了一种新的松弛主导最小化方法,用于非光滑和非凸优化问题,该方法能涵盖现有主导最小化方法。通过弱化条件,允许使用直接逼近非光滑目标函数的替代函数,在鲁棒矩阵分解问题中表现出优势。
2015-11-25 cs.LG cs.NA math.NA
The Pessimistic Limits and Possibilities of Margin-based Losses in Semi-supervised Learning
Radboud University(拉德堡德大学);Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学)
考虑一个分类问题,其中我们有标记和未标记的数据。我们表明,线性分类器定义的凸利润为基础的代理损失正在减少,这是不可能构建任何半监督的方法,能够保证改进的监督分类器上的标记和未标记的数据上的代理损失。对于也增加的凸边际损失函数,我们证明了安全的改进是可能的。
2019-01-08 cs.LG stat.ML
A Minimax Surrogate Loss Approach to Conditional Difference Estimation
MIT(麻省理工学院);Duke University(杜克大学)
我们提出了一种新的机器学习方法来估计个性化的处理效应在经典的潜在结果框架与二元结果。为了克服这个问题,治疗和控制结果为同一个单位都需要监督学习,我们提出了替代损失函数,将治疗和控制数据。新的替代品产生更严格的界限比治疗组和对照组的损失之和。一个特定的选择损失函数,即一种类型的铰链损失,产生一个极大极小支持向量机制定。由此产生的优化问题只需要一个凸优化问题的解决方案,将治疗和控制单元,它使核技巧被用来处理非线性(也是非参数)估计。统计学习界限也提出了框架和实验结果。
2018-05-04 cs.LG stat.ML
A Unified Convex Surrogate for the Schatten-$p$ Norm
Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学)
本文提出一种统一的凸替代项,用于Schatten-p范数,通过矩阵分解的等价性,使因子矩阵的范数可凸优化,提升矩阵补全任务的性能。
2016-11-25 cs.LG cs.NA math.NA
Optimizing ROC Curves with a Sort-Based Surrogate Loss Function for Binary Classification and Changepoint Detection
受试者工作特征(ROC)曲线是真阳性率与假阳性率的曲线图,可用于评估二元分类模型,但难以用于学习,因为曲线下面积(AUC)是非凸的。ROC曲线也可以用于其他具有假阳性和真阳性率的问题,例如变点检测。我们表明,在这种更一般的情况下,ROC曲线可以有循环,具有高度次优错误率的点,以及AUC大于1。这一观察激发了一个新的优化目标:而不是最大化AUC,我们希望AUC=1的单调ROC曲线避免Min(FP,FN)值较大的点。我们提出了这个目标的凸松弛,导致一个新的替代损失函数,称为AUM,最小面积(FP,FN)的缩写。虽然以前的损失函数是基于对所有标记的示例或对进行求和,但AUM需要对ROC曲线上的点序列进行排序和求和。我们表明,AUM方向导数可以有效地计算和梯度下降学习算法中使用。在我们对监督二进制分类和变点检测问题的实证研究中,我们证明了我们新的AUM最小化学习算法可以提高AUC,并且相对于以前的基线速度相当。
2021-07-02 cs.LG stat.ML
SLIDE: a surrogate fairness constraint to ensure fairness consistency
Department of Statistics, Seoul National University(统计系,首尔国立大学);Department of Statistics, Inha University(统计系,延世大学)
本文提出SLIDE,一种计算可行且渐近有效的替代公平约束,用于在最小化经验风险时确保模型公平性,并在基准数据集上验证其有效性。
2022-07-04 cs.LG stat.ML
CUP: A Conservative Update Policy Algorithm for Safe Reinforcement Learning
Peking University(北京大学);Zhejiang University(浙江大学);Tsinghua University(清华大学);Netease Games AI Lab(网易游戏人工智能实验室)
安全的强化学习(RL)仍然是非常具有挑战性的,因为它需要代理考虑回报最大化和安全探索。在本文中,我们提出了CUP,一个保守的更新策略算法的理论安全保证。我们推导出CUP的基础上提出的新的性能界限和代理函数。虽然在已有的工作中已经出现了使用边界作为代理函数来设计安全的RL算法,但我们至少在三个方面对它们进行了改进:(i)我们提供了严格的理论分析,将代理函数扩展到广义优势估计(GAE)。GAE显着减少方差经验,同时保持一个可容忍的水平的偏见,这是一个有效的步骤,我们设计的CUP;(ii)建议的界限比现有的作品,即更严格,使用所提出的边界作为代理函数是对目标和安全约束的更好的局部近似。(iii)所提出的CUP通过一阶优化器提供了一个非凸的实现,它不依赖于任何凸近似。最后,大量的实验表明CUP的有效性,其中代理满足安全约束。我们已经在https://github.com/RL-boxes/Safe-RL上打开了CUP的源代码。
2022-02-15 cs.AI cs.LG
Clustering using Max-norm Constrained Optimization
University of Texas at Austin(德克萨斯大学奥斯汀分校);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们建议使用最大范数作为凸代理约束聚类。我们展示了如何产生一个更好的准确的集群恢复保证比以前建议的核范数松弛,并研究我们的方法的有效性,和其他相关的凸松弛,相比其他聚类方法。
2012-04-13 cs.LG stat.ML
Exponential Convex Calibration Dimension for the Multi-Label Jaccard Measure
该研究针对多标签Jaccard测度,证明精确校准的凸代理需指数级预测坐标,同时给出多项式维度的近似校准保证及显式遗憾传递结果。
2026-08-14 cs.LG stat.ML
Power Homotopy for Zeroth-Order Non-Convex Optimizations
Department of Engineering, Shenzhen MSU-BIT University(工程系,深圳MSU-BIT大学)
研究零阶非凸优化问题,提出GS-PowerHP方法,通过采用$\sigma$递减的幂平滑同伦机制改进探索与细化权衡,理论和实验表明该方法优于固定$\sigma$基线,在不同优化任务中性能稳健。
2026-07-16 cs.LG math.OC
Limitations of Information-Theoretic Generalization Bounds for Gradient Descent Methods in Stochastic Convex Optimization
University of Toronto(多伦多大学);Vector Institute(向量研究院);KTH Royal Institute of Technology(皇家理工学院);Google Research(谷歌研究院);Mila(米拉研究所);McGill(麦吉尔大学)
本文证明输入-输出互信息、条件互信息、PAC-Bayes等现有信息论泛化界及其高斯噪声代理分析,均无法为随机凸优化中的梯度下降建立极小极大速率。
2023-07-13 cs.LG stat.ML
Distill n' Explain: explaining graph neural networks using simple surrogates
Federal Institute of Ceará(塞阿拉联邦学院);Getulio Vargas Foundation(热图利奥·瓦加斯基金会);Aalto university(阿尔托大学)
针对图神经网络解释成本与模型复杂度绑定的问题,提出基于知识蒸馏的DnX及快速版FastDnX,通过简单代理GNN和凸规划提取解释,性能优于现有方法且速度快数个数量级,并提供了理论支撑。
2024-03-08 cs.AI cs.LG
Surrogate Functions for Maximizing Precision at the Top
Microsoft Research India(微软研究院印度);Indian Institute of Science(印度科学学院)
在排名列表的顶部最大化精度的问题,通常被称为Precision@k(prec@k),在无数的学习应用中发现了相关性,例如排名,多标签分类和严重标签不平衡的学习。然而,尽管它的普及,存在着显着的差距,我们对这个问题的理解及其相关的性能指标。其中最值得注意的是缺乏prec@k的凸上边界代理。我们也缺乏可扩展的感知器和随机梯度下降算法来优化这个性能指标。在本文中,我们在这些方向的关键贡献。我们结果的核心是prec@k的真正上界代理族。这些代理以原则性的方式被激励,并且享有吸引人的属性,例如在各种自然裕度/噪声条件下的一致性。这些代理人,然后用来设计一类新的感知器算法优化prec@k可证明的错误界。我们还设计了可扩展的随机梯度下降风格的方法,这个问题的可证明的收敛界。我们的证明依赖于新的一致收敛界,这需要深入分析prec@k及其代理的结构特性。最后,我们的实验结果比较我们的算法与国家的最先进的切割平面和随机梯度算法最大化prec@k。
2015-05-26 cs.LG stat.ML
Beating the Minimax Rate of Active Learning with Prior Knowledge
Michigan State University(密歇根州立大学)
主动学习是指允许学习者选择用于标记的实例子集的学习协议。先前的研究表明,与被动学习相比,如果数据是线性可分的或满足参数为$κ=1$的Tsybakov噪声条件,则主动学习能够指数级降低标签复杂度。在本文中,我们提出了一种新的主动学习算法使用凸代理损失,其目标是扩大的情况下,主动学习实现指数级的改善。我们使用凸损失不仅是因为它降低了计算成本,更重要的是因为它导致了经验过程的紧边界(即,经验估计与期望之间的差异)。在最小化凸风险的最优分类器的范数可用的假设下,我们的分析表明,即使当Tsybakov噪声的参数$κ$大于$1$时,引入凸代理损失也会产生标签复杂度的指数降低。据我们所知,这是第一个工作,提高极小极大率的主动学习,利用一定的先验知识。
2014-02-06 cs.LG stat.ML
Localization, Convexity, and Star Aggregation
Massachusetts Institute of Technology(麻省理工学院)
偏移量拉德马赫复杂度已被证明在包括不适当的统计学习和在线学习在内的广泛类别的问题中为平方损失提供了严格的上限。我们证明了偏移复杂性可以推广到任何损失,满足一定的一般凸性条件。此外,我们表明,这种情况是密切相关的指数的自洽和统一的明显不同的结果。通过一个新的几何参数,我们的许多界限转化为不适当的学习在一个非凸类Audibert的星算法。因此,偏移复杂度提供了一个通用的分析工具,涵盖了凸经验风险最小化和不适当的学习下的熵条件。应用该方法,我们恢复正确和不正确的学习与$p$ -损失$1 < p < \infty$的最佳速率,并表明,不正确的变种经验风险最小化可以达到快速的速度为逻辑斯谛回归和其他广义线性模型。
2021-10-26 cs.LG stat.ML
Perceptron-like Algorithms and Generalization Bounds for Learning to Rank
学习排序是一个监督学习问题,其中输出空间是排序空间,而监督空间是相关性分数空间。我们对在线和批量设置下的学习排序问题都做出了理论贡献。首先,我们提出了一个类似感知器的算法,用于在线学习排名函数。我们的算法是经典的感知器算法的分类问题的扩展。其次,在批量学习的设置中,我们引入了凸排名代理的充分条件,以确保泛化界是独立于每个查询的对象的数量。当使用线性排序函数时,我们的界限成立:这是许多学习排序算法的常见做法。在开发在线算法和推广界的途中,我们提出了一个新的家庭的列表大利润率排名代理。我们的新的代理家庭是通过修改一个著名的成对大利润率排名代理,是不同的使用结构化预测框架开发的列表大利润率代理。使用建议的家庭,我们提供了一个有保证的上界的累积NDCG(或MAP)引起的损失下的感知器类算法。我们还表明,新的代理满足广义界条件。
2014-05-03 cs.LG stat.ML
On the Consistency of AUC Pairwise Optimization
Nanjing University(南京大学)
ROC曲线下面积(area under ROC curve,AUC)是一个重要的评价指标,在类不平衡学习、代价敏感学习、学习排序等学习任务中得到了广泛的应用。许多学习方法都试图优化AUC,但由于AUC的非凸性和不连续性,几乎所有的学习方法都使用代理损失函数。因此,AUC的一致性至关重要;然而,它以前几乎没有被触及过。本文给出了基于代理损失函数的学习方法的渐近一致性的一个充分条件。在此基础上,我们证明了指数损失和逻辑损失与AUC是一致的,但铰链损失是不一致的。然后,我们推导出与AUC一致的$q$ -范数铰链损失和一般铰链损失。我们还得到了指数损失和逻辑损失的一致界,并得到了许多代理损失函数在无噪声设置下的一致界。此外,我们公开了AUC的指数替代损失和准确度的指数替代损失之间的等效性,并且这种发现的一个直接结果是AdaBoost和RankBoost是等效的。
2014-07-02 cs.LG stat.ML
Polyconvex neural-network surrogates with learned paired directional features for anisotropic hyperelastic homogenization
Centre Internacional de Mètodes Numèrics en Enginyeria (CIMNE)(国际数值工程方法中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Stanford University(斯坦福大学)
本研究提出带学习配对方向特征的多凸物理增强神经网络,用于各向异性超弹性均匀化,其受约束能量在数据外仍保持凸性,精度损失小且性能稳定。
2026-10-12 cs.LG cs.NA math.NA
$\mathscr{H}$-Consistency Estimation Error of Surrogate Loss Minimizers
Google Research(谷歌研究院);Courant Institute of Mathematical Sciences(库朗数学科学研究所)
我们提出了一个详细的研究替代损失估计误差的估计误差。我们把这种保证称为$\mathscr{H}$一致性估计误差界,因为它们考虑了所采用的假设集$\mathscr{H}$。这些保证明显强于$\mathscr{H}$ -校准或$\mathscr{H}$ -一致性。当$\mathscr{H}$是所有可测函数的族时,它们也比文献中导出的类似的过量误差界更有信息量。我们证明一般定理提供这样的保证,分布依赖和分布无关的设置。我们表明,我们的界限是紧的,模凸性假设。我们还表明,以前的超额误差界可以恢复为我们的一般结果的特殊情况。然后,我们提出了一系列明确的界限的情况下的零-一损失,与多种选择的替代损失和家庭的线性函数和神经网络与一个隐藏层。在这种情况下,我们进一步证明了更有利的分布相关的保证。我们还提出了一系列明确的界限的情况下,对抗性的损失,代理损失的上确界的$ρ$利润,铰链或S形损失的基础上,并为相同的两个一般的假设集。在这里,我们也证明了自然分布的假设下,这些保证的几个增强。最后,我们报告的模拟结果,说明我们的界限和他们的紧密性。
2022-05-16 cs.LG stat.ML