SDCA without Duality
The Hebrew University(希伯来大学)
随机对偶坐标上升是一种求解凸损失情况下正则化损失最小化的流行方法。在本文中,我们将展示如何SDCA的一个变体可以应用于非凸损失。我们证明了线性收敛速度,即使个别损失函数是非凸的,只要期望损失是凸的。
2015-02-22 cs.LG
Adversarial Bandit Optimization with Globally Bounded Perturbations to Convex Losses
Department of Informatics, Kyushu University(九州大学信息学系);RIKEN AIP(理化学研究所革新智能综合研究中心)
研究损失函数可能非凸非光滑的对抗性赌博机优化,提出一种修改的赌博机优化算法,并分析扰动预算对遗憾的影响,将线性损失下的全局预算后行动扰动模型扩展到一般凸且β-光滑损失。
2026-06-23 cs.LG
Loss Balancing for Fair Supervised Learning
Yahoo Research(雅虎研究院);The Ohio State University(俄亥俄州立大学);Optum Labs(奥普特姆实验室);Alan Turing Institute(艾伦·图灵研究所)
针对监督学习的偏见问题,本文聚焦均等损失(EL)公平约束,提出ELminimizer算法将非凸优化转化为凸优化序列,用现成工具求全局最优,经理论证明与实证验证有效。
2023-11-07 cs.AI cs.LG
The Lovász Hinge: A Novel Convex Surrogate for Submodular Losses
CentraleSupélec, Université Paris-Saclay(巴黎萨克雷大学中央理工高等电力学院);Inria(法国国家信息与自动化研究所);KU Leuven(鲁汶大学)
当同时进行多组预测时,非模块化损失的学习是一个重要的问题。构造用于集合预测的凸代理损失函数的主要工具是边缘重标度和松弛重标度。在这项工作中,我们表明,这些策略导致紧凸代理,当潜在的损失函数是增加不正确的预测的数量。然而,梯度或切割平面计算这些功能是NP难的非超模损失函数。相反,我们提出了一种新的替代损失函数的子模块损失,Lovász铰链,这导致O(p log p)的复杂性与O(p)oracle访问损失函数计算梯度或切割平面。我们证明了Lovász铰链是凸的,并产生一个扩展。其结果是,我们已经开发出第一个听话的凸替代文献中的次模损失。我们通过几组预测任务,包括PASCAL VOC和Microsoft COCO数据集,展示了这种新型凸代理的实用性。
2017-05-15 cs.LG stat.ML
The perils of being unhinged: On the accuracy of classifiers minimizing a noise-robust convex loss
Google(谷歌);Columbia University(哥伦比亚大学)
Van Rooyen等人引入了凸损失函数对随机分类噪声具有鲁棒性的概念,并建立了“无铰链”损失函数在这个意义上是鲁棒的。在本说明中,我们研究了通过最小化精神错乱损失获得的二元分类器的准确性,并观察到即使对于简单的线性可分数据分布,最小化精神错乱损失也可能只会产生准确性并不比随机猜测更好的二元分类器。
2022-03-04 cs.LG stat.ML
Convex Calibration Dimension for Multiclass Loss Matrices
Indian Institute of Science(印度科学学院)
我们研究了一般多类学习问题的代理损失函数的一致性,定义了一个一般的多类损失矩阵。我们扩展的概念,分类校准,这已经研究了二进制和多类0-1分类问题(和某些其他特定的学习问题),一般的多类设置,并推导出必要和充分条件的替代损失校准相对于损失矩阵在这种设置。然后,我们引入了多类损失矩阵的凸校准维度的概念,它测量预测空间的最小“尺寸”,在该预测空间中,可以设计相对于损失矩阵校准的凸代理。我们推导出这个量的上界和下界,并使用这些结果来分析各种损失矩阵。特别是,我们应用我们的框架来研究各种子集的排名损失,并使用凸校准尺寸作为工具来显示这些损失的各种类型的凸校准代理的存在和不存在。我们的研究结果加强了Duchi et al.(2010)和Calauzenes et al.(2012)关于子集排序中不存在某些类型的凸校准代理的最新结果。我们预计凸校准维度可能被证明是一个有用的工具,在研究和设计一般的多类学习问题的代理损失。
2015-08-23 cs.LG stat.ML
A Convexity-dependent Two-Phase Training Algorithm for Deep Neural Networks
Institute of Computer Science, University of St.Gallen (HSG)(施普伦格尔大学计算机科学学院);Institute of Computer Science in Vorarlberg, University of St.Gallen (HSG)(沃斯堡大学计算机科学研究所)
该研究提出基于损失函数从非凸向凸转变假设的两阶段训练算法,用Adam和CG分别对应不同阶段,实验证实可显著提升深度神经网络的收敛性与准确率。
2025-10-30 cs.AI cs.LG math.OC
The Convexity and Design of Composite Multiclass Losses
Research School of Computer Science, The Australian National University(澳大利亚国立大学计算机科学研究院);NICTA;Tsinghua University(清华大学)
我们考虑用于多类预测的复合损失函数,其包括适当的(即,费雪一致性)损失的概率分布和逆链接函数。我们建立条件,他们的(强)凸性,并探讨其影响。我们还展示了如何分离的关注,通过使用这种复合表示允许设计的家庭损失具有相同的贝叶斯风险。
2012-06-18 cs.LG stat.ML
A Convex Surrogate Operator for General Non-Modular Loss Functions
Inria(法国国家信息与自动化研究所);CentraleSupélec, Université Paris-Saclay(巴黎萨克雷大学中央理工-高等电力学院);KU Leuven(鲁汶大学)
经验风险最小化经常采用凸替代底层离散损失函数,以实现优化过程中的计算易处理性。然而,经典的凸代理只能紧绑定模损失函数,子模函数或超模函数分别保持多项式时间的计算。在这项工作中,一种新的通用凸代理一般非模块化的损失函数,这是第一次提供了一个易于处理的解决方案,既不是超模块化,也不是次模块化的损失函数。这种凸代理是基于一个子模-超模分解,本文证明了其存在性和唯一性。它取两个凸代理的和,这两个凸代理分别使用松弛重缩放和Lov{á}sz铰链来分别绑定超模分量和子模分量。它进一步证明了这个代理是凸的,分段线性的,损失函数的扩展,次梯度计算是多项式时间。实验结果报告的非次模损失的基础上的S{}rensen-Dice差异函数,和一个真实世界的人脸跟踪数据集与数万帧,证明了改进的性能,效率和可扩展性的新的凸代理。
2016-04-12 cs.LG stat.ML
Online Multiserver Convex Chasing and Optimization
Microsoft Research(微软研究院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Stanford University(斯坦福大学)
我们介绍的问题$k$ -追逐凸函数,同时推广的著名的k-服务器问题$R^d$,和追逐凸体和函数的问题。除了对这种一般形式的基本兴趣之外,它还可以自然地应用于在线$k$ -具有诸如$k$ -中位数或$k$ -均值等目标的聚类问题。我们发现,这个问题表现出丰富的景观的行为。一般来说,如果$k > 1$和$d > 1$都存在,则不存在具有有界竞争性的任何在线算法。相比之下,我们展示了一类表现良好的功能(其中包括特别是上述聚类问题),我们表明,存在竞争力的在线算法,而且与无量纲的竞争比。我们还介绍了在线凸优化领域中的一个并行问题的顶部- $k$行动遗憾最小化。在那里,$k > 1$也出现了一个更加粗糙的景观。虽然有可能实现后悔消失,但与前一个动作的情况不同,强凸函数的消失速度不会加快。此外,要想让后悔消失,就必须进行复杂的计算,同时还要有随机性。最后,我们离开开放是否几乎无量纲的遗憾是可以实现的$k > 1$和一般的凸损失。作为证据,这可能是可能的,我们证明了无量纲遗憾的线性损失通过信息理论的论点。
2020-04-15 cs.DS cs.LG
CLASP: An online learning algorithm for Convex Losses And Squared Penalties
Department of Computer Science, NOVA School of Science and Technology(计算机科学系,NOVA科学与技术学院);Institute for Systems and Robotics, LARSyS, Instituto Superior Técnico, Universidade de Lisboa(系统与机器人研究所,LARSyS,理工学院,里斯本大学)
CLASP是一种用于凸损失和平方惩罚的在线学习算法,通过利用凸投影的强非扩张性,实现了对强凸问题的对数级别的悔值和累积惩罚保证。
2026-01-24 cs.LG math.OC
Online Convex Optimization with Switching Cost and Delayed Gradients
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);Tata Institute of Fundamental Research(塔塔基础研究院)
针对有限信息下带切换成本的在线凸优化问题,提出OMGD算法,证明了其在二次和线性切换成本下的竞争比上界紧致性及最优动态遗憾,揭示了两者最优竞争比的本质差异。
2023-10-18 cs.LG math.OC stat.ML
Making Convex Loss Functions Robust to Outliers using $e$-Exponentiated Transformation
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本文提出了一种新的损失函数的{ \em-指数}变换$0 \le e<1$.当变换应用于凸损失函数时,变换后的损失函数对离群值变得更鲁棒。使用一种新的泛化误差界,我们从理论上证明了转换后的损失函数具有更严格的边界的数据集损坏的离群值。我们的经验观察表明,使用变换后的损失函数获得的准确度可以显著优于使用原始损失函数获得的准确度,并且可以与在存在标签噪声的情况下通过一些其他现有技术方法获得的准确度相媲美。
2019-02-20 cs.LG stat.ML
Misclassification excess risk bounds for PAC-Bayesian classification via convexified loss
Norwegian University of Science and Technology(挪威科技大学)
针对现有PAC-贝叶斯界多针对凸替代损失的局限,本研究利用期望型PAC-贝叶斯相对界,推导了使用凸替代损失时PAC-贝叶斯分类的误分类超额风险界,并在多个重要应用中验证了方法有效性。
2024-08-16 cs.LG stat.ML
Beyond Online Balanced Descent: An Optimal Algorithm for Smoothed Online Optimization
California Institute of Technology(加州理工学院);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
我们研究在线凸优化的设置,学习者寻求最大限度地减少每轮命中成本和移动成本的总和时,轮之间改变决定。我们证明了一个新的下界的竞争比的任何在线算法的设置成本是$m$ -强凸和移动成本的平方$\ell_2$规范。该下限表明,当$m$趋于零时,没有算法可以实现为$o(m^{-1/2})$的竞争比。没有现有的算法有竞争力的比率匹配这个界限,我们表明,国家的最先进的算法,在线平衡体面(OBD),有一个竞争力的比率是$Ω(m^{-2/3})$。我们还提出了两个新的算法,贪婪OBD(G-OBD)和正则OBD(R-OBD),并证明了这两个算法有一个$O(m^{-1/2})$的竞争比。当命中成本为拟凸且运动成本为平方$\ell_2$范数时,G-OBD的结果成立;而当命中成本为$m$ -强凸且运动成本为Bregman散度时,R-OBD的结果成立。此外,我们表明,R-OBD同时实现恒定的,无量纲的竞争比和次线性后悔时,击中成本是强凸的。
2019-10-21 cs.LG math.OC stat.ML
Convex losses and their applications to SVM, SVR, and Shallow Neural Networks
DAIS
该研究提出多种适用于SVM和神经网络的新型凸损失函数,结合粒子群优化算法求解原始SVM问题,经嵌套交叉验证实验,发现新型损失函数对部分数据集的泛化性能无显著影响。
2026-09-21 cs.LG
Learning with Non-Convex Truncated Losses by SGD
The University of Iowa(爱荷华大学);Alibaba Group(阿里巴巴集团)
使用{ \it凸损失}函数进行学习多年来一直是一种主导范式。非凸损失函数如何提高学习的泛化能力,并具有广泛的适用性,仍然是一个有趣的问题。本文研究了通过截断传统的损失函数而形成的一族目标函数,它既适用于浅层学习,也适用于深度学习。截断损失函数有可能不那么脆弱,并且对可能是对抗性的观测中的大噪声更鲁棒。更重要的是,它是一种通用的技术,而无需假设噪声分布的知识。为了证明截断损失下的非凸学习的合理性,基于截断损失和随机梯度下降(SGD)方法找到的一个近似平稳点的统计误差,建立了经验风险最小化的超额风险界.我们的实验为浅和深度学习回归离群值,损坏的数据和重尾噪声进一步证明了所提出的方法。
2018-05-21 cs.LG stat.ML
Regularizers versus Losses for Nonlinear Dimensionality Reduction: A Factored View with New Convex Relaxations
University of Alberta(阿尔伯塔大学)
我们证明了几乎所有的非参数降维方法都可以用一个简单的过程来表示:正则化损失最小化加上奇异值截断。通过区分损失和正则化在这样一个过程中的作用,我们恢复了一个因子化的角度,揭示了一些差距,在目前的文献。除了确定一个有用的新损失流形展开,一个关键的贡献是获得新的凸正则化,结合距离最大化与秩减少。这些正则化器可以应用于任何损失。
2012-06-27 cs.LG stat.ML
Boosting in the presence of outliers: adaptive classification with non-convex loss functions
University of California at San Diego(加州大学圣地亚哥分校)
本文研究了二进制分类问题的非凸损失函数的作用和效率。特别是,我们研究如何设计一个简单而有效的提升算法,是强大的离群数据。对特定非凸损失对预测准确性的作用的分析取决于损失梯度的递减尾部特性--损失有效适应外围数据的能力、损失的局部凸特性和污染数据的比例。为了有效地利用这些性质,我们提出了一个新的家庭的非凸损失命名为$γ$ -鲁棒损失。此外,我们提出了一个新的提升框架,{ \it Arch Boost},旨在增强现有的工作,使其相应的分类算法是显着更适应未知的数据污染。随着Arch Boosting框架,非凸损失导致了一类新的boosting算法,称为自适应,鲁棒,boosting(ARB)。此外,我们提出了理论的例子,证明所提出的算法的鲁棒性。特别是,我们开发了一个新的故障点分析和一个新的影响函数分析,证明收益的鲁棒性。此外,我们提出了新的理论结果,仅基于局部曲率,这可能是用来建立统计和优化性能的建议拱提升算法与高度非凸损失函数。大量的数值计算被用来说明这些理论特性,并揭示了现有的提升方法的优势时,数据表现出一些离群值。
2015-10-05 cs.AI cs.LG math.ST
On Structured Prediction Theory with Calibrated Convex Surrogate Losses
INRIA/ENS(法国国家信息与自动化研究所/巴黎高等师范学院);HSE(高等经济学院);MILA(米拉魁北克人工智能研究所);DIRO(计算机科学与运筹学系);Université de Montréal(蒙特利尔大学)
我们提供了新的理论见解结构化预测的上下文中有效的凸代理损失最小化的一致性保证。对于任何任务损失,我们构建了一个凸代理,可以通过随机梯度下降优化,我们证明了紧边界上的所谓的“校准功能”有关的超额代理风险的实际风险。与之前的相关工作相比,我们仔细监控学习保证中类的指数数量以及优化复杂性的影响。作为一个有趣的结果,我们形式化的直觉,一些任务的损失,使学习比别人更难,经典的0-1损失是不适合一般的结构化预测。
2018-01-29 cs.LG stat.ML
Online Convex Optimization with Unconstrained Domains and Losses
Stanford University(斯坦福大学)
我们提出了一个在线凸优化算法(RescaledExp),实现了最佳的遗憾,在无约束的设置没有任何先验知识的损失函数的界限。我们证明了一个下界显示现有的算法,需要一个已知的界上的损失函数和任何算法,不需要这样的知识的遗憾之间的指数分离。RescaledExp在迭代次数上渐进地匹配此下限。RescaledExp本质上是无超参数的,我们根据经验证明它与需要超参数优化的先前优化算法相匹配。
2017-03-07 cs.LG stat.ML
Convex Dominance in Deep Learning I: A Scaling Law of Loss and Learning Rate
FAIR, Meta Superintelligence Labs(FAIR,Meta超智能实验室);Independent Researcher(独立研究者)
本研究通过凸性视角构建了深度学习中损失与学习率的缩放定律,揭示了训练初期弱凸特性及学习率调度对损失预测的影响。
2026-02-06 cs.CL cs.LG math.OC
Online Convex Optimization Using Predictions
利用预测是在线算法的一个关键领域,但尚未得到充分开发。本文研究了一类在线优化问题,我们有外部噪声预测。我们提出了一个随机预测误差模型,该模型概括了学习和随机控制社区中的先验模型,结合了预测误差之间的相关性,并捕捉到预测随着时间的推移而改善的事实。我们证明,实现次线性的遗憾和恒定的竞争比在线算法需要使用一个无界的预测窗口在对抗设置,但在更现实的随机预测误差模型下,可以使用平均固定地平线控制(AFHC),同时实现次线性的遗憾和恒定的竞争比在预期中使用一个恒定大小的预测窗口。此外,我们表明,AFHC的性能是紧密集中在其平均值。
2015-04-25 cs.LG
Smoothed Online Convex Optimization in High Dimensions via Online Balanced Descent
Institute of High Performance Computing(高性能计算研究所);California Institute of Technology(加州理工学院)
我们研究平滑在线凸优化,在线凸优化的一个版本,学习者在两轮之间改变她的动作会受到惩罚。给定任何在线算法的竞争比的$Ω(\sqrt{d})$下界,其中$d$是动作空间的维数,我们问在什么条件下这个界可以被击败。我们引入了一种新的算法框架,在线平衡下降(OBD),它的工作原理是通过迭代投影到一个精心选择的水平集的当前成本函数,以平衡切换成本和命中成本的前一点。我们证明了OBD框架的一般性,通过展示如何,不同的选择“平衡”,OBD可以提高国家的最先进的性能保证竞争比和遗憾,特别是,OBD是第一个算法,以实现无量纲的竞争比,$3 + O(1/α)$,局部多面体的成本,其中$α$措施的“陡度”的成本。我们还证明了边界上的OBD的动态遗憾时,进行平衡的对偶空间是无量纲的,并意味着OBD有次线性静态遗憾。
2018-07-08 cs.DS cs.LG stat.ML
Exploring the loss landscape of regularized neural networks via convex duality
Stanford University(斯坦福大学)
本文通过将正则化神经网络转化为等价凸问题并利用对偶理论,系统刻画了其损失景观的驻点结构、最优解连通性与非唯一性,并证明相关结果可推广至向量值与三层网络架构。
2025-04-29 cs.LG
Learning with Symmetric Label Noise: The Importance of Being Unhinged
The Australian National University(澳大利亚国立大学);National ICT Australia(澳大利亚国家信息与通信技术研究院)
凸势最小化是事实上的二进制分类方法。然而,Long和Servedio [2010]证明了在对称标签噪声(SLN)下,线性函数类上任何凸势的最小化可以导致分类性能等同于随机猜测。这表面上表明凸损失不是SLN鲁棒的。在本文中,我们提出了一个凸的,分类校准的损失,并证明了它是SLN-鲁棒的。损失由于是负无界的而避免了Long和Servedio [2010]的结果。这种损失是铰链损失的一种变形,在铰链损失中,人们不箝位在零;因此,我们称之为非铰链损失。我们表明,最佳的unhinged解决方案是等价的强正则化SVM,是任何凸势的极限解,这意味着强L2正则化使大多数标准学习者SLN鲁棒。实验证实了非铰链损失的SLN鲁棒性。
2015-05-28 cs.LG
Leading strategies in competitive on-line prediction
我们从二次损失函数的在线回归问题的一个简单的渐近结果开始:连续有限记忆预测策略类允许“领先预测策略”,其不仅渐近地执行至少与任何连续有限存储器策略一样好,而且还满足任何连续有限存储器策略的过度损失的性质,记忆策略取决于它模仿领先策略的程度。更具体地说,对于构成再生核希尔伯特空间的任何一类预测策略,我们构造一个领先策略,在这个意义上,任何预测策略的损失,其范数不是太大,是由它模仿领先策略的程度决定的。这个结果被推广到由Bregman分歧和严格适当的评分规则给出的损失函数。
2006-07-27 cs.LG
Primal Method for ERM with Flexible Mini-batching Schemes and Non-convex Losses
The University of Edinburgh(爱丁堡大学)
在这项工作中,我们开发了一个新的算法正则化的经验风险最小化。我们的方法扩展了Shalev-Shwartz [02/2015]的最新技术,该技术能够对SDCA进行双自由分析,以实现任意的mini-square方案。此外,我们的方法是能够更好地利用信息的数据定义的ERM问题。对于凸的损失函数,我们的复杂性结果与QUARTZ的结果相匹配,QUARTZ是一种原始-对偶方法,也允许任意的mini-slave方案。双自由分析的优点在于,只要平均损失是凸的,即使对于非凸损失函数,它也能保证收敛。我们通过实验说明了能够设计任意的迷你的可伸缩方案的效用。
2015-06-07 cs.DS cs.LG math.OC
Online Convex Optimization Against Adversaries with Memory and Application to Statistical Arbitrage
Technion(以色列理工学院)
具有记忆的在线学习的框架自然地捕获具有时间约束的学习问题,并且先前针对专家设置进行了研究。在这项工作中,我们扩展的概念,学习与记忆的一般在线凸优化(OCO)的框架,并提出了两个算法,达到低遗憾。第一个算法适用于Lipschitz连续损失函数,获得凸和强凸损失的最优遗憾界。第二个算法达到最佳遗憾界,并适用于更广泛的凸损失,而不需要Lipschitz连续性,但更复杂的实现。我们补充我们的理论结果与金融统计套利的应用:我们设计算法构建均值回复投资组合。
2014-06-10 cs.LG
Construction of non-convex polynomial loss functions for training a binary classifier with quantum annealing
Google(谷歌)
量子退火是一种启发式量子算法,它利用量子资源来最小化嵌入可编程物理系统的能量水平的目标函数。为了利用潜在的量子优势,需要能够以合理的低开销将感兴趣的问题映射到本地硬件。由于实验的考虑约束我们的目标函数采取的形式,一个低的程度PUBO(多项式无约束二进制优化),我们采用非凸的损失函数,这是多项式函数的利润。我们表明,这些损失函数是强大的标签噪声,并提供了一个明显的优势,凸方法。这些损失函数对于经典方法也可能是有用的,因为它们编译成正则化的风险表达式,该正则化的风险表达式可以相对于训练样本的数量在恒定时间内进行评估。
2014-06-17 cs.LG quant-ph
Mitigating Privacy Risk in Membership Inference by Convex-Concave Loss
Southern University of Science and Technology(南方科技大学);Singapore University of Technology and Design(新加坡科技设计大学);South China University of Technology(华南理工大学);Jilin University(吉林大学)
针对梯度上升防御成员推理攻击导致训练不稳定的问题,本文提出Convex-Concave Loss,通过凹项降低损失凸性并以梯度下降增大训练损失方差,实现更优的隐私-效用权衡。
2024-06-18 cs.CR cs.LG
Fast Global Convergence via Landscape of Empirical Loss
Faculty of Electrical Engineering, Technion(以色列理工学院电气工程学院);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院H. Milton Stewart工业与系统工程学院)
虽然优化凸目标(损失)函数已经成为机器学习的动力至少二十年,非凸损失函数最近吸引了快速增长的兴趣,由于许多理想的属性,如优越的鲁棒性和分类精度,与他们的凸对应。非凸估计的主要障碍是,它是在一般情况下难以找到最优解。本文研究了一些非凸M-估计的计算问题。特别是,我们证明了随机方差缩减方法收敛到全局最优的线性速率,通过利用人口损失的统计性质。在此基础上,我们改进了\cite{mei2016landscape}中批梯度法的收敛性分析。
2018-02-13 cs.LG stat.ML
Convex Loss Functions for Support Vector Machines (SVMs) and Neural Networks
本文提出了一种用于SVM和神经网络的凸损失函数,通过引入模式相关性提升泛化性能,并在多种数据集上验证了其有效性。
2026-02-26 cs.LG
Convergent Privacy Loss of Noisy-SGD without Convexity and Smoothness
Georgia Institute of Technology(佐治亚理工学院)
针对Noisy-SGD隐私分析中内部状态暴露导致界发散的问题,在非凸非光滑损失下证明其收敛R'enyi DP界(仅需Hölder连续梯度),并优化光滑强凸损失的隐私界,拓展了隐藏状态分析的DP适用性。
2025-02-18 cs.CR cs.LG
Order Optimal Bounds for One-Shot Federated Learning over non-Convex Loss Functions
University of Alberta(阿尔伯塔大学);Leiden University(莱顿大学);Sharif University of Technology(谢里夫理工大学)
针对一次性联邦学习中的非凸损失最小化问题,提出MRE-NC算法,证明其期望损失达到阶最优下界。
2024-02-06 cs.LG
Structured Prediction with Projection Oracles
NTT Communication Science Laboratories(NTT通信科学实验室)
在本文中,我们提出了一个一般的框架,推导出结构化预测的损失函数。在我们的框架中,用户选择一个包含输出空间的凸集,并提供一个用于投影到该集合上的预言。给定该预言,我们的框架自动生成相应的凸和光滑损失函数。正如我们所展示的,添加投影作为输出层可以证明会使损失更小。我们确定的边缘多面体,输出空间的凸包,作为最佳的凸集上的项目。然而,由于到边缘多面体上的投影有时可能是昂贵的计算,我们允许使用任何凸超集代替,具有潜在的更便宜的计算投影。由于有效的投影算法可用于许多凸集,这使我们能够为各种任务构建损失函数。在理论方面,当与校准解码相结合时,我们证明了我们的损失函数可以用作感兴趣的(潜在非凸的)目标损失函数的一致代理。我们证明了我们在标签排名,有序回归和多标签分类上的损失,证实了预测能够提高准确性。
2020-02-26 cs.LG stat.ML
Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses
The Ohio State University(俄亥俄州立大学);Google Research(谷歌研究院);Pontificia Universidad Católica de Chile(智利天主教大学)
一致稳定性是算法稳定性的一个概念,当数据集中的单个数据点被替换时,它限制了算法输出的模型中的最坏情况变化。Hardt等人(2016)的一项有影响力的工作提供了随机梯度下降(SGD)算法在充分光滑凸损失上的一致稳定性的强上界。这些结果导致了重要的进展,在理解的推广性质的SGD和几个应用程序的差异私人凸优化光滑损失。我们的工作是第一个解决的一致稳定性SGD { \em nonsmooth}凸损失。具体来说,我们提供了尖锐的上限和下限的几种形式的SGD和全批GD任意Lipschitz非光滑凸损失。我们的下界表明,在非光滑的情况下,(S)GD可以是固有的稳定性比在光滑的情况下。另一方面,我们的上界表明(S)GD是足够稳定的推导新的和有用的泛化误差的界限。最值得注意的是,我们得到了第一个维度独立的推广界多通SGD在非光滑的情况下。此外,我们的界限允许我们推导出一个新的算法差分私人非光滑随机凸优化与最优超额人口风险。对于非光滑情况,我们的算法比最著名的算法更简单,更有效。Feldman et al.(2020)。
2020-06-12 cs.LG math.OC stat.ML
Learning Model Predictive Control for Competitive Autonomous Racing
Hamburg University of Technology(汉堡工业大学);UC Berkeley(加州大学伯克利分校)
本论文的目标是设计一个学习模型预测控制器(LMPC),允许多个智能体在预定义的赛道上实时竞争。本论文解决了两个主要的缺点,在现有的单剂配方。以前,代理确定局部最优轨迹,但不探索状态空间,这可能是必要的超车机动。此外,过去已经通过使用非凸终端集来实现LMPC的障碍物避免,这增加了确定优化问题的解决方案的复杂性。所提出的多代理竞赛算法通过执行多个不同初始化的LMPC来探索状态空间,从而产生更丰富的终端安全集。此外,一个新的方法来选择在终端集的状态,它保持了凸性的终端安全集,并允许采取次优状态。
2020-05-02 cs.LG cs.RO math.OC
Recurrent Neural Network Training with Convex Loss and Regularization Functions by Extended Kalman Filtering
IMT School for Advanced Studies(IMT高等研究院)
本文研究了使用扩展卡尔曼滤波来训练具有相当一般的凸损失函数和正则化项的递归神经网络的网络参数,包括$\ell_1$ -正则化。我们表明,学习方法是有竞争力的随机梯度下降在非线性系统辨识基准和训练线性系统的二进制输出。我们还探讨了该算法在数据驱动的非线性模型预测控制中的应用及其与无偏置闭环跟踪干扰模型的关系。
2022-11-02 cs.LG cs.SY eess.SY
Private Stochastic Convex Optimization with Optimal Rates
The Ohio State University(俄亥俄州立大学);Google Research(谷歌研究院);University of California Santa Cruz(加州大学圣克鲁兹分校)
研究了随机凸优化问题的差分隐私算法。在这个问题中,目标是近似最小化给定i.i.d.的种群损失。样本来自凸函数和Lipschitz损失函数上的分布。现有的一长串关于私有凸优化的工作集中在经验损失上,并推导出超额经验损失的渐近紧界。然而,一个显着的差距存在于已知的人口损失的界限。我们发现,对数因子,DP算法的最佳过剩人口损失等于较大的最佳非私人过剩人口损失,和DP算法的最佳过剩经验损失。这意味着,相反的直觉基于私营企业风险管理,私营SCO有渐近相同的$1/\sqrt{n}$率为非私营SCO的参数制度中最常见的实践。此设置中的最佳先前结果给出$1/n^{1/4}$的速率。我们的方法建立在现有的差分隐私算法,并依赖于算法的稳定性分析,以确保泛化。
2019-08-27 cs.CR cs.DS cs.LG
Online Convex Optimization with Switching Cost with Only One Single Gradient Evaluation
Indian Institute of Technology Bombay (IITB)(印度理工学院班加罗尔分校);Indian Institute of Technology Delhi (IITD)(印度理工学院德里分校);Tata Institute of Fundamental Research (TIFR)(塔塔基础研究机构)
本文研究仅需一次梯度评估的带切换代价在线凸优化问题,在节俭信息设定下针对线性切换代价推导出最优阶竞争比算法,并给出噪声梯度情形下竞争比随噪声幅度二次增长的算法。
2025-07-05 cs.DS cs.LG math.OC
Improved Rates for Differentially Private Stochastic Convex Optimization with Heavy-Tailed Data
University of Waterloo(滑铁卢大学);Meta;Cornell University(康奈尔大学)
研究了在差分隐私(DP)约束下重尾数据的随机凸优化问题。关于这个问题的大多数先前的工作仅限于损失函数是Lipschitz的情况。相反,介绍了王,肖,Devadas,徐\cite{WangXDX20},我们研究一般的凸损失函数的梯度分布有界的$k$次矩的假设。我们提供了改进的上界的过度人口风险下集中DP凸和强凸损失函数。一路上,我们推导出新的算法私人均值估计的重尾分布,在纯和集中DP。最后,我们证明了私人随机凸优化强凸损失和均值估计的近匹配下界,显示了新的分离之间的纯和集中DP。
2022-11-01 cs.CR cs.DS cs.LG
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University(波士顿大学);Google(谷歌)
随机梯度下降(SGD)在机器学习中发挥了核心作用。然而,它需要一个精心挑选的步长来快速收敛,这是众所周知的繁琐和耗时的调整。在过去的几年里,大量的自适应梯度算法已经出现,以改善这个问题。他们已被证明有效地减少劳动调整在实践中,但他们中的许多人缺乏理论保证,即使在凸设置。在本文中,我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来,这导致SGD算法具有自调整的步长,保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
Gaussian Loss Smoothing Enables Certified Training with Tight Convex Relaxations
针对紧凸松弛在认证训练中表现不佳的问题,本文提出应用高斯损失平滑(GLS)方法,通过零阶和一阶优化算法变体有效缓解了损失表面不连续等问题,显著提升了可认证鲁棒神经网络的训练效果。
2025-07-15 cs.LG
Universal Online Convex Optimization with $1$ Projection per Round
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
针对通用在线凸优化中每轮需多次投影导致的高时间开销问题,本文基于黑箱归约与专家建议框架,提出每轮仅需1次投影的通用算法,通过创新的遗憾分解与专家损失设计,同时为多种凸函数建立最优遗憾界并实现小损失遗憾。
2024-05-30 cs.LG math.OC
It's Our Loss: No Privacy Amplification for Hidden State DP-SGD With Non-Convex Loss
University College London(伦敦大学学院)
本研究针对隐藏状态DP-SGD是否存在通用隐私放大的开放问题,通过构造反例从理论和实证层面证明,非凸等一般损失函数下最终迭代泄露信息量与全迭代序列相当,现有DP-SGD隐私分析是紧的,不存在普遍隐私放大效应。
2024-10-30 cs.CR cs.LG
A Convex Loss Function for Set Prediction with Optimal Trade-offs Between Size and Conditional Coverage
Inria(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学)
本文提出了一种用于集合预测的凸损失函数,通过优化集合大小与条件覆盖之间的平衡,提升分类和回归任务的性能。
2025-12-22 cs.LG math.OC stat.ML
Defending against substitute model black box adversarial attacks with the 01 loss
New Jersey Institute of Technology(新泽西理工学院)
替代模型黑盒攻击可以通过访问目标模型的输出标签来为目标模型创建对抗性示例。这在实践中对机器学习模型提出了重大挑战,特别是在安全敏感的应用中。已知01损失模型比通常在实践中使用的凸模型对离群值和噪声更鲁棒。受这些属性的启发,我们提出了01损失线性和01损失双层神经网络模型作为对基于转移的替代模型黑盒攻击的防御。我们比较了针对我们的01损失模型的替代模型黑盒攻击的对抗性示例的准确性,以及在流行的图像基准上进行二进制分类的凸模型。我们的01损失双层神经网络在MNIST、CIFAR10、STL 10和ImageNet上的对抗准确率分别为66.2%、58%、60.5%和57%,而sigmoid激活的逻辑损失对应物的准确率分别为63.5%、19.3%、14.9%和27.6%。除了MNIST,凸对应物具有显著较低的对抗精度。我们展示了我们的模型在阻止交通标志和面部识别对抗攻击方面的实际应用。在GTSRB街道标志和CelebA面部检测上,我们的01损失网络分别具有34.6%和37.1%的对抗准确率,而凸逻辑对应的准确率分别为24%和1.9%。最后,我们证明了我们的01损失网络可以达到与简单的卷积神经网络相当的鲁棒性,并且即使在使用卷积网络替代模型进行攻击时也远高于其凸对应网络。我们的工作表明,01损失模型提供了一个强大的防御替代模型黑盒攻击。
2020-09-01 cs.AI cs.CR cs.CV
Privacy Loss of Noisy Stochastic Gradient Descent Might Converge Even for Non-Convex Losses
McMaster University(麦克马斯特大学);Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México(墨西哥国立自治大学应用数学与系统研究所)
本文研究了非凸损失下DP-SGD的隐私损失问题,证明了在不依赖凸性或平滑性假设时,投影DP-SGD的隐私损失能呈指数级收敛,并利用非线性数据处理不等式分析了非投影变体。
2023-05-17 cs.CR cs.IT cs.LG
Optimal Binary Classifier Aggregation for General Losses
University of California, San Diego(加州大学圣地亚哥分校)
我们解决了在半监督二进制分类设置中聚集具有已知损失界限的预测器集合的问题,以最小化未标记数据上发生的预测损失。我们找到了一个非常一般的一类损失函数,包括所有凸和许多非凸损失的最小最大最优预测,扩展了最近的分析问题的误分类错误。其结果是一个家庭的半监督集成聚合算法是有效的线性学习凸优化,但极小极大最优没有任何松弛。他们的决策规则采用决策理论中熟悉的形式-将sigmoid函数应用于集成裕度的概念-而没有基于裕度的学习中通常所做的假设。
2016-11-07 cs.LG stat.ML
Online Convex Optimization Perspective for Learning from Dynamically Revealed Preferences
Carnegie Mellon University(卡内基梅隆大学)
我们研究的问题,在线学习(OL)从显示的偏好:学习者希望学习一个非战略代理的私人效用函数,通过观察代理的效用最大化的行动,在不断变化的环境。我们采用了在线逆优化设置,学习者观察代理的行动流在网上的时尚和学习性能的衡量与损失函数的遗憾。我们首先刻画了一类特殊但广泛的智能体效用函数,然后利用这种结构设计了一个新的凸损失函数。我们建立了关于我们的新损失函数的后悔也限制了关于文献中所有其他常见的损失函数的后悔。这使我们能够设计一个灵活的OL框架,使一个统一的处理损失函数,并支持各种在线凸优化算法。我们证明与理论和实证证据表明,我们的框架的基础上新的损失函数(特别是在线镜像下降)的遗憾性能和解决方案的时间比其他OL算法从文献和绕过以前的技术假设,以及显着的优势。
2021-06-04 cs.LG math.OC
Differentially Private Stochastic Optimization: New Results in Convex and Non-Convex Settings
The Ohio State University(俄亥俄州立大学);University of Twente(特文特大学);Pontificia Universidad Católica de Chile(智利天主教大学)
研究了凸和非凸环境下的差分私有随机优化问题。对于凸的情况下,我们专注于家庭的非光滑广义线性损失(GLLs)。我们的算法的$\ell_2$设置实现了最佳的超额人口风险在近线性时间,而最有名的差分私人算法一般凸损失运行在超线性时间。我们的算法的$\ell_1$设置有接近最优的超额人口风险$\tilde{O}\big(\sqrt{\frac{\log{d}}{n\varepsilon}}\big)$,并规避了尺寸依赖的下限一般非光滑凸损失的\cite{Asi:2021}。在差分私人非凸设置,我们提供了几个新的算法来近似平稳点的人口风险。对于具有光滑损失和多面体约束的$\ell_1$ -情形,我们给出了线性时间内的第一个几乎与维数无关的速率$\tilde O\big(\frac{\log^{2/3}{d}}{(n\varepsilon)^{1/3}}\big)$。对于有约束的$\ell_2$ -光滑损失的情况下,我们得到了一个线性时间算法与速率$\tilde O\big(\frac{1}{n^{1/3}}+\frac{d^{1/5}}{(n\varepsilon)^{2/5}}\big)$。最后,对于$\ell_2$的情况下,我们提供了第一种方法{ \em非光滑弱凸}随机优化与率$\tilde O\big(\frac{1}{n^{1/4}}+\frac{d^{1/6}}{(n\vareps…
2021-11-10 cs.LG math.OC stat.ML
Online non-convex optimization with imperfect feedback
Criteo AI Lab(Criteo人工智能实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LIG(格勒诺布尔信息学实验室)
研究了具有非凸损失的在线学习问题。在反馈方面,我们假设学习者观察-或以其他方式构建-一个不精确的模型,在每个阶段遇到的损失函数,我们提出了一个混合策略的学习策略的基础上双平均。在这种情况下,我们得到了一系列严格的遗憾最小化的保证,无论是学习者的静态(外部)遗憾,以及后悔对最好的动态政策事后诸葛亮。随后,我们将这个通用模板应用于学习者只能访问过程中每个阶段发生的实际损失的情况。这是通过基于核的估计器来实现的,该估计器仅使用学习者的已实现损失作为输入来为每轮的损失函数生成不精确模型。
2020-10-16 cs.LG math.OC
Efficient, Anytime Algorithms for Calibration with Isotonic Regression under Strictly Convex Losses
我们调查的校准估计,以提高性能的最佳单调变换的估计输出。我们首先研究了传统的平方误差设置及其加权变量,并表明最佳单调变换是一个独特的阶梯函数的形式。我们进一步表明,这种阶梯行为保持一般严格凸损失函数。它们的最佳单调变换也是唯一的,即,存在实现最小损耗的单个阶梯变换。我们提出了一个线性的时间和空间算法,可以找到这样的最佳转换为特定的损失设置。我们的算法有一个在线实现,其中到目前为止观察到的样本的最佳变换是在线性空间和摊销时间中找到的,当样本以有序的方式到达时。我们还扩展我们的结果的情况下,功能是不平凡的单独优化,并提出了一个随时算法,它具有线性空间和伪线性时间复杂度。
2021-10-31 cs.CC cs.LG math.OC