Nearly Optimal $L_p$ Risk Minimization
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院 H. 米尔顿·斯图尔特工业与系统工程学）；School of Industrial Engineering, Purdue University（普渡大学工业工程学院）
探讨 \(L_p\) 风险最小化高效算法设计进展，用新颖提升重构处理凹凸组合，新随机逼近方法处理非利普希茨连续性，建立样本复杂度上界并证明其不可改进。
2026-07-09 math.OC
Successive Quadratic Upper-Bounding for Discrete Mean-Risk Minimization and Network Interdiction
圆锥优化的进步导致其在建模数据不确定性方面的利用率增加。特别是，圆锥平均风险优化在概率和鲁棒优化中获得了突出地位。而相应的圆锥模型是有效地解决了凸集，他们的离散同行是棘手的。本文给出了离散均值风险最小化问题的一个高效的逐次二次上界方法。该程序是基于重新制定的平均风险问题，通过其凸二次项的角度。随机容量的网络阻断问题进行的计算实验表明，所提出的方法产生的解决方案在1-2%的最优精确搜索算法所需的时间的一小部分。我们证明了所提出的方法的价值，为不同的置信水平的风险流与阻断成本构建有效的边界。
2018-08-25 math.OC
Solving Nonsmooth Nonconvex Compound Stochastic Programs with Applications to Risk Measure Minimization
本文研究了一类由非凸非光滑函数耦合的多期望结构复合随机规划问题。本文提出了一个基于连续凸规划的采样算法，并证明了它的逐次收敛性。我们描述了几类复合SP的极限点的平稳性。我们进一步讨论了基于算法可计算误差界的概率停止规则。我们提出了几个风险度量最小化问题，可以制定为这样一个复合随机规划，这些问题包括广义偏差最优化问题的基础上优化的确定性等价和缓冲概率的不确定性（bPOE），分布鲁棒bPOE最优化问题，和多类分类问题采用成本敏感的错误准则与bPOE风险度量。
2021-05-23 math.OC
Equivalence Between Continuous-Time Risk-Sensitive Control and Rényi Divergence Minimization
The University of Osaka（大阪大学）
本研究证明连续时间风险敏感控制等价于Rényi散度最小化，通过Girsanov定理将风险敏感度映射为散度阶数，统一了任意风险态度的概率控制框架，为采样控制算法奠定基础。
2026-09-09 cs.SY eess.SY math.OC
Risk minimization in financial markets modeled by Itô-Lévy processes
本文主要综述了Ito-Lévy过程模型下金融市场风险最小化方法的最新研究进展，但也包含了一些关于随机最大值原理的新结果。引入了凸风险测度的概念，给出了凸风险测度的两种表示：（i）对偶表示和（ii）带跳的倒向随机微分方程（BSDEs）表示.根据表示，相应的风险最小投资组合问题进行了研究，无论是在随机微分对策或最优控制的前向-后向随机微分方程的背景下。引入了递归效用的相关概念，研究了相应的递归效用最大化问题。在任何一种情况下，最优随机控制的最大值原理起着至关重要的作用，在本文中，我们证明了这个原则的一个版本，这是强于以前所知道的。通过实例对理论进行了说明，并在某些情况下给出了风险最小化投资组合。
2014-04-10 math.OC
Dual Free Adaptive Mini-batch SDCA for Empirical Risk Minimization
Lehigh University（利哈伊大学）；Industrial and Systems Engineering（工业与系统工程（注：此处为系别，按规则不提取））
在本文中，我们开发了双自由小批量SDCA与自适应概率正则化的经验风险最小化。这项工作的动机是最近的工作Shai Shalev-Shwartz的对偶自由SDCA方法，但是，我们允许非均匀选择的“对偶”坐标SDCA。此外，概率可以随时间变化，使其比固定均匀或非均匀选择更有效。我们还提出了一个有效的过程，通过迭代过程产生一个随机的非均匀的小批量。最后通过多个数值实验验证了算法的有效性。
2018-05-24 cs.LG math.OC
Distributed Block-diagonal Approximation Methods for Regularized Empirical Risk Minimization
近年来，越来越需要在大量数据上训练机器学习模型。因此，为经验风险最小化（ERM）设计高效的分布式优化算法已成为一个活跃且具有挑战性的研究课题。本文通过解决对偶问题，提出了一个灵活的分布式ERM训练框架，对现有的方法进行了统一的描述和比较。我们的方法只需要近似解的优化过程中涉及的子问题，是通用的，可应用于许多大规模的机器学习问题，包括分类，回归，结构化预测。我们表明，我们的方法享有更广泛的一类问题的全局线性收敛，并实现更快的经验性能，与现有的作品相比。
2019-11-16 math.OC
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology（东京工业大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
我们考虑一个复合凸最小化问题与正则化的经验风险最小化，这经常出现在机器学习。本文提出了两种新的随机梯度法，它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法，因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外，我们的方法有理论支持的强和非强凸正则化，并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
Stochastic Primal-Dual Method for Empirical Risk Minimization with $\mathcal{O}(1)$ Per-Iteration Complexity
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；University of California, Davis（加州大学戴维斯分校）；University of Rochester（罗切斯特大学）
带线性预测的正则化经验风险最小化问题是机器学习中经常出现的问题。在本文中，我们提出了一个新的随机原始-对偶方法来解决这类问题。与现有的方法不同，我们提出的方法在每次迭代中只需要O（1）操作。我们还开发了一个方差减少变量的算法，线性收敛。数值实验表明，我们的方法比现有的，如近端SGD，SVRG和SAGA高维问题的速度。
2018-11-03 cs.LG math.OC
Adaptive Newton Method for Empirical Risk Minimization to Statistical Accuracy
University of Pennsylvania（宾夕法尼亚大学）
我们考虑大规模数据集的经验风险最小化。我们引入Ada Newton作为自适应算法，它使用具有自适应样本大小的牛顿方法。Ada Newton的主要思想是将训练集的大小增加一个大于1的因子，使得当前训练集的最小化变量位于下一个训练集的最优参数的局部邻域中。这允许利用牛顿方法的二次收敛特性，并且仅用牛顿方法的一次迭代就达到每个训练集的统计精度。我们从理论上和经验上证明，Ada Newton可以在每次迭代中将训练集的大小增加一倍，以实现整个训练集的统计准确性，大约两次通过数据集。
2016-05-24 cs.LG math.OC
An Accelerated Proximal Coordinate Gradient Method and its Application to Regularized Empirical Risk Minimization
考虑两个凸函数之和的最小化问题：一个是光滑的，由梯度预言机给出，另一个是在坐标块上可分的，在每个块上有一个简单的已知结构.我们发展了一个加速的随机邻近坐标梯度（APCG）方法来最小化这样的凸复合函数。对于强凸函数，我们的方法实现了更快的线性收敛速率比现有的随机邻近坐标梯度法。没有强凸性，我们的方法享有加速的次线性收敛速度。我们展示了如何应用APCG方法来解决正则化经验风险最小化（ERM）问题，并设计有效的实现，避免全维向量运算。对于病态的ERM问题，我们的方法获得了改进的收敛速度比最先进的随机双坐标上升（SDCA）方法。
2014-07-04 math.OC
Data Sampling Strategies in Stochastic Algorithms for Empirical Risk Minimization
梯度下降法，特别是它们的随机变体，由于它们在大数据最优化问题上的效率，在过去十年中变得非常流行。在这篇论文中，我们提出了这些方法的数据采样策略的发展。在前四章中，我们集中在凸问题的采样的四个视图，开发和分析新的国家的最先进的方法，使用非标准的数据采样策略。最后，在最后一章中，我们提出了一个更灵活的框架，它可以推广到更多的问题以及更多的采样规则。
2018-04-02 math.OC
Fast Nonsmooth Regularized Risk Minimization with Continuation
Hong Kong University of Science and Technology（香港科技大学）
在正则化风险最小化中，当损失和正则化都是非光滑的时，相关的优化问题变得特别困难。现有的方法要么有缓慢或不明确的收敛特性，被限制到有限的问题子类，或需要仔细设置的平滑参数。在本文中，我们提出了一个连续算法，适用于一个大类的非光滑正则化风险最小化问题，可以灵活地使用一些现有的解决方案的基本平滑子问题，并与收敛结果的整个算法，而不仅仅是它的一个子问题。特别是，当使用加速求解器，该算法实现了最快的已知速率的$O(1/T^2)$强凸问题，和$O(1/T)$一般凸问题。非光滑分类和回归任务的实验表明，该算法优于国家的最先进的。
2016-02-25 cs.LG math.OC stat.ML
SOREL: A Stochastic Algorithm for Spectral Risks Minimization
School of Data Science, Fudan University（复旦大学数据科学学院）
本文提出SOREL，首个具有收敛保证的谱风险最小化随机梯度算法，理论上达到近最优速率，实验在多数情况下优于现有算法。
2024-07-19 cs.LG math.OC
Stochastic Primal-Dual Coordinate Method for Regularized Empirical Risk Minimization
我们考虑一个一般的凸优化问题与正则化的经验风险最小化的线性预测。问题结构允许我们将其重新表述为一个凹凸鞍点问题。我们提出了一种随机原始-对偶坐标（SPDC）方法，该方法在随机选择的对偶变量上最大化和原始变量上最小化之间交替。对原始变量执行外推步骤以获得加速的收敛速度。我们还开发了一个小批量版本的SPDC方法，便于并行计算，并与加权采样概率的对偶变量，这具有更好的复杂性比均匀采样非归一化数据的扩展。无论是理论上还是经验上，我们都证明了SPDC方法比几种最先进的最优化方法具有相当或更好的性能。
2015-09-09 math.OC stat.ML
On the relations of stochastic convex optimization problems with empirical risk minimization problems on $p$-norm balls
在本文中，我们考虑机器学习应用中出现的凸随机最优化问题（例如，风险最小化）和数理统计（例如，极大似然估计）。有两种主要方法来解决这类问题，即随机逼近方法（在线方法）和样本平均逼近方法，也称为蒙特卡罗方法（离线方法）。在离线方法中，该问题被其经验对应问题（经验风险最小化问题）所取代。自然的问题是如何定义问题的样本量，即，应该对多少实现进行采样，以便经验问题的相当精确的解是具有期望精度的原始问题的解。这个问题是现代机器学习和优化中的主要问题之一。在过去的十年中，在这些领域取得了许多重大进展，解决凸随机最优化问题的欧几里德球（或整个空间）。在这项工作中，我们是基于这些进展和研究的情况下，任意球的$\ell_p$ -规范。我们还探讨了这个问题的参数$p$如何影响的估计所需的数量的条款作为一个函数的经验风险。
2022-03-02 math.OC
Exact Instance Compression for Convex Empirical Risk Minimization via Color Refinement
Program for Research in Mathematics, Engineering, and Science (PRIMES-USA)（数学、工程与科学研究计划（PRIMES-USA））；Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种基于颜色细化的无损压缩框架，用于高效解决凸经验风险最小化问题，适用于多种可微凸优化模型。
2026-01-31 cs.LG math.OC
Adaptive Differentially Private Empirical Risk Minimization
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个自适应（随机）梯度扰动方法差分私人经验风险最小化。在每次迭代中，添加到梯度的随机噪声最佳地适应步长;我们将此过程命名为自适应差分私有（ADP）学习。给定相同的隐私预算，我们证明了ADP方法大大提高了效用保证相比，标准的差分私人的方法，其中香草随机噪声被添加。我们的方法对于具有时变学习率的基于梯度的算法特别有用，包括AdaGrad的变体（Duchi等人，2011年）。我们提供了大量的数值实验来证明所提出的自适应差分隐私算法的有效性。
2021-10-25 cs.LG eess.IV math.OC
Black-Box Uniform Stability for Non-Euclidean Empirical Risk Minimization
University of Oxford（牛津大学）；Carlos III University of Madrid（马德里卡洛斯三世大学）
本文研究非欧几里得凸光滑ERM问题的均匀稳定一阶算法，提出一种黑盒归约方法，利用均匀凸正则化器将Hölder光滑优化算法转化为具有最优统计风险界的均匀稳定学习算法，解决了此前开放的非欧几里得情形问题。
2024-12-20 cs.LG math.OC stat.ML
Distributed Empirical Risk Minimization With Differential Privacy
研究差分隐私约束下的分布式经验风险最小化问题，提出私有分布式对偶平均算法，通过节点子采样增强隐私保证并减少噪声，实现与集中式算法相当的效用，并在去噪时达到最优收敛。
2023-07-01 math.OC
A Mosco sufficient condition for intrinsic stability of non-unique convex Empirical Risk Minimization
Hassan 1st University of Settat（哈桑第一大学）
本文提出一个Mosco充分条件，用于保证非唯一凸经验风险最小化问题的内在稳定性，并通过二次增长特性获得显式偏差界。
2026-01-25 cs.LG math.FA math.OC
Dual Free Adaptive Minibatch SDCA for Empirical Risk Minimization
在本文中，我们开发了一个自适应双自由随机双坐标上升（adfSDCA）算法正则化的经验风险最小化问题。这是由Shalev-Shwartz（2016）最近关于双自由SDCA的工作所推动的。我们的方法的新颖之处在于，在每次迭代中更新的坐标是从自适应概率分布中非均匀地选择的，并且这扩展了先前提到的仅允许从固定概率分布中均匀选择“对偶”坐标的工作。我们描述了一个有效的迭代过程中产生的非均匀样本，该计划选择的坐标与最大的潜力，以减少当前的次优。我们还提出了一个启发式的adfSDCA比标准的方法更积极的变种。此外，为了利用多核机器，我们考虑了一个小批量adfSDCA算法和开发的复杂性结果，保证算法的收敛性。最后通过数值实验验证了该方法的实用价值。
2018-01-25 math.OC
Muon Converges under Heavy-Tailed Noise: Nonconvex Hölder-Smooth Empirical Risk Minimization
本文研究Muon在重尾噪声下的收敛性，证明其在非凸Hölder光滑经验风险最小化中能收敛到 stationary 点，并优于mini-batch SGD。
2026-03-17 cs.LG math.OC
Conditional Risk Minimization with Side Information: A Tractable, Universal Optimal Transport Framework
Telfer School of Management University of Ottawa（奥多恩大学特弗管理学院）
针对有限数据下条件风险分布难构建、现有最优传输方法分散受限的问题，本文提出并集球式通用分布鲁棒框架，统一既有方法并支持凸重构与大规模割平面求解。
2025-09-27 cs.LG math.OC q-fin.PM
A Simple Analysis for Exp-concave Empirical Minimization with Arbitrary Convex Regularizer
The University of Iowa（爱荷华大学）；Nanjing University（南京大学）
在本文中，我们提出了一个简单的分析{ \bf快速率}与{\bf经验最小化}的{\it高概率}的{\it随机复合优化}在有限维有界凸集上的指数凹损失函数和任意凸正则化。据我们所知，这一结果是同类中的第一个。作为一个副产品，我们可以直接获得具有和不具有任何凸正则化的指数凹经验风险最小化的{ \it high probability}的快速速率，这不仅推广了经验风险最小化的现有结果，而且为分析具有和不具有{ \it any}凸正则化的指数凹经验风险最小化提供了一个统一的框架.我们的证明非常简单，只利用有限维有界集的覆盖数和随机向量的集中不等式。
2017-09-09 cs.LG math.OC stat.ML
Zeroth-Order Methods for Convex-Concave Minmax Problems: Applications to Decision-Dependent Risk Minimization
University of California, Berkeley（加州大学伯克利分校）；University of Washington, Seattle（西雅图华盛顿大学）
最小最大优化正在成为一个关键的框架，用于分析问题的鲁棒性，以战略和对抗性生成的数据。提出了一种基于随机重排的无梯度乐观梯度下降-上升算法，用于求解具有有限和结构的凹凸极大极小问题。证明了该算法具有与求解凸极小化问题的零阶算法相同的收敛速度。我们进一步专门的算法来解决分布鲁棒性，决策相关的学习问题，梯度信息是不容易获得的。通过说明性的模拟，我们观察到，我们提出的方法学习的模型，同时对敌对的分布变化和战略决策的数据源，并优于现有的方法从战略分类文献。
2022-02-19 cs.LG math.OC
Specifying and Solving Robust Empirical Risk Minimization Problems Using CVXPY
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
针对鲁棒经验风险最小化问题对偶化求解繁琐易错的问题，提出基于CVXPY的自动化对偶化框架，支持通用凸损失与DCP约束的复杂不确定集，便捷建模求解。
2024-09-14 cs.LG math.OC
Statistical Analysis of Stationary Solutions of Coupled Nonconvex Nonsmooth Empirical Risk Minimization
George Washington University（乔治华盛顿大学）；University of Southern California（南加州大学）；University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）
本文有两个主要目标：（a）建立了一类耦合非凸非光滑经验风险最小化问题的定态解和定态值的几个统计性质-一致性、渐近分布和收敛速度，（b）通过一个基于噪声幅度的相位恢复问题验证了这些性质，后者是一个非常热门的问题。这些经验风险最小化问题是涉及随机泛函的期望值的最小化的总体风险模型的计算主力。当这些最小化问题是非凸的，其全局最优解的计算是难以捉摸的。再加上不能对一般概率分布计算期望算子的事实，就有必要证明经验问题的定态解是否是人口问题定态解的实际近似。当这两个功能，一般分布和非凸性，再加上不可微性，往往使问题“非克拉克经常”，任务的理由变得具有挑战性。我们的工作旨在在无算法的环境中解决这样的挑战。因此，所得到的分析是不同的，在最近的文献中，是基于本地搜索算法的分析。此外，补充经典的极小化中心的分析，我们的研究结果提供了第一步，以关闭之间的差距耦合非凸非光滑统计估计问题的计算优化和渐近分析，扩大前者与统计特性的实际获得的解决方案，并提供后者与一个更实际的重点有关的计算易处理性。
2019-10-06 cs.LG math.OC math.ST
Uniform Stability for First-Order Empirical Risk Minimization
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们考虑经验风险最小化的一致稳定的一阶优化算法的设计问题。一致稳定性常被用来获得优化算法的泛化误差界，我们有兴趣在一个通用的方法来实现它.对于欧几里德几何，我们提出了一个黑盒转换，给出一个光滑的优化算法，产生一个一致稳定的版本的算法，同时保持其收敛速度的对数因子.使用这种约简，我们获得了一个（接近）最优的光滑优化算法，具有收敛速度$\widetilde{O}(1/T^2)$和一致稳定性$O(T^2/n)$，解决了Chen等人的一个公开问题。（2018）; Attia和Koren（2021）。对于更一般的几何形状，我们开发了一个变种的镜像下降光滑优化收敛速度$\widetilde{O}(1/T)$和一致稳定性$O(T/n)$，留下开放的问题，设计一个一般的转换方法，在欧几里德的情况下。
2022-07-17 cs.LG math.OC stat.ML
Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization
NTT DATA Mathematical Systems Inc.（NTT DATA 数理系统公司）；The University of Tokyo（东京大学）
在本文中，我们发展了一个新的加速随机梯度法有效地解决凸正则化经验风险最小化问题的小批量设置。小批量的使用正在成为机器学习社区的黄金标准，因为小批量设置稳定了梯度估计，并且可以很容易地利用并行计算。我们提出的方法的核心是我们新的“双加速”技术和方差减少技术的结合。我们从理论上分析了我们提出的方法，并表明，我们的方法大大提高了以前的加速随机方法的小批量效率，基本上只需要大小$\sqrt{n}$小批量实现非强凸和强凸目标的最佳迭代复杂度，其中$n$是训练集的大小。此外，我们表明，即使在非小批量设置，我们的方法实现了最好的已知的收敛速度为非强和强凸的目标。
2017-09-19 cs.LG math.OC stat.ML
Ordered SGD: A New Stochastic Optimization Framework for Empirical Risk Minimization
MIT（麻省理工学院）；Google Research（谷歌研究院）
我们提出了一个新的随机最优化框架的经验风险最小化问题，如那些出现在机器学习。传统的方法，如（小批量）随机梯度下降（SGD），利用经验平均损失的无偏梯度估计。相比之下，我们开发了一种计算效率高的方法来构建一个梯度估计器，该估计器故意偏向于那些具有较高电流损耗的观测值。在理论方面，我们表明，所提出的方法最大限度地减少了一个新的有序修改的经验平均损失，并保证以次线性率收敛到全局最优凸损失和弱凸（非凸）损失的临界点。此外，我们证明了一个新的泛化界所提出的算法。在经验方面，数值实验表明，与标准小批量SGD相比，我们提出的方法在包括SVM，逻辑斯谛回归和深度学习问题在内的各种模型中始终改善了测试误差。
2020-02-01 cs.LG math.OC stat.ML
