An Accelerated Proximal Coordinate Gradient Method and its Application to Regularized Empirical Risk Minimization
考虑两个凸函数之和的最小化问题：一个是光滑的，由梯度预言机给出，另一个是在坐标块上可分的，在每个块上有一个简单的已知结构.我们发展了一个加速的随机邻近坐标梯度（APCG）方法来最小化这样的凸复合函数。对于强凸函数，我们的方法实现了更快的线性收敛速率比现有的随机邻近坐标梯度法。没有强凸性，我们的方法享有加速的次线性收敛速度。我们展示了如何应用APCG方法来解决正则化经验风险最小化（ERM）问题，并设计有效的实现，避免全维向量运算。对于病态的ERM问题，我们的方法获得了改进的收敛速度比最先进的随机双坐标上升（SDCA）方法。
2014-07-04 math.OC
Data Sampling Strategies in Stochastic Algorithms for Empirical Risk Minimization
梯度下降法，特别是它们的随机变体，由于它们在大数据最优化问题上的效率，在过去十年中变得非常流行。在这篇论文中，我们提出了这些方法的数据采样策略的发展。在前四章中，我们集中在凸问题的采样的四个视图，开发和分析新的国家的最先进的方法，使用非标准的数据采样策略。最后，在最后一章中，我们提出了一个更灵活的框架，它可以推广到更多的问题以及更多的采样规则。
2018-04-02 math.OC
On the relations of stochastic convex optimization problems with empirical risk minimization problems on $p$-norm balls
在本文中，我们考虑机器学习应用中出现的凸随机最优化问题（例如，风险最小化）和数理统计（例如，极大似然估计）。有两种主要方法来解决这类问题，即随机逼近方法（在线方法）和样本平均逼近方法，也称为蒙特卡罗方法（离线方法）。在离线方法中，该问题被其经验对应问题（经验风险最小化问题）所取代。自然的问题是如何定义问题的样本量，即，应该对多少实现进行采样，以便经验问题的相当精确的解是具有期望精度的原始问题的解。这个问题是现代机器学习和优化中的主要问题之一。在过去的十年中，在这些领域取得了许多重大进展，解决凸随机最优化问题的欧几里德球（或整个空间）。在这项工作中，我们是基于这些进展和研究的情况下，任意球的$\ell_p$ -规范。我们还探讨了这个问题的参数$p$如何影响的估计所需的数量的条款作为一个函数的经验风险。
2022-03-02 math.OC
Diametrical Risk Minimization: Theory and Computations
Target Corporation（塔吉特公司）；Naval Postgraduate School（海军研究生院）
当损失函数具有较大的Lipschitz模和虚假的尖锐极小值时，经验风险最小化（ERM）的理论和经验性能往往会受到影响。我们提出并分析了一个对应的ERM称为直径风险最小化（DRM），它占最坏情况下的经验风险在参数空间的邻里。DRM具有独立于Lipschitz模的凸和非凸问题的推广界，并且可以使用基于随机梯度下降的实用算法来实现。数值结果表明，DRM的能力，找到高质量的解决方案与低泛化误差尖锐的经验风险景观从基准神经网络分类问题与损坏的标签。
2021-07-07 cs.LG math.OC
Distributed Empirical Risk Minimization With Differential Privacy
研究差分隐私约束下的分布式经验风险最小化问题，提出私有分布式对偶平均算法，通过节点子采样增强隐私保证并减少噪声，实现与集中式算法相当的效用，并在去噪时达到最优收敛。
2023-07-01 math.OC
Dual Free Adaptive Minibatch SDCA for Empirical Risk Minimization
在本文中，我们开发了一个自适应双自由随机双坐标上升（adfSDCA）算法正则化的经验风险最小化问题。这是由Shalev-Shwartz（2016）最近关于双自由SDCA的工作所推动的。我们的方法的新颖之处在于，在每次迭代中更新的坐标是从自适应概率分布中非均匀地选择的，并且这扩展了先前提到的仅允许从固定概率分布中均匀选择“对偶”坐标的工作。我们描述了一个有效的迭代过程中产生的非均匀样本，该计划选择的坐标与最大的潜力，以减少当前的次优。我们还提出了一个启发式的adfSDCA比标准的方法更积极的变种。此外，为了利用多核机器，我们考虑了一个小批量adfSDCA算法和开发的复杂性结果，保证算法的收敛性。最后通过数值实验验证了该方法的实用价值。
2018-01-25 math.OC
Risk minimization and portfolio diversification
我们考虑在Black-Scholes设置的风险资本最小化的问题。投资组合问题的研究给定的可能性，投资组合和金融指数之间的相关性约束。最优投资组合的封闭形式。的相关性约束的影响进行了探讨，事实证明，这种投资组合约束导致更多样化的投资组合。
2014-12-15 math.OC q-fin.PM
Dual Free Adaptive Mini-batch SDCA for Empirical Risk Minimization
Lehigh University（利哈伊大学）；Industrial and Systems Engineering（工业与系统工程（注：此处为系别，按规则不提取））
在本文中，我们开发了双自由小批量SDCA与自适应概率正则化的经验风险最小化。这项工作的动机是最近的工作Shai Shalev-Shwartz的对偶自由SDCA方法，但是，我们允许非均匀选择的“对偶”坐标SDCA。此外，概率可以随时间变化，使其比固定均匀或非均匀选择更有效。我们还提出了一个有效的过程，通过迭代过程产生一个随机的非均匀的小批量。最后通过多个数值实验验证了算法的有效性。
2018-05-24 cs.LG math.OC
Ordered SGD: A New Stochastic Optimization Framework for Empirical Risk Minimization
MIT（麻省理工学院）；Google Research（谷歌研究院）
我们提出了一个新的随机最优化框架的经验风险最小化问题，如那些出现在机器学习。传统的方法，如（小批量）随机梯度下降（SGD），利用经验平均损失的无偏梯度估计。相比之下，我们开发了一种计算效率高的方法来构建一个梯度估计器，该估计器故意偏向于那些具有较高电流损耗的观测值。在理论方面，我们表明，所提出的方法最大限度地减少了一个新的有序修改的经验平均损失，并保证以次线性率收敛到全局最优凸损失和弱凸（非凸）损失的临界点。此外，我们证明了一个新的泛化界所提出的算法。在经验方面，数值实验表明，与标准小批量SGD相比，我们提出的方法在包括SVM，逻辑斯谛回归和深度学习问题在内的各种模型中始终改善了测试误差。
2020-02-01 cs.LG math.OC stat.ML
Stochastic Primal-Dual Method for Empirical Risk Minimization with $\mathcal{O}(1)$ Per-Iteration Complexity
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；University of California, Davis（加州大学戴维斯分校）；University of Rochester（罗切斯特大学）
带线性预测的正则化经验风险最小化问题是机器学习中经常出现的问题。在本文中，我们提出了一个新的随机原始-对偶方法来解决这类问题。与现有的方法不同，我们提出的方法在每次迭代中只需要O（1）操作。我们还开发了一个方差减少变量的算法，线性收敛。数值实验表明，我们的方法比现有的，如近端SGD，SVRG和SAGA高维问题的速度。
2018-11-03 cs.LG math.OC
On the Global Minimization of the Value-at-Risk
本文针对金融风险分析中的VaR非凸最小化问题，将其转化为带线性互补约束的线性规划，提出上下界方法以计算全局最优VaR，并用数值示例验证。
2004-01-07 cs.NA math.NA math.OC
Adaptive Newton Method for Empirical Risk Minimization to Statistical Accuracy
University of Pennsylvania（宾夕法尼亚大学）
我们考虑大规模数据集的经验风险最小化。我们引入Ada Newton作为自适应算法，它使用具有自适应样本大小的牛顿方法。Ada Newton的主要思想是将训练集的大小增加一个大于1的因子，使得当前训练集的最小化变量位于下一个训练集的最优参数的局部邻域中。这允许利用牛顿方法的二次收敛特性，并且仅用牛顿方法的一次迭代就达到每个训练集的统计精度。我们从理论上和经验上证明，Ada Newton可以在每次迭代中将训练集的大小增加一倍，以实现整个训练集的统计准确性，大约两次通过数据集。
2016-05-24 cs.LG math.OC
Equivalence Between Continuous-Time Risk-Sensitive Control and Rényi Divergence Minimization
The University of Osaka（大阪大学）
本研究证明连续时间风险敏感控制等价于Rényi散度最小化，通过Girsanov定理将风险敏感度映射为散度阶数，统一了任意风险态度的概率控制框架，为采样控制算法奠定基础。
2026-09-09 cs.SY eess.SY math.OC
SOREL: A Stochastic Algorithm for Spectral Risks Minimization
School of Data Science, Fudan University（复旦大学数据科学学院）
本文提出SOREL，首个具有收敛保证的谱风险最小化随机梯度算法，理论上达到近最优速率，实验在多数情况下优于现有算法。
2024-07-19 cs.LG math.OC
Stochastic Primal-Dual Coordinate Method for Regularized Empirical Risk Minimization
我们考虑一个一般的凸优化问题与正则化的经验风险最小化的线性预测。问题结构允许我们将其重新表述为一个凹凸鞍点问题。我们提出了一种随机原始-对偶坐标（SPDC）方法，该方法在随机选择的对偶变量上最大化和原始变量上最小化之间交替。对原始变量执行外推步骤以获得加速的收敛速度。我们还开发了一个小批量版本的SPDC方法，便于并行计算，并与加权采样概率的对偶变量，这具有更好的复杂性比均匀采样非归一化数据的扩展。无论是理论上还是经验上，我们都证明了SPDC方法比几种最先进的最优化方法具有相当或更好的性能。
2015-09-09 math.OC stat.ML
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology（东京工业大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
我们考虑一个复合凸最小化问题与正则化的经验风险最小化，这经常出现在机器学习。本文提出了两种新的随机梯度法，它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法，因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外，我们的方法有理论支持的强和非强凸正则化，并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
Exact Instance Compression for Convex Empirical Risk Minimization via Color Refinement
Program for Research in Mathematics, Engineering, and Science (PRIMES-USA)（数学、工程与科学研究计划（PRIMES-USA））；Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种基于颜色细化的无损压缩框架，用于高效解决凸经验风险最小化问题，适用于多种可微凸优化模型。
2026-01-31 cs.LG math.OC
Convex risk minimization via proximal splitting methods
Chemnitz University of Technology（开姆尼茨工业大学）
本文探讨了近端对偶分裂方法在投资组合优化中的应用，重点在于计算效用函数的近端点，以及通过条件风险值的对偶表示进行风险量化。
2013-04-29 cs.NA math.NA math.OC
Fast Nonsmooth Regularized Risk Minimization with Continuation
Hong Kong University of Science and Technology（香港科技大学）
在正则化风险最小化中，当损失和正则化都是非光滑的时，相关的优化问题变得特别困难。现有的方法要么有缓慢或不明确的收敛特性，被限制到有限的问题子类，或需要仔细设置的平滑参数。在本文中，我们提出了一个连续算法，适用于一个大类的非光滑正则化风险最小化问题，可以灵活地使用一些现有的解决方案的基本平滑子问题，并与收敛结果的整个算法，而不仅仅是它的一个子问题。特别是，当使用加速求解器，该算法实现了最快的已知速率的$O(1/T^2)$强凸问题，和$O(1/T)$一般凸问题。非光滑分类和回归任务的实验表明，该算法优于国家的最先进的。
2016-02-25 cs.LG math.OC stat.ML
Muon Converges under Heavy-Tailed Noise: Nonconvex Hölder-Smooth Empirical Risk Minimization
本文研究Muon在重尾噪声下的收敛性，证明其在非凸Hölder光滑经验风险最小化中能收敛到 stationary 点，并优于mini-batch SGD。
2026-03-17 cs.LG math.OC
Black-Box Uniform Stability for Non-Euclidean Empirical Risk Minimization
University of Oxford（牛津大学）；Carlos III University of Madrid（马德里卡洛斯三世大学）
本文研究非欧几里得凸光滑ERM问题的均匀稳定一阶算法，提出一种黑盒归约方法，利用均匀凸正则化器将Hölder光滑优化算法转化为具有最优统计风险界的均匀稳定学习算法，解决了此前开放的非欧几里得情形问题。
2024-12-20 cs.LG math.OC stat.ML
Zeroth-Order Methods for Convex-Concave Minmax Problems: Applications to Decision-Dependent Risk Minimization
University of California, Berkeley（加州大学伯克利分校）；University of Washington, Seattle（西雅图华盛顿大学）
最小最大优化正在成为一个关键的框架，用于分析问题的鲁棒性，以战略和对抗性生成的数据。提出了一种基于随机重排的无梯度乐观梯度下降-上升算法，用于求解具有有限和结构的凹凸极大极小问题。证明了该算法具有与求解凸极小化问题的零阶算法相同的收敛速度。我们进一步专门的算法来解决分布鲁棒性，决策相关的学习问题，梯度信息是不容易获得的。通过说明性的模拟，我们观察到，我们提出的方法学习的模型，同时对敌对的分布变化和战略决策的数据源，并优于现有的方法从战略分类文献。
2022-02-19 cs.LG math.OC
Specifying and Solving Robust Empirical Risk Minimization Problems Using CVXPY
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
针对鲁棒经验风险最小化问题对偶化求解繁琐易错的问题，提出基于CVXPY的自动化对偶化框架，支持通用凸损失与DCP约束的复杂不确定集，便捷建模求解。
2024-09-14 cs.LG math.OC
Adaptive Differentially Private Empirical Risk Minimization
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个自适应（随机）梯度扰动方法差分私人经验风险最小化。在每次迭代中，添加到梯度的随机噪声最佳地适应步长;我们将此过程命名为自适应差分私有（ADP）学习。给定相同的隐私预算，我们证明了ADP方法大大提高了效用保证相比，标准的差分私人的方法，其中香草随机噪声被添加。我们的方法对于具有时变学习率的基于梯度的算法特别有用，包括AdaGrad的变体（Duchi等人，2011年）。我们提供了大量的数值实验来证明所提出的自适应差分隐私算法的有效性。
2021-10-25 cs.LG eess.IV math.OC
Empirical risk minimization for risk-neutral composite optimal control with applications to bang-bang control
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院 H. 米尔顿·斯图尔特工业与系统工程学院）；Institut für Mathematik, Humboldt-Universität zu Berlin（柏林洪堡大学数学研究所）
本文提出了一种基于蒙特卡洛样本的方法，用于求解风险中性复合最优控制问题，并将其应用于 bang-bang 控制，通过条件梯度法实现有效求解。
2026-02-26 cs.NA math.NA math.OC
A Simple Analysis for Exp-concave Empirical Minimization with Arbitrary Convex Regularizer
The University of Iowa（爱荷华大学）；Nanjing University（南京大学）
在本文中，我们提出了一个简单的分析{ \bf快速率}与{\bf经验最小化}的{\it高概率}的{\it随机复合优化}在有限维有界凸集上的指数凹损失函数和任意凸正则化。据我们所知，这一结果是同类中的第一个。作为一个副产品，我们可以直接获得具有和不具有任何凸正则化的指数凹经验风险最小化的{ \it high probability}的快速速率，这不仅推广了经验风险最小化的现有结果，而且为分析具有和不具有{ \it any}凸正则化的指数凹经验风险最小化提供了一个统一的框架.我们的证明非常简单，只利用有限维有界集的覆盖数和随机向量的集中不等式。
2017-09-09 cs.LG math.OC stat.ML
A Mosco sufficient condition for intrinsic stability of non-unique convex Empirical Risk Minimization
Hassan 1st University of Settat（哈桑第一大学）
本文提出一个Mosco充分条件，用于保证非唯一凸经验风险最小化问题的内在稳定性，并通过二次增长特性获得显式偏差界。
2026-01-25 cs.LG math.FA math.OC
Conditional Risk Minimization with Side Information: A Tractable, Universal Optimal Transport Framework
Telfer School of Management University of Ottawa（奥多恩大学特弗管理学院）
针对有限数据下条件风险分布难构建、现有最优传输方法分散受限的问题，本文提出并集球式通用分布鲁棒框架，统一既有方法并支持凸重构与大规模割平面求解。
2025-09-27 cs.LG math.OC q-fin.PM
Uniform Stability for First-Order Empirical Risk Minimization
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们考虑经验风险最小化的一致稳定的一阶优化算法的设计问题。一致稳定性常被用来获得优化算法的泛化误差界，我们有兴趣在一个通用的方法来实现它.对于欧几里德几何，我们提出了一个黑盒转换，给出一个光滑的优化算法，产生一个一致稳定的版本的算法，同时保持其收敛速度的对数因子.使用这种约简，我们获得了一个（接近）最优的光滑优化算法，具有收敛速度$\widetilde{O}(1/T^2)$和一致稳定性$O(T^2/n)$，解决了Chen等人的一个公开问题。（2018）; Attia和Koren（2021）。对于更一般的几何形状，我们开发了一个变种的镜像下降光滑优化收敛速度$\widetilde{O}(1/T)$和一致稳定性$O(T/n)$，留下开放的问题，设计一个一般的转换方法，在欧几里德的情况下。
2022-07-17 cs.LG math.OC stat.ML
Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization
NTT DATA Mathematical Systems Inc.（NTT DATA 数理系统公司）；The University of Tokyo（东京大学）
在本文中，我们发展了一个新的加速随机梯度法有效地解决凸正则化经验风险最小化问题的小批量设置。小批量的使用正在成为机器学习社区的黄金标准，因为小批量设置稳定了梯度估计，并且可以很容易地利用并行计算。我们提出的方法的核心是我们新的“双加速”技术和方差减少技术的结合。我们从理论上分析了我们提出的方法，并表明，我们的方法大大提高了以前的加速随机方法的小批量效率，基本上只需要大小$\sqrt{n}$小批量实现非强凸和强凸目标的最佳迭代复杂度，其中$n$是训练集的大小。此外，我们表明，即使在非小批量设置，我们的方法实现了最好的已知的收敛速度为非强和强凸的目标。
2017-09-19 cs.LG math.OC stat.ML
Statistical Analysis of Stationary Solutions of Coupled Nonconvex Nonsmooth Empirical Risk Minimization
George Washington University（乔治华盛顿大学）；University of Southern California（南加州大学）；University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）
本文有两个主要目标：（a）建立了一类耦合非凸非光滑经验风险最小化问题的定态解和定态值的几个统计性质-一致性、渐近分布和收敛速度，（b）通过一个基于噪声幅度的相位恢复问题验证了这些性质，后者是一个非常热门的问题。这些经验风险最小化问题是涉及随机泛函的期望值的最小化的总体风险模型的计算主力。当这些最小化问题是非凸的，其全局最优解的计算是难以捉摸的。再加上不能对一般概率分布计算期望算子的事实，就有必要证明经验问题的定态解是否是人口问题定态解的实际近似。当这两个功能，一般分布和非凸性，再加上不可微性，往往使问题“非克拉克经常”，任务的理由变得具有挑战性。我们的工作旨在在无算法的环境中解决这样的挑战。因此，所得到的分析是不同的，在最近的文献中，是基于本地搜索算法的分析。此外，补充经典的极小化中心的分析，我们的研究结果提供了第一步，以关闭之间的差距耦合非凸非光滑统计估计问题的计算优化和渐近分析，扩大前者与统计特性的实际获得的解决方案，并提供后者与一个更实际的重点有关的计算易处理性。
2019-10-06 cs.LG math.OC math.ST
