Convergence Analysis of Randomized Subspace Normalized SGD under Heavy-Tailed Noise
Department of Mathematical Informatics, The University of Tokyo（东京大学数学信息学系）；Center for Advanced Intelligence Project, RIKEN（前沿智能项目研究中心）
本文提出随机子空间归一化SGD方法，在重尾噪声下实现高概率收敛界，并优于全维度归一化SGD的oracle复杂度。
2026-01-29 cs.LG math.OC stat.ML
Linear Convergence of Randomized Primal-Dual Coordinate Method for Large-scale Linear Constrained Convex Programming
线性约束凸规划有许多实际应用，包括支持向量机和机器学习投资组合问题。我们提出了随机原对偶坐标（RPDC）方法，这是Cohen和Zhu，1984和Zhao和Zhu，2019的一阶原对偶方法的随机坐标扩展，用于求解线性约束凸规划。我们随机选择一个基于均匀分布的变量块，线性化，并将Bregman样函数（核心函数）应用于所选块，以获得简单的并行原始-对偶分解。在强度量次正则条件下，证明了算法的几乎处处收敛性和期望O（1/t）收敛速度，以及期望线性收敛.最后，我们讨论了随机原始-对偶坐标方法的实现细节，并对支持向量机和机器学习组合问题进行了数值实验，以验证其线性收敛。
2020-08-29 math.OC
Randomized Subspace Nesterov Accelerated Gradient
Department of Mathematical Informatics, The University of Tokyo（东京大学数学信息学系）；Center for Advanced Intelligence Project, RIKEN（日本理化学研究所先进情报项目）
本文提出随机子空间Nesterov加速梯度方法，针对矩阵光滑性和通用草图矩假设，实现平滑凸优化和强凸优化的加速oracle复杂度保证，统一比较草图家族并识别随机子空间加速在oracle复杂度上的优势。
2026-05-01 cs.LG math.OC stat.ML
Comparison of Randomized Solutions for Constrained Vehicle Routing Problem
本文研究了容量受限的车辆路径问题（CVRP）及其随机蒙特卡罗方法求解。为了解决CVRP，我们使用一些在实践中常用的伪随机数发生器。我们使用线性，多重递归，反演，和显式反演同余生成器，并获得随机数从每个CVRP提供一个路由。然后，我们比较了伪随机数发生器的性能相对于随机路由的总时间。我们还建立了一个开源的库github.com/iedmrc/binary-cws-mcs上解决CVRP基于蒙特卡洛的启发式方法。
2020-05-12 math.OC
Distributed Randomized Gradient-Free Mirror Descent Algorithm for Constrained Optimization
本文研究多主体最优化问题。在非欧Bregman发散的镜像下降算法中引入一个随机无梯度预言，发展了一种分布式随机无梯度镜像下降算法（DRGIMD）.在不利用目标函数的次梯度信息的情况下，推广了经典的梯度下降法。该算法是第一个分布式非欧零阶方法，它实现了$O(1/\sqrt{T})$收敛速度，恢复了分布式紧约束凸优化的最优速度。此外，DRFMD算法实现了强凸约束优化情况下的$O(\ln T/T)$收敛速度。该速率匹配最佳已知的非紧凑约束结果。研究了一种分散倒数加权平均逼近序列，并首次将其应用于分布式算法中。同时给出了加权平均算法（DRGFMD-WA）的一类收敛速度。分散加权平均序列的构造技术为分布式算法中极小值的搜索提供了新的思路。
2019-03-11 math.OC
Randomized subspace correction methods for convex optimization
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文提出了一种随机子空间校正方法的抽象框架，统一并推广了多种现有算法，包括域分解、多网格和块坐标下降方法，并分析了不同收敛率。
2026-04-25 cs.NA math.NA math.OC
Subspace-constrained randomized coordinate descent for linear systems with good low-rank matrix approximations
Princeton University（普林斯顿大学）
本文提出了一种子空间约束随机坐标下降法，用于求解具有良好低秩矩阵近似的线性系统，该方法能有效应对大谱异常值问题。
2026-02-12 cs.NA math.NA math.OC
BROS: Bias-Corrected Randomized Subspaces for Memory-Efficient Single-Loop Bilevel Optimization
Sichuan University（四川大学）；Peking University（北京大学）
本文提出BROS，一种内存高效的单循环双层优化方法，具有与精确单循环方法相同的收敛率。通过随机子空间和Rademacher双探针校正，BROS在标准假设下保持样本复杂度，并在多个任务中减少内存峰值。
2026-05-12 cs.LG math.OC
Proximal Gradient methods with Adaptive Subspace Sampling
机器学习或信号处理中的许多应用涉及非光滑最优化问题。这种非光滑性给最优解带来了低维结构。在本文中，我们提出了一个随机化的近端梯度法利用这种潜在的结构。我们引入两个关键组件：i）随机子空间邻近梯度算法; ii）基于识别的子空间采样。他们的相互作用带来了显着的性能改善典型的学习问题的维度探索。
2020-04-28 math.OC
Faster Convergence of a Randomized Coordinate Descent Method for Linearly Constrained Optimization Problems
线性耦合约束下可分凸函数的极小化问题在经济系统、分布式控制、网络流等领域都有广泛的应用。解决这个问题的主要挑战是，数据的大小是非常大的，这使得通常的基于梯度的方法不可行。最近，Necoara，Nesterov和Glineur [Journal of Optimization Theory and Applications，173（2017）227-2254]提出了一种有效的随机坐标下降法来解决这种类型的最优化问题，并给出了一个吸引人的收敛性分析。在本文中，我们开发了新的技术来分析这种算法的收敛性，这是能够大大改善的结果。这个精炼的结果是通过扩展Nesterov开发的Nesterov的第二种技术[SIAM J. Optim. 22（2012）341-362]中描述的方法应用于具有线性耦合约束的一般最优化问题。在我们的分析中，一个新的技术是建立线性约束的子空间的基向量。
2017-09-04 math.OC
A Randomized Nonlinear Rescaling Method in Large-Scale Constrained Convex Optimization
我们提出了一个新的随机算法，用于解决具有大量约束（具有高概率）的凸优化问题。现有的方法，如边界点或牛顿型算法是很难适用于这样的问题，因为他们有昂贵的计算和存储要求的海森和矩阵求逆。我们的算法是基于非线性重标度（NLR），这是Griva和Polyak {[{Math. Program.，106（2）：237-259，2006}]}。NLR通过约束函数的变换引入一个等价的问题，对于给定的对偶变量，最小化相应的增广拉格朗日量，然后使用这个最小化器来更新下一次迭代的对偶变量。每次迭代的原始更新是无约束有限和最小化问题的解，其中项由当前对偶变量加权。我们使用随机一阶算法来进行这些原始更新，它们特别适合。特别地，我们使用缩放的对偶变量作为每个原始更新的采样分布，并且我们证明了该分布是所有概率分布中的最优分布。最后，我们证明了我们的算法的良好的数值性能。
2020-03-24 math.OC
CLARSTA: A random subspace trust-region algorithm for convex-constrained derivative-free optimization
University of British Columbia（不列颠哥伦比亚大学）
本文提出了一种随机子空间信任区域算法，用于解决一般凸约束无导数优化问题。通过定义新的模型类和几何度量，改进了模型精度和子空间质量，实现了几乎确定的全局收敛性和最坏情况复杂度分析。
2026-09-09 math.OC
Inertial randomized Kaczmarz algorithms for solving coherent linear systems
本研究针对相干线性系统求解问题，将双子空间Kaczmarz方法视为交替惯性随机Kaczmarz算法并提出更优收敛速率估计，进一步提出多步惯性随机Kaczmarz算法加速收敛，实验验证其性能显著更优。
2023-06-14 cs.NA math.NA math.OC
Random-Subspace Sequential Quadratic Programming for Constrained Zeroth-Order Optimization
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种结合两点方向估计与低维SQP更新的零阶随机子空间序列二次规划方法，用于解决仅能获取目标函数和约束函数评估的非线性约束优化问题，通过降低维度提升计算效率与约束满足精度。
2026-04-02 math.OC
Efficient Constrained Signal Reconstruction by Randomized Epigraphical Projection
本文提出一种基于随机上图投影的约束信号重建优化框架，通过上图表达数据保真度约束以解决不可分离性问题，并利用随机近端算法设计高效求解器，在CT图像重建中展现出优于确定性方法的优势。
2019-02-14 eess.SP math.OC
Curvature-Adaptive Perturbation and Subspace Descent for Robust Saddle Point Escape in High-Dimensional Optimization
针对高维非凸优化的鞍点逃逸难题，提出结合随机扰动、自适应学习率与随机子空间下降的曲率自适应框架，理论上证明其逃逸效率优势，实验验证其在速度、鲁棒性和运行时间上优于标准一、二阶方法。
2025-09-03 math.OC
Parallel Randomized Algorithm for Chance Constrained Program
由于存在随机扰动的机会约束，机会约束规划是一个计算困难的问题。提出了一种求解机会约束规划问题的双层随机算法。在并行算法的框架下，采用随机优化算法搜索满足机会约束的优化器。该方法首先在决策域中不考虑机会约束，统一抽取多个决策样本;然后，在第二采样层中，通过提取扰动样本并计算相应的违规概率来检查所有提取的决策样本的违规概率。具有高于所需水平的违规概率的决策样本被丢弃。利用剩余可行决策样本中费用函数的最小值迭代更新优化器。通过数值模拟，与情景法进行了比较，验证了该方法在非凸问题上的有效性。该方法在寻找概率可行优化器时具有较好的鲁棒性。
2019-11-07 math.OC stat.CO
Randomized Lagrangian Stochastic Approximation for Large-Scale Constrained Stochastic Nash Games
针对大规模约束随机纳什博弈均衡计算现有方法性能受限且收敛保证不足的问题，提出单时间尺度随机化拉格朗日乘子随机逼近方法，原空间用随机逼近、对偶空间用随机块坐标更新，证明了均值意义下log(k)/√k的收敛速率。
2023-08-23 math.OC
Optimality conditions and constraint qualifications for cardinality constrained optimization problems
基数约束最优化问题（CCOP）是一个任意可行点的非零分量的最大数目有界的最优化问题。在本文中，我们认为CCOP是一个数学规划与析取子空间约束（MPDSC）。由于子空间是凸多面体集的特殊情况，因此MPDSC是具有析取约束的数学规划（MPDC）的特殊情况。利用子空间的特殊结构，我们能够得到更精确的公式切和（方向）正常的锥的析取集的子空间。然后利用MPDC的相应结果得到了一阶和二阶最优性条件最优性条件。由于子空间的特殊结构，我们能够得到一些结果MPDSC不一般的MPDC。特别是，我们表明，放松常数正线性相关性（RCPLD）是一个充分条件的度量次正则性/误差界属性的MPDSC，这是不正确的MPDC一般。最后，我们表明，在本文提出的所有约束规格，一定的精确惩罚CCOP。
2022-09-17 math.OC
High-Dimensional Optimization in Adaptive Random Subspaces
Stanford University（斯坦福大学）
我们提出了一种新的随机最优化方法的高维问题，可以看作是一个推广的坐标下降到随机子空间。我们表明，随机子空间的自适应采样策略显着优于不经意的采样方法，这是在最近的文献中的共同选择。自适应子空间可以有效地产生相关的随机矩阵集成，其统计模拟的输入数据。我们证明了解决方案的相对误差的改善可以紧密地表征在数据矩阵的频谱方面，并提供概率上界。然后，我们用不同光谱衰减的数据矩阵来说明我们的理论的后果。大量的实验结果表明，该方法提供了显着的速度提高机器学习问题，包括逻辑斯谛回归，核分类与随机卷积层和浅层神经网络与整流线性单元。我们的分析是基于凸分析和Fenchel对偶，并建立连接到草图和随机矩阵分解。
2019-12-18 cs.LG math.OC
Constrained Optimal Synthesis and Robustness Analysis by Randomized Algorithms
在本文中，我们考虑使用随机算法的鲁棒控制。本文将现有的顺序统计量分布理论推广到一般情况，即总体分布不连续，且顺序统计量具有一定的约束条件。特别地，我们得到了一个有关顺序统计量的分布不等式。此外，我们还提出了两种不同的方法来寻找可靠的解决方案的鲁棒分析和优化综合问题的约束。此外，最小的计算工作量的调查和界的样本量。
2008-05-12 math.OC math.ST stat.TH
Randomized sketch descent methods for non-separable linearly constrained optimization
本文研究了具有多个线性耦合约束的大规模光滑最优化问题。由于约束的不可分离性，不能保证任意的随机草图。因此，我们首先调查的充要条件和充分条件的草图采样有明确的算法。基于这些采样条件，我们开发了新的草图下降法，特别是随机草图下降和加速随机草图下降法，以解决一般光滑线性约束问题。据我们所知，这是随机草图下降算法的多个不可分离的线性约束的最优化问题的收敛性分析。在一般情况下，当目标函数是光滑的和非凸的，我们证明了非加速变量的次线性率在期望的适当的最优性措施。在光滑凸的情况下，我们推导出这两种算法，非加速和加速随机草图下降，次线性收敛速度的期望值的目标函数。另外，如果目标函数满足强凸性条件，则两种算法均线性收敛于期望值。在特殊情况下，复杂性边界是已知的一些特定的草图算法，如坐标下降法的最优化问题与一个单一的线性耦合约束，我们的理论恢复最知名的界限。我们还表明，当随机草图是素描坐标方向随机产生更好的结果比固定的选择规则。最后，我们提出了一些数值例子来说明我们的新算法的性能。
2018-08-07 math.OC
Continuous-time Markov Decision Processes with Finite-horizon Expected Total Cost Criteria
本文讨论了有限时间期望总费用准则下连续时间马氏决策过程的无约束和有约束情形。状态空间是可数的，并且允许转换率和成本率从上到下是无界的。我们给出了在所有随机化的历史相关的政策类中的最优政策的存在条件。对于无约束情形，利用条件期望形式的前向Kolmogorov方程的类比，证明了有限时域最优值函数是最优性方程的唯一解，并得到了最优确定性马尔可夫策略的存在性.对于有约束的情形，利用占用测度的技巧，首先给出了占用测度的一个等价刻画，并导出了对于每个由随机历史依赖策略生成的占用测度，都存在一个与之相等的由随机马尔可夫策略生成的占用测度，然后利用所有占用测度集合的紧性和凸性，我们得到了约束最优随机马尔可夫策略的存在性。并且将约束最优化问题转化为线性规划，建立了线性规划与其对偶规划之间的强对偶性。最后，一个有控制的生灭系统被用来说明我们的主要结果。
2014-08-23 math.OC
Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching
University of Chicago（芝加哥大学）；University of California, Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文针对等式约束非线性非凸优化问题，提出一种结合随机迭代草图求解器与精确增广拉格朗日线搜索的自适应非精确牛顿法，实现全局几乎必然收敛及局部超线性收敛，并在多个基准问题上验证了其优越性能。
2023-05-28 cs.LG cs.NA math.NA
Faster Randomized Methods for Orthogonality Constrained Problems
Tel Aviv University（特拉维夫大学）
本文将随机预处理方法扩展至正交约束优化问题，基于Riemannian优化框架在典型相关和Fisher判别分析上验证了其有效性和实用性。
2024-09-26 cs.LG cs.NA math.NA
Efficient Randomized Subspace Embeddings for Distributed Optimization under a Communication Budget
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
我们研究了一阶优化算法的约束下，下降方向是量化使用预先指定的预算$R$ -每维比特，其中$R \in (0 ,\infty)$。我们提出了计算效率高的优化算法，其收敛速度与信息理论性能下限相匹配：（i）访问精确梯度预言的光滑和强凸目标，以及（ii）访问噪声次梯度预言的一般凸和非光滑目标。这些算法的关键是一个多项式复杂度的信源编码方案，即在量化之前将一个矢量嵌入到一个随机子空间中，这些嵌入使得它们沿着变换空间的任何规范方向的投影都很小。因此，量化这些嵌入，然后逆变换到原始空间产生具有最佳覆盖效率的信源编码方法，同时每维仅利用$R$比特。我们的算法保证最优的任意值的位预算$R$，其中包括次线性预算制度（$R < 1$），以及高预算制度（$R \geq 1$），同时需要$O\left(n^2\right)$乘法，其中$n$是维度。我们还提出了一个有效的放松这种编码方案使用阿达玛子空间，需要一个近线性的时间，即，$O\left(n \log n\right)$补充。此外，我们表明，我们提出的嵌入的效用可以扩展到显着提高梯度稀疏方案的性能。数值模拟验证了我们的理论主张。我们的实现可以在https://github.com/rajarshisaha95/DistOptConstrComm上找到。
2022-08-15 cs.IT cs.LG math.IT
Robust Beamforming Against Direction-of-Arrival Mismatch Using Subspace-Constrained Diagonal Loading
在这项研究中，一个新的子空间约束对角加载（SSC-DL）方法提出了一个强大的波束形成对一个不匹配的到达方向（DoA）的问题，扩展到众所周知的对角加载（DL）技术的基础上。所提出的SSC-DL与传统DL的一个重要区别在于，它施加了额外的约束以将最优权向量限制在子空间内，子空间的基向量由与估计的DoA相邻的多个角度确定。与采用波束宽度扩展的许多现有方法不同，由SSC-DL产生的权向量在目标信号的DoA周围具有相对小的波束宽度。然而，SSC-DL波束形成器具有很大的干扰抑制水平，从而实现了改善的总体SINR性能。仿真结果表明，该方法具有接近最优的SINR性能。
2016-09-28 cs.IT math.IT math.OC
Randomized Feasibility Methods for Constrained Optimization with Adaptive Step Sizes
School of Electrical, Computer and Energy Engineering, Arizona State University, Tempe, USA（电气、计算机与能源工程学院，亚利桑那州立大学，Tempe，USA）
提出一种结合Polyak步长和随机约束采样的自适应步长随机可行性算法，用于解决强凸或一般凸目标函数下的约束优化问题，并证明线性收敛或O(1/√T)最坏情况速率。
2026-05-29 cs.LG math.OC
Linear Convergence of the Subspace Constrained Mean Shift Algorithm: From Euclidean to Directional Data
本文证明了子空间约束均值漂移算法的线性收敛性，并将其推广到方向数据，建立了方向数据密度脊的稳定性定理。
2022-01-19 math.OC math.ST stat.ME
RanSOM: Second-Order Momentum with Randomized Scaling for Constrained and Unconstrained Optimization
Machine Learning and Optimization Laboratory (MLO)（机器学习与优化实验室）
RanSOM通过引入随机步长消除动量方法中的曲率偏差，实现无约束和约束优化的最优收敛率。
2026-10-12 cs.LG math.OC
Subspace-Constrained Continuous Methane Leak Monitoring and Optimal Sensor Placement
提出一种基于子空间与受限区域约束的最优传感器布置和泄漏反演方法，结合风场不确定性模型实现连续实时监测，从而快速定位并量化甲烷泄漏源以减少排放。
2023-08-03 cs.NE math.OC
Large-scale randomized-coordinate descent methods with non-separable linear constraints
我们发展了线性约束凸优化的随机（块）坐标下降（CD）方法。与大多数CD方法不同，我们不假设约束是可分离的，而是让它们线性耦合。据我们所知，我们是第一个CD方法，允许线性耦合约束，而不会使全局迭代复杂性有一个指数依赖于约束的数量。我们目前的算法和分析四个关键问题的情况下：（一）光滑;（二）光滑+非光滑可分离;（三）异步并行;（四）随机。我们通过仿真实验说明了我们的算法的经验行为。
2015-06-10 math.OC stat.ML
A Unified Framework for Randomized Row-Action Methods for Structured Data Fitting and Constraint Geometry
Université de Mons（蒙斯大学）；Tongji University（同济大学）
本文提出面向结构化数据拟合与约束几何的随机行作用方法统一框架，推导两类算法分支的收敛结果，数值实验验证其在非负矩阵分解等问题中的有效性。
2026-10-14 cs.NA math.NA math.OC
Randomized Greedy Methods for Weak Submodular Sensor Selection with Robustness Considerations
Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔电气与计算机工程学院）；Department of Aerospace Engineering and Engineering Mechanics, University of Texas at Austin（德克萨斯大学奥斯汀分校航空航天工程与应用力学系）
本文提出改进的随机贪心算法和双随机贪心算法，用于解决受预算和性能限制的弱子模最大化问题，并在鲁棒优化中展示其有效性。
2026-03-05 cs.SY eess.SP eess.SY
