Randomized Douglas-Rachford methods for linear systems: Improved accuracy and efficiency
针对求解线性系统可行性问题时 $r$-sets-DR 方法不必然收敛的问题，本文提出了随机化 RrDR 方法，实现了期望意义下与维度无关的线性收敛，并结合重球动量技术进一步加速收敛，显著提升了原方法的精度与效率。
2024-01-09 math.OC
GPU-Accelerated First-Order Method with Randomized Sampling for Binary Integer Programs
Texas Tech University（德州理工大学）；University of Rochester（罗切斯特大学）
提出GPU加速框架GFORS，结合一阶例程与随机采样求解大型二元整数规划，在大型实例上实现秒级高质量求解，有效补充精确求解器。
2026-09-24 math.OC
Randomized Feasibility Methods for Constrained Optimization with Adaptive Step Sizes
School of Electrical, Computer and Energy Engineering, Arizona State University, Tempe, USA（电气、计算机与能源工程学院，亚利桑那州立大学，Tempe，USA）
提出一种结合Polyak步长和随机约束采样的自适应步长随机可行性算法，用于解决强凸或一般凸目标函数下的约束优化问题，并证明线性收敛或O(1/√T)最坏情况速率。
2026-05-29 cs.LG math.OC
The method of Bregman projections in deterministic and stochastic convex feasibility problems
在这项工作中，我们研究的方法Bregman预测确定性和随机凸可行性问题的三种类型的控制序列的选择集在算法过程中：贪婪，随机和自适应随机。我们深入分析仿射可行性问题的情况下，所提出的方法产生的迭代收敛Q-线性，并提供明确的全局和局部收敛速度。本文工作一方面概括了基于正交投影方法的线性系随机化求解方法的最新进展。另一方面，我们的研究结果产生的全局和局部Q-线性收敛速度的Sinkhorn和Greenhorn算法在离散熵正则化最优输运，第一次，即使在多边际设置。
2021-01-05 math.OC
Randomized Optimal Stopping Problem in Continuous time and Reinforcement Learning Algorithm
本文提出探索性框架下的最优停止问题，通过熵正则化转化为最优控制，推导HJB方程并证明可解性，给出策略迭代收敛速率，设计强化学习算法并验证数值结果。
2023-09-01 math.OC q-fin.MF
Random iterations of paracontraction maps and applications to feasibility problems
本文考虑了在概率空间上寻找拟压缩映射族的几乎必然公共不动点的问题，我们称之为随机可行性问题.我们证明了由遍历平稳序列驱动的仿收缩映射的随机迭代收敛，概率为1，随机可行性问题的解决方案，提供了一个解决方案存在。作为应用，我们得到了求解随机凸可行性问题和寻找极大单调算子集合的几乎必然公共零点问题的非白噪声随机算法。
2020-08-11 math.DS math.OC
Sampling Kaczmarz Motzkin Method for Linear Feasibility Problems: Generalization & Acceleration
随机Kaczmarz（RK）、Motzkin方法（MM）和采样Kaczmarz Motzkin（SKM）算法是用于求解线性不等式系统（即，$Ax \leq b$）。由于线性方程组代表了解决许多最优化问题的建模范例，这些随机化和迭代技术在不同领域的研究人员中越来越受欢迎。在这项工作中，我们提出了一个广义采样Kaczmarz Motzkin（GSKM）的方法，统一的迭代法到一个单一的框架。除了一般的框架，我们提出了一个Nesterov型加速计划的SKM方法称为可能加速采样Kaczmarz Motzkin（PASKM）。我们证明了收敛定理GSKM和PASKM算法在$L_2$规范的角度来看，建议的采样分布。证明了GSKM算法和PASKM算法的Cesaro迭代平均的次线性收敛，并从GSKM算法的收敛性定理出发，得到了Kaczmarz方法、Motzkin方法和SKM算法的收敛性结果.我们使用随机生成的和真实世界（支持向量机和Netlib LP分类）的测试实例进行彻底的数值实验，以证明所提出的方法的效率。我们比较了所提出的算法与SKM，内点方法（IPM）和有效集方法（ASM）的计算时间和解决方案的质量。在大多数问题的情况下，所提出的广义和加速算法显着优于国家的最先进的方法。
2020-12-05 math.OC
Accelerated Sampling Kaczmarz Motzkin Algorithm for The Linear Feasibility Problem
抽样Kaczmarz Motzkin（SKM）算法是求解大规模线性系不等式组的一种推广方法。基于Agmon、Schoenberg和Motzkin的松弛法和随机Kaczmarz方法，SKM在解决大规模线性可行性（LF）问题方面优于现有的方法。受到SKM的成功，在这项工作中，我们提出了一个加速采样Kaczmarz Motzkin（ASKM）算法，实现了更好的收敛性相比，标准SKM算法的病态问题。我们提供了一个彻底的收敛性分析所提出的加速算法，并验证了各种数值实验的结果。在随机生成的实例和Netlib LP上比较了ASKM算法与SKM、内点方法（IPM）和活动集方法（ASM）的性能和有效性。在大多数的测试实例中，所提出的ASKM算法优于其他国家的最先进的方法。
2019-11-05 math.OC
Randomized algorithms and PAC bounds for inverse reinforcement learning in continuous spaces
EPFL（洛桑联邦理工学院）；University of Konstanz（康斯坦茨大学）；ETH Zürich（苏黎世联邦理工学院）
本文针对连续状态动作空间的逆强化学习，提出基于占用测度和线性对偶的求解框架，引入归一化约束避免平凡解，采用随机化情景方法获得ε-最优解并给出PAC样本复杂度界，同时处理有限演示下的误差界。
2024-05-24 cs.LG math.OC
An Accelerated Randomized Kaczmarz Algorithm
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出一种加速随机Kaczmarz算法，用于解决病态线性系统，相比标准算法在收敛性上有优势，同时提出高效实现SARK以应对稀疏情况。
2014-06-07 cs.NA math.NA math.OC
An error bound-based convergence analysis framework for a class of randomized algorithms
The Hong Kong Polytechnic University（香港理工大学）；University of Tsukuba（筑波大学）
本文提出基于统一误差界条件的分析框架，用于研究具有下降性质的随机算法，提供非渐近期望和渐近几乎确定的收敛速率，应用于公共固定点问题和无约束最小化问题。
2026-09-01 math.OC
Linear convergence of the Randomized Sparse Kaczmarz Method
已知解线性系的随机化Kaczmarz方法在期望中线性收敛。在这项工作中，我们扩展了这一结果，并表明，最近提出的随机稀疏Kaczmarz方法恢复稀疏的解决方案，以及许多变种，也线性收敛的预期。这一结果是在分裂可行性问题及其解决方案的框架内通过随机Bregman投影关于强凸函数。为了获得预期的收敛速度，我们证明了投影的误差界的扩展。收敛结果表明，持有在更一般的设置，包括光滑凸函数，分段线性二次函数，也正则化核范数，这是用于该地区的低秩矩阵问题。数值实验表明，随机稀疏Kaczmarz方法在求解欠定和过定线性系问题时，优于非随机和非稀疏Kaczmarz方法.
2016-10-10 cs.NA math.NA math.OC
Sketch & Project Methods for Linear Feasibility Problems: Greedy Sampling & Momentum
我们开发了两个贪婪的抽样规则的草图和项目的方法来解决线性可行性问题。贪婪采样规则推广了现有的最大距离采样规则和均匀采样规则，并产生更快的Sketch & Project方法的变体。我们还引入贪婪的上限采样规则，改进现有的上限采样规则。此外，我们将所谓的重球动量技术，建议贪婪草图和项目方法。通过改变参数，如采样规则，草图矢量，我们恢复几个著名的算法作为特例，包括随机Kaczmarz（RK），Motzkin松弛（MR），采样Kaczmarz Motzkin（SKM）。我们还得到了一些新的方法，如随机坐标下降法，抽样坐标下降法，封顶坐标下降法等，以解决线性可行性问题。我们提供了全局线性收敛结果的基本贪婪方法和贪婪方法与动量。在较弱的条件下，我们证明了$\mathcal{O}(\frac{1}{k})$对这两种方法产生的序列的Cesaro平均的收敛速度。我们延长了所谓的证书的可行性结果的建议的动量方法，概括了现有的几个结果。为了支持所提出的理论结果，我们进行了全面的数值实验，随机生成的测试实例以及稀疏的现实世界的测试实例。所提出的贪婪抽样方法显著优于现有的抽样方法。最后，在这项工作中设计的动量变量扩展了所有采样规则的Sketch & Project方法的计算性能。
2020-12-05 cs.NA math.NA math.OC
A Different Perspective On The Stochastic Convex Feasibility Problem
我们分析了一个简单的随机次梯度近似解的凸泛函约束的随机系统的方法，唯一的输入算法的大小是minibatches。通过引入一个新的概念是什么意思的一个点近似解决的约束，确定预期的迭代次数的界限减少到确定一个复合伯努利过程，基本概率的首中时。除了对期望迭代次数的边界非常一般，我们很容易建立关于迭代次数的集中不等式，更有趣的是，我们建立了改进的边界，当一个类似于Hölderian增长的概念被满足时，对于所有的增长度，不仅仅是分段线性凸函数的线性增长或强凸函数的二次增长。最后，我们建立了类似的结果下，稍微修改的算法，导致在用户知道与高置信度的一个近似解决系统的一个工具在手。也许令人惊讶的是，这里的迭代边界是确定性的--所有的概率都包含在置信水平中（尽管以潜在的大的小批量为代价）。
2021-08-26 math.OC
Hessian Inverse Approximation as Covariance for Random Perturbation in Black-Box Problems
在仅使用噪声零阶（ZO）预言的随机最优化问题中，Kiefer-Wolfowitz型方法的随机对应物被广泛用于估计梯度。现有的算法从零均值和单位协方差分布生成随机扰动。与此相反，这项工作认为，一般化的扰动有可能从历史的ZO查询构建的非身份协方差。我们提出了将二阶近似反馈到随机扰动的协方差阵中，因此称之为Hessian-aided random perturbation（HARP）。HARP每次迭代收集四个零阶查询，以形成梯度和Hessian的近似。我们显示的收敛性（在几乎肯定的意义上），并推导出收敛速度的HARP在温和的假设。我们证明，与理论保证和数值实验，HARP是不太敏感的病态和查询效率比其他梯度近似方案，其随机扰动有一个身份协方差。
2020-11-26 math.OC
Stable interior-point method for convex quadratic programming with strict error bounds
提出了求解一类二次目标函数为非线性规划问题的一种短步长内点法。凸二次规划问题可以转化为这类问题。该方法具有弱多项式时间复杂度。给出了该方法数值稳定性的完整证明。没有要求的可行性，行秩的约束雅可比矩阵，严格互补性，或条件的问题。不可行的问题被解决到一个最优的内部最小二乘解。
2018-05-10 math.OC
A New Randomized Primal-Dual Algorithm for Convex Optimization with Optimal Last Iterate Rates
针对一类非光滑约束凸优化问题，提出了一种新的统一随机块坐标原始对偶法，该算法涵盖了文献中已有的不同变量和模型设置.我们证明了我们的算法达到最佳的$\mathcal{O}(n/k)$和$\mathcal{O}(n^2/k^2)$收敛速度（直到一个常数因子）在两种情况下：一般凸性和强凸性，分别，其中$k$是迭代计数器和n是块坐标的数量。我们的收敛速度是通过三个标准：原始目标残差和原始可行性违反，双重目标残差，和原始-对偶期望差距。此外，我们对原始问题的速度是在最后一个序列上。我们的对偶收敛保证还需要一个Lipschitz连续性假设。我们指定我们的算法来处理两个重要的特殊情况，我们的利率仍然适用。最后，我们验证了我们的算法在两个研究的数值例子，并比较它与现有的两种方法。我们的结果表明，所提出的方法具有令人鼓舞的性能在不同的实验。
2021-10-28 math.OC stat.ML
Randomized Block Frank-Wolfe for Convergent Large-Scale Learning
University of Minnesota（明尼苏达大学）；University of Agder（阿格德尔大学）；Beijing Institute of Technology（北京理工大学）
本文提出随机块Frank-Wolfe方法，通过灵活选择每次迭代更新的块数，确保收敛性和可行性，并扩展了收敛分析以涵盖非凸目标。
2017-09-22 cs.LG cs.NA math.NA
Randomized Primal-Dual Proximal Block Coordinate Updates
University of Minnesota（明尼苏达大学）；University of Alabama（阿拉巴马大学）
本文提出了一种随机对偶近似代理块坐标更新框架，用于解决一般多块凸优化问题，证明了在目标函数和线性约束耦合下的O(1/t)收敛性，扩展了现有算法的收敛性质。
2017-01-24 cs.NA math.NA math.OC
Projection, Degeneracy, and Singularity Degree for Spectrahedra
University of Waterloo（滑铁卢大学）
研究谱面体投影的半光滑牛顿法的收敛行为，通过面约化处理严格可行性约束缺失问题，推导投影公式并分析退化导致的病态条件，应用于相关矩阵集和置换矩阵的半定松弛。
2026-06-29 math.OC
SketchySGD: Reliable Stochastic Optimization via Randomized Curvature Estimates
Stanford University（斯坦福大学）；Cornell University（康奈尔大学）
SketchySGD 利用子采样 Hessian 的随机低秩近似和自动步长，在病态凸优化问题中实现比 SGD 更快的收敛，并能以默认超参数开箱即用地解决大规模病态回归问题。
2024-02-20 cs.LG math.OC
On the analysis of variance-reduced and randomized projection variants of single projection schemes for monotone stochastic variational inequality problems
经典的外梯度格式及其随机格式是求解单调变分不等式问题的基石。然而，这样的方案具有到凸集上的两个投影的每次迭代复杂度，并且需要对映射进行两次评估，如果$X$是复杂的集合，则前者可能相对昂贵。我们考虑两个相关的途径，其中每迭代的复杂性显着降低：（i）一个随机投影反射梯度法需要一个单一的评价的地图和一个单一的投影;和（ii）一个随机次梯度extragradial方法，需要两个评价的地图，一个单一的投影到$X$，和一个显着便宜的投影（到一个半空间）可计算的封闭形式。在一个方差缩减的框架下，我们证明了几乎必然（a.s.）迭代收敛到两种方案的解集中的随机点。此外，这两种方案都显示出$\mathcal{O}(1/K)$的非渐近速率，其中$K$表示迭代次数;值得注意的是，这两种速率都与确定性机制中获得的速率相匹配。为了解决由大量凸约束的交集给出的可行性集，我们将上述两种方案都适应于随机投影框架。然后，我们表明，这两个方案的随机投影类似物也显示a.s.收敛弱清晰度的要求下;此外，不强加的弱清晰度的要求，这两个计划的特点是证明率$\mathcal{O}(1/\sqrt{K})$方面的间隙函数的平均序列的投影到$X$，以及该序列的不可行性。初步的数值支持理论研究结果和计划优于标准的extragradiation计划的每迭代的复杂性。
2020-12-19 math.OC
Stochastic Gradient Descent, Weighted Sampling, and the Randomized Kaczmarz algorithm
Claremont McKenna College（克莱蒙特·麦肯纳学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文改进了随机梯度下降在光滑强凸目标下的线性收敛保证，从二次依赖于条件数转换为线性依赖，同时探讨了加权采样对收敛性的影响，并将随机化Kaczmarz算法与SGD联系起来，证明其在加权最小二乘问题中的指数收敛性。
2015-01-16 cs.CV cs.LG cs.NA
Computational performance of a projection and rescaling algorithm
本文提出了一种{ \em投影和重标度算法}的计算实现，用于寻找一对可行性问题\[ \text{find} \; x\in L\cap\mathbb{R}^n_{+} \;\;\;\; \text{ and } \; \;\;\;\; \text{find} \; \hat x\in L^\perp\cap\mathbb{R}^n_{+}, \]的最内部解，其中$L$表示$\mathbb{R}^n$中的线性子空间，$L^\perp$表示它的正交补。投影和重新缩放算法是最近开发的方法，其将仅涉及低成本操作的{ \em基本过程}与周期性{ \em重新缩放步骤}相结合。我们给出了一个完整的描述，该算法的MATLAB实现，并提出了多套数值实验的合成问题的情况下，不同程度的条件。我们的计算实验提供了有希望的证据的投影和重新缩放算法的有效性。我们的MATLAB代码是公开的。此外，算法的简单性使得在其他环境中的计算实现完全简单。
2019-06-03 math.OC
Complexity of Multiblock Convex-Concave Saddle-Point Problems with General Smooth Coupling
MIRIAI；MSU Institute for Artificial Intelligence（莫斯科大学人工智能研究所）；Innopolis University, MIRIAI, IITP（因诺波利斯大学，MIRIAI，俄罗斯科学院信息传输问题研究所）
针对带一般光滑耦合的多块凸-凹鞍点问题，提出随机提升额外梯度方法，在强凸性下实现线性收敛，非强凸性下给出受限间隙保证，实验验证其在目标条件差场景下的性能提升。
2026-10-12 math.OC
On the probabilistic feasibility of solutions in multi-agent optimization problems under uncertainty
我们研究了两类不同的不确定多智能体优化方案的随机解的概率可行性。我们首先假设只有规划的约束条件受到不确定性的影响，而费用函数是任意的。利用最近的后验事态发展的情况下的方法，我们提供概率保证所有的可行解的方案正在研究中。这个结果是特别有用的情况下，数值困难的收敛性的解决方案寻求算法阻碍了精确量化的最优解。此外，它可以应用于代理人的激励导致次优解决方案的情况，例如，在不合作的情况下。然后，我们专注于优化程序的费用函数承认一个聚合表示，并依赖于不确定性，而约束是确定性的。通过利用所研究的程序的结构并利用所谓的支持度等级概念，我们为最优解提供了与代理无关的鲁棒性证书，即，所构造的约束违反概率界不依赖于主体的数量，而仅依赖于主体决策的维数。随着代理数量的增加，这大大减少了实现一定水平的概率鲁棒性所需的样本的样本个数。本文提供的所有健壮性证书都是免费分发的，可以与任何优化算法一起使用。我们的理论结果是伴随着一个数字的案例研究，涉及一个车队的电动汽车的充电控制问题。
2020-09-28 cs.SY eess.SY math.OC
Gradient Descent is Pareto-Optimal in the Oracle Complexity and Memory Tradeoff for Feasibility Problems
Massachusetts Institute of Technology（麻省理工学院）
该研究针对带分离预言机的可行性问题，推导了确定性与随机算法在内存约束下的预言机复杂度下界，证明梯度下降在预言机复杂度与内存的权衡中是帕累托最优的，并揭示了内存从次二次到二次时预言机复杂度的相变。
2024-04-10 cs.CC cs.DS cs.LG
Local sensitivity-preserving random data down-sampling for experimental design
California Institute of Technology（加州理工学院）；University of Würzburg（维尔茨堡大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出通过随机下采样策略保持费舍尔信息矩阵信息内容，用于实验设计中选择对参数敏感的数据，提升逆问题数值重构质量。
2026-08-05 cs.NA math.NA math.OC
