On computing with some convex relaxations for the maximum-entropy sampling problem
基于输入协方差阵的因子分解，我们定义了NP-Hard约束最大熵采样问题（CMESP）的Nikolov（2015）和Li和Xie（2020）的上界的温和推广。我们证明了这个分解界是不变的缩放下，也独立于特定的分解选择。基于CMESP的精确解的分解界，我们给出了一种可用于分支定界格式的变量固定方法。我们报告成功的实验与商业非线性规划求解器。我们进一步证明了已知的“混合”技术可以成功地用于将因子分解界与互补CMESP的因子分解界以及Anstreicher（2020）的“linx界”相结合。
2022-07-07 math.OC
Complexity Analysis of a Sampling-Based Interior Point Method for Convex Optimization
我们发展了一个短步长的内点方法来优化一个凸体上的线性函数，假设人们只知道这个身体的成员预言。该方法基于Abernethy和Hazan使用所谓熵势垒的通用内点方法的草图[arXiv 1507.02528v2，2015]。众所周知，熵势垒的梯度和Hessian可以通过从Boltzmann-Gibbs分布中采样来近似，并且Bubeck和Eldan证明了熵势垒是自洽的[arXiv 1412.1587v3，2015]。我们算法的分析使用了熵障碍的性质，Lovász和Vempala [计算机科学基础，2006]的击中并逃跑随机游动的混合时间，对数凹分布的均值和协方差的近似质量保证，以及De Klerk，Glineur和Taylor关于不精确牛顿型方法的结果[arXiv 1709.0519，2017]。
2018-11-19 math.OC
Global Stability Analysis of Nonlinear Sampled-Data Systems using Convex Methods
研究非线性采样系统的全局稳定性问题。采样数据系统是一种混合模型，它是在离散测量和更新被用来控制连续时间对象时产生的。在本文中，我们使用最近推出的李雅普诺夫方法来获得的情况下，固定的采样周期（同步）和随时间变化的采样周期（异步）的稳定性条件。这种方法需要一个李雅普诺夫函数的存在，减少在每个采样间隔。为了加强这一约束，我们使用一种形式的松弛变量存在于采样周期，可能取决于采样周期，并允许李雅普诺夫函数暂时增加。结果的条件是使用一种新的多项式变量的凸优化方法，称为平方和，我们用几个数值例子来说明这种方法。
2014-08-21 math.OC
Memory-efficient structured convex optimization via extreme point sampling
内存是求解半定规划等大规模凸优化问题时的一个关键计算瓶颈。在本文中，我们专注于制度，其中存储$n\times n$矩阵决策变量是禁止的。为了解决这个制度中的SDP，我们开发了一个随机算法，返回一个随机向量的协方差阵是接近可行的，接近最佳的SDP。我们展示了如何开发这样一个算法，通过修改弗兰克-沃尔夫算法系统地取代矩阵迭代与随机向量。作为这种方法的应用，我们将展示如何实现的Goemans-Williamson近似算法\textsc{MaxCut}使用$\mathcal{O}(n)$内存除了存储问题实例所需的内存。然后，我们扩展我们的方法来处理更广泛的结构化凸优化问题，取代决策变量的随机极值点的可行域。
2021-08-24 math.OC
Adaptive Importance Sampling via Stochastic Convex Programming
我们证明了从指数族重要抽样的蒙特卡罗估计的方差是分布的自然参数的凸函数。有了这个见解，我们提出了一个自适应重要性抽样算法，同时提高了抽样分布的选择，同时积累了蒙特卡罗估计。利用凸性，我们证明了该方法的无偏估计量的方差是渐近最优的指数家庭。
2015-01-09 math.OC stat.CO stat.ME
Nonconvex Variance Reduced Optimization with Arbitrary Sampling
本文给出了非凸损失函数下经验风险最小化的方差缩减算法的第一重要抽样变量。特别是，我们分析了非凸版本的SVRG，SAGA和SARAH。与真实数据集上的最新技术相比，我们的方法能够将训练过程加快数量级。此外，我们还改进了目前的小批量分析这些方法，提出了重要性抽样的小批量在这种情况下。令人惊讶的是，我们的方法可以在某些制度导致超线性加速相对于小批量的大小，这是通常不存在于随机最优化。所有上述结果都来自对任意采样方法的一般分析，即，完全通用的随机化策略，用于在每次迭代中选择要采样的示例子集。最后，我们还进行了一个新的重要性抽样分析的SARAH在凸设置。
2019-01-31 math.OC
A Stochastic Derivative-Free Optimization Method with Importance Sampling: Theory and Learning to Control
我们认为，在$\R^n$的设置中，只有功能评估是可能的无约束极小化的光滑目标函数的问题。虽然重要性采样是机器学习从业者在适用时用于加速模型收敛的最流行技术之一，但在无导数设置中这种加速的现有理论并不多。本文提出了一种带重要抽样的无一阶导数的最优化方法，并在非凸函数、凸函数和强凸函数上得到了新的改进的复杂性结果。我们在各种合成和真实的LIBSVM数据集上进行了广泛的实验，证实了我们的理论结果。我们进一步测试我们的方法在MuJoCo环境中具有不同难度的连续控制任务的集合上。实验表明，我们的算法是实用的高维连续控制问题的重要性抽样结果在一个显着的样本复杂性的改善。
2020-04-02 math.OC
A new method based on the bundle idea and gradient sampling technique for minimizing nonsmooth convex functions
本文将梯度抽样法和束方法这两种非光滑最优化中最有效的方法的优点结合起来，提出了一种求解无约束非光滑凸优化问题的稳健方法。所提出的方法的主要目的是利用GS和捆绑方法的优点，同时避免其缺点。在该方法的每次迭代中，为了找到有效的下降方向，利用GS技术为目标函数构造局部多面体模型。如果需要，通过迭代改进过程，通过束和GS方法启发的一些技术来改进该初始多面体模型。研究了该方法的收敛性，结果表明：（1）该方法的收敛性与建立和改进初始多面体模型所需的梯度计算次数无关。因此，与原始GS方法相比，所提出的方法需要更少的梯度评估。(ii)与GS型方法不同，$\mathbb R^n$中的目标函数不需要在满测度开集上连续可微，以保证这类凸问题的收敛性。通过数值模拟，我们证明了所提出的方法与GS方法相比具有很好的效果，特别是对于大规模问题。此外，与束方法相比，我们的方法是不是很敏感的精度提供的梯度。
2019-11-24 math.OC
ASMOP: Additional sampling stochastic trust region method for multi-objective problems
University of Novi Sad（诺维萨德大学）；University of Ferrara（费拉拉大学）
ASMOP提出了一种用于多目标优化的非单调信任区域方法，通过额外采样控制样本大小，证明了其在凸和非凸问题中的有效性。
2026-03-12 math.OC
Graph topology invariant gradient and sampling complexity for decentralized and stochastic optimization
分散式多智能体优化中的一个基本问题是梯度/采样复杂度和通信复杂度之间的权衡。我们提出了新的算法，其梯度和采样的复杂性是图形拓扑不变的，而他们的通信复杂性保持最佳。对于凸光滑确定性问题，我们提出了一个原始对偶滑动（PDS）算法，计算$ε$ -解决方案与$O((\tilde{L}/ε)^{1/2})$梯度和$O((\tilde{L}/ε)^{1/2}+\|\mathcal{A}\|/ε)$通信复杂性，其中$\tilde{L}$是光滑参数的目标和$\mathcal{A}$是相关的图形拉普拉斯算子或转置的通信网络的定向关联矩阵。在$μ$-强凸性下，结果可分别改进为$O((\tilde{L}/μ)^{1/2}\log(1/ε))$和$O((\tilde{L}/μ)^{1/2}\log(1/ε) + \|\mathcal{A}\|/ε^{1/2})$.我们还提出了一个随机变量，原始对偶滑动（SPDS）算法的随机梯度问题。SPDS算法利用小批量技术，使代理同时执行采样和通信。它计算具有$O((\tilde{L}/ε)^{1/2} + (σ/ε)^2)$采样复杂度的随机$ε$ -解，该解可以改进为具有强凸性的$O((\tilde{L}/μ)^{1/2}\log(1/ε) + σ^2/ε)$。这里$σ^2$是方差。SPDS的通信复杂度与确定性情形相同。所有上述梯度和采样复杂度都与集中式凸光滑优化的复…
2021-01-13 math.OC
Corporative Stochastic Approximation with Random Constraint Sampling for Semi-Infinite Programming
提出了求解半无限规划（SIP）问题的合作随机逼近（CSA）型算法，其中割生成问题是不精确求解的。首先，我们提供一般的误差界不精确CSA。然后，我们提出了两个具体的随机约束抽样方案，近似解决切割生成问题。当目标和约束函数一般是凸的，我们表明，我们的随机CSA算法实现了$\mathcal{O}(1/\sqrt{N})$收敛速率的预期（在最优性差距以及SIP约束违反）。当目标函数和约束函数都是强凸函数时，该速率可以改进为$\mathcal{O}(1/N)$。
2018-12-21 math.OC
Projected Stochastic Gradient Langevin Algorithms for Constrained Sampling and Non-Convex Learning
Langevin算法是具有加性噪声的梯度下降方法。它们已经在马尔可夫链蒙特卡罗（MCMC）采样，优化和学习中使用了几十年。它们在无约束非凸优化和学习问题中的收敛性在过去几年中得到了广泛的研究。其他工作研究了投影Langevin算法的抽样从对数凹分布限制凸紧集。对于学习和优化，对数凹分布对应于凸损失。在本文中，我们分析了非凸损失的情况下，紧凸约束集和IID外部数据变量。我们将此方法称为投影随机梯度Langevin算法（PSGLA）。我们表明，该算法实现了$O(T^{-1/4}(\log T)^{1/2})$从其目标分布在1-Wasserstein距离的偏差。对于优化和学习，我们表明，该算法实现$ε$ -次优的解决方案，平均而言，只要它运行的时间是多项式在$ε^{-1}$和稍微超指数的问题维度。
2020-12-22 cs.LG math.OC math.PR
Resolving the Mixing Time of the Langevin Algorithm to its Stationary Distribution for Log-Concave Sampling
从高维分布中采样是统计、工程和科学中的一项基本任务。一种典型的方法是朗之万算法，即，离散朗之万扩散的马尔可夫链。这是梯度下降的采样模拟。尽管被研究了几十年，在多个社区，该算法的紧混合边界仍然没有得到解决，即使在一个有界域上的对数凹分布看似简单的设置。本文完整地刻画了Langevin算法的混合时间在此设置（和其他）中的平稳分布。该混合结果可以与离散化偏置上的任何约束相结合，以便从连续朗之万扩散的平稳分布中采样。通过这种方式，我们理清了朗之万算法的混合和偏差的研究。我们的主要见解是介绍一种技术，从差分隐私文献的抽样文献。这种技术被称为迭代隐私放大，它使用雷尼发散的一个潜在变体，通过最优输运平滑在几何上感知。这给出了最优混合边界的一个简短而简单的证明，并具有几个额外的吸引人的性质。首先，我们的方法删除了其他抽样分析所需的所有不必要的假设。其次，我们的方法统一了许多设置：如果Langevin算法使用投影，随机小批量梯度或强凸势（由此我们的混合时间呈指数级提高），则它可以扩展不变。第三，我们的方法仅通过梯度步骤的收缩性来利用凸性-让人想起凸性在梯度下降的教科书证明中的使用。这样，我们提供了一个新的方法，进一步统一的分析优化和采样算法。
2022-10-31 math.OC math.PR math.ST
Importance sampling strategy for non-convex randomized block-coordinate descent
Université Côte d’Azur（蔚蓝海岸大学）；Université de Rouen（鲁昂大学）；Université Aix-Marseille（艾克斯-马赛大学）；INSA de Rouen（鲁昂国立应用科学学院）
随着与统计和机器学习相关的优化问题的样本数量和维度的爆炸，块坐标下降算法由于将原始问题减少到几个较小的问题而变得流行。待优化的坐标通常根据给定的概率分布随机选择。我们引入了一个重要性采样策略，帮助随机坐标下降算法集中在块，仍然远离收敛。该框架适用于由两个可能的非凸项之和组成的问题，其中一个是可分离的和非光滑的。我们已经比较了我们的算法，一个完整的梯度近似的方法，以及随机块坐标算法，认为均匀采样和循环块坐标下降。实验证据表明使用重要性采样策略的明显好处。
2016-06-23 cs.LG math.OC
Constrained Langevin Algorithms with L-mixing External Random Variables
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
朗之万算法是一种用加性噪声增强的梯度下降方法，广泛应用于马尔可夫链蒙特卡罗（MCMC）采样、优化和机器学习。近年来，非凸学习的Langevin算法的非渐近分析得到了广泛的研究。对于具有IID数据变量的紧致凸域上的非凸损失的约束问题，投影Langevin算法在$1$ -Wasserstein距离中实现了$O(T^{-1/4} (\log T)^{1/2})$与其目标分布的偏差[27]。在本文中，我们得到了$O(T^{-1/2} \log T)$在$1$ -Wasserstein距离的偏差非凸损失与$L$ -混合数据变量和多面体的约束（不一定是有界的）。这改进了以前的约束问题的界限，并匹配最知名的无约束问题的界限。
2023-01-07 cs.LG math.OC math.PR
Oracle-based Uniform Sampling from Convex Bodies
Department of Computer Science, University of Rochester（计算机科学系，罗切斯特大学）；Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI)（数据科学与人工智能研究所（GIDS-AI））
本文提出基于Oracle的凸体均匀采样算法，通过高效实现受限高斯 oracle 实现非渐近复杂度保证，并通过实验验证其有效性。
2026-02-16 cs.DS cs.LG math.OC
Convex relaxation for the generalized maximum-entropy sampling problem
University of Michigan（密歇根大学）；Universidade Federal do Rio de Janeiro（里约热内卢联邦大学）
本文提出了一种基于凸优化的松弛方法，用于解决广义最大熵采样问题，并展示了其在主成分分析中的应用。
2026-02-03 math.OC math.ST stat.TH
The Trajectory Bundle Method: Unifying Sequential-Convex Programming and Sampling-Based Trajectory Optimization
CMU（卡内基梅隆大学）；Google Intrinsic（谷歌Intrinsic）；Google DeepMind（谷歌DeepMind）
本研究提出一种基于序列凸规划的无导数轨迹优化统一框架，通过采样插值构造凸近似，涵盖MPPI等方法并推广至多重打靶与通用约束，可高效求解各类运动规划与控制问题。
2025-09-30 cs.RO math.OC
Kinetic Langevin MCMC Sampling Without Gradient Lipschitz Continuity -- the Strongly Convex Case
The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）；National Technical University of Athens（雅典国立技术大学）
在这篇文章中，我们考虑从Hamilton设置的对数凹分布采样，而不假设目标梯度是全局Lipschitz。我们提出了两个算法的基础上单调多边形（驯服）欧拉计划，从目标措施的样本，并提供非渐近2-Wasserstein距离界限之间的法律的过程中，每个算法和目标措施。最后，我们应用这些结果来限制相关的最优化问题的超额风险优化误差。
2023-01-19 cs.LG cs.NA math.NA
Policy Mirror Descent for Reinforcement Learning: Linear Convergence, New Sampling Complexity, and Generalized Problem Classes
Georgia Institute of Technology（佐治亚理工学院）
我们提出了新的策略镜像下降（PMD）方法解决强化学习（RL）问题的强凸或一般凸正则化。通过探索这些整体高度非凸问题的结构特性，我们表明PMD方法具有快速的线性收敛速度的全局最优性。我们开发了这些方法的随机对应物，并建立了一个${\cal O}(1/ε)$（分别，${\cal O}(1/ε^2)$）采样复杂度，用于解决这些RL问题，一般）使用不同采样方案的凸正则化器，其中$ε$表示目标精度。我们进一步表明，计算这些正则化的梯度的复杂性，如果必要的话，可以由${\cal O}\{(\log_γε) [(1-γ)L/μ]^{1/2}\log (1/ε)\}$（分别，${\cal O} \{(\log_γε) (L/ε)^{1/2}\}$）用于强（分别为，一般）凸正则化子。这里$γ$表示贴现系数。据我们所知，这些复杂性界限，以及我们的算法发展，似乎是新的优化和RL文献。这些凸正则化子的引入也极大地扩展了RL模型的灵活性和适用性。
2022-04-06 cs.AI cs.LG math.OC
Differentially Private Sampling from Rashomon Sets, and the Universality of Langevin Diffusion for Convex Optimization
Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）；Rutgers University（罗格斯大学）
本研究提出基于Langevin扩散的算法框架，既实现了不依赖凸性、可随时终止的指数机制差分隐私采样及严格一致稳定性保证，得到凸损失下的最优风险界，还可设计Rashomon集的差分隐私一致采样器，支撑可解释、鲁棒等多类机器学习研究。
2023-08-28 cs.CR cs.LG math.OC
Robust Local Stabilization of Nonlinear Systems with Controller-Dependent Norm Bounds: A Convex Approach with Input-Output Sampling
Department of Aerospace Engineering & Mechanics, University of Minnesota（明尼苏达大学航空航天工程与力学系）
本文提出一种基于输入输出采样的凸方法，用于非线性系统鲁棒局部稳定化，通过三次半定规划迭代算法实现控制器合成。
2022-12-06 cs.SY eess.SY math.OC
Beyond Smoothness and Convexity: Optimization via sampling
该研究提出用基于MCMC（尤其是朗之万动力学）的采样方法求解非凸非光滑优化问题，分析了其收敛性质并给出迭代界与样本逼近全局最优点的概率保证，为这类难题提供了新的求解视角。
2025-05-19 math.OC math.ST stat.TH
Beyond Pure Sampling: Hybrid Optimization Mechanisms for Non-Convex Model Predictive Control
School of Aerospace Engineering, Georgia Institute of Technology, Atlanta, GA, USA（航空航天工程学院，佐治亚理工学院，美国亚特兰大，GA州）；Development Division, Komatsu Ltd., Tokyo, Japan（Komatsu Ltd.开发部门，日本东京）；Department of Electrical and Computer Engineering, Inha University, Incheon, Republic of Korea（电气与计算机工程系，inha大学，韩国仁川，大韩民国）
本文提出一种结合梯度下降与基于逆Hessian采样的双步优化机制，用于非凸模型预测控制，在多种机器人导航任务中相比纯采样方法（如MPPI）具有更高成功率和稳定性。
2026-05-30 cs.RO math.OC
Constrained and Composite Optimization via Adaptive Sampling Methods
本文的动机源于希望开发一种自适应采样方法来解决约束最优化问题，其中目标函数是随机的，约束是确定的。本文提出的方法是一种近似梯度法，它也可以应用于复合最优化问题min f（x）+ h（x），其中f是随机的，h是凸的（但不一定是可微的）。自适应采样方法采用一种机制，用于逐渐提高梯度近似的质量，以保持计算成本最小。无约束优化中常用的机制在约束或复合优化设置中不再可靠，因为它基于逐点决策，无法正确预测近端梯度阶跃的质量。本文提出的方法测量一个完整步骤的结果，以确定梯度近似是否足够准确;否则生成更准确的梯度并计算新的步骤。对于强凸和一般凸f，都建立了收敛性结果。数值实验来说明该方法的实际行为。
2020-12-31 math.OC stat.ML
A Nearly Quadratic Lower Bound for Linear Optimization over Convex Bodies in the Membership Oracle Model
Georgia Tech（佐治亚理工学院）
本文证明隶属预言机模型中凸体线性优化和均匀采样的近二次下界，匹配上界并改进采样下界，且适用于体积估计。
2026-11-02 cs.DS cs.LG math.FA
On two proofs of $d^2$ mixing of weighted Dikin walks
该研究针对加权Dikin游走的混合时间问题，提出两种证明方法：一是通过高概率区域接受概率控制得到多面体等场景的混合界，二是借助四阶自举条件将Lee--Sidford度量下的$\u03c7^2$散度混合界提升至$\tilde O(d^2)$。
2026-08-31 cs.DS cs.LG math.OC
Stochastic Primal-Dual Hybrid Gradient Algorithm with Arbitrary Sampling and Imaging Applications
CMAP, Ecole Polytechnique, CNRS（应用数学中心，巴黎综合理工学院，法国国家科学研究中心）；Department for Applied Mathematics and Theoretical Physics, University of Cambridge（应用数学与理论物理系，剑桥大学）；Visual Computing Center & Extreme Computing Research Center, KAUST（视觉计算中心与极端计算研究中心，阿卜杜拉国王科技大学）；School of Mathematics, University of Edinburgh（数学学院，爱丁堡大学）；The Alan Turing Institute（阿兰·图灵研究所）
我们提出了Chambolle和Pock在2011年研究的原始-对偶混合梯度算法的随机扩展，以解决对偶变量中可分离的鞍点问题。对一般的凸凹鞍点问题和部分光滑/强凸或完全光滑/强凸问题进行了分析。我们对对偶变量的任意抽样进行了分析，并作为特例得到了已知的确定性结果。我们的随机方法的几个变种显着优于各种成像任务的确定性的变体。
2018-04-10 cs.CV cs.NA math.NA
Convexity of a stochastic control functional related to importance sampling of Itô diffusions
Institut für Mathematik, Freie Universität Berlin（柏林自由大学数学研究所）
本文研究了稀有事件重要采样问题，通过随机最优控制问题分析，证明了价值函数的二阶可导性和α-一致Hölder连续性条件可保证控制泛函的正定性，并应用于梯度下降算法分析。
2016-03-18 cs.NA math.NA math.OC
Quantum Speedups for Sampling and Non-convex Optimization with Stochastic Oracles
Department of Mathematics, Pennsylvania State University（宾夕法尼亚州立大学数学系）
该研究针对两类随机神谕模型，通过改进量子估计子程序，实现了分布采样及非凸优化任务的量子加速，适用于多种分布并具备收敛保证。
2026-09-03 cs.LG math.OC quant-ph
Gaussian Cooling and Dikin Walks: The Interior-Point Method for Logconcave Sampling
Georgia Tech（佐治亚理工学院）
本文将凸优化中的内点法（IPM）机制与Dikin游走相结合，提出了一种通用的对数凹采样框架，支持热启动并超越均匀分布与线性约束，在截断PSD锥等场景下实现了最快采样算法。
2024-03-21 cs.DS cs.LG math.OC
Constrained and Composite Sampling via Proximal Sampler
Department of Computer Science, University of Rochester（计算机科学系，罗切斯特大学）；Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI)（数据科学与人工智能研究所（GIDS-AI））
本文提出通过近端采样器解决约束和复合采样问题，利用epigraph变换和切割平面方法实现高效采样，无需了解约束集几何结构。
2026-02-16 cs.DS cs.LG math.OC
