Decentralized and Parallel Primal and Dual Accelerated Methods for Stochastic Convex Programming Problems
介绍了求解分散凸优化问题的原始和对偶随机梯度预言方法。无论是原始和双重预言机，所提出的方法是最佳的通信步骤的数量。然而，对于目标的所有类，每个节点的Oracle调用的数量方面的最优性只发生到对数因子和平滑的概念。通过使用mini-technique，我们表明，所提出的方法与随机预言可以在每个节点上额外并行化。所考虑的算法可以应用于许多数据科学问题和反问题。
2021-02-10 math.OC
A parallel subgradient projection algorithm for quasiconvex equilibrium problems under the intersection of convex sets
本文研究了双函数关于第二变元拟凸且可行集为有限个凸集的交的平衡问题。我们提出了一个投影算法，其中的投影可以独立地计算到每个组件集。研究了算法的收敛性，并通过一个含仿射分式算子的变分不等式问题的数值算例验证了算法的收敛性.
2020-10-01 math.OC
A Convex Program for Mixed Linear Regression with a Recovery Guarantee for Well-Separated Data
我们介绍了一个凸的混合线性回归的方法在$d$功能。这种方法是一种基于L1最小化的二阶锥规划，它为每个数据点在$\mathbb{R}^{d}$中分配一个估计回归系数。然后，可以使用例如$k$均值对这些估计进行聚类。对于两个或两个以上的混合物类的问题，我们证明了凸计划完全恢复所有的混合物成分在无噪声设置的技术条件下，包括一个良好的分离假设的数据。在这些假设下，如果每个类至少具有$d$独立测量，则恢复是可能的。我们还探讨了一个迭代重新加权最小二乘实现这种方法的真实和合成数据。
2017-12-21 math.OC stat.ML
Exact Instance Compression for Convex Empirical Risk Minimization via Color Refinement
Program for Research in Mathematics, Engineering, and Science (PRIMES-USA)（数学、工程与科学研究计划（PRIMES-USA））；Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种基于颜色细化的无损压缩框架，用于高效解决凸经验风险最小化问题，适用于多种可微凸优化模型。
2026-01-31 cs.LG math.OC
A Simple Parallel Algorithm with an $O(1/t)$ Convergence Rate for General Convex Programs
本文研究了具有一般（可能不可微）凸目标函数和Lipschitz连续凸不等式约束函数的凸规划问题。一个简单的算法，并实现了$O(1/t)$收敛速度。与经典的对偶次梯度法和ADMM算法类似，当目标函数和约束函数可分离时，新算法具有并行实现的特点。然而，新算法具有更快的$O(1/t)$收敛速度相比，最好的已知$O(1/\sqrt{t})$收敛速度的双重次梯度法与原始平均。此外，它可以解决具有非线性约束的凸规划，这是不能处理的ADMM算法。将新算法应用于多径网络效用最大化问题，得到了一个具有快速收敛速度的分散式流量控制算法。
2017-07-30 math.OC
Efficient parallel coordinate descent algorithm for convex optimization problems with separable constraints: application to distributed MPC
在本文中，我们提出了一个并行坐标下降算法求解光滑凸优化问题的可分离的约束，可能会出现，例如在分布式模型预测控制（MPC）的线性网络系统。我们的算法是基于块坐标下降并行更新，并有一个非常简单的迭代。在光滑凸优化的标准假设下，我们证明了新算法的（亚）线性收敛速率。此外，我们的算法使用本地信息，因此适合分布式实现。此外，它具有较低的迭代复杂度，这使得它适合嵌入式控制。基于这种新的并行算法，推导出一种MPC方案，使网络中的每个子系统都可以使用分布式和廉价的计算来计算可行的和稳定的控制输入。为了确保MPC方案的稳定性，我们使用来自分布式合成的终端成本公式。初步的数值试验表明，我们的优化算法比其他现有的方法有更好的性能。
2014-11-18 math.OC
Parallel Polyhedral Projection Method for the Convex Feasibility Problem
本文提出3PM和A3PM方法求解凸可行性问题，通过平行投影与多面体投影两阶段迭代，在无正则性假设下证明全局收敛，并在特定条件下证明线性或超线性收敛，数值实验显示其优于现有方法。
2025-06-26 math.OC
Efficient algorithms for multivariate shape-constrained convex regression problems
形状约束凸回归问题是指在观测数据上拟合一个凸函数，并施加附加的约束条件，如分量单调性和一致Lipschitz连续性。本文提供了一个全面的机制来计算多元形状约束凸回归函数的最小二乘估计$\mathbb{R}^d$。通过求解一个含有$(n+1)d$变量和至少一个$n(n-1)$线性不等式约束的约束凸二次规划问题，证明了最小二乘估计是可计算的，其中$n$是数据点的个数.对于一般的超大规模凸二次规划问题，我们设计了两种有效的算法，一种是基于对称Gauss-Seidel的交替方向法（{ \tt sGS-ADMM}），另一种是近似增广拉格朗日法（{ \tt pALM}），子问题由半光滑牛顿法（{ \tt SSN}）求解.综合的数值实验，包括篮子期权定价和经济学中的生产函数估计，表明我们提出的算法优于国家的最先进的算法。{ \tt pALM}比{ \tt sGS-ADMM}更有效，但后者具有更易于实现的优点。
2020-02-26 math.OC stat.ML
An active-set based recursive approach for solving convex isotonic regression with generalized order restrictions
本文研究由有向树诱导的广义序约束凸保序回归问题，受PAV算法启发提出一种基于主动集的递归求解方法，在温和假设下实现了多项式时间复杂度。
2023-04-01 math.OC stat.CO
Smoothing fast iterative hard thresholding algorithm for $\ell_0$ regularized nonsmooth convex regression problem
研究了一类带基数罚的约束稀疏回归问题，其中可行集由盒约束定义，损失函数是凸的，但不一定是光滑的.首先，我们提出了一个平滑快速迭代硬阈值（SFIHT）算法来解决这样的最优化问题，它结合了平滑近似，外推技术和迭代硬阈值方法。在所提出的算法中，可以选择外推系数以满足$\sup_k β_k=1$。讨论了算法在不同外推系数下的收敛性，并给出了保证迭代的任一聚点是原基数惩罚问题的局部极小点的充分条件。特别地，对于一类固定外推系数，我们讨论了几种不同的光滑参数更新规则，并得到了$O(\ln k/k)$关于损失和目标函数值的收敛速度。其次，考虑了损失函数为Lipschitz连续可微的情形，提出了一种快速迭代硬阈值算法（FIHT），并证明了FIHT算法的迭代收敛于问题的一个局部极小点，该局部极小点满足期望的下界性质。此外，我们证明了损失和目标函数值的收敛速度是$o(k^{-2})$。最后，给出了一些数值例子来说明理论结果。
2021-04-27 math.OC
A rank-two relaxed parallel splitting version of the augmented Lagrangian method with step size in (0,2) for separable convex programming
增广拉格朗日方法（ALM）是求解具有线性约束的典型凸规划问题的经典方法，在各种科学计算领域有着广泛的应用。ALM的主要优点在于，可以利用$(0,2)$中的步长来进一步放宽用于更新对偶变量的步骤，并且该优点可以容易地导致ALM的数值加速。当一个可分离的凸规划问题进行了讨论，并考虑了相应的分裂版本的经典ALM，收敛可能无法得到保证，因此它似乎是不可能的，步长在$(0,2)$可以进行到松弛步骤更新的对偶变量。我们表明，对于一个并行分裂版本的ALM，步长在$(0,2)$可以保持进一步放松的原始和对偶变量，如果放松步骤是简单地纠正由秩2矩阵。因此，秩2松弛并行分裂版本的ALM与$(0,2)$的步长提出了可分离的凸规划问题。我们验证了新算法可以在数值上优于现有的同类算法显着通过测试一些应用程序。
2022-12-01 math.OC
An Inertial Parallel and Asynchronous Fixed-Point Iteration for Convex Optimization
凸分解算法的两个吸引人的特点是操作的简单性和可并行结构的生成。原则上，这些方案要求所有坐标同时更新，即，它们通过构造而同步。在更新中引入并行性可以解决同步情况下出现的几个问题，如计算中的负载不平衡或通信链路故障。然而，据我们所知，还没有常见算法的异步版本与惯性加速技术相结合的实例。在这项工作中，我们提出了一个惯性异步和并行不动点迭代，从现有的凸优化算法的几个新版本的起源。从规范出发，坐标的更新的频率应遵守一些先验分布，我们提出了一个方案，唯一的要求是坐标更新在一个有界的时间间隔。我们证明了该计划所产生的迭代序列的收敛性在一个线性速率。所提出的方案的一个实例实施，以解决分布式优化负载分配问题，在智能电网设置和它的优越性，相对于非加速版本的说明。
2018-03-06 math.OC
Estimation from Non-Linear Observations via Convex Programming with Application to Bilinear Regression
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个计算效率的估计，制定为一个凸计划，为广泛的一类非线性回归问题，涉及凸（DC）的非线性差异。所提出的方法可以被视为[10]中针对凸非线性回归制定和分析的“锚定回归”方法的重要扩展。我们的主要假设，除了其他温和的统计和计算假设，是在地面真值的观测函数的梯度的平均值的某种近似预言的可用性。在此假设下，并使用PAC-Bayesian分析，我们表明，所提出的估计产生一个准确的估计，具有很高的概率。作为一个具体的例子，我们研究了所提出的框架中的双线性回归问题的高斯因子和量化的样本复杂性，准确的恢复。此外，我们描述了一个计算易处理的计划，可证明所需的近似预言机在考虑双线性回归问题。
2019-03-28 cs.LG math.OC stat.CO
Asynchronous Parallel Nonconvex Optimization Under the Polyak-Lojasiewicz Condition
通信延迟和同步是并行计算的主要瓶颈，因此容忍延迟是加速并行计算的关键。针对不满足凸性假设的最优化问题，提出了一种求解非凸目标函数满足Polyak-Lojasiewicz条件的最优化问题的异步块坐标下降算法.这个条件是强凸性到非凸问题的推广，既不要求极小值的凸性也不要求极小值的唯一性。仅在目标函数具有弱光滑性和时滞有界的假设下，我们证明了该算法具有线性收敛速率。通过对逻辑斯谛回归问题的数值实验，说明了随机性对收敛性的影响.
2021-05-23 math.OC
A Computational Framework for Multivariate Convex Regression and its Variants
研究了多元凸回归函数的非参数最小二乘估计。作为具有$O(n^2)$线性约束（$n$是样本量）的二次规划的解给出的LSE对于大型问题是难以计算的。利用问题的具体结构，我们提出了一个可扩展的算法框架的基础上增广拉格朗日方法来计算LSE。我们开发了一种新的方法来获得光滑的凸逼近拟合（分段仿射）凸LSE和提供正式的边界上的质量近似。当样本的数量不是太大相比，预测的维度，我们提出了一个正则化计划- Lipschitz凸回归-我们约束的次梯度的范数，并研究所获得的LSE的收敛速度。我们的算法框架是简单和灵活的，可以很容易地适应处理变量：非减/非增凸/凹（有或没有Lipschitz界）函数的估计。我们进行数值研究，说明所提出的算法的可扩展性。
2015-09-28 math.OC stat.CO stat.ME
Bayesian nonparametric multivariate convex regression
在经济学、运筹学和强化学习等许多应用中，经常需要估计受凸性约束的多元回归函数f。例如，在顺序决策过程中，在最优后续决策下的状态值可以已知为凸或凹。我们提出了一种新的贝叶斯非参数多元方法的基础上表征未知的回归函数的最大值的随机收集的未知超平面。该规范在凸函数空间上诱导了具有Kullback-Leibler意义上的大支持的先验，同时也导致了强后验一致性。虽然我们假设f定义在R^p上，但我们证明了当f实际上是一个d维线性子空间映射到R时，该模型在经验L2范数下的收敛速度为log（n）^{-1} n^{-1/（d+2）}.我们设计了一个有效的可逆跳MCMC算法的后验计算，并通过应用价值函数逼近的方法来证明。
2011-09-01 math.OC stat.ME stat.ML
Stochastic Composite Least-Squares Regression with convergence rate O(1/n)
考虑由二次函数的期望和任意凸函数组成的复合目标函数的极小化问题。我们研究了具有常数步长的随机对偶平均算法，证明了在没有强凸性假设的情况下，该算法的收敛速度为O（1/n）。因此，这将早期关于欧几里得几何的最小二乘回归的结果扩展到（a）所有凸正则化子和约束，以及（b）由Bregman发散表示的所有几何。这是通过一个新的证明技术，涉及随机和确定性递归。
2017-02-21 math.OC stat.ML
Convex and Nonconvex Sublinear Regression with Application to Data-driven Learning of Reach Sets
University of California, Santa Cruz（加州大学圣克鲁兹分校）
我们考虑从有限数据中估计一个紧集，通过次线性回归近似该集的支持函数。支撑函数唯一地刻画了直到凸化闭包的紧集，并且是次线性的（凸的以及一次正齐次的）。相反，任何次线性函数都是紧集的支撑函数。我们利用这个属性来转录的任务学习一个紧凑的集，学习其支持功能。我们提出了两个算法进行次线性回归，一个通过凸和另一个通过非凸规划。凸规划方法涉及求解二次规划（QP）。非凸规划方法涉及训练输入次线性神经网络。我们说明了所提出的方法，通过数值例子学习的控制动力学的集值输入不确定性的轨迹数据的到达集。
2023-03-23 cs.AI cs.LG cs.SY
Rank-one Convexification for Sparse Regression
University of California, Berkeley（加州大学伯克利分校）；University of Pittsburgh（匹兹堡大学）
稀疏回归模型由于其易于解释性和出色的样本外性能而日益流行。然而，稀疏回归的精确模型与$\ell_0$约束限制的支持的估计是一个具有挑战性的（\NP硬）非凸优化问题。在本文中，我们得到了新的强凸松弛稀疏回归。这些松弛是基于理想的（凸包）配方秩一二次项与指标变量。新的松弛可以制定为半定优化问题在一个扩展的空间，更强大和更一般的比国家的最先进的配方，包括透视重构和配方与反向休伯罚款和极小极大凹罚函数。此外，建议的秩一加强可以被解释为一个\textit{non-separable, non-convex, unbiased}稀疏诱导正则化，它动态地调整其惩罚根据误差函数的形状，而不会引起偏见的稀疏解决方案。在我们的基准数据集的计算实验中，提出的二次曲线公式在几秒钟内解决，并导致非凸$\ell_0$ -问题的接近最优的解决方案（0.4\%的最优性差距）。此外，从统计的角度来看，所得到的估计也优于其他凸方法，实现了高预测精度和良好的可解释性。
2020-10-18 cs.LG math.OC stat.ME
AdaBoost and Forward Stagewise Regression are First-Order Convex Optimization Methods
MIT Sloan School of Management（麻省理工学院斯隆管理学院）；MIT Operations Research Center（麻省理工学院运筹学中心）
Boosting方法是一种非常流行和有效的监督学习方法，它将弱学习器组合成一个具有良好统计性能的精确模型。在本文中，我们分析了两个著名的提升方法，AdaBoost和增量前向逐步回归（FS $_\varepsilon$），通过建立他们的精确连接到镜像下降算法，这是一个一阶方法在凸优化。作为这些连接的结果，我们获得了新的计算保证这些提升方法。特别是，我们的AdaBoost收敛界的特征，相关的利润率和对数指数损失函数，任何步长序列。此外，本文提出了，第一次，精确的计算复杂性的结果FS $_\varepsilon$。
2013-07-04 cs.LG math.OC stat.ML
DiscoverDCP: A Data-Driven Approach for Construction of Disciplined Convex Programs via Symbolic Regression
Department of Electrical Engineering and Computer Sciences University of California, Berkeley（电气工程与计算机科学系加州大学伯克利分校）
DiscoverDCP 通过符号回归与 DCP 规则结合，构建可验证的凸模型，用于系统辨识和安全关键任务。
2025-12-03 cs.AI cs.LG cs.SY
Ideal formulations for constrained convex optimization problems with indicator variables
Northwestern University（西北大学）；University of Southern California（南加州大学）
受现代回归应用的启发，本文研究了一类具有指示变量和组合约束的凸优化问题的凸化问题。与以往大多数稀疏回归问题凸化的工作，我们同时考虑非线性不可分离的目标，指示变量，和组合约束。具体地，我们给出了任意组合约束下一维凸函数与仿射函数的合成上图的凸包描述。作为这一结果的特殊情况下，我们得到理想的凸性问题的层次，多重共线性，稀疏约束。此外，我们还给出了一个简短的证明，对于一个可分离的目标函数，透视重构是理想的独立于问题的约束。我们的计算实验与回归问题的层次约束下的真实数据集证明了所提出的方法在提高松弛质量，而没有显着的计算开销的潜力。
2021-06-16 cs.LG math.OC
Parallel and Distributed Successive Convex Approximation Methods for Big-Data Optimization
近年来，人们对大规模系统的并行和分布式最优化方法产生了浓厚的兴趣。特别是非凸大规模最优化问题在许多工程领域有着广泛的应用。这种复杂的大规模系统的设计和分析提出了一些挑战，并要求开发新的最优化模型和算法。本文的主要贡献是提出了一个通用的，统一的，算法框架，连续凸逼近（SCA）技术的基础上，并行和分布式解决方案的一般类的非凸约束（不可分离的，网络）的问题。所提出的框架统一和概括了现有的几种SCA方法，使他们呼吁并行/分布式实现，同时提供了一个灵活的选择函数逼近，步长时间表，和控制的计算/通信效率。本文是根据作者之一在CIME暑期学校集中式和分布式多智能体最优化模型和算法，在Cetraro，意大利，2014年6月23日至27日举行的讲座。这些讲座是：I）连续凸逼近方法：基础; II）并行连续凸逼近方法;和III）分布式连续凸逼近方法。
2018-05-17 cs.DC math.OC
Subgradient Regularized Multivariate Convex Regression at Scale
本文针对大规模次梯度正则化多元凸回归问题，提出基于对偶二次规划的有效集算法，结合近似子问题优化和随机增广规则，实现了对 $n=10^5$、$d=10$ 规模实例的分钟级求解。
2023-12-05 math.OC stat.CO stat.ML
Sparse Approximate Solutions to Max-Plus Equations with Application to Multivariate Convex Regression
National Technical University of Athens（雅典国家技术大学）；University of Pennsylvania（宾夕法尼亚大学）
在这项工作中，我们研究的问题，找到近似，最小支撑集，解决矩阵最大-加方程，我们称之为稀疏近似解。我们展示了如何可以有效地获得这样的解决方案，并在多项式时间的任何$\ell_p$近似误差。基于这些结果，我们提出了一种新的方法，凸多元函数的分段线性拟合，最优性保证的模型参数和近似最小数量的仿射区域。
2020-12-21 cs.LG math.OC math.RA
PIANO: A Fast Parallel Iterative Algorithm for Multinomial and Sparse Multinomial Logistic Regression
多项逻辑斯谛回归是一种被广泛研究的分类工具，并且已经广泛用于图像处理、计算机视觉和生物信息学等领域。在监督分类场景下，多项逻辑斯谛回归模型通过优化似然目标来学习权重向量以区分任何两个类别。随着大数据时代的到来，数据的泛滥导致了权向量的高维化，也导致了大量的类，这使得经典的模型估计方法在计算上变得不可行。针对这一问题，本文提出了一种并行迭代算法：多元逻辑斯谛回归并行迭代算法（PIANO）。该算法基于优化最小化过程，能够并行更新权向量的每个元素。此外，我们还表明，PIANO可以很容易地扩展到解决稀疏多项式逻辑斯谛回归问题-一个广泛研究的问题，因为它有吸引力的特征选择属性。特别地，我们将PIANO扩展到求解具有l1和l0正则化的稀疏多项逻辑斯谛回归问题。我们还证明了PIANO收敛到多项式和稀疏多项式逻辑斯谛回归问题的一个平稳点。仿真结果表明，该算法在收敛速度上优于现有方法。
2020-02-21 cs.LG math.OC stat.ML
Maximin Optimization for Binary Regression
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们考虑二进制权重的回归问题。这种优化问题在量化学习模型和数字通信系统中普遍存在。一种自然的方法是使用梯度上升下降法的变体来优化相应的拉格朗日量。即使在凹凸情况下，这样的极大极小技术仍然知之甚少。非凸二元约束可能导致虚假的局部极小值。有趣的是，我们证明了这种方法在低噪声条件下的线性回归以及具有少量离群值的鲁棒回归中是最优的。在实际应用中，该方法在具有交叉熵损失的回归和非凸多层神经网络中也有很好的效果。总之，我们的方法突出了鞍点优化学习约束模型的潜力。
2020-11-28 cs.LG math.OC stat.ML
On the Computation and Communication Complexity of Parallel SGD with Dynamic Batch Sizes for Stochastic Non-Convex Optimization
Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）公司）
对于基于SGD的分布式随机最优化，计算复杂度和通信复杂度是两个最重要的性能度量，计算复杂度由随机梯度调用的数量方面的收敛速度来测量，通信复杂度由节点间通信循环的数量来测量。SGD在$N$工作者上的经典数据并行实现可以实现其收敛速度的线性加速，但在每批处理时会引起节点间通信轮。我们研究的好处，使用动态增加批量的并行SGD随机非凸优化的特点达到的收敛速度和所需的通信轮数。我们证明了对于P-L条件下的随机非凸优化问题，批规模呈指数增长的经典数据并行SGD算法仅使用$\log(T)$通信轮就能以线性加速比实现已知的最快$O(1/(NT))$收敛.对于一般的随机非凸优化问题，我们提出了一个类似催化剂的算法，该算法仅用$O(\sqrt{NT}\log(\frac{T}{N}))$通信轮就能实现已知最快的$O(1/\sqrt{NT})$收敛。
2019-05-10 cs.LG math.OC
Nonparametric instrumental regression with non-convex constraints
University of Toulouse, Toulouse Business School and Toulouse School of Economics（图卢兹大学、图卢兹商学院和图卢兹经济学院）
针对内生解释变量问题，本文提出使用Tikhonov正则化结合工具变量估计非参数约束回归函数，并在非凸约束下推导了收敛速度。
2012-09-03 cs.NA math.NA math.OC
Proximal DCA for Fréchet Regression on Riemannian Manifolds with Bounded Curvature
Rice University（莱斯大学）
针对有界截面曲率的完备黎曼流形上的带符号 Fréchet 回归问题，提出基于黎曼近端 DC 算法的 FRIDA 方法，并证明解的存在性、迭代收敛性及复杂度。
2026-05-21 math.GT math.OC
Convex Optimization for Parallel Energy Minimization
INRIA（法国国家信息与自动化研究所）；Instituto de Ingeniería del Conocimiento（知识工程研究所）；Universidad Autónoma de Madrid（马德里自治大学）；Massachusetts Institute of Technology（麻省理工学院）
能量最小化一直是计算机视觉研究的核心问题。随着图像尺寸（2D和3D）的增长，现在非常期望并行地运行能量最小化算法。但现有的许多算法，特别是一些有效的组合算法，很难并行化。通过利用凸和次模理论的结果，我们重新制定的二次能量最小化问题作为一个总变分去噪的问题，这，当被视为几何，使使用基于投影和反射的凸方法。由此产生的min-cut算法（和代码）在概念上非常简单，并且解决了一系列TV去噪问题。我们进行了广泛的实证评估比较国家的最先进的组合算法和凸优化技术。在小问题上，迭代凸方法与组合最大流算法相匹配，而在较大的问题上，它们提供了其他灵活性和重要的收益：（a）它们的内存占用很小;（b）它们的直接并行性适合多核平台;（c）它们可以很容易地热启动;（d）它们可以快速达到近似好的解决方案，从而实现更快的“不精确”解决方案。我们的方法基于子模块性和凸性的一个关键后果是，它允许将任何任意的组合或凸方法作为子程序，这使得人们可以获得混合组合和凸优化算法，受益于两者的优势。
2015-03-05 cs.CV math.OC
Solving Equations of Random Convex Functions via Anchored Regression
我们考虑的问题，估计一个方程组的解决方案，涉及凸非线性，一个问题，这是常见的机器学习和信号处理。由于这些非线性，传统的估计经验风险最小化的基础上，一般涉及解决非凸优化程序。我们提出了锚定回归，一种新的方法，基于凸规划，相当于最大化一个线性功能（也许增加了正则化）在一个凸集。所提出的凸规划是在问题的自然空间中制定的，并且避免了辅助变量的引入，使其在计算上有利。在本机空间中工作还提供了很大的灵活性，因为结构先验（例如，稀疏性）可以被无缝地结合。对于我们的分析，我们将方程建模为根据概率定律从固定集合中绘制。我们的主要结果提供了保证的估计的准确性，我们正在解决的方程的数量，存在的噪声量，随机方程的统计复杂性的措施，和真正的解决方案的正则化几何。我们还提供了直接从观测数据构建锚向量（确定要最大化的线性泛函）的方法。
2018-08-13 cs.IT cs.LG math.IT
Learning Feature Nonlinearities with Non-Convex Regularized Binned Regression
The Voleon Group；University of California, Riverside（加州大学河滨分校）
对于各种应用，因变量和自变量之间的关系是高度非线性的。因此，对于大规模的复杂问题，神经网络和回归树通常优于线性模型，如Lasso。这项工作提出了学习特征的非线性分箱特征值，并找到最适合在每个分位数使用非凸正则线性回归。该算法首先捕获相邻分位数之间的依赖性，通过分段常数/线性近似强制平滑，然后选择一个稀疏子集的好功能。我们证明了该算法是统计和计算效率。特别是，它实现了线性收敛速度，同时需要接近最小数量的样本。对合成数据集和真实数据集的评估表明，该算法与当前最先进的算法相比具有竞争力，并且能够准确地学习特征非线性。最后，我们探讨了一个有趣的连接之间的分仓阶段，我们的算法和稀疏约翰逊-林登施特劳斯矩阵。
2017-05-20 cs.IT cs.LG math.IT
A Note On Nonlinear Regression Under L2 Loss
本文研究 L2 损失下的非线性回归问题，针对传统模型非凸优化的缺陷，证明传统最小二乘问题存在凸非线性回归模型，为设计更易训练的复杂系统提供了新途径。
2023-03-30 cs.LG cs.NA math.NA
Spectrahedral Regression
凸回归是将凸函数拟合到由输入输出对组成的数据集的问题。我们提出了一种新的方法来解决这个问题，称为spectrahedral回归，在其中，我们适合的spectrahedral函数的数据，即一个函数，这是一个仿射矩阵的输入表达式的最大特征值。这种方法代表了多面体（也称为最大仿射）回归的重要推广，其中多面体函数（固定数量的仿射函数的最大值）适合数据。通过统计风险分析，我们证明了谱面体函数逼近任意凸函数的能力。我们还分析了一个交替最小化算法的非凸优化问题的最佳光谱面函数拟合到一个给定的数据集。我们表明，该算法几何收敛的最佳参数给定一个良好的初始化的一个小球周围的高概率。最后，我们证明了我们的方法的实用性与实验的合成数据集以及实际数据中出现的应用，如经济和工程设计。
2021-10-27 math.OC math.ST stat.ML
PolyAR: A Highly Parallelizable Solver For Polynomial Inequality Constraints Using Convex Abstraction Refinement
约束求解的数值工具是控制验证问题的基石。这是显而易见的，过多的研究，使用工具，如线性和凸规划的设计控制系统。然而，线性和凸规划的能力是有限的，不足以推理一般的非线性多项式约束，自然出现在非线性系统的设计。这种限制要求新的求解器，能够利用线性和凸规划的权力，一般多元多项式的原因。在本文中，我们提出了PolyAR，一个高度并行化的求解多项式不等式约束。PolyAR提供了几个关键贡献。首先，它使用凸松弛的问题，以加速的过程中找到一个解决方案的非凸多元多项式的集合。其次，它利用了一个迭代凸抽象细化过程，其目的是修剪搜索空间，并确定区域的凸松弛未能解决的问题。第三，它允许高度并行使用现成的求解器来分析凸松弛未能提供解决方案的区域。我们比较了PolyAR与Z3 8.9和Yices 2.6在控制设计问题上的可扩展性。最后，我们展示了PolyAR在设计连续时间线性切换系统的切换信号上的性能。
2021-01-12 cs.SY eess.SY math.OC
Convex block-sparse linear regression with expanders -- provably
稀疏矩阵是机器学习和优化的研究对象。当使用这样的矩阵时，代替密集矩阵，优化中的总体复杂性要求在实践中可以在空间和运行时间方面显著降低。基于这一观察，我们研究了一个凸优化方案，用于从线性测量中恢复块稀疏。为了获得线性草图，我们使用扩展矩阵，即，稀疏矩阵，每列仅包含少数非零值。然而，据我们所知，这种算法的解决方案只从非凸的角度进行了研究。我们的目的是在理论上描述这种设置下的凸方法的性能。我们的主要新颖之处是恢复错误的表达在基于模型的规范，同时确保解决方案的生活在模型中。为了实现这一点，我们证明了基于模型的稀疏矩阵满足零空间属性的群版本。我们在合成和实际应用中的实验结果支持我们在凸设置中更快恢复的主张-而不是使用密集的传感矩阵，同时显示出有竞争力的恢复性能。
2016-04-03 cs.IT math.IT math.OC
Jensen: An Easily-Extensible C++ Toolkit for Production-Level Machine Learning and Convex Optimization
Microsoft Corporation（微软公司）；University of California, Davis（加州大学戴维斯分校）
本文介绍了Jensen，这是一个易于扩展和可扩展的生产级机器学习和凸优化工具包。Jensen实现了凸（或损失）函数、凸优化算法（包括梯度下降、L-BFGS、随机梯度下降、共轭梯度等）的框架，以及一系列机器学习分类器和回归器（逻辑回归、SVM、最小二乘回归等）。该框架使得使用几行代码部署和训练模型成为可能，并且还通过集成新的损失函数和优化算法来扩展和构建模型。
2018-07-17 cs.LG math.OC stat.ML
Lower Bounds for Parallel and Randomized Convex Optimization
UC Berkeley（加州大学伯克利分校）；Pontificia Universidad Católica de Chile（智利天主教大学）；Millennium Nucleus Center for the Discovery of Structures in Complex Data（千年复杂数据结构发现核心中心）
本文研究了在局部预言机计算模型下，可行集探索中的并行化是否可以用来加速凸优化的问题。我们表明，答案是否定的确定性和随机算法适用于基本上任何有趣的几何形状和非光滑，弱光滑，或光滑的目标函数。特别是，我们表明，它是不可能获得一个polylogarithmic（在顺序复杂的问题）的并行轮数与多项式（在维度）每轮查询数。在大多数这些设置和当空间的维数是多项式的逆目标精度，我们下界匹配的顺序凸优化的预言复杂性，最多的对数因子的维度，这使得他们（几乎）紧。在此之前，我们的工作，并行凸优化算法的下界只知道在本文中考虑的设置的一小部分，主要适用于欧几里德（$\ell_2$）和$\ell_\infty$空间。本文的工作为并行凸优化的下界证明提供了一种更一般的方法。
2019-06-19 cs.DS cs.LG math.OC
Sparse Quantile Huber Regression for Efficient and Robust Estimation
我们考虑新的配方和稀疏分位数回归在高维设置的方法。分位数回归在许多应用中起着重要作用，包括基因选择中的异常值稳健探索性分析。此外，考虑到分位数回归中的稀疏性，在给定预测变量的情况下，可以探索响应变量的整个条件分布，因此可以更全面地了解重要的预测变量。我们提出了一个广义的OMP算法的变量选择，以失配损失是传统的分位数损失或光滑的版本，我们称之为分位数Huber，并比较所得的贪婪方法与凸稀疏正则化的配方。我们应用最近提出的内点方法来有效地解决所有凸公式以及凸子问题的广义OMP设置，提供- vide一致估计的理论保证，并证明我们的方法使用模拟和基因组数据集的实证研究的性能。
2014-02-19 cs.DS math.OC stat.ME
Efficient, Anytime Algorithms for Calibration with Isotonic Regression under Strictly Convex Losses
我们调查的校准估计，以提高性能的最佳单调变换的估计输出。我们首先研究了传统的平方误差设置及其加权变量，并表明最佳单调变换是一个独特的阶梯函数的形式。我们进一步表明，这种阶梯行为保持一般严格凸损失函数。它们的最佳单调变换也是唯一的，即，存在实现最小损耗的单个阶梯变换。我们提出了一个线性的时间和空间算法，可以找到这样的最佳转换为特定的损失设置。我们的算法有一个在线实现，其中到目前为止观察到的样本的最佳变换是在线性空间和摊销时间中找到的，当样本以有序的方式到达时。我们还扩展我们的结果的情况下，功能是不平凡的单独优化，并提出了一个随时算法，它具有线性空间和伪线性时间复杂度。
2021-10-31 cs.CC cs.LG math.OC
Asynchronous parallel primal-dual block coordinate update methods for affinely constrained convex programs
近几年来，由于许多现代应用中涉及的超大数据以及多核机器和计算机集群的发展，异步（异步）并行计算方法激增。在优化问题中，大多数关于并行算法的工作都是针对无约束问题或具有块可分约束的问题。本文提出了一种基于块坐标更新（BCU）的求解具有不可分线性约束的凸问题的并行算法。该方法在单节点上运行，成为一种新的具有自适应步长的随机原始-对偶BCU算法。对于这些问题，Gauss-Seidel循环原始-对偶BCU需要强凸性才具有收敛性。相反，仅假设凸性，我们表明，所提出的算法产生的目标值序列的概率收敛到最优值和约束残差为零。此外，我们建立了遍历$O(1/k)$收敛结果，其中$k$是迭代次数。数值实验表明，该方法的有效性和显着优于同步并行的性能。
2019-10-15 cs.DC cs.NA math.NA
Complexity of Highly Parallel Non-Smooth Convex Optimization
Microsoft Research（微软研究院）；Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
非光滑凸优化的一个里程碑式的结果是，梯度下降是一个最优算法，只要计算的梯度的数量小于尺寸$d$。在本文中，我们研究的扩展，这一结果的并行优化设置。也就是说，我们认为优化算法与一个高度并行的梯度预言机，这是一个可以回答$\mathrm{poly}(d)$梯度查询并行。我们表明，在这种情况下，梯度下降是最佳的，只有$\tilde{O}(\sqrt{d})$轮的互动与甲骨文。下界改进了Nemirovski的几十年前的构造，该构造仅证明了$d^{1/3}$轮的最优性（如最近由Rumanski和Singer观察到的），并且Duchi，Bartlett和Wainwright已经观察到$\sqrt{d}$轮之后梯度下降的次优性。在后一种制度，我们提出了一种新的方法，提高了复杂性，我们推测是最佳的。这种新方法的分析是基于最近的结果的最佳加速高度光滑凸优化的推广版本。
2021-01-14 cs.DS cs.LG math.OC
Parallel Stochastic Optimization Framework for Large-Scale Non-Convex Stochastic Problems
在本文中，我们考虑随机优化的问题，其中的目标函数是在期望的（可能是非凸的）成本函数，是参数化的随机变量。虽然收敛速度对于许多新兴应用是至关重要的，但大多数现有的随机优化方法收敛缓慢。此外，并行计算的新兴技术已经激发了越来越多的需求，设计新的随机优化方案，可以处理并行优化在分布式系统中的实施。我们提出了一个快速并行随机优化框架，可以解决一大类可能的非凸随机优化问题，可能会出现在多智能体系统的应用程序。在所提出的方法中，每个代理更新其控制变量并行，通过独立地解决凸二次子问题。所提出的方法的最优解的凸问题和一般的非凸问题的稳定点的收敛性。该算法可用于解决机器学习和无线网络等领域的重要应用中出现的大量优化问题。作为我们提出的随机优化框架的一个代表性应用，我们专注于大规模支持向量机，并演示了我们的算法如何有效地解决这个问题，特别是在具有巨大数据集的现代应用中。使用流行的现实世界的数据集，我们提出的实验结果，以证明我们提出的框架的优点，通过比较其性能的最先进的文献。数值结果表明，该方法在具有相同或更低的复杂度和存储需求的同时，在收敛速度上明显优于现有方法.
2019-10-22 cs.IT math.IT math.OC
Geometric descent method for convex composite minimization
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
在本文中，我们推广了Bubeck，Lee和Singh最近提出的几何下降法来处理非光滑和强凸组合问题。我们证明了我们提出的算法，被称为几何邻近梯度法（GeoPG），收敛的线性速率$(1-1/\sqrtκ)$，从而达到最佳的速度之间的一阶方法，其中$κ$是条件数的问题。线性回归和逻辑斯谛回归与弹性网络正则化的数值结果表明，GeoPG优于Nesterov的加速近端梯度法，特别是当问题是病态的。
2017-05-30 cs.LG math.OC stat.ML
Shape-Constrained Regression using Sum of Squares Polynomials
我们提出了一个层次的半定程序（SDPs）的问题拟合的形状约束（多元）多项式的噪声评价一个未知的形状约束函数。这些形状约束包括凸性或单调性的框。我们表明，多项式函数是最佳的任何固定水平，我们的层次结构形成一致的估计的基本形状约束的功能。作为证明的副产品，我们建立了平方和凸多项式是稠密的多项式是凸的一个任意框。对单调多项式建立了一个类似的平方和型密度结果。此外，我们分类的复杂性，凸和单调的多项式回归的多项式回归的次数的函数。虽然我们的结果显示了这些问题在三度或更大程度上的NP-硬度，但我们可以通过数值检验我们基于SDP的回归器通常在层次结构的低级别上实现类似的训练错误。最后，在计算方面，我们提出了一个经验比较我们的基于SDP的凸回归与凸最小二乘估计在[Hildreth，1954]和[Holloway，1979]，并表明我们的回归是有价值的设置中的数据点的数量是大的，尺寸是相对较小的。我们证明了我们的回归计算最优输运地图的颜色转移任务的问题，估计一个圆锥规划的最优值函数的性能。后一个问题的库存管理合同谈判的实时应用。
2022-10-28 cs.CC math.OC math.ST
Smoothed Online Optimization for Regression and Control
Caltech（加州理工学院）
我们认为在线凸优化（OCO）的设置中的成本是$m$ -强凸和在线学习者支付切换成本的轮之间改变决定。我们发现，最近提出的在线平衡下降（OBD）算法是恒定的竞争力，在这种设置中，与竞争比$3 + O(1/m)$，无论周围的尺寸。此外，我们表明，当成本函数的序列是$ε$ -光滑，OBD具有接近最佳的动态遗憾，并保持较强的每轮精度。我们证明了我们的方法的一般性，通过显示OBD框架可用于构建各种在线学习和控制问题的竞争算法，包括岭回归，逻辑回归，最大似然估计和LQR控制的在线变体。
2019-04-04 cs.DS cs.LG math.OC
