Distributed Convex Second-Order Optimization for AC/DC Hybrid Distribution Systems within PROcess Orchestration Framework
Andlinger Center for Energy and the Environment, Princeton University（普林斯顿大学安格林格能源与环境中心）；Institute for Automation and Applied Informatics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院自动化与应用信息学研究所）；Automatic Control Laboratory, EPFL（瑞士联邦理工学院洛桑分校自动控制实验室）；Institute for Transport Planning and Systems at ETH Zurich（苏黎世联邦理工学院交通规划与系统研究所）；College of New Energy, China University of Petroleum (East China)（中国石油大学（华东）新能源学院）；Shandong Engineering Research Center of Power Electronic Technology in Power Systems（山东省电力系统电力电子技术工程研究中心）
针对交直流混合配电网，提出基于凸ALADIN的二阶分布式优化方法，实现局部二次收敛，并利用PROcess Orchestration框架自动化执行，数值验证有效。
2026-09-15 cs.SY eess.SY math.OC
Universal subgradient and proximal bundle methods for convex and strongly convex hybrid composite optimization
FGV/EMAp（巴西圣保罗基金会应用数学学院）；Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI) and Department of Computer Science, University of Rochester（罗切斯特大学戈根数据科学与人工智能研究所及计算机系）；School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院工业与系统工程学院）
本文提出两种通用方法，用于解决凸和强凸混合复合优化问题，无需参数且无需最优值知识，具有高效的复杂度界。
2025-11-20 math.OC
Convex Computation of the Reachable Set for Hybrid Systems with Parametric Uncertainty
University of Michigan（密歇根大学）；University of California at Berkeley（加州大学伯克利分校）
本文提出一种凸优化方法，用于高效计算具有参数不确定性的多项式混合动力系统在安全到达用户定义目标集下的可达集。通过occupation measures将轨迹演化转化为线性方程，利用半正定规划层级逼近以减少保守性。
2016-01-05 cs.SY eess.SY math.OC
Convex Chance-Constrained Stochastic Control under Uncertain Specifications with Application to Learning-Based Hybrid Powertrain Control
Toyota Central R&D Labs., Inc.（丰田中央研发实验室）；Graduate School of Informatics, Kyoto University（京都大学信息科学研究生院）
本文提出了一种严格凸机会约束随机控制方法，用于处理控制规范中的不确定性，并通过混合动力传动系统验证了其有效性。
2026-10-14 cs.LG cs.SY eess.SY
Online Optimization of Switched LTI Systems Using Continuous-Time and Hybrid Accelerated Gradient Flows
本文研究了控制线性时不变切换动力系统的反馈控制器设计问题，使系统趋向于时变凸优化问题的解轨道。我们提出了两种类型的控制器：（i）一个连续的控制器的启发，在线梯度下降法，和（ii）一个混合控制器，可以被解释为一个在线版本的Nesterov的加速梯度法与重新启动的状态变量。通过设计，控制器连续地将系统转向时变优化器，而不需要影响系统的外部干扰的知识。对于光滑的费用函数和满足Polyak-Jasojasiewicz不等式，证明了当系统和控制器的时间尺度充分分离且系统的切换信号平均变化缓慢时，在线梯度流控制器可保证一致全局指数稳定.对于强凸的费用函数，我们证明了混合加速控制器优于连续梯度下降法。当费用函数不是强凸时，我们证明了混合加速方法保证了全局实用渐近稳定性。
2022-02-19 cs.SY eess.SY math.OC
Hierarchical Convex Optimization by the Hybrid Steepest Descent Method with Proximal Splitting Operators -- Enhancements of SVM and Lasso
现代邻近分裂方法的突破性思想使我们能够将多个非光滑凸函数叠加的所有极小元的集合表示为可计算非扩张算子的不动点集。在本文中，我们提出了实用的算法策略的分层凸优化问题，需要进一步的战略选择的最理想的向量从标准的凸优化的解决方案。所提出的算法是通过将混合最速下降法应用于通过邻近分裂艺术设计的特殊非扩张算子而建立的。我们还提出了应用所提出的策略，以某些未开发的层次增强的支持向量机和Lasso估计。
2022-06-30 math.OC
Proximal bundle methods for hybrid weakly convex composite optimization problems
University of Rochester（罗切斯特大学）；Georgia Institute of Technology（佐治亚理工学院）
本文通过统一的近邻束框架研究了混合弱凸复合优化问题的迭代复杂度，提出易于验证的站稳性度量替代传统难以检查的站稳条件。
2026-10-19 math.OC
Energy Management in Plug-in Hybrid Electric Vehicles: Convex Optimization Algorithms for Model Predictive Control
本文详细研究了用于求解具有非线性损失的混合动力电动汽车能量管理模型预测控制的最优化问题的凸公式的算法的计算性能。提出了一种投影内点法，通过将不等式约束作为投影应用于控制输入，减小了牛顿步矩阵求逆的规模和复杂度，并通过与乘子交替方向法（ADMM）算法和通用凸优化软件CVX的仿真比较，验证了投影内点法的性能.据发现，ADMM算法具有良好的性能时，需要一个解决方案，具有适度的精度，而投影内点方法是有利的，当需要高精度，并且都是显着快于CVX。
2019-09-01 math.OC
Cooperative Localization in WSNs: a Hybrid Convex/non-Convex Solution
我们提出了一个有效的解决方案，对等定位在无线传感器网络，工作在两个阶段。在第一阶段的优化问题是放松到一个凸问题，在最近提出的形式由苏亚雷斯，泽维尔和戈麦斯。的凸问题是有效地解决了分布式的方式由ADMM的方法，它提供了一个显着的改善速度相对于原始的解决方案。在第二阶段中，软过渡到原来的，非凸的，非放松的配方是以这样的方式施加到迫使解决方案朝向局部最小值。该算法是内置的这样一种方式是完全分布式的，它是在有意义的情况下进行测试，显示其有效的定位精度和收敛速度，以及其内部的鲁棒性。
2016-04-11 cs.NI math.OC
On the convergence of stochastic primal-dual hybrid gradient
在本文中，我们分析了最近提出的随机原始-对偶混合梯度（SPDHG）算法，并提供了新的理论结果。特别地，我们证明了几乎必然收敛的迭代到一个解决方案的凸性和线性收敛进一步的结构，使用标准的步长独立于强凸性或其他正则常数。在一般凸情况下，我们还证明了在期望的原始-对偶间隙函数上遍历序列的$\mathcal{O}(1/k)$收敛速度。我们的假设线性收敛是度量次正则性，这是满足强凸-强凹的问题，除了许多非光滑和/或非强凸的问题，如线性规划，Lasso，和支持向量机。我们还提供了数值证据表明，SPDHG与标准步长显示出竞争力的实际性能，其专门的强凸变体SPDHG- $μ$和其他国家的最先进的算法，包括方差减少方法。
2022-06-21 math.OC
Optimal Control of Hybrid Systems via Measure Relaxations
本文提出基于凸集图与占据测度松弛的分段多项式混合系统轨迹优化方法，可高效求得全局成本下界，并在时序逻辑轨迹规划中显著快于混合整数方法。
2025-07-25 cs.SY eess.SY math.OC
Integrated supervisory control and fixed path speed trajectory generation for hybrid electric ships via convex optimization
针对混合动力船舶运行剖面未知导致传统控制性能受限的问题，提出集成轨迹生成与电源监控的GNC方法，通过变量变换和约束松弛将非凸规划转化为凸问题，并经模型尺度船舶数值验证。
2023-07-12 math.OC
Hybrid Methods in Solving Alternating-Current Optimal Power Flows
电力系统中的许多稳态问题，包括交流模型（ACOPF）中的最优潮流的矩形功率-电压公式，都可以转化为多项式优化问题（POP）。对于一个POP，我们可以导出强凸松弛，或者更确切地说，更强，但更大的松弛层次。研究了从求解凸松弛到求解非凸拉格朗日的牛顿法的转换方法。
2016-11-01 math.OC
A unified analysis of a class of proximal bundle methods for solving hybrid convex composite optimization problems
提出了一种基于一般束更新方案的求解混合凸复合优化（HCCO）问题的近似束（PB）框架，建立了PB框架中任一变体的迭代复杂度上界，并首次在HCCO背景下统一地给出了基于不同束更新方案的3种PB变体的迭代复杂度上界.虽然PB变体中的两个是通用的（即，它们的实现不需要与HCCO实例相关联的参数），另一个新提出的（据作者所知）不是HCCO实例，但具有生成简单的（即一次切割的）捆绑模型的优点。本文还提出了一个通用的自适应PB变体（这不一定是一个框架的实例）的基础上一切模型，并表明其迭代复杂度是相同的上述两个通用PB变体。
2023-03-27 math.OC
Optimal Control for Nonlinear Hybrid Systems via Convex Relaxations
本文研究了在满足状态依赖约束条件下，轨道在不同子系统之间转换的混杂系统的最优控制。虽然这类系统是有用的，而各种物理系统进行接触建模，其最优控制的数值方法的建设已被证明是具有挑战性的，由于组合性质的状态相关切换和开关过程中出现的潜在的不连续性。本文构造了一个基于凸松弛的方法来解决这个最优控制问题。我们的方法首先制定的问题，在放松控制的空间，从而产生一个线性规划，其解决方案被证明是计算全局最优控制器。通过构造一系列半定规划来解决这个概念规划，这些半定规划的解被证明是从下面收敛到原最优控制问题的真解。最后，一种方法来综合的最优控制器。使用一系列的例子，所提出的方法的性能进行了验证与已知的解决方案的问题，也比较商业求解器。
2018-03-19 math.OC
Computing Augustin Information via Hybrid Geodesically Convex Optimization
针对任意正阶 Augustin 信息计算，本文提出 Poincaré 度量下的黎曼梯度下降算法，并借助混合测地凸与测地光滑分析给出 O(1/T) 非渐近收敛保证。
2024-05-09 cs.IT math.IT math.OC
Hybrid Block Successive Approximation for One-Sided Non-Convex Min-Max Problems: Algorithms and Applications
最小-最大问题，也称为鞍点问题，是一类同时最小化和最大化两个变量子集的最优化问题。这类问题可用于制定广泛的信号处理和通信（SPCOM）问题。尽管它的流行，大多数现有的理论，这类主要是发展了一些特殊的凹凸结构的问题。因此，它不能用来指导算法设计的许多有趣的问题，在SPCOM中，各种各样的非凸性出现。在这项工作中，我们考虑了一个块明智的单侧非凸极小极大问题，其中的最小化问题由多个块，是非凸的，而最大化问题是（强）凹。我们提出了一类简单的算法混合块逐次逼近（HiBSA），交替执行梯度下降型步骤的最小化块和梯度上升型步骤的最大化问题。该算法的一个关键因素是使用一定的正则化和惩罚序列，稳定算法，并确保收敛。我们表明，HiBSA收敛到一些适当定义的一阶固定的解决方案，可量化的全球利率。为了验证所提出的算法的效率，我们进行了一些问题的数值测试，包括鲁棒学习问题，非凸最小效用最大化问题，并在干扰信道中出现的某些无线干扰问题。
2021-03-16 math.OC stat.ML
Parameter-free proximal bundle methods with adaptive stepsizes for hybrid convex composite optimization problems
School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院工业与系统工程学院）
针对混合凸复合优化问题，提出一种无参数自适应近端束方法，通过自适应可变近端步长和严重步判定准则减少连续空步与迭代次数，并对初始步长保持稳健。
2026-11-11 math.OC
Fejér-monotone hybrid steepest descent method for affinely constrained and composite convex minimization tasks
本文介绍了Fejér-单调混合最速下降算法（FM-HSDM），它是HSDM算法族的一个新成员，用于求解实希尔伯特空间中的仿射约束极小化问题，其中凸光滑和非光滑损失构成目标函数. FM-HSDM提供的序列的估计收敛弱，并在一定的假设下，强烈的解决方案的任务。不动点理论，变分不等式和仿射非扩张映射被用来设计一个计划，以适应仿射约束在一个更通用的方式比国家的最先进的原始-对偶技术和交替方向法的乘数做。可以调整递归以获得低计算占用，非常适合大规模优化任务，而不会影响收敛保证。与HSDM的前体相比，FM-HSDM具有Fejér单调性，步长参数在迭代过程中保持不变，以促进估计序列收敛到最小值，而仅需要光滑损失函数的导数的利普希茨连续性而不是强单调性来确保收敛。文中还给出了收敛到最优点的收敛速率的结果。
2018-04-10 math.OC
A Difference-of-Convex Programming Approach With Parallel Branch-and-Bound For Sentence Compression Via A Hybrid Extractive Model
Shanghai Jiao Tong University（上海交通大学）；Shanghai University of Engineering Science（上海工程技术大学）
句子压缩是自然语言处理中的一个重要问题，在文本摘要、搜索引擎、人机交互系统等方面有着广泛的应用。本文设计了一种结合概率语言模型和解析树语言模型的混合抽取式句子压缩模型，在保证压缩结果语法正确性的前提下，对句子进行压缩。我们的压缩模型被制定为一个整数线性规划问题，它可以被重写为一个基于精确罚技术的凸差分（DC）规划问题。我们使用一个著名的高效DC算法- DCA处理局部最优解的惩罚问题。然后，一个混合全局优化算法结合DCA与并行分支定界框架，即PDCABB，用于寻找全局最优解。数值实验结果表明，本文提出的句子压缩模型能够提供良好的F值压缩效果，表明PDCABB算法是一种很有前途的句子压缩模型求解算法.
2021-02-14 cs.AI math.OC
Low-Thrust Trajectory Optimization with Quantum Computing and Sequential Convex Programming
Politecnico di Milano（米兰理工大学）
本文提出基于量子计算的序列凸规划框架quSCP，在地球-火星低推力转移任务中验证其性能，显示量子与混合量子-经典优化可为轨道设计提供有竞争力的方案。
2026-09-02 math.OC
A Hybrid Variance-Reduced Method for Decentralized Stochastic Non-Convex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
本文考虑$n$节点网络上的分散随机最优化问题，其中每个节点具有光滑的非凸局部费用函数，网络节点的目标是找到局部代价之和的$ε$精确一阶平稳点.我们专注于在线设置，每个节点访问其本地成本仅通过随机一阶预言机，返回一个嘈杂的版本的确切梯度。在这种情况下，我们提出了一种新的单循环分散混合方差减少随机梯度法，称为GT-HSGD，优于现有的方法，在甲骨文的复杂性和实际实现。GT-HSGD算法实现了专门的局部混合随机梯度估计器，这些估计器在网络上融合以跟踪全局梯度。值得注意的是，GT-HSGD实现了$O(n^{-1}ε^{-3})$的网络拓扑无关的预言复杂性时，所需的容错$ε$是足够小的，导致相对于集中式最佳在线方差减少的方法，在一个单一的节点上操作的线性加速。数值实验来说明我们的主要技术成果。
2021-06-14 cs.DC cs.LG cs.MA
A hybrid proximal generalized conditional gradient method and application to total variation parameter learning
本文提出了一种新的方法来求解涉及两个正常的、凸的、下连续函数之和的最优化问题，其中一个函数具有Lipschitz连续梯度。所提出的方法具有混合性质，结合了通常的向前向后和广义条件梯度法。我们建立了一个收敛速度$o(k^{-1/3})$在温和的假设下，一个特定的步长规则，并显示了应用程序的全变差参数学习问题，这表明它的好处，在非光滑凸优化的背景下。
2022-11-02 math.OC
An ADMM Algorithm for MPC-based Energy Management in Hybrid Electric Vehicles with Nonlinear Losses
在本文中，我们提出了一个凸配方的模型预测控制（MPC）优化的能量管理的混合动力电动汽车，和一个交替方向法的乘法器（ADMM）算法的解决方案。我们开发了一个新的证明的凸性的问题，允许非线性动力学建模为线性系，然后证明ADMM的性能相比，动态规划（DP）通过仿真。结果表明，高达两个数量级的改善，解决方案的时间可比精度对DP。
2019-01-23 math.OC
Modeling and Control of Deep Sign-Definite Dynamics with Application to Hybrid Powertrain Control
Graduate School of Informatics, Kyoto University（京都大学信息科学研究生院）
研究复杂系统深度模型的可靠控制问题，引入符号约束，给出完全可线性化深度动力学的结构条件与参数化，将模型预测控制转化为凸二次规划或凸松弛，应用于三容水箱和混合动力总成，提升外推性能与控制输入平滑性。
2026-07-17 cs.LG cs.SY eess.SY
The peak heat flux conjecture for the first Dirichlet eigenmode of convex planar domains
Yale University（耶鲁大学）；University of Chicago（芝加哥大学）；Indian Institute of Technology Bombay（孟买印度理工学院）；Flatiron Institute（平研究所）
本文研究了与长时极限峰值边界热流相关的无量纲量，通过凸域的分析证明了第一狄利克雷本征函数的法向导数上限与本征值的关系，并利用层势推导了形状导数公式，结合高阶Nyström离散化方法优化了该量。
2026-03-17 cs.NA math.AP math.NA
The Stochastic Fejér-Monotone Hybrid Steepest Descent Method and the Hierarchical RLS
本文介绍了随机Fejér-monotone混合最速下降方法（S-FM-HSDM），用于求解带约束的复合凸极小化问题。最小化任务并不确切知道;噪声污染了关于复合损失函数和仿射约束的信息。S-FM-HSDM生成随机变量序列，在某些条件下，相对于概率空间，逐点收敛到无噪声最小化任务的解。S-FM-HSDM具有优化技术的理想属性，例如变量的分裂和恒定的步长（学习率）。此外，它提供了一种新的方式来利用信息的仿射约束通过适当的非扩张映射的不动点集。在S-FM-HSDM的后代中，分层递归最小二乘（HRLS）利用S-FM-HSDM对仿射约束的多功能性，并通过生成收敛到分层优化任务的解决方案的估计序列来提供对LS的新扭曲：最小化集合LS损失的最小化的凸损失。稀疏感知LS任务的数值测试表明，HRLS相比有利的几个国家的最先进的凸，以及非凸，随机近似和在线学习的同行。
2019-03-16 math.OC
A Constrained Convex Optimization Approach to Hyperspectral Image Restoration with Hybrid Spatio-Spectral Regularization
提出了一种新的高光谱图像复原的约束优化方法。大多数现有的方法通过求解一些优化问题来恢复期望的HS图像，该优化问题由正则化项和数据保真度项组成。这些方法必须在一个目标函数中同时处理正则化项和数据保真度项，因此我们需要仔细控制平衡这些项的超参数。然而，这样的超参数的设置往往是一个麻烦的任务，因为它们的合适的值强烈依赖于所采用的正则化项和给定观测的噪声强度。我们提出的方法被配制成一个凸优化问题，在那里我们利用一种新的混合正则化技术命名为混合空间谱全变差（HSSTV），并将数据保真度作为硬约束。HSSTV具有很强的噪声和伪影去除能力，同时避免了过度平滑和频谱失真，而无需结合其他正则化，如基于低秩模型的正则化。此外，约束类型的数据保真度使我们能够将在正则化和数据保真度之间平衡的超参数转换为可以以更容易的方式设置的数据保真度的上限。我们还开发了一个有效的算法的交替方向的乘法器（ADMM）的基础上，有效地解决优化问题。通过综合实验，我们说明了所提出的方法比各种HS图像恢复方法，包括国家的最先进的优势。
2020-09-08 eess.SP math.OC
Strong Formulations for Hybrid System Control
本文提出混合系统控制问题的强混合整数二次规划公式，通过新有效割刻画凸包并推广至多模式情形，显著降低计算成本，在合成实例和混合动力汽车能量管理中验证有效性。
2024-12-16 math.OC
A socio-physics based hybrid metaheuristic for solving complex non-convex constrained optimization problems
Institute of Artificial Intelligence, MIT World Peace University（MIT世界和平大学人工智能研究所）；Artificial Intelligence Research Institute, University of Veracruz（韦拉克鲁斯大学人工智能研究所）
迄今为止，已经开发了几种基于人工智能的启发式和元启发式算法。这些算法在解决不同领域的复杂问题时显示出了其优越性。然而，有必要严格验证这些算法解决现实世界的约束最优化问题。这些问题的搜索行为是不同的，因为它涉及大量的线性，非线性和非凸型等式和不等式约束。在这项工作中，57现实世界的约束最优化问题测试套件解决了两个约束元启发式算法起源于基于社会的队列智能（CI）算法。第一种基于CI的算法结合了自适应罚函数方法，即，CI-SAPF。第二种算法将CI-SAPF与基于物理的碰撞体优化（CBO）的内在属性相结合，称为CI-SAPF-CBO。将CI-SAPF和CI-SAPF-CBO算法的结果与其他约束优化算法进行了比较。所提出的算法的优越性进行了详细讨论，然后由未来的发展方向的约束处理技术。
2022-09-02 cs.AI cs.NE math.OC
Stochastic Primal-Dual Hybrid Gradient Algorithm with Arbitrary Sampling and Imaging Applications
CMAP, Ecole Polytechnique, CNRS（应用数学中心，巴黎综合理工学院，法国国家科学研究中心）；Department for Applied Mathematics and Theoretical Physics, University of Cambridge（应用数学与理论物理系，剑桥大学）；Visual Computing Center & Extreme Computing Research Center, KAUST（视觉计算中心与极端计算研究中心，阿卜杜拉国王科技大学）；School of Mathematics, University of Edinburgh（数学学院，爱丁堡大学）；The Alan Turing Institute（阿兰·图灵研究所）
我们提出了Chambolle和Pock在2011年研究的原始-对偶混合梯度算法的随机扩展，以解决对偶变量中可分离的鞍点问题。对一般的凸凹鞍点问题和部分光滑/强凸或完全光滑/强凸问题进行了分析。我们对对偶变量的任意抽样进行了分析，并作为特例得到了已知的确定性结果。我们的随机方法的几个变种显着优于各种成像任务的确定性的变体。
2018-04-10 cs.CV cs.NA math.NA
Hybrid Jacobian and Gauss-Seidel proximal block coordinate update methods for linearly constrained convex programming
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出混合雅可比和高斯-塞德尔块坐标更新方法，用于解决线性约束多块结构凸规划问题，通过选择合适的仿射混合矩阵实现理论收敛性，并在数值上优于随机对偶块坐标更新方法。
2018-01-03 cs.NA math.NA math.OC
Least-Squares Linear Dilation-Erosion Regressor Trained using a Convex-Concave Procedure
University of Campinas（坎皮纳斯大学）
本文提出了一种用于回归任务的混合形态神经网络，称为线性膨胀-侵蚀回归器（$\ell$ -DER）。一个$\ell$ -DER是由线性和形态算子的组合的凸组合。它们产生连续的分段线性函数，因此是通用的逼近器。除了介绍$\ell$ -DER模型，我们制定了他们的培训作为一个差异的凸（DC）规划问题。准确地说，$\ell$ -DER是通过使用凹凸过程（CCP）最小化最小二乘来训练的。使用几个回归任务的计算实验证实了所提出的回归器的功效，优于其他混合形态模型和最先进的方法，如多层感知器网络和径向基支持向量回归器。
2022-09-06 cs.AI cs.LG math.OC
A low-rank augmented Lagrangian method for large-scale semidefinite programming based on a hybrid convex-nonconvex approach
本文提出HALLaR，一种用于大规模半定规划的低秩增广拉格朗日方法，结合混合低秩技术，在多个实例上以更短时间获得更高精度解。
2024-03-16 cs.NA math.NA math.OC
Efficient Service Differentiation and Energy Management in Hybrid WiFi/LiFi Networks
本研究针对混合WiFi/LiFi网络，提出结合深度学习预测与凸优化的算法，通过mATRIC实时选片并优化预编码向量，在满足时延等约束下实现服务区分与能量效率提升，经仿真验证有效。
2025-03-20 math.OC
Robust Hybrid Zero-Order Optimization Algorithms with Acceleration via Averaging in Time
研究了求解实时最优化问题的鲁棒零级算法。特别是，我们提出了一个家庭的极值寻求动力学，可以普遍建模为奇摄动混合动力系统与重新启动机制。从这个家庭的动力学，我们合成四个快速算法的解决方案凸，强凸，约束和无约束最优化问题。在每种情况下，我们建立强大的半全球实际渐近或指数稳定性的结果，我们展示了如何获得良好的离散算法，保留原始动态的主要属性。鉴于现有的平均定理奇异摄动混合动力系统不直接适用于我们的设置，我们推导出一个新的平均定理，放宽了文献中的一些假设，使我们能够明确的KL界之间的联系，表征混合动力学的收敛速度和平均动态。我们还表明，我们的研究结果是适用于非混合算法，从而提供了一个一般的框架，加速动力学平均理论的基础上。我们提出了不同的数值例子来说明我们的结果。
2020-12-15 math.OC
Partition-based Feasible Integer Solution Pre-computation for Hybrid Model Predictive Control
针对多参数混合整数凸规划问题，如混合模型预测控制中遇到的问题，我们提出了一种算法，用于生成参数空间的一个子集的可行分区。结果是从当前参数到次优整数解的静态映射，使得剩余的凸规划是可行的。收敛性证明了一个新的见解，每个整数解的可行参数集之间的重叠支配分区的复杂性。分区存储为树，这使得查询可行解高效。该算法可用于热启动一个混合整数求解器的实时保证，或提供一个参考整数解决方案，在几个次优MPC计划。该算法是测试随机生成的系统多达六个状态，证明了该方法的有效性。
2019-02-28 math.OC
Range and Bearing Data Fusion for Precise Convex Network Localization
特别是随着多模式通信系统的出现，使用测量的距离和角度在GNSS挑战的环境中进行混合定位变得越来越流行。在这里，我们解决的混合网络定位问题，使用范围和轴承，共同确定的代理数量的位置，通过一个单一的最大似然（ML）优化问题，无缝融合所有可用的成对范围和角度测量。我们提出了一个紧凸代理ML估计，我们检查实际措施的放松的准确性，我们全面的模拟其行为的特征。我们发现，我们的放松优于一个数量级的本地化误差方面的最先进的SDP放松的状态，并服从更轻量级的解决方案算法。
2021-10-01 cs.IT eess.SP math.IT
Stochastic Compositional Optimization via Hybrid Momentum Frank--Wolfe
Machine Learning and Optimization Laboratory (MLO)（机器学习与优化实验室）
本文提出混合动量随机Frank-Wolfe算法，无需假设外层函数F的光滑性，结合动量Jacobian追踪器与泰勒修正函数追踪器，实现非凸目标函数的O(K^{-1/4})收敛率。
2026-10-12 cs.LG math.OC
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework
Syracuse University（雪城大学）；Northeastern University（东北大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
在这项工作中，我们专注于研究随机零阶（ZO）优化，不需要一阶梯度信息，只使用功能评估。ZO优化的问题已经出现在许多最近的机器学习应用中，其中目标函数的梯度不可用或难以计算。在这种情况下，我们可以通过基于函数值的梯度估计来近似全梯度或随机梯度。在这里，我们提出了一种新的混合梯度估计器（HGE），它利用了随机梯度估计的查询效率以及坐标方向梯度估计的方差减少。我们表明，在协调重要性抽样的优雅设计，建议HGE为基础的ZO优化方法是有效的，无论是在迭代复杂度以及功能查询成本。我们提供了一个彻底的理论分析，我们提出的方法的收敛性非凸，凸，强凸优化。我们表明，我们得到的收敛速度推广了一些突出的现有方法在非凸的情况下的结果，并匹配凸的情况下的最佳结果。我们还证实了一个现实世界的黑盒攻击生成应用程序的理论，以证明我们的方法比国家的最先进的ZO优化方法的经验优势。
2020-12-21 cs.LG math.OC stat.ML
Hybrid Conditional Gradient - Smoothing Algorithms with Applications to Sparse and Low Rank Regularization
École Centrale Paris（巴黎中央理工学院）；KU Leuven（鲁汶大学）
研究了求解有界集上多项复合凸优化问题的混合条件梯度光滑算法。这些例子包括正则化问题与几个规范作为惩罚和规范约束。HCGS将条件梯度法扩展到具有多个非光滑项的情况，其中标准条件梯度法可能难以应用。HCGS算法借用了平滑邻近方法的技术，需要一阶计算（次梯度和邻近运算）。与近似方法不同，HCGS受益于条件梯度法的优点，这使得它在某些大规模最优化问题上更有效。我们证明了这些优势与模拟上的两个矩阵最优化问题：正则化的矩阵结合$\ell_1$和迹范数罚款;和稀疏PCA的凸松弛。
2014-04-15 cs.LG math.OC stat.ML
Hybrid Stochastic Gradient Descent Algorithms for Stochastic Nonconvex Optimization
我们引入一个混合随机估计器来设计求解随机最优化问题的随机梯度算法。这样的混合估计是两个现有的有偏和无偏估计的凸组合，并导致其方差的一些有用的性质。我们限制我们的考虑到一个混合SARAH-SGD的非凸期望问题。然而，我们的想法可以扩展到处理更广泛的一类估计在凸和非凸设置。我们提出了一个新的单循环随机梯度下降算法，可以实现$O(\max\{σ^3\varepsilon^{-1},σ\varepsilon^{-3}\})$ -复杂性界获得$\varepsilon$ -平稳点光滑和$σ^2$ -有界的方差假设。这种复杂性优于$O(σ^2\varepsilon^{-4})$，当$σ< O(\varepsilon^{-3})$。我们还考虑了我们的方法的不同扩展，包括单循环，双循环和小批量变量的恒定和自适应步长。我们比较我们的算法与现有的方法在几个数据集上使用两个非凸模型。
2019-05-15 math.OC stat.ML
optHIM: Hybrid Iterative Methods for Continuous Optimization in PyTorch
本文提出开源库 optHIM，利用 PyTorch autograd 将函数、梯度与 Hessian 信息集成到线搜索和信赖域方法中，并通过基准测试评估十一种变体，以透明可扩展框架促进优化研究。
2025-05-07 cs.MS math.OC
Weighted iteration complexity of the sPADMM on the KKT residuals for convex composite optimization
本文针对凸复合最优化问题，建立了基于sPADMM（半邻近交替方向法）的KKT残差的$\mathcal{O}({1}/{k})$加权迭代复杂度.这个结果，这是来自一个新的广义HPE（混合近端额外梯度）迭代公式的帮助下，第一次填补了一个大的步长和它的许多近端变量的经典ADMM的遍历迭代复杂性的空白。
2016-11-10 math.OC
A Hybrid-Order Distributed SGD Method for Non-Convex Optimization to Balance Communication Overhead, Computational Complexity, and Convergence Rate
Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM））；Nokia Bell Labs（诺基亚贝尔实验室）；Sharif University of Technology（谢里夫理工大学）
本文提出了一种分布式随机梯度下降（SGD）算法，该算法通信量小，计算复杂性低，收敛速度快。为了减少通信负载，在算法的每次迭代中，工作节点计算并传送一些缩放器，这些缩放器是一些\emph{pre-shared directions}中的样本函数的方向导数。然而，为了保持准确性，在每一个特定的迭代次数之后，它们都会传递随机梯度的向量。为了降低每次迭代中的计算复杂性，工作节点通过仅执行两个函数评估而不是计算一阶梯度向量来用零阶随机梯度估计来近似方向导数。所提出的方法大大提高了零阶方法的收敛速度，保证了逐阶更快的收敛。此外，与著名的通信有效的方法模型平均（执行局部模型更新和定期通信的梯度同步的局部模型）相比，我们证明了，对于一般类的非凸随机问题和合理的参数选择，所提出的方法保证了相同的顺序的通信负载和收敛速度，同时具有顺序较少的计算复杂性。在神经网络应用中的各种学习问题的实验结果表明，所提出的方法相比，各种国家的最先进的分布式SGD方法的有效性。
2020-03-27 cs.DC cs.IT cs.LG
Learning Lyapunov Functions for Hybrid Systems
我们提出了一种基于采样的方法来学习一类离散时间自治混合系统，允许混合整数表示的李雅普诺夫函数。此类系统包括自治分段仿射系统、具有模型预测控制器的线性系统的闭环动力学、具有ReLU神经网络控制器的反馈中的分段仿射/线性互补/混合逻辑动力系统等。所提出的方法包括学习器和验证器之间的交替，以在Lyapunov函数候选者的凸集内找到有效的Lyapunov函数。在每次迭代中，学习器使用状态样本的集合，通过参数空间中的凸规划来选择李雅普诺夫函数候选。然后，验证器在状态空间中求解混合整数二次规划，以验证所提出的李雅普诺夫函数候选，或者用反例拒绝它，即，李雅普诺夫条件失效的状态。然后，将该反例添加到学习器的样本集，以细化李雅普诺夫函数候选集。通过根据凸优化的解析中心割平面法设计学习器和验证器，我们证明了当李雅普诺夫函数集在参数空间中是全维时，我们的方法在有限步内找到了李雅普诺夫函数.我们证明了我们的稳定性分析方法的闭环MPC动力系统和ReLU神经网络控制PWA系统。
2020-12-22 math.OC
Exponentially Converging Distributed Gradient Descent with Intermittent Communication via Hybrid Methods
我们提出了一个混合系统框架多代理优化，代理执行计算在连续的时间和离散的时间进行通信。优化算法是并行坐标下降的混合版本。代理实现一个采样和保持策略，其中梯度在通信时间计算，并在通信之间的流期间保持恒定。建立了这些混合动力学下的最大解的完备性。在光滑性和强凸性的假设下，我们证明了该系统指数收敛于目标函数的极小值。仿真结果说明了这种收敛速度。
2021-09-30 math.OC
Hybrid Random/Deterministic Parallel Algorithms for Nonconvex Big Data Optimization
针对可微非凸项与非光滑凸项之和的大规模优化，提出混合随机/确定性并行块分解算法，并证明其几乎必然收敛且性能优于两类单一方案。
2014-09-02 cs.DC math.OC
Beyond Pure Sampling: Hybrid Optimization Mechanisms for Non-Convex Model Predictive Control
School of Aerospace Engineering, Georgia Institute of Technology, Atlanta, GA, USA（航空航天工程学院，佐治亚理工学院，美国亚特兰大，GA州）；Development Division, Komatsu Ltd., Tokyo, Japan（Komatsu Ltd.开发部门，日本东京）；Department of Electrical and Computer Engineering, Inha University, Incheon, Republic of Korea（电气与计算机工程系，inha大学，韩国仁川，大韩民国）
本文提出一种结合梯度下降与基于逆Hessian采样的双步优化机制，用于非凸模型预测控制，在多种机器人导航任务中相比纯采样方法（如MPPI）具有更高成功率和稳定性。
2026-05-30 cs.RO math.OC
