Accelerated iterative regularization via dual diagonal descent
提出加速迭代双重对角下降算法求解线性逆问题，分析惯性方法的收敛性与稳定性，并利用非精确近端演算证明早停最优收敛速率。
2019-12-27 math.OC
Strong asymptotic convergence of a slowly damped inertial primal-dual dynamical system controlled by a Tikhonov regularization term
本研究针对希尔伯特空间线性约束凸优化问题，提出带Tikhonov正则项的慢阻尼惯性原始-对偶动力系统，通过Lyapunov分析证明其轨迹强收敛至解集最小范数元并给出收敛速率，辅以数值实验验证理论。
2024-06-21 math.OC
New approximations for the cone of copositive matrices and its dual
给出了复正矩阵锥C及其对偶完全正矩阵锥C的收敛族。在这两种情况下，相应的层次结构由嵌套的光谱面体组成，并提供外部（分别为）内）近似C（分别）。”（《说文》）：“以其为先，以其为后，以其为后。外）逼近C（对于对偶）。特别是，内近似和外近似都有一个非常简单的解释。最后，推广到闭凸锥K的K-余正性和K-完全正性.
2012-01-19 math.OC
On the Regularization of Primal-Dual Dynamics in Time-Dependent Nonconvex Optimization
School of Science and Technology, IE University（IE大学科学与技术学院）；Department of Mechanical and Aerospace Engineering, University of California San Diego（加州大学圣地亚哥分校机械与航空航天工程系）
该研究针对时变非凸优化问题，分析原对偶动力学的正则化，提出相关方法并通过交通信号实验验证其效果。
2026-10-15 math.OC
Orlicz-space regularization for optimal transport and algorithms for quadratic regularization
我们研究连续的最优输运问题在所谓的Kantorovich形式，即给定两个紧集上的两个Radon测度，我们寻求一个最优输运计划，这是另一个Radon测度的产品的集合，有这两个措施作为边缘和最小化一定的费用函数。我们考虑正则化的问题与所谓的杨氏函数，这迫使最优输运计划是一个功能，而不是在相应的Orlicz空间的Radon措施。我们推导出了前对偶问题，并证明了正则化问题的强对偶性和原解的存在性。对于$p\geq2$的$L^p$正则化的特殊情况，将证明（预）对偶解的存在性。然后，我们推导出四个算法来解决二次正则化问题的对偶问题：循环投影方法，对偶梯度下降，一个简单的不动点方法，和Nesterov的加速梯度，所有这些都有一个非常低的每次迭代的成本。
2019-09-13 math.OC
$ρ$-regularization subproblems: Strong duality and an eigensolver-based algorithm
信赖域（TR）型方法是求解无约束极小化问题最成功的方法之一，它基于二次模型，如信赖域子问题（TRS）和$ p $ -正则化子问题（$p$ RS）.本文研究了一般正则化子问题（称为$ ρ$ RS），它将TRS和$p$ RS作为特例.在正则化项的一般假设下，我们得到了$ ρ$ RS的强对偶定理及其最优性的充要最优性条件。然后，我们定义的Rendl-Wolkowicz（RW）对偶问题的$ ρ$ RS，这是一个最大化的问题，其目标函数是凹的，可微的，除了可能在两个点。值得指出的是，我们的定义是基于另一种推导的RW-对偶问题的TRS。然后，我们提出了一个基于特征值求解器的算法来解决$ ρ$ RS的RW-对偶问题。该算法通过每次迭代寻找某个矩阵的最小特征值及其单位特征向量来实现。最后，我们提出了随机生成的$p$ RS的数值结果，并结合TRS和$p$ RS的一类新的正则化问题，以说明我们的算法。
2021-09-04 math.OC
Model Consistency of the Iterative Regularization of Dual Ascent for Low-Complexity Regularization
本文证明在低复杂度正则化下，迭代正则化在噪声足够小且停止准则适当时具有模型一致性，并展示其局部线性行为，辅以数值模拟验证。
2025-08-07 math.OC
All roads lead to Rome: Path-following Augmented Lagrangian Methods via Bregman Proximal Regularization
Proxima Fusion GmbH（Proxima Fusion有限公司）
本文提出了一种基于Bregman近端正则化的增广拉格朗日方法，用于解决凸凸-复合优化问题，并推导了外循环的快速收敛速率及联合复杂度界。
2026-02-17 math.OC
A General Mixed-Order Primal-Dual Dynamical System with Tikhonov Regularization
针对带线性等式约束的凸优化问题，提出带Tikhonov正则化的通用混合阶原始-对偶动力系统，分析其收敛性质与速率，证明轨迹强收敛性并通过数值实验验证理论结果。
2025-07-30 math.OC
Capacity-Constrained Wasserstein Barycenters: Existence, Duality, and Entropic Regularization
本文提出容量约束的Wasserstein重心问题，证明其存在性与强对偶，并引入熵正则化，获得唯一解及容量截断吉布斯公式，且正则化解收敛至最小熵解。
2026-09-17 math.OC
Column Partition based Distributed Algorithms for Coupled Convex Sparse Optimization: Dual and Exact Regularization Approaches
针对一类大规模凸稀疏最优化问题，提出了基于列划分的分布式算法，基追踪（BP）、LASSO、基追踪去噪（BPDN）及其扩展，例如，融合了LASSO。我们特别感兴趣的情况下，（标量）决策变量的数量远远大于（标量）测量的数量，每个代理有有限的内存或计算能力，使它只知道一个测量矩阵的列数很少。所考虑的这些问题是紧密耦合的，并且不能使用列划分将其公式化为可分离的凸规划。为了克服这一困难，我们考虑他们的对偶问题是可分离的或局部耦合。一旦得到一个对偶解，在适当的正则化条件下，可以从相应的正则化BP类问题的对偶中找到原解。广泛的现有的分布式计划可以用来解决所获得的双重问题。这产生两个阶段的列分区为基础的分布式计划LASSO和BPDN的问题，这些计划的整体收敛性建立使用灵敏度分析技术。数值结果表明了所提出格式的有效性。
2020-03-17 math.OC
On Solution Uniqueness and Robust Recovery for Sparse Regularization with a Gauge: from Dual Point of View
本文从对偶视角研究带规范函数的稀疏正则化，利用径向锥刻画唯一解，并建立孤立平静性、尖锐解及线性速率鲁棒恢复的条件。
2024-05-09 math.OC
Regularization for Wasserstein Distributionally Robust Optimization
最优输运最近已被证明是在需要比较概率测度的各种机器学习应用中的有用工具。其中，分布鲁棒优化的应用自然会在其不确定性模型中涉及Wasserstein距离，捕获数据偏移或最坏情况。受最优输运中Wasserstein距离正则化成功的启发，本文研究了Wasserstein分布鲁棒优化的正则化问题。首先，我们得到了正则化Wasserstein分布鲁棒问题的一般强对偶结果。其次，我们改进了这个对偶结果的熵正则化的情况下，并提供了一个近似结果时，正则化参数消失。
2023-03-23 math.OC
Tikhonov regularization of second-order plus first-order primal-dual dynamical systems for separable convex optimization
Chongqing Technology and Business University（重庆工商大学）；Sunway University（双威大学）
本文提出Tikhonov正则化的二阶加一阶原始-对偶动力系统，用于可分离凸优化，通过Lyapunov分析证明收敛性并数值验证优于现有方法。
2025-03-14 math.OC
Entropic regularization of continuous optimal transport problems
我们分析连续的最优输运问题，在所谓的康托洛维奇形式，在那里我们寻求一个运输计划之间的两个边缘是欧几里得空间的紧凑子集的概率测度。我们考虑正则化的情况下与负熵的勒贝格测度，这引起了人们的注意，因为它可以解决非常简单的Sinkhorn算法。我们首先分析了正则化问题的经典Fenchel对偶的背景下，并得出一个强的对偶结果的前对偶问题的空间中的连续函数。然而，这个问题可能不允许最小化，这阻止获得原始-对偶最优性条件。然后，我们表明，原始的问题是自然分析的Orlicz空间中的功能与有限熵的意义上说，熵正则化的问题承认一个最小的当且仅当边缘有有限的熵。然后，我们在相应的对偶空间中导出一个对偶问题，对于这个对偶问题，可以用纯变分的方法证明其存在性，并导出原始对偶最优性条件。对于边缘不具有有限熵，我们最终显示伽玛收敛的正则化问题与平滑边缘的原始Kantorovich问题。
2020-06-15 math.OC
Tikhonov regularized inertial primal-dual dynamics for convex-concave bilinear saddle point problems
针对凸-凹双线性鞍点问题，提出含慢阻尼、外推和时间尺度参数的 Tikhonov 正则化二阶原始-对偶动力系统，并依据正则化参数消失速度建立收敛率与最小范数解强收敛性。
2024-09-09 math.OC
Fast convergence rates and trajectory convergence of a Tikhonov regularized inertial primal\mbox{-}dual dynamical system with time scaling and vanishing damping
本文提出一种带有时间缩放和消失阻尼的Tikhonov正则化惯性原对偶动力系统求解Hilbert空间线性约束凸优化问题，证明了基于重缩放正则化参数衰减速度的快速收敛速率及轨迹强弱收敛性，并通过数值实验验证理论。
2024-04-23 math.OC
On the Convergence Rates of Iterative Regularization Algorithms for Composite Bi-Level Optimization
针对内外层均为复合结构的双层优化，论文分析 IRE-PG 及其加速版本的内外层同步收敛速率，并提出基于代理函数的近端算子处理与速率转换框架。
2025-10-04 math.OC
Weak optimal transport with moment constraints: constraint qualification, dual attainment and entropic regularization
本文研究了弱最优传输问题中矩约束的资格条件、对偶解的存在性及熵正则化方法，通过数值实验验证了理论结果。
2026-01-06 math.OC
Fast convergence of dynamical systems with implicit Hessian damping and Tikhonov regularization
本文针对线性等式约束凸优化问题，提出带隐式Hessian阻尼的原始-对偶动力系统以消除振荡并实现快速收敛，并结合Tikhonov正则化证明轨迹强收敛到最小范数解，数值实验验证了理论结果。
2025-08-23 math.OC
A primal-dual fixed-point algorithm for minimization of the sum of three convex separable functions
图像处理和信号恢复中的许多问题都可以归结为三个凸可分函数之和的最小化问题。通常，目标函数包括具有Lipschitz连续梯度的光滑函数、线性复合非光滑函数和非光滑函数。在本文中，我们提出了一个原始-对偶不动点（PDFP）计划来解决上述问题。当非光滑函数可以通过其邻近算子（如$\ell_1$型正则化）求解时，该算法是一种完全分裂的对称格式，只涉及显式梯度算子和线性算子，不需要内迭代.我们研究了该算法的收敛性，并通过融合LASSO和图像恢复与非负约束和稀疏正则化的例子来说明它的效率。
2015-12-31 math.OC
Distributed Prediction-Correction ADMM for Time-Varying Convex Optimization
本文提出基于预测-校正框架的对偶正则化ADMM，用于分布式时变凸优化，并通过数值实验证明其在渐近误差和一致性约束违反方面优于非精确梯度法和精确对偶分解方法。
2020-11-17 math.OC
Lagrange Multipliers, (Exact) Regularization and Error Bounds for Monotone Variational Inequalities
我们研究单调变分不等式的两个中心正则化策略，第一个是操作单调映射的直接正则化，第二个是通过相关的对偶间隙函数的正则化。这些不同的正则化问题的解集之间的关系的一个关键环节是精确正则化的思想，这反过来又从根本上与正则化变分不等式的拉格朗日乘子的存在性相关。如果正则化问题的解是非正则化问题的解，并且所有参数都超过某个值，则称正则化是精确的。另一方面，对应于变分不等式的特定正则化的拉格朗日乘子通过对偶间隙函数来定义。我们的分析提出了各种概念，迭代正则化的数值方案，我们提供误差界，因此停止标准，在额外的假设下，解决方案集的非正则化问题是我们所谓的弱尖锐的顺序大于一。
2015-11-02 math.OC
Explicit Regularization of Stochastic Gradient Methods through Duality
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们考虑随机梯度法下的插值制度，可以得到一个完美的拟合（在每个观察的最小损失）。虽然以前的工作突出了这种算法的隐式正则化，我们认为显式正则化框架作为一个最小Bregman散度凸可行性问题。利用凸对偶，我们提出了基于随机对偶坐标上升的随机Dykstra式算法。对于非加速坐标下降，我们得到了一个算法，它具有很强的相似性（非平均）随机镜像下降的特定功能，因为它是等效的二次目标，和等价的早期迭代更一般的目标。它的好处是一个明确的收敛定理的最小范数的解决方案。对于加速坐标下降，我们得到了一个新的算法，具有更好的收敛性能比现有的随机梯度法的插值制度。这导致加速版本的感知器通用$\ell_p$规范正则化，我们在实验中说明。
2020-03-30 cs.LG math.OC
Primal and Dual Approximation Algorithms for Convex Vector Optimization Problems
给出了求解凸向量最优化问题的两种近似算法。这两种算法同时解决CVOP及其几何对偶问题。第一种算法是Benson外近似算法的扩展，第二种算法是Benson外近似算法的对偶变体，这两种算法都提供了（上、下）图像的内、外近似。在每次迭代中只需求解一个标量凸规划。我们允许目标函数和约束函数不一定是可微的，允许实心尖多面体序锥，并将近似与适当的ε-解概念联系起来。提供了数值例子。
2014-01-06 math.OC
Regularization parameter selection for low rank matrix recovery
低秩矩阵恢复是许多应用的热点，但它是一个NP难问题。处理这个问题的一个流行的方法是解决它的凸松弛，核范数正则化最小化问题（NRM），其中包括LASSO作为一个特殊情况。在向量情形下，给出了LASSO正则化参数的选择结果，如筛选规则等，提高了算法的效率。然而，对于矩阵情况下的NRM，没有相应的参数选择结果。在本文中，我们建立了一个新的规则来选择正则化参数的NRM的对偶理论的帮助下。该规则要求当期望解的秩不超过给定的常数时，正则化参数可以很容易地由NRM及其对偶问题的可行点来选择。特别地，我们将这一思想应用于最小二乘和Huber函数的NRM，并建立了正则化参数的计算公式。最后，我们报告了一些信号形状的数值结果，表明我们提出的规则有效地缩小了正则化参数的区间。
2019-09-16 math.OC
A Dual Approach to Constrained Markov Decision Processes with Entropy Regularization
University of California, Berkeley（加州大学伯克利分校）
本文研究了soft-max参数化下的熵正则化约束马尔可夫决策过程（CMDPs），提出了一种加速对偶下降方法，并证明其在最优性间隙和约束违反上均实现了 $\widetilde{\mathcal{O}}(1/T)$ 的全局收敛速率。
2023-04-07 cs.LG math.OC
A Limiting Analysis on Regularization of Singular SDP and its Implication to Infeasible Interior-point Algorithms
我们考虑半定规划的原始对偶对，并假设它们是不适定的，即，原始和对偶都是弱可行或弱不可行的。在这种情况下，强对偶可能会崩溃，原始对偶和对偶可能会有一个非零的对偶间隙。然而，有任意的小扰动的问题数据，使扰动的原始对偶对强可行，从而零的对偶差距。在本文中，我们进行了渐近分析的最优值的扰动驱动到零。具体地说，我们固定两个正定矩阵（典型的是单位矩阵），并将原、对偶的相关仿射空间向这两个正定矩阵的方向以不同的比例稍微移动，使得扰动问题具有内部可行解，并分析了当扰动降为零时，扰动问题的最优值的行为.我们的分析的一个关键特征是，没有进一步的假设，如紧凑性或约束规格。结果表明，扰动问题的最优值收敛于原问题的原始和对偶最优值之间的值。最后，分析导致我们的相对令人惊讶的后果，不可行的内点算法SDP生成一个序列收敛到一个数之间的原始和双最优值，即使在存在一个非零的对偶间隙。我们期望，这个属性可能是特别有用的解决混合整数SDP与不可行的内点方法。
2022-10-24 math.OC
Tikhonov regularized second-order plus first-order primal-dual dynamical systems with asymptotically vanishing damping for linear equality constrained convex optimization problems
本文提出Tikhonov正则化的二阶加一阶原始-对偶动力系统，用于线性等式约束凸优化，通过调节正则化参数实现快速收敛或强收敛到最小范数解，数值实验验证了有效性。
2024-04-21 math.OC
Decentralized Algorithms for Wasserstein Barycenters
本文从计算和统计两个方面研究离散概率测度的Wasserstein重心问题。统计重点是估计样本量的措施，必要的计算近似Fréchet平均值（重心）的概率分布与给定的精度。对于经验风险最小化方法，还研究了正则化的问题，并提出了一种新的正则化，与二次正则化相比，它有助于更好的复杂性界限。计算的重点是开发用于计算Wasserstein重心的算法：可以以分散方式执行的原始和对偶算法。对偶方法的动机是熵正则化Wasserstein距离及其导数的对偶公式化的封闭形式，而原始公式化仅在某些情况下具有封闭形式的表达，例如，Gaussian measures.此外，与返回熵正则化Wasserstein距离的梯度的原始预言机相比，可以以更便宜的价格计算返回熵正则化Wasserstein距离的对偶表示的梯度的对偶预言机。在这种情况下，双oracle调用的数量也将更少，即，原始神谕调用次数的平方根。这解释了一阶对偶方法在Wasserstein重心问题中的成功应用。
2021-10-25 math.OC
A Nonconvex Proximal Splitting Algorithm under Moreau-Yosida Regularization
我们解决高度非凸，非光滑的复合最优化问题，其目标包括一个Moreau-Yosida正则化项。经典的非凸邻近分裂算法，如非凸ADMM，对这样的问题类缺乏收敛性。为了克服这一困难，在这项工作中，我们考虑一个提升的Moreau-Yosida正则化模型的变体，并提出了一种新的多块原始对偶法，本质上稳定的双块。我们提供了一个全收敛分析，我们的算法，并确定各自的最优资格下，原始模型的平稳收敛。在数值上，我们证明了Moreau-Yosida正则化模型的相关性以及我们的算法在鲁棒回归以及联合特征选择和半监督学习上的效率。
2018-02-26 math.OC
Orlicz space regularization of continuous optimal transport problems
在这项工作中，我们分析正则化的最优输运问题，在所谓的Kantorovich形式，即给定两个Radon措施的两个紧集，目的是找到一个运输计划，这是另一个Radon措施的产品集，这两个措施作为边际和最小化的总和，一定的线性费用函数和正则化项。我们专注于正则化条款的杨函数（密度）的运输计划是集成对积测度。这迫使运输计划属于某个Orlicz空间。导出了预对偶问题，证明了正则化问题的强对偶性和原解的存在性。对于$p\geq 2$的$L^p$正则化的特殊情况，证明了（预）对偶解的存在性.此外，有两个结果关于$Γ$ -收敛的陈述：第一个是关注的边缘不在于适当的Orlicz空间和保证$Γ$ -收敛到原来的康托洛维奇问题，当平滑的边缘。第二个结果给出了正则化和离散化问题到非正则化连续问题的收敛性。
2021-09-08 math.OC
A regularization-patching dual quaternion optimization method for solving the hand-eye calibration problem
Hangzhou Dianzi University（杭州电子科技大学）；The Hong Kong Polytechnic University（香港理工大学）；City University of Hong Kong（香港城市大学）
手眼标定问题是机器人研究中的一个重要应用问题。基于对偶四元数向量的2-范数，提出了一种新的对偶四元数优化手眼标定方法。将对偶四元数优化问题分解为两个四元数优化子问题。第一个四元数优化子问题控制机器人手的旋转。通过特征值分解或奇异值分解可以有效地求解。如果第一四元数优化子问题的最优值为零，则系统在旋转方向上是无噪声的，即，存在一个“完美”的机器人手运动，它能精确地满足所有测试姿态的旋转。在这种情况下，我们应用正则化技术来解决第二子问题，以最小化平移的距离。另外，我们应用修补技术来解决第二个四元数优化子问题。然后求解第二个四元数优化子问题就转化为求解一个二次约束二次规划问题。这样，我们就对手眼标定问题的解集给出了完整的描述。这在手眼校准文献中是新的。数值结果也显示了所提出的方法的有效性。
2022-09-16 cs.RO math.OC
Effective dynamics of the Sinkhorn algorithm in the regime of low entropy regularization
Courant Institute School, New York University（纽约大学柯朗数学科学研究所）
研究小正则化参数下Sinkhorn算法的动力学行为，证明其迭代收敛到连续时间曲线，并刻画了极限动力学，表明算法可在O(τ^{-1})步内达到Õ(τ)对偶次优性。
2026-07-02 math.OC
Face reduction and the immobile indices approaches to regularization of linear Copositive Programming problems
本文研究了线性余正规划问题的正则化问题，将问题转化为一个等价的形式，其中Slater条件成立，强对偶性成立。我们在这里描述了两个正则化算法的基础上的概念，不动指标和理解的重要作用，这些指标在可行集的表征。这些算法相比，一些正规化程序开发的一个更一般的情况下，凸的问题，并根据面部减少的方法。我们表明，不动的指数为基础的方法结合的具体问题，使我们能够构建更明确和详细的正则化算法的线性Coppositive规划问题比那些已经提供。
2021-08-31 math.OC
Stochastic Primal-Dual Three Operator Splitting Algorithm with Extension to Equivariant Regularization-by-Denoising
School of Mathematics, University of Birmingham（伯明翰大学数学学院）；Department of Mathematical Sciences, University of Bath（巴斯大学数学科学系）；DAMTP, University of Cambridge（剑桥大学应用数学与理论物理系）
本文提出凸三复合优化的随机原始-对偶三算子分裂算法 TOS-SPDHG，证明 O(1/K) 遍历收敛率，并结合 RED 与等变扩展用于成像逆问题。
2025-03-15 cs.LG eess.IV math.OC
An Outer-approximation Guided Optimization Approach for Constrained Neural Network Inverse Problems
ExxonMobil Research and Engineering（埃克森美孚研究与工程公司）
讨论了一种外逼近引导的线性单元修正约束神经网络反问题的最优化方法。约束神经网络逆问题指的是一个最优化问题，用于找到给定训练神经网络的最佳输入值集合，以便在输入值存在约束的情况下产生预定义的期望输出。分析了具有修正激活单元的神经网络反问题的最优解的特点，并利用其特点提出了一种外逼近算法。所提出的外近似引导优化包括原始和对偶阶段。原始阶段将邻近曲率与邻近外近似相结合以加快该过程。对偶阶段识别并利用局部凸区域的结构来提高收敛到局部最优解的能力。最后通过计算实验验证了该算法相对于投影梯度法的优越性。
2020-02-24 cs.LG math.OC
Exploiting Strong Convexity from Data with Primal-Dual First-Order Algorithms
我们考虑了具有凸损失函数的线性预测的经验风险最小化问题。这类问题可以转化为凸-凹鞍点问题，因此非常适合于原始-对偶一阶算法。然而，原始对偶法通常需要显式强凸正则化以获得快速的线性收敛，并且所需的对偶邻近映射可能不允许封闭形式或有效解。在本文中，我们开发了批量和随机原始对偶法，可以利用强凸性的数据自适应，即使没有正则化，也能够实现线性收敛。我们还提出了自适应原始对偶法，不需要计算的对偶邻近映射，这是特别适合于逻辑斯谛回归的双自由的变种。
2017-03-07 math.OC stat.ML
Tikhonov-Regularized Second-Order Primal-Dual Dynamics for Convex-Concave Bilinear Saddle Point Problems
University of Electronic Science and Technology of China（电子科技大学）
本文提出一种通用的Tikhonov正则化二阶动力系统，用于解决凸-凹双曲正交问题，通过分析收敛性与数值实验验证了其有效性。
2026-08-28 math.DS math.OC
A dual Newton based preconditioned proximal point algorithm for exclusive lasso models
National University of Singapore（新加坡国立大学）；The Hong Kong Polytechnic University（香港理工大学）
排他lasso（也称为elitist lasso）正则化由于其在组稀疏性上的优越性能而最近变得流行。与在不同组之间强制变量竞争的组套索正则化相比，排他性套索正则化还强制每个组内的竞争。在本文中，我们提出了一个高效的双牛顿的预处理邻近点法（PPDNA），以解决机器学习模型涉及的唯一套索正则化。作为一个重要的组成部分，我们提供了一个严格的证明，推导出封闭形式的解决方案的加权排他性套索正则化的近端映射。此外，我们推导出相应的HS-雅可比矩阵的邻近映射，并分析其结构--这在PPA子问题的有效计算中起着至关重要的作用，通过应用半光滑牛顿方法在其对偶。在本文中的各种数值实验表明，所提出的PPDNA对其他国家的最先进的数值算法的优越性能。
2019-12-06 cs.LG math.OC
DualHash: Stochastic Primal-Dual Algorithms for W-Type Regularized Deep Hashing
School of Mathematical Sciences, Beihang University（北京航空航天大学数学科学学院）；School of Computer Science and Engineering, Sun Yat-Sen University（中山大学计算机科学与工程学院）
DualHash通过理论保证的随机对偶算法解决深度哈希中的收敛问题，提供O(ε⁻⁴)和O(ε⁻³)复杂度的高效哈希方法。
2026-11-11 cs.CV math.OC
Converging outer approximations to global attractors using semidefinite programming
本文提出一种基于半定规划层级的方法，通过Borel测度空间的无限维LP及其对偶的平方和收紧，生成多项式动力系统全局吸引子的收敛外逼近，方法简便且有收敛保证，经数值算例验证。
2023-10-04 math.DS math.OC
Duality and Error for Predictively Oriented Inference
Sandia National Laboratories（桑迪亚国家实验室）
本研究提出面向预测（PrO）推理的有限维对偶形式与近似PrO后验的有限样本超额预测风险界，通过示例验证其在模型误设定场景下的有效性。
2026-08-12 math.OC stat.ME
Quadratically regularized optimal transport
我们研究的问题，最优输运在所谓的Kantorovich形式，即给定两个Radon措施的两个紧集，我们寻求一个最优输运计划，这是另一个Radon措施的产品集，有这两个措施作为边际，并最小化一定的费用函数。我们考虑二次正则化的问题，这迫使最优输运计划是一个平方可积〔的〕，而不是一个氡措施。我们得到了对偶问题，并证明了正则化问题的强对偶性和原始解和对偶解的存在性。然后，我们推导出两个算法来解决正则化问题的对偶问题：高斯-赛德尔方法和半光滑拟牛顿法，并研究这两种方法的数值。我们的实验表明，即使是小的正则化参数的方法表现良好。二次正则化是令人感兴趣的，因为所得到的最优输运计划是稀疏的，即它们具有小的支持（这不是经常使用的熵正则化的情况，其中最优输运计划总是具有全度量）。
2019-09-09 cs.NA math.NA math.OC
Quantum optimal transport with convex regularization
本文研究了带凸正则化的非交换最优传输问题，通过引入非交换$(c,ψ)$-变换证明了平衡情形下Sinkhorn迭代的收敛性，并证明了非平衡问题向平衡问题的收敛性。
2025-06-26 math-ph math.MP math.OC
Semidefinite Outer Approximation of the Backward Reachable Set of Discrete-time Autonomous Polynomial Systems
本文提出利用半正定规划对离散时间自治多项式系统的逆向可达集进行半正定外近似，通过构造测度优化问题并求解得到逼近结果。
2018-07-26 cs.RO cs.SY eess.SY
A Dual Certificate Approach to Sparsity in Infinite-Width Shallow Neural Networks
Department of Applied Mathematics, University of Twente（应用数学系，特文特大学）
本文研究了无限宽度浅层ReLU神经网络的总变差正则化训练，通过双证理论证明了解的稀疏性，并分析了低噪声环境下稀疏性的持续性及正则化参数的影响。
2026-03-18 cs.AI math.OC
A Generalized Primal-Dual Correction Method for Saddle-Point Problems with a Nonlinear Coupling Operator
针对带非线性耦合算子的鞍点问题中传统原始-对偶方法受固定正则化因子限制的问题，提出可动态调整正则化因子的广义原始-对偶校正方法，达正则化因子理论下界与$O(1/t)$遍历收敛速率，数值结果验证理论。
2025-03-20 cs.NA math.NA math.OC
Iterative regularization for low complexity regularizers
迭代正则化利用优化算法的隐式偏差来正则化不适定问题。构建具有这种内置正则化机制的算法是反问题中的经典挑战，也是现代机器学习中的经典挑战，与显式正则化相比，它提供了算法分析的新视角和显式加速。在这项工作中，我们提出并研究了第一个迭代正则化过程，能够处理非光滑和非强凸泛函描述的偏差，在低复杂度正则化突出。我们的方法是基于一个原始对偶法，我们分析的收敛性和稳定性，即使在原问题是不可行的情况下。一般结果示出考虑稀疏恢复与$\ell_1$处罚的特殊情况。我们的理论结果的补充实验表明，我们的方法的计算效益。
2022-02-01 math.OC stat.ML
Exponential-Family Tensor Completion via Nonconvex Dual Total-Variation Regularization
Shaanxi Normal University（陕西师范大学）；RIKEN AIP（理化学研究所先进工业科学技术研究所）；University of Birmingham（伯明翰大学）；Systems Research Institute of Polish Academy of Science（波兰科学院系统研究所）
针对指数族噪声下的张量补全问题，提出基于变换L1函数的对偶全变差正则化方法，理论推导了恢复误差上界并证明其可逼近极小极大下界，实验验证了有效性。
2026-07-01 math.OC math.ST stat.ME
Regularization in Data-driven Predictive Control: A Convex Relaxation Perspective
University of California San Diego（加利福尼亚大学圣地亚哥分校）
本文通过凸松弛视角探讨数据驱动预测控制中正则化的作用，提出A-DDPC方法，通过迭代算法解决内层问题，实验表明其在减少偏差和方差误差方面优于现有方法。
2026-10-19 cs.SY eess.SY math.OC
A proof of the Caffarelli contraction theorem via entropic regularization
给出了Caffarelli压缩定理的一个新的证明，证明了将标准高斯测度传递到一致对数凹概率测度上的Brenier最优输运映射是Lipschitz.该证明结合了第二作者和Juillet最近对Lipschitz迁移映射的变分刻画和熵正则化最优输运（或薛定谔）问题对偶公式中优化器的凸性性质。
2019-04-12 math.FA math.OC math.PR
A Primal Dual Active Set Algorithm with Continuation for Compressed Sensing
压缩感知的成功本质上依赖于有效地找到欠定线性系统的近似稀疏解的能力。本文通过将原对偶有效集策略与延拓技术（在正则化参数上）相结合，提出了求解稀疏促进$\ell_1$ -正则化最小二乘问题的一种有效算法。在有效集策略中，我们首先从原始变量和对偶变量中确定有效集，然后通过在有效集上求解一个低维最小二乘问题来更新原始变量和对偶变量，这使得算法非常高效。连续化技术使算法全局收敛，在限制等距性（RIP）下具有可证明的全局收敛性。此外，我们采用两种替代方法，即，修正的差异原则和贝叶斯信息准则，选择正则化参数。数值实验表明，我们的算法是非常有竞争力的国家的最先进的算法在精度和效率。
2013-12-26 cs.IT math.IT math.OC
Relative Primal--Dual Gap Certificates for Operator-Composite Trust-Region Methods
George Mason University（乔治梅森大学）
针对算子复合信赖域方法，提出相对原始-对偶间隙证书，保证收敛性并给出复杂度界，通过半线性椭圆控制问题验证了方法的有效性。
2026-09-24 cs.NA math.AP math.NA
