Sparsity of Quadratically Regularized Optimal Transport: Scalar Case
Columbia University（哥伦比亚大学）
该研究首次精确描述了二次正则化最优传输问题在标量情况下的稀疏性，证明支撑收缩速率与ε^{1/3}相关，并分析了对偶势函数的性质。
2026-02-23 math.OC
Quadratically Regularized Optimal Transport: Existence and Multiplicity of Potentials
本文研究二次正则化最优传输中势函数的存在性与唯一性，证明一般成本下势函数存在，离散问题中势函数多重性与支撑集连通分量相关，连续问题中势函数唯一，并首次给出小正则化参数下最优支撑集稀疏性的理论保证。
2025-03-09 math.OC math.PR
Quadratically-Regularized Optimal Transport on Graphs
最优传输提供了一种将几何域上的点之间的距离提升为该域上的信号之间的距离的方法，该距离表示为概率分布。在图上，运输问题可以用来表达具有挑战性的任务，包括以最小的运输费用将供应与需求相匹配;在离散语言中，这些成为最小成本网络流问题。通常需要正则化来确保线性地面距离情况的唯一性并提高优化收敛性;最先进的技术在运输矩阵上采用熵正则化。在本文中，我们探讨了一个二次替代熵正则化的运输图。我们从理论上分析了二次正则化图传输的行为，描述了正则化如何影响小但非零正则化区域的流结构。我们进一步利用优雅的二阶结构在这个问题的对偶推导出一个易于实现的牛顿型优化算法。
2018-03-23 cs.NA math.NA math.OC
Sample Complexity of Quadratically Regularized Optimal Transport
针对最优传输的维度灾难问题，本文证明二次正则化最优传输（QOT）具有参数化样本复杂度，通过分析其耦合支撑集正则性并建立中心极限定理，解决了QOT因势不光滑被认为存在维度灾难的问题。
2025-11-12 math.AP math.OC math.PR
Quadratically regularized optimal transport
我们研究的问题，最优输运在所谓的Kantorovich形式，即给定两个Radon措施的两个紧集，我们寻求一个最优输运计划，这是另一个Radon措施的产品集，有这两个措施作为边际，并最小化一定的费用函数。我们考虑二次正则化的问题，这迫使最优输运计划是一个平方可积〔的〕，而不是一个氡措施。我们得到了对偶问题，并证明了正则化问题的强对偶性和原始解和对偶解的存在性。然后，我们推导出两个算法来解决正则化问题的对偶问题：高斯-赛德尔方法和半光滑拟牛顿法，并研究这两种方法的数值。我们的实验表明，即使是小的正则化参数的方法表现良好。二次正则化是令人感兴趣的，因为所得到的最优输运计划是稀疏的，即它们具有小的支持（这不是经常使用的熵正则化的情况，其中最优输运计划总是具有全度量）。
2019-09-09 cs.NA math.NA math.OC
A Distributed Accelerated Preconditioned ADMM for Solving Quadratically Regularized Optimal Transport on Bipartite Graphs
Sun Yat-sen University（中山大学）
针对二部图上二次正则化最优传输问题，提出分布式加速预条件ADMM（DAP-ADMM），实现全局收敛与非遍历O(1/k)界，并通过无求解器投影和自适应惩罚机制加速收敛。
2026-10-08 cs.DC math.OC
Monotonicity in Quadratically Regularized Linear Programs
针对二次正则化线性规划，研究正则化参数松弛时解支撑集的单调性，证明其等价于多面体的几何性质，验证低维最优传输问题成立但高维不成立，并将几何视角应用于Erdős问题。
2025-04-14 math.CO math.OC math.PR
Quadratically Regularized Subgradient Methods for Weakly Convex Optimization with Weakly Convex Constraints
具有非凸约束的最优化模型出现在机器学习中的许多任务中，例如，具有公平性约束的学习或具有非凸损失的Neyman-Pearson分类。虽然许多有效的方法已经开发了理论上的收敛保证非凸无约束问题，它仍然是一个挑战，设计可证明有效的算法，非凸泛函约束问题。本文提出了一类求解约束优化问题的次梯度法，其中目标函数和约束函数都是弱凸非光滑的。我们的方法解决了一系列的强凸子问题，其中一个二次正则化项被添加到目标函数和每个约束函数。每个子问题可以用各种强凸优化算法求解。在一致的斯莱特条件下，我们建立了我们的方法的计算复杂性，寻找一个几乎稳定点。
2023-03-23 math.OC
An ADMM-Based Approach to Quadratically-Regularized Distributed Optimal Transport on Graphs
本文提出一种基于ADMM的分布式算法，用于在有向强连通图上求解带二次正则化的最优传输问题，并证明其在有无正则化情况下均收敛，实验验证了正则化对收敛性和稀疏性的影响及算法对拓扑变化的鲁棒性。
2025-07-06 cs.NA math.NA math.OC
An Adaptive Regularized Proximal Newton-Type Methods for Composite Optimization over the Stiefel Manifold
本文针对Stiefel流形上的复合优化问题，提出自适应二次正则化近端拟牛顿方法ARPQN和近端牛顿方法ARPN，分别建立了全局/局部线性收敛与局部超线性收敛性质，并通过数值实验验证了其有效性。
2025-02-10 math.OC
Quadratically Regularized Optimal Transport: Localization Bounds and Affine Case Analysis
College of Engineering & Computer Science, VinUniversity（Vin大学工程与计算机科学学院）；Center for AI Research, VinUniversity（Vin大学人工智能研究中心）
本文建立二次正则化最优传输（QOT）优化器支撑集在Monge耦合附近局部化的下界，并证明在仿射Brenier情形下达到最优指数。
2026-05-26 math.OC stat.ML
Quantitative Stability of Regularized Optimal Transport and Convergence of Sinkhorn's Algorithm
研究了熵正则化最优输运关于边界的稳定性。在包含二次代价和无界边缘的一般条件下，得到了$p$ -Wasserstein距离中的值的Lipschitz连续性和最优耦合的Hölder连续性.结果的值扩展到正则化的任意发散。作为一个应用，我们证明了Sinkhorn算法在Wasserstein意义下的收敛性，包括对二次成本的收敛性.提出了两种技术：第一个比较了最佳耦合与其所谓的阴影，耦合诱导其他边际显式建设。第二种方法通过改变坐标来变换一组边缘值，从而将不同边缘值的比较简化为相同边缘值下不同费用函数的比较。
2022-07-05 math.AP math.OC math.PR
Newton method for $\ell_0$-regularized optimization
正则化是稀疏优化中常用的一种方法。这导致了正则化优化，旨在最小化表征稀疏性的$\ell_0$范数或其连续代理。从代理的连续性到$\ell_0$范数的离散性，最具挑战性的模型是$\ell_0$ -正则化优化。为了克服这一困难，有大量的工作在发展数值有效的方法。然而，他们中的大多数人只享受要么（子）序列收敛到一个固定的点从确定性优化的角度来看，或之间的距离，每个子序列和任何给定的稀疏参考点是有界的误差界的概率意义上。在本文中，我们开发了一个牛顿型方法的$\ell_0$ -正则化优化，并证明了所产生的序列收敛到一个稳定点的标准假设下，全球和二次，从理论上解释，我们的方法是能够执行令人惊讶的好。
2020-08-14 math.OC
Accelerating Primal-dual Methods for Regularized Markov Decision Processes
Stanford University（斯坦福大学）；Amazon Search（亚马逊搜索）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
针对熵正则化马尔可夫决策过程原对偶问题标准一阶法收敛慢的问题，提出二次凸化原对偶表述及新插值度量，实现指数收敛与显著加速，多设置实验验证了性能。
2023-06-12 cs.LG math.OC stat.ML
A Regularized Online Newton Method for Stochastic Convex Bandits with Linear Vanishing Noise
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
针对噪声随接近最优解线性减小的随机凸赌博机，提出正则化在线牛顿方法，实现多对数遗憾并推广至新噪声模型。
2025-01-19 cs.LG math.OC stat.ML
New Computational and Statistical Aspects of Regularized Regression with Application to Rare Feature Selection and Aggregation
Technicolor AI Lab（特艺集团人工智能实验室）；Marshall School of Business, University of Southern California（南加州大学马歇尔商学院）；University of Washington（华盛顿大学）
关于目标模型属性的先验知识通常是离散或组合的描述。这项工作提供了一个统一的计算框架，定义规范，促进这种结构。更具体地说，我们开发了相关的工具，涉及这些规范的优化只考虑到所需模型的非凸集的正交投影预言。作为一个例子，我们研究了一个规范，我们称之为双稀疏规范，促进向量与几个非零的项目，只有几个不同的值。我们进一步讨论了如何在这种情况下，K-均值算法可以作为底层的投影预言机，以及它如何可以有效地表示为一个二次约束的二次规划。我们研究这个规范的动机是在存在罕见特征的情况下的正则化回归，这对高维统计和一般机器学习中的各种方法提出了挑战。建议的估计过程的目的是执行自动特征选择和聚合，我们开发的统计界限。边界是通用的，并提供了一个基于范数的正则化的统计框架。边界依赖于新的几何量，我们试图详细说明。
2019-04-10 cs.LG math.OC math.ST
Discretization error from regularized Reinforcement Learning to continuous-time stochastic control
Ecole Polytechnique（巴黎综合理工学院）；Auburn University（奥本大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文研究正则化离散时间强化学习与连续时间随机最优控制之间的离散化误差，分析其收敛速率以支撑探索性RL策略在连续时间环境中的稳定性与实现。
2026-04-23 math.OC
Stability and Sample Complexity of Divergence Regularized Optimal Transport
本文研究散度正则化最优传输的稳定性与样本复杂度，证明其优化器具有定量Wasserstein稳定性，并给出利用代价函数正则性和边缘分布内在维数的收敛上界，表明散度正则化可提升经验近似的收敛速率。
2024-01-16 math.OC math.PR
Orlicz-space regularization for optimal transport and algorithms for quadratic regularization
我们研究连续的最优输运问题在所谓的Kantorovich形式，即给定两个紧集上的两个Radon测度，我们寻求一个最优输运计划，这是另一个Radon测度的产品的集合，有这两个措施作为边缘和最小化一定的费用函数。我们考虑正则化的问题与所谓的杨氏函数，这迫使最优输运计划是一个功能，而不是在相应的Orlicz空间的Radon措施。我们推导出了前对偶问题，并证明了正则化问题的强对偶性和原解的存在性。对于$p\geq2$的$L^p$正则化的特殊情况，将证明（预）对偶解的存在性。然后，我们推导出四个算法来解决二次正则化问题的对偶问题：循环投影方法，对偶梯度下降，一个简单的不动点方法，和Nesterov的加速梯度，所有这些都有一个非常低的每次迭代的成本。
2019-09-13 math.OC
Quadratic Surface Support Vector Machine with L1 Norm Regularization
Institute for Mathematics and its Applications, University of Minnesota（明尼苏达大学数学及其应用研究所）；College of Information Science and Engineering, Northeastern University（东北大学信息科学与工程学院）；Precima, a NielsenIQ Company（普雷西玛（尼耳森艾克集团旗下公司））
我们提出$\ell_1$范数正则化二次曲面支持向量机模型用于监督学习中的二进制分类。我们建立了所需的理论性质，包括最优解的存在性和唯一性，减少到标准支持向量机（几乎）线性可分数据集，和检测真正的稀疏模式（几乎）二次可分数据集，如果惩罚参数的$\ell_1$范数是足够大的。我们还通过在合成和公开可用的基准数据集上进行各种数值实验，证明了它们有前途的实际效率。
2021-01-30 cs.LG math.OC stat.ML
Fast Global Convergence of Natural Policy Gradient Methods with Entropy Regularization
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
自然策略梯度（NPG）方法是当代强化学习中使用最广泛的策略优化算法之一。这类方法通常与熵正则化（一种鼓励探索的算法方案）结合使用，并且与软策略迭代和信赖域策略优化密切相关。尽管取得了经验上的成功，NPG方法的理论基础仍然有限，即使是表格设置。本文发展了softmax参数化下熵正则化NPG方法的$\textit{non-asymptotic}$收敛保证，重点是折扣马尔可夫决策过程（MDP）。假设访问精确的政策评估，我们证明了算法收敛线性-甚至二次一旦它进入一个局部区域周围的最优策略-计算最优值函数的正则化MDP。此外，该算法是可证明的稳定相对于政策评估的不精确性。我们的收敛结果适应了广泛的学习率，并揭示了熵正则化在实现快速收敛中的作用。
2021-04-08 cs.IT cs.LG math.IT
Robust McKean--Vlasov Variational Systems with Asymmetric Loss Aversion: Well-Posedness, Stability, and Propagation of Chaos for the Forward and Regularized Backward Systems
University of Kinshasa（金沙萨大学）
研究非主导概率测度族下鲁棒前向-后向McKean-Vlasov变分系统，通过Wasserstein空间不动点论证建立正向动力学的存在唯一性和稳定性，利用Yosida正则化和Minty-Brézis论证得到正则化反向系统的典范解，并证明正向动力学的粒子近似和混沌传播显式收敛率。
2026-06-29 math.OC
Long-time Stability and Convergence of Particle Swarm Optimization
Heriot-Watt University（赫瑞-瓦特大学）；Hunan University（湖南大学）；Caltech（加州理工学院）
研究粒子群优化算法的长期稳定性与收敛性，通过连接经典稳定性分析与平均场方法，研究无记忆正则化PSO模型，确定其稳定及收敛条件，通过研究线性化动力学、分析非线性平均场系统及建立误差界来实现。
2026-07-28 math.DS math.OC
Randomized Optimal Switching Problem and Related Mirror Descent Flow
School of Mathematical Sciences, Tongji University（同济大学数学科学学院）；Key Laboratory of Intelligent Computing and Applications (Tongji University), Ministry of Education（教育部智能计算与应用重点实验室（同济大学））
针对最优切换问题，提出随机化框架并引入KL散度正则化，证明正则化值函数是椭圆HJB系统的唯一光滑解，给出最优Gibbs策略的显式形式，并建立镜像下降流算法及收敛误差界。
2026-06-12 math.OC
Optimal parameter selection for the alternating direction method of multipliers (ADMM): quadratic problems
乘子的交替方向法（ADMM）已成为一种强大的技术，用于大规模结构优化。尽管ADMM的收敛性能的许多最近的结果，算法参数的收敛时间的方法的影响的定量表征仍然缺乏。在本文中，我们找到了最佳的算法参数，最小化的ADMM迭代的收敛因子的上下文中的l2-正则化的最小化和约束二次规划。数值例子表明，我们的参数选择规则显着优于现有的替代品在文献中。
2014-04-12 math.DS math.OC
