Black-box Optimization Algorithms for Regularized Least-squares Problems
针对导数不可用的非凸光滑与凸非光滑函数之和的优化问题，提出自适应处理不精确平稳度量的无导数算法，并扩展 DFO-LS 求解器，实验验证其强性能。
2024-07-20 math.OC
Regularized higher-order Taylor approximation methods for nonlinear least-squares
本文提出正则化高阶泰勒近似（RHOTA）算法求解非线性最小二乘等复合问题，推导了全局收敛性及基于KL性质的改进收敛速率，并扩展至非线性方程组与等式约束优化，数值实验验证了其有效性。
2025-03-04 math.OC
A fast algorithm for globally solving Tikhonov regularized total least squares problem
广义Tikhonov正则化的总最小二乘问题可以转化为一维参数最小化问题（PM），其中每个参数化函数的求解对应于求解一个n维置信域子问题.在一个温和的假设下，参数函数是可微的，然后一个有效的对分法已被提出来解决（PM）的文献。在本文的第一部分中，我们表明，二分法可以大大改善，通过减少初始估计的区间覆盖的最佳参数。观察到，对分法不能保证找到全局最优解，因为非凸（PM）可能有一个局部的非全局极小。本文的主要贡献是提出了一种有效的分支定界算法的全局求解（PM），基于一种新的低估的参数函数在任何给定的时间间隔，只使用信息的参数函数的评估在两个端点。我们可以证明，在与对分法相同的假设下，新算法（BTD算法）在至多O（n^3/ε）的计算量内返回全局ε-近似解.数值结果表明，我们的新的全局优化算法执行速度甚至比改进版本的二分法启发式算法。
2018-10-29 math.OC
Superiorization vs. Accelerated Convex Optimization: The Superiorized/Regularized Least-Squares Case
研究了具有非负变量界的欠定线性方程的优化/正则化最小二乘解的重构问题，并比较了优化方法和优化方法.关于优越化，最先进的检查这类问题，并提出了一种新的方法，采用邻近映射，结构上类似于建立的前向-后向优化方法。在凸优化方面，提出了一种基于非精确邻近映射的加速前后向分裂算法，并将其应用于自然分裂最小二乘项/正则化子和反向分裂正则化子/最小二乘项。我们的数值研究结果表明，优越化可以接近的解决方案的最优化问题，并导致可比的结果显着降低成本，适当的参数调整后。另一方面，将加速的向前-向后优化应用于反向分裂稍微优于优越化，这表明凸优化也可以使用适当的问题分裂来接近优越化。
2020-04-01 cs.NA math.NA math.OC
Fast algorithm for sparse least trimmed squares via trimmed-regularized reformulation
针对最小截尾平方（LTS）计算成本高、加入ℓ₁范数稀疏惩罚的FAST-LTS速度慢的问题，提出基于近端梯度法与重构技术的低成本稀疏LTS算法，其收敛性更优，实验验证可高效得到较小目标值。
2024-10-06 math.OC stat.CO stat.ME
Density, Determinacy, Duality and a Regularized Moment-SOS Hierarchy
LAAS-CNRS, University of Toulouse, France（法国图卢兹大学 LAAS-CNRS）
本文提出了一种正则化的矩-SOS层次结构，能够处理无界集或违反阿基米德性质的有界集问题，通过泛函分析方法和密度结果实现了收敛性证明，并提供了一种单调非递减的下界序列。
2025-12-05 math.OC
A Fast Active Set Block Coordinate Descent Algorithm for $\ell_1$-regularized least squares
寻找线性方程组的欠定组的稀疏解的问题出现在若干应用中（例如，信号和图像处理、压缩感测、统计推断）。处理稀疏恢复的标准工具是$\ell_1$ -正则化最小二乘方法，最近吸引了许多研究人员的注意。在本文中，我们描述了一个活动集估计（即估计的指数的零变量的最优解）所考虑的问题，试图快速识别尽可能多的活动变量在一个给定的点，同时保证一些近似的最优性条件得到满足。该估计的一个相关特征是，当将所有这些估计有效的变量设置为零时，它给出了目标函数的显著降低。这使得它能够容易地嵌入到给定的全局收敛算法框架中。特别地，我们将我们的估计包含到$\ell_1$ -正则化最小二乘的块坐标下降算法中，分析了这种新的有效集方法的收敛性，并证明了它的基本版本以线性速度收敛。最后，我们报告了一些数值结果表明该方法的有效性。
2015-09-09 cs.IT math.IT math.OC
A New Recursive Least-Squares Method with Multiple Forgetting Schemes
本文提出了一种带多重遗忘的递归最小二乘方法来跟踪随时间变化的模型参数。我们的方法取决于经典的递归最小二乘遗忘计划作为一个正则化的最小二乘问题的重新制定。仿真研究表明了该方法的有效性。
2015-03-25 math.OC
Safe Peeling for L0-Regularized Least-Squares with supplementary material
Inria（法国国家信息与自动化研究所）；Université de Rennes（雷恩大学）；IRMAR UMR CNRS 6625（雷恩数学研究所（法国国家科学研究中心UMR 6625））；INSA Rennes（雷恩国立应用科学学院）；ELEN, ICTEAM, UCLouvain（鲁汶大学ICTEAM研究所ELEN团队）；IETR UMR CNRS 6164（雷恩电子与电信研究所（法国国家科学研究中心UMR 6164））；CentraleSupelec Rennes Campus（中央理工-高等电力学院雷恩校区）
本文提出“安全剥离”方法，在 BnB 求解 L0 正则化最小二乘时收紧各节点的凸松弛并增强剪枝，显著减少探索节点数与求解时间。
2023-06-06 cs.LG math.OC stat.ML
Details for "Least-Squares Prices of Games"
本文旨在帮助读者理解这篇文章：Y. Hirashita，Least-Squares Prices of Games，Preprint（arXiv：math.OC/0703079）.
2007-03-03 math.OC
Sufficiently Regularized Nonnegative Quartic Polynomials are Sum-of-Squares
University of Oxford（牛津大学）
研究揭示了正则化下非负四次多项式成为平方和的条件，指出四次正则化在多项式优化中的关键作用，区分了可计算与不可计算的优化区域。
2026-04-02 math.AG math.OC
A new Barzilai-Borwein steplength from the viewpoint of total least squares
Barzilai-Borwein（BB）步长是梯度下降法中常用的步长。通过观察，两个现有的BB步长分别对应于普通和数据最小二乘，我们采用第三种最小二乘，总最小二乘，以创建一个新的BB步长，这是位于两个现有的BB步长。
2021-07-14 math.OC
Resilient Infrastructure Network: Sparse Edge Change Identification via L1-Regularized Least Squares
针对基础设施网络的边变化中断问题，提出基于ℓ₁范数正则化最小二乘的稀疏边变化识别框架，利用Laplacian矩阵结构避免过参数化，经电力网络等算例验证了鲁棒性与有效性。
2024-09-11 cs.SI math.OC stat.AP
Distributed Least Squares Solver for Network Linear Equations
本文研究网络上超定线性代数方程的最小二乘解的分布式求解问题。每个节点可以访问线性方程之一，并保持动态状态。我们首先提出了一个分布式最小二乘求解器连接无向相互作用图，并建立了一个必要和充分的步长下，该算法指数收敛到最小二乘解。接下来，我们开发了一个分布式的最小二乘求解强连接有向图，并表明，该算法指数收敛到最小二乘解的步长是足够小的。此外，我们开发了一个有限时间的最小二乘求解器，通过配备所提出的算法与有限时间分散计算机制。通过数值模拟实例验证了理论分析结果。
2019-09-09 math.OC
Sparse Regularization via Convex Analysis
线性方程的稀疏近似解是经典的L1范数正则化最小二乘法，但这种方法往往低估了真实解。作为L1范数的替代，本文提出了一类非凸的罚函数，它保持了最小二乘费用函数的凸性，避免了L1范数正则化的系统低估特性.所提出的罚函数是对最小最大凹罚函数的一种多元推广。它被定义在一个新的多元推广的胡贝尔函数，这反过来又是通过下卷积定义。所提出的稀疏正则化最小二乘费用函数可以通过包括简单计算的近似算法来最小化。
2018-03-19 math.OC
Sketching for Convex and Nonconvex Regularized Least Squares with Sharp Guarantees
Arizona State University（亚利桑那州立大学）
本文提出统一处理凸与非凸 Fréchet 次可微正则项的 SRO 草图算法，建立近似误差与极小极大速率保证，并用迭代版本指数降低误差。
2023-11-03 cs.LG math.OC math.ST
A Levenberg-Marquardt Method for Nonsmooth Regularized Least Squares
本文提出了一种求解光滑非线性最小二乘项$f(x) = \tfrac{1}{2} \|F(x)\|_2^2$和非光滑项$h$之和的Levenberg-Marquardt方法。$f$和$h$都可以是非凸的。通过使用诸如近端梯度法的一阶方法最小化正则化线性最小二乘模型和$h$的模型的和来计算步长。在$F$及其Jacobian是Lipschitz连续的，$h$是适当的下半连续的假设下，我们建立了Levenberg-Marquardt方法的信赖域和正则化变体的一阶稳定点的整体收敛.在最坏的情况下，这两种方法都执行$O(ε^{-2})$迭代，以使平稳性度量低于$ε\in (0, 1)$。我们报告三个例子的数值结果：一个组套索基追踪去噪的例子，非线性支持向量机，神经元放电的参数估计。对于这些例子是可实现的，我们详细描述了如何评估可分离的$h$和信任区域约束的套索组的邻近算子。在所有情况下，Levenberg-Marquardt方法执行较少的外迭代比近梯度法与自适应步长和拟牛顿信赖域方法，这两种方法都没有利用最小二乘结构的问题。我们的研究结果还强调了需要更复杂的子问题求解器比简单的一阶方法。
2023-01-06 cs.NA math.NA math.OC
On Robustness of Kernel-Based Regularized System Identification
提出了一种基于核的系统辨识方法。我们证明了有限冲激响应的正则化核基估计方法等价于一个鲁棒最小二乘问题，该问题具有一个由核矩阵定义的特定不确定集，因此，它被称为基于核的不确定集。我们提供了一个理论基础的鲁棒性的基于核的方法输入干扰。基于鲁棒正则化最小二乘方法，考虑了不同的系统辨识公式，其中一些公式采用了基于核的不确定性集。我们将这些方法应用于输入测量受到干扰的情况。随后，我们进行了广泛的数值实验，并比较结果，以检查在识别过程中利用基于核的不确定性集的影响。数值实验表明，基于核不确定集的鲁棒最小二乘辨识方法提高了估计对输入扰动的鲁棒性。
2021-05-26 cs.SY eess.SP eess.SY
A geometric proximal gradient method for sparse least squares regression with probabilistic simplex constraint
本文研究了概率单纯形约束下的稀疏最小二乘回归问题。由于概率单纯形约束，不能将L1正则化应用于所考虑的回归模型。为了找到一个稀疏的解决方案，我们重新制定的最小二乘回归问题作为一个非凸和非光滑的L1正则化最小化问题的单位球。然后提出了求解正则化问题的几何近似梯度法，得到了每个子问题的整体解的显式表达式。在适当的假设下证明了该方法的整体收敛性。数值结果表明了该算法的有效性。
2021-07-02 cs.NA math.NA math.OC
Least Squares Auto-Tuning
最小二乘法是迄今为止在许多领域中最简单和最常用的计算方法。在几乎所有的应用中，最小二乘目标很少是真正的目标。我们通过参数化最小二乘问题并使用优化算法自动调整这些参数来解释这种差异。我们应用我们的方法，我们称之为最小二乘自动调整，数据拟合。
2019-04-10 cs.LG math.OC
A Primal Dual Active Set with Continuation Algorithm for the \ell^0-Regularized Optimization Problem
针对压缩感知中经常出现的\ell^0 -正则化最小二乘问题，提出了一种原始对偶活动集延拓算法。该算法将原对偶有效集方法与正则化参数的延拓策略相结合。在每次内迭代中，它首先从原始变量和对偶变量中识别出活动集，然后通过求解定义在活动集上的（通常很小的）最小二乘问题来更新原始变量，从中可以显式地更新对偶变量。在感测矩阵上的某些条件下，即，互相关性质或约束等距性质以及噪声水平，建立了算法的有限步整体收敛性。大量的数值例子来说明该算法的效率和精度和收敛性分析。
2014-03-03 cs.IT math.IT math.OC
Anchored Regularized Direct Least Squares (ARDLS): Integrating Established Prioritization Operators for Priority Elicitation in the Analytic Hierarchy Process
Monash University Malaysia（马来西亚莫纳什大学）
针对层次分析法中直接最小二乘法存在多解的问题，提出整合既定优先级算子的锚定正则化直接最小二乘模型，可保证收敛到唯一全局最小值，降低均方根误差，为层次分析法提供理想替代方案。
2026-09-09 cs.AI cs.NA math.NA
Least Square Approximations and Linear Values of Cooperative Games
合作对策的许多重要值都是由最小二乘最优化问题产生的。本研究开发了一个优化框架来解释和澄清这种现象在一般情况下。主要结果表明，每个线性值的结果，从一些最小二乘逼近问题，反过来说，每个最小二乘逼近问题的线性约束产生一个线性值。这种方法包括并扩展了文献中所谓的最小二乘值和半值的先前结果。特别是，它证明了如何已知的显式公式的解决方案，在额外的假设很容易遵循这里提出的一般结果。
2016-01-12 cs.GT math.OC
Contingent derivatives and regularization for noncoercive inverse problems
University of Duisburg-Essen（杜伊斯堡-埃森大学）；Rochester Institute of Technology（罗切斯特理工学院）；Universidad Nacional de Educación a Distancia（西班牙国立远程教育大学）；Martin-Luther-University of Halle-Wittenberg（哈勒-维滕贝格马丁·路德大学）
本文研究非 coercive 变分问题中参数识别的逆问题，通过条件导数分析参数到解的映射，并利用输出最小二乘法进行正则化以获得单值映射，探讨其光滑性和有界性，并提供计算方法和数值结果。
2018-02-14 cs.NA math.NA math.OC
A general approach of least squares estimation and optimal filtering
最小二乘法允许从实验数据拟合数学模型的参数。本文提出了这种方法的一般方法。在介绍该方法并给出形式定义后，讨论了该方法的传递性以及数值考虑。然后考虑两种特殊情况：通常的最小二乘法和广义最小二乘法。在这两种情况下，估计量及其方差的特征在于在时域和傅立叶域。最后，建立了广义最小二乘法和使用匹配滤波器的最优滤波技术的等价性。
2013-05-27 math.OC stat.ME
Anderson Accelerated Operator Splitting Methods for Convex-nonconvex Regularized Problems
针对凸-非凸（CNC）正则化问题计算具挑战性且研究不足的问题，提出Anderson加速的算子分裂方法求解带CNC正则化的最小二乘问题，证明全局收敛性并展示实际加速效果。
2025-02-20 math.OC stat.CO
Worth Their Weight: Randomized and Regularized Block Kaczmarz Algorithms without Preprocessing
Department of Mathematics, UC Berkeley（数学系，加州大学伯克利分校）；Applied Mathematics and Computational Research Division, Lawrence Berkeley National Laboratory（应用数学与计算研究部，劳伦斯伯克利国家实验室）
本文提出ReBlocK算法，通过正则化改进随机块Kaczmarz方法，有效处理不一致问题并优于传统方法。
2025-12-16 cs.LG cs.NA math.NA
Variational Regularized Unbalanced Optimal Transport: Single Network, Least Action
Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）；LMAM and School of Mathematical Sciences, Peking University（北京大学LMAM与数学科学学院）；Center for Quantitative Biology, Peking University（北京大学定量生物学中心）；NELBDA, Peking University（北京大学NELBDA研究中心）；AI for Science Institute, Beijing（北京人工智能科学研究院）
针对从少量快照恢复高维系统动力学问题，提出变分正则化非平衡最优传输（Var-RUOT）框架，通过引入最优必要条件仅需学习标量场，实现更低作用量、更快收敛和更稳定训练。
2025-10-25 cs.LG math.OC q-bio.QM
On model reduction by least squares moment matching
针对连续时间、线性、定常系统，研究了最小二乘矩匹配模型降阶问题。最小二乘矩匹配背后的基本思想是通过确保在最小二乘意义上满足由矩匹配施加的插值条件来近似传递函数。这个想法是重新使用不变性方程和稳态响应，提供一个新的最小二乘矩匹配的时域表征。的表征，反过来，然后用于获得一个参数化的家庭的模型实现最小二乘矩匹配。通过算例说明了理论的正确性。
2021-09-24 cs.SY eess.SY math.OC
Regularized randomized iterative algorithms for factorized linear systems
针对现有因子化线性系统随机迭代算法仅能求最小范数解的局限，结合随机Kaczmarz/Gauss–Seidel算法与RRK算法提出两种正则化迭代算法，证明线性收敛性，算例验证其可求稀疏解且性能更优。
2023-07-23 cs.NA math.NA math.OC
A convergence proof of the split Bregman method for regularized least-squares problems
University of Michigan（密歇根大学）
分裂Bregman（SB）方法[T. Goldstein和S. Osher，SIAM J.成像科学，2（2009），pp. 323 - 43]是一种快速的基于分裂的算法，其解决了具有一般L1的图像重建问题，例如，全变分（TV）和压缩感知（CS），通过引入单个变量分裂来解耦数据拟合项和正则化项，从而产生可分离（或部分可分离）且易于最小化的简单子问题。已经提出了几个收敛性证明，这些证明要么强加一个"完整的列秩"假设的分裂或假设在所有子问题的确切更新。然而，这些假设是不切实际的，在许多应用中，如X射线计算机断层扫描（CT）图像重建，内部最小二乘问题通常不能有效地解决，由于高度移变海森。本文证明了当数据拟合项为二次项时，SB方法是一个收敛的乘子交替方向法（ADMM），并利用[J.Eckstein和D. P. Bertsekas，数学规划，55（1992），pp. 293 - 318，定理8]。此外，由于SB方法只是ADMM算法的特殊情况，因此如果适当地选择增广Largangian（AL）罚参数，则ADMM算法似乎可能比SB方法更快。为了得到一个具体的例子，我们进行了收敛速度分析的ADMM算法使用二次数据拟合项和正则化项的图像恢复问题的两个分裂。根据我们的分析，我们可以表明，两个分裂ADMM算法可以比SB方法的AL罚参数是次优的更快。数值实验验证了我们的分析。
2014-02-18 cs.LG math.OC stat.ML
Upper Hölderian with Explicit Exponent of Solution Mapping with Applications to Ball Constrained Least Squares Problems
National University of Defense Technology（国防科技大学）
本文将Robinson广义方程隐函数定理扩展至上Hölder情形，确定了指数依赖关系，并证明球约束线性最小二乘解映射局部指数为1/3的上Hölder连续性，进而推广至参数情形，为相关问题提供了理论支撑。
2026-08-25 cs.NA math.NA math.OC
Model reduction by least squares moment matching for linear and nonlinear systems
本文利用最小二乘矩匹配的概念讨论了线性和非线性系统的模型降阶问题。对于线性系，主要思想是通过确保在最小二乘意义下满足由矩匹配施加的插值条件来近似传递函数。本文重温这一想法，使用输出调节理论的工具，提供一个新的时域表征的最小二乘矩匹配。它示出，最小二乘矩匹配可以其特征在于在一个最优化问题涉及的不变性方程和误差系统的稳态行为。这种表征，反过来，然后被用来定义一个非线性增强的最小二乘矩匹配的概念，并开发一个模型约化理论的基础上的概念，最小二乘矩匹配的非线性系统。实现最小二乘矩匹配的模型的参数化的家庭被确定为线性和非线性系统。新的参数化承认自然的几何和系统理论的解释。数值算例说明了理论的正确性。
2021-10-12 cs.SY eess.SY math.OC
Regularized Variational and Spectral Log-Density-Ratio Estimation in the Gaussian Location Model
研究高斯位置模型下岭正则化对数密度比估计，通过变分与谱方法推导高维渐近等价，比较两者风险并分析核范数惩罚的特征学习。
2026-07-03 cs.LG math.OC math.ST
Iterative Hessian sketch: Fast and accurate solution approximation for constrained least-squares
University of California, Berkeley（加州大学伯克利分校）
研究了近似求解一般凸约束最小二乘问题的随机草图方法。最小二乘逼近的质量可以用不同的方法来评估：要么用二次目标函数的值（成本近似），要么用近似最小值和真正最小值之间的距离度量（解近似）。专注于后者的标准，我们的第一个主要结果提供了一个一般的下界的任何随机方法，草图的数据矩阵和向量的最小二乘问题，作为一个令人惊讶的后果，最广泛使用的最小二乘草图是次优的解决方案近似。然后，我们提出了一种新的方法，称为迭代Hessian草图，并表明它可以用来获得近似的原始最小二乘问题使用的投影尺寸成比例的最小二乘极小的统计复杂性，和对数迭代次数。我们说明了我们的一般理论与模拟无约束和约束版本的最小二乘法，包括$\ell_1$正则化和核范数约束。我们还数值证明了我们的方法在一个真正的人脸表情分类实验的实用性。
2014-11-03 cs.IT cs.LG math.IT
