Least Square Approximations and Linear Values of Cooperative Games
合作对策的许多重要值都是由最小二乘最优化问题产生的。本研究开发了一个优化框架来解释和澄清这种现象在一般情况下。主要结果表明,每个线性值的结果,从一些最小二乘逼近问题,反过来说,每个最小二乘逼近问题的线性约束产生一个线性值。这种方法包括并扩展了文献中所谓的最小二乘值和半值的先前结果。特别是,它证明了如何已知的显式公式的解决方案,在额外的假设很容易遵循这里提出的一般结果。
2016-01-12 cs.GT math.OC
On model reduction by least squares moment matching
针对连续时间、线性、定常系统,研究了最小二乘矩匹配模型降阶问题。最小二乘矩匹配背后的基本思想是通过确保在最小二乘意义上满足由矩匹配施加的插值条件来近似传递函数。这个想法是重新使用不变性方程和稳态响应,提供一个新的最小二乘矩匹配的时域表征。的表征,反过来,然后用于获得一个参数化的家庭的模型实现最小二乘矩匹配。通过算例说明了理论的正确性。
2021-09-24 cs.SY eess.SY math.OC
A general approach of least squares estimation and optimal filtering
最小二乘法允许从实验数据拟合数学模型的参数。本文提出了这种方法的一般方法。在介绍该方法并给出形式定义后,讨论了该方法的传递性以及数值考虑。然后考虑两种特殊情况:通常的最小二乘法和广义最小二乘法。在这两种情况下,估计量及其方差的特征在于在时域和傅立叶域。最后,建立了广义最小二乘法和使用匹配滤波器的最优滤波技术的等价性。
2013-05-27 math.OC stat.ME
Strongly convex stochastic online optimization on a unit simplex with application to the mixing least square regression
本文提出了一种在非欧环境下利用随机在线镜像下降获得混合最小二乘回归估计的新方法。
2017-03-23 math.OC
SDLS: a Matlab package for solving conic least-squares problems
本文档介绍了Matlab软件包SDLS(半定最小二乘),用于解决凸对称锥上的最小二乘问题。该软件包是通过解决问题,实现算法的草图,语法和调用序列,一个简单的数值例子和一些更先进的功能。所实现的方法包括用拟牛顿算法求解对偶问题。我们注意到SDLS并不是这个算法最有竞争力的实现:高效,健壮,商业化的实现是可用的(联系作者)。我们使用Matlab SDLS包的主要目标是提供一个简单,用户友好的软件来解决和实验半定最小二乘问题。据我们所知,目前还没有这样的免费软件。
2007-09-17 math.OC
A family of Barzilai-Borwein steplengths from the viewpoint of scaled total least squares
该研究从缩放总体最小二乘视角提出一族Barzilai-Borwein步长,为无约束优化的梯度法提供新的步长选择,经数值实验验证选取得当可获高性能。
2023-12-13 math.OC
Acceleration Control in Nonlinear Vibrating Systems based on Damped Least Squares
针对非线性振动系统的加速度控制和能量交换控制,提出了一种基于阻尼最小二乘的离散时间控制算法。结果表明,最小二乘阻尼常数和控制器的采样时间步长必须成反比,以确保时间步长的消失对结果的影响很小。该算法是说明两个线性耦合的Duffing振子附近的1:1内共振。特别是,它表明,改变两个振荡器之一的耗散比可以显着抑制非线性拍现象。
2011-10-14 math.OC
Iterative algorithm with structured diagonal Hessian approximation for solving nonlinear least squares problems
非线性最小二乘问题是一类特殊的无约束最优化问题,其梯度和Hessian具有特殊的结构。在本文中,我们利用这些结构,并提出了一个无矩阵算法与对角Hessian近似求解非线性最小二乘问题。我们设计了适当的保护策略,以确保黑塞矩阵是正定的整个迭代过程。该算法产生下降方向,是全局收敛的。初步的数值实验表明,该方法是具有竞争力的最近开发的类似方法。
2020-02-05 math.OC
Upper Hölderian with Explicit Exponent of Solution Mapping with Applications to Ball Constrained Least Squares Problems
National University of Defense Technology(国防科技大学)
本文将Robinson广义方程隐函数定理扩展至上Hölder情形,确定了指数依赖关系,并证明球约束线性最小二乘解映射局部指数为1/3的上Hölder连续性,进而推广至参数情形,为相关问题提供了理论支撑。
2026-08-25 cs.NA math.NA math.OC
Model reduction by least squares moment matching for linear and nonlinear systems
本文利用最小二乘矩匹配的概念讨论了线性和非线性系统的模型降阶问题。对于线性系,主要思想是通过确保在最小二乘意义下满足由矩匹配施加的插值条件来近似传递函数。本文重温这一想法,使用输出调节理论的工具,提供一个新的时域表征的最小二乘矩匹配。它示出,最小二乘矩匹配可以其特征在于在一个最优化问题涉及的不变性方程和误差系统的稳态行为。这种表征,反过来,然后被用来定义一个非线性增强的最小二乘矩匹配的概念,并开发一个模型约化理论的基础上的概念,最小二乘矩匹配的非线性系统。实现最小二乘矩匹配的模型的参数化的家庭被确定为线性和非线性系统。新的参数化承认自然的几何和系统理论的解释。数值算例说明了理论的正确性。
2021-10-12 cs.SY eess.SY math.OC
A penalized method for multivariate concave least squares with application to productivity analysis
提出了一种多元凹回归函数最小二乘估计的惩罚方法。该估计被公式化为具有$O(n^2)$约束的二次规划(QP)问题,其中n是观测的数量。计算这样的估计量是一项非常耗时的任务,并且随着观测数量的增加,计算负担急剧增加。通过引入一个二次罚函数,我们将凹最小二乘估计重新表示为一个只有非负约束的QP。这种重构可以适用于估计形状限制最小二乘的变体,即单调凹/凸最小二乘。实验结果和实证研究表明,重新制定的问题及其对偶的解决显着快于原来的问题。文中给出了实现惩罚问题的Matlab和R代码。
2016-08-11 math.OC stat.CO
Gradient Projection Iterative Sketch for Large-Scale Constrained Least-Squares
提出了一种随机一阶优化算法梯度投影迭代草图(GPIS)和一种加速算法,用于有效地求解大规模约束最小二乘(LS)。我们提供了理论上的收敛性分析所提出的算法和证明我们的方法的计算效率相比,经典的加速梯度法,和最先进的方差减少随机梯度法,通过在各种大型合成/真实数据集的数值实验。
2017-07-17 math.OC
Global Convergence of Policy Gradient Algorithms for Indefinite Least Squares Stationary Optimal Control
我们考虑不定最小二乘平稳最优控制的策略梯度算法,例如,具有不定状态和输入惩罚矩阵的线性二次型调节器(LQR)。这样的设置在具有冲突目标的控制设计中具有重要的应用,例如线性二次动态博弈。我们证明了这类不定最小二乘问题的梯度、自然梯度和拟牛顿策略的整体收敛性。
2020-02-10 cs.SY eess.SY math.OC
An Algorithm for Integer Least-squares with Equality, Sparsity and Rank Constraints
在这项工作中,我们处理的秩约束整数最小二乘最优化问题所产生的低秩矩阵分解相关的应用。我们提出了一个解决方案的约束整数最小二乘问题的平等,稀疏性和秩约束。该算法结合Fincke-Pohst枚举(或球译码算法)和秩约束,利用丢番图方程的稀疏解来获得最优解。所提出的方法包括两个步骤:(i)找到由线性和稀疏约束引起的丢番图方程的解集,(ii)使用步骤1中获得的解集找到最小化整数最小二乘目标并满足秩约束的矩阵。所提出的算法是用一个简单的例子来说明。然后,我们进行实验,研究所提出的算法的不同步骤的计算方面。
2018-11-04 math.OC
Robust Least Squares for Quantized Data Matrices
在本文中,我们制定和解决一个稳健的最小二乘问题的线性方程组系统的量化误差的数据矩阵。普通最小二乘法无法考虑算子中的不确定性,对观测信号中的所有噪声进行建模。总体最小二乘考虑了数据矩阵中的不确定性,但与普通最小二乘相比,必然会增加运算符的条件数。Tikhonov正则化或岭回归经常被用来对抗病态,但需要参数调整,这带来了许多挑战,并对参数先验分布进行了强假设。所提出的方法还需要选择参数,但是可以以自然的方式选择参数,例如,四舍五入到第四位的矩阵使用0.5e-4的不确定性边界参数。我们在这里表明,我们的强大的方法在理论上是适当的,易于处理的,并表现良好,对普通和总最小二乘。
2020-06-23 cs.NA math.NA math.OC
Iterative Hessian sketch: Fast and accurate solution approximation for constrained least-squares
University of California, Berkeley(加州大学伯克利分校)
研究了近似求解一般凸约束最小二乘问题的随机草图方法。最小二乘逼近的质量可以用不同的方法来评估:要么用二次目标函数的值(成本近似),要么用近似最小值和真正最小值之间的距离度量(解近似)。专注于后者的标准,我们的第一个主要结果提供了一个一般的下界的任何随机方法,草图的数据矩阵和向量的最小二乘问题,作为一个令人惊讶的后果,最广泛使用的最小二乘草图是次优的解决方案近似。然后,我们提出了一种新的方法,称为迭代Hessian草图,并表明它可以用来获得近似的原始最小二乘问题使用的投影尺寸成比例的最小二乘极小的统计复杂性,和对数迭代次数。我们说明了我们的一般理论与模拟无约束和约束版本的最小二乘法,包括$\ell_1$正则化和核范数约束。我们还数值证明了我们的方法在一个真正的人脸表情分类实验的实用性。
2014-11-03 cs.IT cs.LG math.IT
A fully space-time least-squares method for the unsteady Navier-Stokes system
介绍并分析了一种适用于非定常Navier-Stokes方程的时空最小二乘方法。考虑了二维情形的弱解和三维情形的正则解。从任何初始的猜测,我们构造一个最小化序列的最小二乘功能,强收敛到一个解决方案的Navier-Stokes系统。在与粘性常数的值相关的有限次迭代之后,收敛是二次的。二维情况下的数值实验支持我们的分析。这种全局收敛的最小二乘方法与阻尼牛顿法有关,当用于通过变分公式求解Navier-Stokes系统时。
2019-09-11 cs.NA math.NA math.OC
Least Squares Model Reduction: A Two-Stage System-Theoretic Interpretation
本文提出两阶段系统理论解释,将最小二乘模型降阶视为构造满足插值约束的替代模型并投影到降阶空间的过程,为经典方法提供新视角。
2025-05-27 cs.SY eess.SY math.OC
Exponential convergence of recursive least squares with forgetting factor for multiple-output systems
在激励持续存在的假设下,通过推导相应的最小化目标函数和估计误差的指数收敛性,将单输入单输出系统的遗忘因子递推最小二乘辨识器的结果推广到多输出系统.
2020-03-16 cs.SY eess.SY math.OC
Outlier-robust Autocovariance Least Square Estimation via Iteratively Reweighted Least Square
College of Robotics, Beijing Union University(机器人学院,北京联合大学)
本文提出基于迭代加权最小二乘的抗异常自协方差最小二乘估计方法,显著降低噪声协方差估计误差并提升状态估计精度。
2026-03-09 cs.LG eess.SP math.OC