A Structure-Guided Gauss-Newton Method for Shallow ReLU Neural Network
Department of Mathematics, Purdue University(数学系,普渡大学);School of Mechanical Engineering, Purdue University(机械工程学院,普渡大学)
本文提出结构引导高斯-牛顿方法,通过将浅层ReLU神经网络参数分为非线性与线性两类并交替求解,利用对称正定矩阵自然获得有效搜索方向,有效解决了不连续及尖锐过渡层函数逼近难题。
2025-07-19 cs.LG cs.NA math.NA
ReLU Deep Neural Networks and Linear Finite Elements
Peking University(北京大学);Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心);Pennsylvania State University(宾夕法尼亚州立大学)
本文研究了具有ReLU激活函数的深度神经网络(DNN)与连续分段线性(CPWL)函数之间的关系,特别是来自单纯线性有限元方法(FEM)的CPWL函数。通过探讨DNN对节点基函数的表示,提出了CPWL在FEM中的ReLU DNN表示,并理论证明在Ω⊆R^d(d≥2)中,至少需要2层隐藏层才能表示任何线性有限元函数。对于d=2,3(科学和工程计算中常见),2层隐藏层是必要且充分的。此外,详细说明了如何用最多⌈log₂(d+1)⌉层隐藏层的ReLU DNN表示R^d中的通用CPWL函数,并给出了所需神经元数量的估计。最后,通过数值结果展示了ReLU DNN在求解两点边界问题中的应用潜力,证明了DNN在求解偏微分方程中的潜力。
2018-07-25 cs.NA math.NA
Deep Network with Approximation Error Being Reciprocal of Width to Power of Square Root of Depth
National University of Singapore(新加坡国立大学);Purdue University(普渡大学)
介绍了一种新的具有超逼近能力的网络。这个网络是在每个神经元中使用Floor($\lfloor x\rfloor$)或ReLU($\max\{0,x\}$)激活函数构建的,因此我们称这样的网络为Floor-ReLU网络。对于任何超参数$N\in\mathbb{N}^+$和$L\in\mathbb{N}^+$,具有宽度$\max\{d,\, 5N+13\}$和深度$64dL+3$的Floor-ReLU网络可以一致地近似$[0,1]^d$上的Hölder函数$f$,近似误差为$3λd^{α/2}N^{-α\sqrt{L}}$,其中$α\in(0,1]$和$λ$分别是Hölder阶和常数。更一般地,对于具有连续模$ω_f(\cdot)$的$[0,1]^d$上的任意连续函数$f$,构造性逼近率是$ω_f(\sqrt{d}\,N^{-\sqrt{L}})+2ω_f(\sqrt{d}){N^{-\sqrt{L}}}$。因此,当$ω_f(r)$作为$r\to 0$的变化是适度的(例如,$ω_f(r) \lesssim r^α$对于Hölder连续函数),因为在我们的近似率中要考虑的主要项本质上是$\sqrt{d}$乘以$N$和$L$的函数,在连续模内与$d$无关。
2020-10-27 cs.LG cs.NA math.NA
Condition numbers of the mixed least squares-total least squares problem: revisited
给出了混合最小二乘-总体最小二乘(MTLS)解的一阶摄动估计的一个新的闭公式。它在数学上相当于一个由郑和杨(编号。线性代数应用2019; 26(4):e2239)。利用该公式,导出了MTLS问题的一般和结构化的范数、混合和分量条件数。为了节省存储空间和提高计算效率,给出了基于范数条件数的扰动界,以及混合和分量条件数上界的紧致形式.证明了TLS问题的条件数和扰动界与MTLS问题的条件数和扰动界是统一的。
2020-12-03 cs.NA math.NA
How Implicit Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part I: the 1-D Case of Two Layers with Random First Layer
ETH Z\"urich, D-Math, R\"amistrasse 101, CH-8092 Z\"urich, Switzerland
本文针对第一层随机、仅末层训练的一维浅层ReLU神经网络,证明其L2正则化回归等价于函数空间二阶导数正则化,最小二乘下节点数趋于无穷时收敛于光滑样条插值,并建立早停梯度下降与光滑样条回归的对应关系。
2023-10-04 cs.LG cs.NA math.NA
Mixed precision iterative refinement for least squares with linear equality constraints and generalized least squares problems
本文提出针对线性等式约束最小二乘和广义最小二乘问题的混合精度迭代精化算法,通过增广系统结合经典或GMRES精化提升精度,在x86-64上平均比LAPACK固定精度快40%。
2025-08-14 cs.NA math.NA
Adaptive Least-Squares Methods for Convection-Dominated Diffusion-Reaction Problems
本文研究对流占优扩散反应问题的自适应最小二乘有限元法。最小二乘法基于原始和对偶变量的一阶系统,并以各种方式施加流出边界条件。建立了齐次最小二乘泛函的渐近性,并在引入流线导数的范数下得到了最小二乘方法的先验误差估计。只要网格足够细,所有方法具有相同的收敛速度。为了提高计算精度和降低计算成本,自适应最小二乘方法的实现和数值结果给出了一些测试问题。
2023-01-27 cs.NA math.NA
Least-Squares versus Partial Least-Squares Finite Element Methods: Robust A Priori and A Posteriori Error Estimates of Augmented Mixed Finite Element Methods
本文针对广义达西问题,提出两种稳健的增广混合有限元方法(偏最小二乘方法),与标准LSFEM共享后验误差估计器,并首次证明基于L2的LSFEM的稳健性,数值实验验证了结果。
2023-12-27 cs.NA math.NA
Algebraic technique for mixed least squares and total least squares problem in the reduced biquaternion algebra
本文提出约化双四元数混合最小二乘与总体最小二乘方法,求解超定系统,给出解的存在唯一性条件及显式表达式,并涵盖两个特例及复数域最佳逼近,附数值示例验证。
2023-11-11 cs.NA math.NA
Quantum-inspired algorithm for truncated total least squares solution
总体最小二乘(TLS)方法在数据拟合中得到了广泛的应用。与最小二乘法相比,在TLS问题中,我们不仅考虑了观测误差,而且还考虑了测量矩阵中的误差。这在实际应用中更为现实。对于大规模离散不适定问题$Ax \approx b$,我们引入量子技术来近似截断总体最小二乘(TTLS)解。我们分析了量子截断总体最小二乘算法的精度,并进行了数值实验,以证明我们的方法的效率。
2022-05-01 cs.NA math.NA
Modified least squares method and a review of its applications in machine learning and fractional differential/integral equations
本文提出基于分数阶正交多项式的修正最小二乘法,通过数值实验证明其优于经典方法,并综述了该方法在分数阶微分/积分方程和机器学习中的应用。
2024-05-01 cs.NA math.NA
Approximation and quadrature by weighted least squares polynomials on the sphere
在一般的紧空间$\mathcal M$上,给出了$L_2$中的一系列Marcinkiewicz-Zygmund不等式,Gröchenig引入了加权最小二乘多项式和逐点样本最小二乘求积,得到了逼近定理和求积误差.本文得到了球面上的最优逼近定理和求积误差。给出了加权最小二乘算子范数的上界。
2021-01-11 cs.NA math.NA
Some Convergence Results on the Regularized Alternating Least-Squares Method for Tensor Decomposition
Clarkson University(克拉克森大学);Johannes Kepler Universitat Linz(约翰内斯·开普勒林茨大学)
研究正则化交替最小二乘算法(RALS)在张量分解中的收敛性,证明其极限点为最小二乘代价泛函的临界点,并数值验证其收敛速度优于标准交替最小二乘方法。
2011-09-18 cs.NA math.NA
Numerical analysis of least squares and perceptron learning for classification problems
本文研究了感知器学习的正则化和非正则化版本以及分类问题的最小二乘法。导出了正则化最小二乘和感知器学习算法的Fr'echet导数。讨论了不同的Tikhonov正则化技术对正则化参数的选择。分析了通过非正则化算法对模拟数据集和实验数据集进行分类所获得的决策边界。
2020-09-22 cs.NA math.NA
Improved Convergence of Multilevel Moving Least-Squares Approximation
University of Bayreuth(拜罗伊特大学)
本文针对规则网格数据,证明低阶移动最小二乘与多级方案的组合可改进移动最小二乘近似的收敛性,解决高阶多项式带来的高计算成本与数值不稳定性问题。
2026-08-19 cs.NA math.NA
The Correct Classic Generalized Least-Squares Estimator of an Unknown Constant Mean of Randon Field
针对具有时间参数的负相关函数,推导了随机场未知常数均值的数值广义最小二乘估计量的渐近分离,即正确的经典广义最小二乘估计量。
2012-05-16 cs.NA math.NA
Least-Squares Finite Element Method for Sea-Ice Dynamics
本文提出了一种用于海冰动力学的首次-order系统最小二乘法,引入应力张量作为变量,并结合标准连续分段多项式和Raviart-Thomas元素进行计算验证。
2018-09-05 cs.NA math.NA
First-order system least-squares finite element method for singularly perturbed Darcy equations
我们定义并分析了一个最小二乘有限元法的一阶重新制定的缩放Brinkman模型的流体流动通过多孔介质。我们引入了一个伪应力变量,可以消除系统中的压力变量。它可以通过简单的后处理恢复。它表明,最小二乘功能是一致等价的,即,独立于奇异扰动参数,到参数依赖范数。这种范数等价性意味着在离散解中评估的最小二乘泛函提供了一个有效且可靠的后验误差估计。数值实验。
2022-11-16 cs.NA math.NA
Non-intrusive Least-Squares Functional A Posteriori Error Estimator: Linear and Nonlinear Problems with Plain Convergence
本文提出一种非侵入式最小二乘泛函后验误差估计器,适用于非最小二乘有限元求解的线性和非线性问题,并证明了自适应算法的普通收敛性。
2024-07-18 cs.NA math.NA
Least-squares driven stabilised finite element solution of advection-dominated flow problems
在这篇文章中,我们解决的解决方案的平流占主导地位的流动问题的稳定化的方法,通过最小二乘计算的稳定化系数。作为主要的方法学工具,我们引入了一个数据驱动的离线/在线策略来计算它们,具有较低的计算成本。我们比较的误差提供的最小二乘稳定系数的对流扩散和Navier-Stokes流的解决方案内提供的几个先前建立的稳定系数,结构化和非结构化网格,与拉格朗日有限元到第三度插值。在所有的测试流的最小二乘稳定系数提供准最优误差。我们的结论是,最小二乘程序是一个有益的程序,值得应用于一般流问题的一般稳定的解决方案。
2022-07-27 cs.NA math.NA
Accelerating Alternating Least Squares for Tensor Decomposition by Pairwise Perturbation
CP和Tucker分解的交替最小二乘算法在成本上由建立二次优化子问题所需的张量收缩所支配。我们引入了一个新的家庭的算法,使用微扰校正的子问题,而不是重新计算张量收缩。当因子矩阵在迭代中变化很小时,这种近似是准确的,这发生在交替最小二乘接近收敛时。我们提供了一个理论分析,以约束的近似误差。我们的数值实验表明,所提出的成对扰动算法是易于控制和收敛到最小值,是一样好的交替最小二乘。实验结果表明,对于各种模型张量问题和真实数据集,相对于最先进的交替最小二乘方法,改进高达3.1倍。
2021-04-14 cs.NA math.NA
The Convergence of Least-Squares Progressive Iterative Approximation with Singular Iterative Matrix
Zhejiang University(浙江大学)
本文研究了在迭代矩阵奇异时最小型递进迭代逼近法的收敛性,通过分析证明其在奇异情况下仍具收敛性。
2017-07-28 cs.NA math.NA
Linearized estimate of the backward error for the equality constrained indefinite least squares problem
Northeast Normal University(东北师范大学)
本文研究了等式约束不定二次最小二乘问题的回溯误差,采用线性化方法推导出精确回溯范数误差的紧估计,并通过数值实验验证其有效性。
2018-01-29 cs.NA math.NA
Quasi-Optimal Least Squares: Inhomogeneous boundary conditions, and application with machine learning
本文针对非齐次本质边界条件的偏微分方程,提出用对偶范数构造拟最优最小二乘形式,将求解转化为鞍点问题,并分别给出有限元稳定配对与对抗网络两种求解方案。
2025-05-09 cs.NA math.NA
First order least-squares formulations for eigenvalue problems
本文讨论椭圆型偏微分方程的最小二乘有限元逼近中算子的谱性质。借助适当的$L^2$误差估计,研究和分析了离散本征值和本征函数向相应的连续本征模的收敛性。先验和后验估计证明。
2020-02-19 cs.NA math.NA
Least-Squares Method for Inverse Medium Problems
本文提出了一种两阶段最小二乘方法来解决从噪声数据中同时重建多个未知系数的介质反问题。在第一阶段采用直接采样方法检测不均匀性的位置,而在第二阶段采用混合正则化的总体最小二乘法恢复介质剖面。总最小二乘法的目的是尽量减少残差的模型方程和数据拟合,以及适当的正则化,试图显着提高从第一阶段获得的近似的精度。我们还将提出一个分析的适定性和收敛性的算法。数值实验验证了这种新的两阶段最小二乘算法的精度和鲁棒性,具有很大的噪声容限。
2022-01-02 cs.NA math.NA
Stochastic gradient descent for linear least squares problems with partially observed data
提出了一种新的随机梯度下降法来求解部分观测数据下的线性最小二乘问题。我们的方法使用子矩阵索引随机选择的一对行和列的索引集更新在每一步的矩阵。在均方意义上的理论收敛保证。数值实验报告,以证明理论研究结果。
2020-07-09 cs.NA math.NA
The Finite Cell Method with Least Squares Stabilized Nitsche Boundary Conditions
我们最近开发的最小二乘稳定对称Nitsche方法的实施Dirichlet边界条件的有限单元法。最小二乘稳定化Nitsche方法与有限单元稳定化相结合,导致对称正定刚度矩阵,并且仅依赖于元素稳定化,这不会导致额外的填充。我们证明了先验误差估计和界的条件数。
2021-10-27 cs.NA math.NA
Adaptive Two-Layer ReLU Neural Network: II. Ritz Approximation to Elliptic PDEs
本文研究了求解自伴二阶椭圆型偏微分方程的自适应神经元增强(ANE)方法。ANE方法是一种自适应的方法,它生成一个两层样条神经网络和一个数值积分网格,使得逼近精度在规定的公差范围内。此外,ANE方法提供了一个自然的过程来获得一个良好的初始化,这是至关重要的训练非线性最优化问题。底层PDE离散化的里兹方法使用两层样条神经网络的基础上的原始或对偶配方,最大限度地减少各自的能量或互补泛函。本质边界条件通过具有适当范数的泛函弱地施加。证明了Ritz近似是能量范数意义下的最佳逼近,并分析了数值积分对Ritz近似的影响。介绍了自适应神经元增强方法的两种估计器,一种是所谓的恢复估计器,另一种是最小二乘估计器。最后给出了具有角点奇异性和相交界面奇异性的扩散问题的数值结果。
2021-07-14 cs.NA math-ph math.MP
Plateau Phenomenon in Gradient Descent Training of ReLU networks: Explanation, Quantification and Avoidance
Brown University(布朗大学)
神经网络在广泛的应用中提供“同类最佳”近似的能力是有据可查的。然而,如果不能有效地训练(选择)定义网络的参数,神经网络的强大表现力将化为乌有。通常,神经网络通过梯度下降型优化方法或其随机变体来训练。在实践中,这种方法导致损失函数在训练开始时迅速减小,但随后在相对少量的步骤之后显著减慢。这种损失甚至可能在大量的时期内表现为停滞,然后突然又开始快速减少,没有明显的原因。这种所谓的高原现象在许多学习任务中表现出来。目前的工作旨在确定和量化高原现象的根本原因。没有假设神经元的数量相对于训练数据的数量,我们的结果适用于懒惰和自适应制度。主要调查结果如下:平稳期对应于激活模式保持恒定的时期,其中激活模式是指激活给定神经元的数据点的数量;梯度流动动力学的收敛的量化;以及根据训练数据的子集上的局部最小二乘回归线的解来表征静止点。基于这些结论,我们提出了一种新的迭代训练方法,主动神经元最小二乘法(ANLS),其特征在于在每一步的激活模式的显式调整,其目的是使快速退出高原。说明性的数值例子包括在整个。
2020-07-14 cs.LG cs.NA math.NA
A new data fitting method for stretched Gaussian noise: stretched least square method
拉伸高斯分布是Hausdorff导数扩散方程的基本解,其对应的拉伸高斯噪声是科学和工程中广泛遇到的非高斯噪声。最小二乘法是拟合高斯噪声数据的标准回归方法,但对于非高斯噪声具有明显的限制。基于Hausdorff演算,以Hausdorff分形距离为横坐标,提出了一种拟合拉伸高斯噪声的拉伸最小二乘法。为了更好地与最小二乘法进行比较,将不同高水平的拉伸高斯噪声添加到实值。数值实验表明,拉伸最小二乘法比最小二乘法更适合于拟合拉伸高斯噪声。
2019-06-11 cs.NA math.NA physics.comp-ph
Upper Hölderian with Explicit Exponent of Solution Mapping with Applications to Ball Constrained Least Squares Problems
National University of Defense Technology(国防科技大学)
本文将Robinson广义方程隐函数定理扩展至上Hölder情形,确定了指数依赖关系,并证明球约束线性最小二乘解映射局部指数为1/3的上Hölder连续性,进而推广至参数情形,为相关问题提供了理论支撑。
2026-08-25 cs.NA math.NA math.OC
Robust Least Squares for Quantized Data Matrices
在本文中,我们制定和解决一个稳健的最小二乘问题的线性方程组系统的量化误差的数据矩阵。普通最小二乘法无法考虑算子中的不确定性,对观测信号中的所有噪声进行建模。总体最小二乘考虑了数据矩阵中的不确定性,但与普通最小二乘相比,必然会增加运算符的条件数。Tikhonov正则化或岭回归经常被用来对抗病态,但需要参数调整,这带来了许多挑战,并对参数先验分布进行了强假设。所提出的方法还需要选择参数,但是可以以自然的方式选择参数,例如,四舍五入到第四位的矩阵使用0.5e-4的不确定性边界参数。我们在这里表明,我们的强大的方法在理论上是适当的,易于处理的,并表现良好,对普通和总最小二乘。
2020-06-23 cs.NA math.NA math.OC
Least Squares Finite Element Method for Hepatic Sinusoidal Blood Flow
复杂生物系统的模拟,例如器官中血流的描述,需要大量的计算能力以及对器官生理学的详细描述。我们提出了一种新的最小二乘离散化方法模拟的正弦血流在肝小叶使用多孔介质的方法为肝脏组织。不同最小二乘项的缩放导致鲁棒算法,并且固有误差估计器提供了有效的细化策略。
2020-08-04 cs.CE cs.NA math.NA
Deep neural networks with ReLU, leaky ReLU, and softplus activation provably overcome the curse of dimensionality for space-time solutions of semilinear partial differential equations
University of Wuppertal(伍珀塔尔大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Münster(明斯特大学);Toyota Financial Services(丰田金融服务公司)
本文证明采用 ReLU、leaky ReLU 或 softplus 的 DNN 能在时空区域上以 L^p 意义无维数灾难地逼近带 Lipschitz 非线性项的高维半线性热方程解。
2024-06-16 cs.LG cs.NA math.NA