Statistical-Query Lower Bounds via Functional Gradients
Microsoft Research NYC(微软研究院纽约中心);University of Texas at Austin(得克萨斯大学奥斯汀分校);Institute for Advanced Study(高等研究院)
我们给出了关于高斯边缘的不可知学习任何非多项式激活的第一个验证查询下界(例如,ReLU,乙状结肠,征)。对于ReLU回归的特定问题(相当于不可知地学习ReLU),我们证明了任何具有容差$n^{-(1/ε)^b}$的查询算法必须至少使用$2^{n^c} ε$查询某些常数$b, c > 0$,其中$n$是维度,$ε$是精度参数。我们的研究结果排除了一般(而不是相关)SQ学习算法,这是不寻常的实值学习问题。我们的技术涉及一个梯度提升过程,用于“放大”Diakonikolas等人(COLT 2020)和Goel等人(ICML 2020)关于双层神经网络计算的函数的SQ维度的最近下限。关键的新成分是使用非标准的凸函数在提升过程中。这也产生了两种常见的学习模型之间的最佳可能的减少:不可知学习和概率概念。
2020-10-22 cs.DS cs.LG stat.ML
Robust One-Bit Recovery via ReLU Generative Networks: Near-Optimal Statistical Rate and Global Landscape Analysis
University of Michigan(密歇根大学);Facebook, Inc.(Facebook公司);Princeton University(普林斯顿大学)
我们研究鲁棒的一位压缩感知问题,其目标是设计一种算法,通过$m$量化的噪声测量忠实地恢复任何稀疏目标向量$θ_0\in\mathbb{R}^d$ \textit{uniformly}。具体地,我们考虑用于该问题的新框架,其中稀疏性通过将低维表示$x_0 \in \mathbb{R}^k$映射通过已知的$n$层ReLU生成网络$G:\mathbb{R}^k\rightarrow\mathbb{R}^d$来隐式地实施,使得$θ_0 = G(x_0)$。这样一个框架构成低维先验$θ_0$没有一个已知的稀疏性基础。我们建议恢复目标$G(x_0)$解决无约束的经验风险最小化(ERM)。在弱\textit{sub-exponential measurement assumption}下,我们建立了一个联合统计和计算分析。特别是,我们证明,在这个新的框架中的ERM估计达到了统计率的$m=\widetilde{\mathcal{O}}(kn \log d /\varepsilon^2)$恢复任何$G(x_0)$均匀的错误$\varepsilon$。当网络较浅时(即,$n$是小的),我们表明,这个速率匹配的信息理论下限的对数因子的$\varepsilon^{-1}$。从计算的角度,我们证明了在适当的网络权重条件下,我们提出的经验风险,尽管非凸,没有真正的表示$x_0$及其负倍数周围的小邻域外的稳定点…
2020-08-22 cs.LG math.ST stat.ML
A comparison of deep networks with ReLU activation function and linear spline-type methods
Leiden University(莱顿大学)
深度神经网络(DNN)生成的函数空间比浅网络丰富得多。由于浅网络诱导的函数空间有几个近似理论的缺点,这并不一定解释了深网络的成功。在这篇文章中,我们采取了另一种方法,将DNN与ReLU激活函数的表达能力与分段线性样条方法进行比较。我们发现,MARS(多元自适应回归样条)是不适当的学习DNN的意义上,对于任何给定的功能,可以表示为一个功能的MARS与$M$参数存在一个多层神经网络与$O(M \log (M/\varepsilon))$参数,近似这个功能,以超范数误差$\varepsilon.$我们显示了类似的结果扩展相对于Faber-Schauder系统。在此基础上,我们推导出风险比较不等式,约束的统计风险拟合的神经网络基于样条函数的方法。这表明深度网络的性能比所考虑的样条方法更好或仅略差。给出了函数逼近的构造性证明。
2018-09-24 cs.LG stat.ME stat.ML
Why ReLU Units Sometimes Die: Analysis of Single-Unit Error Backpropagation in Neural Networks
Southern Methodist University(南卫理公会大学)
最近,机器学习中的神经网络在早期处理层中使用整流线性单元(ReLU)以获得更好的性能。训练这些结构有时会导致输出接近零的“死亡ReLU单元”。我们首先通过使用CIFAR-10数据集和两种流行的卷积神经网络架构的变体进行模拟来探索这种情况。我们的探索表明,输出激活概率Pr[y>0]在系统收敛时通常小于0.5,对于不采用跳跃连接的层,并且随着从输入层到输出层的进展,该激活概率趋于减小。使用一个由误差反向传播变体训练的单个ReLU单元的简化模型,然后我们进行统计收敛分析,以探索模型的进化行为。我们的分析描述了死亡ReLU单元的潜在较慢的收敛速度,无论权重如何初始化,这个问题都可能发生。
2018-12-14 cs.LG eess.SP stat.ML
Approximation in $L^p(μ)$ with deep ReLU neural networks
Katholische Universität Eichstätt–Ingolstadt(艾希施泰特-因戈尔施塔特天主教大学);University of Oxford(牛津大学)
通过分析非光滑ReLU激活函数$\varrho(x) = \max\{0,x\}$的逼近理论性质,讨论了这种神经网络的表达能力。现有的结果主要分为两类:使用具有固定深度的ReLU网络进行近似,或者使用深度随近似精度增加的ReLU网络。回顾这些发现后,我们表明,结果与固定深度的网络--到目前为止只考虑近似在$L^p(λ)$的勒贝格措施$λ$ --可以推广到近似在$L^p(μ)$,任何有限的Borel措施$μ$。特别是,一般的结果适用于统计学习理论的通常设置,其中一个是有兴趣在近似$L^2(\mathbb{P})$,概率测度$\mathbb{P}$描述的数据分布。
2019-04-09 cs.LG math.FA
Higher-order-ReLU-KANs (HRKANs) for solving physics-informed neural networks (PINNs) more accurately, robustly and faster
College of Professional and Continuing Education(专业及持续教育学院);The Hong Kong Polytechnic University(香港理工大学);The University of Hong Kong(香港大学)
本文提出以高阶ReLU作为KANs激活函数基础的HRKANs,通过简化激活函数并保留光滑非零高阶导数,在Poisson方程和Burgers方程上显著提升PINNs的拟合精度、鲁棒性并降低训练时间。
2024-09-29 cs.AI cs.CE cs.LG
Analytic Characterization of the Hessian in Shallow ReLU Models: A Tale of Symmetry
NYU(纽约大学);UCSB(加州大学圣巴巴拉分校)
我们考虑与拟合双层ReLU网络相关的优化问题,其中标签由目标网络生成。我们利用丰富的对称性结构,分析表征的Hessian在各种家庭的虚假最小值的自然政权的输入$d$和隐藏的神经元$k$的数量是有限的。特别地,我们证明了对于$d\ge k$标准高斯输入:(a)的$dk$特征值的Hessian,$dk - O(d)$集中在零附近,(b)$Ω(d)$的特征值与$k$线性增长。虽然这种极其扭曲的光谱现象以前已经被观察过很多次,但据我们所知,这是第一次被严格地确立。我们的分析方法使用的技术,新的领域,从对称性破缺和表示理论,并进行重要的影响,我们的能力,通过局部曲率的统计推广。
2020-10-15 cs.LG math.OC stat.ML
Representational Power of ReLU Networks and Polynomial Kernels: Beyond Worst-Case Analysis
Massachusetts Institute of Technology(麻省理工学院)
无论是在过去还是最近,人们都对不同的通用逼近器家族(例如ReLU网络,多项式,有理函数)的能力非常感兴趣。然而,目前的研究几乎完全集中在最坏情况下的理解这个问题,例如将最佳无穷范数近似的误差限制在一个盒子里。在这种设置中,甚至需要一个高次多项式来近似单个ReLU。然而,在高维数据的实际应用中,我们希望在其域的某些相关部分上很好地近似所需函数才是重要的。有了这个动机,我们分析的能力,神经网络和多项式内核的有界程度,以实现良好的统计性能的一个简单的,自然的推理问题,稀疏的潜在结构。对于这个问题,我们给出了神经网络和低次多项式性能的几乎紧界。我们的界限多项式涉及新的技术,可能是独立的利益,并显示出重大的定性差异与已知的最坏情况下的设置。
2018-05-29 cs.DS cs.LG stat.ML
Learning ReLU networks to high uniform accuracy is intractable
University of Vienna(维也纳大学);Austrian Academy of Sciences(奥地利科学院);Catholic University of Eichstätt-Ingolstadt(艾希施泰特-因戈尔施塔特天主教大学)
统计学习理论提供了在给定目标类上制定的学习问题中达到规定精度所需的训练样本的必要数量的界限。该精度通常根据泛化误差来测量,即,给定损失函数的期望值。然而,对于一些应用程序-例如在安全关键的上下文中或对于计算科学中的问题-这种意义上的准确性是不够的。在这种情况下,人们希望对每个输入值都有高精度的保证,也就是说,关于统一范数。在本文中,我们精确地量化了任何可能的训练算法所需的训练样本数量,以保证在包含(或由)具有指定架构的ReLU神经网络组成的目标类上制定的任何学习问题上具有给定的统一精度。我们证明,在非常一般的假设下,该任务的最小训练样本数在网络架构的深度和输入维度上都呈指数级增长。
2023-02-28 cs.LG stat.ML
Phase diagram for two-layer ReLU neural networks at infinite-width limit
Shanghai Jiao Tong University(上海交通大学)
神经网络在不同超参数选择下的训练行为是神经网络研究中的一个重要问题。在这项工作中,受统计力学中的相图的启发,我们在无限宽度限制下绘制了双层ReLU神经网络的相图,以完整表征其动力学机制及其对与初始化相关的超参数的依赖性。通过实验和理论方法,我们确定了相图中的三个区域,即,线性区、临界区和凝聚区,根据输入权值随宽度的变化分别趋向于$0$、$O(1)$和$+\infty$。在线性状态下,NN训练动态近似线性,类似于具有指数损失衰减的随机特征模型。在凝聚制度,我们通过实验证明,活跃的神经元凝聚在几个离散的方向。临界区是两个区之间的边界,表现出中间非线性行为,平均场模型是一个典型的例子。总的来说,我们的双层ReLU NN的相图可以作为未来研究的地图,并且是对不同结构的NN的训练行为和隐式正则化进行更系统研究的第一步。
2020-10-13 cs.LG stat.ML
Global Capacity Measures for Deep ReLU Networks via Path Sampling
University of California, Berkeley(加州大学伯克利分校);Rutgers University - New Brunswick(罗格斯大学新伯朗士威校区);Salesforce Research(赛富时研究院)
关于线性模型的统计复杂性的经典结果通常将权重$\|w\|$的范数确定为基本容量度量。将这种度量推广到深度网络的设置是多种多样的,尽管经常识别的数量是每层权重范数的乘积。在这项工作中,我们表明,对于一个大类的网络具有积极的同质性,类似的界限,而不是在权重的产品的范数。我们的证明技术概括了最近提出的采样参数,这使我们能够证明正齐次网络的稀疏逼近的存在。这会产生覆盖数的界限,它可以转换为泛化界的多类分类,是可比的,并在某些情况下,改进,现有的文献中的结果。最后,我们实证研究了我们的抽样程序,得出了与我们的理论一致的结果。
2019-10-22 cs.LG stat.ML
Algorithms and SQ Lower Bounds for PAC Learning One-Hidden-Layer ReLU Networks
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加州大学圣地亚哥分校)
我们研究了在存在加性标签噪声的情况下,在高斯边缘下,PAC在$\mathbb{R}^d$上学习具有$k$隐藏单元的单隐藏层ReLU网络的问题。对于正系数的情况下,我们给这个学习问题的$k$到$\tilde{O}(\sqrt{\log d})$的第一个多项式时间算法。以前,没有已知的多项式时间算法,即使是对于$k=3$。这回答了~ \cite{Kliv17}提出的一个开放性问题。重要的是,我们的算法不需要任何假设的秩的权重矩阵和它的复杂性是独立的条件数。在负面方面,对于PAC学习具有任意实系数的单隐藏层ReLU网络的更一般任务,我们证明了$d^{Ω(k)}$的统计查询下界。因此,我们在有效的可学习性方面提供了两个类之间的分离。我们的上限和下限是一般的,扩展到更广泛的家庭的激活函数。
2020-06-22 cs.DS cs.LG math.ST
Overparameterized ReLU Neural Networks Learn the Simplest Models: Neural Isometry and Exact Recovery
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
深度学习的实践表明,神经网络即使在学习参数数量极端的情况下也能很好地泛化。这似乎与传统的统计智慧相矛盾,在传统的统计智慧中,模型复杂性和数据拟合之间的权衡至关重要。我们的目标是通过采用凸优化和稀疏恢复的角度来解决这种差异。我们考虑具有标准权重衰减正则化的双层ReLU网络的训练和泛化特性。在对数据的某些规律性假设下,我们证明了具有任意数量参数的ReLU网络只学习解释数据的简单模型。这类似于压缩感知中稀疏线性模型的恢复。对于ReLU网络及其具有跳过连接或归一化层的变体,我们提出了确保植入神经元准确恢复的等距条件。对于随机生成的数据,我们证明了在恢复种植神经网络模型时存在一个相变,这很容易描述:只要样本数与维数之比超过一个数值阈值,恢复就有很高的概率成功;否则,它就有很高的概率失败。令人惊讶的是,ReLU网络学习简单而稀疏的模型,即使标签有噪声,也能很好地泛化。通过数值实验证实了相变现象。
2023-02-17 cs.IT cs.LG math.IT
Error Bounds for a Matrix-Vector Product Approximation with Deep ReLU Neural Networks
National Institute of Standards and Technology (NIST)(美国国家标准与技术研究院);École de Technologie Supérieure (ÉTS)(高等技术学院)
在人工智能(AI)或机器学习(ML)的几种范式中,一个非常成功的范式是深度学习。人们希望通过对深度学习理论的基础研究来解释深度学习的巨大成功。相应地,对深度学习的应用研究也推动了面向深度学习理论的深度和广度的发展。受这些发展的启发,我们提出了这些基本问题:我们能否使用深度整流线性单元(ReLU)前馈神经网络(FNN)准确地近似任意矩阵向量乘积?如果是这样,我们能限制由此产生的近似误差吗?鉴于这些问题,我们推导出误差界Lebesgue和Sobolev规范,包括我们开发的深度逼近理论。在这一理论的指导下,我们成功地训练了深度ReLU FNN,其测试结果证明了我们开发的理论。开发的理论也适用于指导和简化教师深度ReLU FNN的培训,因为新兴的师生AI或ML范式对于解决无线通信和信号处理中的几个AI或ML问题至关重要;网络科学和图形信号处理;以及网络神经科学和脑物理学。
2021-11-25 cs.LG stat.ML
Two-Timescale Fine-tuning Provably Learns New Features for Two-Layer ReLU Networks
INRIA(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学);EPFL(洛桑联邦理工学院)
本研究提出双时间尺度微调方法,证明其能从稀缺数据中学习新特征,同时保留预训练特征,且所需样本量独立于预训练特征数,优于随机初始化。
2026-09-29 cs.LG stat.ML
Deep ReLU networks -- injectivity capacity upper bounds
本文通过将深度ReLU网络单射性与ℓ0球面感知器的l-扩展相联系,并利用随机对偶理论,精确研究了深度网络单射容量上界,发现仅4层深度即可接近扩展饱和效应。
2024-12-27 cond-mat.dis-nn cs.IT cs.LG
Sample Complexity of Offline Reinforcement Learning with Deep ReLU Networks
Johns Hopkins University(约翰斯·霍普金斯大学);Deakin University(迪肯大学)
离线强化学习(RL)利用先前收集的数据进行策略优化,而无需任何进一步的主动探索。尽管最近的兴趣在这个问题上,它的理论结果在神经网络函数逼近设置仍然难以捉摸。本文研究了具有深度ReLU网络函数近似的离线RL的统计理论。特别地,我们建立了具有深度ReLU网络的离线RL的$n = \tilde{\mathcal{O}}( H^{4 + 4 \frac{d}α} κ_μ^{1 + \frac{d}α} ε^{-2 - 2\frac{d}α} )$的样本复杂度,其中$κ_μ$是分布偏移的度量,{ $H = (1-γ)^{-1}$是有效水平长度},$d$是状态-动作空间的维度,$α$是底层马尔可夫决策过程(MDP)的(可能是分数)平滑参数,并且$ε$是用户指定的错误。值得注意的是,我们的样本的复杂性下两个新的考虑:Besov动态封闭和相关的结构。虽然Besov动态闭包包含了现有工作中离线RL的动态条件,但相关结构使得离线RL的现有工作与一般/神经网络函数近似不适当或效率低下{在长(有效)时域问题中}。据我们所知,这是第一个理论表征离线RL的样本复杂性与深度神经网络函数近似下的一般Besov正则性条件,超越了传统的再生希尔伯特核空间和神经切线核{线性制度}。
2022-12-13 cs.LG stat.ML
An Analytical Formula of Population Gradient for two-layered ReLU network and its Applications in Convergence and Critical Point Analysis
Facebook AI Research(Facebook人工智能研究院)
在本文中,我们探索了训练双层ReLU网络$g(\mathbf{x}; \mathbf{w}) = \sum_{j=1}^K σ(\mathbf{w}_j^T\mathbf{x})$的理论性质,其中中心$d$维球形高斯输入$\mathbf{x}$($σ$ =ReLU)。我们在$\mathbf{w}$上用梯度下降来训练我们的网络,以模仿具有相同架构和固定参数$\mathbf{w}^*$的教师网络的输出。我们表明,它的人口梯度有一个解析公式,导致有趣的理论分析的临界点和收敛行为。首先,我们证明了教师参数(“平面外”)所张成的超平面外的临界点不是孤立的,并形成流形,并描述了两种ReLU情况下的平面内无临界点区域。另一方面,如果权重被随机初始化,标准偏差上限由$O(ε/\sqrt{d})$限定,则至少以$(1-ε)/2$概率保证一个ReLU节点收敛到$\mathbf{w}^*$,这与经验实践一致。对于具有许多ReLU节点的网络,我们证明了权重初始化的无穷小扰动会导致收敛到$\mathbf{w}^*$(或其排列),这是物理学中称为自发破缺(SSB)的现象。我们假设ReLU激活没有独立性。仿真验证了我们的研究结果。
2017-05-24 cs.LG
Hardness of Noise-Free Learning for Two-Hidden-Layer Neural Networks
UC Berkeley(加州大学伯克利分校);UT Austin(德克萨斯大学奥斯汀分校);UCLA(加州大学洛杉矶分校)
我们给出了在标准(无噪声)模型中学习两个隐藏层ReLU网络的超多项式统计查询(SQ)下界。在这种情况下,学习任何深度的ReLU网络都没有通用的SQ下限:以前的SQ下限仅适用于对抗性噪声模型(不可知学习)或相关SQ等受限模型。以前的工作暗示了我们的结果是不可能的:Vempala和Wilmes证明了一般的SQ下界不能应用于任何满足简单非退化条件的实值函数族。为了规避他们的结果,我们改进了Daniely和Vardi的提升过程,将布尔PAC学习问题减少到高斯学习问题。我们展示了如何将他们的技术扩展到其他学习模型,并在许多研究充分的情况下,获得更有效的减少。因此,我们还证明了PAC学习两个隐藏层ReLU网络的新密码学硬度结果,以及从标签查询学习恒定深度ReLU网络的新下界。
2022-11-13 cs.CC cs.LG stat.ML
Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对标准高斯分布下k个ReLU激活线性组合的PAC学习问题,提出基于张量分解与Schur多项式的高效算法,复杂度为(dk/ε)^O(k),在相关统计查询算法类中接近最优。
2023-07-25 cs.DS cs.LG math.ST
Fast approximation and learning of binary classification tasks in o-minimal structures using ReLU neural networks
Faculty of Mathematics, University of Vienna(维也纳大学数学系)
研究决策集为实域o-minimal扩张中可定义集的二分类问题,引入可追踪集作为可定义决策区域的经典代理,证明ReLU神经网络能以特定速率逼近其特征函数,并得到统计学习率。
2026-11-13 cs.LG math.FA math.LO
Provable Identifiability of Two-Layer ReLU Neural Networks via LASSO Regularization
University of Pennsylvania Wharton School(宾夕法尼亚大学沃顿商学院);University of Minnesota(明尼苏达大学)
本文证明LASSO正则化可稳定重建两层ReLU神经网络并识别其依赖的输入子集,样本量随维度对数增长,并提出了基于神经网络的变量选择方法。
2023-05-07 cs.LG math.ST stat.TH
Analytic Study of Families of Spurious Minima in Two-Layer ReLU Neural Networks: A Tale of Symmetry II
The Hebrew University(希伯来大学);UC Santa Barbara(加利福尼亚大学圣巴巴拉分校)
我们研究了与拟合双层ReLU神经网络相关的优化问题,其中标签由目标网络生成。我们利用丰富的对称结构,开发了一套新的工具来研究家庭的虚假极小。与现有的方法,在有限的制度,我们的技术直接解决了非凸损失景观有限数量的输入$d$和神经元$k$,并提供分析,而不是启发式的信息。特别是,我们推导出分析估计的损失在不同的最小值,并证明模$O(d^{-1/2})$ -项的海森谱集中在小的正常数附近,与$Θ(d)$的特征值与~ $d$线性增长的例外。我们进一步表明,在全球和虚假的最小值的海森谱符合$O(d^{-1/2})$顺序,从而挑战我们的能力,通过局部曲率统计推广。最后,我们的技术提供了精确的\emph{fractional}维数,在该维数下,临界点族从鞍点变为伪极小值。这使得有可能使用强大的工具,从等变分岔理论的虚假极小值的创建和湮灭的研究。
2021-10-17 cs.LG math.DS math.OC
Evolutionary Optimization of Deep Learning Activation Functions
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Cognizant Technology Solutions(高知特技术解决方案公司)
激活函数的选择对神经网络的性能有很大的影响。虽然已经有一些尝试手动设计新颖的激活函数,但整流线性单元(ReLU)仍然是实践中最常用的。本文表明,进化算法可以发现新的激活函数,优于ReLU。候选激活函数的树为基础的搜索空间的定义和探索变异,交叉和穷举搜索。在CIFAR-10和CIFAR-100图像数据集上训练宽残差网络的实验表明,该方法是有效的。用进化的激活函数取代ReLU,可以显著提高网络准确性。当进化被允许定制激活函数到一个特定的任务时,达到最佳性能;然而,这些新的激活函数被证明是通用的,实现跨任务的高性能。因此,激活函数的进化优化是神经网络中元学习的一个有前途的新维度。
2020-04-11 cs.CV cs.LG cs.NE
Tight Sample Complexity of Learning One-hidden-layer Convolutional Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
研究了使用非重叠滤波器学习单隐层卷积神经网络(CNN)的样本复杂度。我们提出了一种新的算法,称为近似梯度下降训练CNN,并表明,具有很高的概率,所提出的算法与随机初始化授予一个线性收敛的地面真理参数统计精度。与已有的工作相比,我们的结果适用于一般的非平凡、单调和Lipschitz连续的激活函数,包括ReLU、Leaky ReLU、Sigmod和Softplus等。事实上,我们的结果与学习具有线性激活函数的一个隐藏层CNN的信息理论下限相匹配,这表明我们的样本复杂度很紧。我们的理论分析得到了数值实验的支持。
2019-11-12 cs.LG stat.ML
From Hard to Soft: Understanding Deep Network Nonlinearities via Vector Quantization and Statistical Inference
Rice University(莱斯大学)
非线性对于深度(神经)网络(DN)的性能至关重要。到目前为止,对可用非线性的理解进展甚微,但最近在理解分段仿射和凸非线性(如ReLU和绝对值激活函数和最大池化)所扮演的角色方面取得了进展。特别地,从这些操作构造的DN层可以被解释为{ \em最大仿射样条算子}(MASO),其具有到矢量量化(VQ)和$K$均值的优雅链接。虽然这是一个很好的理论进展,但整个MASO方法都是基于非线性分段仿射和凸的要求,这排除了重要的激活函数,如sigmoid,双曲正切和softmax。{ \em本文通过将确定性MASO与概率高斯混合模型(GARCH)联系起来,将MASO框架扩展到这些和无限大类新的非线性。}我们表明,在GMM下,分段仿射,凸非线性,如ReLU,绝对值和最大池可以解释为某些自然“硬”VQ推理问题的解决方案,而sigmoid,双曲正切和softmax可以解释为相应的“软”VQ推理问题的解决方案。我们通过混合硬和软VQ优化来进一步扩展框架,以创建在硬、软和线性VQ推理之间插值的$β$ -VQ推理。$β$ DN非线性的一个主要示例是{ \em swish}非线性,其在一系列计算机视觉任务中提供最先进的性能,但是通过实验特别开发。最后,我们用实验验证了我们理论的一个重要论断,即DN性能可以通过在其线性滤波器中执行正交性来显着提高。
2018-10-22 cs.LG stat.ML
Mitigating the Curse of Dimensionality in Uniform Convergence of Deep Neural Networks via Smooth Activations
Department of Statistics, The Pennsylvania State University(宾夕法尼亚州立大学统计学系)
本文通过分析平滑激活深度神经网络,建立了统一收敛的理论框架,证明其能够通过自适应利用目标函数的低维层次组合结构来缓解维度灾难。
2026-06-04 cs.LG math.ST stat.ME
Uncertainty propagation in feed-forward neural network models
Department of Applied Mathematics, UC Santa Cruz(应用数学系,UC Santa Cruz)
针对带泄漏 ReLU 激活函数的前馈神经网络,推导了输出概率密度函数及统计矩的解析表达式,提出高斯 copula 代理模型,并通过 Monte Carlo 模拟验证了理论预测的准确性。
2025-08-09 cs.LG stat.ML
Formal Verification of Stochastic Systems with ReLU Neural Network Controllers
Duke University(杜克大学)
在这项工作中,我们解决了配备ReLU神经网络(NN)控制器的随机网络物理系统(CPS)的正式安全验证问题。我们的目标是找到一组初始状态,在预定的置信度下,系统在指定的时间范围内不会达到不安全的配置。具体来说,我们考虑离散时间线性时不变系统与高斯噪声,我们抽象的一个合适的图。然后,我们制定了一个可满足性模凸(SMC)的问题,估计上界的转移概率在图中的节点之间。使用这个抽象,我们提出了一种方法来计算紧边界上的节点的安全概率在这个图中,尽管这些节点之间的转移概率可能过近似。此外,使用建议的SMC公式,我们设计了一个启发式方法来细化系统的抽象,以进一步提高估计的安全界限。最后,我们证实了所提出的方法的有效性与仿真结果考虑机器人导航的例子和比较对国家的最先进的验证计划。
2021-03-08 cs.LG cs.SY eess.SY
Optimal Rates for Generalization of Gradient Descent Methods with Deep Neural Networks
Mathematical Institute for Machine Learning and Data Science, KU Eichstätt-Ingolstadt(机器学习与数据科学数学研究所,埃施特哈特-英戈尔施塔特大学);Department of Computer Science, RPTU Kaiserslautern-Landau(计算机科学系,凯撒斯劳滕-兰道大学);Department of Mathematics, University of Hong Kong(数学系,香港大学);School of Mathematics and Statistics, University of Sydney(数学与统计学学院,悉尼大学)
本文针对深度ReLU网络,在神经正切核(NTK)机制下,首次建立了梯度下降(GD)和随机梯度下降(SGD)的极小化最优泛化误差速率,证明宽度足够时可达核方法的最优速率。
2026-06-04 cs.AI cs.LG stat.ML
Learning the gravitational force law and other analytic functions
Google Research(谷歌研究院)
Large neural network models have been successful in learning functions of importance in many branches of science, including physics, chemistry and biology. Recent theoretical work has shown explicit learning bounds for wide networks and kernel methods on some simple classes of functions, but not on more complex functions which arise in practice. We extend these techniques to provide learning bounds for analytic functions on the sphere for any kernel method or equivalent infinitely-wide network with the corresponding activation function trained with SGD. We show that a wide, one-hidden layer Re…
2020-05-15 cs.LG stat.ML
A Wasserstein perspective of Vanilla GANs
Karlsruhe Insitute of Technology(卡尔斯鲁厄理工学院)
本文从Wasserstein距离视角建立Vanilla GANs与Wasserstein GANs的理论联系,推导出适用于ReLU网络的oracle不等式及收敛速率。
2024-07-29 cs.LG math.ST stat.ML
Mean Field Theory of Activation Functions in Deep Neural Networks
Microsoft(微软);Singapore University of Technology and Design(新加坡科技设计大学);Chulalongkorn University(朱拉隆功大学);European Center for Theoretical Studies in Nuclear Physics and Related Areas(欧洲核物理及相关领域理论研究中心);Trento Institute for Fundamental Physics and Applications(特伦托基础物理与应用研究所);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
我们提出了一个统计力学(SM)模型的深度神经网络,连接基于能量和前馈网络(FFN)的方法。我们推断FFN可以理解为执行三个基本步骤:编码,表示验证和传播。从该模型的平均场解出发,我们得到了一组自然激活函数,如Sigmoid,$\tanh$和ReLu,以及最新的Swish;这代表了通过网络传播的预期信息,并且在零噪声的限制下趋于ReLu。我们研究了相关分类任务上的Hessian的频谱,这表明Swish允许在更广泛的网络架构上实现更一致的性能。
2019-06-06 cs.LG cs.NE stat.ML
Sobolev Approximation of Deep ReLU Networks in Log-Barron Space
Research Institute of Mathematics, Seoul National University(首尔国立大学数学研究所);Department of Mathematics, Inha University(inha大学数学系);Department of Mathematical Sciences, Seoul National University(首尔国立大学数学科学系)
本文提出了一种对数加权Barron空间,研究了深度ReLU网络在该空间中的逼近性能,并揭示了深度如何降低正则性要求,为高维问题提供更精确的解释。
2026-01-14 cs.LG cs.NA math.NA
On the Compatibility between Neural Networks and Partial Differential Equations for Physics-informed Learning
STFC(科学与技术设施委员会)
本文揭示了基于 ReLU 的 MLP 因 Hessian 矩阵消失而无法逼近高阶 PDE 解的陷阱,并提出一种利用输出层超平面使网络严格满足 PDE 的“物理强制”PINN 架构,无需 PDE 损失函数即可保证逐点正确性。
2023-04-01 cs.LG physics.comp-ph
Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Kernel Renormalization
Harvard University(哈佛大学);Hebrew University(希伯来大学)
深度学习在许多现实任务中的成功,引发了人们对深度学习在复杂任务的训练和泛化中的能力和局限性的深入研究,但迄今为止进展有限。在这项工作中,我们研究了深度线性神经网络(DLNN)中学习的统计机制,其中单个单元的输入输出函数是线性的。尽管单元是线性的,但DLNN中的学习是非线性的,因此研究其属性揭示了非线性深度神经网络(DNN)的一些特征。重要的是,我们使用权重空间中的平衡吉布斯分布精确地解决了监督学习之后的网络属性。为此,我们引入了反向核重整化(BPKR),它允许从网络输出层开始对网络权重进行增量积分,并向后进行,直到第一层的权重被积分出来。这个过程使我们能够评估重要的网络属性,如其泛化误差,网络宽度和深度的作用,训练集大小的影响,以及权重正则化和学习随机性的影响。BPKR不假设输入或任务输出的特定统计信息。此外,通过执行层的部分集成,BPKR允许我们计算跨不同隐藏层的神经表示的属性。我们提出了将BPKR扩展到具有ReLU的非线性DNN。令人惊讶的是,我们的数值模拟表明,尽管存在非线性,但我们理论的预测在很大程度上被ReLU网络在广泛的参数范围内共享。我们的工作是DNN家族中第一个精确的统计力学学习研究,也是第一个成功的通过在学习的权重空间中连续整合DoF进行学习的理论。
2021-09-18 cs.LG physics.app-ph
Modeling the Nonsmoothness of Modern Neural Networks
NC State University(北卡罗来纳州立大学)
现代神经网络在许多基于回归的任务中取得了成功,例如人脸识别,面部标志检测和图像生成。在这项工作中,我们研究了一个直观的,但研究不足的现代神经网络的特点,即非光滑性。使用合成数据的实验证实,现代神经网络中的ReLU和max pooling等操作会导致非平滑性。我们量化的非平滑性使用的功能命名为峰值的幅度之和(SMP)和现代神经网络的构建模块的输入输出关系模型。实验结果证实,我们的模型可以准确地预测非平滑性的统计行为,因为它通过卷积层,ReLU激活和最大池化层等构建块传播。我们设想,非平滑功能可以潜在地用作神经网络的基于回归的应用程序的取证工具。
2021-03-26 cs.LG eess.IV eess.SP
A Neurosymbolic Approach to the Verification of Temporal Logic Properties of Learning enabled Control Systems
University of Southern California(南加州大学);Toyota Research Institute North America(丰田北美研究院)
信号时序逻辑(STL)已成为一种流行的工具来表达形式化的需求的信息物理系统(CPS)。验证STL属性的神经网络控制CPS的问题仍然是一个很大程度上未探索的问题。在本文中,我们提出了一种使用自定义神经架构来验证通用STL规范的神经网络(NN)控制器的模型,其中我们将STL公式映射到具有ReLU激活的前馈神经网络中。在我们的对象模型和控制器都是ReLU激活的神经网络的情况下,我们将STL验证问题简化为ReLU神经网络中的可达性。我们还提出了一种新的方法,神经网络控制器的一般激活功能,这种方法是一个健全的和完整的验证方法的基础上计算的闭环控制系统的Lipschitz常数。我们证明了我们的技术的实际效果的一些例子的学习启用控制系统。
2023-03-07 cs.LG cs.RO cs.SY
Statistical Guarantees for Approximate Stationary Points of Shallow Neural Networks
University of Hamburg(汉堡大学);Beijing Normal-Hong Kong Baptist University(北京师范大学-香港浸会大学联合国际学院)
本文研究了浅层神经网络近似 stationary 点的统计保证,提出方法支持神经网络无需全局优化的数学观点,并扩展至 ReLU 神经网络。
2025-12-05 cs.LG math.ST stat.TH
Statistical Analysis of the Impact of Quaternion Components in Convolutional Neural Networks
Universidad Nacional Autónoma de México(墨西哥国立自治大学);Binghamton University(宾汉姆顿大学)
本文通过统计分析研究四元数卷积神经网络中各组件选择及其交互对图像分类性能的影响,并提出一种新的全四元数ReLU激活函数以提升模型表现。
2024-08-29 cs.AI cs.CV cs.LG
Neuro-Symbolic Activation Discovery: Transferring Mathematical Structures from Physics to Ecology for Parameter-Efficient Neural Networks
Pre-Doctoral Researcher, School of Computing, Mohammed VI Polytechnic University (UM6P), Ben Guerir, Morocco(预博士研究员,计算学院,穆莱·易斯聚合技术大学(UM6P),本·盖里尔,摩洛哥)
本研究提出神经符号激活发现框架,通过遗传编程从物理数据中提取数学公式用于生态分类,实现参数高效且准确的神经网络模型。
2026-01-10 cs.AI cs.LG cs.NE
TunnElQNN: A Hybrid Quantum-classical Neural Network for Efficient Learning
Artificial Intelligence and Cyber Futures Institute, Charles Sturt University, Bathurst, NSW, 2800, Australia(人工智能与网络未来研究所,查尔斯·史蒂尔大学)
本研究提出由经典层与量子层交替构成的非序列混合量子-经典神经网络TunnElQNN,其经典组件采用量子隧穿启发的TDAF激活函数,在多分类任务中性能优于ReLU基线混合模型,验证了物理启发激活函数结合量子组件可提升混合架构的表达性与鲁棒性。
2025-10-22 cs.LG physics.app-ph quant-ph
Which Neural Net Architectures Give Rise To Exploding and Vanishing Gradients?
我们对随机初始化的具有ReLU激活的全连接网络N中梯度的统计行为进行了严格的分析。我们的研究结果表明,在输入输出雅可比矩阵N的条目的平方的经验方差是指数在一个简单的架构相关的常数β,给出的隐藏层宽度的倒数的总和。当β较大时,N在初始化时计算的梯度变化很大。我们的方法补充了随机网络的平均场理论分析。从这个角度来看,我们严格计算有限宽度的修正的统计梯度在混沌的边缘。
2018-10-27 cs.LG math.PR math.ST
Implicit Regularization in Over-parameterized Neural Networks
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院);School of Informatics and Mathematical Science, Faculty of Engineering, Kyoto University(京都大学工学部信息与数学科学学院)
过参数化神经网络在实践中推广得很好,无需任何显式正则化。尽管尚未得到证实,但经验证据表明,隐式正则化在深度学习中起着至关重要的作用,可以防止网络过度拟合。在这项工作中,我们引入梯度间隙偏差和梯度偏转作为对应于网络曲率和Hessian矩阵的统计度量,以分析网络导数相对于输入参数的变化,并从理论和经验角度研究ReLU神经网络中隐式正则化的工作原理。我们的研究结果表明,每对输入样本之间的网络输出是适当的控制随机初始化和随机梯度下降,以保持几乎直的样本之间的插值,这导致过参数化神经网络的复杂性低。
2019-03-05 cs.LG stat.ML
Is Stochastic Gradient Descent Near Optimal?
Stanford University(斯坦福大学)
神经网络在过去十年中的成功已经将它们确立为许多相关数据生成过程的有效模型。神经网络的统计理论表明样本复杂性的优美缩放。例如,Joen和Van Roy(arXiv:2203.00246)证明,当数据由具有$W$参数的ReLU教师网络生成时,最佳学习者只需要$\tilde{O}(W/ε)$样本就可以获得预期的错误$ε$。然而,现有的计算理论表明,即使对于单隐藏层教师网络,为了使所有此类教师网络都实现小误差,实现此样本复杂度所需的计算也是棘手的。在这项工作中,我们将单隐藏层神经网络拟合到由单隐藏层ReLU教师网络生成的数据,这些网络的参数来自自然分布。我们证明,随机梯度下降(SGD)与自动宽度选择达到小的预期误差与一些样本和查询总数都接近线性的输入尺寸和宽度。这表明SGD以计算高效的方式几乎达到了Joen & Van Roy(arXiv:2203.00246)的信息理论样本复杂度界限。我们的积极的经验结果和消极的理论结果之间的一个重要区别是,后者解决确定性算法的最坏情况下的错误,而我们的分析中心的随机算法的预期误差。
2022-10-06 cs.LG
Understanding Non-linearity in Graph Neural Networks from the Bayesian-Inference Perspective
Purdue University(普渡大学);Cornell University(康奈尔大学)
图神经网络(GNN)在许多预测任务中表现出优于图的优势,这是因为它们具有捕获图结构数据中非线性关系的令人印象深刻的能力。然而,对于节点分类任务,通常只观察到GNN相对于其线性对应物的边际改进。以前的作品提供了很少的理解这一现象。在这项工作中,我们采用贝叶斯学习来深入研究GNN中的非线性函数用于节点分类任务。给定一个从统计模型CSBM生成的图,我们观察到,给定其自身和邻居属性的节点标签的最大后验估计包括两种类型的非线性,节点属性的可能非线性变换和来自邻居的ReLU激活特征聚合。后者令人惊讶地匹配许多GNN模型中使用的非线性类型。通过进一步对节点属性施加高斯假设,我们证明,只有当节点属性比图结构提供的信息量大得多时,这些ReLU激活的优越性才显着,这与许多之前的经验观察结果很好地匹配。当训练数据集和测试数据集之间存在节点属性的分布偏移时,可以实现类似的论点。最后,我们在合成网络和真实网络上验证了我们的理论。
2022-10-20 cs.LG cs.SI
Notes on computational-to-statistical gaps: predictions using statistical physics
New York University(纽约大学);Massachusetts Institute of Technology(麻省理工学院)
在这些笔记中,我们描述了在某些统计问题中预测计算到统计差距的方法。这些制度中,基本的统计问题是信息理论上可能的,虽然没有有效的算法存在,使问题基本上无法解决的大型实例。我们在这里描述的方法是基于成熟的,虽然不严格,统计物理学的工具。这些笔记基于作者于2017年5月16日在纽约市柯朗数学科学研究所的系列讲座。
2018-04-20 cs.DS cs.LG stat.ML
DL101 Neural Network Outputs and Loss Functions
Department of Computer Science and Artificial Intelligence, University of Granada, Spain(计算机科学与人工智能系,格拉纳达大学,西班牙)
本文从统计学角度阐明神经网络输出层激活函数与损失函数的关系,指出损失函数选择等价于对输出分布的最大似然假设,并关联广义线性模型。
2025-11-07 cs.AI cs.LG cs.NE
Learning (Very) Simple Generative Models Is Hard
UC Berkeley(加州大学伯克利分校);Microsoft Research(微软研究院);CMU(卡内基梅隆大学)
受最近深度生成模型的经验成功的启发,我们研究了以下无监督学习问题的计算复杂性。对于一个未知的神经网络$F:\mathbb{R}^d\to\mathbb{R}^{d'}$,令$D$是通过将标准高斯$\mathcal{N}(0,\textrm{Id}_d)$推过$F$给出的$\mathbb{R}^{d'}$上的分布。注射了。样本来自$D$,目标是输出统计距离接近$D$的任何分布。我们在统计查询(SQ)模型下证明,即使$F$的输出坐标是具有$\log(d)$神经元的一个隐藏层ReLU网络,也没有多项式时间算法可以解决这个问题。以前,这个问题的最佳下限只是遵循监督学习的下限,并且需要至少两个隐藏层和$\mathrm{poly}(d)$神经元[Daniely-Vardi '21,Chen-Gollakota-Klivans-Meka '22]。在我们的证明中的关键成分是一个基于ODE的构造一个紧支持的,分段线性函数$f$与多项式有界的斜率,使下推的$\mathcal{N}(0,1)$ $f$匹配所有低阶矩的$\mathcal{N}(0,1)$。
2022-05-31 cs.CC cs.DS cs.LG
The Mechanical Neural Network(MNN) -- A physical implementation of a multilayer perceptron for education and hands-on experimentation
Institute of Cognitive Science, University of Osnabrück(奥斯纳布吕克大学认知科学研究所)
本文提出机械神经网络 MNN,以木制杠杆和线物理实现含 ReLU 的 2-4-2 结构 MLP,支持学生手动调节权重并学习 XOR 等函数。
2022-07-15 cs.LG
Generalization Bounds and Statistical Guarantees for Multi-Task and Multiple Operator Learning with MNO Networks
University of California Los Angeles(加州大学洛杉矶分校)
本文研究了MNO网络在多任务和多重操作学习中的泛化界限,通过覆盖数分析得出了可分离模型的显式度量-熵界,并结合MNO的近似保证,获得了新三元组上的测试误差的显式近似-估计权衡。
2026-04-02 cs.LG
Optimal Convergence Rates of Deep Convolutional Neural Networks: Additive Ridge Functions
Shenzhen Polytechnic(深圳职业技术学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
卷积神经网络在许多应用中表现出令人印象深刻的能力,特别是与分类任务相关的应用。然而,对于回归问题,卷积结构的能力还没有被完全理解,需要进一步的研究。在本文中,我们考虑深度卷积神经网络的均方误差分析。我们表明,对于加性脊函数,卷积神经网络后跟一个具有ReLU激活函数的全连接层可以达到最佳的最小-最大速率(高达对数因子)。输入维数只出现在收敛速度常数中。这项工作显示了卷积神经网络的统计最优性,并可能揭示为什么卷积神经网络能够对高维输入表现良好。
2023-01-20 cs.LG math.ST stat.TH
On Training Derivative-Constrained Neural Networks
San Francisco State University(旧金山州立大学)
针对导数约束神经网络的训练,提出IReLU激活函数并结合去归一化与标签重缩放,在物理信息任务中验证其能更有效利用导数约束信号。
2023-10-11 cs.AI cs.LG
A Graph Sufficiency Perspective for Neural Networks
Department of Applied Economics and Statistics, University of Delaware(应用经济学与统计学系,德克萨斯大学);Department of Statistics, Operations, and Data Science, Temple University(统计学、运营与数据科学系,泰勒大学)
本文从图变量与统计充分性视角分析神经网络,提出层输出对输入充分的条件,通过两条理论路径(密集锚点与区域分离输入)证明充分性,并给出回归与分类任务的误差界,统一了统计充分性、图论与深度学习。
2025-08-08 cs.LG stat.AP