Frequency Bias in Neural Networks for Input of Non-Uniform Density
Weizmann Institute of Science(魏茨曼科学研究所);Department of Computer Science and Applied Mathematics, Weizmann Institute of Science(魏茨曼科学研究所计算机科学与应用数学系);Department of Computer Science, Univeristy of Maryland(马里兰大学计算机科学系);Department of Computer Science and Applied Mathematics(计算机科学与应用数学系)
最近的研究将过度参数化的神经网络的泛化能力部分归因于频率偏差--在从均匀分布中提取的数据上使用梯度下降训练的网络在高频之前找到低频拟合。由于现实的训练集不是从均匀分布中提取的,我们在这里使用神经切线核(NTK)模型来探索可变密度对训练动态的影响。我们的研究结果,结合分析和经验的观察,表明当学习一个纯谐波函数的频率$κ$,收敛在一个点$\x \in \Sphere^{d-1}$发生在时间$O(κ^d/p(\x))$其中$p(\x)$表示局部密度在$\x$。具体而言,对于$\Sphere^1$中的数据,我们解析地推导出与两层网络的NTK相关联的内核的本征函数。我们进一步证明了深度,全连接网络的NTK谱分解的收敛结果。我们的实证研究突出了深和浅网络在这个模型中的相似性和差异。
2020-03-10 cs.LG stat.ML
Subgraph Frequency Distribution Estimation using Graph Neural Networks
Stanford University(斯坦福大学);Australian National University(澳大利亚国立大学);The University of Hong Kong(香港大学);Rutgers University(罗格斯大学);Massachusetts Institute of Technology(麻省理工学院)
小的子图(graphlets)是描述大型网络基本单元的重要特征。子图频率分布的计算在生物学和工程学等领域有着广泛的应用。不幸的是,由于这个任务的固有复杂性,大多数现有的方法是计算密集型和低效的。在这项工作中,我们提出了GNNS,一种新的代表性的学习框架,利用图神经网络的采样子图有效地估计其频率分布。我们的框架包括一个推理模型和一个生成模型,用于学习节点、子图和图类型的分层嵌入。通过学习的模型和嵌入,子图以高度可扩展和并行的方式进行采样,然后基于这些采样的子图进行频率分布估计。最终,我们的方法实现了可比的准确性和显着的加速比现有的方法相比,三个数量级。
2022-07-14 cs.AI cs.CV cs.LG
Theoretical Analysis of the Advantage of Deepening Neural Networks
Faculty of Science;Engineering Waseda University Tokyo, Japan;Center for Data Science Waseda University Tokyo, Japan
本研究提出两个独立于学习效率评估深度神经网络表达能力的准则,从逼近精度和线性区域性质角度分析,证明增加层数比增加每层单元数更能提升网络表达能力。
2020-09-24 cs.LG cs.NE stat.ML
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University(吉林大学);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education(教育部符号计算与知识工程重点实验室)
贝叶斯优化(BO)是寻找黑箱函数全局最优解的一种有效方法。最近,BO已被应用于神经结构搜索,并显示出比纯进化策略更好的性能。这些方法都采用高斯过程(GP)作为代理函数,以手工相似性度量作为输入。在这项工作中,我们提出了一个贝叶斯图神经网络作为一个新的代理,它可以自动从深度神经架构中提取特征,并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理,我们开发了一个图贝叶斯优化框架,以解决深度神经架构搜索的挑战性任务。实验结果表明,我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
Addressing Spectral Bias of Deep Neural Networks by Multi-Grade Deep Learning
Old Dominion University(奥多明尼昂大学)
本文针对深度神经网络的频谱偏差问题,提出利用多层级深度学习(MGDL)逐级组合浅层网络,以低频复合逼近高频,并在多个含高频特征的数据集上验证了其有效性。
2024-10-21 cs.AI cs.LG
Deephys: Deep Electrophysiology, Debugging Neural Networks under Distribution Shifts
Massachusetts Institute of Technology(麻省理工学院);Center for Brains, Minds & Machines(脑、心智与机器中心);Fujitsu Limited(富士通有限公司)
深度神经网络(DNN)在分布外的场景中经常失败。在本文中,我们介绍了一种工具来可视化和理解这种故障。我们从神经电生理学的概念中汲取灵感,这些概念基于通过分析单个单元的特征调整和不变性来检查神经网络的内部功能。Deep Electrophysiology,简称Deephys,通过对分布内和分布外数据集中的神经活动进行比较可视化,提供了DNN在分布外场景中失败的见解。Deephys提供了对单个神经元、单个图像和一组图像的无缝分析,并且能够揭示由于虚假特征和新特征的存在而导致的故障。我们使用卷积和Transformers架构,在几个数据集和分布偏移(即彩色MNIST,CIFAR-10和ImageNet)中通过定量分析证实了Deephys定性可视化的有效性。
2023-03-17 cs.AI cs.LG
Linear Frequency Principle Model to Understand the Absence of Overfitting in Neural Networks
Shanghai Jiao Tong University(上海交通大学)
为什么高度参数化的神经网络(NN)不会过拟合数据是一个重要的长期悬而未决的问题。我们提出了一个现象学模型的NN训练来解释这个非过拟合的难题。我们的线性频率原理(LFP)模型解释了NN的一个关键动力学特征:它们首先学习低频,而不管微观细节。基于LFP模型的理论表明,目标函数的低频优势是神经网络不过拟合的关键条件,并通过实验得到了验证。此外,通过一个理想的两层NN,我们揭示了详细的微观NN训练动态如何在统计上产生具有定量预测能力的LFP模型。
2021-01-30 cs.LG physics.data-an
Learning Convolutional Neural Networks in the Frequency Domain
National University of Defense Technology(国防科技大学)
卷积神经网络(CNN)在过去的几十年里在计算机视觉领域取得了令人瞩目的成功。图像卷积运算有助于CNN在图像相关任务上获得良好的性能。然而,图像卷积运算复杂度高,难以实现。本文提出了CEMNet,它可以在频域中训练。本研究的最重要的动机是,我们可以使用简单的元素乘运算来代替图像卷积在频域的基础上互相关定理,这明显降低了计算复杂度。我们进一步引入了权重固定机制来缓解过度拟合的问题,并在频域中分析了批量归一化,Leaky ReLU和Dropout的工作行为,以设计CEMNet的对应物。同时,为了处理离散傅立叶变换带来的复杂输入,我们为CEMNet设计了一种双分支网络结构。实验结果表明,CEMNet取得了良好的性能MNIST和CIFAR-10数据库。
2022-07-20 cs.AI cs.CV cs.LG
deepstruct -- linking deep learning and graph theory
University of Passau(帕绍大学)
deepstruct将深度学习模型和图论连接起来,使得可以将不同的图结构施加在神经网络上,或者可以从训练的神经网络模型中提取图结构。为此,deepstruct提供了具有不同限制的深度神经网络模型,这些模型可以基于初始图创建。此外,从训练模型中提取图形结构的工具也是可用的。即使对于只有几十万个参数的模型,提取图的这一步骤也可能在计算上是昂贵的,并且提出了一个具有挑战性的问题。deepstruct支持神经网络的剪枝、神经结构搜索、自动网络设计和结构分析等研究。
2021-12-05 cs.AI cs.LG cs.NE
Frequency-adaptive tensor neural networks for high-dimensional multi-scale problems
SKLMS, Academy of Mathematics and Systems Science, Chinese Academy of Sciences, Beijing, 100190, PR China(数学与系统科学研究院,中国科学院,北京,100190,中国);School of Mathematical Sciences, University of Chinese Academy of Sciences, Beijing 100190, PR China(中国科学院大学数学科学学院,北京,100190,中国);College of Mathematics and Statistics, Chongqing University(重庆大学数学与统计学院)
本文提出频率自适应张量神经网络,通过引入随机傅里叶特征和离散傅里叶变换,缓解高维多尺度问题的维度灾难,提升对高频特征的捕捉能力。
2026-05-14 cs.LG math-ph math.MP
FreqMoE: Dynamic Frequency Enhancement for Neural PDE Solvers
IJCAI–25 Formatting Instructions(IJCAI–25 格式说明)
针对傅里叶神经算子求解PDE时高频信号易丢失、高维输入效率低的问题,提出渐进式训练框架FreqMoE,利用高低频依赖通过频域MoE扩展权重,大幅减少参数量的同时提升精度,还具备良好的稳定性与通用性,建立了PDE求解新范式。
2025-05-21 cs.LG
Convergence of Deep Neural Networks with General Activation Functions and Pooling
深度神经网络作为一种表示高维复杂函数的强大系统,在深度学习中发挥着关键作用。深度神经网络的收敛是为深度学习建立数学基础的基本问题。我们在最近的两项研究中研究了深度ReLU网络和深度卷积神经网络的收敛性(arXiv:2107.12530,2109.13542)。其中仅研究了整流线性单元(ReLU)激活,而没有考虑重要的池化策略。在目前的工作中,我们研究了深度神经网络的收敛性,因为深度趋于无穷大,另外两个重要的激活函数:泄漏ReLU和sigmoid函数。还将研究合并。因此,我们证明了arXiv:2107.12530,2109.13542中建立的充分条件对于泄漏ReLU网络仍然是充分的。对于收缩激活函数,如sigmoid函数,我们建立了一个较弱的深度神经网络一致收敛的充分条件。
2022-10-01 cs.LG math.FA
Multi-scale Deep Neural Network (MscaleDNN) for Solving Poisson-Boltzmann Equation in Complex Domains
Beijing Computational Science Research Center(北京计算科学研究中心);Southern Methodist University(南卫理公会大学);Shanghai Jiao Tong University(上海交通大学)
在本文中,我们提出了多尺度深度神经网络(MscaleDNNs),使用频域中的径向缩放思想和具有紧支持的激活函数。径向缩放将偏微分方程解的高频内容的近似问题转换为学习低频函数的问题,并且紧凑支持激活函数便于分离要由相应的DNN近似的目标函数的频率内容。因此,MscaleDNN在多个尺度上实现快速一致收敛。所提出的MscaleDNN被证明是优于传统的全连接DNN,是一个有效的无网格数值方法的泊松-玻尔兹曼方程具有丰富的频率内容在复杂和奇异域。
2020-09-28 cs.LG cs.NA math.NA
Deep frequency principle towards understanding why deeper learning is faster
Shanghai Jiao Tong University(上海交通大学)
理解深度对深度学习的影响是一个关键问题。在这项工作中,我们利用傅立叶分析来经验性地提供一种有前途的机制,以理解为什么前馈深度学习更快。为此,我们在分析期间将通过正常随机梯度下降训练的深度神经网络分成两部分,即,一个前置条件组件和一个学习组件,其中前置条件组件的输出是学习组件的输入。我们使用滤波方法来表征高维函数的频率分布。基于深度网络和真实数据集的实验,我们提出了深度频率原则,即在训练过程中,更深隐藏层的有效目标函数偏向更低的频率。因此,如果前置条件组件具有更多层,则学习组件有效地学习较低频率函数。根据频率原理,即深度神经网络学习低频函数的速度更快,深度频率原理为为什么深度学习更快提供了合理的解释。我们相信,这些实证研究将是有价值的深度在深度学习的影响未来的理论研究。
2020-12-20 cs.LG stat.ML
Multi-frequency Neural Born Iterative Method for Solving 2-D Inverse Scattering Problems
Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心(BNRist));Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);School of Electronics and Information Engineering, Beihang University(北航电子与信息工程学院)
本文提出多频神经Born迭代法(NeuralBIM),将多任务学习与无监督物理约束相结合,无需对比度和总场数据即可求解多频电磁逆散射问题,并在精度、效率、泛化性和抗噪性上均表现优异。
2024-09-02 cs.AI cs.LG physics.comp-ph
Tuning Frequency Bias in Neural Network Training with Nonuniform Data
Cornell University(康奈尔大学)
过参数化神经网络(NN)的小泛化误差可以部分地由频率偏置现象来解释,其中基于梯度的算法在减少高频残差之前最小化低频失配。使用神经切线核(NTK),可以为训练提供理论上严格的分析,其中数据来自恒定或分段恒定的概率密度。由于大多数训练数据集不是从这样的分布,我们使用NTK模型和数据相关的正交规则,从理论上量化的频率偏置的NN训练完全不均匀的数据。通过用精心选择的Sobolev范数替换损失函数,我们可以进一步放大,阻尼,平衡或逆转NN训练中的固有频率偏差。
2022-09-25 cs.LG
Parallel frequency function-deep neural network for efficient complex broadband signal approximation
Xi'an University of Architecture and Technology(西安建筑科技大学)
神经网络本质上是一个通过调整网络权重进行特征拟合的高维复杂映射模型。然而,在网络训练中的频谱偏差导致难以忍受的训练时期,以适应宽带信号中的高频成分。为了提高高频分量的拟合效率,最近通过结合复频段提取和频移技术提出了PhaseDNN [Cai et al. SIAM J. SCI. Comput. 42,A3285(2020)]。我们的论文致力于一个替代的候选人拟合复杂的信号与高频分量。在这里,提出了一种并行频率函数-深度神经网络(PFF-DNN),通过利用宽带信号的快速傅立叶分析和神经网络的频谱偏置特性,在确保拟合精度的同时抑制计算开销。通过对6种典型宽带信号的数值实验,验证了PFF-DNN方法的有效性。
2021-06-19 cs.LG eess.SP
Approximation smooth and sparse functions by deep neural networks without saturation
Xi'an University of Technology(西安理工大学)
构造用于函数逼近的神经网络是逼近理论中一个经典而又长久的课题。本文旨在构造具有三个隐藏层的深度神经网络(简称深度网络)来逼近光滑和稀疏函数。特别地,我们证明了所构造的深度网在逼近光滑函数和稀疏函数时都能达到最优逼近率,且自由参数的大小可控。由于描述逼近瓶颈的饱和是构造性神经网络难以克服的问题,我们还证明了只增加一层隐层的神经网络深化可以避免饱和。所获得的结果支持了深度网络的优势,并为深度学习提供了理论解释。
2020-01-13 cs.IT cs.LG math.IT
PINNup: Robust neural network wavefield solutions using frequency upscaling and neuron splitting
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
利用物理信息神经网络(PINN)求解频域散射波场在地震建模和反演中具有巨大的潜力。然而,当处理高频波场时,其精度和训练成本限制了其应用。因此,我们提出了一种使用频率提升和神经元分裂的PINN的新实现,它允许神经网络模型随着我们增加频率而增长,同时利用来自预训练模型的信息用于低频波场,从而快速收敛到高精度解决方案。数值结果表明,与常用的随机初始化PINN相比,该PINN在收敛性和精度方面具有明显的优势,可以实现基于神经元的双隐层高频波场求解.
2021-09-29 cs.LG physics.comp-ph
Probabilistic Deep Learning with Probabilistic Neural Networks and Deep Probabilistic Models
IBM(国际商业机器公司)
概率深度学习是考虑不确定性的深度学习,包括模型不确定性和数据不确定性。它基于概率模型和深度神经网络的使用。我们区分了概率深度学习的两种方法:概率神经网络和深度概率模型。前者采用深度神经网络,其利用概率层来表示和处理不确定性;后者使用概率模型,其包含深度神经网络组件,这些组件捕获随机变量之间的复杂非线性随机关系。我们讨论了每种方法的一些主要例子,包括贝叶斯神经网络和混合密度网络(概率神经网络),以及变分自编码器,深度高斯过程和深度混合效应模型(深度概率模型)。TensorFlow Probability是一个用于概率建模和推理的库,可用于概率深度学习的两种方法。我们包括它的代码示例用于说明。
2021-06-09 cs.LG stat.ML
A rationale from frequency perspective for grokking in training neural network
Institute of Natural Sciences(自然科学研究院);School of Mathematical Sciences(数学科学学院);Shanghai Jiao Tong University(上海交通大学)
本文从频率视角实验揭示神经网络先学习弱显著频率成分,从而解释grokking现象,为理解其机制提供新视角。
2024-05-24 cs.LG cs.NE stat.ML
Enhanced physics-informed neural networks with domain scaling and residual correction methods for multi-frequency elliptic problems
Kyung Hee University(庆熙大学)
针对多频椭圆偏微分方程的神经网络逼近方法受高低频对比度影响精度的问题,提出结合域缩放与残差校正的增强物理信息神经网络,提升了求解效率与精度。
2023-11-07 cs.LG cs.NA math.NA
Flow of Information in Feed-Forward Deep Neural Networks
Virginia Tech(弗吉尼亚理工大学);University of Arizona(亚利桑那大学)
前馈深度神经网络已广泛用于各种机器学习应用中。准确理解神经网络的底层行为对于有效部署至关重要。在本文中,我们使用信息论的方法来研究神经网络中的信息流,并确定如何连续层之间的信息熵的变化。此外,利用信息瓶颈原理,我们开发了一个约束优化问题,可以用于深度神经网络的训练过程。此外,我们确定了一个下界的数据表示的水平,可以实现在一个深度神经网络与可接受的失真水平。
2016-03-20 cs.IT cs.LG math.IT
High Frequency Component Helps Explain the Generalization of Convolutional Neural Networks
School of Computer Science(计算机科学学院);Carnegie Mellon University(卡内基梅隆大学)
我们研究了图像数据的频谱和卷积神经网络(CNN)的泛化行为之间的关系。我们首先注意到CNN捕捉图像高频分量的能力。这些高频成分几乎是人类无法察觉的。因此,观察导致了与CNN的泛化行为相关的多个假设,包括对抗性示例的潜在解释,CNN在鲁棒性和准确性之间权衡的讨论,以及理解训练算法的一些证据。
2020-03-24 cs.CV cs.LG
Multi-Band Multi-Resolution Fully Convolutional Neural Networks for Singing Voice Separation
Helwan University(赫勒万大学)
具有卷积层的深度神经网络通常以相同的时频分辨率、滤波器数量和降维尺度来处理音频信号的整个频谱图。根据恒Q变换,如果低频带用高频率分辨率滤波器处理,高频带用高时间分辨率滤波器处理,则可以从音频信号中提取良好的特征。在歌声和音乐信号的混合的频谱图中,通常在低频带中比在高频带中有更多关于声音的信息。这就需要对声谱图的每个部分进行不同的处理。本文提出了一种多带多分辨率全卷积神经网络(MBR-FCN)的歌唱声分离方法。MBR-FCN利用比具有较少信息的频带更多的滤波器和更小的维数减少尺度来处理具有关于目标信号的更多信息的频带。此外,MBR-FCN用高频率分辨率滤波器处理低频带,用高时间分辨率滤波器处理高频带。我们的实验结果表明,所提出的MBR-FCN具有非常少的参数实现更好的歌声分离性能比其他深度神经网络。
2019-10-21 cs.LG cs.SD eess.AS
Optimal Approximation and Learning Rates for Deep Convolutional Neural Networks
Xi’an Jiaotong University(西安交通大学)
本文研究了带零填充和最大池化的深度卷积神经网络的逼近与学习性能,证明了逼近 $r$ 阶光滑函数时的最优速率,并推导出经验风险最小化的几乎最优学习速率。
2023-08-07 cs.LG math.ST stat.TH
Deep Parallel Spectral Neural Operators for Solving Partial Differential Equations with Enhanced Low-Frequency Learning Capability
College of Computer Science and Technology(计算机科学与技术学院);China University of Petroleum (East China)(中国石油大学(华东));State Key Laboratory of Chemical Safety(化学安全国家重点实验室)
针对现有神经算子求解偏微分方程时低频学习能力不足、非线性学习易丢失高频信息的问题,提出带并行模块的深度并行谱神经算子DPNO,结合卷积映射平滑降高频误差,在多数据集上表现优异且具备分辨率不变性。
2025-02-21 cs.LG cs.NA math.NA
Multi-scale DeepOnet (Mscale-DeepOnet) for Mitigating Spectral Bias in Learning High Frequency Operators of Oscillatory Functions
Hunan Normal University(湖南师范大学);Dartmouth College(达特茅斯学院);Southern Methodist University(南卫理公会大学)
针对DeepOnet学习高振荡函数高频映射时的频谱偏差问题,提出在分支和主干网络引入多尺度神经网络的Mscale-DeepOnet,应用于亥姆霍兹方程系数与解的非线性映射,在高频波散射问题中较普通DeepOnet有显著改进。
2025-04-15 cs.LG cs.NA math.NA
Dynamics of Deep Neural Networks and Neural Tangent Hierarchy
IAS(高等研究院);Harvard University(哈佛大学)
通过梯度下降训练的深度神经网络的进化可以通过[20]中介绍的神经切线核(NTK)来描述,其中证明了在无限宽度限制下,NTK收敛到显式限制核,并且在训练期间保持不变。NTK也隐含在其他一些最近的论文中[6,13,14]。在过度参数化机制中,完全训练的深度神经网络实际上等同于使用限制NTK的核回归预测器。对于深度过参数化的神经网络,梯度下降实现了零训练损失。然而,在[5]中观察到,使用限制NTK的内核回归与深度神经网络之间存在性能差距。这种性能差距可能源于NTK随训练的变化,由于有限宽度效应。NTK在训练过程中的变化是描述深度神经网络泛化特征的核心。在本文中,我们研究了有限宽度深度全连接神经网络的NTK的动力学。我们推导出一个无限层次的常微分方程,神经切线层次(NTH),它捕获了深度神经网络的梯度下降动态。此外,在一定的条件下的神经网络的宽度和数据集的维数,我们证明了截断层次的NTH逼近动态的NTK到任意精度。这种描述使得直接研究深度神经网络的NTK的变化成为可能,并揭示了深度神经网络优于使用相应限制NTK的核回归的观察结果。
2019-09-18 cs.LG stat.ML
Exponential Convergence of the Deep Neural Network Approximation for Analytic Functions
Princeton University(普林斯顿大学);Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
我们证明了对于低维解析函数,深度神经网络逼近的收敛速度是指数的。
2018-07-01 cs.LG stat.ML
Structure and Distribution Metric for Quantifying the Quality of Uncertainty: Assessing Gaussian Processes, Deep Neural Nets, and Deep Neural Operators for Regression
Massachusetts Institute of Technology(麻省理工学院)
我们提出了两个有界的比较指标,可以实现任意尺寸的回归任务。一个是量化不确定性的结构,另一个是量化不确定性的分布。结构度量评估不确定性的形状和位置与真实误差的相似性,而分布度量量化两者之间的支持幅度。我们将这些指标应用于高维和非线性测试用例中的高斯过程(GP),嵌入式深度神经网络(DNN)和嵌入式深度神经运算符(DNO)。我们发现,比较模型的不确定性估计与模型的平方误差提供了一个令人信服的地面真相评估。我们还观察到,DNN和DNO,特别是与GP相比,在高维数据中提供了令人鼓舞的度量值,无论是稀疏还是丰富的数据。
2022-03-09 cs.LG stat.ML
Speech Emotion Recognition via an Attentive Time-Frequency Neural Network
Southeast University(东南大学)
语谱图通常被用作深度神经网络的输入特征,以学习用于语音情感识别(SER)的语音信号的高(较)级别时频模式。为了解决这些问题,我们提出了一种用于SER的注意时频神经网络(ATFNN),包括时频神经网络(TFNN)和时频注意。具体来说,针对第一个问题,我们设计了一个TFNN,其频域编码器(F-Encoder)基于Transformer编码器,时域编码器(T-Encoder)基于双向长短期记忆(Bi-LSTM)。F-Encoder和T-Encoder分别对频带和时间帧内的相关性进行建模,并将其嵌入到时频联合学习策略中,以获得语音情感的时频模式。此外,为了处理第二个问题,我们还采用了频率-注意力网络(F-Attention)和时间-注意力网络(T-Attention)的时间-频率注意力集中在情感相关的频带范围和时间帧范围,这可以提高语音情感特征的可区分性。
2022-10-22 cs.LG cs.MM cs.SD
SirenFNO: Efficient and Full Frequency Learning of Fourier Neural Operators
The University of Sydney(悉尼大学)
提出SirenFNO框架,利用正弦表示网络学习隐式神经表示并进行模态核参数化,消除频率截断,实现全频谱学习,在多个PDE基准上以最多73倍参数减少取得性能提升。
2026-06-11 cs.AI cs.LG
A Unified Framework of Deep Neural Networks by Capsules
College of Computer Science(计算机学院);Faculty of Information Technology(信息技术学院);Beijing University of Technology(北京工业大学)
随着深度学习的发展,如何统一地描述深度神经网络正成为一个重要的问题。我们首先用有向图表示形式化了神经网络,并证明了一个关于连通有向无环图诱导网络的生成定理。然后,我们用胶囊网络建立了一个统一的深度学习框架。该框架简化了现有深度神经网络的描述,为深度学习模型的图形化设计和编程技术提供了理论基础,对深度学习的发展具有重要意义。
2018-05-10 cs.LG stat.ML
Deep Probabilistic Modelling of Price Movements for High-Frequency Trading
University College London(伦敦大学学院)
在本文中,我们提出了一个深经常性的架构,高频市场价格的概率建模,重要的自动交易系统的风险管理。我们提出的架构将概率混合模型纳入深度递归神经网络。由此产生的深度混合模型同时解决了几个实际的挑战,重要的自动化高频交易策略的发展,以前被忽视的文献:1)概率预测的价格变动; 2)单一目标预测的方向和大小的价格变动。我们对高频比特币市场数据进行训练,并根据从文献中获得的基准模型对其进行评估。我们表明,我们的模型优于基准模型在基于指标的测试和模拟交易情况
2020-03-31 cs.LG q-fin.ST q-fin.TR
Are Deep Neural Networks "Robust"?
Rutgers University(罗格斯大学)
将离群值与内值分离是计算机视觉中鲁棒性的定义。本文描述了深度神经网络与典型的鲁棒估计器的不同之处。深度神经网络在传统定义下并不健壮。
2020-08-25 cs.CV cs.LG
Convex Formulation of Overparameterized Deep Neural Networks
Shenzhen Research Institute of Big Data(深圳大数据研究院);Princeton University(普林斯顿大学);HKUST(香港科技大学)
过参数神经网络的分析近年来引起了人们的广泛关注。结果表明,这种系统的行为像凸系统下各种restrictedsettings,如两个层次的神经网络,当学习只局限于本地在所谓的神经切线核空间周围专门的初始化。然而,没有理论技术可以分析在实践中遇到的完全训练的深度神经网络。本文通过研究这种经过充分训练的过参数化深度神经网络来解决这个基本问题。我们推广了一种称为神经特征重新填充的新技术,最初在(Fang et al.,2019 a)用于两级神经网络,以分析深度神经网络。研究表明,在合适的表示下,过参数化深度神经网络本质上是凸的,当优化时,系统可以在温和的条件下学习适合底层学习任务的有效特征。这种新的分析与经验观察一致,即深度神经网络能够学习有效的特征表示。因此,这篇论文高度出乎意料的结果可以令人满意地解释深度神经网络的实际成功。实证研究证实,我们的理论预测是一致的,在实践中观察到的结果。
2019-11-18 cs.LG stat.ML
Genetic Algorithms for Evolving Deep Neural Networks
Bar-Ilan University(巴伊兰大学);Tel Aviv University(特拉维夫大学)
近年来,应用无监督学习来训练神经网络深层的深度学习方法在众多领域取得了显著的成果。在过去,许多基于遗传算法的方法已经成功地应用于训练神经网络。在本文中,我们扩展了以前的工作,并提出了一个遗传算法辅助的方法进行深度学习。我们的实验结果表明,这种GA辅助的方法提高了深度自动编码器的性能,产生了更稀疏的神经网络。
2017-11-21 cs.LG cs.NE stat.ML
Universality of Deep Convolutional Neural Networks
City University of Hong Kong(香港城市大学)
深度学习已经在语音识别、计算机视觉和许多其他领域得到了广泛应用并带来了突破。所涉及的深度神经网络架构和计算问题已经在机器学习中得到了很好的研究。但是,对于理解由诸如具有卷积结构的深度卷积神经网络之类的网络架构生成的深度学习方法的近似或泛化能力,缺乏理论基础。在这里,我们证明了深度卷积神经网络(CNN)是通用的,这意味着当神经网络的深度足够大时,它可以用来近似任何连续函数到任意精度。这回答了学习理论中的一个开放性问题。我们的定量估计,严格按照要计算的自由参数的数量给出,验证了深度CNN在处理高维数据时的效率。我们的研究还证明了卷积在深度CNN中的作用。
2018-07-20 cs.LG stat.ML
Characterizing the Decision Boundary of Deep Neural Networks
Michigan State University(密歇根州立大学)
深度神经网络,特别是深度神经分类器已经成为许多现代应用的组成部分。尽管它们在实践中取得了成功,但我们对它们如何工作的了解仍然有限,对这种了解的需求正在不断增长。在这方面,深度神经网络分类器可以帮助我们加深对其决策行为的了解的一个关键方面是调查其决策边界。然而,这取决于是否能够接触到决策边界附近区域的样本。为了实现这一点,我们提出了一种新的方法,我们称之为深度决策边界实例生成(DeepDIG)。DeepDIG利用基于对抗性示例生成的方法作为在任何深度神经网络模型的决策边界附近生成样本的有效方式。然后,我们引入了一组重要的原则性特征,这些特征利用决策边界附近生成的实例来提供对深度神经网络的多方面理解。我们在各种深度神经网络模型的多个代表性数据集上进行了广泛的实验,并描述了它们的决策边界。该代码可在https://github.com/hamidkarimi/DeepDIG/上公开获取。
2020-06-03 cs.CV cs.LG stat.ML
Langevin algorithms for very deep Neural Networks with application to image classification
Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室);Sorbonne Université(索邦大学)
训练非常深的神经网络是一项具有挑战性的任务,因为神经网络越深,它的非线性就越强。我们比较了各种预处理Langevin算法与非Langevin算法的性能,用于训练深度增加的神经网络。对于浅层神经网络,Langevin算法没有带来任何改进,但是网络越深,Langevin算法提供的增益越大。向梯度下降中添加噪声可以避免局部陷阱,这对于非常深的神经网络来说更常见。在此启发式之后,我们引入了一种新的Langevin算法,称为Layer Langevin,该算法仅将Langevin噪声添加到与最深层相关的权重。然后,我们证明了Langevin和Layer Langevin算法在训练图像分类的流行深度残差架构方面的优势。
2022-12-27 cs.LG stat.ML
A Phase Shift Deep Neural Network for High Frequency Approximation and Wave Problems
Southern Methodist University(南卫理公会大学);Hunan Normal University(湖南师范大学)
在本文中,我们提出了一个相移深度神经网络(PhaseDNN),它提供了一个统一的宽带收敛近似高频函数和波动方程的解决方案。PhaseDNN利用了常见DNN通常首先在低频范围内实现收敛的事实,并针对选定的高频范围构建和训练一系列中等大小的DNN。在频域相移的帮助下,每个DNN将被训练为以与低频范围相同的收敛速度在特定范围内近似函数的高频内容。因此,所提出的PhaseDNN能够将高频学习转换为低频学习,从而允许对宽带函数进行统一学习。PhaseDNN然后将被应用于通过具有最小二乘剩余损失函数的微分和积分方程公式来找到非均匀介质中的高频波动方程的解。数值结果表明,PhaseDNN在学习高频函数和内部和外部Helmholtz方程的振荡解的能力。
2019-12-13 cs.LG cs.NA math.NA
F$^3$NO: Frequency-Decomposed Finite-Time Flow-map Neural Operators with Cross-Scale Conditioning
Arizona State University(亚利桑那州立大学)
针对神经算子预测PDE时误差累积、精细结构难解析的问题,提出F$^3$NO,通过跨尺度条件结合高低频处理,在五个PDE基准上精度优于基线,且参数效率更高。
2026-10-09 cs.LG
Deep Learning: From Basics to Building Deep Neural Networks with Python
本书面向不熟悉深度学习的初学者。我们对读者的唯一期望是他们已经掌握了Python的基本编程技能。
2022-04-22 cs.LG
On the approximation of rough functions with deep neural networks
ETH Zürich(苏黎世联邦理工学院);University of Southern California(南加州大学)
深度神经网络和ENO过程都是近似粗糙函数的有效框架。我们证明,在任何阶数下,ENO插值过程都可以被转换为深度ReLU神经网络。这一令人惊讶的事实使ENO过程的几个理想属性能够转移到深度神经网络,包括其近似Lipschitz函数的高阶精度。数值试验结果表明,神经网络的非线性守恒律近似解和数据压缩性能优异。
2020-10-08 cs.LG cs.NA math.NA
PhaseDNN - A Parallel Phase Shift Deep Neural Network for Adaptive Wideband Learning
Southern Methodist University(南卫理公会大学);Hunan Normal University(湖南师范大学)
在本文中,我们提出了一种相移深度神经网络(PhaseDNN),它在网络训练期间提供了近似高维函数的宽带收敛。PhaseDNN利用了许多DNN首先在低频范围内实现收敛的事实,因此,一系列中等大小的DNN被构建并并行训练用于更高频率的范围。在频域相移的帮助下,通过对训练数据进行简单的相位因子乘法来实现,系列中的每个DNN将被训练以近似目标函数在特定范围内的较高频率内容。由于相移,每个DNN实现了在低频范围内的收敛速度。因此,所提出的PhaseDNN系统能够将宽带频率学习转换为低频学习,从而允许通过频率自适应训练对宽带高维函数进行均匀学习。数值实验结果表明,PhaseDNN能够从低频到高频均匀地学习目标函数的信息。
2019-05-10 cs.LG eess.SP stat.ML
STFNets: Learning Sensing Signals from the Time-Frequency Perspective with Short-Time Fourier Neural Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学);State University of New York at Buffalo(纽约州立大学布法罗分校);IBM(国际商业机器公司)
深度学习的最新进展推动了深度神经网络在物联网(IoT)应用中的使用。这些网络是在人类大脑中的信号处理之后建模的,从而在视觉和语音识别等感知任务中产生了显着的优势。然而,物联网应用程序通常测量物理现象,其中底层物理(如惯性,无线信号传播或振荡的自然频率)基本上是信号频率的函数,在频域中提供更好的功能。这一观察结果引出了一个根本性的问题:对于物联网应用,能否开发一种新的神经网络结构,这种结构不仅能综合人类感知生物学的灵感,还能综合物理学的基本性质?因此,在本文中,代替使用传统的构建块(例如,卷积层和递归层),我们提出了一个新的基础神经网络构建块,短时傅立叶神经网络(STFNet)。它将广泛使用的时频分析方法短时傅立叶变换集成到数据处理中,以直接在频域中学习特征,其中潜在现象的物理学留下更好的足迹。STFNet通过提供频谱兼容的新型非线性可学习操作,为时频分析带来了额外的灵活性。此外,STFNets表明,将信号转换到与底层物理学更相关的域可以大大简化学习过程。我们通过大量的实验证明了STFNets的有效性。STFNet在所有实验中的表现都明显优于最先进的深度学习模型。因此,STFNet作为物联网应用的深度神经网络的基本构建块,为各种传感器输入展示了卓越的能力。
2019-02-21 cs.LG stat.ML
DeepStreamCE: A Streaming Approach to Concept Evolution Detection in Deep Neural Networks
Birmingham City University(伯明翰城市大学)
深度神经网络已经在实验中证明了在决策预测方面优于其他机器学习方法的性能。然而,一个主要的问题是训练类的分类决策的闭集性质,这可能会在安全关键系统中产生严重的后果。当深度神经网络处于流式传输环境中时,需要对该分类进行快速解释以确定分类结果是否可信。当深度神经网络的输入数据随时间变化时,可能会发生不可信分类。一种可能发生的变化是概念进化,其中引入了一个新的类,而深度神经网络没有在其上进行训练。在大多数深度神经网络架构中,唯一的选择是将此实例分配给它在其上进行训练的类之一,这是不正确的。本研究的目的是检测流中新类的到达。现有的解释深度神经网络的工作通常集中在神经元激活,以提供视觉解释和特征提取。我们的新方法,创造了DeepStreamCE,使用流方法在深度神经网络中进行实时概念进化检测。DeepStreamCE在离线阶段使用自动编码器和基于MCOD流的聚类来应用神经元激活减少。两个输出都用于在线阶段,以分析进化流中的神经元激活,从而实时的检测概念进化的发生。我们通过在CIFAR-10数据集的数据组合上训练VGG 16卷积神经网络来评估DeepStreamCE,并提供一些类作为概念进化。为了进行比较,我们将数据和VGG 16网络应用于开放集深度网络解决方案- OpenMax。DeepStreamCE在识别我们数据集的概念演变时优于OpenMax。
2020-04-08 cs.LG stat.ML
Deep Neural Networks - A Brief History
Virginia Commonwealth University(弗吉尼亚联邦大学);IITiS Polish Academy of Sciences(波兰科学院信息技术研究所)
介绍深度神经网络及其历史。
2017-01-19 cs.CV cs.LG cs.NE
Neural ODEs as the Deep Limit of ResNets with constant weights
Uppsala University(乌普萨拉大学)
在本文中,我们证明了,在深度极限,ResNet型深度神经网络,其中每一层共享相同的权重矩阵的随机梯度下降收敛到神经ODE的随机梯度下降,以及相应的值/损失函数收敛。在随机梯度下降最小化的背景下,我们的结果为将神经常微分方程视为ResNets的深度极限提供了理论基础。我们的证明是基于相关的福克-普朗克方程的某些衰减估计。
2020-01-20 cs.LG math.AP math.CA
How Does Frequency Bias Affect the Robustness of Neural Image Classifiers against Common Corruption and Adversarial Perturbations?
Nanyang Technological University(南洋理工大学);Agency for Science, Technology and Research(新加坡科技研究局)
模型鲁棒性对于机器学习模型在实际应用中的可靠部署至关重要。最近的研究表明,数据增强可能导致模型过度依赖低频域中的特征,从而牺牲低频损坏的性能,突出了频率和鲁棒性之间的联系。在这里,我们进一步通过其雅可比矩阵的镜头更直接地研究模型的频率偏差及其对模型鲁棒性的影响。为了实现这一点,我们提出了雅可比频率正则化模型的雅可比有一个更大的比例的低频分量。通过对四个图像数据集的实验,我们表明,将分类器偏向低(高)频分量可以带来针对高(低)频腐败和对抗性扰动的性能增益,尽管低(高)频腐败的性能有所折衷。我们的方法阐明了频率偏差和深度学习模型的鲁棒性之间更直接的联系。
2022-05-09 cs.CV cs.LG
Band-limited Training and Inference for Convolutional Neural Networks
University of Chicago(芝加哥大学)
卷积层是神经网络架构的核心构建块。通常,卷积滤波器应用于输入数据的整个频谱。我们探索在训练过程中人为地约束这些滤波器和数据的频谱,称为频带限制。频域约束适用于前馈和反向传播步骤。在实验中,我们观察到卷积神经网络(CNN)对这种压缩方案具有弹性,结果表明CNN学会利用低频分量。特别是,我们发现:(1)带限训练可以有效地控制资源使用(GPU和存储器);(2)用带限层训练的模型保持高预测精度;以及(3)不需要修改现有的训练算法或神经网络架构来使用,不像其他压缩方案。
2019-11-21 cs.CV cs.LG stat.ML
F^2-Softmax: Diversifying Neural Text Generation via Frequency Factorized Softmax
Humelo;Columbia University(哥伦比亚大学);KAIST(韩国科学技术院)
尽管最近在神经文本生成方面取得了进展,但对人类语言丰富多样性的编码仍然是难以捉摸的。我们认为,次优的文本生成主要是由于不平衡的令牌分布,特别是误导学习模型时,训练的最大似然目标。作为一种简单而有效的补救措施,我们提出了两种新的方法,F^2-Softmax和MefMax,即使在倾斜的频率分布下也可以进行平衡训练。MefMax将令牌唯一地分配给频率类,尝试将具有相似频率的令牌分组,并在类之间均衡频率质量。然后,F^2-Softmax将目标令牌的概率分布分解为(i)频率类别和(ii)来自目标频率类别的令牌的两个条件概率的乘积。模型学习更均匀的概率分布,因为它们局限于词汇表的子集。在七个相关指标上的显着性能增益表明,我们的方法不仅在提高多样性方面,而且在提高生成文本的质量方面都是至高无上的。
2020-10-04 cs.CL cs.LG
Signed Graph Neural Networks: A Frequency Perspective
Georgia Tech(佐治亚理工学院)
图卷积网络(GCN)及其变体被设计用于仅包含正链接的无符号图。许多现有的GCN已经从位于(无符号)图上的信号的谱域分析中导出,并且在每个卷积层中,它们执行输入特征的低通滤波,然后进行可学习的线性变换。它们扩展到具有正链接和负链接的符号图带来了多个问题,包括计算不规则性和模糊的频率解释,使得计算高效的低通滤波器的设计具有挑战性。在本文中,我们解决这些问题,通过频谱分析的符号图,并提出了两个不同的符号图神经网络,一个只保留低频信息,一个也保留高频信息。我们进一步引入磁符号拉普拉斯算子,并使用其特征分解的有向符号图的谱分析。我们测试了我们的方法在符号图上的节点分类和链接符号预测任务,并实现了最先进的性能。
2022-08-15 cs.LG