Deep Ensembles to Improve Uncertainty Quantification of Statistical Downscaling Models under Climate Change Conditions
Instituto de Física de Cantabria (IFCA)(坎塔布里亚物理研究所);CSIC- Universidad de Cantabria(西班牙国家研究委员会-坎塔布里亚大学)
针对统计降尺度深度学习模型因平稳性假设在气候变化场景下泛化存疑的问题,提出用Deep Ensembles提升其不确定性量化能力,经伪现实实验验证可优化风险评估,支撑极端天气应对与气候适应规划。
2023-04-27 cs.LG physics.ao-ph
Uncertainty Quantification in Deep Neural Networks through Statistical Inference on Latent Space
Humboldt-Universität zu Berlin(柏林洪堡大学)
针对深度神经网络分类器过度自信的问题,提出一种利用网络正确分类的训练集部分生成的潜在空间表示构建统计模型的算法,以评估预测准确性和似然,从而有效检测分布外数据点并辅助自动发现异常值。
2023-05-18 cs.AI cs.LG
Deephys: Deep Electrophysiology, Debugging Neural Networks under Distribution Shifts
Massachusetts Institute of Technology(麻省理工学院);Center for Brains, Minds & Machines(脑、心智与机器中心);Fujitsu Limited(富士通有限公司)
深度神经网络(DNN)在分布外的场景中经常失败。在本文中,我们介绍了一种工具来可视化和理解这种故障。我们从神经电生理学的概念中汲取灵感,这些概念基于通过分析单个单元的特征调整和不变性来检查神经网络的内部功能。Deep Electrophysiology,简称Deephys,通过对分布内和分布外数据集中的神经活动进行比较可视化,提供了DNN在分布外场景中失败的见解。Deephys提供了对单个神经元、单个图像和一组图像的无缝分析,并且能够揭示由于虚假特征和新特征的存在而导致的故障。我们使用卷积和Transformers架构,在几个数据集和分布偏移(即彩色MNIST,CIFAR-10和ImageNet)中通过定量分析证实了Deephys定性可视化的有效性。
2023-03-17 cs.AI cs.LG
Data-Dependence of Plateau Phenomenon in Learning with Neural Network --- Statistical Mechanical Analysis
The University of Tokyo(东京大学)
高原现象,其中损失值在学习过程中停止下降,已经被各种研究人员报道。这种现象在20世纪90年代被积极地检查,并发现是由于神经网络模型的基本层次结构。这种现象被认为是不可避免的。然而,这种现象在最近的深度学习背景下很少发生。理论与现实之间存在差距。本文利用统计力学公式,阐明了高原现象与学习数据的统计性质之间的关系。结果表明,协方差特征值小而分散的数据往往使平台现象不明显。
2020-01-10 cs.LG stat.ML
Detecting Statistical Interactions from Neural Network Weights
University of Southern California(南加州大学)
解释神经网络是机器学习中一项至关重要且具有挑战性的任务。在本文中,我们开发了一种新的框架,用于检测前馈多层神经网络捕获的统计相互作用,直接解释其学习的权重。根据所需的相互作用,我们的方法可以实现显着更好的或类似的相互作用检测性能相比,国家的最先进的,而无需搜索可能的相互作用的指数解空间。我们通过观察输入特征之间的相互作用是由非线性激活函数的非加性效应产生的,并且相互作用的路径被编码在权重矩阵中,来获得这种准确性和效率。我们证明了我们的方法的性能和发现的相互作用的重要性,通过在合成数据集和现实世界的应用程序数据集上的实验结果。
2018-02-27 cs.LG stat.ML
Probabilistic Deep Learning with Probabilistic Neural Networks and Deep Probabilistic Models
IBM(国际商业机器公司)
概率深度学习是考虑不确定性的深度学习,包括模型不确定性和数据不确定性。它基于概率模型和深度神经网络的使用。我们区分了概率深度学习的两种方法:概率神经网络和深度概率模型。前者采用深度神经网络,其利用概率层来表示和处理不确定性;后者使用概率模型,其包含深度神经网络组件,这些组件捕获随机变量之间的复杂非线性随机关系。我们讨论了每种方法的一些主要例子,包括贝叶斯神经网络和混合密度网络(概率神经网络),以及变分自编码器,深度高斯过程和深度混合效应模型(深度概率模型)。TensorFlow Probability是一个用于概率建模和推理的库,可用于概率深度学习的两种方法。我们包括它的代码示例用于说明。
2021-06-09 cs.LG stat.ML
Neural lasso: a unifying approach of lasso and neural networks
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
本文提出将统计变量选择技术lasso表示为神经网络,通过模仿统计框架的两步交叉验证优化修改标准神经网络训练,并提出一种新优化算法,在合成和真实数据上优于已有方法。
2023-09-07 cs.LG stat.ML
A statistical theory of cold posteriors in deep neural networks
University of Bristol(布里斯托大学)
为了使贝叶斯神经网络对标准神经网络进行建模,通常需要使用“回火”或“冷”后验来人为地降低不确定性。这是极为令人关切的:如果先验是准确的,贝叶斯推理/决策理论是最佳的,对后验的任何人为改变都会损害性能。虽然这表明先验可能有问题,但我们认为,实际上,用于图像分类的BNN使用了错误的可能性。特别是,标准图像基准数据集(如CIFAR-10)经过精心策划。我们开发了一个生成模型描述策展,给出了一个原则贝叶斯帐户冷后验,因为在这个新的生成模型下的可能性密切匹配的回火可能性在过去的工作中使用。
2021-04-27 cs.LG stat.ML
Statistical Characteristics of Deep Representations: An Empirical Investigation
Seoul National University(首尔大学)
在这项研究中,八个表示正则化方法的影响进行了研究,包括两个新开发的秩正则化(RR)。调查表明,在训练过程中,相关性、稀疏性和秩等表示的统计特性可以按预期进行操作。此外,可以通过尝试所有的表示正则化器并微调其效果的强度来提高基线性能。与性能改善相反,性能和统计特征之间没有一致的关系。结果表明,操纵的统计特性可以有助于提高性能,但只有间接通过其对学习动力学或其调谐效果的影响。
2020-12-02 cs.LG stat.ML
Dynamics of Deep Neural Networks and Neural Tangent Hierarchy
IAS(高等研究院);Harvard University(哈佛大学)
通过梯度下降训练的深度神经网络的进化可以通过[20]中介绍的神经切线核(NTK)来描述,其中证明了在无限宽度限制下,NTK收敛到显式限制核,并且在训练期间保持不变。NTK也隐含在其他一些最近的论文中[6,13,14]。在过度参数化机制中,完全训练的深度神经网络实际上等同于使用限制NTK的核回归预测器。对于深度过参数化的神经网络,梯度下降实现了零训练损失。然而,在[5]中观察到,使用限制NTK的内核回归与深度神经网络之间存在性能差距。这种性能差距可能源于NTK随训练的变化,由于有限宽度效应。NTK在训练过程中的变化是描述深度神经网络泛化特征的核心。在本文中,我们研究了有限宽度深度全连接神经网络的NTK的动力学。我们推导出一个无限层次的常微分方程,神经切线层次(NTH),它捕获了深度神经网络的梯度下降动态。此外,在一定的条件下的神经网络的宽度和数据集的维数,我们证明了截断层次的NTH逼近动态的NTK到任意精度。这种描述使得直接研究深度神经网络的NTK的变化成为可能,并揭示了深度神经网络优于使用相应限制NTK的核回归的观察结果。
2019-09-18 cs.LG stat.ML
Spurious Local Minima of Deep ReLU Neural Networks in the Neural Tangent Kernel Regime
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所)
在本文中,我们从理论上证明了深度ReLU神经网络在神经切核(NTK)机制下的损失景观中不存在虚假的局部最小值,也就是说,在深度ReLU神经网络的梯度下降训练动态中,其参数由正态分布初始化,因为隐藏层的宽度趋于无穷大。
2022-05-18 cs.LG stat.ML
Exponential Convergence of the Deep Neural Network Approximation for Analytic Functions
Princeton University(普林斯顿大学);Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
我们证明了对于低维解析函数,深度神经网络逼近的收敛速度是指数的。
2018-07-01 cs.LG stat.ML
Structure and Distribution Metric for Quantifying the Quality of Uncertainty: Assessing Gaussian Processes, Deep Neural Nets, and Deep Neural Operators for Regression
Massachusetts Institute of Technology(麻省理工学院)
我们提出了两个有界的比较指标,可以实现任意尺寸的回归任务。一个是量化不确定性的结构,另一个是量化不确定性的分布。结构度量评估不确定性的形状和位置与真实误差的相似性,而分布度量量化两者之间的支持幅度。我们将这些指标应用于高维和非线性测试用例中的高斯过程(GP),嵌入式深度神经网络(DNN)和嵌入式深度神经运算符(DNO)。我们发现,比较模型的不确定性估计与模型的平方误差提供了一个令人信服的地面真相评估。我们还观察到,DNN和DNO,特别是与GP相比,在高维数据中提供了令人鼓舞的度量值,无论是稀疏还是丰富的数据。
2022-03-09 cs.LG stat.ML
A Unified Framework of Deep Neural Networks by Capsules
College of Computer Science(计算机学院);Faculty of Information Technology(信息技术学院);Beijing University of Technology(北京工业大学)
随着深度学习的发展,如何统一地描述深度神经网络正成为一个重要的问题。我们首先用有向图表示形式化了神经网络,并证明了一个关于连通有向无环图诱导网络的生成定理。然后,我们用胶囊网络建立了一个统一的深度学习框架。该框架简化了现有深度神经网络的描述,为深度学习模型的图形化设计和编程技术提供了理论基础,对深度学习的发展具有重要意义。
2018-05-10 cs.LG stat.ML
Statistical Mechanical Analysis of Neural Network Pruning
University of Rochester(罗切斯特大学)
具有大量参数的深度学习架构通常使用修剪技术进行压缩,以确保部署期间推理的计算效率。尽管有大量的实证研究进展,但缺乏对不同修剪方法有效性的理论理解。我们检查不同的修剪技术下的统计力学制定的师生框架,并推导出他们的泛化误差(GE)的界限。在真实数据集上的测试表明,基于行列式点过程(DPP)的节点剪枝方法明显优于竞争方法。在上述设置中使用GE界限,我们为他们的经验观测提供了理论保证。文献中的另一个一致发现是,对于固定数量的参数,稀疏神经网络(边缘修剪)比密集神经网络(节点修剪)更好地推广。我们使用我们的理论设置来证明这一发现,并表明,即使是基线随机边缘修剪方法比DPP节点修剪方法的性能更好。我们还在真实数据集上验证了这一点。
2021-06-11 cs.LG stat.ML
Convex Formulation of Overparameterized Deep Neural Networks
Shenzhen Research Institute of Big Data(深圳大数据研究院);Princeton University(普林斯顿大学);HKUST(香港科技大学)
过参数神经网络的分析近年来引起了人们的广泛关注。结果表明,这种系统的行为像凸系统下各种restrictedsettings,如两个层次的神经网络,当学习只局限于本地在所谓的神经切线核空间周围专门的初始化。然而,没有理论技术可以分析在实践中遇到的完全训练的深度神经网络。本文通过研究这种经过充分训练的过参数化深度神经网络来解决这个基本问题。我们推广了一种称为神经特征重新填充的新技术,最初在(Fang et al.,2019 a)用于两级神经网络,以分析深度神经网络。研究表明,在合适的表示下,过参数化深度神经网络本质上是凸的,当优化时,系统可以在温和的条件下学习适合底层学习任务的有效特征。这种新的分析与经验观察一致,即深度神经网络能够学习有效的特征表示。因此,这篇论文高度出乎意料的结果可以令人满意地解释深度神经网络的实际成功。实证研究证实,我们的理论预测是一致的,在实践中观察到的结果。
2019-11-18 cs.LG stat.ML
Generalization in multitask deep neural classifiers: a statistical physics approach
Intel AI Lab(英特尔人工智能实验室)
正确理解深度神经网络惊人的泛化能力是一个持久的难题。最近,越来越多的基于数值的理论工作为深度神经网络的学习理论提供了重要的见解。最近也有兴趣将这些分析扩展到理解多任务学习如何进一步提高深度神经网络的泛化能力。这些研究几乎只涉及回归任务,这些任务适用于现有的分析技术。我们开发了深度神经网络泛化的非线性动力学分析理论,该神经网络经过训练,使用softmax输出和交叉熵损失解决分类任务,解决单任务和多任务设置。我们通过调整无序系统的统计物理学技术来做到这一点,同时考虑到有限大小的数据集和由训练动态引起的相关输出。我们讨论了我们的理论结果相比,一套全面的数值实验的有效性。我们的分析提供了理论支持的直觉,多任务学习的性能是由任务的噪声和如何以及他们的输入功能相互对齐。高度相关的干净任务彼此受益,而不相关的干净任务可能对个人任务绩效有害。
2019-10-30 cs.LG stat.ML
Universality of Deep Convolutional Neural Networks
City University of Hong Kong(香港城市大学)
深度学习已经在语音识别、计算机视觉和许多其他领域得到了广泛应用并带来了突破。所涉及的深度神经网络架构和计算问题已经在机器学习中得到了很好的研究。但是,对于理解由诸如具有卷积结构的深度卷积神经网络之类的网络架构生成的深度学习方法的近似或泛化能力,缺乏理论基础。在这里,我们证明了深度卷积神经网络(CNN)是通用的,这意味着当神经网络的深度足够大时,它可以用来近似任何连续函数到任意精度。这回答了学习理论中的一个开放性问题。我们的定量估计,严格按照要计算的自由参数的数量给出,验证了深度CNN在处理高维数据时的效率。我们的研究还证明了卷积在深度CNN中的作用。
2018-07-20 cs.LG stat.ML
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University(吉林大学);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education(教育部符号计算与知识工程重点实验室)
贝叶斯优化(BO)是寻找黑箱函数全局最优解的一种有效方法。最近,BO已被应用于神经结构搜索,并显示出比纯进化策略更好的性能。这些方法都采用高斯过程(GP)作为代理函数,以手工相似性度量作为输入。在这项工作中,我们提出了一个贝叶斯图神经网络作为一个新的代理,它可以自动从深度神经架构中提取特征,并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理,我们开发了一个图贝叶斯优化框架,以解决深度神经架构搜索的挑战性任务。实验结果表明,我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
Langevin algorithms for very deep Neural Networks with application to image classification
Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室);Sorbonne Université(索邦大学)
训练非常深的神经网络是一项具有挑战性的任务,因为神经网络越深,它的非线性就越强。我们比较了各种预处理Langevin算法与非Langevin算法的性能,用于训练深度增加的神经网络。对于浅层神经网络,Langevin算法没有带来任何改进,但是网络越深,Langevin算法提供的增益越大。向梯度下降中添加噪声可以避免局部陷阱,这对于非常深的神经网络来说更常见。在此启发式之后,我们引入了一种新的Langevin算法,称为Layer Langevin,该算法仅将Langevin噪声添加到与最深层相关的权重。然后,我们证明了Langevin和Layer Langevin算法在训练图像分类的流行深度残差架构方面的优势。
2022-12-27 cs.LG stat.ML
A Statistical Framework for Low-bitwidth Training of Deep Neural Networks
University of California, Berkeley(加州大学伯克利分校)
全量化训练(FQT)通过量化神经网络模型的激活、权重和梯度来使用低位宽硬件,是加速深度神经网络训练的一种有前途的方法。FQT的一个主要挑战是缺乏理论理解,特别是梯度量化如何影响收敛特性。在本文中,我们解决这个问题,提出了一个统计框架分析FQT算法。我们将FQT的量化梯度视为其全精度对应物的随机估计器,这一过程称为量化感知训练(QAT)。我们证明了FQT梯度是QAT梯度的无偏估计,并讨论了梯度量化对其方差的影响。受这些理论结果的启发,我们开发了两种新的梯度量化器,我们表明,这些比现有的每张量量化器具有更小的方差。对于在ImageNet上训练ResNet-50,我们的5位块Householder量化器相对于QAT仅实现了0.5%的验证准确度损失,与现有的INT 8基线相当。
2020-10-27 cs.LG stat.ML
DeepStreamCE: A Streaming Approach to Concept Evolution Detection in Deep Neural Networks
Birmingham City University(伯明翰城市大学)
深度神经网络已经在实验中证明了在决策预测方面优于其他机器学习方法的性能。然而,一个主要的问题是训练类的分类决策的闭集性质,这可能会在安全关键系统中产生严重的后果。当深度神经网络处于流式传输环境中时,需要对该分类进行快速解释以确定分类结果是否可信。当深度神经网络的输入数据随时间变化时,可能会发生不可信分类。一种可能发生的变化是概念进化,其中引入了一个新的类,而深度神经网络没有在其上进行训练。在大多数深度神经网络架构中,唯一的选择是将此实例分配给它在其上进行训练的类之一,这是不正确的。本研究的目的是检测流中新类的到达。现有的解释深度神经网络的工作通常集中在神经元激活,以提供视觉解释和特征提取。我们的新方法,创造了DeepStreamCE,使用流方法在深度神经网络中进行实时概念进化检测。DeepStreamCE在离线阶段使用自动编码器和基于MCOD流的聚类来应用神经元激活减少。两个输出都用于在线阶段,以分析进化流中的神经元激活,从而实时的检测概念进化的发生。我们通过在CIFAR-10数据集的数据组合上训练VGG 16卷积神经网络来评估DeepStreamCE,并提供一些类作为概念进化。为了进行比较,我们将数据和VGG 16网络应用于开放集深度网络解决方案- OpenMax。DeepStreamCE在识别我们数据集的概念演变时优于OpenMax。
2020-04-08 cs.LG stat.ML
Statistical-Neural Interaction Networks for Interpretable Mixed-Type Data Imputation
Graduate School of Human Sciences, Waseda University(早稻田大学人类科学研究生院);Faculty of Human Sciences, Waseda University(早稻田大学人类科学学院)
SNI通过结合统计先验和神经注意力实现可解释的混合类型数据填补,提供依赖诊断和权衡参数,优于部分基线方法。
2026-01-18 cs.LG stat.ML
Revisiting Neighborhood Aggregation in Graph Neural Networks for Node Classification using Statistical Signal Processing
International University of Rabat(拉巴特国际大学)
本文从统计信号处理角度重新审视GNN中的邻域聚合,指出基准模型在边缘独立标签假设下的概念缺陷,并提出改进设计见解。
2024-07-21 cs.LG eess.SP stat.ML
Using Deep Neural Networks to Automate Large Scale Statistical Analysis for Big Data Applications
Purdue University(普渡大学)
统计分析是从数据分析中推断总体性质的复杂过程。通常需要训练有素的分析师才能成功执行SA,并且将SA应用于大数据应用程序变得非常具有挑战性。我们建议使用深度神经网络来自动化SA过程。特别是,我们建议构造卷积神经网络(CNN)来执行自动模型选择和参数估计,这两个最重要的SA任务。我们将得到的CNN分别称为神经模型选择器和神经模型估计器,它们可以使用从候选模型系统生成的标记数据进行适当的训练。仿真研究表明,选择器和估计器都表现出良好的性能。这个想法和提出的框架可以进一步扩展,以自动化整个SA过程,并有可能彻底改变SA在大数据分析中的执行方式。
2017-08-09 cs.LG stat.CO stat.ML
On-line learning dynamics of ReLU neural networks using statistical physics techniques
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen(格罗宁根大学伯努利数学、计算机科学与人工智能研究所)
我们引入了精确的宏观在线学习动态的双层神经网络与ReLU单位的形式的微分方程系统,使用从统计物理学借用的技术。对于第一个实验,数值解揭示了类似的行为相比,S形激活研究在早期的工作。在这些实验中,理论结果与模拟显示出良好的对应关系。在不可实现和不可实现的学习场景中,ReLU网络的学习行为与sigmoidal网络相比表现出独特的特征。
2019-03-18 cond-mat.dis-nn cs.LG stat.ML
deep-significance - Easy and Meaningful Statistical Significance Testing in the Age of Neural Networks
IT University of Copenhagen(哥本哈根信息技术大学);Technical University of Denmark(丹麦技术大学)
许多机器学习(ML)和深度学习(DL)研究都是经验性的。然而,统计显著性检验(SST)尚未得到广泛应用。这会危及真正的进步,因为表面上超过基线的改进可能是统计上的侥幸,导致后续研究误入歧途,同时浪费人力和计算资源。在这里,我们提供了一个易于使用的软件包,包含不同的显著性测试和实用功能,专门针对研究需求和可用性。
2022-04-14 cs.LG
Statistical tuning of artificial neural network
University of Tabriz(大不里士大学)
本研究针对单隐藏层神经网络的可解释性问题,将其解释为非参数回归模型,提出统计检验、降维算法及自举技术评估神经元显著性与性能,并在IDC和Iris数据集上验证,推进了可解释人工智能领域。
2024-09-24 cs.LG stat.AP stat.ML
Statistical Guarantees for the Robustness of Bayesian Neural Networks
University of Oxford(牛津大学);Royal Holloway University of London(伦敦大学皇家霍洛威学院)
我们引入了一个概率鲁棒性贝叶斯神经网络(BNN)的措施,定义为概率,给定一个测试点,有界集内存在一个点,使BNN预测两者之间的差异。例如,这种度量可以用来量化对抗性示例存在的概率。基于概率模型的统计验证技术,我们开发了一个框架,允许我们估计具有统计保证的BNN的概率鲁棒性,即,具有先验误差和置信界限。我们提供了实验比较几个近似BNN推理技术的图像分类任务与MNIST和两个类的GTSRB数据集的子集。我们的研究结果使BNN预测在对抗环境中的不确定性量化成为可能。
2019-03-05 cs.CV cs.LG stat.ML
Statistical model-based evaluation of neural networks
KTH Royal Institute of Technology(KTH皇家理工学院)
使用基于统计模型的数据生成,我们开发了一个实验装置的评估神经网络(NN)。该设置有助于对一组NN与最小均方误差(MMSE)性能界限进行基准测试。这允许我们测试训练数据大小、数据维度、数据几何形状、噪声以及训练和测试条件之间的不匹配的影响。在建议的设置中,我们使用高斯混合分布来生成用于训练和测试一组竞争NN的数据。我们的实验表明,了解数据的类型和统计条件对于正确应用和设计神经网络的重要性
2020-11-18 cs.LG
Statistical learning by sparse deep neural networks
Tel Aviv University(特拉维夫大学)
本文提出基于l_1正则化经验风险最小化的深度神经网络估计器,推导其在回归与分类中的超额风险界,并证明其在整个函数类范围内自适应地接近极小极大最优。
2023-11-15 cs.LG math.ST stat.ME
A Correspondence Between Random Neural Networks and Statistical Field Theory
Google Brain(谷歌大脑)
最近的一些论文提供了证据,证明神经网络的实际设计问题可以通过研究随机网络的行为来理论上解决。然而,到目前为止,可用于分析随机神经网络的工具一直相对特设。在这项工作中,我们表明,在随机神经网络中的预激活的分布可以准确地映射到统计物理中的格模型。我们认为,以前的几个调查随机网络实际上研究了一个特定的阶乘近似的全格模型。对于随机线性网络和随机整流线性网络,我们表明,相应的格子模型在宽网络限制可以系统地近似为高斯分布与网络层之间的协方差。在每种情况下,近似分布可以通过傅立叶变换对角化。我们表明,这种近似准确地描述了宽随机神经网络的数值模拟的结果。最后,我们证明了在每种情况下,随机网络的大尺度行为可以近似的有效场论。
2017-10-18 cond-mat.dis-nn cs.LG stat.ML
Statistical Deep Learning for Spatial and Spatio-Temporal Data
University of Missouri(密苏里大学);University of Wollongong(伍伦贡大学)
近年来,深度神经网络模型已经变得无处不在,并且已经应用于科学、工程和工业的几乎所有领域。这些模型对于在空间上具有强依赖性的数据(例如,图像)和时间(例如,序列)。事实上,统计界也广泛使用深度模型来对空间和时空数据进行建模,例如,使用多级贝叶斯分层模型和深度高斯过程。在这篇综述中,我们首先概述了传统的统计和机器学习的角度来建模空间和时空数据,然后专注于各种混合模型,最近已经开发的潜在的过程,数据和参数规格。这些混合模型将统计建模思想与深度神经网络模型相结合,以利用每种建模范式的优势。最后,我们给出了一个概述的计算技术,这些混合模型已被证明是有用的,并简要讨论了未来的研究方向。
2022-06-05 cs.LG stat.ME stat.ML
Statistical Guarantees for Regularized Neural Networks
Ruhr-University Bochum(波鸿鲁尔大学)
神经网络已经成为数据分析的标准工具,但它们缺乏全面的数学理论。例如,从数据中学习神经网络的统计保证非常少,特别是对于在实践中使用或至少类似于此类的估计器的类别。在本文中,我们开发了一个一般的统计保证估计,包括一个最小二乘项和正则化。然后,我们用$\ell_1$ -正则化来证明这一保证,表明相应的预测误差在层的数量上最多以次线性方式增加,在参数的总数上最多以几何方式增加。我们的研究结果为神经网络的正则化估计建立了数学基础,它们加深了我们对神经网络和深度学习的数学理解。
2020-11-11 cs.LG cs.NE math.ST
Neural Statistical Functions
Columbia University(哥伦比亚大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出神经统计函数,通过预训练单样本预测器和散落数据样本学习,实现连续操作条件范围内的统计推断,显著降低模型评估次数。
2026-05-11 cs.LG
Statistically Undetectable Backdoors in Deep Neural Networks
University of Ottawa(渥太华大学);Bocconi University(博科尼大学);Massachusetts Institute of Technology(麻省理工学院)
研究对抗模型训练者在深度前馈神经网络中植入统计上不可检测的后门,此后门可提供基于不变性的对抗样本,揭示了模型训练者与使用者间的权力不对称,且无后门时多项式时间内无法生成此类样本。
2026-07-13 cs.CR cs.LG stat.ML
Neural Tangent Kernel Analysis of Deep Narrow Neural Networks
Seoul National University(首尔国立大学);Hongik University(弘益大学)
最近在分析过参数化神经网络的训练动态方面取得的巨大进展主要集中在宽网络上,因此没有充分解决深度在深度学习中的作用。在这项工作中,我们提出了无限深但窄神经网络的第一个可训练性保证。我们研究了具有特定初始化的多层感知器(MLP)的无限深度限制,并使用NTK理论建立了可训练性保证。然后,我们将分析扩展到无限深度卷积神经网络(CNN)并进行简短的实验。
2022-06-27 cs.LG math.OC stat.ML
Statistical Guarantees for Approximate Stationary Points of Shallow Neural Networks
University of Hamburg(汉堡大学);Beijing Normal-Hong Kong Baptist University(北京师范大学-香港浸会大学联合国际学院)
本文研究了浅层神经网络近似 stationary 点的统计保证,提出方法支持神经网络无需全局优化的数学观点,并扩展至 ReLU 神经网络。
2025-12-05 cs.LG math.ST stat.TH
Theoretical Analysis of the Advantage of Deepening Neural Networks
Faculty of Science;Engineering Waseda University Tokyo, Japan;Center for Data Science Waseda University Tokyo, Japan
本研究提出两个独立于学习效率评估深度神经网络表达能力的准则,从逼近精度和线性区域性质角度分析,证明增加层数比增加每层单元数更能提升网络表达能力。
2020-09-24 cs.LG cs.NE stat.ML
Genetic Algorithms for Evolving Deep Neural Networks
Bar-Ilan University(巴伊兰大学);Tel Aviv University(特拉维夫大学)
近年来,应用无监督学习来训练神经网络深层的深度学习方法在众多领域取得了显著的成果。在过去,许多基于遗传算法的方法已经成功地应用于训练神经网络。在本文中,我们扩展了以前的工作,并提出了一个遗传算法辅助的方法进行深度学习。我们的实验结果表明,这种GA辅助的方法提高了深度自动编码器的性能,产生了更稀疏的神经网络。
2017-11-21 cs.LG cs.NE stat.ML
Characterizing the Decision Boundary of Deep Neural Networks
Michigan State University(密歇根州立大学)
深度神经网络,特别是深度神经分类器已经成为许多现代应用的组成部分。尽管它们在实践中取得了成功,但我们对它们如何工作的了解仍然有限,对这种了解的需求正在不断增长。在这方面,深度神经网络分类器可以帮助我们加深对其决策行为的了解的一个关键方面是调查其决策边界。然而,这取决于是否能够接触到决策边界附近区域的样本。为了实现这一点,我们提出了一种新的方法,我们称之为深度决策边界实例生成(DeepDIG)。DeepDIG利用基于对抗性示例生成的方法作为在任何深度神经网络模型的决策边界附近生成样本的有效方式。然后,我们引入了一组重要的原则性特征,这些特征利用决策边界附近生成的实例来提供对深度神经网络的多方面理解。我们在各种深度神经网络模型的多个代表性数据集上进行了广泛的实验,并描述了它们的决策边界。该代码可在https://github.com/hamidkarimi/DeepDIG/上公开获取。
2020-06-03 cs.CV cs.LG stat.ML
Are Statistical Methods Obsolete in the Era of Deep Learning? A Study of ODE Inverse Problems
Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院);Harvard University(哈佛大学)
本文通过SEIR和洛伦茨模型案例表明,统计方法在稀疏噪声数据下仍具优势,能以更少参数和超参数调优实现更低偏差和方差,且在无相关数据的外推预测中表现更优。
2026-04-03 cs.LG stat.CO stat.ML
Modeling Parkinson's Disease Progression Using Longitudinal Voice Biomarkers: A Comparative Study of Statistical and Neural Mixed-Effects Models
Department of Mathematical Sciences(数学科学系);Naveen Jindal School of Management(奈文·金达管理学院);Department of Biology(生物系);University of Texas at Dallas(德克萨斯大学达拉斯分校);Duke University(杜克大学);The Second Affiliated Hospital, Zhejiang University School of Medicine(浙江大学医学院第二附属医院);Department of Neurosurgery(神经外科系)
本文比较了统计与神经混合效应模型在分析帕金森病纵向语音数据中的表现,发现GAMM在预测性能和可解释性上更优,而神经模型在小样本下易过拟合。
2026-04-27 cs.LG stat.AP stat.ML
DropNeuron: Simplifying the Structure of Deep Neural Networks
Data Science Institute(数据科学研究所);Imperial College London(伦敦帝国理工学院)
使用多层神经网络(NN)架构的深度学习在现代机器学习系统中表现出超强的能力。经过训练的深度神经网络(DNN)通常很大。我们想要解决的问题是,是否有可能在训练过程中简化NN,以在可接受的计算时间内实现合理的性能。我们提出了一种通过网络结构的正则化来优化深度神经网络的新方法。我们提出了正则化器,它支持在网络训练过程中丢弃神经元的简单机制。该方法支持构造一个更简单的深度神经网络,其性能与其简化版本兼容。作为概念的证明,我们评估所提出的方法的例子,包括稀疏线性回归,深度自动编码器和卷积神经网络。估值显示了出色的业绩。该工作的代码可以在http://www.github.com/panweihit/DropNeuron中找到
2016-07-03 cs.CV cs.LG stat.ML
Deep Learning: From Basics to Building Deep Neural Networks with Python
本书面向不熟悉深度学习的初学者。我们对读者的唯一期望是他们已经掌握了Python的基本编程技能。
2022-04-22 cs.LG
Towards a Statistical Understanding of Neural Networks: Beyond the Neural Tangent Kernel Theories
East China Normal University(华东师范大学);Tsinghua University(清华大学)
从统计角度研究神经网络特征学习,回顾NTK理论等,探讨固定核理论局限,将神经网络视为自适应特征模型,提出过参数化高斯序列模型作为原型,以研究特征学习特性并推动对神经网络的分析。
2026-07-29 cs.LG math.ST stat.TH
Integrating Statistical and Machine Learning Approaches to Identify Receptive Field Structure in Neural Populations
Boston University(波士顿大学);Brandeis University(布兰迪斯大学)
神经元可以同时编码多个变量,神经科学家通常对基于神经元的感受野特性对神经元进行分类感兴趣。统计模型为确定影响神经发放活动的因素和对单个神经元进行分类提供了强有力的工具。然而,随着神经记录技术的发展,可以从大量人群中同时产生尖峰数据,经典的统计方法往往缺乏处理这些数据所需的计算效率。机器学习(ML)方法以实现高效的大规模数据分析而闻名;然而,它们通常需要具有平衡数据的大量训练集,以及准确的标签以适应良好。此外,ML的模型评估和解释通常比经典统计方法更具挑战性。为了解决这些挑战,我们开发了一个综合框架,结合统计建模和机器学习方法来识别来自大种群的神经元的编码特性。为了证明这一框架,我们应用这些方法的数据从一个人口的神经元记录从大鼠海马的空间感受野的分布特征在这个地区。
2022-10-27 cs.LG q-bio.NC
Applications of Statistical Field Theory in Deep Learning
针对深度学习科学因复杂性处于早期阶段的问题,本文提出利用统计场论这一物理学工具研究函数分布,综述其在泛化、隐式偏置和特征学习效应等方面的应用,为该新兴方向提供教学性梳理。
2025-04-17 cond-mat.dis-nn cs.AI cs.LG
Statistical guarantees for sparse deep learning
Ruhr-University Bochum(波鸿鲁尔大学)
神经网络在应用中越来越受欢迎,但我们对其潜力和局限性的数学理解仍然有限。在本文中,我们通过为稀疏深度学习开发统计保证来进一步理解这一点。与以前的工作相比,我们考虑了不同类型的稀疏性,例如很少的活动连接,很少的活动节点,以及其他基于范数的稀疏性类型。此外,我们的理论涵盖了以前的理论所忽略的重要方面,如多个输出,正则化和l2损失。这些保证对网络的宽度和深度有轻微的依赖性,这意味着它们从统计的角度支持稀疏但又宽又深的网络的应用。我们在推导过程中使用的一些概念和工具在深度学习中并不常见,因此可能会引起额外的兴趣。
2022-12-11 cs.AI cs.LG math.ST
Statistical Guarantees for Link Prediction using Graph Neural Networks
Harvard University(哈佛大学);Stanford University(斯坦福大学)
本文提出线性GNN架构(LG-GNN),为图生成模型生成的图上的链接预测提供统计保证,包括均方误差界和高概率边检测能力,并验证于真实和合成数据。
2024-02-07 cs.LG cs.SI math.ST
Statistical Tests and Confidential Intervals as Thresholds for Quantum Neural Networks
Thang Long University(升龙大学);Institute of Mathematics, Vietnam National Academy of Science and Technology(越南国家科学技术院数学研究所)
作者\cite{dndiep3}的近期工作中,分析并构建了一些基本的量子神经网络,发表在《国际理论物理杂志》(2020)上。特别讨论了最小二乘问题(LSP)和线性回归问题(LRP)。在第二篇论文中,我们继续分析和构造了最小二乘量子神经网络(LS-QNN)、多项式插值量子神经网络(PI-QNN)、多项式回归量子神经网络(PR-QNN)和卡方量子神经网络($χ^2$ -QNN)。我们使用相应的解决方案或测试作为相应训练规则的阈值。
2020-01-30 cs.ET cs.LG quant-ph
A Statistical Difference between Single-Layer Learning and Hierarchical Learning in Wide Neural Networks
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
研究宽神经网络中单层与分层学习的差异,通过研究三层有限但大量隐藏单元的神经网络,发现训练输入到隐藏层权重泛化误差更小,且固定权重设置在参数空间有奇异性,揭示奇异性在宽神经网络中有重要作用。
2026-07-28 cs.LG math.ST stat.ML
On the approximation of rough functions with deep neural networks
ETH Zürich(苏黎世联邦理工学院);University of Southern California(南加州大学)
深度神经网络和ENO过程都是近似粗糙函数的有效框架。我们证明,在任何阶数下,ENO插值过程都可以被转换为深度ReLU神经网络。这一令人惊讶的事实使ENO过程的几个理想属性能够转移到深度神经网络,包括其近似Lipschitz函数的高阶精度。数值试验结果表明,神经网络的非线性守恒律近似解和数据压缩性能优异。
2020-10-08 cs.LG cs.NA math.NA
Statistical Physics of Deep Neural Networks: Initialization toward Optimal Channels
Tsinghua University(清华大学);Huawei Technologies Co. Ltd.(华为技术有限公司)
在深度学习中,神经网络充当输入数据与其表示之间的噪声通道。这种观点自然地将深度学习与追求构建在信息传输和表示中具有最佳性能的通道联系起来。虽然相当大的努力集中在实现最佳的通道特性在网络优化,我们研究了一个经常被忽视的可能性,神经网络可以初始化为最佳通道。我们的理论与实验验证一致,确定了这种未知可能性背后的主要机制,并提出了统计物理和深度学习之间的内在联系。不同于传统的理论,特点神经网络应用经典的平均场近似,我们提供了分析证明,这种广泛应用的简化方案是无效的,在研究神经网络的信息通道。为了填补这一空白,我们开发了一个修正的平均场框架,适用于表征神经网络中的信息传播的限制行为,没有强的输入假设。在此基础上,我们提出了一个分析理论来证明,当神经网络初始化为动态等距时,输入和传播信号之间的互信息最大化是实现的,这种情况下,信息通过保范映射传输。这些理论预测验证了真实神经网络的实验,表明我们的理论对有限尺寸效应的鲁棒性。最后,我们用信息瓶颈理论分析了我们的研究结果,以确认深度学习中动态等距、互信息最大化和最佳信道属性之间的精确关系。
2022-12-04 cond-mat.dis-nn cond-mat.stat-mech cs.LG