Interval Forecasts for Gas Prices in the Face of Structural Breaks -- Statistical Models vs. Neural Networks
Institute of Energy Engineering and Energy Economics, Ulm University of Applied Sciences(乌尔姆应用科学大学能源工程与能源经济学院);Faculty of Statistics, TU Dortmund University(多特蒙德工业大学统计学院)
本研究对比了神经网络与统计模型在天然气价格结构性断层下的区间预测能力,发现简单模型在冲击期间的预测区间覆盖率表现最佳。
2024-07-23 cs.LG
Detecting Statistical Interactions from Neural Network Weights
University of Southern California(南加州大学)
解释神经网络是机器学习中一项至关重要且具有挑战性的任务。在本文中,我们开发了一种新的框架,用于检测前馈多层神经网络捕获的统计相互作用,直接解释其学习的权重。根据所需的相互作用,我们的方法可以实现显着更好的或类似的相互作用检测性能相比,国家的最先进的,而无需搜索可能的相互作用的指数解空间。我们通过观察输入特征之间的相互作用是由非线性激活函数的非加性效应产生的,并且相互作用的路径被编码在权重矩阵中,来获得这种准确性和效率。我们证明了我们的方法的性能和发现的相互作用的重要性,通过在合成数据集和现实世界的应用程序数据集上的实验结果。
2018-02-27 cs.LG stat.ML
Towards a Statistical Understanding of Neural Networks: Beyond the Neural Tangent Kernel Theories
East China Normal University(华东师范大学);Tsinghua University(清华大学)
从统计角度研究神经网络特征学习,回顾NTK理论等,探讨固定核理论局限,将神经网络视为自适应特征模型,提出过参数化高斯序列模型作为原型,以研究特征学习特性并推动对神经网络的分析。
2026-07-29 cs.LG math.ST stat.TH
Neural lasso: a unifying approach of lasso and neural networks
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
本文提出将统计变量选择技术lasso表示为神经网络,通过模仿统计框架的两步交叉验证优化修改标准神经网络训练,并提出一种新优化算法,在合成和真实数据上优于已有方法。
2023-09-07 cs.LG stat.ML
Statistical Tests and Confidential Intervals as Thresholds for Quantum Neural Networks
Thang Long University(升龙大学);Institute of Mathematics, Vietnam National Academy of Science and Technology(越南国家科学技术院数学研究所)
作者\cite{dndiep3}的近期工作中,分析并构建了一些基本的量子神经网络,发表在《国际理论物理杂志》(2020)上。特别讨论了最小二乘问题(LSP)和线性回归问题(LRP)。在第二篇论文中,我们继续分析和构造了最小二乘量子神经网络(LS-QNN)、多项式插值量子神经网络(PI-QNN)、多项式回归量子神经网络(PR-QNN)和卡方量子神经网络($χ^2$ -QNN)。我们使用相应的解决方案或测试作为相应训练规则的阈值。
2020-01-30 cs.ET cs.LG quant-ph
Revisiting Neighborhood Aggregation in Graph Neural Networks for Node Classification using Statistical Signal Processing
International University of Rabat(拉巴特国际大学)
本文从统计信号处理角度重新审视GNN中的邻域聚合,指出基准模型在边缘独立标签假设下的概念缺陷,并提出改进设计见解。
2024-07-21 cs.LG eess.SP stat.ML
Statistical Guarantees for Regularized Neural Networks
Ruhr-University Bochum(波鸿鲁尔大学)
神经网络已经成为数据分析的标准工具,但它们缺乏全面的数学理论。例如,从数据中学习神经网络的统计保证非常少,特别是对于在实践中使用或至少类似于此类的估计器的类别。在本文中,我们开发了一个一般的统计保证估计,包括一个最小二乘项和正则化。然后,我们用$\ell_1$ -正则化来证明这一保证,表明相应的预测误差在层的数量上最多以次线性方式增加,在参数的总数上最多以几何方式增加。我们的研究结果为神经网络的正则化估计建立了数学基础,它们加深了我们对神经网络和深度学习的数学理解。
2020-11-11 cs.LG cs.NE math.ST
Statistical learning by sparse deep neural networks
Tel Aviv University(特拉维夫大学)
本文提出基于l_1正则化经验风险最小化的深度神经网络估计器,推导其在回归与分类中的超额风险界,并证明其在整个函数类范围内自适应地接近极小极大最优。
2023-11-15 cs.LG math.ST stat.ME
A statistical theory of cold posteriors in deep neural networks
University of Bristol(布里斯托大学)
为了使贝叶斯神经网络对标准神经网络进行建模,通常需要使用“回火”或“冷”后验来人为地降低不确定性。这是极为令人关切的:如果先验是准确的,贝叶斯推理/决策理论是最佳的,对后验的任何人为改变都会损害性能。虽然这表明先验可能有问题,但我们认为,实际上,用于图像分类的BNN使用了错误的可能性。特别是,标准图像基准数据集(如CIFAR-10)经过精心策划。我们开发了一个生成模型描述策展,给出了一个原则贝叶斯帐户冷后验,因为在这个新的生成模型下的可能性密切匹配的回火可能性在过去的工作中使用。
2021-04-27 cs.LG stat.ML
A Stable Neural Statistical Dependence Estimator for Autoencoder Feature Analysis
Department of Electrical and Computer Engineering(电气与计算机工程系);University of Florida(佛罗里达大学)
本文提出一种稳定的神经依赖估计器,通过正交密度比分解,有效测量输入、潜在变量和重建之间的依赖关系,提升自编码器特征分析的稳定性与效率。
2026-03-22 cs.AI cs.LG
Using Deep Neural Networks to Automate Large Scale Statistical Analysis for Big Data Applications
Purdue University(普渡大学)
统计分析是从数据分析中推断总体性质的复杂过程。通常需要训练有素的分析师才能成功执行SA,并且将SA应用于大数据应用程序变得非常具有挑战性。我们建议使用深度神经网络来自动化SA过程。特别是,我们建议构造卷积神经网络(CNN)来执行自动模型选择和参数估计,这两个最重要的SA任务。我们将得到的CNN分别称为神经模型选择器和神经模型估计器,它们可以使用从候选模型系统生成的标记数据进行适当的训练。仿真研究表明,选择器和估计器都表现出良好的性能。这个想法和提出的框架可以进一步扩展,以自动化整个SA过程,并有可能彻底改变SA在大数据分析中的执行方式。
2017-08-09 cs.LG stat.CO stat.ML
On-line learning dynamics of ReLU neural networks using statistical physics techniques
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen(格罗宁根大学伯努利数学、计算机科学与人工智能研究所)
我们引入了精确的宏观在线学习动态的双层神经网络与ReLU单位的形式的微分方程系统,使用从统计物理学借用的技术。对于第一个实验,数值解揭示了类似的行为相比,S形激活研究在早期的工作。在这些实验中,理论结果与模拟显示出良好的对应关系。在不可实现和不可实现的学习场景中,ReLU网络的学习行为与sigmoidal网络相比表现出独特的特征。
2019-03-18 cond-mat.dis-nn cs.LG stat.ML
A Statistical Learning Perspective on Semi-dual Adversarial Neural Optimal Transport Solvers
Applied AI Institute(应用人工智能研究所);AXXX
从统计学习角度研究半对偶对抗神经最优传输求解器的理论界限,通过建立泛化误差上界,推动最优传输领域未来研究。
2026-02-24 cs.AI cs.LG
Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers
University of Ottawa(渥太华大学);American University(美利坚大学)
计算机生成文本的检测是一个重要性迅速增加的领域,因为新生的生成模型允许有效创建引人注目的类人文本,这些文本可能被滥用于垃圾邮件,虚假信息,网络钓鱼或在线影响活动。过去的工作研究了当前最先进模型的检测,但尽管威胁形势不断发展,但对检测方法对对抗攻击的鲁棒性分析很少。为此,我们评估了神经和非神经方法检测计算机生成的文本的能力,对文本对抗攻击的鲁棒性,以及成功的对抗攻击对人类判断文本质量的影响。我们发现,虽然统计特征的表现不如神经特征,但统计特征提供了额外的对抗鲁棒性,可以在集成检测模型中加以利用。在这个过程中,我们发现,以前有效的复杂短语功能检测计算机生成的文本对当代生成模型的预测能力很小,并确定有前途的统计功能,而不是使用。最后,我们开创性地使用$Δ$ MAUVE作为人类判断对抗文本质量的代理度量。
2022-03-02 cs.AI cs.CL cs.LG
Novel Deep neural networks for solving Bayesian statistical inverse
George Mason University(乔治梅森大学);University of Maryland, College Park(马里兰大学帕克分校)
本文研究了大规模线性和非线性偏微分方程(PDE)的贝叶斯统计反问题的模拟。马尔可夫链蒙特卡罗(MCMC)算法是解决此类问题的标准技术。然而,MCMC技术在计算上具有挑战性,因为它们需要数千个正向PDE解。本文的目标是介绍一种基于分数深度神经网络的方法,用于MCMC例程中的正向求解。此外,我们讨论了一些近似误差估计,并通过几个数值例子说明我们的方法的效率。
2021-02-08 cs.LG cs.NA math.NA
Statistical Mechanical Analysis of Neural Network Pruning
University of Rochester(罗切斯特大学)
具有大量参数的深度学习架构通常使用修剪技术进行压缩,以确保部署期间推理的计算效率。尽管有大量的实证研究进展,但缺乏对不同修剪方法有效性的理论理解。我们检查不同的修剪技术下的统计力学制定的师生框架,并推导出他们的泛化误差(GE)的界限。在真实数据集上的测试表明,基于行列式点过程(DPP)的节点剪枝方法明显优于竞争方法。在上述设置中使用GE界限,我们为他们的经验观测提供了理论保证。文献中的另一个一致发现是,对于固定数量的参数,稀疏神经网络(边缘修剪)比密集神经网络(节点修剪)更好地推广。我们使用我们的理论设置来证明这一发现,并表明,即使是基线随机边缘修剪方法比DPP节点修剪方法的性能更好。我们还在真实数据集上验证了这一点。
2021-06-11 cs.LG stat.ML
Statistical tuning of artificial neural network
University of Tabriz(大不里士大学)
本研究针对单隐藏层神经网络的可解释性问题,将其解释为非参数回归模型,提出统计检验、降维算法及自举技术评估神经元显著性与性能,并在IDC和Iris数据集上验证,推进了可解释人工智能领域。
2024-09-24 cs.LG stat.AP stat.ML
Statistical Guarantees for the Robustness of Bayesian Neural Networks
University of Oxford(牛津大学);Royal Holloway University of London(伦敦大学皇家霍洛威学院)
我们引入了一个概率鲁棒性贝叶斯神经网络(BNN)的措施,定义为概率,给定一个测试点,有界集内存在一个点,使BNN预测两者之间的差异。例如,这种度量可以用来量化对抗性示例存在的概率。基于概率模型的统计验证技术,我们开发了一个框架,允许我们估计具有统计保证的BNN的概率鲁棒性,即,具有先验误差和置信界限。我们提供了实验比较几个近似BNN推理技术的图像分类任务与MNIST和两个类的GTSRB数据集的子集。我们的研究结果使BNN预测在对抗环境中的不确定性量化成为可能。
2019-03-05 cs.CV cs.LG stat.ML
Generalization in multitask deep neural classifiers: a statistical physics approach
Intel AI Lab(英特尔人工智能实验室)
正确理解深度神经网络惊人的泛化能力是一个持久的难题。最近,越来越多的基于数值的理论工作为深度神经网络的学习理论提供了重要的见解。最近也有兴趣将这些分析扩展到理解多任务学习如何进一步提高深度神经网络的泛化能力。这些研究几乎只涉及回归任务,这些任务适用于现有的分析技术。我们开发了深度神经网络泛化的非线性动力学分析理论,该神经网络经过训练,使用softmax输出和交叉熵损失解决分类任务,解决单任务和多任务设置。我们通过调整无序系统的统计物理学技术来做到这一点,同时考虑到有限大小的数据集和由训练动态引起的相关输出。我们讨论了我们的理论结果相比,一套全面的数值实验的有效性。我们的分析提供了理论支持的直觉,多任务学习的性能是由任务的噪声和如何以及他们的输入功能相互对齐。高度相关的干净任务彼此受益,而不相关的干净任务可能对个人任务绩效有害。
2019-10-30 cs.LG stat.ML
A Statistical Framework for Low-bitwidth Training of Deep Neural Networks
University of California, Berkeley(加州大学伯克利分校)
全量化训练(FQT)通过量化神经网络模型的激活、权重和梯度来使用低位宽硬件,是加速深度神经网络训练的一种有前途的方法。FQT的一个主要挑战是缺乏理论理解,特别是梯度量化如何影响收敛特性。在本文中,我们解决这个问题,提出了一个统计框架分析FQT算法。我们将FQT的量化梯度视为其全精度对应物的随机估计器,这一过程称为量化感知训练(QAT)。我们证明了FQT梯度是QAT梯度的无偏估计,并讨论了梯度量化对其方差的影响。受这些理论结果的启发,我们开发了两种新的梯度量化器,我们表明,这些比现有的每张量量化器具有更小的方差。对于在ImageNet上训练ResNet-50,我们的5位块Householder量化器相对于QAT仅实现了0.5%的验证准确度损失,与现有的INT 8基线相当。
2020-10-27 cs.LG stat.ML
A Correspondence Between Random Neural Networks and Statistical Field Theory
Google Brain(谷歌大脑)
最近的一些论文提供了证据,证明神经网络的实际设计问题可以通过研究随机网络的行为来理论上解决。然而,到目前为止,可用于分析随机神经网络的工具一直相对特设。在这项工作中,我们表明,在随机神经网络中的预激活的分布可以准确地映射到统计物理中的格模型。我们认为,以前的几个调查随机网络实际上研究了一个特定的阶乘近似的全格模型。对于随机线性网络和随机整流线性网络,我们表明,相应的格子模型在宽网络限制可以系统地近似为高斯分布与网络层之间的协方差。在每种情况下,近似分布可以通过傅立叶变换对角化。我们表明,这种近似准确地描述了宽随机神经网络的数值模拟的结果。最后,我们证明了在每种情况下,随机网络的大尺度行为可以近似的有效场论。
2017-10-18 cond-mat.dis-nn cs.LG stat.ML
Uncertainty Quantification in Deep Neural Networks through Statistical Inference on Latent Space
Humboldt-Universität zu Berlin(柏林洪堡大学)
针对深度神经网络分类器过度自信的问题,提出一种利用网络正确分类的训练集部分生成的潜在空间表示构建统计模型的算法,以评估预测准确性和似然,从而有效检测分布外数据点并辅助自动发现异常值。
2023-05-18 cs.AI cs.LG
A Statistical-Modelling Approach to Feedforward Neural Network Model Selection
University of Limerick(利默里克大学)
本文提出基于贝叶斯信息准则(BIC)的前馈神经网络模型选择方法,可同时进行输入变量和隐藏节点选择,在保持简约性的同时提高恢复真实模型的概率和样本外性能。
2024-05-01 cs.LG stat.ME
Statistical-Neural Interaction Networks for Interpretable Mixed-Type Data Imputation
Graduate School of Human Sciences, Waseda University(早稻田大学人类科学研究生院);Faculty of Human Sciences, Waseda University(早稻田大学人类科学学院)
SNI通过结合统计先验和神经注意力实现可解释的混合类型数据填补,提供依赖诊断和权衡参数,优于部分基线方法。
2026-01-18 cs.LG stat.ML
TESDA: Transform Enabled Statistical Detection of Attacks in Deep Neural Networks
Georgia Institute of Technology(佐治亚理工学院)
深度神经网络(DNN)现在是图像分类等计算机视觉任务的实际选择。然而,它们的复杂性和“黑盒”性质往往使部署它们的系统容易受到一系列安全威胁。因此,成功地识别这种威胁,特别是在安全关键的现实世界应用中,是至关重要的,但仍然是一个非常开放的问题。我们提出了TESDA,这是一种低开销,灵活,统计接地的方法,通过利用它们在DNN中间层特征分布中引起的差异来进行攻击的在线检测。与大多数先前的工作不同,我们既不需要专用硬件来实时运行,也不需要木马触发器来检测行为的差异。我们根据经验建立了我们的方法在多个架构,数据集和不同攻击中的实用性和实用性,始终实现了95%以上的检测覆盖率,操作计数开销低至1- 2%。
2021-10-16 cs.CR cs.LG
Landmark-free Statistical Shape Modeling via Neural Flow Deformations
Zuse Institute Berlin(柏林祖斯研究所);University of Zurich(苏黎世大学);Technical University of Munich(慕尼黑工业大学);Freie Universität Berlin(柏林自由大学)
统计形状建模的目的是捕获给定群体内发生的解剖结构的形状变化。形状模型被用于许多任务,例如形状重建和图像分割,以及形状生成和分类。现有的形状先验要么需要训练样本之间的密集对应,要么缺乏鲁棒性和拓扑保证。我们提出了FlowSSM,一种新的形状建模方法,学习形状的变化,而不需要密集的训练实例之间的对应关系。它依赖于连续变形流的层次结构,由神经网络参数化。我们的模型在为股骨远端和肝脏提供表现力和鲁棒的形状方面优于最先进的方法。我们发现,新兴的潜在代表性是歧视性的分离健康的病理形状。最后,我们证明了它的有效性,从部分数据的形状重建任务。我们的源代码是公开的(https://github.com/davecasp/flowssm)。
2022-09-14 cs.CV cs.LG
Geology prediction based on operation data of TBM: comparison between deep neural network and statistical learning methods
School of Mechanical Engineering, Dalian University of Technology(大连理工大学机械工程学院)
隧道掘进机是广泛应用于隧道施工的复杂工程系统。鉴于施工环境的复杂性,在开挖前对地质条件进行预测是十分必要的。近年来,隧道掘进机的大量运营数据被记录下来,挖掘这些数据可以为隧道掘进机的设计者和运营者提供重要的参考和有用的信息。提出了一种基于深度神经网络和施工数据的地质预测方法。与其他基于统计学习方法的隧道掌子面超前地质预报模型相比,该模型能提供相对准确的隧道掌子面超前地质预报结果。在中国某隧道工程中的应用实例表明,该方法能够在开挖前准确地估计地质条件,尤其是在短时间内超前训练数据的情况下。这项工作可以被视为隧道施工期间的地球物理勘探方法的一个很好的补充,也突出了深层神经网络的适用性和潜力的其他数据挖掘任务的隧道掘进机。
2018-09-07 cs.LG physics.geo-ph
Statistical Post-Processing for Gridded Temperature Prediction Using Encoder-Decoder-Based Deep Convolutional Neural Networks
Numerical Prediction Development Center(数值预报开发中心);Japan Meteorological Agency(日本气象厅)
日本气象厅使用网格化温度指导来预测二维降雪量和降水类型,例如,雨和雪,因为地面温度是预测它们的关键要素之一。操作温度指导基于卡尔曼滤波器,该滤波器仅使用观测点周围的温度观测和数值天气预报输出。当NWP模型错误地预测锋面的位置或观测到的温度极冷或极热时,校正温度场一直具有挑战性。在这项研究中,提出了一种基于编码器-解码器的卷积神经网络来预测日本关东地区表面的网格温度。验证结果表明,该模式大大提高了业务指导,并可以纠正数值预报模式的偏差,如锋的位置误差和极端温度。
2021-11-20 cs.LG physics.ao-ph
Statistically Undetectable Backdoors in Deep Neural Networks
University of Ottawa(渥太华大学);Bocconi University(博科尼大学);Massachusetts Institute of Technology(麻省理工学院)
研究对抗模型训练者在深度前馈神经网络中植入统计上不可检测的后门,此后门可提供基于不变性的对抗样本,揭示了模型训练者与使用者间的权力不对称,且无后门时多项式时间内无法生成此类样本。
2026-07-13 cs.CR cs.LG stat.ML
Statistical Test for Saliency Maps of Graph Neural Networks via Selective Inference
Nagoya University(名古屋大学);RIKEN(日本研究机构)
针对图神经网络显著性图可靠性存疑的问题,提出基于选择性推断的统计检验框架,解决数据双重使用导致的第一类错误膨胀,提供有效p值,适用于多种分段线性显著性方法,经多数据集验证可评估GNN解释的可靠性。
2025-09-03 cs.LG stat.ML
Statistical Guarantees for Link Prediction using Graph Neural Networks
Harvard University(哈佛大学);Stanford University(斯坦福大学)
本文提出线性GNN架构(LG-GNN),为图生成模型生成的图上的链接预测提供统计保证,包括均方误差界和高概率边检测能力,并验证于真实和合成数据。
2024-02-07 cs.LG cs.SI math.ST
On the Universal Statistical Consistency of Expansive Hyperbolic Deep Convolutional Neural Networks
本文提出基于Poincaré Disc的Hyperbolic DCNN,分析非欧几里得域中的扩张卷积性质,提供其通用一致性的理论见解,实验证明其性能优于欧几里得架构。
2024-11-15 cs.LG stat.ML
Fully Statistical Neural Belief Tracking
PolyAI;Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室)
本文提出了一种改进现有的数据驱动的神经信念跟踪(NBT)框架的对话状态跟踪(DST)。现有的NBT模型使用手工制作的信念状态更新机制,每当模型被部署到新的对话域时,该机制涉及昂贵的手动重新调整步骤。我们表明,这种更新机制可以与NBT模型的语义解码和上下文建模部分联合学习,消除了DST框架中最后一个基于规则的模块。我们提出了两种不同的统计更新机制,并表明对话动态可以建模与一个非常小的额外的模型参数。在我们对三种语言的DST评估中,我们表明该模型具有竞争力的性能,并为构建资源轻的DST模型提供了一个强大的框架。
2018-05-29 cs.AI cs.CL cs.LG
Statistical Mechanics and Artificial Neural Networks: Principles, Models, and Applications
Frankfurt School of Finance and Management(法兰克福金融管理学院)
本章概述了人工神经网络的原理、模型与应用,探讨其与统计力学及统计学习理论的联系,并重点研究深度神经网络损失景观的几何性质量化与可视化以优化其性能。
2024-04-05 cond-mat.dis-nn cond-mat.stat-mech cs.AI
Decentralized Statistical Inference with Unrolled Graph Neural Networks
ShanghaiTech University(上海科技大学);The Hong Kong University of Science and Technology(香港科技大学);Microsoft Research Asia(微软亚洲研究院);The Hong Kong Polytechnic University(香港理工大学)
在本文中,我们研究了分散的统计推断问题,其中代理网络合作恢复(结构化)向量从私人噪声样本没有集中协调。现有的基于优化的算法存在模型失配和收敛速度慢的问题,在通信轮数受限的情况下,其性能会下降。这促使我们提出了一个基于学习的框架,它展开了著名的分散优化算法(例如,Prox-DGD和PG-EXTRA)转化为图神经网络(GNNs)。通过端到端训练最大限度地减少恢复误差,这种基于学习的框架解决了模型不匹配问题。我们的收敛性分析(以PG-EXTRA为基础算法)表明,学习的模型参数可以加速收敛,并在很大程度上减少恢复误差。仿真结果表明,提出的基于GNN的学习方法显着优于几个国家的最先进的基于优化的算法在收敛速度和恢复误差。
2021-04-04 cs.LG math.OC
KAM Theory Meets Statistical Learning Theory: Hamiltonian Neural Networks with Non-Zero Training Loss
Kobe University(神户大学);Osaka University(大阪大学)
许多物理现象都是由哈密顿力学使用能量函数(哈密顿量)来描述的。近年来,将Hamilton函数近似为神经网络的Hamilton神经网络及其扩展引起了人们的广泛关注。这是一个非常强大的方法,但它在理论研究中的应用仍然有限。结合统计学习理论和Kolmogorov-Arnold-Moser(KAM)理论,对Hamilton神经网络在学习误差不完全为零时的行为进行了理论分析.具有非零误差的Hamilton神经网络可以被认为是来自真实动力学的扰动,并且哈密顿方程的扰动理论被广泛称为KAM理论。为了应用KAM理论,我们通过推导多层感知器的梯度的覆盖数的估计来提供Hamilton神经网络的泛化误差界,这是模型的关键组成部分。该误差界给出了在KAM理论的应用中所需的哈密顿量上的$L^\infty$界。
2022-03-22 cs.LG math-ph math.DS
Physics- and data-driven Active Learning of neural network representations for free energy functions of materials from statistical mechanics
University of Michigan(密歇根大学);University of Southern California(南加利福尼亚大学)
本文提出一种物理与数据驱动的主动学习框架,通过融合空间填充、不确定性和物理信息采样及动态采样等策略,在DFT蒙特卡罗数据上高效训练神经网络自由能表示,以最少数据点降低全局或局部MSE。
2025-02-25 cs.LG physics.comp-ph
Improving Predictions of Convective Storm Wind Gusts through Statistical Post-Processing of Neural Weather Models
Expertise Center for Climate Extremes (ECCE), University of Lausanne(气候极端专家中心(ECCE)、洛桑大学);École polytechnique, Institut Polytechnique de Paris(巴黎高等理工学院);Institute of Geography - Oeschger Centre for Climate Change Research, University of Bern(地理研究所—奥施格气候变迁研究中心、伯恩大学);Federal Office of Meteorology and Climatology MeteoSwiss(联邦气象与气候办公室梅托斯瓦尔);Faculty of Geosciences and Environment, University of Lausanne(地球科学与环境学院、洛桑大学)
本文基于Pangu-Weather神经天气模型,采用统计与深度学习后处理方法预测瑞士未来三天的逐小时对流阵风,其中卷积神经网络后处理效果最佳,证实了神经天气模型对极端风预警系统的价值。
2025-08-21 cs.LG physics.ao-ph
Statistically Robust Neural Network Classification
University of Oxford(牛津大学);Twitter Cortex(推特Cortex)
尽管它们取得了许多成功,但在许多情况下,对抗性风险度量并不能提供适当的鲁棒性度量。例如,测试时的扰动可能会发生在概率的方式,而不是由一个明确的对手,而穷人的训练-测试概括的对抗性指标可以限制其使用简单的问题。出于这一动机,我们开发了一个概率鲁棒风险框架,统计鲁棒风险(SRR),它考虑逐点腐败分布,而不是最坏情况下的对手。与自然风险和对抗性风险相比,SRR提供了一种独特的、互补的稳健性能衡量标准。我们表明,SRR承认的估计和训练计划,这是简单和有效的自然风险:这些只是需要噪声的输入,但有一个原则性的推导究竟如何以及为什么要这样做。此外,我们从理论和实验上证明,与对抗性风险相比,它可以提供更好的泛化性能,从而能够应用于高维数据集。
2021-08-01 cs.LG stat.ML
Training the Convolutional Neural Network with Statistical Dependence of the Response on the Input Data Distortion
Federal Research Center Computer Science and Control of Russian Academy of Sciences(俄罗斯科学院计算机科学与控制联邦研究中心);Smart Engines Service LLC(Smart Engines服务有限责任公司);Institute for Information Transmission Problems of Russian Academy of Sciences(俄罗斯科学院信息传输问题研究所);Moscow Institute of Physics and Technology (State University)(莫斯科物理技术学院(国立大学))
本文提出了一种利用输入数据的失真程度信息训练卷积神经网络的方法。学习过程被修改为一个额外的层,随后被删除,因此原始网络的架构不会改变。作为示例,考虑具有基于MNIST符号的训练数据和作为具有可变失真水平的高斯模糊的失真模型的LeNet5架构网络。这种方法没有网络的质量损失,并且在对测试数据的响应中具有显著的无差错区,这在传统的训练方法中是不存在的。这些响应在统计上依赖于输入图像的失真水平,并且它们之间存在很强的关系。
2019-12-02 cs.CV cs.LG
Statistical post-processing of wind speed forecasts using convolutional neural networks
Royal Netherlands Meteorological Institute (KNMI)(荷兰皇家气象研究所(KNMI));Utrecht University(乌得勒支大学)
目前的概率天气预报统计后处理方法不能利用数值天气预报模式的全空间模式。在本文中,我们采用卷积神经网络(CNN)的空间风速信息,并获得概率风速预测在荷兰提前48小时,基于KNMI的确定性谐波Arome数值预报模型。从CNN的概率预测显示,具有较高的Brier技能得分为中等到较高的风速,以及更好的连续排名概率得分(CRPS)和对数得分,比完全连接的神经网络和分位数回归森林的预测。作为次要结果,我们比较了使用3种不同密度估计方法(量化softmax(QS),内核混合网络和拟合截断正态分布)的CNN,并发现基于QS方法的概率预测是最好的。
2021-01-08 cs.LG physics.ao-ph stat.AP
A Statistical Approach to Assessing Neural Network Robustness
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所)
我们提出了一种新的方法来评估神经网络的鲁棒性的基础上估计的比例的输入违反的属性。具体地说,我们估计的事件的概率,该属性被违反下的输入模型。我们的方法与正式的验证框架有很大的不同,因为当属性可能被违反时,它提供了一个关于网络健壮性的信息概念,而不仅仅是网络不可验证的传统断言。此外,它还提供了比正式验证方法扩展到更大网络的能力。虽然框架仍然提供了一个正式的可满足性的保证,只要它成功地发现一个或多个违规行为,这些优点是在成本上只提供一个统计估计的不可满足性时,没有违反被发现。我们的方法的实际成功的关键是适应多层次分裂,一个蒙特卡罗方法估计概率的罕见事件,我们的统计鲁棒性框架。我们证明了我们的方法能够模拟基准问题的正式验证程序,同时扩展到更大的网络,并以准确估计违规概率的形式提供可靠的额外信息。
2019-02-21 cs.LG stat.ML
Noise-injected analog Ising machines enable ultrafast statistical sampling and machine learning
Vrije Universiteit Brussel(布鲁塞尔自由大学)
伊辛机是神经网络训练和组合优化的一个很有前途的非冯诺依曼计算概念。然而,虽然各种神经网络可以用伊辛机实现,但它们无法执行快速统计采样,这使得它们与数字计算机相比,训练神经网络的效率低下。在这里,我们介绍了一个通用的概念,实现超快的统计采样与模拟伊辛机注入噪声。利用光电伊辛机,我们通过实验证明,这可以用于玻尔兹曼分布的精确采样和神经网络的无监督训练,其精度与基于软件的训练相同。通过模拟,我们发现,伊辛机可以执行统计采样的数量级比基于软件的方法更快。这使得伊辛机的使用超越了组合优化,并使它们成为机器学习和其他应用的有效工具。
2022-09-30 cs.ET cs.LG physics.app-ph
Statistical physics of unsupervised learning with prior knowledge in neural networks
the Hong Kong University of Science and Technology(香港科技大学);Sun Yat-sen University(中山大学)
在无监督学习中,将感官输入与来自过去经验的先验信念相结合是大脑或人工神经计算的共同和基本特征。然而,先验知识在无监督学习中的定量作用仍然不清楚,这阻碍了对无监督学习的科学理解。在这里,我们提出了一个统计物理模型的无监督学习与先验知识,揭示了感官输入驱动一系列连续的相变相关的自发本质对称性破缺。内在对称性包括反向对称性和置换对称性,通常在大多数人工神经网络中观察到。与无先验的情况相比,先验更强烈地减少了触发反向对称破缺跃迁的最小数据大小,而且,先验合并而不是分离排列对称破缺相位。我们声称先验可以从数据样本中学习,这在物理学上对应于两个参数的西森约束。因此,这项工作揭示了先验知识对无监督学习的影响机制。
2020-05-27 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Modeling Parkinson's Disease Progression Using Longitudinal Voice Biomarkers: A Comparative Study of Statistical and Neural Mixed-Effects Models
Department of Mathematical Sciences(数学科学系);Naveen Jindal School of Management(奈文·金达管理学院);Department of Biology(生物系);University of Texas at Dallas(德克萨斯大学达拉斯分校);Duke University(杜克大学);The Second Affiliated Hospital, Zhejiang University School of Medicine(浙江大学医学院第二附属医院);Department of Neurosurgery(神经外科系)
本文比较了统计与神经混合效应模型在分析帕金森病纵向语音数据中的表现,发现GAMM在预测性能和可解释性上更优,而神经模型在小样本下易过拟合。
2026-04-27 cs.LG stat.AP stat.ML
The Statistical Accuracy of Neural Posterior and Likelihood Estimation
Monash University(莫纳什大学);Queensland University of Technology(昆士兰科技大学)
本文首次从理论上研究神经后验估计和神经似然估计的统计准确性,证明其与ABC和BSL具有相似保证且计算成本更低,并通过实例验证。
2024-11-18 cs.LG math.ST stat.CO
A Statistical Difference between Single-Layer Learning and Hierarchical Learning in Wide Neural Networks
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
研究宽神经网络中单层与分层学习的差异,通过研究三层有限但大量隐藏单元的神经网络,发现训练输入到隐藏层权重泛化误差更小,且固定权重设置在参数空间有奇异性,揭示奇异性在宽神经网络中有重要作用。
2026-07-28 cs.LG math.ST stat.ML
Geometry-aware similarity metrics for neural representations on Riemannian and statistical manifolds
Département d’Etudes Cognitives, École Normale Supérieure – PSL(认知研究系,巴黎高等师范学院 – 巴黎文理研究大学);Gatsby Unit, University College London(盖茨比计算神经科学单元,伦敦大学学院);Département d’Informatique, École Normale Supérieure – PSL(计算机科学系,巴黎高等师范学院 – 巴黎文理研究大学)
本文提出MSA方法,利用Riemannian几何工具比较神经表示的内在几何,用于解纠缠深度网络特征、比较非线性动态和研究扩散模型。
2026-11-10 cs.AI cs.LG math.DG
Statistical Physics of Deep Neural Networks: Initialization toward Optimal Channels
Tsinghua University(清华大学);Huawei Technologies Co. Ltd.(华为技术有限公司)
在深度学习中,神经网络充当输入数据与其表示之间的噪声通道。这种观点自然地将深度学习与追求构建在信息传输和表示中具有最佳性能的通道联系起来。虽然相当大的努力集中在实现最佳的通道特性在网络优化,我们研究了一个经常被忽视的可能性,神经网络可以初始化为最佳通道。我们的理论与实验验证一致,确定了这种未知可能性背后的主要机制,并提出了统计物理和深度学习之间的内在联系。不同于传统的理论,特点神经网络应用经典的平均场近似,我们提供了分析证明,这种广泛应用的简化方案是无效的,在研究神经网络的信息通道。为了填补这一空白,我们开发了一个修正的平均场框架,适用于表征神经网络中的信息传播的限制行为,没有强的输入假设。在此基础上,我们提出了一个分析理论来证明,当神经网络初始化为动态等距时,输入和传播信号之间的互信息最大化是实现的,这种情况下,信息通过保范映射传输。这些理论预测验证了真实神经网络的实验,表明我们的理论对有限尺寸效应的鲁棒性。最后,我们用信息瓶颈理论分析了我们的研究结果,以确认深度学习中动态等距、互信息最大化和最佳信道属性之间的精确关系。
2022-12-04 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Quantifying Statistical Significance of Neural Network-based Image Segmentation by Selective Inference
Nagoya Institute of Technology(名古屋工业大学);RIKEN(理化学研究所);Nagoya University(名古屋大学)
尽管大量文献涉及使用深度神经网络(DNN)的图像分割方法,但较少关注评估分割结果的统计可靠性。在这项研究中,我们将分割结果解释为DNN驱动的假设(称为DNN驱动的假设),并提出了一种方法,通过该方法在统计假设测试框架内量化这些假设的可靠性。具体地说,我们考虑一个统计假设测试对象和背景区域之间的差异。这个问题是具有挑战性的,因为由于DNN对数据的适应性,差异会虚假地大。为了克服这一困难,我们引入了一个条件选择性推理(SI)框架-一个新的统计推断框架的数据驱动的假设,最近受到了相当大的关注-计算精确的(非渐近)有效的p值的分割结果。为了将条件SI框架用于基于DNN的分割,我们开发了一种基于同伦方法的新SI算法,该算法使我们能够推导出DNN驱动假设的精确(非渐近)采样分布。我们在合成和真实世界的数据集上进行了实验,通过这些实验,我们提供了证据,证明我们提出的方法可以成功地控制假阳性率,在计算效率方面具有良好的性能,并且在应用于医学图像数据时提供了良好的结果。
2022-12-14 cs.CV cs.LG stat.ML
Beyond One-Size-Fits-All: Neural Networks for Differentially Private Tabular Data Synthesis
University of Virginia(弗吉尼亚大学)
针对差分隐私表格数据合成,提出MargNet,融合统计模型的自适应边际选择策略,在密集相关数据集上实现新的最优性能,保真度误差最多降低26%。
2026-09-10 cs.CR cs.LG
Statistical Learning Analysis of Physics-Informed Neural Networks
Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文从统计学习角度分析了物理信息神经网络在解决初始和边界值问题中的学习过程,揭示其作为奇异学习问题的本质,并探讨了其预测不确定性和外推能力。
2026-02-11 cs.LG physics.comp-ph
Statistical Parametric Speech Synthesis Using Bottleneck Representation From Sequence Auto-encoder
Speech and Vision Laboratory, IIIT Hyderabad(海得拉巴国际信息技术学院语音与视觉实验室)
在本文中,我们描述了一个统计参数语音合成方法与单位级声学表示。在传统的基于深度神经网络的语音合成中,在音素的整个持续时间内重复输入文本特征以映射文本和语音参数。这种映射是在帧级学习的,帧级是事实上的声学表示。然而,如果每个单元都可以用固定维的表示来表示,那么这种计算需求可以大大减少。使用基于递归神经网络的自动编码器,我们表明,它确实是可能的映射到一个单一的向量的单位不同的持续时间。然后,我们在单元级使用这种声学表示,使用基于深度神经网络的统计参数语音合成技术来合成语音。结果表明,所提出的方法是能够合成在相同的质量作为传统的基于帧的方法在大大降低了计算成本。
2016-06-19 cs.LG cs.SD
A statistical framework for efficient out of distribution detection in deep neural networks
Technion(以色列理工学院);Habana Labs - An Intel company(Habana实验室——英特尔旗下公司);Tel Aviv University(特拉维夫大学)
背景通常,深度神经网络(DNN)可以很好地概括从与训练集相似的分布中提取的样本。然而,当测试样本来自不同的分布时,DNN的预测是脆弱和不可靠的。这是在现实世界应用中部署的一个主要问题,其中这种行为可能会带来相当大的成本,例如工业生产线,自动驾驶汽车或医疗保健应用。捐款.我们将DNN中的分布外(OOD)检测视为统计假设检验问题。在我们提出的框架内生成的测试结合了来自整个网络的证据。与以前的OOD检测方法不同,这个框架为每个测试样本返回一个$p$值。保证保持测试数据的I类错误(T1 E-错误预测实际分销样品的OOD)。此外,这允许在保持T1 E的同时组合多个检测器。在此框架的基础上,我们提出了一种新的面向对象的过程的基础上低阶统计。我们的方法在公认的OOD基准测试上取得了与最先进的方法相当或更好的结果,而无需重新训练网络参数或假设测试分布的先验知识-并且计算成本仅为计算成本的一小部分。
2022-03-31 cs.LG stat.ML