Bayesian deep learning for mapping via auxiliary information: a new era for geostatistics?
University of Exeter(埃克塞特大学);University of Glasgow(格拉斯哥大学)
对于地理空间建模和制图任务,克里金法的变体-南非采矿工程师Danie Krige开发的空间插值技术-长期以来一直被视为既定的地质统计方法。然而,克里金法及其变体(如回归克里金法,其中包括辅助变量或这些变量的导数作为协变量)是相对限制性的模型,并且缺乏过去十年由深度神经网络提供给我们的功能。其中最重要的是特征学习-学习过滤器以识别网格数据(如图像)中特定任务模式的能力。在这里,我们展示了在地质统计学背景下的功能学习的力量,通过展示深度神经网络可以自动学习点采样目标变量和网格化辅助变量(如遥感提供的)之间的复杂关系,并在这样做时产生所选目标变量的详细地图。同时,为了满足决策者的需要,他们需要校准好的概率,我们通过称为蒙特卡罗退出贝叶斯近似获得不确定性估计。在我们的例子中,我们从点采样的化验数据中产生一个全国范围的概率地球化学图,辅助信息由地形高程网格提供。与传统的地质统计方法不同,辅助变量网格被原始地输入到我们的深度神经网络中。不需要提供地形导数(例如,坡度角、粗糙度等),因为深度神经网络能够学习这些以及必要时任意更复杂的导数,以最大化预测性能。我们希望我们的研究结果将提高人们对贝叶斯深度学习及其特征学习能力的适用性的认识,以用于不确定性很重要的大规模地质统计应用。
2020-09-08 cs.LG stat.AP stat.ML
A Statistical Learning View of Simple Kriging
Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院电信学院);Centre de Geosciences, Mines ParisTech(巴黎高等矿业学院地球科学中心)
该研究从统计学习视角分析简单克里金任务,针对各向同性平稳高斯过程证明了插件式预测规则超额风险的非渐近界,并通过数值实验验证了理论结果。
2024-02-02 cs.LG stat.ML
Neural networks for geospatial data
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出NN-GLS算法,将神经网络嵌入传统地统计模型以处理非线性均值,通过广义最小二乘考虑空间协方差,并证明其等价于图神经网络,实现可扩展计算,提供理论一致性保证,适用于不规则地理空间数据。
2024-05-25 cs.LG stat.ME stat.ML
Inductive Graph Neural Networks for Spatiotemporal Kriging
McGill University(麦吉尔大学);HEC Montreal(蒙特利尔高等商学院)
时间序列预测和时空克立格法是时空数据分析中的两个最重要的任务。近年来,图神经网络在时间序列预测方面取得了很大的进展,但对Kriging问题(未采样位置/传感器的信号恢复)的研究却很少。大多数现有的可扩展克里金方法(例如,矩阵/张量完成)是可转换的,因此当我们有新的传感器要插值时,需要完全重新训练。在本文中,我们开发了一个归纳图神经网络克立格(IGNNK)模型,以恢复网络/图结构上的未采样传感器的数据。为了推广距离和可达性的影响,我们生成随机子图作为样本,并为每个样本重建相应的邻接矩阵。通过重构每个样本子图上的所有信号,IGNNK可以有效地学习空间消息传递机制。几个真实世界的时空数据集上的实证结果证明了我们的模型的有效性。此外,我们还发现,学习的模型可以成功地转移到一个看不见的数据集上的相同类型的克里金任务。我们的研究结果表明:1)GNN是空间克里金法的高效工具; 2)归纳GNN可以使用动态邻接矩阵进行训练; 3)经过训练的模型可以转换为新的图形结构; 4)IGNNK可以用于生成虚拟传感器。
2020-12-19 cs.LG stat.ML
Visual Spatial Learning: Single-Field Spatial Interpolation Using Convolutional Neural Networks
Centro de Matemática (CMAT), Universidade do Minho(数学中心(CMAT),明霍大学);DEI-FEUP & INESC TEC, Universidade do Porto(FEUP-DEI与INESC TEC,波尔图大学);Instituto Português do Mar e da Atmosfera, I. P. (IPMA, I. P.), Lisboa, Portugal(葡萄牙海洋与大气研究所(IPMA, I. P.),里斯本,葡萄牙);Centro de Ciências do Mar e do Ambiente (MARE), Évora, Portugal(海洋与环境科学中心(MARE),埃维拉,葡萄牙)
提出基于卷积神经网络(CNN)的架构,直接从单次部分观测场学习空间插值,无需外部数据或先验场,作为克里金法的替代方案。
2026-05-28 cs.CV cs.LG stat.AP
Amortized Bayesian Local Interpolation NetworK: Fast covariance parameter estimation for Gaussian Processes
North Carolina State University(北卡罗来纳州立大学);University of Arkansas(阿肯色大学);Amazon Research(亚马逊研究院)
本文提出A-BLINK网络,利用两个预训练深度神经网络快速估计高斯过程协方差参数,绕过矩阵求逆,在频率派和贝叶斯设置中大幅提升计算效率,并在模拟和真实温度数据上验证了低误差优势。
2024-11-10 cs.LG stat.ME stat.ML
Permutation-preserving Functions and Neural Vecchia Covariance Kernels
Department of Mathematics University of Houston(数学系休斯顿大学);Department of Industrial and Systems Engineering University of Houston(工业与系统工程系休斯顿大学)
本文提出一种基于深度神经网络的新型框架,通过学习回归参数化下的协方差结构,构建可扩展且灵活的高斯过程协方差核,利用Vecchia近似诱导的排列等变结构,提升训练稳定性与数据效率。
2026-05-06 cs.LG stat.CO stat.ML
Kriging and Neural Network models for pressure losses across perforated plates
Division of Fluid Dynamics, Department of Mechanical Engineering, Chalmers University of Technology(流体动力学系,机械工程系,查尔姆斯理工大学)
提出基于克里金和神经网络的数据驱动模型,预测湍流中圆形穿孔板的压降,优于现有经验公式,并在RANS模拟中验证了适用性。
2026-11-05 cs.LG physics.flu-dyn
Performance and Efficiency of Climate In-Situ Data Reconstruction: Why Optimized IDW Outperforms kriging and Implicit Neural Representation
Lodz university of Technology(波兹南技术大学)
本研究发现优化后的IDW在气候数据重建的准确性和效率上优于克里金和隐式神经表示方法。
2025-12-03 cs.AI cs.LG
Kriging Convolutional Networks
Tufts University(塔夫茨大学)
针对传统克里金方法强高斯假设的局限,提出结合图卷积网络与克里金优势的克里金卷积网络,引入注意力机制提升性能,在多个应用中优于现有方法且代码已开源。
2023-06-15 cs.AI cs.LG
Spatio-temporal DeepKriging for Interpolation and Probabilistic Forecasting
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);North Carolina State University(北卡罗来纳州立大学)
提出基于深度神经网络的时空深度克里金法,无需平稳性假设,高效实现大规模时空数据插值与概率预测,并在PM2.5数据上验证。
2023-06-20 cs.LG stat.CO stat.ML
Spatial Aggregation and Temporal Convolution Networks for Real-time Kriging
McGill University(麦吉尔大学);HEC Montreal(蒙特利尔高等商学院)
时空克里格法是时空数据分析中的一个重要应用,旨在根据观测信号恢复/内插未采样/未观测位置的信号。时空克里金法的主要挑战是如何有效地建模和利用数据中的时空依赖性。最近,图神经网络(GNNs)在时空克里金任务中表现出了巨大的潜力。然而,标准GNN通常需要精心设计的邻接矩阵和特定的聚合函数,这对于一般应用/问题来说是不灵活的。为了解决这个问题,我们提出了SATCN -空间聚合和时间卷积网络-一个通用的和灵活的框架来执行时空克里格为各种时空数据集,而不需要模型规范。具体来说,我们提出了一种新的空间聚合网络(SAN)的灵感来自主邻域聚合,它使用多个聚合功能,以帮助一个节点收集不同的信息,从它的邻居。为了排除来自未采样节点的信息,一个屏蔽策略,防止未采样的传感器发送消息到他们的邻居被引入到SAN。我们通过时间卷积网络捕获时间依赖性,这使得我们的模型能够处理不同大小的数据。为了使SATCN可推广到看不见的节点,甚至看不见的图结构,我们采用归纳策略训练SATCN。我们对三个真实世界的时空数据集进行了广泛的实验,包括交通速度和气候记录。我们的研究结果表明,SATCN优于传统的和基于GNN的克里金模型。
2021-09-24 cs.LG
Free energy of Bayesian Convolutional Neural Network with Skip Connection
Tokyo Institute of Technology(东京工业大学)
本文研究带跳跃连接的贝叶斯卷积神经网络的自由能,证明其自由能上界不依赖过度参数化,且泛化误差具有类似性质。
2023-07-04 cs.LG stat.ML
Augmenting Ground-Level PM2.5 Prediction via Kriging-Based Pseudo-Label Generation
Duke University(杜克大学)
本文提出利用普通克里金法为未标注卫星图像生成伪标签以扩充训练数据,从而提升CNN-RF模型对地面PM2.5的预测性能,改善空间相关性并降低预测误差。
2024-01-16 cs.CV cs.LG
70 years of machine learning in geoscience in review
本文综述了机器学习在地球科学中的发展。对过去70年来机器学习应用的共同发展进行了全面分析,将最近对机器学习的热情与地球科学的发展联系起来。我探讨了克里金法向主流机器学习方法的转变,以及神经网络在地球科学中的历史应用,遵循几十年来机器学习热情的总体趋势。此外,本章探讨了从数学基础知识和软件开发的技能,在模型验证,应用统计学和综合学科专业知识的转变。该综述穿插了代码示例,以补充理论基础,并说明模型验证和机器学习对科学的可解释性。本综述的范围包括各种浅层机器学习方法,例如决策树,随机森林,支持向量机和高斯过程,以及深度神经网络,包括前馈神经网络,卷积神经网络,递归神经网络和生成对抗网络。关于地球科学,审查偏向于地球物理学,但旨在与地球化学、地质统计学和地质学取得平衡,但不包括遥感,因为这将超出范围。总的来说,我的目标是为最近围绕深度学习的研究、硬件和软件开发的热情提供背景,这些研究、硬件和软件开发使浅层和深层机器学习能够在地球科学的所有学科中成功应用。
2020-08-26 cs.CV cs.LG eess.IV
ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling
University of Minnesota(明尼苏达大学);ETH Zurich(苏黎世联邦理工学院)
ANCRe通过适应性神经连接重新分配,有效提升深度扩展效率,加速收敛并提高性能。
2026-11-13 cs.AI cs.LG
DarkFarseer: Robust Spatio-temporal Kriging under Graph Sparsity and Noise
针对现有归纳式时空克里金法(ISK)未有效提取物理传感器时空特征、未聚焦虚拟传感器表示及图构建存在稀疏和噪声问题,提出含三个关键组件的DarkFarseer框架,显著提升ISK性能。
2025-11-13 cs.LG
A Connection between Feed-Forward Neural Networks and Probabilistic Graphical Models
Dresden University of Technology(德累斯顿工业大学)
计算机视觉中最流行的两种建模范例是前馈神经网络(FFN)和概率图形模型(GM)。在最近的工作中,已经研究了两者之间的各种联系,例如将GM中基于平均场的推理表示为FFN。本文建立了一个新的FFNs和GM之间的联系。我们的关键观察是,任何FFN实现了相应的贝叶斯网络(BN)的某种近似。我们描述了拥有这种联系的各种好处。特别是,它的结果在一个新的学习算法的BN。我们验证了CIFAR-10数据集上的分类问题和魏茨曼马数据集上的二值图像分割所提出的方法。我们表明,统计学习的BN提高性能,同时具有更好的泛化能力,比他们的FFN同行。
2017-10-30 cs.CV cs.LG stat.ML
Nearest-Neighbor Neural Networks for Geostatistics
North Carolina State University(北卡罗来纳州立大学)
克里格法是用于空间预测的主要方法,但依赖于预测是观测值的线性组合的假设。克里格法通常还依赖于其他假设,如正态性和平稳性。我们提出了一种基于最近邻神经网络(4N)过程的更灵活的空间预测方法,该方法将深度学习嵌入到地质统计模型中。我们证明了4N过程是一个有效的随机过程,并提出了一系列新的方法来构建特征,这些特征将用作基于邻域信息的深度学习模型的输入。我们的模型框架优于一些现有的最先进的模拟非高斯数据的地质统计建模方法,并应用于大量的林业数据集。
2019-03-28 cs.LG stat.ML
Bayesian Graph Neural Networks with Adaptive Connection Sampling
Texas A&M University(德克萨斯A&M大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了一个统一的框架,自适应连接采样的图神经网络(GNNs),概括了现有的随机正则化方法训练GNNs。所提出的框架不仅消除了深度GNN的过度平滑和过度拟合趋势,而且还可以在使用GNN的图分析任务中进行不确定性学习。与现有随机正则化方法中使用固定采样率或手动调整它们作为模型超参数不同,我们的自适应连接采样可以与GNN模型参数以全局和局部方式联合训练。使用自适应连接采样的GNN训练在数学上等价于训练贝叶斯GNN的有效近似。在基准数据集上进行消融研究的实验结果验证了自适应学习给定图训练数据的采样率是提高GNNs在半监督节点分类中性能的关键,不易于过平滑和过拟合,具有更强大的预测能力。
2020-06-30 cs.LG stat.ML
Deeper Connections between Neural Networks and Gaussian Processes Speed-up Active Learning
Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(斯科尔科沃理工学院))
神经网络的主动学习方法通常基于贪婪准则,该准则最终给出用于评估的单个新设计点。这样的方法需要在一次主动学习迭代中对一批设计点进行采样的一些算法,或者在添加每个数据点之后重新训练神经网络,这在计算上是低效的。此外,神经网络的不确定性估计有时对远离训练样本的点过于自信。在这项工作中,我们提出通过高斯过程来逼近贝叶斯神经网络(BNN),这使我们能够有效地更新预测的不确定性估计,而无需重新训练神经网络,同时避免对样本点的过度自信的不确定性预测。在一系列的实验中,包括大规模的化学和物理建模问题的真实世界的数据,我们显示出所提出的方法比国家的最先进的方法的优越性。
2019-02-27 cs.LG stat.ML
Modeling Uncertainty by Learning a Hierarchy of Deep Neural Connections
Intel AI Lab(英特尔人工智能实验室)
尽管最近取得了重要进展,但在深度神经网络中建模不确定性仍然是一个悬而未决的问题。贝叶斯神经网络是一种强大的解决方案,其中网络权重的先验是一种设计选择,通常是正态分布或其他鼓励稀疏性的分布。然而,这种先验对输入数据的生成过程是不可知的,这可能导致对分布外的测试数据的不必要的泛化。我们建议存在一个混淆的输入数据和判别函数之间的关系给定的目标标签。我们提出了一种方法,通过共享生成和判别网络之间的神经连接模式来建模这种混淆。这种方法导致了一种新的深度架构,其中网络从局部因果结构的后验中采样,并耦合到一个紧凑的层次结构中。我们证明,从这个层次结构的采样网络,成比例的后验,是有效的,并能够估计各种类型的不确定性。我们的方法的实证评估表明,显着改善相比,国家的最先进的校准和分布检测方法。
2019-10-27 cs.AI cs.LG stat.ML
Using Synthetic Data to Train Neural Networks is Model-Based Reasoning
University of Oxford(牛津大学);Indiana University(印第安纳大学)
我们绘制了使用合成训练数据优化神经网络参数和近似,贝叶斯,基于模型的推理之间的正式连接。特别地,使用合成数据训练神经网络可以被视为学习用于合成数据生成模型中的近似推理的建议分布生成器。我们在识别任务中展示了这种联系,我们开发了一种新的验证码破解架构,并使用合成数据对其进行训练,展示了最先进的性能和计算特定任务后验不确定性的方法。使用以这种方式训练的神经网络,我们还成功地打破了Facebook和维基百科目前使用的真实世界的验证码。从这些经验结果中进行推理,并与贝叶斯建模建立联系,我们讨论了合成数据结果的鲁棒性,并提出了在使用合成数据进行训练时确保良好神经网络泛化的重要考虑因素。
2017-03-02 cs.CV cs.LG stat.ML
Multi-Fidelity Bayesian Neural Network for Uncertainty Quantification in Transonic Aerodynamic Loads
School of Engineering, Zurich University of Applied Sciences ZHAW(苏黎世应用科技大学工程学院);Faculty of Engineering and Physical Sciences, University of Southampton(南安普顿大学工程与物理科学学院);Federal Institute of Technology Zurich ETHZ(苏黎世联邦理工学院)
本文提出一种结合迁移学习的多保真贝叶斯神经网络,用于融合不同保真度气动数据并量化预测不确定性,实验表明其在跨音速气动载荷预测中优于 Co-Kriging。
2024-07-08 cs.CE cs.LG
Towards Location-Specific Precipitation Projections Using Deep Neural Networks
Indian Institute of Tropical Meteorology(印度热带气象研究所);National Institute of Technology Rourkela(鲁尔克拉国家理工学院);Indian Institute of Science Education and Research, Pune(浦那印度科学教育与研究学院);India Meteorology Department(印度气象部门)
本文提出两种融合位置、地形及多源气象参数的DNN架构,基于1980–2019年数据训练,在五年验证集上多项指标超越Kriging,为站点降水估算提供精确的深度学习方案。
2025-03-18 cs.LG physics.ao-ph
Uncertainty Quantification for Multi-fidelity Simulations
Imperial College London(帝国理工学院)
本文提出多保真度深度神经网络方法,融合高/低保真模拟数据以降低不确定性量化对高保真仿真的依赖,在1至100维基准函数上验证其逼近与不确定性传播性能优于Co-kriging。
2025-03-11 cs.LG physics.flu-dyn
Multi-fidelity regression using artificial neural networks: efficient approximation of parameter-dependent output quantities
University of Twente(特文特大学);Politecnico di Milano(米兰理工大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
高精度的数值或物理实验通常是耗时或昂贵的。当时间或预算限制禁止生成额外数据时,可用样本的数量可能太有限,无法提供令人满意的模型结果。多保真度方法通过合并来自其他来源的信息来处理这些问题,这些信息与高保真数据理想地良好相关,但可以以较低的成本获得。通过利用不同数据集之间的相关性,与仅基于少量高保真数据的模型相比,多保真度方法通常会产生更好的泛化能力。在这项工作中,我们提出了使用人工神经网络应用于多保真度回归问题。通过阐述一些现有的方法,我们提出了新的神经网络架构的多保真度回归。引入的模型进行了比较,对传统的多保真度计划,协同克里格。一系列的人工基准来衡量所分析的模型的性能。结果表明,交叉验证与贝叶斯优化相结合,始终导致神经网络模型的性能优于协同克里金方案。此外,我们展示了多保真度回归的工程问题的应用。考虑了压力波在具有参数化形状和频率的声喇叭中的传播,并利用多保真度模型近似了反射强度指数。分别采用有限元模型和缩减基模型作为高保真度和低保真度。结果表明,多保真度神经网络返回的输出,实现了可比的精度从昂贵的,全阶模型,只使用很少的全阶评估结合大量的不准确,但便宜的评估降阶模型。
2021-02-26 cs.LG cs.NA math.NA
Deep Geospatial Interpolation Networks
Indian Institute of Technology Ropar(印度理工学院罗巴尔校区)
时空数据插值在气候、交通、采矿等领域有着广泛的应用。由于时空关系的复杂性,时空插值具有很高的挑战性。然而,传统的技术,如克里格遭受高运行时间和性能差的数据,表现出跨空间和时间维度的高方差。为此,我们提出了一种新的深度神经网络,称为深度地理空间插值网络(DGIN),它结合了空间和时间关系,并具有显着降低训练时间。DGIN由三个主要组件组成:用于捕获空间依赖关系的空间编码器,用于合并时间动态的顺序模块,以及用于学习间隙周围时间邻域的重要性的注意力块。我们从两个不同地区的MODIS反射率数据集上评估DGIN。我们的实验结果表明,DGIN有两个优点:(a)它优于其他方法(具有较低的MSE,p值< 0.01),(b)它的执行时间显着低于克里格。
2021-08-15 cs.AI cs.LG
Reservoir Static Property Estimation Using Nearest-Neighbor Neural Network
Institute for Scientific Computation, Texas A&M University(德克萨斯农工大学科学计算研究所)
本文提出一种结合最近邻算法与随机化的神经网络方法,用于估计油藏静态属性的空间分布,克服了传统地质统计学方法无法建模复杂非线性依赖的局限,提高了孔隙度和渗透率的预测准确性。
2024-09-27 cs.LG physics.data-an stat.AP
AdaKernel: Learning Adaptive Kernel Parameters for Spatiotemporal Graph Neural Networks
Sichuan University(四川大学);PLA Academy of Military Science(中国人民解放军军事科学院);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对图神经网络中固定核参数导致模型容量受限的问题,提出AdaKernel方法,通过结构保持策略学习自适应核参数,在数据稀疏场景下优于固定先验和全隐式图结构方法。
2026-05-31 cs.LG
Neural Tangent Kernel Maximum Mean Discrepancy
Duke University(杜克大学);Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种新的神经网络最大平均离散(MMD)统计量,通过识别神经正切核(NTK)和MMD之间的一种新的连接。这种连接使我们能够开发一种计算效率和内存效率高的方法来计算MMD统计量,并执行基于NTK的双样本测试,以解决MMD统计量的内存和计算复杂性的长期挑战,这对于在线实现吸收新样本至关重要。从理论上讲,这样的连接使我们能够理解NTK检验统计量的属性,如第一类错误和执行双样本检验的检验能力,通过调整现有的理论内核MMD。在合成数据集和真实数据集上的数值实验验证了理论的正确性,并证明了NTK-MMD统计量的有效性。
2021-10-17 cs.LG math.ST stat.ML
Adaptive Neural Network Ensemble Using Frequency Distribution
Cho Chun Shik Graduate School of Mobility(赵春植移动研究生院);Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
神经网络(NN)集成可以减小神经网络的大预测方差,提高预测精度。对于数据集不足的高度非线性问题,神经网络模型的预测精度变得不稳定,导致集成精度下降。因此,本研究提出了一种基于频率分布的集成,确定核心预测值,预计将集中在附近的真实预测值。基于频率分布的系综通过利用基于从给定预测点获得的各种预测值的频率分布进行统计分析来对由多个预测值支持的核心预测值进行分类。基于频率分布的集成可以通过排除具有低精度的预测值并应对最频繁值的不确定性来提高预测性能。提出了一种自适应采样策略,该策略基于作为核心预测值的方差计算的核心预测方差来顺序地添加样本,以有效地提高基于频率分布的集成的预测性能。实例分析结果表明,基于频率分布的集成方法的预测精度高于克里格法和其他现有的集成方法。此外,所提出的自适应采样策略有效地提高了预测性能的频率分布为基础的合奏相比,以前开发的空间填充和预测方差为基础的战略。
2022-10-19 cs.LG
Exploding and vanishing gradients in deep neural networks: the effect of residual connections
Department of Electrical Engineering, Indian Institute of Technology Bombay(印度理工学院孟买分校电子工程系)
利用乘法遍历理论分析深度神经网络中的梯度爆炸与消失现象,并解释残差连接对李雅普诺夫谱的影响。
2026-06-16 cs.LG math.OC
Computing Linear Regions in Neural Networks with Skip Connections
University of Illinois at Chicago Department of Mathematics, Statistics, and Computer Science(伊利诺伊大学芝加哥分校数学、统计与计算机科学系)
本文利用热带几何方法提出计算带跳跃连接神经网络线性区域的算法,并通过实验揭示了过拟合问题及跳跃连接的优势。
2025-09-18 cs.LG cs.SC
Learn Layer-wise Connections in Graph Neural Networks
Paradigm Inc.(第四范式公司);Lenovo(联想集团);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
近年来,图神经网络(GNN)在现实世界数据集的各种应用中表现出卓越的性能。为了提高模型容量和缓解过度平滑问题,提出了几种通过逐层连接来合并中间层的方法。然而,由于高度多样化的图形类型,现有方法的性能在不同的图形上变化,导致需要数据特定的逐层连接方法。为了解决这个问题,我们提出了一个新的框架LLC(学习逐层连接)的基础上神经架构搜索(NAS)学习自适应连接GNN中间层之间。LLC包含一个新的搜索空间,它由3种类型的块和可学习的连接,和一个可微的搜索算法,使有效的搜索过程。在五个真实数据集上进行了大量的实验,结果表明,搜索的逐层连接不仅可以提高性能,而且可以缓解过度平滑问题。
2021-12-27 cs.AI cs.LG
Translated Skip Connections -- Expanding the Receptive Fields of Fully Convolutional Neural Networks
University of the Witwatersrand(金山大学)
在设计架构时,全卷积神经网络的有效感受野是一个重要的考虑因素,因为它定义了每个卷积核可见的输入部分。我们提出了一个神经网络模块,扩展了传统的跳过连接,称为翻译跳过连接。平移跳跃连接几何地增加了架构的感受野,而对参数空间的大小和计算复杂性的影响可以忽略不计。通过将翻译的跳过连接嵌入到基准架构中,我们证明了我们的模块与其他四种方法相匹配或优于其他四种方法,以扩展完全卷积神经网络的有效感受野。我们在来自不同领域的五个当代图像分割数据集上证实了这一结果,包括COVID-19感染的检测,航空图像的分割,常见对象分割和自动驾驶汽车的分割。
2022-11-03 cs.CV cs.LG eess.IV
Development of Skip Connection in Deep Neural Networks for Computer Vision and Medical Image Analysis: A Survey
School of Computer Science and Engineering, Hubei Key Laboratory of Intelligent Robot, Wuhan Institute of Technology(计算机科学与工程学院、智能机器人湖北省重点实验室、武汉理工大学);School of Computer Science, Wuhan University(计算机科学学院、武汉大学)
本综述系统梳理了深度神经网络中跳跃连接的发展历史、残差学习机制及其在训练和测试中的有效性,并总结了相关经典论文、代码、模型和数据集,展望了未来研究方向。
2024-05-02 cs.CV cs.LG eess.IV
Learning both Weights and Connections for Efficient Neural Networks
Stanford University(斯坦福大学);NVIDIA(英伟达)
神经网络是计算密集型和存储密集型的,使得它们难以部署在嵌入式系统上。此外,传统的网络在训练开始之前就修复了架构;因此,训练无法改善架构。为了解决这些限制,我们描述了一种方法,通过只学习重要的连接,在不影响其准确性的情况下,将神经网络所需的存储和计算减少一个数量级。我们的方法使用三步法修剪冗余连接。首先,我们对网络进行训练,以了解哪些连接是重要的。接下来,我们删除不重要的连接。最后,我们重新训练网络,以微调剩余连接的权重。在ImageNet数据集上,我们的方法将AlexNet的参数数量减少了9倍,从6100万减少到670万,而不会导致准确性损失。使用VGG-16进行的类似实验发现,参数的数量可以减少13倍,从1.38亿减少到1030万,并且仍然没有损失准确性。
2015-10-30 cs.CV cs.LG cs.NE
Brain Tumor Detection using Convolutional Neural Networks with Skip Connections
University of Southern California(南加州大学)
该研究面向MRI脑肿瘤良恶性分类,比较加宽、加深及跳跃连接等CNN优化方式,证明合理组合可超越基线模型。
2023-07-14 cs.CV cs.LG eess.IV
Connections between Numerical Algorithms for PDEs and Neural Networks
Saarland University(萨尔兰大学)
我们研究了偏微分方程(PDE)的数值算法和神经架构之间的许多结构连接。我们的目标是将丰富的数学基础从偏微分方程转移到神经网络。除了结构的见解,我们提供了具体的例子和实验评估所产生的架构。以一维广义非线性扩散为例,我们考虑了显式格式、加速策略、隐格式和多重网格方法。我们将这些概念与残差网络、递归神经网络和U-网架构联系起来。我们的研究结果启发了一个对称的残差网络设计与可证明的稳定性保证,并证明跳跃连接的有效性,从数值的角度来看,在神经网络。此外,我们提出了U-网络架构,实现多重网格技术学习有效解的偏微分方程模型,并激励不寻常的设计选择,如可训练的非单调激活函数。实验结果表明,所提出的架构节省了一半的可训练参数,因此可以在相同的模型复杂度下优于标准的。我们的考虑是解释流行神经架构成功的基础,并为开发新的数学基础良好的神经构建模块提供了蓝图。
2022-03-21 cs.LG cs.NA math.NA
Is the Skip Connection Provable to Reform the Neural Network Loss Landscape?
Beijing Jiaotong University(北京交通大学)
残差网络现在是深度学习中最有效的结构之一,它利用跳过连接来"保证”性能不会变差。然而,神经网络的非凸性使得不清楚跳跃连接是否确实可证明地提高学习能力,因为非线性可能产生许多局部最小值。在以前的一些工作\cite{freeman2016topology}中,尽管非凸性,但当隐藏节点的数量$m$非常大时,双层ReLU网络的损失景观具有良好的特性。在本文中,我们沿着这条路线来研究拓扑(子水平集)的损失景观的深度ReLU神经网络与跳跃连接,并从理论上证明了跳跃连接网络继承了两层网络的良好性质和跳跃连接可以帮助控制子水平集的连通性,使得任何比一些双层ReLU网络的全局最小值更差的局部最小值将非常“浅”。这些局部最小值的"深度”至多是$O(m^{(η-1)/n})$,其中$n$是输入维数,$η<1$。这为深度学习中跳跃连接的有效性提供了理论解释。
2020-06-10 cs.LG stat.ML
The distribution of inhibitory neurons in the C. elegans connectome facilitates self-optimization of coordinated neural activity
National Autonomous University of Mexico(墨西哥国立自治大学);Okinawa Institute of Science and Technology Graduate University(冲绳科学技术大学院大学)
线虫土壤蠕虫秀丽隐杆线虫的神经系统表现出显着的复杂性,尽管蠕虫的小尺寸。一个普遍的挑战是更好地理解神经组织和系统水平上的神经活动之间的关系,包括抑制性连接的功能作用。在这里我们实现了C的抽象仿真模型。elegans连接体,近似每个神经元的神经递质身份,我们探讨了这些生理差异对神经活动的功能作用。特别是,我们创建了一个Hopfield神经网络,其中所有的蠕虫的神经元,其特征在于抑制性神经递质被分配抑制性传出连接。然后,我们创建了一个控制条件,其中相同数量的抑制连接在网络中任意分布。这两个条件的比较表明,抑制性连接的生物分布促进协调神经活动的自我优化相比,任意分布的抑制性连接。
2020-10-28 cs.LG q-bio.NC
Learning in Feedforward Neural Networks Accelerated by Transfer Entropy
Transilvania University(特兰西瓦尼亚大学);Central Washington University(中央华盛顿大学)
由于所使用的数据集的大小和复杂性的增加,当前的神经网络架构训练要困难许多倍。我们的目标是利用从神经网络推断的因果关系设计更有效的训练算法。转移熵(TE)最初是作为一种信息转移度量引入的,用于量化事件(时间序列)之间的统计相关性。后来,它与因果关系有关,即使它们不一样。只有少数论文报道因果关系或TE在神经网络中的应用。我们的贡献是一个信息理论的方法来分析前馈神经网络节点之间的信息传递。通过反馈神经连接的TE来测量信息传递。直观地说,TE测量网络中连接的相关性,反馈放大了这种连接。我们引入了一个反向传播型训练算法,使用TE反馈连接,以提高其性能。
2021-04-29 cs.AI cs.LG
NeuroRule: A Connectionist Approach to Data Mining
National University of Singapore(新加坡国立大学)
分类是一类数据采掘问题,它涉及到寻找将给定数据集划分为不相交组的规则。迄今为止,在大型数据库中挖掘分类规则的方法主要是基于决策树的符号学习方法。基于神经网络的连接主义方法一直被认为不太适合数据采掘。引用的主要原因之一是由神经网络生成的知识没有以适合于人类验证或解释的规则的形式显式地表示。本文探讨了这一问题。利用我们新开发的算法,可以从神经网络中提取出与符号方法相似或更简洁的规则。描述了利用神经网络进行数据采掘的过程,重点是规则提取。实验结果和比较与以前发表的作品。
2017-01-05 cs.LG
On The Energy Statistics of Feature Maps in Pruning of Neural Networks with Skip-Connections
Duke University(杜克大学);University of Minnesota(明尼苏达大学)
我们提出了一个新的结构化修剪框架,用于压缩具有跳过连接的深度神经网络(DNN),基于测量隐藏层和预测输出的统计依赖性。由隐藏层的能量统计定义的依赖性度量用作特征图和网络输出之间的信息的无模型度量。随后使用估计的依赖性度量来修剪冗余和无信息层的集合。我们的度量的无模型性保证了不需要对特征映射分布进行参数假设,这使得它在DNN中的高维特征空间中具有计算吸引力。各种架构上的大量数值实验表明,所提出的修剪方法具有竞争力的性能,以国家的最先进的方法的功效。
2022-01-26 cs.LG eess.IV
Dynamical system prediction from sparse observations using deep neural networks with Voronoi tessellation and physics constraint
University of Nottingham(诺丁汉大学);Queensland University of Technology(昆士兰科技大学);École des Ponts(巴黎路桥学院);EDF R&D(法国电力公司研发中心)
本文提出DSOVT框架,将Voronoi剖分与CED-LSTM和ConvLSTM结合,并融入物理约束,从稀疏时变观测中高效准确地预测动力系统。
2024-08-31 cs.LG
Deep Adaptive Network: An Efficient Deep Neural Network with Sparse Binary Connections
Chongqing University(重庆大学)
深度神经网络是用于理解图像、视频和原始输入数据内容的最先进模型。然而,在嵌入式系统中实现深度神经网络是一项具有挑战性的任务,因为典型的深度神经网络,例如使用128 × 128图像作为输入的深度信念网络,可能耗尽千兆字节的存储器并导致带宽和计算瓶颈。为了解决这一挑战,本文提出了一种面向硬件的深度学习算法,称为深度自适应网络,它试图利用神经连接中的稀疏性。该方法自适应地将与可忽略特征相关的权重降低到零,从而形成稀疏前馈网络结构。此外,由于重要权重的小部分显著大于零,因此可以使用单比特整数(-1和+1)对它们进行鲁棒阈值化和表示,从而实现具有稀疏和二进制连接的深度神经网络。我们的实验表明,对于识别MNIST手写数字的应用,通过保留约25%重要连接的两层深度自适应网络提取的特征达到了97.2%的分类准确率,与标准深度信念网络(97.3%)几乎相同。此外,对于高效的硬件实现,稀疏和二进制加权的深度神经网络可以节省约99.3%的内存和99.9%的计算单元,而不会显着损失模式识别应用的分类准确性。
2016-04-21 cs.CV cs.LG cs.NE
Skip Connections in Spiking Neural Networks: An Analysis of Their Effect on Network Training
Univ. Polytechnique Hauts-de-France(上法兰西理工大学);Belmihoub Abd El Rahmane High School(贝勒米胡布·阿卜杜勒·拉赫曼高中);Ecole Nationale Supérieure d’Informatique(国家高等计算机学院);Forschungszentrum Jülich(于利希研究中心)
脉冲神经网络(SNN)由于其潜在的能量效率和其在生物系统中建模脉冲行为的能力而作为传统人工神经网络(ANN)的有前途的替代方案而受到关注。然而,SNN的训练仍然是一个具有挑战性的问题,需要新的技术来提高其性能。在本文中,我们研究了跳跃连接对SNN的影响,并提出了一种超参数优化技术,使模型从ANN适应SNN。我们证明,优化跳过连接的位置、类型和数量可以通过加快收敛速度和增加网络中的信息流来显着提高SNN的准确性和效率。我们的研究结果显示,在CIFAR-10-DVS和DVS 128手势数据集上,多个最先进模型的适应性平均提高了8%。
2023-03-23 cs.CV cs.LG cs.NE
Transmission Neural Networks: Inhibitory and Excitatory Connections
Department of Electrical Engineering, Polytechnique Montreal(蒙特利尔理工学院电气工程系);GERAD (Group for Research in Decision Analysis)(决策分析研究组);UNIQUE (Unifying Neuroscience and Artificial Intelligence - Quebec)(魁北克神经科学与人工智能统一中心);Department of Electrical and Computer Engineering, McGill University(麦吉尔大学电气与计算机工程系)
本文扩展了Gao和Caines提出的传输神经网络模型,引入抑制性连接和神经递质群体,通过建立神经元放电概率的特征化,证明其等价于具有连续状态的神经网络,并推导了神经递质群体下的极限网络模型及其稳定性条件。
2026-10-09 cs.LG cs.SI cs.SY
Characterizing Sparse Connectivity Patterns in Neural Networks
University of Southern California(南加州大学)
我们提出了一种新的方法,通过使用预定义的稀疏性来减少神经网络的存储饥饿的全连接层中的参数数量,其中大多数连接在开始训练之前都不存在。我们的研究结果表明,卷积神经网络可以在低于0.5%的分类层连接密度或低于5%的整体网络连接密度下运行而不会损失任何准确性。我们还研究了预定义的稀疏网络,只有全连接层的影响。基于我们的稀疏化技术,我们引入了“分散”度量来表征一个特定的连接模式的质量。作为概念证明,我们展示了CIFAR,MNIST和一个新的数据集上分类莫尔斯电码符号,突出了一些有趣的趋势和稀疏连接模式的限制。
2019-04-25 cs.CV cs.LG
Analysis of the Gradient Descent Algorithm for a Deep Neural Network Model with Skip-connections
Princeton University(普林斯顿大学);Beijing Institute of Big Data Research(北京大数据研究院)
针对具有跳跃连接的深度神经网络模型,分析了梯度下降(GD)算法的行为。证明了在过参数化条件下,对于一个合适的初始值,GD可以以很高的概率指数快速地找到全局最小值。沿GD路径的泛化误差估计也建立。结果表明,当目标函数在再生核Hilbert空间(RKHS)中,且核由初始值定义时,沿GD路径存在可推广的早停解,并且GD路径一致接近于相关随机特征模型给出的函数.因此,在该“隐式正则化”设置中,深度神经网络模型退化为随机特征模型。我们的结果适用于任何宽度大于输入维数的神经网络。
2019-04-14 cs.LG math.OC stat.ML
Memory via Temporal Delays in weightless Spiking Neural Network
Tufts University(塔夫茨大学);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
神经科学界的一个共同观点是,记忆是由神经元之间的连接强度编码的。这种认知导致人工神经网络模型将连接权重作为调节学习的关键变量。在本文中,我们提出了一个原型的无重量脉冲神经网络,可以执行一个简单的分类任务。该网络中的记忆存储在神经元之间的时间中,而不是连接的强度,并且使用Hebbian Spike Timing Dependent Plasticity(STDP)进行训练,该训练调节连接的延迟。
2022-02-15 cs.AI cs.LG cs.NE
A Neural Network Training Method Based on Neuron Connection Coefficient Adjustments
Chongqing university(重庆大学)
针对基于对称微分方程的神经网络框架,提出一种利用反向信号传播、仅调整神经元连接系数且无需修改微分方程不动点的训练方法,在MNIST数据集上验证有效并指出架构局限性及改进方向。
2025-01-25 cs.LG cs.NE
Error estimate for a universal function approximator of ReLU network with a local connection
Kyungpook National University(庆北国立大学)
神经网络在广泛的任务中表现出了很高的成功性能,但需要进一步的研究来提高其性能。我们分析了具有局部连接的特定神经网络架构的近似误差,并且比具有全连接的特定神经网络架构具有更高的应用,因为局部连接网络可以用于解释诸如CNN之类的各种神经网络。我们的误差估计取决于两个参数:一个控制隐藏层的深度,另一个控制隐藏层的宽度。
2020-09-03 cs.IT cs.LG math.IT