Learning representations in Bayesian Confidence Propagation neural networks
KTH Royal Institute of Technology(瑞典皇家理工学院);Stockholm University(斯德哥尔摩大学)
层次表示的无监督学习是近年来深度学习中最具活力的研究方向之一。在这项工作中,我们研究生物启发的无监督策略的神经网络的基础上,当地的赫布学习。我们提出了新的机制来扩展贝叶斯置信度验证神经网络(BCPNN)的架构,并证明了它们的无监督学习显着的隐藏表示的MNIST数据集上测试时的能力。
2020-03-27 cs.LG cs.NE stat.ML
An Analytic Solution to Covariance Propagation in Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种无样本矩传播技术,通过推导非线性激活函数协方差的解析解,精确表征神经网络的输入-输出分布,提升了深度学习系统不确定性量化的准确性与效率。
2024-03-24 cs.AI cs.LG stat.ML
Uncertainty Propagation through Trained Deep Neural Networks Using Factor Graphs
SRI International(SRI国际公司);Center for Vision Technologies(视觉技术中心)
针对深度神经网络偶然不确定性传播中单向信息流方法的局限,本文提出用因子图将其建模为非线性优化问题,并在三个数据集和两种架构上取得统计显著的性能提升。
2023-12-10 cs.AI cs.LG
Local Neighbor Propagation Embedding
Dalian University of Technology(大连理工大学)
流形学习在非线性降维领域中占有重要地位,其思想也为其他相关方法提供了借鉴。基于图的方法,如图卷积网络(GCN),显示了与流形学习相同的思想,尽管它们属于不同的领域。受GCN的启发,我们将邻居传播引入到LLE中,提出了局部邻居传播嵌入(LNPE)。与LLE相比,LNPE的计算复杂性线性增加,通过将$1$ -跳邻居扩展为$n$ -跳邻居,增强了邻居之间的局部连接和交互.实验结果表明,LNPE算法具有更好的拓扑和几何特性,嵌入结果更可靠、鲁棒。
2020-06-29 cs.LG stat.ML
Expectation Propagation for approximate Bayesian inference
Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种新的贝叶斯网络的确定性逼近技术。这种方法,“期望传播”,统一了两个以前的技术:假设密度过滤,卡尔曼滤波器的扩展,和循环的信念传播,在贝叶斯网络的信念传播的扩展。所有这三种算法都试图恢复一个近似分布,该分布在KL散度上接近真实分布。循环信念传播,因为它传播精确的信念状态,是有用的信念网络的有限类别,如那些纯粹是离散的。期望传播通过仅保留某些期望(例如均值和方差)来近似信念状态,并迭代直到这些期望在整个网络中保持一致。这使得它适用于具有离散和连续节点的混合网络。期望传播也在相反的方向上扩展了信念传播-它可以传播更丰富的信念状态,包括节点之间的相关性。高斯混合模型的实验表明,期望传播令人信服地优于具有类似计算成本的方法:拉普拉斯方法,变分贝叶斯和蒙特卡洛。期望传播也提供了一个有效的算法训练贝叶斯点机分类器。
2013-01-10 cs.AI cs.LG
Data-Driven Radio Propagation Modeling using Graph Neural Networks
Orange Labs(奥兰治实验室)
针对传统无线电传播物理模型准确性与灵活性不足的问题,提出将环境转为图表示、用图神经网络从真实数据学习传播特性的方法,在速度和精度上优于经典方法,首次实现仅靠点测量生成信号覆盖图。
2025-01-08 cs.AI cs.LG cs.NI
Beyond Signal Propagation: Is Feature Diversity Necessary in Deep Neural Network Initialization?
Technion, Israel(以色列理工学院);Columbia University(哥伦比亚大学)
深度神经网络通常用随机权重初始化,选择方差以促进信号传播和稳定梯度。人们还认为,多样性的功能是这些初始化的一个重要属性。我们通过将几乎所有权重初始化为$0$来构建具有相同特征的深度卷积网络。该架构还实现了完美的信号传播和稳定的梯度,并在标准基准测试中实现了高精度。这表明随机的、多样的初始化是训练神经网络所必需的\textit{not}。训练这个网络的一个基本要素是对称性破缺机制;我们研究了这种现象,发现标准的GPU操作是不确定的,可以作为对称性破缺的充分来源来进行训练。
2020-07-02 cs.LG stat.ML
Probabilistic spike propagation for FPGA implementation of spiking neural networks
IIT Madras(印度理工学院马德拉斯分校)
脉冲神经网络的评估需要获取大量的突触权重来更新突触后神经元。这限制了并行性并成为硬件的瓶颈。我们提出了一种基于权重概率解释的尖峰传播方法,从而减少了内存访问和更新。我们研究了在尖峰处理中引入随机性的影响,并在基准网络上表明,这可以在对识别精度影响最小的情况下完成。我们在Xilinx Zynq平台上为MNIST和CIFAR10数据集提供了一个架构和完全连接和卷积网络的准确性权衡。
2020-01-07 cs.LG cs.NE
Cellular Network Radio Propagation Modeling with Deep Convolutional Neural Networks
Futurewei Technologies, Inc.(未来wei技术有限公司);Huawei Technologies, Co., Ltd.(华为技术有限公司)
无线传播建模和预测是现代蜂窝网络规划和优化的基础。传统的无线电传播模型分为两类。基于粗略统计的经验模型简单且计算效率高,但由于过度简化而不准确。确定性模型,如基于波传播物理定律的光线追踪,更准确,更具有场地特异性。但它们具有较高的计算复杂性,并且不灵活地利用传统全球信息系统(GIS)地图以外的站点信息。在这篇文章中,我们提出了一种新的方法来模拟无线电传播使用深卷积神经网络和报告显着提高性能相比,传统的模型。我们还为无线电传播的数据驱动建模奠定了框架,并使未来的研究能够利用丰富的非常规信息,例如卫星照片,以提供更准确和灵活的模型。
2021-10-05 cs.AI cs.IT cs.LG
Uncertainty propagation in auto-regressive random neural network models
UC Santa Cruz(加州大学圣克鲁兹分校)
该研究针对输入与参数均随机的神经网络,推导了其不确定性传播的解析方法,扩展至自回归动力系统,经数值实验验证了其在高维系统中传播不确定性的准确性与适用性。
2026-08-24 cs.LG cs.NE physics.comp-ph
Uncertainty propagation in neural networks for sparse coding
University of Sheffield(谢菲尔德大学);University of Oxford(牛津大学)
提出了一种通过软阈值非线性传播不确定性的新方法。在每一层,目标向量的当前分布被表示为尖峰和平板分布,其表示每个变量为零或高斯分布的概率。使用所提出的不确定性传播方法,导出归一化常数的梯度,其可用于更新权重分布。利用提出的不确定性传播方法和贝叶斯推断算法,设计了一种新的稀疏编码贝叶斯神经网络。
2018-11-29 cs.LG stat.ML
Semi-supervised learning with Bayesian Confidence Propagation Neural Network
KTH Royal Institute of Technology(瑞典皇家理工学院);Stockholm University(斯德哥尔摩大学)
不使用标签或使用少量标签从数据中学习内部表示对于机器学习研究非常有用,因为它允许使用大量未标记的数据。在这项工作中,我们使用贝叶斯置信传播神经网络(BCPNN)模型开发的生物学上合理的模型的皮层。最近的工作表明,这些网络可以使用局部贝叶斯-赫布学习规则从数据中学习有用的内部表示。在这项工作中,我们将展示如何在半监督设置中,通过引入和比较不同的分类器,利用这种表示。我们还评估和比较这些网络与其他流行的半监督分类器。
2021-06-29 cs.LG cs.NE
Propagation Networks for Model-Based Control Under Partial Observation
Massachusetts Institute of Technology(麻省理工学院)
有越来越多的兴趣学习动态模拟器基于模型的控制。与现成的物理引擎相比,可学习的模拟器可以快速适应看不见的对象,场景和任务。然而,像交互网络这样的现有模型只适用于完全可观测的系统;它们也只考虑单个时间步长内的成对交互,这都限制了它们在实际系统中的使用。我们介绍了传播网络(PropNet),这是一种可微分、可学习的动力学模型,可以处理部分可观察的场景,并使信号的瞬时传播超越成对相互作用。实验表明,我们的传播网络不仅优于当前的可学习的物理引擎在正向模拟,但也实现了各种控制任务的优越性能。与现有的无模型深度强化学习算法相比,基于传播网络的模型控制更准确,更高效,并且可推广到新的,部分可观察的场景和任务。
2019-04-18 cs.AI cs.LG cs.RO
Train Feedfoward Neural Network with Layer-wise Adaptive Rate via Approximating Back-matching Propagation
Micorosoft Research Asia(微软亚洲研究院)
随机梯度下降(SGD)在训练深度神经网络方面取得了巨大成功,其中梯度是通过反向传播计算的。然而,不同层的反向传播值差异很大。这种跨不同层的梯度幅度的不一致性使得具有单一学习率的深度神经网络的优化成问题。我们引入了反向匹配传播,它通过匹配层输出上的反向值来计算层参数和输入上的反向值。这导致解决一堆最小二乘问题,这需要很高的计算成本。然后,我们减少了近似的后匹配传播,并提出了一种算法,变成了定期SGD与逐层自适应学习率策略。这使得我们的算法在当前的机器学习框架配备了自动微分容易实现。我们将我们的算法应用于训练现代深度神经网络,并取得了优于SGD的结果。
2018-02-27 cs.LG stat.ML
Propagation with Adaptive Mask then Training for Node Classification on Attributed Networks
Huazhong University of Science and Technology(华中科技大学)
属性网络上的节点分类是一个半监督任务,对于网络分析至关重要。通过解耦图卷积网络(GCN)中的两个关键操作,即特征变换和邻域聚合,解耦GCN的一些最新工作可以支持信息更深层次的传播,并获得更好的性能。然而,它们遵循传统的GCN的结构感知传播策略,难以捕捉节点的属性相关性,并且对两端属于不同类别的边所描述的结构噪声敏感。为了解决这些问题,我们提出了一种名为itshape Propagation with Adaptive Mask then Training(PAMT)的新方法。其关键思想是将属性相似性掩码集成到结构感知的传播过程中。这样,PAMT在传播过程中能够保持相邻节点的属性相关性,有效降低结构噪声的影响。此外,我们开发了一种迭代细化机制,在训练过程中更新相似性掩码,以提高训练性能。在四个真实数据集上的大量实验证明了PAMT的优越性能和鲁棒性。
2022-06-23 cs.AI cs.LG
Local stability of Belief Propagation algorithm with multiple fixed points
INRIA Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗克库尔分部);INRIA Saclay(法国国家信息与自动化研究所萨克雷分部)
统计物理学和计算机科学中的许多问题都可以表示为马尔可夫随机场上的边际概率的计算。置信传播是一种迭代的消息传递算法,当底层图是树时,它精确地计算这样的边缘。但它已经获得了它的普及,作为一种有效的方法来近似他们在更一般的情况下,即使它可以表现出多个不动点,并不能保证收敛。本文利用图的结构和不动点处的信念值,给出了一个新的信念传播不动点局部稳定的充分条件。这使得通常的理解相信,信念传播在稀疏图上表现得更好。
2012-07-19 cs.LG stat.ML
Extended Affinity Propagation: Global Discovery and Local Insights
Technical University of Munich(慕尼黑工业大学)
我们提出了一种新的聚类算法,扩展的相似性传播,基于成对的相似性。扩展的亲和性传播是通过修改亲和性传播来开发的,使得亲和性传播的期望特征,例如,保留了范例、合理的计算复杂性和不需要指定簇的数量,同时保留了缺点,例如,全局结构发现的缺乏,限制了仿射传播的适用性。扩展的亲和性传播不仅成功地实现了这一目标,而且还可以提供对各个集群的内部结构的各种附加见解,例如,精确的置信度值、相对聚类密度和聚类的不同区域中的局部聚类强度,这对于分析者是有价值的。我们简要讨论这些见解如何帮助轻松调整超参数。我们还说明了这些理想的功能和性能的扩展亲和传播各种合成和现实世界的数据集。
2019-04-15 cs.AI cs.CV cs.LG
Spectral Propagation Graph Network for Few-shot Time Series Classification
Institute of Medical Technology, Health Science Center of Peking University(北京大学医学部医学技术研究院);National Institute of Health Data Science, Peking University(北京大学国家健康医疗大数据研究院)
Few-Shot时间序列分类(Few-Shot TSC)是时间序列分析中的一个具有挑战性的问题。当同一类时间序列在谱域不完全一致或不同类时间序列在谱域部分一致时,分类更加困难。为了解决这个问题,我们提出了一种新的方法命名为频谱传播图网络(SPGN)显式建模和传播不同的时间序列与图网络之间的频谱明智的关系。据我们所知,SPGN是第一个利用不同时间间隔的频谱比较,并涉及频谱传播的所有时间序列与图形网络的Few-Shot TSC。SPGN首先使用带通滤波器在谱域中扩展时间序列,以计算时间序列之间的谱关系。SPGN利用图网络,将光谱关系与标签信息相结合,进行光谱传播。进一步的研究揭示了光谱关系获取和光谱传播之间的双向效应。我们进行了广泛的实验上Few-Shot TSC基准。SPGN在$4\% \sim 13\%$中的表现远远优于最新结果。此外,SPGN在跨域和跨路设置下分别超过它们约$12\%$和$9\%$。
2022-11-22 cs.AI cs.LG
Latent Geometry Inspired Graph Dissimilarities Enhance Affinity Propagation Community Detection in Complex Networks
Technische Universität Dresden(德累斯顿工业大学)
仿射传播是高维特征空间数据聚类的一种有效的无监督模式识别算法。然而,无数的尝试,以测试其性能的社区发现在复杂的网络中已经取得的结果非常远离国家的最先进的方法,如Infomap和Louvain。然而,所有这些研究都认为,关键问题是将未加权的网络拓扑转换为“足够智能”的节点相异性矩阵,该矩阵能够正确地解决亲和传播聚类背后的消息传递过程。在这里,我们介绍了一个概念上的创新,我们讨论了如何利用网络潜在的几何概念,以设计相似性传播社区发现的相异性矩阵。我们的研究结果表明,潜在的几何启发相异度的措施,我们设计带来的亲和传播等于或优于当前最先进的方法社区发现。考虑到合成的“真实”网络(具有已知的地面真实社区)和真实网络(具有社区元数据),即使数据结构被丢失或虚假连接人为引起的噪声破坏,这些发现也得到了可靠的证明。
2018-08-29 cs.LG cs.SI physics.soc-ph
Back to the Future: Predicting Traffic Shockwave Formation and Propagation Using a Convolutional Encoder-Decoder Network
Texas A&M University(德州农工大学)
这项研究提出了一种深度学习方法来预测交通冲击波的传播。深度神经网络的输入是研究段的时空图,网络的输出是以时空图的形式预测的冲击波在研究段上的(未来)传播。所提出的方法的主要特点是能够提取嵌入在时间-空间图中的特征来预测交通冲击波的传播。
2019-05-04 cs.CV cs.LG eess.SP
Learning the Propagation of Worms in Wireless Sensor Networks
University of Delaware(特拉华大学)
无线传感器网络(WSNs)由空间分布的传感器组成,被认为是容易受到蠕虫及其变种的攻击。由于蠕虫的传播策略不同,其动态行为会因传感器的不同特性而异。对蠕虫的传播进行建模可以帮助我们理解蠕虫的攻击行为,分析蠕虫的传播过程。在本文中,我们设计了一个通信模型下的各种蠕虫。我们的目标是学习我们提出的模型,分析得出竞争性蠕虫传播的动态。我们开发了一个新的搜索空间结合复杂的神经网络模型。此外,实验结果验证了我们的分析,并证明了我们提出的学习算法的性能。
2022-09-20 cs.CR cs.LG
Optimized Symbolic Interval Propagation for Neural Network Verification
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
神经网络越来越多地应用于安全关键领域,因此其验证变得越来越重要。目前证明前馈神经网络输入输出关系的算法中有一大类是基于线性松弛和符号区间传播的。然而,由于变量的依赖性,近似随着网络深度的增加而恶化。在本文中,我们提出了DPNeurifyFV,这是一种用于低维输入空间的ReLU网络的新型分支定界求解器,它基于具有新鲜变量和输入分裂的符号区间传播。一个新的启发式选择新鲜的变量可以改善依赖性问题,而我们的新的分裂启发式,结合其他几个改进,加快了分支定界过程。我们评估我们的方法在空中防撞网络ACAS徐和演示运行时的改进相比,国家的最先进的工具。
2022-12-15 cs.AI cs.CR cs.LG
Uncertainty Propagation in Deep Neural Networks Using Extended Kalman Filtering
Massachusetts Institute of Technology(麻省理工学院);Department of Mathematics(数学系);Lincoln Laboratory Supercomputing Center(林肯实验室超级计算机中心)
本文提出利用扩展卡尔曼滤波在深度神经网络中传播和量化输入不确定性,方法在计算效率上优于现有技术,同时自然地将模型误差纳入输出不确定性。
2018-09-17 cs.LG cs.NA math.NA
Adaptive Precision Training: Quantify Back Propagation in Neural Networks with Fixed-point Numbers
自适应精度训练:用固定点数量化神经网络中的反向传播。最近出现的量化技术已被应用于深度神经网络的推理,以实现快速有效的执行。然而,在训练中直接应用量化可能会导致显著的准确性损失,因此仍然是一个开放的挑战。
2020-03-05 cs.CV cs.LG
Bound Propagation meets Constraint Simplification: Improving Logic-based XAI for Neural Networks
Department of Computer Science, Instituto Federal do Ceará (IFCE)(计算机科学系,巴西塞阿拉联邦大学(IFCE))
本文通过结合边界传播与约束简化,显著提升了基于逻辑的神经网络可解释性方法的效率,减少了高达89.26%的解释时间。
2026-03-02 cs.LG cs.LO
Empowering Wireless Network Applications with Deep Learning-based Radio Propagation Models
本文探讨了将深度学习与传统无线电传播建模技术相结合,以克服传统求解器的性能局限,从而提升无线网络运行的效率与可靠性,并推动其在下一代网络中的应用。
2024-08-22 cs.LG cs.NI eess.SP
Direct Interval Propagation Methods using Neural-Network Surrogates for Uncertainty Quantification in Physical Systems Surrogate Model
LMSD, Department of Mechanical Engineering, KU Leuven(KU莱顿机械工程系LMSD);RAM, Department of Mechanical Engineering, KU Leuven(KU莱顿机械工程系RAM);DistriNet, Department of Computer Science, KU Leuven(KU莱顿计算机科学系DistriNet);Visual Artificial Intelligence Laboratory, Oxford Brookes University(奥克斯福德布鲁克斯大学视觉人工智能实验室)
本文提出利用神经网络代理模型进行直接区间传播,以提高复杂系统不确定性量化效率,探讨了多层感知机和深度算子网络等方法在预测输出区间边界中的应用与性能。
2026-03-22 cs.LG
Prioritized Propagation in Graph Neural Networks
East China Normal University(华东师范大学);Microsoft Research Asia(微软亚洲研究院)
针对现有GNN节点级传播方法忽略节点优先级的问题,提出可集成多数GNN的PPro框架,通过互增强机制和交替优化学习带优先级的节点传播,在8个基准上优于11种SOTA方法。
2023-11-06 cs.LG
A Novel Method for improving accuracy in neural network by reinstating traditional back propagation technique
Sri Manakula Vinayagar Engineering College(斯里马纳库拉维纳亚加尔工程学院)
针对反向传播计算开销大且存在梯度消失的问题,本文提出无需逐层计算梯度的即时参数更新方法,可加速训练并在基准数据集上超过现有方法。
2023-08-09 cs.CV cs.LG
Training Large-Scale Optical Neural Networks with Two-Pass Forward Propagation
Sharif University of Technology(谢里夫理工大学)
针对光学神经网络训练效率低、非线性实现难等局限,提出两次前向传播训练法及集成光学下的卷积神经网络实现方案,经理论与数值验证可提升训练速度、能效与可扩展性,推动光学计算处理复杂任务的发展。
2024-08-15 cs.LG physics.optics
Schemes of Propagation Models and Source Estimators for Rumor Source Detection in Online Social Networks: A Short Survey of a Decade of Research
本文综述了在线社交网络中谣言源检测的三种传播模型和三种源估计方案,探讨了十年来相关研究的进展与核心方法。
2021-01-04 cs.DM cs.LG cs.SI
Light Propagation Prediction through Multimode Optical Fibers with a Deep Neural Network
Queen Mary University of London(伦敦玛丽女王大学)
这项工作演示了一种使用深度神经网络预测通过单个多模光纤的光传播的计算方法。训练和测试数据的收集实验是用一个数字微镜设备,使空间光调制。设备上的调制图案和相机捕获的仅强度图像形成对齐的数据对。这种经过严格训练的深度神经网络框架具有非常出色的性能,可以直接推断通过多模光纤传输的仅强度输出。通过均方误差(MSE)、相关系数(corr)和结构相似性指数(SSIM)三个标准对模型进行验证。
2018-12-06 cs.LG physics.optics
Learning Affinity via Spatial Propagation Networks
UC Merced(加州大学默塞德分校);Nvidia(英伟达);Dalian University of Technology(大连理工大学)
在本文中,我们提出了空间传播网络学习的亲和矩阵的视觉任务。我们表明,通过构建一个行/列线性传播模型,空间变化的变换矩阵正好构成了一个亲和矩阵,模型密集,全球成对关系的图像。具体来说,我们为线性传播模型开发了一个三向连接,它(a)制定了一个稀疏变换矩阵,其中所有元素都可以是深度CNN的输出,但(b)产生了一个密集的亲和矩阵,可以有效地模拟任何特定于任务的成对相似性矩阵。我们不需要根据两个点的图像特征来设计相似性核,而是可以直接以纯数据驱动的方式输出所有的相似性。空间传播网络是一种通用框架,可以应用于许多与亲和力相关的任务,包括但不限于图像抠图、分割和着色等。本质上,由于深度神经网络分类器的强大学习能力,该模型可以学习高级视觉任务的语义感知的亲和度值。我们验证了细化图像分割边界的任务的框架。在HELEN人脸解析和PASCAL VOC-2012语义分割任务上的实验表明,空间传播网络为生成高质量的分割结果提供了一种通用、有效和高效的解决方案。
2017-10-03 cs.CV cs.LG
BERN-NN: Tight Bound Propagation For Neural Networks Using Bernstein Polynomial Interval Arithmetic
University of California, Irvine(加州大学欧文分校)
在本文中,我们提出了BERN-NN作为一个有效的工具来执行神经网络(NN)的边界传播。边界传播是广泛的NN模型检查器和可达性分析工具中的关键步骤。给定有界输入集,界传播算法的目标是计算NN输出的严格界。到目前为止,线性和凸优化已被用于执行边界传播。由于神经网络是高度非凸的,现有技术的边界传播技术遭受引入大的误差。为了避免这种缺点,BERN-NN使用一类称为伯恩斯坦多项式的多项式来近似每个神经元的边界。伯恩斯坦多项式具有几个有趣的特性,与依赖线性和凸近似的那些相比,这些特性允许BERN-NN获得更严格的边界。BERN-NN在图形处理单元(GPU)上高效并行化。大量的数值结果表明,由BERN-NN得到的界限是数量级更紧比那些由最先进的验证器,如线性规划和线性区间算术。更重要的是,与alpha-CROWN等凸规划方法相比,BERN-NN既更快,又能产生更紧密的输出。
2022-11-22 cs.LG cs.SY eess.SY