首页/论文/2011.06427

arXiv 2011.064272020-11-12cs.NEcs.AIcs.NIeess.SPstat.CO

随机神经网络的实现及其潜在应用

Realization of Stochastic Neural Networks and Its Potential Applications

Istanbul Technical University（伊斯坦布尔理工大学）

S. Rahimi Kari

备注：: 6 pages, 11 figures

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

自实现传统SC解码器以来，连续抵消解码器已经取得了很大进展，但仍有改进的潜力。多年来的主要斗争是找到一个最佳算法来实现它们。大多数提出的算法是不够实用，在现实生活中实现。在本研究中，我们的目的是介绍随机神经网络作为SC解码器的效率，并找到可能的方法来提高其性能和实用性。在本文中，在简要介绍了随机神经元和SNNs，我们介绍了方法来实现随机神经网络的确定性和随机平台。

英文摘要：

Successive Cancellation Decoders have come a long way since the implementation of traditional SC decoders, but there still is a potential for improvement. The main struggle over the years was to find an optimal algorithm to implement them. Most of the proposed algorithms are not practical enough to be implemented in real-life. In this research, we aim to introduce the Efficiency of stochastic neural networks as an SC decoder and Find the possible ways of improving its performance and practicality. In this paper, after a brief introduction to stochastic neurons and SNNs, we introduce methods to realize Stochastic NNs on both deterministic and stochastic platforms.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

“幽默感”的计算机模型。II。神经网络的实现

Computer Model of a "Sense of Humour". II. Realization in Neural Networks

P.N.Lebedev Physical Institute（P.N.列别捷夫物理研究所）；P.L.Kapitza Institute for Physical Problems（P.L.卡皮察物理问题研究所）

“幽默感”的计算机实现需要创建一个算法来解决“语言问题”，即识别连续序列的多语义图像的问题。这种算法经过适当的修改后，可以在神经网络的Hopfield模型中实现。

2007-11-13cs.AIq-bio.NC

贝叶斯神经网络需要完全随机吗？

Do Bayesian Neural Networks Need To Be Fully Stochastic?

University of Oxford（牛津大学）；University of Amsterdam（阿姆斯特丹大学）

我们研究了贝叶斯神经网络随机过程中处理所有参数的好处，并发现了令人信服的理论和经验证据，表明这种标准结构可能是不必要的。为此，我们证明了表达预测分布只需要少量的随机性。特别是，部分随机网络只有$n$随机偏差是通用的概率预测$n$维预测问题。在实证研究中，我们发现在四种不同的推理模式和八个数据集上，完全随机性没有系统性的好处;部分随机网络可以匹配，有时甚至优于完全随机网络，尽管它们的内存成本降低了。

2023-02-20cs.AIcs.LGstat.ML

用于深度神经网络节能实现的后训练Quantization

Post-Training Quantization for Energy Efficient Realization of Deep Neural Networks

RWTH Aachen University（亚琛工业大学）

深度神经网络（DNN）部署在边缘设备上生成的数据附近的最大挑战是它们的大小，即，存储器占用和计算复杂性。两者都随着量化而显着减少。随着所产生的较低的字长，DNN的能量效率成比例地增加。然而，较低的字长通常会导致精度下降。为了抵消这种影响，量化的DNN被重新训练。不幸的是，训练比量化DNN的推理多花费5000倍的能量。为了解决这个问题，我们提出了一个后训练量化流程，而不需要再培训。为此，我们研究了不同的量化选项。此外，我们的分析系统地评估了减少词长度的权重和激活的影响，揭示了词长度选择的明显趋势。这两个方面迄今尚未得到系统的研究。我们的结果与DNN的深度无关，并适用于均匀量化，允许对给定的预训练DNN进行快速量化。我们在ImageNet的6位和2.2%的Top-1准确率方面表现出色。在没有重新训练的情况下，我们量化到8位的精度超过了浮点精度。

2022-10-14cs.AIcs.CVcs.LG

多步时间序列预测的随机循环神经网络

Stochastic Recurrent Neural Network for Multistep Time Series Forecasting

University College London（伦敦大学学院）

基于深度架构的时间序列预测近年来越来越受欢迎，因为它们能够对复杂的非线性时间动态进行建模。循环神经网络就是这样一种能够处理可变长度输入和输出的模型。在本文中，我们利用深度生成模型的最新进展和状态空间模型的概念，提出了一种用于多步时间序列预测的循环神经网络的随机自适应，该网络采用随机梯度变分贝叶斯进行训练。在我们的模型设计中，循环神经网络的过渡函数，它决定了隐藏状态的演变，是随机的，而不是确定性的，因为在一个定期的循环神经网络;这是通过将一个潜在的随机变量到过渡过程中，捕捉随机性的时间动态。我们的模型保留了循环神经网络的架构工作，所有相关信息都封装在其隐藏状态中，这种灵活性使我们的模型可以轻松集成到任何深层架构中进行顺序建模。我们在从金融到医疗保健的广泛数据集上测试了我们的模型;结果表明，随机循环神经网络始终优于其确定性对应网络。

2021-06-25cs.AIcs.LG

基于统计信息的神经网络学习随机动力学

Learning Stochastic Dynamics with Statistics-Informed Neural Network

Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；NVIDIA Corporation（英伟达公司）；University of California, Merced（加州大学默塞德分校）

我们介绍了一个机器学习框架命名为随机神经网络（SINN）的学习随机动态数据。这种新的架构理论上的灵感来自于随机系统的普遍逼近定理，我们在本文中介绍，和随机建模的投影算子形式主义。我们设计了用于训练神经网络模型的机制，以再现目标随机过程的正确\emph{statistical}行为。数值仿真结果表明，训练好的SINN可以可靠地逼近马尔可夫和非马尔可夫随机动力学。我们证明了SINN的适用性粗粒化问题和过渡动力学建模。此外，我们表明，得到的降阶模型可以训练时间粗粒度的数据，因此非常适合于稀有事件模拟。

2022-11-21cond-mat.stat-mechcs.AIcs.LG

NullaNet：训练深度神经网络以减少内存访问推理

NullaNet: Training Deep Neural Networks for Reduced-Memory-Access Inference

University of Southern California（南加州大学）

深度神经网络已成功部署在包括计算机视觉和语音识别在内的各种应用中。然而，这些模型的计算和存储复杂性迫使大多数计算在高端计算平台或云上执行。为了应对这些模型的计算和存储复杂性，本文提出了一种训练方法，通过布尔逻辑最小化实现深度神经网络的完全不同的方法。上述实现完全去除了访问存储器以获得模型参数的耗能步骤，与使用浮点运算的实现相比，消耗大约两个数量级的计算资源，并且具有显著更低的延迟。

2018-08-27cs.LGcs.NEstat.ML

更多相关论文收起更多论文

海马中稳定的记忆分配：基本限制和神经实现

Stable Memory Allocation in the Hippocampus: Fundamental Limits and Neural Realization

Peking University（北京大学）

海马被认为是大脑中的记忆分配器，其机制尚未完全阐明。在Valiant的类神经元模型中，海马体被描述为一个随机连接的图，其上的计算将输入映射到一组具有稳定大小的激活的类神经元。Valiant提出了海马电路成为稳定的记忆分配器（SMA）的三个要求：稳定性，连续性和正交性。根据Valiant的模型，海马体中SMA的功能对于皮层内的进一步计算至关重要。在本文中，我们把这些要求的记忆功能严格的数学公式，并引入容量的概念，基于错误的分配的概率。我们证明了SMA的容量和错误概率的基本限制，在数据独立和数据依赖的设置。我们还建立了一个稳定的内存分配器，可以通过神经回路实现的例子。理论界和仿真结果表明，神经SMA功能良好。

2016-12-14cs.DScs.LGcs.NE

StochasticNet：通过随机连接形成深度神经网络

StochasticNet: Forming Deep Neural Networks via Stochastic Connectivity

University of Waterloo（滑铁卢大学）；Aimetis Corp.（Aimetis公司）

深度神经网络是机器学习的一个分支，由于其在高度复杂的数据中表示和建模高级抽象的强大能力，它的流行度迅速上升。深度神经网络中一个已经成熟的探索领域是神经连接的形成。一项关于大鼠脑组织的关键研究发现，新皮层神经微回路中特定功能连接的突触形成可以令人惊讶地被建模和预测为随机形成。受这一有趣发现的启发，我们引入了StochasticNet的概念，其中深层神经网络通过神经元之间的随机连接形成。因此，通过允许神经元连接是随机的，任何类型的深度神经网络都可以形成为StochasticNet。在深度神经网络架构中，随机突触形成可以允许有效利用神经元来执行特定任务。为了评估这种深度神经网络架构的可行性，我们使用四种不同的图像数据集（CIFAR-10，MNIST，SVHN和STL-10）训练StochasticNet。实验结果表明，使用不到传统深度神经网络一半数量的神经连接的StochasticNet在CIFAR-10，MNIST和SVHN数据集上实现了相当的准确性并减少了过拟合。有趣的是，与传统的深度神经网络相比，神经连接数量不到一半的StochasticNet在STL-10数据集上实现了更高的准确性（与ConvNet相比，测试出错率相对提高了约6%）。最后，StochasticNets具有更快的运行速度，同时实现更好或类似的精度性能。

2015-11-10cs.CVcs.LGcs.NE

用于实现脉冲神经网络的混合突触结构

Hybrid Synaptic Structure for Spiking Neural Network Realization

本文提出基于RSFQ的紧凑JJ-Synapse突触，可为JJ-Soma提供正负加权输入，具备数十吉赫兹高速、低CMOS数个数量级功耗及商用Nb工艺可制造性，并完成设计、制造与部分测试。

2023-11-13cond-mat.supr-concs.ARcs.NE

基于神经网络的楼梯摆线轨迹实现基于蚁群算法的双足机器人时间量化拉格朗日动力学（NNTQLD）

Cycloidal Trajectory Realization on Staircase based on Neural Network Temporal Quantized Lagrange Dynamics (NNTQLD) with Ant Colony Optimization for a 9-Link Bipedal Robot

IIT Roorkee（印度理工学院鲁尔基分校）

针对足尖式机器人，提出了一种新的能量优化关节角轨迹跟踪控制方法。针对9连杆机器人爬楼梯的问题，提出了摆动阶段的摆线轨迹，使得摆线变量与楼梯尺寸有关。采用零力矩点（ZMP）准则满足稳定性约束。本文主要分为三个步骤：1）利用无监督的人工神经网络，通过节点移动的方法，规划出初始步和后续步的稳定摆线轨迹，以实现爬楼和逆运动学。2)利用拉格朗日动力学对脚趾脚的运动模型进行动力学建模，并利用弹簧-阻尼器系统进行接触建模，然后开发神经网络时间量化拉格朗日动力学，将神经网络的逆运动学输出作为其输入。3)采用蚁群优化算法对比例微分控制器参数和躯干角进行整定，以关节空间轨迹误差和总能量消耗最小为目标。三种情况下，与可变的楼梯尺寸，并做了简要的比较，以验证我们所提出的工作的有效性，产生的模式已经在MATLAB中进行了模拟。

2021-07-21cs.NEcs.ROcs.SY

生物神经网络中的学习是否基于随机梯度下降？一项使用随机过程的分析

Is Learning in Biological Neural Networks based on Stochastic Gradient Descent? An analysis using stochastic processes

Kiel University（基尔大学）

针对生物神经网络仅靠局部信息无法使用随机梯度下降的观点，本文通过随机模型分析发现，多次局部更新可近似实现连续梯度步，证明随机梯度下降可能在生物神经网络优化中起作用。

2024-04-10cs.LGcs.NEmath.PR

基于卷积神经网络的随机过程生成模型

Generative Models for Stochastic Processes Using Convolutional Neural Networks

本文旨在演示卷积神经网络作为随机过程生成模型的使用，使来自广泛领域（如定量金融和物理）的研究人员能够开发一种通用的预测和模拟工具，而无需识别/假设特定的系统结构或估计其参数。

2018-01-09cs.NEphysics.comp-phq-fin.CP

人工神经网络中的随机共振神经元

Stochastic resonance neurons in artificial neural networks

Aston Institute of Photonic Technologies（阿斯顿光子技术研究所）；Aston University（阿斯顿大学）

人工神经网络的许多现代应用随之而来的是大量的层，使得传统的数字实现越来越复杂。光学神经网络在高带宽下提供并行处理，但具有噪声累积的挑战。我们在这里提出了一种新的类型的神经网络使用随机共振作为一个固有的一部分的架构，并证明了显着减少所需的神经元的数量为一个给定的性能精度的可能性。我们还表明，这样的神经网络是更强大的对噪声的影响。

2022-08-23cs.ETcs.LGcs.NE

深度卷积神经网络正则化的随机池化

Stochastic Pooling for Regularization of Deep Convolutional Neural Networks

New York University（纽约大学）

介绍了一种简单有效的正则化大型卷积神经网络的方法。我们用随机过程取代了传统的确定性池操作，根据池区域内的活动给出的多项分布，随机挑选每个池区域内的激活。该方法是无超参数的，并且可以与其他正则化方法（例如dropout和数据增强）相结合。相对于不利用数据增强的其他方法，我们在四个图像数据集上实现了最先进的性能。

2013-01-16cs.LGcs.NEstat.ML