Algorithm for Training Neural Networks on Resistive Device Arrays
IBM Research AI（IBM研究院人工智能部门）
由电阻交叉点器件阵列组成的硬件架构可以为使用随机梯度下降（SGD）和反向传播（BP）算法的深度神经网络训练工作负载提供显著的功率和速度优势。然而，在这种即将到来的模拟硬件上的训练精度强烈地依赖于交叉点元件的开关特性。关键要求之一是，这些电阻器件在受到正或负脉冲刺激时必须以对称方式改变电导。在这里，我们提出了一种新的训练算法，所谓的“Tiki-Taka”算法，消除了这种严格的对称性要求。我们发现，设备不对称性引入了一个无意的隐式成本项到SGD算法，而在“Tiki-Taka”算法耦合动力系统同时最小化的原始目标函数的神经网络和无意的成本项，由于设备不对称性在一个自洽的方式。我们在一系列网络架构上测试了这种新算法的有效性，例如全连接，卷积和LSTM网络。对这些不同网络的仿真结果表明，无论使用具有对称（理想）器件开关特性的常规SGD算法实现了什么精度，使用具有非对称（非理想）器件开关特性的“Tiki-Taka”算法也实现了相同的精度。此外，在阵列上执行的所有操作仍然是并行的，因此这种新算法在阵列架构上的实现成本是最小的;并且它保持了上述功率和速度优势。这些算法改进对于放宽材料规格和实现技术上可行的电阻交叉阵列至关重要，这些电阻交叉阵列在类似的训练任务中优于数字加速器。
2019-09-17 cs.ET cs.LG cs.NE
A universal approximation theorem for nonlinear resistive networks
ETH AI Center, ETH Zurich（苏黎世联邦理工学院ETH AI中心）
本研究证明由电压源、线性电阻、二极管和压控电压源组成的非线性电阻网络能以任意精度逼近任意连续函数，核心方法是将ReLU神经网络转化为近似等效的电气网络，为通用自学习电气网络的发展提供了理论指导。
2025-04-03 cond-mat.dis-nn cs.LG
Mitigating Asymmetric Nonlinear Weight Update Effects in Hardware Neural Network based on Analog Resistive Synapse
National Chiao Tung University（台湾交通大学）
非对称的非线性权值更新被认为是实现基于模拟电阻突触的硬件神经网络的主要障碍之一，因为它严重影响了网络的在线训练能力。本文通过与硬件适用的深度学习算法进行协同优化，为这一关键问题提供了新的解决方案。工程激活函数和阈值权重更新方案的新见解有效地抑制了不准确的权重更新引起的不期望的训练噪声。我们成功地在线训练了一个两层感知器网络，并分别使用具有极高非对称非线性的6位/8位模拟突触将MNIST手写数字数据集的分类准确率提高到87.8/94.8%。
2017-12-16 cs.ET cs.LG cs.NE
Training Deep Convolutional Neural Networks with Resistive Cross-Point Devices
IBM T.J. Watson Research Center（IBM T.J. Watson 研究中心）
在以前的工作中，我们已经详细说明了通过以电阻设备阵列的形式实现用于深度学习的全连接深度神经网络（DNN）来获得最大性能优势的要求。电阻处理单元（RPU）设备的概念在这里扩展到卷积神经网络（CNN）。我们展示了如何将卷积层映射到RPU阵列，以便在反向传播算法的所有三个周期中充分利用硬件的并行性。我们发现，由于在阵列上执行的计算的模拟性质而施加的噪声和边界限制影响CNN的训练精度。噪声和边界管理技术，减轻这些问题，而不引入任何额外的复杂性，在模拟电路，可以解决的数字电路。此外，我们还讨论了数字可编程更新管理和设备可变性降低技术，这些技术可以选择性地用于CNN中的某些层。我们表明，所有这些技术的组合，使一个成功的应用程序的RPU概念训练CNN。这里讨论的技术更通用，并且可以应用于CNN架构之外，因此使RPU方法适用于大类神经网络架构。
2017-05-22 cs.LG cs.NE stat.ML
Training End-to-End Analog Neural Networks with Equilibrium Propagation
Rain Neuromorphics（Rain神经形态公司）；Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Canadian Institute for Advanced Research（加拿大高等研究院）；Google（谷歌）
介绍了一种利用随机梯度下降来训练端到端模拟神经网络的原理性方法。在这些模拟神经网络中，要调整的权重由诸如忆阻器的可编程电阻器件的电导来实现[Chua，1971]，并且非线性传递函数（或“激活函数”）由诸如二极管的非线性组件来实现。我们在数学上证明了一类模拟神经网络（称为非线性电阻网络）是基于能量的模型：它们具有基尔霍夫定律支配电路的能量函数。这个属性使我们能够使用均衡传播框架训练它们[Scellier和Bengio，2017]。我们的更新规则为每个电导，这是本地的，只依赖于相应的电阻器两端的电压降，计算梯度的损失函数。我们的数值模拟，它使用基于SPICE的Spectre仿真框架来模拟电路的动态，演示了MNIST分类任务的训练，比同等大小的基于软件的神经网络表现更好或更好。我们的工作可以指导新一代超快速，紧凑和低功耗的神经网络支持片上学习的发展。
2020-06-09 cs.LG cs.NE
TxSim:Modeling Training of Deep Neural Networks on Resistive Crossbar Systems
Purdue University（普渡大学）
电阻交叉开关在深度神经网络（DNN）加速器的设计中引起了极大的兴趣，因为它们能够在密集存储器阵列内原生地执行大规模并行向量矩阵乘法。然而，由于各种设备和电路级的非理想性，基于交叉杆的计算面临着重大挑战，这些非理想性表现为向量矩阵乘法中的错误，并最终降低DNN精度。为了应对这一挑战，需要一种工具来模拟非理想性对DNN训练和推理的功能影响。现有的实现这一目标的努力要么局限于推理，要么太慢而无法用于大规模DNN训练。我们提出了TxSim，这是一个快速和可定制的建模框架，可以在考虑非理想因素影响的情况下，在基于交叉杆的硬件上对DNN训练进行功能评估。TxSim区别于先前工作的关键特征是：（i）它在所有训练操作（前向传播，后向传播和权重更新）期间全面建模非理想性，以及（ii）通过将交叉杆评估映射到优化的BLAS例程来实现计算效率，并采用加速技术以进一步减少模拟时间，同时对准确性的影响最小。TxSim在模拟速度上比以前的作品有了数量级的提高，从而可以在交叉杆上评估大规模DNN的训练。我们使用TxSim的实验表明，对于大规模DNN，由于非理想性导致的DNN训练准确性下降可能很大（3%-10%），这强调了对缓解技术进行进一步研究的必要性。我们还分析了各种设备和电路级参数的影响以及相关的非理想性，以提供关键的见解，从而指导基于交叉杆的DNN训练加速器的设计。
2021-01-08 cs.LG eess.SP stat.ML
Analog In-memory Training on General Non-ideal Resistive Elements: The Impact of Response Functions
Cornell University（康奈尔大学）；IBM T. J. Watson Research Center（IBM T.J.沃森研究中⼼）；Rensselaer Polytechnic Institute（拉特盖尔理工学院）
本文研究了非理想响应函数对类比内存计算训练动态的影响，提出残差学习算法以解决非对称响应函数带来的问题，并通过模拟验证了理论成果。
2026-01-13 cs.AR cs.LG math.OC
Acceleration of Deep Neural Network Training with Resistive Cross-Point Devices
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
近年来，深度神经网络（DNN）在大规模分析和分类任务（如语音识别、视觉目标检测、模式提取等）中表现出了显著的业务影响。然而，大型DNN的训练普遍被认为是耗时且计算密集型的任务，需要企业级计算资源招募许多天。在这里，我们提出了一个电阻处理单元（RPU）设备的概念，它可以潜在地将DNN训练加速几个数量级，同时使用更少的功率。所提出的RPU设备可以存储和更新本地的权重值，从而最大限度地减少训练过程中的数据移动，并允许充分利用本地和并行的训练算法。我们确定了RPU设备和系统规范，用于在现实的CMOS兼容技术中实现DNN训练的加速器芯片。对于具有约10亿个权重的大型DNN，与最先进的微处理器相比，这种大规模并行RPU架构可以实现30，000倍的加速因子，同时提供84，000 GigaOps/s/W的功率效率。目前需要在拥有数千台机器的大型集群上进行数天培训的问题可以在单个RPU加速器上在数小时内解决。由RPU加速器集群组成的系统将能够解决具有数万亿参数的大数据问题，这些参数是当今无法解决的，例如，自然语音识别和所有世界语言之间的翻译，对大量业务和科学数据流的实时分析，来自大量物联网传感器的多模式感知数据流的集成和分析。
2016-03-23 cs.LG cs.NE stat.ML
Towards Explainable Bit Error Tolerance of Resistive RAM-Based Binarized Neural Networks
TU Dortmund University（多特蒙德工业大学）
非易失性存储器，如电阻式RAM（RRAM），是一种新兴的节能存储，尤其适用于边缘的低功耗机器学习模型。然而，据报道，RRAM的位出错率在超低功率设置中可以高达3.3%，这对于许多用例来说可能是至关重要的。二进制神经网络（BNN）是神经网络（NN）的一种资源有效的变体，它可以容忍一定比例的错误而不损失准确性，并且在计算和存储方面需要更少的资源。BNN中的比特差错容限（BET）可以通过在训练期间翻转权重符号来实现，如Hirtzlin等人所提出的，但是他们的方法有一个明显的缺点，特别是对于全连接神经网络（FCNN）：FCNN过拟合训练中使用的错误率，这导致在较低出错率下的低准确度。此外，没有研究BET的基本原理。在这项工作中，我们改进了BNN的BET训练，旨在解释这一属性。我们提出了直通梯度近似，以改善权重符号翻转训练，通过该BNN适应比特出错率。为了解释所实现的鲁棒性，我们定义了一个度量，其目的是在没有故障注入的情况下测量BET。我们评估的度量，并发现它与准确度超过出错率的所有FCNN测试。最后，我们探讨了一种新的正则化优化相对于这个指标的影响，其目的是提供一个可配置的权衡精度和BET。
2020-02-03 cs.ET cs.LG stat.ML
Random resistive memory-based deep extreme point learning machine for unified visual processing
the University of Hong Kong（香港大学）；Institute of Microelectronics, Chinese Academy of Sciences（中国科学院微电子研究所）；ACCESS – AI Chip Center for Emerging Smart Systems, InnoHK Centers（InnoHK中心新兴智能系统AI芯片中心（ACCESS））；University of Chinese Academy of Sciences（中国科学院大学）
针对边缘多模态视觉处理的异构数据、硬件能效瓶颈与模型训练成本高的问题，提出基于随机阻变存储器的软硬件协同DEPLM，实现高效统一点集分析，大幅提升能效、降低训练成本。
2023-12-14 cs.AR cs.LG
One-step regression and classification with crosspoint resistive memory arrays
Politecnico di Milano（米兰理工大学）
机器学习作为处理日常生活中无处不在的传感器产生的大数据的工具，近年来受到了广泛的关注。需要高速、低能耗的计算机器来实现边缘处的实时人工智能，即，而不需要云中的远程帧服务器的支持。这种要求挑战了互补金属氧化物半导体（CMOS）技术，其受到摩尔定律接近其终点和传统计算架构中的通信瓶颈的限制。因此，迫切需要新的计算概念、架构和设备来加速数据密集型应用。在这里，我们展示了一个交叉点电阻存储器电路与反馈配置可以执行线性回归和逻辑回归在一个步骤中通过计算存储器内的数据的伪逆矩阵。因此，最基本的学习操作，即数据序列的回归和数据集的分类，可以通过新技术在一个单一的计算步骤中执行。一步学习进一步支持的模拟预测的成本在波士顿和2层神经网络的MNIST数字识别的训练。由于交叉点阵列内的物理、并行和模拟计算，所有结果都在一个计算步骤中获得。
2020-05-05 cs.ET cs.LG stat.ML
Training a Predictive Coding Network on ImageNet using Equilibrium Propagation
Rain AI
提出一种结合中心化均衡传播与新型均衡方案的预测编码网络训练方法，在ImageNet上训练10层卷积PCN，达到13.23% top-5错误率，接近反向传播基线。
2026-06-02 cond-mat.dis-nn cs.LG cs.NE
Dependence of Equilibrium Propagation Training Success on Network Architecture
Max Planck Institute for the Science of Light（光科学研究所）；University of Erlangen-Nuremberg（埃尔兰根-纽伦堡大学）
本研究探讨了基于物理的平衡传播训练方法在局部连接晶格架构下的性能，发现稀疏网络可实现与密集网络相当的性能。
2026-01-29 cond-mat.dis-nn cs.ET cs.LG
On the Convergence of Certified Robust Training with Interval Bound Propagation
University of California, Los Angeles（加州大学洛杉矶分校）
区间定界传播（IBP）是目前最先进的训练神经网络的方法的基础，当存在潜在的对抗性扰动时，它具有可证明的鲁棒性保证，而IBP训练的收敛性在现有文献中仍然未知。在本文中，我们提出了一个理论分析的收敛性IBP训练。在超参数化假设下，分析了IBP鲁棒训练的收敛性。我们表明，当使用IBP训练训练一个随机初始化的具有逻辑损失的双层ReLU神经网络时，如果我们有足够小的扰动半径和大的网络宽度，梯度下降可以以很高的概率线性收敛到零鲁棒训练误差。
2022-03-16 cs.LG
Adaptive Precision Training: Quantify Back Propagation in Neural Networks with Fixed-point Numbers
自适应精度训练：用固定点数量化神经网络中的反向传播。最近出现的量化技术已被应用于深度神经网络的推理，以实现快速有效的执行。然而，在训练中直接应用量化可能会导致显著的准确性损失，因此仍然是一个开放的挑战。
2020-03-05 cs.CV cs.LG
Learning to Prune in Training via Dynamic Channel Propagation
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）；Zhejiang Wanfeng Technology Development Company, Ltd.（浙江万丰科技开发股份有限公司）
在本文中，我们提出了一种新的网络训练机制称为“动态通道传播”修剪神经网络在训练期间。特别地，我们根据信道的显著性水平（定义为信道效用）在每个卷积层中挑选特定的一组信道参与训练时间的前向传播。相对于所有选定通道的效用值与误差反向传播过程同时更新，并且将自适应地改变。此外，当训练结束时，具有高效用值的信道被保留，而具有低效用值的信道被丢弃。因此，我们提出的方案同时训练和修剪神经网络。我们在各种代表性的基准数据集和高级卷积神经网络（CNN）架构（包括VGGNet和ResNet）上对我们的新训练方案进行了经验评估。实验结果验证了该方法的优越性能和鲁棒性。
2020-07-03 cs.CV cs.LG stat.ML
Uncertainty propagation through trained multi-layer perceptrons: Exact analytical results
National Physical Laboratory（国家物理实验室）
本文通过训练的单隐藏层MLP与ReLU激活函数，推导出输入为多元高斯分布时输出均值和方差的精确解析表达式，无需级数展开。
2026-01-23 cs.AI cs.LG cs.NE
Propagation with Adaptive Mask then Training for Node Classification on Attributed Networks
Huazhong University of Science and Technology（华中科技大学）
属性网络上的节点分类是一个半监督任务，对于网络分析至关重要。通过解耦图卷积网络（GCN）中的两个关键操作，即特征变换和邻域聚合，解耦GCN的一些最新工作可以支持信息更深层次的传播，并获得更好的性能。然而，它们遵循传统的GCN的结构感知传播策略，难以捕捉节点的属性相关性，并且对两端属于不同类别的边所描述的结构噪声敏感。为了解决这些问题，我们提出了一种名为itshape Propagation with Adaptive Mask then Training（PAMT）的新方法。其关键思想是将属性相似性掩码集成到结构感知的传播过程中。这样，PAMT在传播过程中能够保持相邻节点的属性相关性，有效降低结构噪声的影响。此外，我们开发了一种迭代细化机制，在训练过程中更新相似性掩码，以提高训练性能。在四个真实数据集上的大量实验证明了PAMT的优越性能和鲁棒性。
2022-06-23 cs.AI cs.LG
Training Large-Scale Optical Neural Networks with Two-Pass Forward Propagation
Sharif University of Technology（谢里夫理工大学）
针对光学神经网络训练效率低、非线性实现难等局限，提出两次前向传播训练法及集成光学下的卷积神经网络实现方案，经理论与数值验证可提升训练速度、能效与可扩展性，推动光学计算处理复杂任务的发展。
2024-08-15 cs.LG physics.optics
Multi-dimensional training-priority weighting based on physical information propagation paths: a unified residual-weighting framework for physics-informed neural networks
研究针对物理信息神经网络同步优化与物理传播路径不符问题，基于物理信息传播路径定义训练优先级，用NTK动力学分析原因，提出统一多维优先级约束框架，改善了PINNs在特定问题上的收敛行为和预测准确性。
2026-07-28 cs.LG
Train Feedfoward Neural Network with Layer-wise Adaptive Rate via Approximating Back-matching Propagation
Micorosoft Research Asia（微软亚洲研究院）
随机梯度下降（SGD）在训练深度神经网络方面取得了巨大成功，其中梯度是通过反向传播计算的。然而，不同层的反向传播值差异很大。这种跨不同层的梯度幅度的不一致性使得具有单一学习率的深度神经网络的优化成问题。我们引入了反向匹配传播，它通过匹配层输出上的反向值来计算层参数和输入上的反向值。这导致解决一堆最小二乘问题，这需要很高的计算成本。然后，我们减少了近似的后匹配传播，并提出了一种算法，变成了定期SGD与逐层自适应学习率策略。这使得我们的算法在当前的机器学习框架配备了自动微分容易实现。我们将我们的算法应用于训练现代深度神经网络，并取得了优于SGD的结果。
2018-02-27 cs.LG stat.ML
Training of Spiking Neural Networks with Expectation-Propagation
School of Engineering and Physical Sciences, Heriot-Watt University（工程与物理科学学院，赫瑞斯泰大学）
提出基于Expectation-Propagation的无梯度消息传递框架，支持SNNs离散与连续权重训练，边缘化隐藏层输出，实践中收敛快于梯度方法，为深度贝叶斯网络高效训练提供新途径。
2025-06-30 cs.LG stat.ME stat.ML
Quantum Interval Bound Propagation for Certified Training of Quantum Neural Networks
University of Florida, Gainesville, FL, USA（佛罗里达大学）
本文提出量子区间界传播(QIBP)方法，用于量子机器学习的认证训练，通过区间和仿射算术探索精度与设计权衡，验证模型在对抗扰动下的鲁棒性。
2026-05-01 cs.LG quant-ph
Quantum Equilibrium Propagation: Gradient-Descent Training of Quantum Systems
Rain AI（雨人工智能公司）
本文将平衡传播（EP）训练框架扩展至量子系统，利用系统物理机制提取权重梯度实现梯度下降，并在横向场Ising模型和量子谐振子网络中验证了该方法。
2024-06-02 cond-mat.dis-nn cs.LG quant-ph
Approximation-Aware Dependency Parsing by Belief Propagation
Johns Hopkins University（约翰斯·霍普金斯大学）
我们展示了如何训练Smith和Reynner（2008）的快速依赖解析器以提高准确性。这个解析器可以考虑边之间的高阶交互，同时保持O（n^3）的运行时间。它输出具有最大预期召回率的解析-但为了速度，该预期是在仅近似构造的后验分布下采用的，使用通过结构化因子的循环信念传播。我们展示了如何调整模型参数来补偿这种近似引入的误差，通过遵循训练数据上的实际损失的梯度。我们通过反向传播找到这个梯度。也就是说，我们将整个解析器（近似和所有）视为可微电路，就像Stoyanov et al.（2011）和Domke（2010）对循环CRF所做的那样。所得到的训练解析器获得更高的准确性与更少的迭代的信念传播比条件对数似然训练。
2015-08-10 cs.CL cs.LG
Training a Hopfield Variational Autoencoder with Equilibrium Propagation
IDLab, Ghent University – imec（根特大学-IDLab（校际微电子中心））
本文提出使用平衡传播训练 Hopfield 变分自编码器进行生成建模，利用网络对称性实现编码器与解码器共享单一模型，可将芯片尺寸减半，为高效模拟硬件配置提供新方案。
2023-11-25 cs.LG cs.NE
Neural Network Training with Asymmetric Crosspoint Elements
Massachusetts Institute of Technology（麻省理工学院）
为了加速深度神经网络训练，正在对包括可编程非易失性电阻器的模拟交叉开关阵列进行深入研究。然而，普遍存在的非对称电导调制的实际电阻设备严重降低了传统算法训练的网络的分类性能。在这里，我们描述并实验证明了一种替代的完全并行训练算法：随机哈密顿下降。代替传统的在误差函数梯度的方向上调谐权重，该方法对网络参数进行编程，以成功地最小化系统的总能量（哈密顿量），该系统包含设备不对称性的影响。我们提供了关键的直觉，为什么设备不对称性与传统的训练算法根本不兼容，以及新方法如何利用它作为一个有用的功能。我们的技术能够基于现成的设备技术立即实现模拟深度学习加速器。
2022-01-31 cs.ET cs.LG cs.SY
Priority-based Parameter Propagation for Distributed DNN Training
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量学院）；Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）
数据并行训练广泛用于扩展分布式深度神经网络（DNN）训练。然而，性能益处通常受到通信繁重的参数同步步骤的限制。在本文中，我们利用DNN训练和重叠参数同步计算的特定领域的知识，以提高训练性能。我们提出两个关键意见：（1）用于通信的最佳数据表示粒度可以与底层DNN模型实现所使用的粒度不同，以及（2）不同的参数可以提供不同的同步延迟。基于这些观察，我们提出了一种新的同步机制，称为基于优先级的参数传播（P3）。P3以更细的粒度对参数进行训练，并以训练过程引起最小通信延迟的方式调度数据传输。我们表明，P3可以在具有实际网络带宽的集群上分别将ResNet-50，Sockeye和VGG-19的训练吞吐量提高25%，38%和66%
2019-05-10 cs.DC cs.LG
Uncertainty Propagation through Trained Deep Neural Networks Using Factor Graphs
SRI International（SRI国际公司）；Center for Vision Technologies（视觉技术中心）
针对深度神经网络偶然不确定性传播中单向信息流方法的局限，本文提出用因子图将其建模为非线性优化问题，并在三个数据集和两种架构上取得统计显著的性能提升。
2023-12-10 cs.AI cs.LG
Hierarchical Conflict Propagation: Sequence Learning in a Recurrent Deep Neural Network
University of Surrey（萨里大学）
递归神经网络（RNN）能够学习编码和利用任意时间尺度上的激活历史。然而，在实践中，已知现有技术的基于梯度下降的训练方法在学习长期依赖性方面存在困难。在这里，我们描述了一种新的训练方法，涉及并发并行克隆网络，每个共享相同的权重，每个训练在不同的刺激阶段，每个保持独立的激活历史。随着激活历史记录的逐渐增加，通过在并行克隆上递归地执行批量更新来进行训练。这允许冲突从短期上下文向长期上下文分层传播，直到它们被解决。我们用一个字符级的深度RNN来说明并行克隆方法和层次冲突传播，该深度RNN的任务是记住Moby Dick（由Herman Melville）的一段。
2016-02-25 cs.LG
Efficient Neural Network Training via Forward and Backward Propagation Sparsification
Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；Google Research（谷歌研究院）
稀疏训练是加快深度神经网络训练速度和节省内存使用的自然想法，特别是因为大型现代神经网络明显过度参数化。然而，大多数现有的方法在实践中不能实现这一目标，因为基于链规则的梯度（w.r.t.结构参数）估计至少在反向传播步骤中需要密集计算。本文通过提出一种有效的稀疏训练方法来解决这个问题，该方法具有完全稀疏的向前和向后传递。我们首先制定的训练过程中作为一个连续的全局稀疏约束下的最小化问题。然后，我们将优化过程分为两个步骤，对应的权重更新和结构参数更新。对于前一步，我们使用传统的链规则，它可以通过利用稀疏结构稀疏。对于后一步，而不是在现有的方法中使用基于链规则的梯度估计，我们提出了一个方差减少的策略梯度估计，它只需要两个前向通过没有向后传播，从而实现完全稀疏的训练。我们证明了我们的梯度估计的方差是有界的。在真实世界数据集上的大量实验结果表明，与以前的方法相比，我们的算法在加速训练过程方面更有效，快了一个数量级。
2021-11-10 cs.AI cs.CV cs.LG
Beyond Signal Propagation: Is Feature Diversity Necessary in Deep Neural Network Initialization?
Technion, Israel（以色列理工学院）；Columbia University（哥伦比亚大学）
深度神经网络通常用随机权重初始化，选择方差以促进信号传播和稳定梯度。人们还认为，多样性的功能是这些初始化的一个重要属性。我们通过将几乎所有权重初始化为$0$来构建具有相同特征的深度卷积网络。该架构还实现了完美的信号传播和稳定的梯度，并在标准基准测试中实现了高精度。这表明随机的、多样的初始化是训练神经网络所必需的\textit{not}。训练这个网络的一个基本要素是对称性破缺机制;我们研究了这种现象，发现标准的GPU操作是不确定的，可以作为对称性破缺的充分来源来进行训练。
2020-07-02 cs.LG stat.ML
Training an Ising Machine with Equilibrium Propagation
Thales（泰雷兹集团）；Université Paris-Saclay（巴黎萨克雷大学）
本文提出利用平衡传播算法对 D-Wave 伊辛机进行监督训练，在 MNIST 上取得与软件相当的结果，并验证其支持卷积运算，证明伊辛机可作为可训练的 AI 硬件平台。
2023-05-22 cs.LG cs.NE quant-ph
Backprop Evolution
TU Berlin（柏林工业大学）；Google Brain（谷歌大脑）
反向传播算法是深度学习的基石。尽管它的重要性，一些变化的算法已被尝试。这项工作提出了一种方法来发现新的变化的反向传播方程。我们使用一个特定领域的语言来描述更新方程作为一个原始函数的列表。一种基于进化的方法被用来发现新的传播规则，最大限度地提高泛化性能后，几个时代的训练。我们发现几个更新方程，可以训练更快，训练时间短，比标准的反向传播，并执行类似的标准反向传播收敛。
2018-08-08 cs.LG cs.NE stat.ML
Near-Equilibrium Propagation training in nonlinear wave systems
本文提出了一种适用于连续和离散复值波系统的非平衡传播训练方法，适用于弱耗散 regime，展示了在物理系统中实现原地学习的可行性。
2026-08-18 cond-mat.quant-gas cs.LG math-ph
Equilibrium Propagation for Learning in Lagrangian Dynamical Systems
Laboratoire d’Information Quantique CP224, Universit\'e libre de Bruxelles (ULB), Av. F. D. Roosevelt 50, 1050 Bruxelles, Belgium
本文将平衡传播扩展到拉格朗日动力系统，通过作用量极值化和轨迹微扰实现无需时间反向传播的高效参数训练，并给出其与量子平衡传播的联系。
2025-07-18 cs.LG nlin.CD physics.data-an
Tensor-Compressed Back-Propagation-Free Training for (Physics-Informed) Neural Networks
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Michigan State University（密歇根州立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文提出一种仅需前向传播的张量压缩无反向传播训练框架，结合零阶优化与稀疏网格方法，适用于物理信息神经网络，在MNIST上精度损失小，并能求解20维PDE，为边缘设备训练提供基础。
2023-10-09 cs.AI cs.LG
Attribute Propagation Network for Graph Zero-shot Learning
University of Technology Sydney（悉尼科技大学）；University of Washington（华盛顿大学）
零触发学习（zero-shot learning，缩写为ZRL）的目标是训练一个模型来对训练过程中没有看到的类样本进行分类。为了解决这个具有挑战性的任务，大多数CNOL方法通过一组预定义的属性将看不见的测试类与看到的（训练）类联系起来，这些属性可以描述同一语义空间中的所有类，因此在训练类上学习的知识可以适应看不见的类。在本文中，我们的目标是通过训练传播机制来优化属性空间，以便根据类图上的邻居和相关类来细化每个类的语义属性。我们表明，传播的属性可以产生分类器的zero-shot类显着提高性能，在不同的BNL设置。类的图通常是免费的或非常便宜的，例如WordNet或ImageNet类。当没有提供图时，给定类的预定义语义嵌入，我们可以学习以端到端方式生成图的机制以及传播机制。然而，这种图形辅助技术尚未在文献中得到很好的探讨。在本文中，我们介绍了属性传播网络（APNet），它是由1）一个图传播模型产生的属性向量为每个类和2）一个参数化的最近邻（NN）分类器分类图像的类与最近的属性向量图像的嵌入。为了更好地推广看不见的类，不同于以前的方法，我们采用了元学习策略训练的传播机制和相似性度量的NN分类器上的多个子图，每个与一个分类任务的训练类的子集。在两个零样本学习设置和五个基准数据集的实验中，APNet实现了令人信服的性能或新的最先进的结果。
2020-09-24 cs.CV cs.LG
Improving Back-Propagation by Adding an Adversarial Gradient
反向传播算法广泛用于人工神经网络的学习。机器学习中的一个挑战是创建模型，这些模型可以推广到训练数据中看不到的新数据样本。最近，几种机器学习算法中的一个共同缺陷被发现：添加到输入数据中的小扰动导致数据样本的一致错误分类。容易误导模型的样本被称为对抗性样本。在对抗性示例上训练“maxout”网络可以减少这种脆弱性，但也可以提高分类性能。本文表明，对抗性训练在具有逻辑、双曲正切和整流线性单元的网络中也具有正则化效应。提出了对反向传播方法的一个简单扩展，即在训练中添加对抗梯度。该扩展需要额外的向前和向后传递来计算修改后的输入样本或小批量，用作标准反向传播学习的输入。MNIST上的第一个实验结果表明，“对抗性反向传播”方法增加了对抗性样本的抵抗力，提高了分类性能。扩展减少了分类错误的排列不变MNIST从1.60%到0.95%的逻辑网络，从1.40%到0.78%的网络与整流线性单元。在CIFAR-10上的结果表明，该方法具有类似于全连接网络中dropout的正则化效果。基于这些有希望的结果，对抗性反向传播被提出作为一种独立的正则化方法，应该进一步研究。
2016-04-06 cs.LG stat.ML
Never look back - A modified EnKF method and its application to the training of neural networks without back propagation
The University of British Columbia（英属哥伦比亚大学）；Xtract Inc.（Xtract公司）；Centrum Wiskunde & Informatica (CWI)（数学与计算机科学中心）；University College London（伦敦大学学院）；Emory University（埃默里大学）
在这项工作中，我们提出了一个新的衍生物自由最优化方法，并探讨其用于训练神经网络。我们的方法是激励的Ensemble卡尔曼滤波器（EnKF），已成功地用于解决最优化问题，涉及大规模，高度非线性动力系统。EnKF方法的一个主要优点是它只需要评估前向传播，而不需要评估其导数。因此，在神经网络的上下文中，它简化了反向传播的需要，并大大减少了内存消耗。然而，该方法不是一个纯粹的“黑箱”全局优化启发式，因为它有效地利用了典型的学习问题的结构。最近，Kovachki和Stuart提出了EnKF用于训练深度神经网络的第一个有希望的结果。我们提出了一个重要的修改的EnKF，使我们能够证明我们的方法收敛到一个强凸函数的最小值。我们的方法也承担类似的隐式滤波，我们证明了它的潜力，最大限度地减少高度振荡的功能，使用一个简单的例子。此外，我们还提供了数值示例，展示了我们的方法在训练深度神经网络方面的潜力。
2018-05-31 cs.LG cs.NA cs.NE
Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks
Massachusetts Institute of Technology (MIT)（麻省理工学院）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）
本文研究了量化神经网络的训练和认证问题。量化是一种通过使用低位整数运算运行神经网络来使其更有效的技术，因此在工业中通常采用。最近的工作表明，已经被验证为鲁棒的浮点神经网络在量化后可能变得容易受到对抗攻击，并且量化表示的认证是保证鲁棒性所必需的。在这项工作中，我们提出了量化感知区间界限传播（QA-IBP），一种新的方法来训练强大的QNN。受到非量化网络鲁棒学习进步的启发，我们的训练算法计算实际网络抽象表示的梯度。与现有方法不同，我们的方法可以处理QNN的离散语义。基于QA-IBP，我们还开发了一个完整的验证过程，用于验证QNN的对抗鲁棒性，保证终止并产生正确的答案。与现有的方法相比，我们的验证过程的关键优势是，它完全运行在GPU或其他加速器设备上。我们通过实验证明，我们的方法显着优于现有的方法，并建立了新的最先进的训练和认证的QNN的鲁棒性。
2022-11-29 cs.LG
Structurally Sparsified Backward Propagation for Faster Long Short-Term Memory Training
University of California, Santa Barbara（加州大学圣巴巴拉分校）；NVIDIA（英伟达）；POSTECH（浦项科技大学）
利用稀疏性使硬件系统能够更快、更节能地运行神经网络。然而，大多数现有的以稀疏性为中心的优化技术仅加速神经网络的前向传递，并且通常需要具有迭代修剪和再训练的甚至更长的训练过程。我们观察到，在LSTM单元的门的梯度中人为地诱导稀疏性对训练质量几乎没有影响。此外，我们可以在门梯度中强制执行结构化稀疏性，使LSTM向后传递的速度比最先进的密集方法快45%，比现代GPU上最先进的稀疏化方法快168%。虽然结构化稀疏化方法会影响模型的准确性，但这种性能差距可以通过混合我们的稀疏训练方法和标准的密集训练方法来消除。实验结果表明，该混合方法可以在更短的时间内达到可比的结果比使用纯粹的密集训练。
2018-06-01 cs.CL cs.LG stat.ML
Semi-Implicit Back Propagation
神经网络长期以来受到人们的广泛关注，许多研究者致力于提高神经网络训练算法的有效性。虽然随机梯度下降（SGD）等显式梯度算法被广泛采用，但SGD算法仍存在梯度消失、小步长等问题，导致SGD算法收敛速度慢、不稳定。受误差反向传播（BP）和近似方法的启发，我们提出了一种半隐式的BP神经网络训练方法。类似于BP，神经元上的差异以向后的方式传播，并且参数用邻近映射更新。隐式更新隐藏的神经元和参数允许在训练算法中选择大的步长。最后，我们还证明了该算法产生的收敛序列的任何不动点都是目标损失函数的一个驻点。在MNIST和CIFAR-10上的实验表明，与SGD和类似的ProxBP算法相比，所提出的半隐式BP算法在损失减少和训练/验证精度方面都有更好的性能。
2020-02-10 cs.LG math.OC stat.ML
Label Propagation for Physics-Informed Neural Networks and Physics-Informed Gaussian Processes
Illinois Institute of Technology（伊利诺伊理工学院）；Binghamton University（宾汉姆顿大学）
本文提出利用半监督标签传播技术训练物理信息神经网络和高斯过程，并通过协同训练整合两者，以改善边界和初始条件信息向物理域传播的问题，实验验证了其有效性。
2026-09-22 cs.LG
Heterogeneous Time Constants Improve Stability in Equilibrium Propagation
Department of Computer Science, Lakehead University（湖头大学计算机科学系）
本文通过引入异质时间步提升平衡传播的稳定性，同时保持任务性能，增强其生物真实性和鲁棒性。
2026-03-03 cs.AI cs.LG
Fixed-Weight Difference Target Propagation
Tokyo Institute of Technology（东京工业大学）；Denso IT Laboratory（电装信息技术研究所）
目标传播（TP）是一种比误差反向传播（BP）更合理的生物学算法来训练深度网络，提高TP的实用性是一个悬而未决的问题。TP方法要求前馈和反馈网络形成逐层自动编码器，用于传播在输出层生成的目标值。然而，这导致某些缺点;例如，需要仔细的超参数调整来同步前馈和反馈训练，并且反馈路径的频繁更新通常比前馈路径的更新更需要。前馈和反馈网络的学习足以使TP方法能够进行训练，但是具有这些逐层自编码器是TP工作的必要条件吗？我们通过提出固定权重差异目标传播（FW-DTP）来回答这个问题，该方法在训练过程中保持反馈权重不变。我们证实，这种简单的方法，自然地解决了上述问题的TP，仍然可以提供信息的目标值隐藏层为给定的任务;事实上，FW-DTP始终实现更高的测试性能比基线，差异目标传播（DTP），在四个分类数据集。我们还提出了一种新的传播架构，解释了DTP的反馈函数的确切形式来分析FW-DTP。
2022-12-19 cs.LG cs.NE
Deep Information Propagation
Google Brain（谷歌大脑）；Stanford University（斯坦福大学）
我们研究了未经训练的神经网络的行为，其权重和偏差是随机分布的平均场理论。我们表明存在的深度尺度，自然限制通过这些随机网络的信号传播的最大深度。我们的主要实践结果表明，随机网络可以精确地训练时，信息可以通过他们。因此，我们确定的深度尺度提供了针对特定超参数选择的网络训练深度的界限。作为一个推论，我们认为，在混沌的边缘网络，这些深度尺度之一发散。因此，任意深度的网络只能在足够接近临界的情况下进行训练。我们发现，dropout的存在破坏了有序到混沌的临界点，因此强烈限制了随机网络的最大可训练深度。最后，我们开发了一个平均场理论的反向传播，我们表明，有序和混沌相对应的区域消失和爆炸梯度分别。
2017-04-04 cs.LG stat.ML
BinaryConnect: Training Deep Neural Networks with binary weights during propagations
École Polytechnique de Montréal（蒙特利尔综合理工学院）；Université de Montréal（蒙特利尔大学）
深度神经网络（DNN）在广泛的任务中取得了最先进的结果，在大型训练集和大型模型中获得了最佳结果。在过去，GPU实现了这些突破，因为它们具有更高的计算速度。在未来，在训练和测试时更快的计算可能对进一步的进展和低功耗设备上的消费者应用至关重要。因此，人们对深度学习（DL）专用硬件的研究和开发非常感兴趣。二进制权重，即，由于乘法器是神经网络的数字实现中最需要空间和功率的组件，因此通过用简单的累加来代替许多乘法-累加操作，仅被约束为两个可能值（例如，-1或1）的权重将给专用DL硬件带来很大的好处。我们引入了BinaryConnect，这是一种在前向和后向传播过程中使用二进制权重训练DNN的方法，同时保留了累积梯度的存储权重的精度。像其他dropout方案一样，我们证明了BinaryConnect作为正则化器，并且我们使用BinaryConnect在置换不变的MNIST，CIFAR-10和SVHN上获得了接近最先进的结果。
2016-04-18 cs.CV cs.LG cs.NE
On the Effectiveness of Interval Bound Propagation for Training Verifiably Robust Models
DeepMind（深度思维）
最近的工作表明，有可能训练深度神经网络，这些网络对范数有界的对抗性扰动具有可证明的鲁棒性。这些方法中的大多数都是基于最小化所有可能的对抗性扰动的最坏情况损失的上限。虽然这些技术显示出前景，但它们通常会导致难以扩展到更大网络的困难优化过程。通过一个全面的分析，我们展示了如何一个简单的绑定技术，区间绑定传播（IBP），可以利用训练大型证明强大的神经网络，击败国家的最先进的验证精度。虽然IBP计算的上界对于一般网络来说可能很弱，但我们证明了适当的损失和巧妙的超参数计划允许网络适应，使得IBP界很紧。这导致了一种快速稳定的学习算法，其性能优于更复杂的方法，并在MNIST、CIFAR-10和SVHN上实现了最先进的结果。它还允许我们在缩小版本的ImageNet上训练要验证的最大模型。
2019-08-29 cs.CR cs.LG stat.ML
Hybridizing Equilibrium Propagation with Ising Machines for Efficient Energy-Based Learning
School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）；Laboratory for Advanced Computing and Intelligence Engineering, Information Engineering University（信息工程大学先进计算与智能工程实验室）；School of Physical Science and Technology, Beijing University of Posts and Telecommunications（北京邮电大学物理科学与技术学院）
提出一种受伊辛动力学启发的平衡传播框架，通过扩展相空间动力学替代耗散Hopfield松弛，加速收敛、提高噪声鲁棒性，并在MNIST等数据集上实现与反向传播相当的性能。
2026-06-08 cs.AI cs.LG
