Comparative study of variational quantum circuit and quantum backpropagation multilayer perceptron for COVID-19 outbreak predictions
Delhi Technological University(德里理工大学);CHRIST (Deemed to be University)(克里斯大学(被视为大学))
有许多量子神经网络模型已被应用于各种问题,如图像分类,模式识别等。量子启发算法已经有相当一段时间了。最近,在NISQ时代,混合量子经典模型已经显示出有希望的结果。多特征回归是经典机器学习中常见的问题。因此,我们提出了一个连续变量量子神经网络(变分电路)和量子反向传播多层感知器(QBMLP)的比较分析。我们选择了预测印度和美国COVID-19病例增加的当代问题。我们提供了两个模型之间的统计比较,这两个模型的性能优于经典的人工神经网络。
2020-08-19 cs.LG quant-ph
End-to-end Learning of LDA by Mirror-Descent Back Propagation over a Deep Architecture
Microsoft Research(微软研究院);University of Washington(华盛顿大学)
我们使用反向传播(即,BP-sLDA),其最大化给定输入文档的预测变量的后验概率。与传统的变分学习或吉布斯采样方法不同,所提出的学习方法应用(i)镜像下降算法进行最大后验推理,以及(ii)在深度架构上的反向传播以及随机梯度/镜像下降进行模型参数估计,从而实现模型的可扩展和端到端的判别学习。作为副产品,我们还应用该技术为传统的无监督LDA模型开发了一种新的学习方法(即,BP-LDA)。三个真实世界的回归和分类任务的实验结果表明,所提出的方法显着优于以前的监督主题模型,神经网络,并与深度神经网络。
2015-11-01 cs.LG
Learning Physics-Informed Neural Networks without Stacked Back-propagation
Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
物理信息神经网络(PINN)已成为求解偏微分方程(PDE)的常用机器学习方法。但是,面对高维二阶PDE问题,PINN将遭受严重的可扩展性问题,因为它的损失包括二阶导数,其计算成本将随着堆叠反向传播过程中的维度而增长。在这项工作中,我们开发了一种新的方法,可以显着加快物理信息神经网络的训练。特别是,我们参数化的PDE解决方案的高斯平滑模型,并表明,来自斯泰因的身份,二阶导数可以有效地计算,而无需反向传播。我们进一步讨论了模型容量,并提供方差减少方法来解决导数估计中的关键限制。实验结果表明,与标准PINN训练相比,我们提出的方法可以实现有竞争力的错误,但速度明显更快。我们的代码发布在https://github.com/LithiumDA/PINN-without-Stacked-BP。
2023-02-24 cs.LG
Speeding-Up Back-Propagation in DNN: Approximate Outer Product with Memory
NYCU(阳明交通大学);Bilkent University(比尔肯特大学)
本文提出了一种用于DNN训练中的反向传播近似评估算法,我们称之为带记忆的近似外积梯度下降(Mem-AOP-GD)。Mem-AOP-GD算法通过仅考虑包含反向传播的矩阵乘法中涉及的外积的子集来实现随机梯度下降的近似。为了校正该近似中的固有偏差,该算法在存储器中保留在近似中未使用的外积的累积。我们在两个设计参数下研究了所提出的算法在DNN训练损失方面的性能:(i)用于近似的外部产品的数量,以及(ii)用于选择这些外部产品的策略。我们的实验表明,显着改善计算复杂性以及准确性,确实可以通过Mem-AOPGD。
2021-10-18 cs.LG
Reverse Back Propagation to Make Full Use of Derivative
Nanjing University(南京大学)
反向传播算法的发展代表了神经网络的一个里程碑。我们提供了一种再次进行反向传播的方法,以逆转传统的反向传播过程,优化神经网络输入端的输入损失,以获得更好的效果,并且在推理期间无需额外成本。在此基础上,进一步分析了该方法的原理和优缺点,重新制定了该方法的权值初始化策略。在MNIST、CIFAR10和CIFAR100上的实验表明,我们的方法可以适应更大范围的学习率,并且比普通的反向传播学习得更好。
2022-02-13 cs.LG cs.NE
Back in Black: A Comparative Evaluation of Recent State-Of-The-Art Black-Box Attacks
University of Connecticut(康涅狄格大学);CWI(荷兰数学与计算机科学研究学会)
自2018年以来,对抗性机器学习领域的论文数量几乎呈指数级增长。这一庞大的信息输出尚未得到适当的处理和分类。在本文中,我们试图通过系统化自2019年以来对抗性机器学习黑箱攻击的最新进展来帮助缓解这一问题。我们的调查总结并分类了20个最近的黑盒攻击。我们还提出了一个新的分析,以了解每篇论文中使用的对抗模型的攻击成功率。总体而言,我们的论文调查了大量的文献,突出最近的攻击发展,并将其分为四个攻击类别:基于分数的攻击,基于决策的攻击,转移攻击和非传统攻击。此外,我们提供了一个新的数学框架,以显示如何攻击结果可以公平地比较。
2021-09-29 cs.CR cs.LG
Belief propagation generalizes backpropagation
人工智能中最重要的两种算法是反向传播和置信度传播。尽管它们很重要,但它们之间的联系却没有得到很好的描述。我们发现,当输入到反向传播转换成一个输入到信念传播,使(循环)信念传播可以运行它,然后信念传播的结果编码的结果反向传播,从而反向传播恢复作为一个特殊的情况下,信念传播。换句话说,我们显然是第一次证明,信念传播推广反向传播。我们的分析是一种理论贡献,我们希望它可以调和我们对这些算法的理解,并为工程研究人员提供指导,以改善使用其中一种算法的系统的行为。
2022-10-02 cs.AI cs.LG stat.ML
Train Feedfoward Neural Network with Layer-wise Adaptive Rate via Approximating Back-matching Propagation
Micorosoft Research Asia(微软亚洲研究院)
随机梯度下降(SGD)在训练深度神经网络方面取得了巨大成功,其中梯度是通过反向传播计算的。然而,不同层的反向传播值差异很大。这种跨不同层的梯度幅度的不一致性使得具有单一学习率的深度神经网络的优化成问题。我们引入了反向匹配传播,它通过匹配层输出上的反向值来计算层参数和输入上的反向值。这导致解决一堆最小二乘问题,这需要很高的计算成本。然后,我们减少了近似的后匹配传播,并提出了一种算法,变成了定期SGD与逐层自适应学习率策略。这使得我们的算法在当前的机器学习框架配备了自动微分容易实现。我们将我们的算法应用于训练现代深度神经网络,并取得了优于SGD的结果。
2018-02-27 cs.LG stat.ML
Difference Target Propagation
Université de Montréal(蒙特利尔大学)
反向传播一直是深度学习最近成功的主力,但它依赖于无穷小效应(偏导数)来执行信用分配。这可能成为一个严重的问题,因为人们考虑更深入和更非线性的功能,例如,考虑非线性的极端情况,其中参数和成本之间的关系实际上是离散的。受到反向传播的生物学不可信性的启发,过去已经提出了一些可以发挥类似信用分配作用的方法。本着这种精神,我们探索了一种在深度网络中进行信用分配的新方法,我们称之为目标传播。主要思想是在每一层计算目标而不是梯度。像梯度一样,它们向后传播。以与先前提出的依赖于具有对称权重的后向网络的反向传播代理相关但不同的方式,目标传播依赖于每层的自动编码器。与反向传播不同,即使单元交换随机比特而不是实数,它也可以应用。我们表明,对自动编码器的线性校正(称为差分目标传播)对于使目标传播实际工作非常有效,从而导致与具有离散和连续单元的深度网络和去噪自动编码器的反向传播相当的结果,并实现随机网络的最新技术水平。
2015-11-25 cs.LG cs.NE
Adaptive Precision Training: Quantify Back Propagation in Neural Networks with Fixed-point Numbers
自适应精度训练:用固定点数量化神经网络中的反向传播。最近出现的量化技术已被应用于深度神经网络的推理,以实现快速有效的执行。然而,在训练中直接应用量化可能会导致显著的准确性损失,因此仍然是一个开放的挑战。
2020-03-05 cs.CV cs.LG
Alternating Back-Propagation for Generator Network
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种用于发电机网络模型学习的交替反向传播算法。该模型是因子分析的非线性推广。在这个模型中,从连续的潜在因素到观察到的信号的映射由卷积神经网络参数化。交替反向传播算法迭代以下两个步骤:(1)推理反向传播,其通过朗之万动力学或梯度下降来推断潜在因子。(2)学习反向传播,它通过梯度下降来更新给定推断的潜在因素的参数。这两个步骤中的梯度计算都是由反向传播提供动力的,并且它们共享大部分共同的代码。我们表明,交替反向传播算法可以学习现实的自然图像,视频序列和声音的生成器模型。此外,它还可以用于从不完整或间接的训练数据中学习。
2016-12-06 cs.CV cs.LG cs.NE
Bilevel Programs Meet Deep Learning: A Unifying View on Inference Learning Methods
Chalmers University of Technology(查尔姆斯理工大学)
在这项工作中,我们统一了一些推理学习方法,在文献中提出的替代训练算法的基础上定期误差反向传播。这些推理学习方法的开发具有非常不同的动机,主要旨在增强深度神经网络的生物相容性,并提高训练方法的内在并行性。我们表明,这些表面上非常不同的方法都可以通过连续应用一个特定的重新制定的双层优化程序。作为一个副产品,它也变得明显,所有考虑的推理学习方法包括反向传播作为一个特殊情况,因此至少近似误差反向传播在典型的设置。最后,我们提出了Fenchel反向传播,它取代了在标准反向传播中进行的无限小校正的传播与有限的目标作为学习信号。因此,Fenchel反向传播可以被视为通过显式目标传播进行学习的实例。
2021-09-12 cs.LG math.OC
Improving Back-Propagation by Adding an Adversarial Gradient
反向传播算法广泛用于人工神经网络的学习。机器学习中的一个挑战是创建模型,这些模型可以推广到训练数据中看不到的新数据样本。最近,几种机器学习算法中的一个共同缺陷被发现:添加到输入数据中的小扰动导致数据样本的一致错误分类。容易误导模型的样本被称为对抗性样本。在对抗性示例上训练“maxout”网络可以减少这种脆弱性,但也可以提高分类性能。本文表明,对抗性训练在具有逻辑、双曲正切和整流线性单元的网络中也具有正则化效应。提出了对反向传播方法的一个简单扩展,即在训练中添加对抗梯度。该扩展需要额外的向前和向后传递来计算修改后的输入样本或小批量,用作标准反向传播学习的输入。MNIST上的第一个实验结果表明,“对抗性反向传播”方法增加了对抗性样本的抵抗力,提高了分类性能。扩展减少了分类错误的排列不变MNIST从1.60%到0.95%的逻辑网络,从1.40%到0.78%的网络与整流线性单元。在CIFAR-10上的结果表明,该方法具有类似于全连接网络中dropout的正则化效果。基于这些有希望的结果,对抗性反向传播被提出作为一种独立的正则化方法,应该进一步研究。
2016-04-06 cs.LG stat.ML
Learned Digital Back-Propagation for Dual-Polarization Dispersion Managed Systems
Infinera, Unipessoal Lda(Infinera单人有限公司);Infinera(Infinera公司)
针对WDM双偏振色散管理系统中的非线性抑制问题,提出了数字反向传播(DBP)和学习反向传播(LDBP)方法。LDBP实现了1.8 dB和1.2 dB的Q因子的改善,分别超过线性均衡和适应DM系统的DBP的变体。
2022-05-23 cs.AI cs.LG eess.SP
A Novel Method for improving accuracy in neural network by reinstating traditional back propagation technique
Sri Manakula Vinayagar Engineering College(斯里马纳库拉维纳亚加尔工程学院)
针对反向传播计算开销大且存在梯度消失的问题,本文提出无需逐层计算梯度的即时参数更新方法,可加速训练并在基准数据集上超过现有方法。
2023-08-09 cs.CV cs.LG
Minimal Effort Back Propagation for Convolutional Neural Networks
School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院);MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室)
由于传统的神经网络在反向传播过程中消耗大量的计算资源,\citet{Sun2017mePropSB}提出了一种简单而有效的技术来缓解这个问题。在该技术中,仅计算全梯度的一小部分来更新模型参数。在本文中,我们将这种技术扩展到卷积神经网络(CNN)中,以减少反向传播的计算量,并在CNN中得到了令人惊讶的结果:只有5%的梯度被传递回来,但该模型仍然达到了与传统CNN相同的效果,甚至更好。我们还表明,梯度的顶部$k$选择导致反向传播中的稀疏计算,这可能会为CNN中卷积运算的高计算复杂性带来显着的计算益处。
2017-09-18 cs.LG cs.NE stat.ML
Truncated Back-propagation for Bilevel Optimization
Georgia Institute of Technology(佐治亚理工学院)
二层优化最近被重新审视,用于设计和分析超参数调整和元学习任务中的算法。然而,由于其嵌套结构,计算高维问题的精确梯度在计算上具有挑战性。一个启发式规避这个困难是使用近似梯度通过执行截断反向传播通过迭代优化过程,解决了较低级别的问题。虽然有前途的经验性能已被报道,其理论性质仍不清楚。在本文中,我们分析了这一族近似梯度的性质,并建立了收敛的充分条件。我们验证了几个超参数调整和元学习任务。我们发现,使用几步反向传播计算的近似梯度的优化通常执行精确梯度的优化,同时需要更少的内存和一半的计算时间。
2019-04-05 cs.LG stat.ML
Backprop Evolution
TU Berlin(柏林工业大学);Google Brain(谷歌大脑)
反向传播算法是深度学习的基石。尽管它的重要性,一些变化的算法已被尝试。这项工作提出了一种方法来发现新的变化的反向传播方程。我们使用一个特定领域的语言来描述更新方程作为一个原始函数的列表。一种基于进化的方法被用来发现新的传播规则,最大限度地提高泛化性能后,几个时代的训练。我们发现几个更新方程,可以训练更快,训练时间短,比标准的反向传播,并执行类似的标准反向传播收敛。
2018-08-08 cs.LG cs.NE stat.ML
Back to the Future: Predicting Traffic Shockwave Formation and Propagation Using a Convolutional Encoder-Decoder Network
Texas A&M University(德州农工大学)
这项研究提出了一种深度学习方法来预测交通冲击波的传播。深度神经网络的输入是研究段的时空图,网络的输出是以时空图的形式预测的冲击波在研究段上的(未来)传播。所提出的方法的主要特点是能够提取嵌入在时间-空间图中的特征来预测交通冲击波的传播。
2019-05-04 cs.CV cs.LG eess.SP
Experimental Demonstration of Learned Time-Domain Digital Back-Propagation
Huawei Base G6(华为基地G6)
我们提出了第一个实验演示的学习时域数字反向传播(DBP),在64-GBd双极化64-QAM信号传输超过1014公里。性能增益与传统的,更高的复杂性,频域DBP获得的。
2019-12-23 cs.IT cs.LG eess.SP
The HSIC Bottleneck: Deep Learning without Back-Propagation
Victoria University(维多利亚大学)
我们引入了训练深度神经网络的HSIC(Hilbert-Schmidt独立准则)瓶颈。HSIC瓶颈是传统交叉熵损失和反向传播的替代方案,具有许多明显的优点。它减轻了爆炸和消失的梯度,从而能够在不跳过连接的情况下学习非常深的网络。不需要对称反馈或更新锁定。我们发现,HSIC瓶颈提供性能的MNIST/FashionMNIST/CIFAR 10分类与反向传播的交叉熵目标,即使系统不鼓励使输出类似的分类标签。使用SGD(没有反向传播)训练的单层来重新格式化信息,进一步提高了性能。
2019-12-05 cs.LG stat.ML
Reproducibility review of "Why Not Other Classes": Towards Class-Contrastive Back-Propagation Explanations
KTH Royal Institute of Technology(KTH皇家理工学院)
复现Wang & Wang 2022的类对比反向传播解释方法,验证其泛化性并指出原论文细节不足与方程错误,提供开源代码。
2025-01-19 cs.CV cs.LG
Mutual Information Preserving Back-propagation: Learn to Invert for Faithful Attribution
Sun Yat-Sen University(中山大学);Texas A&M University(德克萨斯A&M大学)
已经提出了基于反向传播的可视化来解释深度神经网络(DNN),其中一些产生具有良好视觉质量的解释。然而,这些直观的可视化是否与网络决策有关存在疑问。最近的研究证实了这一怀疑,通过验证几乎所有这些修改后的反向传播可视化都不忠实于模型的决策过程。此外,这些可视化产生模糊的“相对重要性分数”,其中低值不能保证独立于最终的预测。因此,开发一种新的反向传播框架,保证理论的忠实性,并产生一个清晰的理解定量归因得分是非常必要的。为了实现这一目标,我们借助互信息理论来生成解释,研究每个输入神经元中编码了多少输出信息。基本思想是通过反向传播来学习源信号,使得输入和输出之间的互信息应当尽可能多地保留在输入和源信号之间的互信息中。此外,我们提出了一个互信息保持逆网络,称为MIP-IN,其中每一层的参数递归训练学习如何反转。在反演过程中,采用正向Relu运算,使一般解释适应特定输入。然后,我们经验性地证明,反相源信号满足完整性和极小性属性,这是一个忠实的解释至关重要。此外,实证研究验证了MIP-IN产生的解释的有效性。
2021-04-14 cs.AI cs.LG
NoProp: Training Neural Networks without Full Back-propagation or Full Forward-propagation
Department of Statistics University of Oxford(统计系牛津大学)
本文提出 NoProp 训练方法,不依赖全局前向或反向传播,而是让每个模块独立学习对带噪目标进行局部去噪,并在多个图像分类基准上验证了其可行性与计算效率。
2025-08-17 cs.LG stat.ML
Unifying back-propagation and forward-forward algorithms through model predictive control
National University of Singapore(新加坡国立大学);Institute for Functional Intelligent Materials(功能智能材料研究院)
本文提出用模型预测控制框架统一反向传播与前向-前向算法,通过选择优化时域实现性能与效率的权衡,并给出有原则的时域选择方法。
2024-09-29 cs.LG math.OC
Semi-Implicit Back Propagation
神经网络长期以来受到人们的广泛关注,许多研究者致力于提高神经网络训练算法的有效性。虽然随机梯度下降(SGD)等显式梯度算法被广泛采用,但SGD算法仍存在梯度消失、小步长等问题,导致SGD算法收敛速度慢、不稳定。受误差反向传播(BP)和近似方法的启发,我们提出了一种半隐式的BP神经网络训练方法。类似于BP,神经元上的差异以向后的方式传播,并且参数用邻近映射更新。隐式更新隐藏的神经元和参数允许在训练算法中选择大的步长。最后,我们还证明了该算法产生的收敛序列的任何不动点都是目标损失函数的一个驻点。在MNIST和CIFAR-10上的实验表明,与SGD和类似的ProxBP算法相比,所提出的半隐式BP算法在损失减少和训练/验证精度方面都有更好的性能。
2020-02-10 cs.LG math.OC stat.ML
QF: Quick Feedforward AI Model Training without Gradient Back Propagation
OxInnovate
本文提出快速前馈(QF)学习框架,通过闭式前馈激活实现Transformer模型的知识整合与训练,无需梯度反向传播,兼具资源高效性和类脑特性。
2025-07-06 cs.AI cs.LG q-bio.NC
A Consolidated Volatility Prediction with Back Propagation Neural Network and Genetic Algorithm
本文提出结合反向传播神经网络与遗传算法的整合模型,用于预测新兴股票市场波动率,实验表明预测结果准确且误差低。
2025-08-26 cs.LG cs.NE q-fin.CP
meProp: Sparsified Back Propagation for Accelerated Deep Learning with Reduced Overfitting
School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院);MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室)
我们提出了一个简单而有效的神经网络学习技术。前向传播照常计算。在反向传播中,仅计算完整梯度的一小部分来更新模型参数。梯度向量以这样一种方式稀疏化,即仅保留顶部$k$元素(就幅度而言)。结果,仅修改权重矩阵的$k$行或列(取决于布局),导致计算成本的线性减少($k$除以向量维度)。令人惊讶的是,实验结果表明,我们只能在每个反向传播通道更新1-4%的权重。这不会导致大量的训练迭代。更有趣的是,所得到的模型的准确性实际上得到了提高,而不是降低,并给出了详细的分析。代码可在https://github.com/lancopku/meProp上获得
2019-03-11 cs.AI cs.CL cs.CV
Never look back - A modified EnKF method and its application to the training of neural networks without back propagation
The University of British Columbia(英属哥伦比亚大学);Xtract Inc.(Xtract公司);Centrum Wiskunde & Informatica (CWI)(数学与计算机科学中心);University College London(伦敦大学学院);Emory University(埃默里大学)
在这项工作中,我们提出了一个新的衍生物自由最优化方法,并探讨其用于训练神经网络。我们的方法是激励的Ensemble卡尔曼滤波器(EnKF),已成功地用于解决最优化问题,涉及大规模,高度非线性动力系统。EnKF方法的一个主要优点是它只需要评估前向传播,而不需要评估其导数。因此,在神经网络的上下文中,它简化了反向传播的需要,并大大减少了内存消耗。然而,该方法不是一个纯粹的“黑箱”全局优化启发式,因为它有效地利用了典型的学习问题的结构。最近,Kovachki和Stuart提出了EnKF用于训练深度神经网络的第一个有希望的结果。我们提出了一个重要的修改的EnKF,使我们能够证明我们的方法收敛到一个强凸函数的最小值。我们的方法也承担类似的隐式滤波,我们证明了它的潜力,最大限度地减少高度振荡的功能,使用一个简单的例子。此外,我们还提供了数值示例,展示了我们的方法在训练深度神经网络方面的潜力。
2018-05-31 cs.LG cs.NA cs.NE