首页/论文/0907.0592

arXiv 0907.05922009-07-03cs.NEcs.AI

自适应进化算法中的信用分配

Credit Assignment in Adaptive Evolutionary Algorithms

James M. Whitacre, Tuan Q. Pham, Ruhul A. Sarker

发表信息：: Genetic And Evolutionary Computation Conference, 2006
DOI：: 10.1145/1143997.1144206

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

本文提出了一种新的分配信用的搜索算子的方法。从优化搜索偏差的原则开始，搜索算子的选择是基于创建与未来世代历史相关的解决方案的能力。使用一种新的框架，用于定义性能测量，分配信用的性能，和统计解释的信用，一种新的自适应方法的开发和表现出优于各种自适应和非自适应的竞争对手。

英文摘要：

In this paper, a new method for assigning credit to search operators is presented. Starting with the principle of optimizing search bias, search operators are selected based on an ability to create solutions that are historically linked to future generations. Using a novel framework for defining performance measurements, distributing credit for performance, and the statistical interpretation of this credit, a new adaptive method is developed and shown to outperform a variety of adaptive and non-adaptive competitors.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

Kickback削减了Backprop的繁文缛节：神经网络中生物学上合理的信用分配

Kickback cuts Backprop's red-tape: Biologically plausible credit assignment in neural networks

Victoria University of Wellington（惠灵顿维多利亚大学）；ETH Zurich（苏黎世联邦理工学院）

误差反向传播算法是人工神经网络中一种非常有效的信用分配算法。然而，Backprop下的权重更新依赖于冗长的递归计算，需要单独的输出和错误消息-生物神经元不共享的功能，可能是不必要的。在本文中，我们重新Backprop和信用分配问题。我们首先分解Backprop到一个相互作用的学习算法的集合，提供这些子算法的性能上的遗憾界限，并分解Backprop的错误信号。利用这些结果，我们推导出一个新的信用分配算法的非参数回归，Kickback，这是显着比Backprop简单。最后，我们提供了一个充分的条件Kickback遵循误差梯度，并显示Kickback匹配Backprop的性能在现实世界的回归基准。

2014-11-23cs.LGcs.NEq-bio.NC

AdvantageNAS：一种基于信用分配的高效神经结构搜索算法

AdvantageNAS: Efficient Neural Architecture Search with Credit Assignment

University of Tsukuba（筑波大学）；RIKEN AIP（理化学研究所革新智能统合研究中心）

神经结构搜索（NAS）是一种无需人工或专家知识就能自动设计神经网络结构的方法。然而，NAS的高计算成本限制了其在商业应用中的使用。最近的两种NAS范例，即一次和稀疏传播，这两种范例分别降低了时间和空间复杂度，为解决这个问题提供了线索。本文提出了一种新的搜索策略，用于单次稀疏传播的NAS，即搜索策略NAS，通过减少搜索迭代次数，进一步降低了NAS的时间复杂度。该方法通过在体系结构更新的梯度估计中引入信用分配来提高搜索效率。在NAS-Bench-201和PTB数据集上的实验表明，与现有的稀疏传播NAS相比，在有限的时间预算下，ApriageNAS发现了一种具有更高性能的架构。为了进一步揭示的可靠性，我们研究了它的理论和发现，它单调地提高了期望损失，从而收敛。

2021-03-10cs.AIcs.LGcs.NE

一类耦合Markov链信用风险模型的演化估计

Evolutionary estimation of a Coupled Markov Chain credit risk model

存在一系列不同的模型，用于估计和模拟信用风险转移，以优化管理信用风险组合和产品。在本章中，我们提出了一个耦合马尔可夫链的方法来模拟评级转换，从而违约概率的公司。由于模型的似然性是待估计参数的非凸函数，因此我们应用概率论来寻找ML估计量。为此，我们概述了模型及其似然函数，并提出了粒子群优化算法，以及进化优化算法，以最大限度地提高似然函数。数值结果表明，进一步应用进化优化技术的信用风险管理。

2009-11-19cs.CEcs.NE

强反馈信用分配的极小化控制

Minimizing Control for Credit Assignment with Strong Feedback

Institute of Neuroinformatics（神经信息学研究所）；University of Zürich（苏黎世大学）；ETH Zürich（苏黎世联邦理工学院）

深度学习的成功激发了人们对大脑是否使用基于梯度的学习来学习分层表示的兴趣。然而，目前在深度神经网络中基于梯度的信用分配的生物学上合理的方法需要无限小的反馈信号，这在生物学上现实的噪声环境中是有问题的，并且与神经科学中显示自上而下的反馈可以显著影响神经活动的实验证据不一致。深度反馈控制（DFC），最近提出的信用分配方法的基础上，我们结合强反馈对神经活动的影响与基于梯度的学习，这自然会导致一个新的观点神经网络优化。权重更新不是逐渐地将网络权重改变为具有低输出损失的配置，而是逐渐地最小化控制器所需的反馈量，该控制器将网络驱动到受监督的输出标签。此外，我们表明，在DFC中使用强反馈允许同时学习正向和反馈连接，使用学习规则完全本地的空间和时间。我们补充我们的理论结果与标准的计算机视觉基准的实验，显示竞争力的性能，反向传播以及对噪声的鲁棒性。总的来说，我们的工作提出了一个从根本上新颖的观点，学习控制最小化，同时回避生物学上不切实际的假设。

2022-06-22cs.LGcs.NE

基于广播全局误差向量的信用分配

Credit Assignment Through Broadcasting a Global Error Vector

反向传播（BP）使用详细的、特定于单元的反馈来训练深度神经网络（DNN），并取得了显著的成功。生物神经回路似乎执行信用分配，但不能实现BP，这意味着存在其他强大的学习算法。在这里，我们探索了全局广播学习信号与局部权重更新相结合，使DNN训练成为可能的程度。我们提出了一个学习规则，称为全局错误向量广播（GEVB），和一类DNN，称为矢量化非负网络（VNN），在这种学习规则的操作。VNN具有超过第一层的向量值单元和非负权重。GEVB学习规则概括了三因素赫布学习，当突触后单元活跃时，更新每个权重的量与突触前激活和全局广播误差向量的内积成比例。我们证明了这些权重更新在符号上与梯度匹配，从而实现准确的信用分配。此外，在初始化时，这些更新与无限网络宽度极限下的梯度成正比。GEVB在VNN中与BP的性能相匹配，并且在某些情况下优于传统网络中应用的直接反馈对齐（DFA）。与DFA不同，GEVB成功地训练了卷积层。总而言之，我们的理论和实证结果表明，全局学习信号在训练DNN中具有惊人的强大作用。

2021-10-28cs.NEq-bio.NC

Deep Innovation Protection：在训练异构神经结构中面对信用分配问题

Deep Innovation Protection: Confronting the Credit Assignment Problem in Training Heterogeneous Neural Architectures

IT University of Copenhagen（哥本哈根信息技术大学）；Uber AI（优步人工智能实验室）

深度强化学习方法已经在各种不同的领域显示出令人印象深刻的结果，然而，更复杂的异构架构，如世界模型，需要单独训练不同的神经组件，而不是端到端。虽然一种简单的遗传算法最近表明端到端训练是可能的，但它未能解决更复杂的3D任务。本文提出了一种称为深度创新保护（DIP）的方法，该方法解决了在此类环境中端到端训练复杂异构神经网络模型时的信用分配问题。该方法背后的主要思想是采用多目标优化来暂时减少多组件网络中特定组件的选择压力，允许其他组件进行适应。我们研究了这些进化网络的紧急表示，这些网络学习预测对代理生存重要的属性，而不需要特定的前向预测损失。

2021-02-23cs.LGcs.NEstat.ML

更多相关论文收起更多论文

稀疏注意回溯：递归网络中的远程信用分配

Sparse Attentive Backtracking: Long-Range Credit Assignment in Recurrent Networks

MILA, Université de Montréal（蒙特利尔大学 MILA）；Polytechnique Montréal（蒙特利尔理工学院）；HEC Montréal（蒙特利尔高等商学院）

时间反向传播（BPTT）的一个主要缺点是学习长期依赖性的困难，这是因为必须通过向前计算的每单步的向后传播信用信息。这使得BPTT在计算上不切实际，在生物学上也不可信。由于这个原因，通过时间的完全反向传播很少用于长序列，通过时间的截断反向传播被用作启发式。然而，这通常会导致对梯度的有偏估计，其中忽略了长期依赖性。为了解决这个问题，我们提出了一种替代算法，稀疏注意回溯，这也可能与大脑学习长期依赖关系的原则有关。稀疏注意回溯在过去的隐藏状态上学习注意力机制，并选择性地通过具有高注意力权重的路径反向传播。这允许模型学习长期依赖关系，同时仅回溯少量时间步，不仅从最近的过去，而且从相关的过去状态。

2017-11-07cs.AIcs.LGcs.NE

基于数学独立性的强化学习模块化信用分配

Modularity in Reinforcement Learning via Algorithmic Independence in Credit Assignment

University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）

许多迁移问题需要重新使用以前的最优决策来解决新任务，这表明需要学习算法，可以修改选择某些动作的机制，而不依赖于选择其他动作的机制。然而，目前还没有形式主义或理论如何实现这种模块化的信用分配。为了回答这个问题，我们定义了模块化信用分配作为一个约束，最小化算法之间的互信息反馈信号的不同决定。我们介绍了我们所谓的模块化标准测试是否学习算法满足这一约束的算法本身进行因果分析。我们推广最近提出的社会决策框架作为一个更细粒度的形式主义比马尔可夫决策过程证明，决策序列不包含周期，某些单步时间差动作值的方法满足这一标准，而所有的政策梯度方法不。经验证据表明，这样的行动价值的方法是更有效的样本比政策梯度的方法转移问题，只需要稀疏的变化，以前的最佳决策序列。

2021-07-21cs.AIcs.ITcs.LG

前向-反向脱节：神经计算中的状态动力学、信用分配与生物学基础

The Forward-Backward Disconnect: State Dynamics, Credit Assignment, and Biological Grounding in Neural Computation

Department of Electrical and Computer Engineering, Maroun Semaan Faculty of Engineering and Architecture, American University of Beirut（贝鲁特美国大学Maroun Semaan工程与建筑学院电气与计算机工程系）

本文指出神经计算中前向计算已多样化但训练方法仍集中于梯度类误差传播机制的前向-反向脱节问题，提出涵盖状态动力学等三要素的分类法，强调需对齐三者以弥合该脱节。

2026-08-21cs.NE

脑启发的机器智能：神经生物学上可信的信用分配综述

Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment

Rochester Institute of Technology（罗切斯特理工学院）

本文综述了受神经生物学启发的信用分配算法，提出统一分类法，将其归为六个家族，并对比误差反向传播，旨在促进神经模拟系统发展及跨学科融合。

2023-12-23cs.LGcs.NEq-bio.NC

信用分配的可微定时抽样

Differentiable Scheduled Sampling for Credit Assignment

Carnegie Mellon University（卡内基梅隆大学）；DeepMind

我们证明，连续放松的argmax操作可以用来创建一个可微近似序列到序列（seq 2seq）模型的贪心解码。通过将这种近似结合到预定的采样训练过程中（Bengio等人，2015）--一种用于校正曝光偏差的众所周知的技术--我们引入了一个新的训练目标，该目标在任何地方都是连续的和可微的，并且可以在先前的解码决策改变其值的点附近提供信息梯度。此外，通过使用相关的近似，我们展示了一种类似的基于样本的训练方法。最后，我们表明，我们的方法优于交叉熵训练和预定的采样过程中的两个序列预测任务：命名实体识别和机器翻译。

2017-04-23cs.CLcs.LGcs.NE

理解临时信用证转让的包容性视角

Ensemble perspective for understanding temporal credit assignment

Sun Yat-sen University（中山大学）

递归神经网络广泛用于自然语言处理和神经种群动力学中的时空序列建模。然而，理解临时信用分配是困难的。在这里，我们建议在经常性计算中的每个单独的连接是由尖峰和板分布，而不是一个精确的权重值。然后，我们推导出平均场算法训练网络在合奏水平。然后，该方法被应用到分类手写数字时，按顺序读取像素，和多感官整合任务，这是一个基本的认知功能的动物。我们的模型揭示了决定网络整体性能的重要连接。该模型还显示了时空信息是如何通过分布的超参数进行处理的，并揭示了不同类型的涌现神经选择性。为了提供集成学习的机制分析，我们首先推导出在无限大网络极限下的学习的解析解。然后，我们进行了低维投影的神经和突触动力学，分析对称性破缺的参数空间，并最终证明了随机可塑性的作用，在经常性的计算。因此，我们的研究揭示了权重不确定性如何影响递归神经网络的时间信用分配的机制，从集成的角度来看。

2022-03-07cond-mat.dis-nncs.LGcs.NE

学习解决学分分配问题

Learning to solve the credit assignment problem

反向传播是当今人工神经网络（ANN）的驱动力。然而，尽管进行了广泛的研究，但仍不清楚大脑是否实现了这种算法。在神经科学家中，强化学习（RL）算法通常被视为一种现实的替代方案：神经元可以随机引入变化，并使用非特定的反馈信号来观察它们对成本的影响，从而近似它们的梯度。然而，这种学习的收敛速度与所涉及的神经元的数量关系不大。在这里，我们提出了一种混合学习方法。每个神经元使用RL型策略来学习如何近似反向传播提供的梯度。我们提供的证据表明，我们的方法收敛到某些类别的网络的真实梯度。在前馈和卷积网络中，我们的经验表明，我们的方法可以学习近似梯度，并且可以匹配精确的基于梯度的学习。学习反馈权重提供了一种生物学上合理的实现良好性能的机制，而不需要精确的，预先指定的学习规则。

2020-04-22cs.NEq-bio.NC

基于前馈网络动态逆的生物信用分配

Biological credit assignment through dynamic inversion of feedforward networks

Champalimaud Research（尚帕利莫研究中心）；Champalimaud Centre for the Unknown（尚帕利莫未知中心）

学习依赖于大脑深处突触连接的变化。在多层网络中，这些变化由输出反馈的误差信号触发，通常通过前馈处理步骤的逐步反转。这个过程的黄金标准--反向传播--在人工神经网络中工作得很好，但在生物学上是不可信的。最近出现了一些解决这个问题的建议，但这些生物学上合理的方案中有许多是基于学习一组独立的反馈连接。这使得每个突触的错误分配变得复杂，因为它依赖于第二个学习问题，并且通过拟合反演而不是保证它们。在这里，我们证明了前馈网络变换可以通过动态有效地反转。我们从反馈控制的角度推导出这种动态逆，其中前向变换被重复使用，并与固定或随机反馈动态交互，以在后向传递过程中传播误差信号。重要的是，该方案不依赖于反馈的第二个学习问题，因为通过网络动态保证了准确的反演。我们将这些动态映射到通用前馈网络上，并表明所得到的算法在几个监督和非监督数据集上表现良好。最后，我们讨论了动态反演和二阶优化之间的潜在联系。总的来说，我们的工作介绍了另一种观点在大脑中的信用分配，并提出了一个特殊的作用，在学习过程中的时间动态和反馈控制。

2021-01-04cs.LGcs.NEq-bio.NC

SFedCA：面向脉冲联邦学习的基于信用分配的主动客户端选择策略

SFedCA: Credit Assignment-Based Active Client Selection Strategy for Spiking Federated Learning

University of Electronic Science and Technology of China（电子科技大学）；Southwestern University of Finance and Economics（西南财经大学）；Zhejiang University（浙江大学）

针对脉冲联邦学习中随机客户端选择忽视统计异质性影响模型收敛与准确率的问题，提出基于信用分配的主动客户端选择策略SFedCA，通过训练前后脉冲发放强度分配信用以平衡分布，在non-IID场景下性能更优且通信轮次更少。

2024-06-18cs.DCcs.ETcs.LG

基于进化算法的信用评分去偏

Debiasing Credit Scoring using Evolutionary Algorithms

University College London（伦敦大学学院）；Holistic AI

本文研究了机器学习在真实公开数据上训练信贷决策模型时的应用，同时考虑“偏差目标”。我们使用术语“偏见目标”来描述这样一种要求，即经过训练的模型对给定的个体群体表现出不超过规定水平的歧视性偏见，其中该水平可以为零。本研究提出了一个实证研究，探讨在所有情况下，包括一个或多个偏见目标的竞争模型的培训目标之间的紧张关系。这项工作的动机是观察到，与信誉模型相关的各方的要求，肯定不能完全同时满足。本文的研究旨在强调满足所有各方的目标是不切实际的，表明需要作出“权衡”。本文提出的结果和结论对于信用评分行业内的所有利益相关者都具有特别重要的意义，这些利益相关者在确定个人信用时依赖人工智能（AI）模型作为决策过程的一部分。本文阐述了训练AI模型的困难，这些模型能够同时满足多个偏差目标，同时保持可接受的准确度。利益攸关方应意识到这一困难，并应承认，在一些受保护的特征和偏见表述中，某种程度的歧视性偏见是不可避免的。

2021-10-25cs.CYcs.LGcs.NE