Unary Coding for Neural Network Learning
Subhash Kak
本文介绍了对生物学习和瞬时训练神经网络有意义的一元编码的一些性质。
This paper presents some properties of unary coding of significance for biological learning and instantaneously trained neural networks.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Training of CC4 Neural Network with Spread Unary Coding
本文采用角点分类算法（CC4）对分散一元输入的神经网络进行训练。这是一个重要的问题，因为扩散一元似乎是生物学习中数据表示的基础。通过模式分类实验对改进的CC4算法进行了测试，取得了较好的效果。具体来说，我们表明，错误分类点的数量是不是特别敏感的选择半径的泛化。
Spread Unary Coding
一元编码是有用的，但它的标准形式是多余的。一元编码也可以被视为空间编码，其中数字的值由其在数组中的位置确定。受生物学发现的启发，附近的几个神经元表示相同的数字，我们提出了一个一元计数的空间形式的变体，其中每个数字由几个1表示。我们称之为扩展一元编码，其中使用的1的数量是代码的扩展。扩展一元编码与码字之间的汉明距离的饱和相关联。
Catwalk: Unary Top-K for Efficient Ramp-No-Leak Neuron Design for Temporal Neural Networks
本文针对 TNN 中 RNL 神经元的输入脉冲稀疏性，提出基于一元 top-k 重定位脉冲的 Catwalk 实现，降低并行计数器开销，使面积和功耗分别优化 1.39 倍和 1.86 倍。
A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks
提出一种混合神经编码与学习框架，通过引入异构编码方案、灵活分配策略和逐层学习方法，在保持准确率的同时显著降低了SNNs的推理延迟与能耗并提升了鲁棒性。
Hybrid Temporal-8-Bit Spike Coding for Spiking Neural Network Surrogate Training
本文提出了一种混合时间-位脉冲编码方法，通过整合位平面分解与时间编码原理，提升脉冲神经网络在视觉任务中的性能。
Efficient Spiking Neural Networks with Logarithmic Temporal Coding
脉冲神经网络（SNN）可以通过首先用传统的反向传播算法训练人工神经网络（ANN），然后将其转换成SNN来间接地训练。用于SNN的常规速率编码方法使用尖峰的数量来编码激活值的幅度，并且由于尖峰的数量大而可能在计算上效率低下。时间编码通常通过利用尖峰的定时来编码信息而更有效。在本文中，我们提出了对数时间编码（LTC），其中用于编码激活值的尖峰数量随激活值呈几何增长;以及伴随的指数和激发（EF）尖峰神经元模型，它只涉及有效的移位和加法运算。此外，我们改进了神经网络的训练过程，以补偿由于LTC的近似误差。实验结果表明，由此产生的SNN实现竞争力的性能，显着低于相关工作的计算成本。
Training Energy-Efficient Deep Spiking Neural Networks with Time-to-First-Spike Coding
深度神经网络（DNN）的巨大能量消耗已经成为深度学习中的一个严重问题。脉冲神经网络（SNN）是一种模拟人脑操作的高效节能神经网络。由于它们的事件驱动和时空稀疏操作，SNN显示出节能处理的可能性。为了释放它们的潜力，深度SNN采用了时间编码，例如第一个尖峰时间（TTFS）编码，它通过第一个尖峰时间来表示神经元之间的信息。使用TTFS编码，每个神经元最多生成一个尖峰，这导致能量效率的显着提高。一些研究已经成功地在深度SNN中引入了TTFS编码，但由于在训练过程中缺乏对效率的考虑，它们显示出有限的效率提高。为了解决上述问题，本文提出了具有TTFS编码的节能深度SNN的训练方法。我们引入代理DNN模型，在可行的时间内训练深度SNN，并分析时间核对训练性能和效率的影响。在此基础上，我们提出了随机松弛激活和基于初值的时间核参数正则化方法。此外，为了进一步减少尖峰的数量，我们提出了时间内核感知的批量归一化。使用所提出的方法，我们可以实现具有显著减少的尖峰的可比训练结果，这可能导致节能的深度SNN。
Stochastic Spiking Neural Networks with First-to-Spike Coding
本文首次将随机脉冲神经元与时序编码结合，提出首脉冲编码的随机SNN，并将其直接训练方法扩展到VGG架构和更大数据集，在准确率、延迟、稀疏性、能耗和鲁棒性方面验证了其优势。
Sparse and silent coding in neural circuits
稀疏编码算法是关于找到一个线性基，其中信号可以由少量的有效（非零）系数表示。这种编码在科学和工程中有许多应用，并且被认为在神经信息处理中起重要作用。然而，由于任务的计算复杂性，只有近似解提供所需的效率（在时间方面）。正如新的结果所示，在特定条件下，存在通过最小化系数的幅度（“$l_1$ -norm”）而不是最小化特征的活动子集的大小（“$l_0$ -norm”）的有效解决方案。这些解决方案的直接神经实现是不可能的，因为它们需要\emph{a priori}对活动特征数量的了解。此外，这些方法利用重建误差的迭代重新评估，这又意味着最终的稀疏形式（具有“群体稀疏性”）只能通过形成一系列非稀疏表示来达到，这与神经系统的整体稀疏功能（“寿命稀疏性”）形成对比。在这篇文章中，我们提出了一种新的算法，它集成了我们以前的“$l_0$ -范数”模型的穗为基础的概率优化稀疏编码的想法来自新的“$l_1$ -范数”的解决方案。由此产生的算法允许神经似是而非的实施，并不需要一个确切定义的稀疏水平，因此它是适合于表示自然刺激与不同数量的功能。我们还表明，组合的方法显着扩展域中的最佳解决方案，可以找到基于“$l_1$规范”的算法。
PC-SNN: Predictive Coding-based Local Hebbian Plasticity Learning in Spiking Neural Networks
PC-SNN通过整合预测编码与脉冲神经网络，实现生物合理的局部赫布学习，无需反向传播，提升SNN训练的可扩展性和生物合理性。
Latency Coding for Efficient and Low-Latency Deep Spiking Neural Networks
本文提出一种低延迟编码框架，通过BPTT算法实现深度TTFS编码SNNs的高效训练，解决传统方法中训练效率低、延迟高和性能有限的问题，实验显示其在准确率、低延迟和能效方面优于现有方法。
Gated Attention Coding for Training High-performance and Efficient Spiking Neural Networks
针对深度脉冲神经网络直接编码缺乏时间动态性的问题，提出即插即用的门控注意力编码（GAC）模块，利用多维门控注意力单元高效编码输入，在保持脉冲驱动特性的同时显著提升了准确率并降低了能耗。
A Quantitative Neural Coding Model of Sensory Memory
感觉记忆在神经元尺度上的编码机制是神经科学研究的重要课题之一。我们提出了一个定量的神经网络模型，它是自组织、自相似、自适应的，就像一个遵循达尔文理论的生态系统。根据该模型，神经编码是从对象到神经元的多对一映射。整个大脑是一个实时统计的图灵机，具有强大的表示和学习能力。该模型可以解决时间编码与基于速率编码、祖母细胞与群体编码、衰减理论与干扰理论等重要争论。它还为记忆巩固、情景记忆、意识和情感等一些关键问题提供了解释。最后指出其哲学意义。
Predictive Coding as Stimulus Avoidance in Spiking Neural Networks
预测编码可以被认为是减少输入信号和自上而下预测之间的误差的函数。如果减少错误等同于减少来自环境的刺激的影响，则预测编码可以被视为通过预测来避免刺激。我们以前的研究表明，脉冲神经网络通过脉冲时间依赖的可塑性（STDP）产生刺激回避的行为和选择。在这项研究中，我们证明了具有随机结构的脉冲神经网络会自发地学习仅基于STDP来预测刺激的时间序列。
Neural Population Coding for Effective Temporal Classification
神经编码在忠实地描述时间丰富的模式方面起着重要作用，其实例包括人类语音和环境声音。对于涉及使用脉冲神经网络（SNN）对这种时空模式进行分类的任务，这些模式如何编码直接影响任务的难度。在本文中，我们比较了几个现有的时间和人口编码方案，并评估他们的语音（TIDIGITS）和声音（RWCP）数据集。我们表明，人口神经编码，编码模式是线性可分离的支持向量机（SVM）。我们注意到，群体神经编码有效地将时间信息投影到空间域，从而提高了空间维度上的线性可分性，使用SVM分类的TIDIGITS和RWCP数据集分别达到95%和100%的准确度。这一观察结果表明，一个有效的神经编码方案大大简化了分类问题，使得一个简单的线性分类器就足够了。然后使用基于SNN的分类器Tempotron对上述数据集进行分类。SNN分类结果与SVM的研究结果一致，即群体神经编码有助于提高分类精度。因此，除了学习算法之外，有效的神经编码与设计用于识别时空模式的SNN一样重要。这是一个经常被忽视但很有力量的抽象概念，值得进一步研究。
Rate Coding or Direct Coding: Which One is Better for Accurate, Robust, and Energy-efficient Spiking Neural Networks?
最近的脉冲神经网络（SNN）工作集中于图像分类任务，因此已经提出了各种编码技术来将图像转换为时间二进制脉冲。其中，速率编码和直接编码被认为是构建实用SNN系统的潜在候选者，因为它们在大规模数据集上显示出最先进的性能。尽管它们的使用，很少有人注意到以公平的方式比较这两种编码方案。在本文中，我们从三个角度进行了全面的分析：准确性，对抗鲁棒性和能量效率。首先，我们比较了两种编码技术与各种架构和数据集的性能。然后，我们衡量的两个对抗攻击方法的编码技术的鲁棒性。最后，我们比较了两种编码方案的数字硬件平台上的能量效率。我们的研究结果表明，直接编码可以实现更好的精度，特别是对于少量的时间步长。相比之下，由于不可微的尖峰生成过程，速率编码对对抗攻击表现出更好的鲁棒性。速率编码还产生比直接编码更高的能量效率，直接编码要求第一层的多比特精度。我们的研究探讨了两个编码的特点，这是一个重要的设计考虑建设SNN。该守则可在https://github.com/Intelligent-Computing-Lab-Yale/Rate-vs-Direct上查阅。
On the relationship between predictive coding and backpropagation
本文回顾并扩展了在监督学习任务中训练前馈人工神经网络时预测编码与反向传播之间数学关系的研究，并提供了Torch2PC函数库以支持在PyTorch模型中执行预测编码。
Oscillator Circuit for Spike Neural Network with Sigmoid Like Activation Function and Firing Rate Coding
本研究提出一种具有放电频率编码和S形激活函数的棘波神经网络振荡器电路。该电路包含具有S形电流-电压特性的开关元件和两个电容器;其中一个电容器由控制电阻器分流。该电路的特征在于，弛豫振荡的频率对控制电阻器的幅值有很强的依赖性。该依赖关系具有S形的形式，我们提出了一种分析方法的依赖计算。最后，我们描述的概念的尖峰神经网络架构与发射率编码的基础上提出的电路，用于创建神经形态设备和人工智能。
Single State Update Predictive Coding training for Time Series Forecasting and Anomaly Detection
该研究针对预测编码网络的顺序反向误差传播瓶颈，提出并行训练生成式与编码式两类PCN的单状态更新训练技术，将其应用于时间序列异常检测，实现了更稳定连续的在线学习。
A Time-to-first-spike Coding and Conversion Aware Training for Energy-Efficient Deep Spiking Neural Network Processor Design
在本文中，我们提出了一种节能的SNN架构，它可以无缝运行深度脉冲神经网络（SNN），提高准确性。首先，我们提出了一种转换感知训练（CAT），以减少ANN到SNN的转换损失，而无需硬件实现开销。在建议的CAT，激活函数开发模拟SNN神经网络训练过程中，有效地利用，以减少转换后的数据表示错误。基于CAT技术，我们还提出了一个时间到第一个尖峰编码，允许轻量级对数计算，利用尖峰时间信息。SNN处理器的设计，支持所提出的技术已实现使用28纳米CMOS工艺。当运行具有5位对数权重的VGG-16时，处理器分别实现了91.7%，67.9%和57.4%的前1精度，推理能量为486.7uJ，503.6uJ和1426 uJ，以处理CIFAR-10，CIFAR-100和Tiny-ImageNet。
Spike timing reshapes robustness against attacks in spiking neural networks
针对深度学习易受对抗攻击的问题，该研究系统探究脉冲神经网络（SNNs）中脉冲编码的时序机制，发现利用精确脉冲时序编码原理可在不同学习规则下提升SNNs的抗攻击鲁棒性，为类脑深度学习提供新的可靠编码思路。
Predictive Coding Graphs are a Superset of Feedforward Neural Networks
预测编码图（PCGs）作为前馈神经网络的超集，为机器学习提供了新的视角和方法。
A Unified Phase-native Computational Principle Governs Hippocampal Spike Timing and Neural Coding
本文提出统一相位原生原理，通过强制相位积分机制解释海马体神经元的相位锁定，建立统一复值神经元模型，揭示尖峰-theta同步及斜率锁定的机制。
Spiking Neural Predictive Coding for Continual Learning from Data Streams
为了在专门的神经形态硬件中进行节能计算，我们提出了尖峰神经编码，这是基于预测编码理论的一系列人工神经模型的实例。这种模型是同类模型中的第一个，其工作原理是在一个永无止境的“猜测和检查”过程中运行，其中神经元预测彼此的活动值，然后调整自己的活动以做出更好的未来预测。我们的系统的交互式，迭代的性质很好地适合到连续时间的制定的感觉流预测，正如我们所展示的，该模型的结构产生一个本地突触更新规则，它可以用来补充或作为替代在线尖峰定时依赖可塑性。在这篇文章中，我们实验了一个由泄漏的积分和点火单元组成的模型的实例。然而，我们的系统所处的框架可以自然地包含更复杂的神经元，例如Hodgkin-Huxley模型。我们在模式识别的实验结果表明，当二进制尖峰列车是神经元间通信的主要范例时，该模型的潜力。值得注意的是，尖峰神经编码在分类性能方面具有竞争力，并且在从任务序列学习时经历较少的遗忘，为流行的人工神经网络提供了一种计算上更经济，生物学上更合理的替代方案。
Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding
神经网络是计算密集型和存储密集型的，这使得它们难以在硬件资源有限的嵌入式系统上部署。为了解决这一限制，我们引入了“深度压缩”，这是一个三级管道：修剪，训练量化和霍夫曼编码，它们共同工作，将神经网络的存储需求减少了35倍至49倍，而不影响其准确性。我们的方法首先通过只学习重要的连接来修剪网络。接下来，我们对权重进行加权以加强权重共享，最后，我们应用霍夫曼编码。在前两步之后，我们重新训练网络，以微调剩余的连接和量化的质心。修剪将连接的数量减少了9倍到13倍;量化则将表示每个连接的位数从32减少到5。在ImageNet数据集上，我们的方法将AlexNet所需的存储空间减少了35倍，从240 MB减少到6.9MB，而不损失准确性。我们的方法将VGG-16的大小从552 MB减少到11.3MB，并且没有损失准确性。这允许将模型适配到片上SRAM缓存中，而不是片外DRAM存储器中。我们的压缩方法也有利于复杂的神经网络在移动应用程序中的应用程序的大小和下载带宽的限制。以CPU、GPU和移动GPU为基准，压缩网络具有3倍至4倍的分层加速和3倍至7倍的能效。
T2FSNN: Deep Spiking Neural Networks with Time-to-first-spike Coding
脉冲神经网络（SNN）由于其能量高效的特性而受到了广泛的关注，然而缺乏可扩展的训练算法限制了其在实际机器学习问题中的应用。深度神经网络到SNN的转换方法已经被广泛研究，以拓宽SNN的适用性。然而，大多数以前的研究，并没有充分利用SNN的时空方面，这导致效率低下的尖峰和推理延迟的数量。在本文中，我们提出了T2 FSNN，它引入了时间到第一个尖峰编码的概念到深度SNN使用基于内核的动态阈值和树突，以克服上述缺点。此外，我们提出了基于梯度的优化和早期点火方法，以进一步提高T2 FSNN的效率。根据我们的研究结果，所提出的方法可以减少推理延迟和尖峰的数量到22%和小于1%，相比，突发编码，这是最先进的CIFAR-100的结果。
Predictive Coding-based Deep Neural Network Fine-tuning for Computationally Efficient Domain Adaptation
本文提出结合反向传播与预测编码的混合训练方法，实现高效设备端域适应，在MNIST和CIFAR-10上以较低计算开销恢复模型性能。
Neural Dependency Coding inspired Multimodal Fusion
来自不同模态的信息集成是一个活跃的研究领域。人类和一般的生物神经系统非常善于使用来自不同感官感知领域的大量信号与环境和彼此交互。最近通过神经网络进行的深度融合模型的工作已经在语音识别、情感识别和分析、字幕和图像描述等领域对单峰方法进行了实质性改进。然而，这样的研究主要集中在架构的变化，允许融合不同的模态，同时保持模型的复杂性可管理。受最近神经科学关于多感觉整合和加工的思想的启发，我们研究了协同作用最大化损失函数的效果。多模态情感分析任务的实验：CMU-MOSI和CMU-MOSEI与不同的模型表明，我们的方法提供了一致的性能提升。
A Predictive Coding Account for Chaotic Itinerancy
混沌巡游作为动力系统中允许在稳定行为之间自主切换的一种现象，已成为神经机器人研究的热点。在这项研究中，我们绘制了这种现象和预测编码理论之间的连接，通过显示如何实现预测编码的递归神经网络可以产生类似于混沌巡回在输入噪声的存在下的神经轨迹。我们提出了两种情况下产生随机和过去独立的吸引子切换轨迹使用我们的模型。
Combining Spiking Neural Network and Artificial Neural Network for Enhanced Image Classification
随着深度神经网络的不断创新，更接近生物大脑突触的脉冲神经网络（SNN）因其低功耗而引起关注。然而，对于连续数据值，它们必须采用编码过程将值转换为脉冲序列。因此，它们尚未超过直接处理此类值的人工神经网络（ANN）的性能。为此，我们将人工神经网络和SNN结合起来，构建了多功能的混合神经网络（HNN），以提高相关性能。为了使这种性能合格，MNIST和CIFAR-10图像数据集被用于各种分类任务，其中训练和编码方法发生了变化。此外，我们提出了同时和单独的方法来训练人工层和尖峰层，考虑到每种编码方法。我们发现，以牺牲尖峰层为代价增加人工层的数量可以提高HNN的性能。对于像MNIST这样简单的数据集，通过使用重复编码和单独学习很容易达到与ANN相同的性能。然而，对于更复杂的任务，发现使用高斯编码和同时学习来提高HNN的准确性，同时利用较少数量的人工层。
Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation?
用于训练深度神经网络的误差反向传播算法是深度学习成功的基础。然而，它需要顺序向后更新和非本地计算，这使得大规模并行化具有挑战性，并且与大脑中的学习方式不同。然而，神经科学启发的学习算法，如\emph{predictive coding}，利用本地学习，有可能克服这些限制，并超越当前的深度学习技术。虽然预测编码起源于理论神经科学，作为大脑皮层信息处理的模型，但最近的工作已经将这一想法发展成一种通用算法，能够仅使用局部计算来训练神经网络。在本调查中，我们回顾了有助于这一观点的工作，并展示了预测编码和反向传播之间的密切理论联系，以及突出使用预测编码模型的多重优势的工作，而不是反向传播训练的神经网络。具体来说，我们展示了预测编码网络相对于等效深度神经网络的更大灵活性，深度神经网络可以同时用作分类器，生成器和关联记忆，并且可以在任意图形拓扑上定义。最后，我们回顾了预测编码网络在机器学习分类任务上的直接基准测试，以及它与控制理论和机器人应用的密切联系。
Sparse Coding by Spiking Neural Networks: Convergence Theory and Computational Results
本文提出一种脉冲神经网络模型，证明其能可靠解决稀疏编码问题，为非冯·诺依曼架构计算机提供了理论保障。
Simple, Efficient, and Neural Algorithms for Sparse Coding
稀疏编码是包括信号处理、神经科学和机器学习在内的许多领域中的基本任务，其中目标是学习能够实现给定数据集的稀疏表示的基础（如果存在的话）。它的标准公式是作为一个非凸优化问题，在实践中解决交替最小化的基础上的启发式。最近的工作已经产生了几个算法的稀疏编码与可证明的保证，但有些令人惊讶的是，这些都优于简单的交替最小化算法。在这里，我们给出了一个通用的框架来理解交替最小化，我们利用它来分析现有的算法，并设计新的可证明的保证。其中一些算法似乎可以在简单的神经架构上实现，这是Olshausen和Field（1997 a）引入稀疏编码的最初动机。我们还给出了第一个有效的算法稀疏编码，工程几乎达到信息理论的限制稀疏恢复不相干字典。所有以前的算法，接近或超过这个限制运行在时间指数的一些自然参数。最后，我们的算法改进了现有方法的样本复杂度。我们相信，我们的分析框架将在其他设置中使用简单的迭代算法的应用。
Phase Transitions in Image Denoising via Sparsely Coding Convolutional Neural Networks
神经网络在许多方面类似于自旋玻璃，自旋玻璃系统以其丰富的动力学和同样复杂的相图而闻名。我们将自旋眼镜研究中的众所周知的技术应用于卷积稀疏编码神经网络，并在网络对32个$\times$ 32个RGB CIFAR-10图像进行降噪时观察稀疏度和重建误差中的幂律有限大小缩放行为。这种有限大小的缩放表明在这种稀疏性的临界值处存在连续相变。通过使用有限尺寸缩放固有的幂律缩放关系，我们可以通过将系统调整到临界点并以最小的去噪误差操作系统来确定任何网络尺寸的稀疏度的最佳值。
Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks
本文通过分析卷积神经网络的深度稀疏编码模型，探讨了其收敛性及在稀疏特征学习中的应用。
To which extend is the "neural code" a metric ?
这里提出了一个审查的不同选择，结构尖峰列车，使用确定性指标。首先考虑到在生物或计算尖峰列车中观察到的时间约束。与现有的神经编码（速率编码，秩编码，相位编码，…）然后讨论。在何种程度上，包含在尖峰序列中的“神经代码”与度量相关似乎是一个关键点，针对时间约束的因果尖峰序列提出了Victor-Purpura度量族的推广
EURETILE D7.3 - Dynamic DAL benchmark coding, measurements on MPI version of DPSNN-STDP (distributed plastic spiking neural net) and improvements to other DAL codes
EURETILE项目需要选择一套专用基准并进行编码。本课题研究的是未来多瓦片分布式容错系统的软硬件体系结构。我们专注于以大量数值处理要求为特征的动态工作负载。目标是确定可以应用于嵌入式系统和HPC领域的通用技术。本文档是工作包7的第一个公开交付成果：安装平铺应用程序。
Real-time closed-loop protocol to assess neural variability in temporal coding
该研究设计基于Hindmarsh-Rose模型的实时闭环协议，通过计算Victor-Purpura距离适应神经变异性，在两项验证实验中有效驱动神经动力学至期望状态，为神经编码研究提供了更优实验方法。
A Single Model Explains both Visual and Auditory Precortical Coding
皮层前神经系统对感官收集的信息进行编码，但编码的驱动原理仍然是一个争论的主题。我们提出了一个模型的视网膜编码是基于三个约束：信息保存，最小化的神经布线，和响应均衡。由此产生的新版本的稀疏主成分分析成功地捕获了一些已知的视网膜编码系统的特性，如中心-环绕感受野，颜色通道，时空响应，对应于大细胞和小细胞途径。此外，当在听觉数据上训练时，相同的模型学习感受野，该感受野通过伽马通滤波器很好地拟合，伽马通滤波器通常用于对皮层前听觉编码进行建模。这表明，有效的编码可能是一个统一的原则，前皮层编码的形式。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。