Activation Functions for "A Feedforward Unitary Equivariant Neural Network"
University of Oxford（牛津大学）
本文将前馈酉等变神经网络中的三种激活函数推广为单一函数形式，在保持酉等变性的同时提升了网络架构设计的灵活性。
2024-11-17 cs.LG cs.NE
Improving the Robustness of Neural Multiplication Units with Reversible Stochasticity
University of Southampton（南安普顿大学）
多层感知器很难学习某些简单的算术任务。用于算术的专家神经模块可以在外推、可解释性和收敛速度方面优于经典架构，但对训练范围高度敏感。在本文中，我们证明了神经乘法单元（NMU）在给定不同的训练范围时，无法可靠地学习像将两个输入相乘这样简单的任务。失败的原因与诱导和输入偏置有关，这些偏置鼓励收敛到不期望的最优解。一个解决方案，随机NMU（sNMU），提出了应用可逆的随机性，鼓励避免这样的最优，同时收敛到真正的解决方案。从经验上讲，我们表明，随机性提供了改进的鲁棒性，有可能提高上游网络的数值和图像任务的学习表示。
2022-11-10 cs.LG cs.NE
Integral representations of shallow neural network with Rectified Power Unit activation function
Johann Radon Institute（约翰·拉东研究所）；University of Vienna（维也纳大学）
在这项工作中，我们推导出一个公式的积分表示的浅层神经网络的整流功率单元激活函数。主要地，我们的第一个结果涉及RePU浅网络的表示能力的单变量情况。本文的多维结果刻画了可以用有界范数和可能无界宽度表示的函数集。
2021-12-20 cs.LG cs.NE math.FA
Learned-Norm Pooling for Deep Feedforward and Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）
在本文中，我们提出并研究了一种新的非线性单元，称为$L_p$单元，用于深度神经网络。所提出的$L_p$单元从下面的层中的单元的子集的若干投影接收信号，并且计算归一化的$L_p$范数。我们注意到对$L_p$单元的两种有趣的解释。首先，所提出的单元可以被理解为许多常规池化运算符的一般化，诸如在例如卷积神经网络（CNN）、HMAX模型和新认知器中广泛使用的平均、均方根和最大池化。此外，$L_p$单元在某种程度上类似于最近提出的maxout单元（Goodfellow等人，2013），其在许多基准数据集上实现了最先进的对象识别结果。其次，我们提供了一个几何解释的激活函数的基础上，我们认为，$L_p$单元是更有效地表示复杂的，非线性分离边界。每个$L_p$单元定义一个超椭圆边界，其精确形状由顺序$p$定义。我们声称，这使得通过组合几个不同阶次的$L_p$单元可以更有效地对任意形状的弯曲边界进行建模。这种见解证明了需要为模型中的每个单元学习不同的订单。我们经验评估建议的$L_p$单位在一些数据集上，并表明多层感知器（MLP）组成的$L_p$单位达到国家的最先进的结果在一些基准数据集。此外，我们在最近提出的深度循环神经网络（RNN）上评估了所提出的$L_p$单元。
2014-09-02 cs.LG cs.NE stat.ML
Piecewise Linear Units Improve Deep Neural Networks
Deakin University（迪肯大学）
激活函数是深度神经网络非线性的核心;函数的选择对训练的成功有很大影响。目前，许多从业者更喜欢整流线性单元（ReLU），因为它的简单性和可靠性，尽管它的缺点很少。虽然大多数以前提出的取代ReLU的函数都是手工设计的，但最近在训练过程中学习函数的工作已经显示出了有希望的结果。在本文中，我们提出了一个自适应分段线性激活函数，分段线性单元（PiLU），它可以独立学习的神经网络的每个维度。我们演示了如何PiLU是一个广义的整流器单元，并注意到它的相似之处，自适应分段线性单元，即自适应和分段线性。在30个实验的分布中，我们表明，对于相同的模型架构，超参数和预处理，PiLU显着优于ReLU：在CIFAR-10和CIFAR-100上分别减少了18.53%和13.13%的分类错误，神经元数量略有增加。进一步的工作应该致力于探索广义分段线性单元，以及验证这些结果在其他具有挑战性的领域和更大的问题。
2021-08-22 cs.AI cs.LG cs.NE
Factors for the Generalisation of Identity Relations by Neural Networks
City University of London（伦敦城市大学）
许多研究人员都隐含地假设神经网络学习关系，并将其推广到新的看不见的数据。然而，最近已经表明，前馈网络的推广失败的身份关系。这个问题的解决方案是建立一个电感偏置差分整流器（DR）的单位。在这项工作中，我们探讨了神经网络架构和学习过程中的各种因素，无论它们是否对神经网络在早期和中期融合架构中没有DR单元和DR单元的平等检测的概括产生影响。我们发现在实验中与合成数据的隐藏层，激活函数和数据表示的数量的影响。训练集的大小与向量的总可能集合的关系也会产生差异。然而，在50%的概率水平下，没有DR单元的准确度从未超过61%。DR单元提高了所有任务的通用性，并在Mid Fusion设置中实现了近乎完美的测试精度。因此，DR单元似乎是一种很有前途的方法，可以创建标准网络所缺乏的泛化能力。
2019-06-13 cs.LG stat.ML
Parametric Rectified Power Sigmoid Units: Learning Nonlinear Neural Transfer Analytical Forms
Université Savoie Mont Blanc（萨瓦大学）；TLECOM Bretagne（布列塔尼电信学院）
本文提出了一种双重范式的表示泛函，其中学习共同关注线性卷积权重和非线性激活函数的参数形式。提出的非线性形式执行的功能表示相关联的一类新的参数神经传递函数称为整流功率S形单元。这个类的构造是为了结合sigmoid和整流线性单位函数的优点，同时拒绝这些函数的缺点。此外，这个新的神经类的分析形式涉及规模，移位和形状参数，以获得广泛的激活形状，包括标准的整流线性单元作为极限情况。这个神经传递类的参数被认为是可学习的，以便发现可以有助于解决机器学习问题的复杂形状。通过卷积和整流幂sigmoid可学习参数的联合学习所实现的性能在浅层和深度学习框架中都表现出色。这门课为机器学习开辟了新的前景，因为可学习的参数不仅与线性变换有关，而且与合适的非线性算子有关。
2021-02-05 cs.IR cs.LG eess.SP
Adaptive Blending Units: Trainable Activation Functions for Deep Neural Networks
Institute for Cognitive Science（认知科学研究所）；Osnabrück University（奥斯纳布吕克大学）
当前深度前馈神经网络中最广泛使用的激活函数是整流线性单元（ReLU），并且许多替代方案也已成功应用。然而，没有一种替代方案能够始终优于其他方案，并且没有统一的理论将任务和网络的属性与激活函数的属性联系起来，以实现最有效的训练。一个可能的解决方案是让网络学习它的首选激活函数。在这项工作中，我们引入自适应混合单元（ABU），一组激活函数的可训练线性组合。由于ABU学习形状，以及激活函数的整体缩放，我们还分析了自适应缩放在常见激活函数中的效果。我们的实验证明了自适应缩放和ABU的优势，共同的激活函数在一组系统不同的网络规范。我们进一步表明，自适应缩放的工作原理，减轻协变量偏移，在训练过程中，和ABU的性能观察到的优势同样在很大程度上依赖于激活函数的能力，以适应在训练过程中。
2018-06-26 cs.LG stat.ML
A Projection Algorithm for the Unitary Weights
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
酉神经网络是解决爆炸和消失激活/梯度问题的有前途的替代方案，而不需要显式归一化，从而降低推理速度。然而，由于其权重矩阵上的额外酉约束，它们通常需要更长的训练时间。在这里，我们展示了一种新的算法，该算法使用李代数的反向传播技术来计算来自其预训练的非酉对应物的近似酉权重。使用这些近似初始化的酉网络可以更快地达到所需的精度，从而在保持推理加速的同时减轻其训练时间损失。我们的方法将有助于酉网络的自适应，特别是对于那些预先训练的权重可以免费获得的神经架构。
2021-02-19 cs.AI cs.LG
Context-Driven Performance Modeling for Causal Inference Operators on Neural Processing Units
Ming Hsieh Department of Electrical and Computer Engineering, University of Southern California（明希德电气与计算机工程系，南加州大学）
本文研究了NPUs上因果推断运算的性能瓶颈，通过对比二次注意力与子二次替代方案，为边缘平台的高效长上下文推断提供优化方向。
2025-12-17 cs.DC cs.LG
Correlation recurrent units: A novel neural architecture for improving the predictive performance of time-series data
Pusan National University（釜山国立大学）
针对时间序列分解方法无法学习分量间关系的问题，提出相关循环单元 (CRU) 架构，在神经单元内执行分解并学习分量相关性，使长短期预测性能提升超 10%。
2024-08-28 cs.AI cs.LG eess.SP
Systematically designing better instance counting models on cell images with Neural Arithmetic Logic Units
TIET（塔帕尔工程技术学院）
训练用于计数实例的神经网络模型的大问题是，每当测试范围变高时，训练范围泛化误差增加，即它们在训练范围之外不是好的泛化器。考虑自动化细胞计数过程的情况，其中与训练数据中使用的图像相比，通常遇到具有更高细胞计数的更密集图像。通过对更高范围的细胞计数进行更好的预测，我们的目标是为细胞计数创建更好的泛化系统。随着神经算术逻辑单元（NALU）结构的提出，对于训练数据中未包含的更高数值范围的计数任务变得可行，并具有更好的精度。作为我们研究的一部分，我们使用这些单元和不同的其他激活函数来学习细胞计数任务，具有两种不同的架构，即全卷积回归网络和U-网络。这些数值偏置的单元被添加到原始架构的残余级联层的形式，并与这些新提出的变化进行了比较实验研究。这种比较研究是在优化回归损失问题，从这些模型训练广泛的数据增强技术。我们能够在细胞计数任务的实验中取得更好的结果，将这些数值偏置单元以剩余层级联连接的形式引入到现有的架构中。我们的研究结果证实，上述数值偏差单位确实有助于模型学习数值量，以获得更好的泛化结果。
2020-06-15 cs.LG cs.NE stat.ML
Poisson Hyperplane Processes with Rectified Linear Units
Institute of Mathematical Sciences, ShanghaiTech University, China（上海科技大学数学科学研究所）；Department of Statistics and Actuarial Science, Simon Fraser University, Canada（西蒙弗雷泽大学统计与精算科学系）
本文提出将泊松超平面过程与两层ReLU神经网络结合，通过概率表示和退火序列蒙特卡洛算法提升大规模问题的处理能力。
2026-01-09 cs.LG stat.ME stat.ML
Hidden Unit Specialization in Layered Neural Networks: ReLU vs. Sigmoidal Activation
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence（伯努利数学、计算机科学与人工智能研究所）；University of Groningen（格罗宁根大学）
我们研究分层神经网络的整流线性单元（ReLU）的建模框架随机训练过程。与S形激活函数的比较是感兴趣的中心。我们计算典型的学习曲线，在匹配的学生教师场景中，具有K个隐藏单元的浅网络。在训练集的临界规模下，系统的泛化性能通过隐藏单元的特殊化过程表现出突变。令人惊讶的是，我们的结果表明，ReLU网络的训练行为与具有S形激活的网络有质的不同。在具有K >= 3个S形隐藏单元的网络中，过渡是不连续的：即使对于非常大的训练集，专用网络配置也共存并与性能较差的状态竞争。相反，使用ReLU激活会导致所有K的连续转换：对于足够大的训练集，两个竞争的，不同的专业化状态显示出相似的泛化能力，这对于K到无穷大的大型网络来说完全一致。
2020-05-27 cond-mat.dis-nn cs.LG stat.ML
Dual Rectified Linear Units (DReLUs): A Replacement for Tanh Activation Functions in Quasi-Recurrent Neural Networks
IDLab, ELIS, Ghent University – imec（根特大学-imec的IDLab和ELIS（根特大学全球校区生物技术数据科学中心））；Center for Biotech Data Science, Ghent University Global Campus（根特大学全球校区生物技术数据科学中心）
在本文中，我们介绍了一种新型的整流线性单元（ReLU），称为对偶整流线性单元（DReLU）。DReLU带有无界的正图像和负图像，可以用作准递归神经网络（QRNN）的递归步骤中tanh激活函数的直接替代（Bradbury et al.（2017））。类似于ReLU，DReLU不太容易出现消失梯度问题，它们是噪声鲁棒的，并且它们诱导稀疏激活。我们独立重现了Bradbury等人的QRNN实验。（2017）并将我们基于DReLU的QRNN与原始的基于tanh的QRNN和长短期记忆网络（LSTM）在情感分类和单词级语言建模方面进行了比较。此外，我们对字符级语言建模进行了评估，表明我们能够使用DReLU堆叠多达8个QRNN层，从而可以在基于LSTM的浅层架构上改进当前最先进的字符级语言建模。
2017-10-31 cs.CL cs.LG cs.NE
Empirical Loss Landscape Analysis of Neural Network Activation Functions
University of Pretoria（比勒陀利亚大学）；University of Stellenbosch（斯泰伦博斯大学）；Gulf University for Science and Technology（海湾科技大学）；Griffith University（格里菲斯大学）
本研究实证分析了双曲正切、修正线性单元和指数线性单元三种激活函数对神经网络损失景观特性的影响，发现修正线性单元产生最具凸性的损失景观，而指数线性单元产生最不平坦的损失景观且泛化性能更优，同时揭示了窄谷与饱和神经元及隐式正则化网络配置的关联。
2023-06-28 cs.AI cs.LG cs.NE
A Feedforward Unitary Equivariant Neural Network
United Kingdom Atomic Energy Authority（英国原子能管理局）；The University of Hong Kong（香港大学）
我们设计了一种新型的前馈神经网络。它与酉群$U(n)$是等变的。输入和输出可以是具有任意维度$n$的$\mathbb{C}^n$中的向量。在我们的实现中不需要卷积层。避免了类傅里叶变换中高阶项截断所带来的误差。每一层的实现都可以通过简单的计算有效地完成。作为概念的证明，我们已经给出了原子运动动力学预测的经验结果，以证明我们的方法的实用性。
2022-08-25 cs.LG
The Domain Mixed Unit: A New Neural Arithmetic Layer
Paul Curry（独立研究者）
本文提出一种新的神经算术单元 Domain Mixed Unit (DMU)，通过单参数门在对数与线性空间表示间混合以执行加减法，在 NALM Benchmark 上取得最先进性能。
2025-09-15 cs.LG
Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；School of Information and Control Engineering, China University of Mining and Technology（中国矿业大学信息与控制工程学院）
提出基于神经单元动力学的类增量学习模型AutoActivator，通过自适应网络扩展与推理时神经单元激活机制，在无排练和最小扩展设置下有效防止遗忘并保持可扩展性。
2024-06-04 cs.LG
Bayesian neural network unit priors and generalized Weibull-tail property
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LJK（约瑟夫·傅立叶实验室）
贝叶斯神经网络和高斯过程之间的联系在过去的几年里得到了很多关注。当层宽趋于无穷大时，隐藏单元被证明遵循一个高斯过程极限。最近的研究表明，有限贝叶斯神经网络可能优于无限贝叶斯神经网络，因为它们灵活地调整其内部表示。为了给有限宽度神经网络的进一步研究奠定坚实的基础，我们的目标是研究隐含单元上的先验诱导。我们的主要结果是一个准确的描述隐藏单位的尾巴，这表明，单位先验成为更深的，由于广义威布尔尾的概念。这一发现揭示了有限贝叶斯神经网络的隐藏单元的行为。
2021-10-06 cs.LG stat.ML
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
Université de Montréal（蒙特利尔大学）
在本文中，我们比较了循环神经网络（RNN）中不同类型的递归单元。特别是，我们专注于实现门控机制的更复杂的单元，例如长短期记忆（LSTM）单元和最近提出的门控递归单元（GRU）。我们评估这些经常性单位的任务，复调音乐建模和语音信号建模。我们的实验表明，这些先进的经常性单位确实比更传统的经常性单位，如tanh单位。此外，我们发现GRU与LSTM相当。
2014-12-11 cs.LG cs.NE
Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning
ATR Computational Neuroscience Laboratories（ATR计算神经科学实验室）；Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
近年来，神经网络作为强化学习中的函数逼近器获得了复兴。在Tesauro的TD-Gammon在西洋双陆棋中取得接近人类顶级水平的表现后的二十年里，深度强化学习算法DQN在许多Atari 2600游戏中取得了人类水平的表现。本研究的目的有两个。首先，我们提出了两个激活函数的神经网络函数逼近强化学习：S形加权线性单元（SiLU）和它的导数函数（dSiLU）。SiLU的激活通过sigmoid函数乘以其输入来计算。其次，我们建议使用具有资格跟踪的同策略学习而不是经验重放的更传统的方法，以及具有简单退火的softmax动作选择可以与DQN竞争，而不需要单独的目标网络。我们验证我们提出的方法，首先，实现新的国家的最先进的结果，在随机SZ-俄罗斯方块和俄罗斯方块与一个小的10 $\times$ 10板，使用TD（$λ$）学习和浅dSiLU网络代理，然后，通过在Atari 2600域中使用深Sarsa（$λ$）代理与SiLU和dSiLU隐藏单元。
2017-11-02 cs.LG
Understanding Priors in Bayesian Neural Networks at the Unit Level
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）；University of Granada（格拉纳达大学）
我们研究了具有高斯权重先验和一类ReLU非线性的深度贝叶斯神经网络。众所周知，具有高斯先验的贝叶斯神经网络会引起L2，“权重衰减”，正则化。我们的研究结果表征了一个更复杂的正则化效应的水平上的单位激活。我们的主要结果建立了诱导先验分布的单位之前和之后的激活变得越来越重尾层的深度。我们发现，第一层单位是高斯，第二层单位是次指数，和单位在更深的层的特点是分韦布尔分布。我们的研究结果为深度贝叶斯神经网络提供了新的理论见解，并与模拟实验进行了验证。
2019-05-10 cs.LG stat.ML
Multi-Activation Hidden Units for Neural Networks with Random Weights
具有随机权重的单层前馈网络在各种分类和回归问题中是成功的。这些网络以其非迭代和快速训练算法而闻名。这些网络的一个主要缺点是它们需要大量的隐藏单元。在本文中，我们提出了使用多激活隐藏单元。这样的单元增加了可调参数的数量，并能够形成复杂的决策表面，而不增加隐藏单元的数量。我们的实验表明，多激活隐藏单元可以用来提高分类精度，或减少计算。
2020-09-23 cs.LG cs.NE
Single Unit Status in Deep Convolutional Neural Network Codes for Face Identification: Sparseness Redefined
School of Behavioral and Brain Sciences（行为与脑科学学院）；The University of Texas at Dallas（得克萨斯大学达拉斯分校）；UMIACS（马里兰大学信息与计算机科学学院）；University of Maryland（马里兰大学）
为人脸识别而训练的深度卷积神经网络（DCNN）开发了在可变图像上泛化的表示，同时保留主题（例如，性别）和图像（例如，观点）信息。身份，性别和观点代码进行了研究，在“神经元”和合奏水平的人脸识别网络。在单元级别，识别，性别分类和观点估计通过删除单元来测量，以在顶部网络层创建可变大小的随机采样子空间。随着维度从512个单位降低到16（0.95）、4（0.80）和2（0.72）个单位，3，531个身份的识别率仍然很高（ROC下的面积约为1.0）。每个顶层单元上的个人身份都是统计分离的。跨单位的反应是最低限度的相关性，表明单位代码非冗余的身份线索。这种“分布式”代码只需要稀疏的随机样本就可以准确地识别人脸。随着维度的减少，性别分类逐渐下降，观点估计急剧下降。个别单位弱预测性别和观点，但合奏证明有效的预测。因此，分布式和稀疏码共存于网络单元中，以表示不同的人脸属性。在集成水平上，人脸表征的主成分分析表明，身份，性别和观点信息分离到高维子空间，解释方差排序。身份，性别和观点信息有助于所有个人单位的反应，削弱了面部属性的神经调节类比。从DCNN解释神经类代码，并通过类比，高级视觉代码，不能从单个单元响应推断。相反，“意义”是由高维空间中的方向编码的。
2020-03-01 cs.CV cs.LG
R3Net: Random Weights, Rectifier Linear Units and Robustness for Artificial Neural Network
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们考虑一个具有随机化特征的神经网络架构，一个符号分离器，后面是整流线性单元（ReLU）。我们证明了我们的架构具有鲁棒性的输入扰动：输出功能的神经网络表现出Lipschitz连续的输入扰动。我们进一步证明了网络输出具有一种区分能力，即不是任意接近的输入生成输出向量，这些输出向量保持彼此之间的距离服从一定的下界。这确保了两个不同的输入保持可区分，同时收缩输出特征空间中的距离。
2018-03-12 cs.LG stat.ML
Role Taxonomy of Units in Deep Neural Networks
Tsinghua University（清华大学）
本文通过引入功能检索测试，将DNNs中的单元按其在训练集和测试集上的功能偏好分为四类，发现这四类单元的比例与DNNs的泛化能力高度相关，从而为良好泛化能力的DNNs提供了标志。
2023-11-20 cs.CV cs.LG
Detecting Dead Weights and Units in Neural Networks
New York University（纽约大学）
深度神经网络是高度过度参数化的，并且神经网络的大小可以在训练后显著减小而性能没有任何降低。人们可以清楚地看到这种现象在各种各样的架构训练的各种问题。权重/通道修剪、蒸馏、量化、矩阵分解是一些可以用来去除冗余的主要方法，以产生更小更快的模型。这项工作从一个简短的信息章节开始，在那里我们激发了修剪的想法，并提供了必要的符号。在第二章中，我们比较了不同的显着性分数的参数修剪的背景下。使用从这种比较中获得的见解并说明它带来的问题，我们激发了为什么修剪单元而不是单个参数可能是一个更好的主意。我们提出了一些定义来量化和分析那些不学习和创建任何有用信息的单元。我们提出了一种有效的方法来检测死单位，并使用它来选择哪些单位修剪。我们通过MNIST上的单元式修剪获得了5倍的模型大小缩减。
2018-06-15 cs.LG stat.ML
Neural Power Units
Artificial Intelligence Center（人工智能中心）；Czech Technical University（捷克技术大学）
传统的神经网络可以近似简单的算术运算，但无法推广到训练过程中看到的数字范围之外。神经算术单元旨在克服这一困难，但目前的算术单元要么仅限于对正数进行运算，要么只能表示算术运算的子集。我们介绍了神经功率单元（NPU），它在实数的整个域上运行，并且能够在单层中学习任意的幂函数。因此，NPU修复了现有算术单元的缺点，并扩展了它们的表达能力。我们通过使用复数运算来实现这一点，而不需要将网络转换为复数。将单元简化为RealNPU会产生高度透明的模型。我们表明，NPU在人工算术数据集的准确性和稀疏性方面优于竞争对手，并且RealNPU只能从数据中发现动力系统的控制方程。
2020-12-17 cs.LG cs.NE stat.ML
Minimal Gated Unit for Recurrent Neural Networks
Nanjing University（南京大学）
最近循环神经网络（RNN）在处理序列数据方面非常成功。然而，理解RNN并找到RNN的最佳实践是一项艰巨的任务，部分原因是存在许多竞争和复杂的隐藏单元（如LSTM和GRU）。我们提出了一种RNN的门单元，称为最小门单元（MGU），因为它只包含一个门，这是所有门隐藏单元中的最小设计。MGU的设计受益于文献中对LSTM和GRU的评估结果。在不同序列数据上的实验表明，MGU具有与GRU相当的准确性，但具有更简单的结构，更少的参数和更快的训练速度。因此，MGU适用于RNN的应用。它简单的架构也意味着它更容易评估和调整，原则上更容易从理论和经验上研究MGU的属性。
2016-03-31 cs.LG cs.NE
Why ReLU Units Sometimes Die: Analysis of Single-Unit Error Backpropagation in Neural Networks
Southern Methodist University（南卫理公会大学）
最近，机器学习中的神经网络在早期处理层中使用整流线性单元（ReLU）以获得更好的性能。训练这些结构有时会导致输出接近零的“死亡ReLU单元”。我们首先通过使用CIFAR-10数据集和两种流行的卷积神经网络架构的变体进行模拟来探索这种情况。我们的探索表明，输出激活概率Pr[y>0]在系统收敛时通常小于0.5，对于不采用跳跃连接的层，并且随着从输入层到输出层的进展，该激活概率趋于减小。使用一个由误差反向传播变体训练的单个ReLU单元的简化模型，然后我们进行统计收敛分析，以探索模型的进化行为。我们的分析描述了死亡ReLU单元的潜在较慢的收敛速度，无论权重如何初始化，这个问题都可能发生。
2018-12-14 cs.LG eess.SP stat.ML
Complex Unitary Recurrent Neural Networks using Scaled Cayley Transform
University of Kentucky（肯塔基大学）
循环神经网络（RNN）已成功地用于广泛的序列数据问题。使用RNN的一个众所周知的困难是\textit{vanishing or exploding gradient}问题。最近，有几种不同的RNN架构试图通过维护正交或酉递归权重矩阵来缓解这个问题。一种这样的架构是缩放凯莱正交递归神经网络（scoRNN），其通过缩放凯莱变换来参数化正交递归权重矩阵。该参数化包含一个对角缩放矩阵，该矩阵由不能通过梯度下降优化的正或负1项组成。因此，缩放矩阵在训练之前是固定的，并且引入超参数来为每个特定任务调整矩阵。在本文中，我们开发了一种基于复尺度凯莱变换的酉RNN架构。与实正交情况不同，该变换使用由复数单位圆上的条目组成的对角缩放矩阵，该矩阵可以使用梯度下降进行优化，并且不再需要调整超参数。我们还分析了我们工作中使用的modReLU activity函数和其他几个酉RNN的潜在问题。在进行的实验中，缩放凯莱酉递归神经网络（scuRNN）实现了与scoRNN和其他酉RNN相当或更好的结果，而无需固定缩放矩阵。
2019-02-25 cs.LG stat.ML
Improving Deep Neural Networks with Probabilistic Maxout Units
University of Freiburg（弗莱堡大学）
我们提出了一个概率最近推出的maxout单位的变体。与整流线性单元相比，利用maxout的深度神经网络的成功可以部分归因于在dropout下的良好性能。然而，它还取决于这样一个事实，即每个maxout单元在一组线性变换上执行池化操作，因此对于其输入的变化是部分不变的。从这一观察出发，我们提出了一个问题：maxout单位的理想属性是否可以在提高其不变性的同时得到保留？我们认为，我们的概率maxout（probout）单位成功地实现了这种平衡。我们定量验证了这一说法，并报告了分类性能匹配或超过三个具有挑战性的图像分类基准（CIFAR-10，CIFAR-100和SVHN）的最新技术水平。
2014-02-19 cs.LG cs.NE stat.ML
Training Sparse Neural Network by Constraining Synaptic Weight on Unit Lp Sphere
稀疏深度神经网络已经显示出其相对于密集模型的优势，具有更少的参数和更高的计算效率。在这里，我们证明了约束的突触的权重单位Lp球，使稀疏性与p的灵活控制，并提高了神经网络的泛化能力。首先，为了优化约束在单位Lp-球面上的突触权值，从扩充的经验风险最小化条件出发，推导出参数优化算法Lp-球面梯度下降（LpSGD），并从理论上证明了该算法的收敛性。为了理解p对Hoyer稀疏性的影响机制，给出了在Gamma分布假设下Hoyer稀疏性的期望，并在不同的p和不同的条件下验证了该期望.此外，设计了拓扑进化的“半剪枝”和阈值自适应算法，有效地筛选出重要连接，使神经网络从初始稀疏收敛到期望稀疏。我们的方法进行了验证的基准数据集，涵盖了广泛的领域的实验。本文的理论分析为进一步研究约束优化下的稀疏神经网络的训练问题奠定了基础。
2021-03-30 cs.CV cs.LG
Quaternion-Valued Recurrent Projection Neural Networks on Unit Quaternions
University of Campinas（坎皮纳斯大学）
超复值神经网络，包括四元数值神经网络，可以将多维数据视为单个实体。本文提出了四元数递归投影神经网络（QRPNNs）。简而言之，QRPNN是通过将非局部投影学习与四元数值递归相关神经网络（QRCNN）相结合来获得的。我们表明，QRPNN克服了QRCNN的串扰问题。因此，它们适合于实现联想记忆。此外，计算实验表明，QRPNN表现出更大的存储容量和噪声容忍度比相应的QRCNN。
2020-01-30 cs.LG cs.NE stat.ML
Analog CMOS-based Resistive Processing Unit for Deep Neural Network Training
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Korea University（高丽大学）
最近，我们已经证明，与当今在CPU/GPU上运行的基于软件的DNN实现相比，基于电阻处理单元（RPU）设备的架构有可能在深度神经网络（DNN）训练中实现显著加速。然而，目前可用的基于非易失性存储器技术的候选设备不能满足实现RPU概念的所有要求。在这里，我们提出了一个模拟CMOS为基础的RPU设计（CMOS RPU），可以存储和处理数据的本地，可以在一个大规模并行的方式进行操作。我们分析了CMOS RPU的各种属性，以评估加速DNN训练的功能和可行性。
2017-06-20 cs.ET cs.LG
Network of Evolvable Neural Units: Evolving to Learn at a Synaptic Level
Korea University（高丽大学）
尽管近年来深度神经网络通过整体架构和优化策略的各种变化取得了巨大成功，但其基本的底层设计基本保持不变。另一方面，计算神经科学提供了神经处理机制的更生物现实的模型，但它们仍然是对实际实验观察到的行为的高层次抽象。在这里，提出了一个模型，桥梁神经科学，机器学习和进化算法，以发展个人的胞体和突触隔室模型的神经元在一个可扩展的方式。我们提出了一个可进化的神经单元（ENU），它可以近似每个神经元和突触的功能，而不是试图手动推导出神经处理中所有观察到的复杂性和多样性的模型。我们证明，这种类型的单位可以进化到模仿整合和消防神经元和突触尖峰定时依赖可塑性。此外，通过构建一种新型的神经网络，其中每个突触和神经元是这样一个可进化的神经单元，我们表明，它是有可能发展的代理能够学习解决T-迷宫环境任务。该网络独立发现尖峰动力学和强化型学习规则，为生物启发的人工智能开辟了一条新的道路。
2019-12-16 cs.LG cs.NE stat.ML
Deep Neural Machine Translation with Linear Associative Unit
Tencent Technology Co., Ltd（腾讯科技有限公司）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Dublin City University（都柏林城市大学）；Baidu Co., Ltd（百度有限公司）
深度神经网络（DNN）已经证明增强了最先进的神经机器翻译（NMT），具有建模复杂函数和捕获复杂语言结构的能力。然而，在其编码器或解码器RNN中具有深层架构的NMT系统通常会由于非线性递归激活而遭受严重的梯度扩散，这通常会使优化变得更加困难。为了解决这个问题，我们提出了新的线性关联单元（LAU），以减少递归单元内的梯度传播长度。与传统方法（LSTM单元和GRU）不同，LAU利用递归单元的输入和输出之间的线性关联连接，这允许信息在空间和时间方向上畅通无阻。这个模型很简单，但却出奇的有效。我们对汉英翻译的实证研究表明，我们的模型与适当的配置可以提高11.7 BLEU的Groundhog和最好的报告结果在相同的设置。在WMT 14英语-德语任务和更大的WMT 14英语-法语任务上，我们的模型取得了与最先进的结果相当的结果。
2017-05-02 cs.CL cs.LG
AU-NN: ANFIS Unit Neural Network
Instituto Nacional de Astrofísica, Óptica y Electrónica（国家天体物理、光学与电子研究所）
本文描述了ANFIS单元神经网络，一种深度神经网络，其中每个神经元是一个独立的ANFIS。该网络的两个用例显示，以测试网络的能力。(i)五个想象中的词的分类。(ii)增量学习在检测想象词段与空闲状态段的任务中。在这两种情况下，所提出的网络优于传统的方法。此外，描述了一种分类过程，其中不是将整个实例作为一个示例，而是将每个实例分解为一组较小的实例，并且通过对该组的所有预测进行多数投票来完成分类。本文中使用的构建AU-NN的代码可以在github存储库https://github.com/tonahdztoro/AU_NN上获得。
2022-04-21 cs.AI cs.LG
Who Does What in Deep Learning? Multidimensional Game-Theoretic Attribution of Function of Neural Units
Institute of Computational Neuroscience（计算神经科学研究所）；University Medical Center Eppendorf（埃本多夫大学医学中心）；International Max Planck Research School on Cognitive Neuroimaging（认知神经成像国际马克斯·普朗克研究学校）；MRC Cognition and Brain Sciences Unit（MRC认知与脑科学单位）；Mila - Quebec Artificial Intelligence Institute（魁北克人工智能研究所）；Learning in Machines & Brains（机器与大脑学习）；Departments of Bioengineering and Neuroscience（生物工程与神经科学系）；Department of Health Sciences（健康科学系）
提出多扰动Shapley值分析（MSA），一种模型无关的博弈论框架，通过损伤单元组合生成与输出同维的贡献图，揭示正则化集中计算、LLM语言专家及GAN倒置层级，助力网络解释、编辑与压缩。
2025-06-24 cs.AI cs.LG
Understanding Weight Normalized Deep Neural Networks with Rectified Linear Units
Purdue University（普渡大学）
本文提出了一种基于范数的$L_{p,q}$权重归一化深度神经网络容量控制的一般框架。我们建立了这个家庭的Rademacher复杂性的上界。与$L_{p,q}$规范化，其中$q\le p^*$，和$1/p+1/p^{*}=1$，我们讨论的宽度无关的容量控制，它只依赖于深度的平方根项的属性。我们进一步分析了$L_{p,q}$权值归一化深度神经网络的逼近性质。特别地，对于$L_{1,\infty}$权重归一化网络，近似误差可以由输出层的$L_1$范数控制，并且相应的泛化误差仅取决于深度的平方根的架构。
2018-11-28 cs.LG stat.ML
Tunable Efficient Unitary Neural Networks (EUNN) and their application to RNNs
Massachusetts Institute of Technology（麻省理工学院）；New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
在人工神经网络（ANN）中使用酉（而不是一般）矩阵是解决梯度爆炸/消失问题的一种有前途的方法，也使ANN能够学习数据中的长期相关性。这种方法对于递归神经网络（RNN）来说特别有前途。在这项工作中，我们提出了一个新的架构，实现一个有效的酉神经网络（EUNNs），其主要优点可以概括如下。首先，EUNN中酉空间的表示容量是完全可调的，范围从SU（N）的子空间到整个酉空间。其次，训练EUNN的计算复杂性仅为每个参数的$\mathcal{O}(1)$。最后，我们测试了EUNN的性能上的标准复制任务，像素排列的MNIST数字识别基准以及语音预测测试（TIMIT）。我们发现，就最终性能和/或挂钟训练速度而言，我们的架构显着优于其他最先进的单位RNN和LSTM架构。因此，EUNN是RNN和LSTM的有前途的替代品，适用于各种应用。
2017-04-03 cs.LG cs.NE stat.ML
Building Efficient Deep Neural Networks with Unitary Group Convolutions
Cornell University（康奈尔大学）
我们提出了酉群卷积（UGConvs），这是CNN的一个构建块，它在特征空间中构成了具有酉变换的群卷积，以学习比单独的群卷积更丰富的表示集。UGConvs概括了CNN架构中的两个不同的想法，即信道重排（即ShuffleNet）和块循环网络（即CirCNN），并提供了统一的见解，从而加深了对每种技术的理解。我们通过实验证明，密集酉变换在DNN精度方面可以优于信道重排。另一方面，不同的密集变换表现出相当的精度性能。基于这些观察，我们提出了HadaNet，一个使用Hadamard变换的UGConv网络。HadaNets实现了与循环网络相似的精度，具有较低的计算复杂度，并且比具有相同数量的参数和浮点乘法的ShuffleNets具有更好的精度。
2019-04-09 cs.LG stat.ML
Compact Neural Networks via Stacking Designed Basic Units
Hong Kong Baptist University（香港浸会大学）
非结构化剪枝在处理稀疏和不规则的权值时存在局限性。相比之下，结构化修剪可以帮助消除这个缺点，但它需要复杂的标准来确定哪些组件被修剪。为此，本文提出了一种新的构造方法TissueNet，该方法通过独立堆叠设计的基本单元，直接构造具有较少权值参数的紧凑神经网络，不再需要额外的判断标准。给定各种体系结构的基本单元，它们以一定的形式组合和堆叠，以构建紧凑的神经网络。我们在不同的流行骨干中制定TissueNet，以与不同基准数据集上的最先进的修剪方法进行比较。此外，提出了两个新的指标来评估压缩性能。实验结果表明，TissueNet可以达到相当的分类精度，同时节省高达约80%的FLOP和89.7%的参数。也就是说，堆叠基本单元为网络压缩提供了一种新的有前途的方式。
2022-05-03 cs.AI cs.CV cs.LG
PREMA: A Predictive Multi-task Scheduling Algorithm For Preemptible Neural Processing Units
KAIST（韩国科学技术院）
为了摊销成本，向最终用户提供DNN加速服务的云供应商采用整合和虚拟化来在多个DNN服务请求之间共享底层资源。本文提出了一个“可抢占”的神经处理单元（NPU）和“预测”的多任务调度，以满足高优先级推理的延迟需求，同时保持高吞吐量的情况下。我们评估的机制，使NPU是抢占和利用它们来满足调度目标的政策。我们表明，抢占式NPU多任务可以实现平均7.8倍，1.4倍，4.8倍的延迟，吞吐量和SLA满意度的改善，分别。
2019-09-06 cs.DC cs.LG cs.NE
Cheap Orthogonal Constraints in Neural Networks: A Simple Parametrization of the Orthogonal and Unitary Group
University of Oxford（牛津大学）
我们介绍了一种新的方法来执行正交和酉约束的一阶优化。这种方法是基于一个参数化源于李群理论通过指数映射。参数化将约束优化问题转化为欧氏空间上的无约束优化问题，可以使用常见的一阶优化方法。所给出的理论结果是一般的，足以涵盖特殊的正交群，酉群，并在一般情况下，任何连通紧李群。我们讨论了如何通过一个实现技巧来有效地计算这个和其他参数化，使得在神经网络中以可忽略的运行时成本使用数值上复杂的参数化。特别是，我们将我们的结果应用于具有正交递归权重的RNN，产生了一种称为expRNN的新架构。我们展示了我们的方法如何构成一种更强大的正交约束优化方法，在几个旨在测试RNN的任务中显示出更快，更准确，更稳定的收敛性。
2019-05-30 cs.LG stat.ML
Convolutional Feature Extraction and Neural Arithmetic Logic Units for Stock Prediction
BITS Pilani Goa Campus（贝拉理工学院皮拉尼果阿校区）
股票预测是一个多年来一直在深入研究的课题。金融专家和数学家一直在研究一种方法来预测未来的股票价格，以便决定购买或出售股票以获利。股票专家或经济学家，通常会对以前的股票价值进行分析，利用技术指标、情感分析等来预测未来的股票价格。近年来，许多研究已经广泛地使用机器学习来预测股票行为。在本文中，我们提出了数据驱动的深度学习方法，利用卷积神经网络的特征提取特性，并使用神经算术逻辑单元来预测未来的股票价值。
2019-05-18 cs.LG q-fin.ST stat.ML
Characterizing Learning in Spiking Neural Networks with Astrocyte-Like Units
Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）；University of Maryland（马里兰大学）；Lockheed Martin Aeronautics（洛克希德·马丁航空系统）
本文在脉冲神经网络中引入类星形胶质细胞单元，通过混沌时间序列预测实验发现神经元与星形胶质细胞的组合对学习至关重要，且二者比例约为2比1时学习率最高。
2025-03-09 cs.AI cs.LG physics.bio-ph
NeuMMU: Architectural Support for Efficient Address Translations in Neural Processing Units
KAIST（韩国科学技术院）
为了满足深度神经网络的计算和存储需求，神经处理单元（NPU）被广泛用于加速深度学习算法。与GPU如何从从属设备演变为主流处理器架构类似，NPU很可能会成为这个快速发展的异构架构领域的一等公民。本文提出了一个案例，使地址转换在NPU解耦的虚拟和物理内存地址空间。通过仔细的数据驱动的应用程序特性的研究，我们的根源之前GPU为中心的地址转换方案的几个限制，并提出了一个存储管理单元（MMU），是为NPU量身定制的。相比于一个甲骨文的MMU设计点，我们的建议只会产生平均0.06%的性能开销。
2019-11-15 cs.AR cs.DC cs.LG
On the stability properties of Gated Recurrent Units neural networks
Politecnico di Milano（米兰理工大学）
给出了保证GRU神经网络输入到状态稳定性（ISS）和增量输入到状态稳定性（δISS）的充分条件.这些条件是针对单层和多层结构设计的，由网络权重的非线性不等式组成。它们可以用来检查训练网络的稳定性，或者可以在GRU的训练过程中作为约束来实施。在四容水箱非线性基准系统上对训练过程进行了测试，显示出令人满意的建模性能。
2021-10-10 cs.LG cs.SY eess.SY
Full-Capacity Unitary Recurrent Neural Networks
University of Washington（华盛顿大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
循环神经网络是处理序列数据的强大模型，但它们通常受到消失和爆炸梯度问题的困扰。酉循环神经网络（uRNN）使用酉递归矩阵，最近被提出作为避免这些问题的一种手段。然而，在以前的实验中，递归矩阵被限制为参数化酉矩阵的乘积，并且仍然存在一个悬而未决的问题：当这样的参数化不能表示所有酉矩阵时，这种有限的表示能力如何限制可以学习的内容？为了解决这个问题，我们提出了全容量的uRNN，它在所有酉矩阵上优化了它们的递归矩阵，从而比使用有限容量递归矩阵的uRNN的性能有了显着提高。我们的贡献包括两个主要部分。首先，我们提供了一个理论论据，以确定是否酉参数化有限制的能力。使用这个参数，我们表明，最近提出的酉参数化的隐藏状态维数大于7的限制能力。其次，我们展示了如何一个完整的，全容量的酉递归矩阵可以优化的酉矩阵的可微流形。所得的乘法梯度步骤非常简单，并且不需要梯度裁剪或学习速率自适应。我们通过在合成和自然数据上对新的全容量uRNN进行经验评估来证实我们的主张的实用性，与LSTM和原始的容量受限uRNN相比，我们实现了更优越的性能。
2016-10-31 cs.LG cs.NE stat.ML
Neural Dimensional Analysis: Foundations of Dimensionless and Scale-Consistent Computation
The University of Tokyo（东京大学）
该研究提出神经量纲分析（NDA）框架，实现了规范变换Transformer（GCT），在语言模型等实验中提升了训练稳定性、验证损失表现及量化鲁棒性，确立量纲一致性为神经网络设计原则。
2026-10-14 cs.LG cs.NE
Convolutional unitary or orthogonal recurrent neural networks
Rockefeller University（洛克菲勒大学）
循环神经网络非常强大，但很难训练。他们的问题之一是消失梯度问题，即训练信号的传播可能会呈指数衰减，冻结训练。已经提出使用正交或酉矩阵来缓解这个问题，其功率既不爆炸也不衰减，但是它们的计算费用阻碍了它们的使用。在这里，我们证明了在卷积RNN的特定情况下，我们可以定义一个卷积指数，并且这个操作将反对称或反厄米卷积核转换为正交或酉卷积核。我们明确推导出基于FFT的算法来计算内核及其衍生物。因此，对正交变换的该子空间进行参数化的计算复杂性与网络的迭代相同。
2023-02-14 cond-mat.stat-mech cs.AI cs.LG
A Unit Selection Methodology for Music Generation Using Deep Neural Networks
Georgia Tech（佐治亚理工学院）；Google Research（谷歌研究院）
计算机基于数据生成音乐的方法有几种，包括马尔可夫链、递归神经网络、重组和语法。我们探索使用单位选择和串联作为一种手段，使用基于排名的程序生成音乐，其中，我们认为一个单位是一个可变长度的音乐措施。我们首先研究是否是一个单位的选择方法，这是限制在一个有限大小的单元库，可以足以涵盖广泛的音乐。我们通过开发一个深度自动编码器来实现这一点，该编码器对音乐输入进行编码，并通过从库中选择来重建输入。然后，我们描述了一个生成模型，该模型将深度结构化语义模型（DSSM）与LSTM相结合，以预测下一个单元，其中单元由四个，两个和一个音乐措施组成。我们评估生成模型使用客观指标，包括平均排名和准确性，并与主观的听力测试中，专家音乐家被要求完成一个被迫选择的排名任务。我们将我们的模型与音符级生成基线进行比较，该基线由经过训练的堆叠LSTM组成，以向前预测一个音符。
2016-12-12 cs.AI cs.LG cs.SD
