Full-Capacity Unitary Recurrent Neural Networks
University of Washington（华盛顿大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
循环神经网络是处理序列数据的强大模型，但它们通常受到消失和爆炸梯度问题的困扰。酉循环神经网络（uRNN）使用酉递归矩阵，最近被提出作为避免这些问题的一种手段。然而，在以前的实验中，递归矩阵被限制为参数化酉矩阵的乘积，并且仍然存在一个悬而未决的问题：当这样的参数化不能表示所有酉矩阵时，这种有限的表示能力如何限制可以学习的内容？为了解决这个问题，我们提出了全容量的uRNN，它在所有酉矩阵上优化了它们的递归矩阵，从而比使用有限容量递归矩阵的uRNN的性能有了显着提高。我们的贡献包括两个主要部分。首先，我们提供了一个理论论据，以确定是否酉参数化有限制的能力。使用这个参数，我们表明，最近提出的酉参数化的隐藏状态维数大于7的限制能力。其次，我们展示了如何一个完整的，全容量的酉递归矩阵可以优化的酉矩阵的可微流形。所得的乘法梯度步骤非常简单，并且不需要梯度裁剪或学习速率自适应。我们通过在合成和自然数据上对新的全容量uRNN进行经验评估来证实我们的主张的实用性，与LSTM和原始的容量受限uRNN相比，我们实现了更优越的性能。
2016-10-31 cs.LG cs.NE stat.ML
Unitary Evolution Recurrent Neural Networks
Universidad de Buenos Aires（布宜诺斯艾利斯大学）；University of Cambridge（剑桥大学）；Université de Montréal（蒙特利尔大学）
众所周知，循环神经网络（RNN）很难训练。当隐到隐权重矩阵的特征值偏离绝对值1时，由于消失和爆炸梯度的问题得到了很好的研究，优化变得很困难，特别是当试图学习长期依赖性时。为了解决这个问题，我们提出了一种新的架构，学习一个酉权重矩阵，其特征值的绝对值正好为1。我们所面临的挑战是，参数化酉矩阵的方式，不需要昂贵的计算（如特征分解）后，每次权重更新。我们构建了一个表达单一的权重矩阵组成的几个结构矩阵，作为积木与参数要学习。只有当考虑复域中的隐藏状态时，这种参数化的优化才变得可行。我们证明了这种架构的潜力，实现国家的最先进的结果，在几个硬任务，涉及非常长期的依赖关系。
2016-05-25 cs.LG cs.NE stat.ML
Improving neural networks with bunches of neurons modeled by Kumaraswamy units: Preliminary study
Wrocław University of Technology（弗罗茨瓦夫理工大学）
深度神经网络最近在许多机器学习问题中取得了最先进的成果，例如，语音识别或对象识别。最近，在整流线性单元（ReLU）上的工作提供了与通常使用的S形激活函数相比神经网络性能提高的经验和理论证据。在本文中，我们研究了一种新的方式来改善神经网络，通过引入一堆副本的相同的神经元模型的广义Kumaraswamy分布。因此，我们提出了一种新的非线性激活函数，我们称之为Kumaraswamy单元，它与ReLU密切相关。在MNIST图像语料库的实验研究中，我们评估了应用于单层（浅层）神经网络的Kumaraswamy单元，并报告了与sigmoid单元，ReLU和Noisy ReLU相比，测试分类错误和测试交叉熵的显着下降。
2015-05-11 cs.LG cs.NE
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
Université de Montréal（蒙特利尔大学）
在本文中，我们比较了循环神经网络（RNN）中不同类型的递归单元。特别是，我们专注于实现门控机制的更复杂的单元，例如长短期记忆（LSTM）单元和最近提出的门控递归单元（GRU）。我们评估这些经常性单位的任务，复调音乐建模和语音信号建模。我们的实验表明，这些先进的经常性单位确实比更传统的经常性单位，如tanh单位。此外，我们发现GRU与LSTM相当。
2014-12-11 cs.LG cs.NE
Understanding Priors in Bayesian Neural Networks at the Unit Level
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）；University of Granada（格拉纳达大学）
我们研究了具有高斯权重先验和一类ReLU非线性的深度贝叶斯神经网络。众所周知，具有高斯先验的贝叶斯神经网络会引起L2，“权重衰减”，正则化。我们的研究结果表征了一个更复杂的正则化效应的水平上的单位激活。我们的主要结果建立了诱导先验分布的单位之前和之后的激活变得越来越重尾层的深度。我们发现，第一层单位是高斯，第二层单位是次指数，和单位在更深的层的特点是分韦布尔分布。我们的研究结果为深度贝叶斯神经网络提供了新的理论见解，并与模拟实验进行了验证。
2019-05-10 cs.LG stat.ML
Activation Functions for "A Feedforward Unitary Equivariant Neural Network"
University of Oxford（牛津大学）
本文将前馈酉等变神经网络中的三种激活函数推广为单一函数形式，在保持酉等变性的同时提升了网络架构设计的灵活性。
2024-11-17 cs.LG cs.NE
Efficient Design of Neural Networks with Random Weights
具有随机权重的单层前馈网络以其非迭代和快速训练算法而闻名，并且在各种分类和回归问题中取得了成功。这些网络的一个主要缺点是它们需要大量的隐藏单元。在本文中，我们提出了一种技术，大大减少了隐藏单元的数量，而不会影响网络的准确性显着。我们引入了主隐单元和次隐单元的概念。主隐藏单元的权重是随机选择的，而次隐藏单元是使用主隐藏单元的成对组合导出的。使用这种技术，我们表明，隐藏单元的数量可以减少至少一个数量级。我们的实验表明，这种技术会导致推理时的计算量显着下降，对网络精度只有很小的影响。如果可以接受稍微低一点的精度，计算量就有可能大大减少。
2020-08-24 cs.LG cs.NE stat.ML
Multi-Activation Hidden Units for Neural Networks with Random Weights
具有随机权重的单层前馈网络在各种分类和回归问题中是成功的。这些网络以其非迭代和快速训练算法而闻名。这些网络的一个主要缺点是它们需要大量的隐藏单元。在本文中，我们提出了使用多激活隐藏单元。这样的单元增加了可调参数的数量，并能够形成复杂的决策表面，而不增加隐藏单元的数量。我们的实验表明，多激活隐藏单元可以用来提高分类精度，或减少计算。
2020-09-23 cs.LG cs.NE
R3Net: Random Weights, Rectifier Linear Units and Robustness for Artificial Neural Network
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们考虑一个具有随机化特征的神经网络架构，一个符号分离器，后面是整流线性单元（ReLU）。我们证明了我们的架构具有鲁棒性的输入扰动：输出功能的神经网络表现出Lipschitz连续的输入扰动。我们进一步证明了网络输出具有一种区分能力，即不是任意接近的输入生成输出向量，这些输出向量保持彼此之间的距离服从一定的下界。这确保了两个不同的输入保持可区分，同时收缩输出特征空间中的距离。
2018-03-12 cs.LG stat.ML
Systematically designing better instance counting models on cell images with Neural Arithmetic Logic Units
TIET（塔帕尔工程技术学院）
训练用于计数实例的神经网络模型的大问题是，每当测试范围变高时，训练范围泛化误差增加，即它们在训练范围之外不是好的泛化器。考虑自动化细胞计数过程的情况，其中与训练数据中使用的图像相比，通常遇到具有更高细胞计数的更密集图像。通过对更高范围的细胞计数进行更好的预测，我们的目标是为细胞计数创建更好的泛化系统。随着神经算术逻辑单元（NALU）结构的提出，对于训练数据中未包含的更高数值范围的计数任务变得可行，并具有更好的精度。作为我们研究的一部分，我们使用这些单元和不同的其他激活函数来学习细胞计数任务，具有两种不同的架构，即全卷积回归网络和U-网络。这些数值偏置的单元被添加到原始架构的残余级联层的形式，并与这些新提出的变化进行了比较实验研究。这种比较研究是在优化回归损失问题，从这些模型训练广泛的数据增强技术。我们能够在细胞计数任务的实验中取得更好的结果，将这些数值偏置单元以剩余层级联连接的形式引入到现有的架构中。我们的研究结果证实，上述数值偏差单位确实有助于模型学习数值量，以获得更好的泛化结果。
2020-06-15 cs.LG cs.NE stat.ML
Detecting Dead Weights and Units in Neural Networks
New York University（纽约大学）
深度神经网络是高度过度参数化的，并且神经网络的大小可以在训练后显著减小而性能没有任何降低。人们可以清楚地看到这种现象在各种各样的架构训练的各种问题。权重/通道修剪、蒸馏、量化、矩阵分解是一些可以用来去除冗余的主要方法，以产生更小更快的模型。这项工作从一个简短的信息章节开始，在那里我们激发了修剪的想法，并提供了必要的符号。在第二章中，我们比较了不同的显着性分数的参数修剪的背景下。使用从这种比较中获得的见解并说明它带来的问题，我们激发了为什么修剪单元而不是单个参数可能是一个更好的主意。我们提出了一些定义来量化和分析那些不学习和创建任何有用信息的单元。我们提出了一种有效的方法来检测死单位，并使用它来选择哪些单位修剪。我们通过MNIST上的单元式修剪获得了5倍的模型大小缩减。
2018-06-15 cs.LG stat.ML
Minimal Gated Unit for Recurrent Neural Networks
Nanjing University（南京大学）
最近循环神经网络（RNN）在处理序列数据方面非常成功。然而，理解RNN并找到RNN的最佳实践是一项艰巨的任务，部分原因是存在许多竞争和复杂的隐藏单元（如LSTM和GRU）。我们提出了一种RNN的门单元，称为最小门单元（MGU），因为它只包含一个门，这是所有门隐藏单元中的最小设计。MGU的设计受益于文献中对LSTM和GRU的评估结果。在不同序列数据上的实验表明，MGU具有与GRU相当的准确性，但具有更简单的结构，更少的参数和更快的训练速度。因此，MGU适用于RNN的应用。它简单的架构也意味着它更容易评估和调整，原则上更容易从理论和经验上研究MGU的属性。
2016-03-31 cs.LG cs.NE
Why ReLU Units Sometimes Die: Analysis of Single-Unit Error Backpropagation in Neural Networks
Southern Methodist University（南卫理公会大学）
最近，机器学习中的神经网络在早期处理层中使用整流线性单元（ReLU）以获得更好的性能。训练这些结构有时会导致输出接近零的“死亡ReLU单元”。我们首先通过使用CIFAR-10数据集和两种流行的卷积神经网络架构的变体进行模拟来探索这种情况。我们的探索表明，输出激活概率Pr[y>0]在系统收敛时通常小于0.5，对于不采用跳跃连接的层，并且随着从输入层到输出层的进展，该激活概率趋于减小。使用一个由误差反向传播变体训练的单个ReLU单元的简化模型，然后我们进行统计收敛分析，以探索模型的进化行为。我们的分析描述了死亡ReLU单元的潜在较慢的收敛速度，无论权重如何初始化，这个问题都可能发生。
2018-12-14 cs.LG eess.SP stat.ML
Complex Unitary Recurrent Neural Networks using Scaled Cayley Transform
University of Kentucky（肯塔基大学）
循环神经网络（RNN）已成功地用于广泛的序列数据问题。使用RNN的一个众所周知的困难是\textit{vanishing or exploding gradient}问题。最近，有几种不同的RNN架构试图通过维护正交或酉递归权重矩阵来缓解这个问题。一种这样的架构是缩放凯莱正交递归神经网络（scoRNN），其通过缩放凯莱变换来参数化正交递归权重矩阵。该参数化包含一个对角缩放矩阵，该矩阵由不能通过梯度下降优化的正或负1项组成。因此，缩放矩阵在训练之前是固定的，并且引入超参数来为每个特定任务调整矩阵。在本文中，我们开发了一种基于复尺度凯莱变换的酉RNN架构。与实正交情况不同，该变换使用由复数单位圆上的条目组成的对角缩放矩阵，该矩阵可以使用梯度下降进行优化，并且不再需要调整超参数。我们还分析了我们工作中使用的modReLU activity函数和其他几个酉RNN的潜在问题。在进行的实验中，缩放凯莱酉递归神经网络（scuRNN）实现了与scoRNN和其他酉RNN相当或更好的结果，而无需固定缩放矩阵。
2019-02-25 cs.LG stat.ML
Improving the Robustness of Neural Multiplication Units with Reversible Stochasticity
University of Southampton（南安普顿大学）
多层感知器很难学习某些简单的算术任务。用于算术的专家神经模块可以在外推、可解释性和收敛速度方面优于经典架构，但对训练范围高度敏感。在本文中，我们证明了神经乘法单元（NMU）在给定不同的训练范围时，无法可靠地学习像将两个输入相乘这样简单的任务。失败的原因与诱导和输入偏置有关，这些偏置鼓励收敛到不期望的最优解。一个解决方案，随机NMU（sNMU），提出了应用可逆的随机性，鼓励避免这样的最优，同时收敛到真正的解决方案。从经验上讲，我们表明，随机性提供了改进的鲁棒性，有可能提高上游网络的数值和图像任务的学习表示。
2022-11-10 cs.LG cs.NE
Integral representations of shallow neural network with Rectified Power Unit activation function
Johann Radon Institute（约翰·拉东研究所）；University of Vienna（维也纳大学）
在这项工作中，我们推导出一个公式的积分表示的浅层神经网络的整流功率单元激活函数。主要地，我们的第一个结果涉及RePU浅网络的表示能力的单变量情况。本文的多维结果刻画了可以用有界范数和可能无界宽度表示的函数集。
2021-12-20 cs.LG cs.NE math.FA
Understanding Weight Normalized Deep Neural Networks with Rectified Linear Units
Purdue University（普渡大学）
本文提出了一种基于范数的$L_{p,q}$权重归一化深度神经网络容量控制的一般框架。我们建立了这个家庭的Rademacher复杂性的上界。与$L_{p,q}$规范化，其中$q\le p^*$，和$1/p+1/p^{*}=1$，我们讨论的宽度无关的容量控制，它只依赖于深度的平方根项的属性。我们进一步分析了$L_{p,q}$权值归一化深度神经网络的逼近性质。特别地，对于$L_{1,\infty}$权重归一化网络，近似误差可以由输出层的$L_1$范数控制，并且相应的泛化误差仅取决于深度的平方根的架构。
2018-11-28 cs.LG stat.ML
Building Efficient Deep Neural Networks with Unitary Group Convolutions
Cornell University（康奈尔大学）
我们提出了酉群卷积（UGConvs），这是CNN的一个构建块，它在特征空间中构成了具有酉变换的群卷积，以学习比单独的群卷积更丰富的表示集。UGConvs概括了CNN架构中的两个不同的想法，即信道重排（即ShuffleNet）和块循环网络（即CirCNN），并提供了统一的见解，从而加深了对每种技术的理解。我们通过实验证明，密集酉变换在DNN精度方面可以优于信道重排。另一方面，不同的密集变换表现出相当的精度性能。基于这些观察，我们提出了HadaNet，一个使用Hadamard变换的UGConv网络。HadaNets实现了与循环网络相似的精度，具有较低的计算复杂度，并且比具有相同数量的参数和浮点乘法的ShuffleNets具有更好的精度。
2019-04-09 cs.LG stat.ML
PREMA: A Predictive Multi-task Scheduling Algorithm For Preemptible Neural Processing Units
KAIST（韩国科学技术院）
为了摊销成本，向最终用户提供DNN加速服务的云供应商采用整合和虚拟化来在多个DNN服务请求之间共享底层资源。本文提出了一个“可抢占”的神经处理单元（NPU）和“预测”的多任务调度，以满足高优先级推理的延迟需求，同时保持高吞吐量的情况下。我们评估的机制，使NPU是抢占和利用它们来满足调度目标的政策。我们表明，抢占式NPU多任务可以实现平均7.8倍，1.4倍，4.8倍的延迟，吞吐量和SLA满意度的改善，分别。
2019-09-06 cs.DC cs.LG cs.NE
Neural Networks with Structural Resistance to Adversarial Attacks
University of California, Santa Cruz（加州大学圣克鲁兹分校）
在对机器学习分类器的对抗性攻击中，小扰动被添加到正确分类的输入中。扰动产生了对抗性的例子，这些例子与未扰动的输入几乎无法区分，但却被错误分类。在用于深度学习的标准神经网络中，攻击者可以从大多数输入中制作对抗性示例，以导致他们选择的错误分类。我们引入了一种新型的网络单元，称为RBFI单元，其非线性结构使其具有固有的抵抗对抗性攻击的能力。在置换不变的MNIST上，在没有对抗性攻击的情况下，使用RBFI单元的网络与使用sigmoid单元的网络的性能相匹配，并且略低于使用ReLU单元的网络的准确性。当受到对抗性攻击时，具有RBFI单元的网络保持90%以上的准确率，而具有ReLU或sigmoid单元的网络的准确率降低到2%以下。使用常规输入训练的RBFI网络在抵抗对抗性攻击方面甚至优于在对抗性示例帮助下训练的ReLU和sigmoid网络。RBFI单元的非线性结构使得它们难以使用标准梯度下降来训练。我们表明，RBFI单元的网络可以使用伪梯度有效地训练到高精度，使用专门设计的函数来计算，以方便学习，而不是它们的真实导数。我们证明了伪梯度的使用使得训练深度RBFI网络变得实用，并且我们比较了RBFI网络的几种结构选择的准确性。
2018-09-25 cs.CR cs.LG cs.NE
Deep Unitary Convolutional Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
深度神经网络可能会遇到爆炸和消失的激活问题，其中网络无法正确训练，因为神经信号在层间放大或衰减并变得饱和。虽然其他标准化方法旨在解决所述问题，但在需要神经激活的运行平均值的应用中，它们中的大多数都具有推理速度损失。在这里，我们将基于李代数的酉框架扩展到任何维度的神经网络，克服了现有技术中将突触权重限制为方阵的主要约束。我们提出的酉卷积神经网络提供了高达32%的推理速度和高达50%的永久硬盘空间减少，同时保持竞争力的预测精度。
2021-08-20 cs.AI cs.LG
Cheap Orthogonal Constraints in Neural Networks: A Simple Parametrization of the Orthogonal and Unitary Group
University of Oxford（牛津大学）
我们介绍了一种新的方法来执行正交和酉约束的一阶优化。这种方法是基于一个参数化源于李群理论通过指数映射。参数化将约束优化问题转化为欧氏空间上的无约束优化问题，可以使用常见的一阶优化方法。所给出的理论结果是一般的，足以涵盖特殊的正交群，酉群，并在一般情况下，任何连通紧李群。我们讨论了如何通过一个实现技巧来有效地计算这个和其他参数化，使得在神经网络中以可忽略的运行时成本使用数值上复杂的参数化。特别是，我们将我们的结果应用于具有正交递归权重的RNN，产生了一种称为expRNN的新架构。我们展示了我们的方法如何构成一种更强大的正交约束优化方法，在几个旨在测试RNN的任务中显示出更快，更准确，更稳定的收敛性。
2019-05-30 cs.LG stat.ML
Convolutional Feature Extraction and Neural Arithmetic Logic Units for Stock Prediction
BITS Pilani Goa Campus（贝拉理工学院皮拉尼果阿校区）
股票预测是一个多年来一直在深入研究的课题。金融专家和数学家一直在研究一种方法来预测未来的股票价格，以便决定购买或出售股票以获利。股票专家或经济学家，通常会对以前的股票价值进行分析，利用技术指标、情感分析等来预测未来的股票价格。近年来，许多研究已经广泛地使用机器学习来预测股票行为。在本文中，我们提出了数据驱动的深度学习方法，利用卷积神经网络的特征提取特性，并使用神经算术逻辑单元来预测未来的股票价值。
2019-05-18 cs.LG q-fin.ST stat.ML
Piecewise Linear Units Improve Deep Neural Networks
Deakin University（迪肯大学）
激活函数是深度神经网络非线性的核心;函数的选择对训练的成功有很大影响。目前，许多从业者更喜欢整流线性单元（ReLU），因为它的简单性和可靠性，尽管它的缺点很少。虽然大多数以前提出的取代ReLU的函数都是手工设计的，但最近在训练过程中学习函数的工作已经显示出了有希望的结果。在本文中，我们提出了一个自适应分段线性激活函数，分段线性单元（PiLU），它可以独立学习的神经网络的每个维度。我们演示了如何PiLU是一个广义的整流器单元，并注意到它的相似之处，自适应分段线性单元，即自适应和分段线性。在30个实验的分布中，我们表明，对于相同的模型架构，超参数和预处理，PiLU显着优于ReLU：在CIFAR-10和CIFAR-100上分别减少了18.53%和13.13%的分类错误，神经元数量略有增加。进一步的工作应该致力于探索广义分段线性单元，以及验证这些结果在其他具有挑战性的领域和更大的问题。
2021-08-22 cs.AI cs.LG cs.NE
Neural Dimensional Analysis: Foundations of Dimensionless and Scale-Consistent Computation
The University of Tokyo（东京大学）
该研究提出神经量纲分析（NDA）框架，实现了规范变换Transformer（GCT），在语言模型等实验中提升了训练稳定性、验证损失表现及量化鲁棒性，确立量纲一致性为神经网络设计原则。
2026-10-14 cs.LG cs.NE
NeuMMU: Architectural Support for Efficient Address Translations in Neural Processing Units
KAIST（韩国科学技术院）
为了满足深度神经网络的计算和存储需求，神经处理单元（NPU）被广泛用于加速深度学习算法。与GPU如何从从属设备演变为主流处理器架构类似，NPU很可能会成为这个快速发展的异构架构领域的一等公民。本文提出了一个案例，使地址转换在NPU解耦的虚拟和物理内存地址空间。通过仔细的数据驱动的应用程序特性的研究，我们的根源之前GPU为中心的地址转换方案的几个限制，并提出了一个存储管理单元（MMU），是为NPU量身定制的。相比于一个甲骨文的MMU设计点，我们的建议只会产生平均0.06%的性能开销。
2019-11-15 cs.AR cs.DC cs.LG
LANCE: Efficient Low-Precision Quantized Winograd Convolution for Neural Networks Based on Graphics Processing Units
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Jilin University（吉林大学）
加速深度卷积神经网络已经成为一个活跃的话题，并引发了学术界和工业界的兴趣。在本文中，我们提出了一个有效的低精度量化Winograd卷积算法，称为LANCE，它结合了快速卷积和量化技术的优点。通过将线性量化操作嵌入到Winograd域中，可以在图形处理单元上的低精度计算下有效地执行快速卷积。我们使用LANCE在代表性的图像分类数据集上测试神经网络模型，包括SVHN、CIFAR和ImageNet。实验结果表明，我们的8位量化Winograd卷积的性能提高了高达2.40倍的全精度卷积与微不足道的精度损失。
2020-07-28 cs.CV cs.LG cs.NE
Dropout with Tabu Strategy for Regularizing Deep Neural Networks
Griffith University（格里菲斯大学）；Jinan University（暨南大学）
Dropout已被证明是一种有效的正则化技术，可以防止深度神经网络（DNN）中神经元的协同适应。它在DNN的训练阶段以概率$p$随机丢弃单元。Dropout还提供了一种近似地以指数方式有效地组合许多不同的神经网络架构的方法。在本文中，我们在dropout中加入了一个多样化策略，目的是在适当的迭代次数内生成更多不同的神经网络结构。将标记上次前向传播中丢弃的单元。然后，如果在最后一次前向传播中已标记了当前FP中用于丢弃的所选单元，则将保留它们。我们只标记最后一次向前传播的单元。我们称这种新技术为Tabu Dropout。与标准Dropout相比，Tabu Dropout没有额外的参数，而且计算成本很低。在MNIST、Fashion-MNIST数据集上进行的实验表明，Tabu Dropout算法提高了标准Dropout算法的性能。
2018-08-29 cs.LG stat.ML
Eigenvalue Normalized Recurrent Neural Networks for Short Term Memory
University of Kentucky（肯塔基大学）
最近开发了具有正交或酉递归矩阵的循环神经网络（RNN）的几种变体，以减轻消失/爆炸梯度问题并对序列的长期依赖性进行建模。然而，由于递归矩阵的特征值在单位圆上，递归状态保留了所有的输入信息，这可能不必要地消耗模型容量。在本文中，我们通过提出一种架构来解决这个问题，该架构扩展了正交/酉RNN，其状态由具有单位圆盘中特征值的递归矩阵生成。任何输入都会随着时间的推移而消散，并被新的输入所取代，模拟短期记忆。一个梯度下降算法推导出学习这样的递归矩阵。由此产生的方法，称为特征值归一化RNN（ENRNN），在几个实验中显示出高度的竞争力。
2019-11-18 cs.LG stat.ML
Factors for the Generalisation of Identity Relations by Neural Networks
City University of London（伦敦城市大学）
许多研究人员都隐含地假设神经网络学习关系，并将其推广到新的看不见的数据。然而，最近已经表明，前馈网络的推广失败的身份关系。这个问题的解决方案是建立一个电感偏置差分整流器（DR）的单位。在这项工作中，我们探讨了神经网络架构和学习过程中的各种因素，无论它们是否对神经网络在早期和中期融合架构中没有DR单元和DR单元的平等检测的概括产生影响。我们发现在实验中与合成数据的隐藏层，激活函数和数据表示的数量的影响。训练集的大小与向量的总可能集合的关系也会产生差异。然而，在50%的概率水平下，没有DR单元的准确度从未超过61%。DR单元提高了所有任务的通用性，并在Mid Fusion设置中实现了近乎完美的测试精度。因此，DR单元似乎是一种很有前途的方法，可以创建标准网络所缺乏的泛化能力。
2019-06-13 cs.LG stat.ML
Single Unit Status in Deep Convolutional Neural Network Codes for Face Identification: Sparseness Redefined
School of Behavioral and Brain Sciences（行为与脑科学学院）；The University of Texas at Dallas（得克萨斯大学达拉斯分校）；UMIACS（马里兰大学信息与计算机科学学院）；University of Maryland（马里兰大学）
为人脸识别而训练的深度卷积神经网络（DCNN）开发了在可变图像上泛化的表示，同时保留主题（例如，性别）和图像（例如，观点）信息。身份，性别和观点代码进行了研究，在“神经元”和合奏水平的人脸识别网络。在单元级别，识别，性别分类和观点估计通过删除单元来测量，以在顶部网络层创建可变大小的随机采样子空间。随着维度从512个单位降低到16（0.95）、4（0.80）和2（0.72）个单位，3，531个身份的识别率仍然很高（ROC下的面积约为1.0）。每个顶层单元上的个人身份都是统计分离的。跨单位的反应是最低限度的相关性，表明单位代码非冗余的身份线索。这种“分布式”代码只需要稀疏的随机样本就可以准确地识别人脸。随着维度的减少，性别分类逐渐下降，观点估计急剧下降。个别单位弱预测性别和观点，但合奏证明有效的预测。因此，分布式和稀疏码共存于网络单元中，以表示不同的人脸属性。在集成水平上，人脸表征的主成分分析表明，身份，性别和观点信息分离到高维子空间，解释方差排序。身份，性别和观点信息有助于所有个人单位的反应，削弱了面部属性的神经调节类比。从DCNN解释神经类代码，并通过类比，高级视觉代码，不能从单个单元响应推断。相反，“意义”是由高维空间中的方向编码的。
2020-03-01 cs.CV cs.LG
A Novel Framework for Recurrent Neural Networks with Enhancing Information Processing and Transmission between Units
School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机学院）
基于认知神经科学中的人类记忆模型，提出了一种新的循环神经网络（RNN）框架，以增强相邻RNN单元之间的信息处理和传输。RNN的框架由工作记忆、遗忘和长期存储三个阶段组成。第一阶段包括将输入数据取入感觉记忆，并将其转移到工作记忆进行初步处理。第二阶段主要是主动遗忘工作记忆中的次要信息而不是主要信息。最后，我们通常使用某种RNN的单位来获得长期存储。我们的框架，这是广义和简单的，6个数据集，分为3个不同的任务，对应于文本分类，图像分类和语言建模进行评估。实验结果表明，该框架可以明显提高传统循环神经网络的性能。探索性任务显示了我们的框架正确遗忘次要信息的能力。
2018-06-02 cs.CL cs.LG cs.NE
Parameter-varying neural ordinary differential equations with partition-of-unity networks
Arizona State University（亚利桑那州立大学）；Sandia National Laboratories（桑迪亚国家实验室）
在这项研究中，我们提出了参数变化的神经常微分方程（NODE）的模型参数的演变是由单位分割网络（POUNets），一个混合专家模型架构。与POUNets合成的NODE的拟议变体学习空间的无网格分区，并使用与每个分区相关联的多项式集表示ODE参数的演变。我们证明了所提出的方法的有效性的三个重要任务：（1）混合动力系统的数据驱动的动力学建模，（2）切换线性动力系统，和（3）潜在的动力系统与不同的外部强迫。
2022-10-01 cs.LG
A Feedforward Unitary Equivariant Neural Network
United Kingdom Atomic Energy Authority（英国原子能管理局）；The University of Hong Kong（香港大学）
我们设计了一种新型的前馈神经网络。它与酉群$U(n)$是等变的。输入和输出可以是具有任意维度$n$的$\mathbb{C}^n$中的向量。在我们的实现中不需要卷积层。避免了类傅里叶变换中高阶项截断所带来的误差。每一层的实现都可以通过简单的计算有效地完成。作为概念的证明，我们已经给出了原子运动动力学预测的经验结果，以证明我们的方法的实用性。
2022-08-25 cs.LG
Adaptive Blending Units: Trainable Activation Functions for Deep Neural Networks
Institute for Cognitive Science（认知科学研究所）；Osnabrück University（奥斯纳布吕克大学）
当前深度前馈神经网络中最广泛使用的激活函数是整流线性单元（ReLU），并且许多替代方案也已成功应用。然而，没有一种替代方案能够始终优于其他方案，并且没有统一的理论将任务和网络的属性与激活函数的属性联系起来，以实现最有效的训练。一个可能的解决方案是让网络学习它的首选激活函数。在这项工作中，我们引入自适应混合单元（ABU），一组激活函数的可训练线性组合。由于ABU学习形状，以及激活函数的整体缩放，我们还分析了自适应缩放在常见激活函数中的效果。我们的实验证明了自适应缩放和ABU的优势，共同的激活函数在一组系统不同的网络规范。我们进一步表明，自适应缩放的工作原理，减轻协变量偏移，在训练过程中，和ABU的性能观察到的优势同样在很大程度上依赖于激活函数的能力，以适应在训练过程中。
2018-06-26 cs.LG stat.ML
Bi-class classification of humpback whale sound units against complex background noise with Deep Convolution Neural Network
ENSTA Bretagne（布列塔尼国立高等先进技术学校）；Inst. Syst. Intelligents et de Robotique, UPMC（皮埃尔和玛丽·居里大学智能系统与机器人研究所）；Sorbonne Universités, UPMC, UMR 7190, Institut Jean Le Rond d’Alembert（索邦大学皮埃尔和玛丽·居里大学达朗贝尔研究所）
在复杂的时变背景噪声中自动检测座头鲸的声音单元是科学家们目前面临的挑战。在本文中，我们探讨了卷积神经网络（CNN）的方法，这项任务的适用性。在评估阶段，我们提出了6个针对不同背景噪声类型（例如，雨，风）。与经典的基于FFT的表示（如频谱图）相比，我们发现使用基于图像的预训练CNN特征可以提高对鲸鱼声音和背景噪声进行分类的性能。
2017-03-31 cs.LG cs.SD stat.ML
Parameter Transfer Unit for Deep Neural Networks
Hong Kong University of Science and Technology（香港科技大学）
在大规模数据库上训练的深度神经网络中的参数可以跨多个域泛化，这被称为“可转移性”。不幸的是，可转移性通常被定义为离散状态，并且它因域和网络结构而异。现有的工作通常是抽象地应用参数共享或微调，并没有原则性的方法来学习参数传递策略。为了解决这个问题，本文提出了一种参数传递单元（PTU）。PTU从源和目标域网络中学习细粒度的非线性激活组合，并包含手工制作的离散传输状态。在PTU中，可转移性由两个门控制，这两个门是人工神经元，可以从数据中学习。PTU是一个通用且灵活的模块，可用于CNN和RNN。实验进行了各种网络架构和多个传输域对。结果表明PTU的有效性，因为它优于启发式参数共享和微调在大多数设置。
2018-04-23 cs.LG stat.ML
IC-Network: Efficient Structure for Convolutional Neural Networks
Nanjing University（南京大学）
神经网络已经得到了广泛的应用，大多数网络通过堆叠某些类型的基本单元来实现优异的性能。相比于增加网络的深度和宽度，设计更有效的基本单元成为一个重要的研究课题。受物理学中弹性碰撞模型的启发，我们提出了一种通用的结构，可以集成到现有的网络结构中，以加快训练过程并提高其泛化能力。我们将这种结构称为“层间碰撞”（IC）结构。将IC结构与卷积运算相结合，构建了构成卷积神经网络（CNN）的两种基本计算单元（IC层和IC块）。与传统卷积相比，这两种计算单元都具有更强的非线性表示能力，可以过滤对给定任务有用的特征。使用这些计算单元来构建网络，我们可以显着提高现有最先进CNN的性能。在imagenet实验中，我们将IC块集成到ResNet-50中，并将top-1错误从22.85%降低到21.49%，这也超过了ResNet-100的top-1错误（21.75%）。
2020-06-04 cs.LG stat.ML
Role Taxonomy of Units in Deep Neural Networks
Tsinghua University（清华大学）
本文通过引入功能检索测试，将DNNs中的单元按其在训练集和测试集上的功能偏好分为四类，发现这四类单元的比例与DNNs的泛化能力高度相关，从而为良好泛化能力的DNNs提供了标志。
2023-11-20 cs.CV cs.LG
Unit Impulse Response as an Explainer of Redundancy in a Deep Convolutional Neural Network
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
卷积神经网络（CNN）通常设计有网络架构的启发式初始化，并针对特定任务进行训练。这通常会导致学习后的过度参数化，并在网络内的信息流路径中引入冗余。这种鲁棒性和可靠性是以冗余计算的增加为代价的。已经提出了几种方法，这些方法利用量化每个层中的冗余的度量。然而，这些方法中的逐层评估忽略了由于模型学习的特征的分布式性质而存在的跨深度的远程冗余。在本文中，我们提出了（i）一种机制，以经验证明CNN的性能的鲁棒性，在其深度上的冗余，（ii）一种方法来识别系统冗余响应的CNN跨深度使用单位脉冲响应的理解，我们随后演示了使用这些方法来解释冗余在少数网络作为例子。这些技术提供了对CNN内部动态的更好的洞察
2019-06-10 cs.LG stat.ML
The Domain Mixed Unit: A New Neural Arithmetic Layer
Paul Curry（独立研究者）
本文提出一种新的神经算术单元 Domain Mixed Unit (DMU)，通过单参数门在对数与线性空间表示间混合以执行加减法，在 NALM Benchmark 上取得最先进性能。
2025-09-15 cs.LG
Poisson Hyperplane Processes with Rectified Linear Units
Institute of Mathematical Sciences, ShanghaiTech University, China（上海科技大学数学科学研究所）；Department of Statistics and Actuarial Science, Simon Fraser University, Canada（西蒙弗雷泽大学统计与精算科学系）
本文提出将泊松超平面过程与两层ReLU神经网络结合，通过概率表示和退火序列蒙特卡洛算法提升大规模问题的处理能力。
2026-01-09 cs.LG stat.ME stat.ML
Lipschitz Recurrent Neural Networks
ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）；Ben-Gurion University（本·古里安大学）；Google Research（谷歌研究院）
将循环神经网络（RNNs）视为连续时间动力系统，我们提出了一个递归单元，它用两个部分来描述隐藏状态的演化：一个众所周知的线性分量加上一个Lipschitz非线性。这种特殊的函数形式便于使用非线性系统理论的工具对经常性单元的长期行为进行稳定性分析。反过来，这使得在实验之前就可以做出架构设计决策。给出了递归单元全局稳定的充分条件，为隐到隐矩阵的构造提供了一种新的方法。我们的实验表明，Lipschitz RNN可以在一系列基准任务上优于现有的递归单元，包括计算机视觉，语言建模和语音预测任务。最后，通过基于Hessian的分析，我们证明了与其他连续时间RNN相比，我们的Lipschitz递归单元在输入和参数扰动方面更具鲁棒性。
2021-04-24 cs.LG math.DS stat.ML
Understanding the Role of Individual Units in a Deep Neural Network
Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）；Adobe Research, Adobe Inc.（Adobe公司研究院）；Massachusetts Institute of Technology–International Business Machines (IBM) Watson Artificial Intelligence Laboratory（麻省理工学院-IBM沃森人工智能实验室）；Media Lab, Massachusetts Institute of Technology（麻省理工学院媒体实验室）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；The Chinese University of Hong Kong（香港中文大学）
深度神经网络擅长于寻找解决大型数据集上复杂任务的分层表示。我们人类如何理解这些习得的表征？在这项工作中，我们提出了网络解剖，一个分析框架，系统地识别单个隐藏单元内的语义图像分类和图像生成网络。首先，我们分析了一个在场景分类上训练的卷积神经网络（CNN），并发现了与一组不同的对象概念相匹配的单元。我们发现有证据表明，网络已经学习了许多对象类，这些对象类在对场景类进行分类时起着至关重要的作用。其次，我们使用类似的分析方法来分析生成对抗网络（GAN）模型训练生成场景。通过分析当一小部分单元被激活或停用时所做的更改，我们发现可以在适应上下文的同时从输出场景中添加和删除对象。最后，我们将我们的分析框架应用于理解对抗攻击和语义图像编辑。
2020-09-12 cs.CV cs.LG cs.NE
Properties of the geometry of solutions and capacity of multi-layer neural networks with Rectified Linear Units activations
Bocconi University（博科尼大学）
本文研究ReLU两层神经网络的容量与解空间几何结构，发现其容量在隐藏层神经元增多时保持有限，并揭示解空间中存在稀有但高密度且对权重和输入扰动鲁棒的解区域。
2024-05-03 cond-mat.dis-nn cs.LG stat.ML
Hidden Unit Specialization in Layered Neural Networks: ReLU vs. Sigmoidal Activation
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence（伯努利数学、计算机科学与人工智能研究所）；University of Groningen（格罗宁根大学）
我们研究分层神经网络的整流线性单元（ReLU）的建模框架随机训练过程。与S形激活函数的比较是感兴趣的中心。我们计算典型的学习曲线，在匹配的学生教师场景中，具有K个隐藏单元的浅网络。在训练集的临界规模下，系统的泛化性能通过隐藏单元的特殊化过程表现出突变。令人惊讶的是，我们的结果表明，ReLU网络的训练行为与具有S形激活的网络有质的不同。在具有K >= 3个S形隐藏单元的网络中，过渡是不连续的：即使对于非常大的训练集，专用网络配置也共存并与性能较差的状态竞争。相反，使用ReLU激活会导致所有K的连续转换：对于足够大的训练集，两个竞争的，不同的专业化状态显示出相似的泛化能力，这对于K到无穷大的大型网络来说完全一致。
2020-05-27 cond-mat.dis-nn cs.LG stat.ML
Dual Rectified Linear Units (DReLUs): A Replacement for Tanh Activation Functions in Quasi-Recurrent Neural Networks
IDLab, ELIS, Ghent University – imec（根特大学-imec的IDLab和ELIS（根特大学全球校区生物技术数据科学中心））；Center for Biotech Data Science, Ghent University Global Campus（根特大学全球校区生物技术数据科学中心）
在本文中，我们介绍了一种新型的整流线性单元（ReLU），称为对偶整流线性单元（DReLU）。DReLU带有无界的正图像和负图像，可以用作准递归神经网络（QRNN）的递归步骤中tanh激活函数的直接替代（Bradbury et al.（2017））。类似于ReLU，DReLU不太容易出现消失梯度问题，它们是噪声鲁棒的，并且它们诱导稀疏激活。我们独立重现了Bradbury等人的QRNN实验。（2017）并将我们基于DReLU的QRNN与原始的基于tanh的QRNN和长短期记忆网络（LSTM）在情感分类和单词级语言建模方面进行了比较。此外，我们对字符级语言建模进行了评估，表明我们能够使用DReLU堆叠多达8个QRNN层，从而可以在基于LSTM的浅层架构上改进当前最先进的字符级语言建模。
2017-10-31 cs.CL cs.LG cs.NE
Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；School of Information and Control Engineering, China University of Mining and Technology（中国矿业大学信息与控制工程学院）
提出基于神经单元动力学的类增量学习模型AutoActivator，通过自适应网络扩展与推理时神经单元激活机制，在无排练和最小扩展设置下有效防止遗忘并保持可扩展性。
2024-06-04 cs.LG
Training Sparse Neural Network by Constraining Synaptic Weight on Unit Lp Sphere
稀疏深度神经网络已经显示出其相对于密集模型的优势，具有更少的参数和更高的计算效率。在这里，我们证明了约束的突触的权重单位Lp球，使稀疏性与p的灵活控制，并提高了神经网络的泛化能力。首先，为了优化约束在单位Lp-球面上的突触权值，从扩充的经验风险最小化条件出发，推导出参数优化算法Lp-球面梯度下降（LpSGD），并从理论上证明了该算法的收敛性。为了理解p对Hoyer稀疏性的影响机制，给出了在Gamma分布假设下Hoyer稀疏性的期望，并在不同的p和不同的条件下验证了该期望.此外，设计了拓扑进化的“半剪枝”和阈值自适应算法，有效地筛选出重要连接，使神经网络从初始稀疏收敛到期望稀疏。我们的方法进行了验证的基准数据集，涵盖了广泛的领域的实验。本文的理论分析为进一步研究约束优化下的稀疏神经网络的训练问题奠定了基础。
2021-03-30 cs.CV cs.LG
Compact Neural Networks via Stacking Designed Basic Units
Hong Kong Baptist University（香港浸会大学）
非结构化剪枝在处理稀疏和不规则的权值时存在局限性。相比之下，结构化修剪可以帮助消除这个缺点，但它需要复杂的标准来确定哪些组件被修剪。为此，本文提出了一种新的构造方法TissueNet，该方法通过独立堆叠设计的基本单元，直接构造具有较少权值参数的紧凑神经网络，不再需要额外的判断标准。给定各种体系结构的基本单元，它们以一定的形式组合和堆叠，以构建紧凑的神经网络。我们在不同的流行骨干中制定TissueNet，以与不同基准数据集上的最先进的修剪方法进行比较。此外，提出了两个新的指标来评估压缩性能。实验结果表明，TissueNet可以达到相当的分类精度，同时节省高达约80%的FLOP和89.7%的参数。也就是说，堆叠基本单元为网络压缩提供了一种新的有前途的方式。
2022-05-03 cs.AI cs.CV cs.LG
Convolutional unitary or orthogonal recurrent neural networks
Rockefeller University（洛克菲勒大学）
循环神经网络非常强大，但很难训练。他们的问题之一是消失梯度问题，即训练信号的传播可能会呈指数衰减，冻结训练。已经提出使用正交或酉矩阵来缓解这个问题，其功率既不爆炸也不衰减，但是它们的计算费用阻碍了它们的使用。在这里，我们证明了在卷积RNN的特定情况下，我们可以定义一个卷积指数，并且这个操作将反对称或反厄米卷积核转换为正交或酉卷积核。我们明确推导出基于FFT的算法来计算内核及其衍生物。因此，对正交变换的该子空间进行参数化的计算复杂性与网络的迭代相同。
2023-02-14 cond-mat.stat-mech cs.AI cs.LG
CombU: A Combined Unit Activation for Fitting Mathematical Expressions with Neural Networks
Betterdata AI；NUS AIDF
本文提出组合单元激活函数CombU，通过在不同网络层和维度使用不同激活函数，理论上能准确拟合数学表达式，并在四个数据集上超越多数SOTA算法。
2024-09-25 cs.LG
An Approach to Stable Gradient Descent Adaptation of Higher-Order Neural Units
CTU in Prague（捷克布拉格技术大学）；Tohoku University Graduate School of Medicine（东北大学医学研究生院）；Graduate School of Biomedical Engineering, Tohoku University（东北大学生物医学工程研究生院）
本文提出一种基于谱半径的高阶神经单元权重更新系统稳定性评估方法，通过梯度下降实现前馈和递归HONU的适应，确保每一步适应过程的稳定性，从而保证整个神经架构对目标数据的适应性。
2016-06-23 cs.AI cs.CE cs.LG
Characterizing Learning in Spiking Neural Networks with Astrocyte-Like Units
Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）；University of Maryland（马里兰大学）；Lockheed Martin Aeronautics（洛克希德·马丁航空系统）
本文在脉冲神经网络中引入类星形胶质细胞单元，通过混沌时间序列预测实验发现神经元与星形胶质细胞的组合对学习至关重要，且二者比例约为2比1时学习率最高。
2025-03-09 cs.AI cs.LG physics.bio-ph
