Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；DeepMind（深度思维）
训练非常深的神经网络仍然是一项极具挑战性的任务。常见的解决方案是使用快捷连接和规范化层，这两者都是流行的ResNet架构中的关键成分。然而，有强有力的证据表明，ResNet的行为更像是浅层网络的集合，而不是真正的深层网络。最近，有研究表明，深度香草网络（即没有规范化层或快捷连接的网络）可以通过对其激活函数应用某些转换来像ResNet一样快地训练。然而，这种方法（称为Deep Kernel Shaping）与ReLU并不完全兼容，并且在ImageNet上产生的网络过拟合程度远远超过ResNets。在这项工作中，我们通过开发一种与ReLU的变体-Leaky ReLU完全兼容的新型转换来纠正这种情况。我们在实验中表明，我们的方法引入的额外计算成本可以忽略不计，可以实现与ResNets（相同宽度/深度）竞争的深度香草网络的验证精度，并且显著高于使用混沌边缘（EOC）方法获得的精度。与EOC不同，我们获得的验证精度不会随着深度而变差。
2022-03-15 cs.LG stat.ML
Fault diagnosis for three-phase PWM rectifier based on deep feedforward network with transient synthetic features
Northeast Electric Power University（东北电力大学）；Technical University of Denmark（丹麦技术大学）
三相PWM整流器以其优良的性能和潜在的优势在工业上得到了广泛的应用。然而，当IGBT发生开路故障时，系统不会突然崩溃，性能会下降，例如电压波动和电流谐波。为了减少对故障数学模型的依赖，提出了一种基于暂态综合特征的深度前馈网络故障诊断方法，主要利用暂态相电流对深度前馈网络分类器进行训练。本文首先分析了故障相电流的特点。其次，利用特征合成后的历史故障数据对深度前馈网络分类器进行训练，对暂态合成故障数据的平均故障诊断准确率可达97.85%，用暂态合成特征训练的分类器与原始暂态特征相比，性能提高了1%以上。最后，通过在线故障诊断实验表明，该方法能够准确定位故障IGBT，且最终诊断结果由多组结果共同决定，能够提高诊断结果的准确性和可靠性。(c)2020年ISA。由Elsevier Ltd.出版。保留所有权利。
2022-11-01 cs.AI cs.LG eess.SP
Convolutional Rectifier Networks as Generalized Tensor Decompositions
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
卷积整流器网络，即具有整流线性激活和最大或平均池化的卷积神经网络，是现代深度学习的基石。然而，尽管它们被广泛使用并取得了成功，但我们对驱动这些网络的表达特性的理论理解充其量只是部分的。另一方面，在算术电路的世界里，我们对这些问题有更坚定的把握。具体地，已知卷积算术电路具有“完全深度效率”的性质，这意味着除了可忽略的集合之外，可以由多项式大小的深度网络实现的所有函数都需要指数大小，以便由浅网络实现（或甚至近似）。在本文中，我们描述了一种基于广义张量分解的结构，将卷积算术电路转换为卷积整流器网络。然后，我们使用数学工具，可从世界上的算术电路，以证明新的结果。首先，我们证明了卷积整流器网络对最大池化是通用的，但对平均池化不是通用的。其次，更重要的是，我们证明了卷积整流器网络的深度效率比卷积算术电路弱。这让我们相信，开发训练卷积算术电路的有效方法，从而实现其表达潜力，可能会产生一种深度学习架构，这种架构可以证明优于卷积整流器网络，但迄今为止一直被从业者忽视。
2016-05-23 cs.LG cs.NE
Squareplus: A Softplus-Like Algebraic Rectifier
我们提出了squareplus，一个类似softplus的激活函数，但它只能使用代数运算来计算：加法，乘法和平方根。由于squareplus在CPU上的计算速度比softplus快6倍，并且不需要访问超越函数，因此它在资源有限的深度学习应用中可能具有实用价值。
2021-12-22 cs.LG cs.NE
Deep Online Convex Optimization with Gated Games
来自凸优化的方法被广泛用作深度学习算法的构建块。然而，他们的经验成功的原因尚不清楚，因为现代卷积网络（convnets），结合整流器单元和最大池，既不光滑也不凸。因此，标准保证不适用。本文给出了整流器对流网上梯度下降的第一收敛速度。该证明利用整流器网络的特殊结构，该整流器网络包括应用于底层线性网络之上的二进制有源/无源门。该方法推广到max-pooling，dropout和maxout。换句话说，就是精确地找出经验上表现最好的神经网络。关键的一步是引入门控博弈，这是凸博弈的一种扩展，具有类似的收敛特性，可以捕获整流器的门控函数。其主要结果是整流器网络收敛到一个临界点的速度由网络中的单元的门控遗憾。主要结果的推论包括：（i）神经网络学习的表征的博弈论描述;（ii）训练神经网络的一种后悔算法;以及（iii）神经网络中分析条件计算的正式设置，可以应用于最近开发的注意力模型。
2016-04-07 cs.GT cs.LG cs.NE
Critical initialisation for deep signal propagation in noisy rectifier neural networks
Stellenbosch University（斯泰伦博斯大学）；CSIR/SU Centre for Artificial Intelligence Research（CSIR/斯泰伦博斯大学人工智能研究中心）；CAIR（人工智能研究中心）
随机正则化是深度学习实践者武器库中的重要武器。然而，尽管最近在理论上取得了进展，但我们对噪声如何影响深度神经网络中的信号传播的理解仍然有限。通过扩展最近的工作的基础上平均场理论，我们开发了一个新的框架随机正则化神经网络中的信号传播。我们的噪声信号传播理论可以包括几种常见的噪声分布，包括加性和乘性高斯噪声以及辍学。我们使用这个框架来研究噪声ReLU网络的初始化策略。我们表明，没有关键的初始化策略存在使用加性噪声，与信号传播爆炸，无论选定的噪声分布。对于乘性噪声（如辍学），我们确定替代的关键初始化策略，依赖于噪声分布的二阶矩。对真实数据的模拟和实验证实，我们提出的初始化能够在深度网络中稳定地传播信号，而使用忽略噪声的初始化则无法做到这一点。此外，我们分析了输入之间的相关动态。更强的噪声正则化被证明可以降低关于噪声ReLU网络输入的歧视性信息能够传播的深度，即使在临界状态下初始化。我们通过模拟以及MNIST和CIFAR-10上的实验来支持我们对这些可训练深度的理论预测
2018-11-30 cs.LG stat.ML
Neural Taylor Approximations: Convergence and Exploration in Rectifier Networks
Victoria University of Wellington（惠灵顿维多利亚大学）
现代卷积网络，结合了整流器和最大池，既不平滑也不凸;因此标准保证不适用。然而，来自凸优化的方法，如梯度下降和Adam，被广泛用作深度学习算法的构建块。本文提供了适用于现代convnets的第一个收敛保证，它进一步匹配凸非光滑函数的下界。关键的技术工具是神经泰勒近似--泰勒展开在神经网络中的直接应用--以及相关的泰勒损失。对一系列优化器、层和任务的实验证明，该分析准确地捕捉了神经优化的动态。本文的后半部分应用泰勒近似来隔离训练整流器网络的主要困难-梯度被打破-并研究假设，通过更彻底地探索激活配置的空间，自适应优化器（如RMSProp和Adam）能够收敛到更好的解决方案。
2018-06-06 cs.LG cs.NE stat.ML
Probabilistic bounds on neuron death in deep rectifier networks
Stanford University（斯坦福大学）
神经元死亡是一种复杂的现象，它对模型的可训练性有影响：网络越深，找到有效初始化的概率就越低。在这项工作中，我们推导出ReLU网络被初始化为可训练点的概率的上限和下限，作为模型超参数的函数。我们证明，只要网络的宽度也增加，就有可能无限地增加网络的深度。此外，在合理的假设下，我们的界是渐近紧的：首先，对于具有最大可能输入集的单层网络，上界与真实概率一致。其次，当输入集缩小到一个点时，或者当网络复杂性在输出方差的假设下增长时，真实概率收敛到我们的下限。我们通过数值模拟证实了这些结果，随着网络深度的增加，算法快速收敛到下界。然后，在理论的启发下，我们提出了一个实用的符号翻转方案，该方案保证$k$层网络中的活动数据点的比率至少为$2^{-k}$。最后，我们将展示如何缓解这些问题的网络设计功能，目前在实践中看到的，如批量归一化，剩余连接，密集网络和跳过连接。这表明，神经元死亡可以提供对各种模型架构的功效的洞察。
2021-06-10 cs.LG cs.NE stat.ML
Bounding and Counting Linear Regions of Deep Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；The University of Utah（犹他大学）
我们研究了表示分段线性（PWL）函数的深度神经网络（DNN）的复杂性。特别是，我们研究了由DNN表示的PWL函数在理论和经验上可以达到的线性区域（即块）的数量。我们提出了（i）整流器网络上线性区域的最大数量的更严格的上限和下限，这对于一维输入是精确的;（ii）多层maxout网络的第一个上限;以及（iii）通过用混合整数线性公式对DNN建模来执行精确枚举或区域数量计数的第一种方法。这些边界来自于利用定义每个线性区域的空间的维度。结果还表明，一个深整流器网络只能有更多的线性区域比每个浅对应相同数量的神经元，如果该数量超过了输入的维数。
2018-09-16 cs.AI cs.LG cs.NE
Adam Induces Implicit Weight Sparsity in Rectifier Neural Networks
Corporate Research and Development Center, Toshiba Corporation（东芝公司企业研发中心）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
近年来，深度神经网络（DNN）已被应用于各种机器学习任务，包括图像识别、语音识别和机器翻译。然而，需要大型DNN模型来实现最先进的性能，超过边缘设备的能力。因此，实际应用中需要模型降阶。在本文中，我们指出，当在以下三个条件下训练DNN时，深度学习会自动诱导权重的组稀疏性，其中连接到输出通道（节点）的所有权重为零：（1）整流线性单元（ReLU）激活，（2）$L_2$正则化目标函数，以及（3）Adam优化器。接下来，我们从理论和实验上分析了这种行为，并提出了一种简单的模型简化方法：在训练DNN后消除零权重。在MNIST和CIFAR-10数据集上的实验中，我们展示了各种训练设置的稀疏性。最后，我们表明，我们的方法可以有效地减少模型的大小，并执行相对于使用稀疏诱导正则化的方法。
2018-12-19 cs.CV cs.LG stat.ML
Overcoming Overfitting and Large Weight Update Problem in Linear Rectifiers: Thresholded Exponential Rectified Linear Units
IIT Kharagpur（印度理工学院克勒格布尔分校）
在过去的几年中，线性整流单元激活函数在神经网络中显示出其重要性，超过了sigmoid激活函数的性能。ELU（Nair & Hinton，2010）、ELU（Clevert等人，2015）、PRELU（He等人，2015）、LIGHTU（Maas等人，2013），Sjuu（Jin等人，2016），所有这些线性整流激活函数在某些方面都比其他函数有自己的意义。大多数时候，这些激活函数由于非零输出均值而遭受偏置移位问题，以及由于单位梯度而导致深度复杂网络中的高权重更新问题，这分别导致较慢的训练和模型预测的高方差。在本文中，我们提出了“非线性指数整流线性单元”（TERELU）激活函数，它可以更好地缓解过拟合：大权重更新问题。与其他线性整流器相比，该方法在减轻过拟合问题的同时，还提供了良好的非线性度。我们将使用神经网络在各种数据集上显示更好的性能，考虑TERELU激活方法与其他激活方法相比。
2020-06-04 cs.CV cs.LG cs.NE
Expressiveness of Rectifier Networks
The University of Utah（犹他大学）
已证明校正线性单元（ReLU）可以改善消失梯度问题，允许有效的反向传播，并凭经验提高学习参数的稀疏性。它们在各种应用中产生了最先进的结果。然而，与阈值和sigmoid网络不同，ReLU网络从表达能力的角度进行了较少的探索。本文研究了ReLU网络的表达能力。我们通过构造功能等价的阈值网络来表征双层ReLU网络的决策边界。我们表明，虽然双层ReLU网络的决策边界可以被阈值网络捕获，但后者可能需要指数级更大数量的隐藏单元。我们还制定了隐藏单元数量相应对数减少的充分条件，以将符号网络表示为ReLU网络。最后，我们通过实验比较了阈值网络和它们的小得多的ReLU对应网络从综合生成的数据中学习的能力。
2016-05-27 cs.LG
Continuously Differentiable Exponential Linear Units
Google（谷歌）
指数线性单元（ELU）是用于构建深度学习架构的有用整流器，因为它们可以凭借不具有消失梯度和具有接近零的平均激活来加速和以其他方式改进学习。然而，当形状参数α不等于1时，在[1]中参数化的ELU激活相对于其输入不是连续可微的。我们提出了一种替代参数化，这是C1连续的所有值的α，使整流器更容易的原因，使α更容易调整。这种替代参数化具有ELU的原始参数化所没有的其他几个有用的特性：1）它关于x的导数是有界的，2）它包含线性传递函数和ReLU作为特殊情况，以及3）它关于alpha是尺度相似的。
2017-04-24 cs.LG
Grimm: A Plug-and-Play Perturbation Rectifier for Graph Neural Networks Defending against Poisoning Attacks
School of Cyber Science and Engineering, Sichuan University（四川大学网络空间安全学院）；School of Cyber Science and Engineering, Chengdu University of Information Technology（成都信息工程大学网络空间安全学院）；School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间安全学院）
针对GNN在节点分类任务中易受投毒攻击且现有防御方法牺牲性能的问题，提出即插即用防御模型Grimm，利用特征轨迹检测并校正扰动，具有无害、并行、通用、可迁移的优势。
2024-12-19 cs.LG
Learning Neuron Non-Linearities with Kernel-Based Deep Neural Networks
University of Siena（锡耶纳大学）；University of Florence（佛罗伦萨大学）
深度神经架构的有效性在实验和基础原则方面都得到了广泛的支持。还有明确的证据表明，激活函数（例如整流器和LSTM单元）在学习的复杂性中起着至关重要的作用。基于这一点，本文讨论了神经元非线性的最佳选择的功能框架，灵感来自经典的正则化参数。结果表明，最好的激活函数是由一个内核扩展的训练集，可以有效地近似在一个合适的一组点建模1-D集群。这个想法可以很自然地扩展到递归网络，其中基于内核的激活函数的表达能力是捕获长期依赖关系的关键因素。我们通过一系列具有挑战性的实验来证明这一特性，并将结果与基于最先进LSTM细胞的神经架构进行比较。
2018-10-05 cs.LG stat.ML
On the Number of Linear Regions of Deep Neural Networks
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Université de Montréal（蒙特利尔大学）
我们研究了具有分段线性激活的深度前馈神经网络可计算函数的复杂性，包括对称性和线性区域的数量。深度网络能够顺序地将每层输入空间的部分映射到相同的输出。通过这种方式，深度模型计算出的函数对不同输入的复杂模式的反应是相同的。这些函数的组合结构使它们能够在网络深度方面以指数方式重用计算片段。本文研究了这种组成图的复杂性，并贡献了新的理论结果，关于深度的优势，神经网络分段线性激活函数。特别是，我们的分析不是特定于一个单一的家庭的模型，作为一个例子，我们采用它的整流器和maxout网络。我们从现有的工作中改进了复杂性界限，并研究了更高层单元的行为。
2014-06-07 cs.LG cs.NE stat.ML
Estimation of Non-Crossing Quantile Regression Process with Deep ReQU Neural Networks
The Hong Kong Polytechnic University（香港理工大学）；Wuhan University（武汉大学）；The Chinese University of Hong Kong（香港中文大学）
我们提出了一种惩罚非参数方法，使用整流器二次单元（ReQU）激活的深度神经网络来估计不可分离模型中的分位数回归过程（QRP），并引入了一种新的惩罚函数来强制分位数回归曲线的非交叉。在光滑性和正则条件下，我们建立了QRP估计的非渐近超额风险界，并得到了QRP估计的均方误差。为了建立这些非渐近风险和估计误差界，我们还开发了一个新的误差界，用于使用ReQU激活的神经网络用$s >0$及其衍生物逼近$C^s$光滑函数。这是ReQU网络的一个新的近似结果，并且具有独立的兴趣，并且可能在其他问题中有用。我们的数值实验表明，所提出的方法是竞争或优于现有的两种方法，包括再生核和随机森林的方法，非参数分位数回归。
2022-07-21 cs.LG stat.ML
Multiclass classification for multidimensional functional data through deep neural networks
Yale University（耶鲁大学）；Auburn University（奥本大学）
针对多维函数数据因无限维特征导致标准分类方法失效的问题，提出多类函数深度神经网络（mfDNN）分类器，采用ReLU激活函数和交叉熵损失，推导了误分类风险收敛速率并在模拟和基准数据集上验证了其性能。
2023-05-24 cs.LG stat.ME
Deep Global-Connected Net With The Generalized Multi-Piecewise ReLU Activation in Deep Learning
University of Waterloo（滑铁卢大学）
近年来的研究表明，在计算机视觉领域，利用卷积神经网络的隐层神经元，结合精心设计的激活函数，可以获得更好的分类结果。本文首先介绍了一种新的深度学习架构，旨在减轻梯度消失问题，其中前隐层神经元可以直接与最后一个隐层连接，并馈送到最后一层进行分类。然后，我们设计了一个广义线性整流函数作为激活函数，可以通过训练的参数来逼近任意复杂的函数。我们将证明，我们的设计可以在一些对象识别和视频动作基准任务中实现类似的性能，在参数数量少得多和网络基础设施浅的情况下，这不仅在计算负担和内存使用方面有前途，而且也适用于低计算，低内存的移动场景。
2018-06-19 cs.CV cs.LG
Separation and Concentration in Deep Networks
ENS, CNRS, PSL University（巴黎高等师范学院、法国国家科学研究中心、PSL大学）；Collège de France（法兰西学院）；Flatiron Institute（弗拉蒂伦研究所）
数值实验表明，深度神经网络分类器逐渐分离其平均值周围的类分布，在训练集上实现线性可分性，并提高Fisher判别比。我们使用两种类型的运算符来解释这种机制。我们证明了一个没有偏见的整流器应用于符号不变的紧框架可以分离类的手段，并增加费舍尔比。相反，对紧框架进行软阈值处理可以减少类内变异，同时保持类均值。证明了高斯混合模型的方差缩减界。对于图像分类，我们表明，类的手段，可以实现与整流小波紧框架，没有学习的分离。它定义了散射变换。沿散射通道学习$1 \times 1$卷积紧帧并应用软阈值降低类内变异性。由此产生的散射网络在CIFAR-10和ImageNet上达到了ResNet-18的分类精度，层数更少，没有学习偏差。
2021-03-15 cs.CV cs.LG
Fisher-Rao Metric, Geometry, and Complexity of Neural Networks
University of Chicago（芝加哥大学）；MIT（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
我们从不变性的角度研究了深度神经网络的几何和容量度量之间的关系。我们引入了一个新的容量概念-Fisher-Rao范数-它具有理想的不变性，并受到信息几何的启发。我们发现了新的能力测度的分析特征，通过它我们建立了规范比较不等式，并进一步表明，新的测度可以作为现有的几个基于规范的复杂性测度的保护伞。我们讨论了所提出的措施引起的泛化误差的上界。CIFAR-10上的大量数值实验支持了我们的理论研究结果。我们的理论分析依赖于一个关键的结构引理偏导数的多层整流网络。
2019-02-23 cs.AI cs.LG stat.ML
Piecewise Linear Units Improve Deep Neural Networks
Deakin University（迪肯大学）
激活函数是深度神经网络非线性的核心;函数的选择对训练的成功有很大影响。目前，许多从业者更喜欢整流线性单元（ReLU），因为它的简单性和可靠性，尽管它的缺点很少。虽然大多数以前提出的取代ReLU的函数都是手工设计的，但最近在训练过程中学习函数的工作已经显示出了有希望的结果。在本文中，我们提出了一个自适应分段线性激活函数，分段线性单元（PiLU），它可以独立学习的神经网络的每个维度。我们演示了如何PiLU是一个广义的整流器单元，并注意到它的相似之处，自适应分段线性单元，即自适应和分段线性。在30个实验的分布中，我们表明，对于相同的模型架构，超参数和预处理，PiLU显着优于ReLU：在CIFAR-10和CIFAR-100上分别减少了18.53%和13.13%的分类错误，神经元数量略有增加。进一步的工作应该致力于探索广义分段线性单元，以及验证这些结果在其他具有挑战性的领域和更大的问题。
2021-08-22 cs.AI cs.LG cs.NE
$Π-$nets: Deep Polynomial Neural Networks
Imperial College London（帝国理工学院）；Department of Computing, Imperial College London, UK（帝国理工学院计算机系）
深度卷积神经网络（DCNN）目前是计算机视觉和机器学习中生成学习和判别学习的首选方法。DCNN的成功可以归因于对其构建块的仔细选择（例如，残余块、整流器、复杂的归一化方案，仅举几例）。在本文中，我们提出了$Π$ -Nets，一类新的DCNN。$Π$ -网络是多项式神经网络，即，输出是输入的高阶多项式。$Π$ -网络可以使用特殊类型的跳跃连接来实现，它们的参数可以通过高阶张量来表示。我们凭经验证明，$Π$ -Nets比标准DCNN具有更好的表示能力，并且它们甚至在大量任务和信号中不使用非线性激活函数的情况下产生良好的结果，即，图像、图表和音频。当与激活函数结合使用时，$Π$ -Nets可在具有挑战性的任务（如图像生成）中产生最先进的结果。最后，我们的框架阐明了为什么最近的生成模型，如StyleGAN，改进了他们的前辈，例如，ProGAN。
2020-03-26 cs.CV cs.LG stat.ML
In Proximity of ReLU DNN, PWA Function, and Explicit MPC
University of California, Berkeley（加州大学伯克利分校）
分析了整流器（ReLU）深度神经网络（DNN）及其与分段仿射（PWA）函数的连接。本文试图找到并研究将模型预测控制（MPC）的显式状态反馈策略表示为ReLU DNN的可能性，反之亦然。DNN的复杂性和架构已经通过一些定理和讨论进行了研究。提出了一种近似方法来识别ReLU网络中的输入空间，该方法在多面体区域上产生PWA函数。此外，逆多参数线性或二次规划（mp-LP或mp-QP）已被研究，处理的约束和成本函数的重建给定的PWA功能。
2020-11-05 cs.LG cs.SY eess.SY
Why Deep Neural Networks for Function Approximation?
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近，人们对理解为什么深度神经网络比浅网络更受欢迎很感兴趣。我们证明了，对于一个大类的分段光滑函数，一个浅网络近似一个函数所需的神经元数量是指数大于一个深度网络所需的神经元数量为给定程度的函数近似。首先，我们考虑有界区间上的单变量函数，并要求神经网络在区间上均匀地实现$\varepsilon$的近似误差。我们表明，浅网络（即，深度不依赖于$\varepsilon$的网络）需要$Ω(\text{poly}(1/\varepsilon))$神经元而深度网络（即，深度随$1/\varepsilon$而增长的网络）需要$\mathcal{O}(\text{polylog}(1/\varepsilon))$神经元。然后，我们将这些结果推广到某些重要的多元函数类。我们的研究结果是来自神经网络，它使用整流器线性单元（ReLU）和二进制阶跃单元，两个最流行的类型的激活函数的组合。我们的分析建立在一个简单的观察基础上：两位的乘法可以由ReLU表示。
2017-03-03 cs.LG cs.NE
Nearly-tight bounds on linear regions of piecewise linear neural networks
Department of Electrical Engineering, Tsinghua University（清华大学电子工程系）
近年来，深度神经网络（DNN）的发展为人工智能开辟了一个崭新的时代。DNN被证明在解决非常复杂的问题方面非常出色，例如，视觉识别和文本理解，达到与人竞争甚至超越人的程度。尽管DNN取得了鼓舞人心的成功，但仍然缺乏彻底的理论分析来揭开其魔力的奥秘。DNN结构的设计主要取决于网络深度、神经元数量和激活方面的经验结果。最近发表的一些试图解释DNN的杰出作品已经建立了对其内部机制的初步了解。尽管如此，探索DNN如何运作的研究仍处于初始阶段，还有很大的改进空间。在本文中，我们扩展了关于线性区域边界的分段线性激活神经网络（PLNN）的研究。我们提出了（i）单层PLNN的线性区域的确切最大数量;（ii）多层PLNN的上限;以及（iii）整流器网络上线性区域的最大数量的更严格的上限。导出的边界也间接解释了为什么深层模型比浅层模型更强大，以及激活函数的非线性如何影响网络的表现力。
2018-12-26 cs.AI cs.LG stat.ML
Deep Ensembles Secretly Perform Empirical Bayes
Layer 6 AI；University of Michigan（密歇根大学）
本研究揭示了深度集成实际上通过隐式学习数据依赖的先验来执行精确的贝叶斯平均，即实现经验贝叶斯程序，从而在理论上证明其合理性并解释其优越的经验性能。
2025-01-29 cs.AI cs.LG stat.ML
Rotate the ReLU to implicitly sparsify deep networks
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
在基于深度神经网络的解决方案用于各种现实任务的时代，拥有紧凑且节能的可部署模型变得相当重要。大多数现有的深度架构使用整流器线性单元（ReLU）激活。在本文中，我们提出了一个旋转ReLU激活的新想法，为架构提供了多一个自由度。我们表明，这种激活，其中旋转是通过训练学习的，结果消除了网络中对任务不重要的那些参数/过滤器。换句话说，旋转的ReLU似乎正在进行隐式稀疏化。旋转的ReLU激活的斜率充当粗略的特征提取器，并且可以在重新训练之前消除不必要的特征。我们的研究表明，在ResNet及其变体等架构中，特征总是选择通过较少数量的过滤器。因此，通过旋转ReLU，不必要的权重或过滤器被自动识别并可以被丢弃，从而显著节省内存和计算。此外，在某些情况下，我们还注意到，随着内存和计算的节省，我们还获得了对流行数据集（如MNIST，CIFAR-10，CIFAR-100和SVHN）中相应基线工作的报告性能的改进。
2022-06-01 cs.LG
The Landscape of Deep Learning Algorithms
National University of Singapore（新加坡国立大学）
通过理论分析深度神经网络对总体风险的收敛行为、稳定点和性质，研究了深度神经网络的经验风险景观。对于一个$l$层线性神经网络，在训练样本量为$n$，总权维数为$d$，各层权值的大小界为$r$的条件下，证明了其经验风险以$\mathcal{O}(r^{2l}\sqrt{d\log(l)}/\sqrt{n})$的速度一致收敛于总体风险.然后，我们得到的稳定性和泛化界的经验风险的基础上的结果。此外，我们还建立了经验风险相对于其总体风险梯度的一致收敛性。我们证明了具有收敛保证的经验风险和群体风险之间的非退化平稳点的一一对应关系，这描述了深度神经网络的景观。此外，我们分析了具有S形激活函数的深度非线性神经网络的这些性质。我们证明了类似的结果的收敛行为的经验风险，以及梯度和分析的性质，其非退化的稳定点。据我们所知，这项工作是第一个从理论上描述深度学习算法景观的工作。此外，我们的结果提供了训练一个良好的深度神经网络的样本复杂度。我们还提供了关于神经网络深度$l$、层宽度、网络大小$d$和参数大小如何确定神经网络景观的理论理解。
2017-08-05 cs.LG math.OC stat.ML
Truth or Backpropaganda? An Empirical Investigation of Deep Learning Theory
University of Maryland（马里兰大学）；University of Siegen（锡根大学）
我们从经验上评估了从业者和理论家普遍持有的关于神经网络的常见假设。在这项工作中，我们：（1）证明了在神经网络的损失景观中普遍存在次优局部极小值，并且我们使用我们的理论来寻找例子;（2）表明小范数参数对于泛化不是最佳的;（3）证明ResNets不符合宽网络理论，例如神经切线核，并且跳跃连接和批量归一化之间的相互作用起着作用;（4）发现秩与实际设置中的泛化或鲁棒性无关。
2020-04-28 cs.LG math.OC stat.ML
Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond
University of Cambridge（剑桥大学）
本研究提出由一阶近似序列构成的简单神经网络分析模型，通过三个案例揭示其在双下降、grokking等现象中的实证洞见，还能分离训练组件、分析设计选择影响并发现神经网络学习与梯度提升的相似性。
2024-10-31 cs.AI cs.LG stat.ML
Scaling Up Exact Neural Network Compression by ReLU Stability
Bucknell University（巴克内尔大学）；University of Utah（犹他大学）；Michigan State University（密歇根州立大学）；Google Research（谷歌研究院）
我们可以压缩整流器网络，同时精确地保留其关于给定输入域的底层功能，如果它的一些神经元是稳定的。然而，目前确定具有整流线性单元（ReLU）激活的神经元的稳定性的方法需要解决或找到多个离散优化问题的良好近似。在这项工作中，我们介绍了一个算法的基础上解决一个单一的优化问题，以确定所有稳定的神经元。我们的方法比CIFAR-10上的最先进方法快183倍，这使我们能够在几分钟内探索更深（5 x 100）和更宽（2 x 800）网络的精确压缩。对于在一定量的L1正则化下训练的分类器，我们可以在CIFAR-10数据集上删除多达56%的连接。代码可在以下链接https://github.com/yuxwind/ExactCompression上获得。
2021-10-28 cs.LG math.OC
Deep Polynomial Neural Networks
Imperial College London（帝国理工学院）；Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）；University of Athens（雅典大学）
深度卷积神经网络（DCNN）目前是计算机视觉和机器学习中的生成学习和判别学习的首选方法。DCNN的成功可以归因于对其构建块的仔细选择（例如，残余块、整流器、复杂的归一化方案，仅举几例）。在本文中，我们提出了$Π$ -Nets，一类新的基于多项式展开的函数逼近器。$Π$ -网络是多项式神经网络，即，输出是输入的高阶多项式。未知参数，这是自然表示的高阶张量，估计通过集体张量分解与因子共享。我们介绍了三个张量分解，显着减少参数的数量，并显示它们如何可以有效地实现分层神经网络。我们的经验表明，$Π$ -网是非常有表现力的，他们甚至产生良好的结果，而不使用非线性激活函数在一个大电池的任务和信号，即，图像、图表和音频。当与激活函数结合使用时，$Π$ -Nets在三个具有挑战性的任务中产生最先进的结果，即图像生成，面部验证和3D网格表示学习。源代码可从\url{https://github.com/grigorisg9gr/polynomial_nets}获得。
2021-02-27 cs.CV cs.LG stat.ML
A General Computational Framework to Measure the Expressiveness of Complex Networks Using a Tighter Upper Bound of Linear Regions
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
深度神经网络（DNN）的表达能力是理解DNN惊人性能的一个视角。线性区域的数量，即由DNN表示的分段线性函数的片段，通常用于测量表达力。整流器网络划分区域数的上界，而不是区域数本身，是衡量整流器DNN表现力的一个更实际的指标。在这项工作中，我们提出了一个新的和更严格的上限的区域数。受Hinz & Van de Geer（2019）中这个上界的证明和矩阵计算框架的启发，我们提出了一种通用的计算方法来计算理论上任何网络结构（例如具有各种跳跃连接和剩余结构的DNN）的区域数的严格上界。实验结果表明，我们的上界比现有的上界更紧，并解释了为什么跳跃连接和剩余结构可以提高网络性能。
2020-12-08 cs.LG stat.ML
A straightforward line search approach on the expected empirical loss for stochastic deep learning problems
University of Tübingen（图宾根大学）
深度学习的一个基本挑战是随机梯度下降的更新步骤的最佳步长是未知的。在传统的优化中，使用线搜索来确定好的步长，然而，在深度学习中，由于噪声损失，在预期的经验损失上搜索好的步长成本太高。这项实证工作表明，对于常见的深度学习任务，可以相当便宜地近似垂直截面上的预期经验损失。这是通过将传统的一维函数拟合应用于此类横截面的测量噪声损耗来实现的。然后将所得近似的最小值的步长用作优化的步长。这种方法导致了一种强大而直接的优化方法，该方法在数据集和架构上表现良好，而无需超参数调整。
2020-10-02 cs.LG stat.ML
Bias and Generalization in Deep Generative Models: An Empirical Study
Stanford University（斯坦福大学）
在高维环境中，密度估计算法关键地依赖于它们的归纳偏差。尽管最近的经验成功，深生成模型的归纳偏差还没有得到很好的理解。在本文中，我们提出了一个框架来系统地研究图像深度生成模型中的偏差和泛化。受认知心理学实验方法的启发，我们使用精心设计的训练数据集来探索每种学习算法，以表征现有模型何时以及如何生成新的属性及其组合。我们确定了与人类心理学的相似之处，并验证了这些模式在常用的模型和架构中是一致的。
2018-11-08 cs.LG stat.ML
Deep Empirical Risk Minimization in finance: looking into the future
Questrom School of Business, Boston University（波士顿大学奎斯特罗姆商学院）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹与金融工程系）
许多现代计算方法的经典问题的定量金融制定为经验损失最小化（ERM），允许直接应用经典的结果，从统计机器学习。这些方法，旨在直接构建对冲或投资决策的最优反馈表示，在这个框架中进行了分析，证明了它们的有效性以及它们对泛化错误的敏感性。经典技术的使用表明，过度训练使训练的投资决策成为预期的，并证明了大的假设空间的过度学习。另一方面，基于拉德马赫复杂度的非渐近估计显示了足够大的训练集的收敛性。这些结果强调了合成数据生成和复杂模型根据市场数据进行适当校准的重要性。一个数值研究程式化的例子说明了这些可能性，包括问题维度的重要性，在过度学习的程度，这种方法的有效性。
2022-09-25 cs.LG math.OC stat.ML
On the number of response regions of deep feed forward networks with piece-wise linear activations
Université de Montréal（蒙特利尔大学）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
本文探讨了具有线性突触前耦合和整流线性激活的深度前馈网络的复杂性。这是对越来越多的工作的贡献，这些工作对比了深层和浅层网络架构的代表性。特别是，我们提供了一个框架，比较深和浅的模型，属于家庭的分段线性函数的基础上计算几何。我们看看一个深度整流器多层感知器（MLP）与线性输出单元，并将其与单层版本的模型进行比较。在渐近状态下，当输入的数量保持恒定时，如果浅模型具有$kn$隐藏单元和$n_0$输入，则线性区域的数量为$O(k^{n_0}n^{n_0})$。对于每个层上都有$n$隐藏单元的$k$层模型，它是$Ω(\left\lfloor {n}/{n_0}\right\rfloor^{k-1}n^{n_0})$。当$n$趋于无穷大或当$k$趋于无穷大且$n \geq 2n_0$时，数量$\left\lfloor{n}/{n_0}\right\rfloor^{k-1}$比$k^{n_0}$增长更快。此外，即使当$k$很小时，如果我们将$n$限制为$2n_0$，我们也可以证明深度模型比浅模型具有更多的线性区域。我们认为这是理解这些模型复杂性的第一步，特别是为未来的分析提供合适的数学工具。
2014-02-14 cs.LG cs.NE
$λ$-GELU: Learning Gating Hardness for Controlled ReLU-ization in Deep Networks
Universitat Politècnica de València（瓦伦西亚理工大学）；Universitat Jaume I（海梅一世大学）
本文研究了$λ$-GELU的难度参数化形式，通过学习$λ$参数实现平滑门控训练向ReLU兼容模型的可控过渡，展示了在不同模型-数据集对上的层间难度分布及鲁棒性评估。
2026-04-03 cs.AI cs.LG
Where Did My Optimum Go?: An Empirical Analysis of Gradient Descent Optimization in Policy Gradient Methods
Stanford University（斯坦福大学）；MILA（蒙特利尔学习算法研究所）；McGill University（麦吉尔大学）；Facebook（脸书）
最近对某些梯度下降优化方法的分析表明，性能在某些设置中可能会下降-例如随机性或隐式动量。在深度强化学习（Deep RL）中，这种优化方法通常用于通过时间差异误差或策略梯度来训练神经网络。随着代理随时间的推移而改进，优化目标会发生变化，因此损失景观（和局部最优值）也会发生变化。由于这些方法的失败模式，Deep RL优化器的理想选择仍然不清楚。因此，我们提供了一个实证分析的影响，广泛的梯度下降优化器和他们的超参数对策略梯度方法，深度RL算法的子集，基准连续控制任务。我们发现，自适应优化有一个狭窄的窗口有效的学习率，发散在其他情况下，和动量的有效性取决于环境的属性。我们的分析表明，环境的动态和Deep RL算法属性之间存在显着的相互作用，而传统的自适应梯度方法不一定能解释这些特性。根据我们的研究结果，我们为当前方法的最佳设置和进一步的研究提供了建议。
2018-10-05 cs.AI cs.LG stat.ML
Specifying Weight Priors in Bayesian Deep Neural Networks with Empirical Bayes
Intel Labs（英特尔实验室）
贝叶斯深度神经网络（DNN）的随机变分推理需要指定神经网络权重的先验和近似后验分布。有意义的权重先验是一个具有挑战性的问题，特别是对于将变分推理扩展到涉及高维权重空间的更深体系结构。提出了一种基于DNN的经验贝叶斯先验模型（MOPED）方法，用于贝叶斯神经网络中先验权重的选择。我们制定了一个两阶段的分层建模，首先找到最大似然估计的权重DNN，然后设置权重先验经验贝叶斯方法推断后验变分推理。我们经验评估所提出的方法对现实世界的任务，包括图像分类，视频活动识别和音频分类与不同的复杂神经网络架构。我们还评估了我们提出的糖尿病视网膜病变诊断任务的方法和最先进的贝叶斯深度学习技术的基准。我们证明了MOPED方法可以实现可扩展的变分推理，并提供可靠的不确定性量化。
2019-12-28 cs.LG cs.NE stat.ML
An Empirical Investigation into Deep and Shallow Rule Learning
Johannes Kepler University Linz（约翰·开普勒林茨大学）
归纳规则学习可以说是机器学习中最传统的范例之一。虽然我们已经看到了相当大的进步，在学习基于规则的理论，所有国家的最先进的学习者仍然学习的描述，直接相关的输入功能的目标概念。在最简单的情况下，概念学习，这是一个析取范式（DNF）描述的积极类。虽然很明显，从逻辑的角度来看这是足够的，因为每个逻辑表达式都可以简化为等效的DNF表达式，但情况可能是，通过形成中间概念来形成深层理论的更结构化的表示可能更容易学习，就像深度神经网络能够优于浅层网络一样，尽管后者也是通用函数逼近器。在本文中，我们经验性地比较了深度和浅层规则学习与统一的通用算法，该算法依赖于基于贪婪小批量的优化。我们对人工和真实世界基准数据的实验表明，深度规则网络优于浅层网络。
2021-06-18 cs.AI cs.LG
Empirical analysis of non-linear activation functions for Deep Neural Networks in classification tasks
University of Edinburgh（爱丁堡大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提供了在神经网络架构中的几个非线性激活函数的概述，这些函数在许多机器学习应用中已经被证明是成功的。我们进行了实证分析的有效性使用这些功能的MNIST分类任务，目的是澄清哪些功能产生最好的结果。基于这第一组结果，我们研究了构建具有越来越多隐藏层的更深架构的影响。我们还调查的影响，在同一个任务，不同的初始化方案的权重，我们的神经网络。使用这些实验集作为基础，我们得出结论，提供了一个最佳的神经网络架构，产生令人印象深刻的结果，在MNIST分类任务的准确性。
2017-10-30 cs.LG stat.ML
Empirical Study on Deep Learning Models for Question Answering
IBM Watson（IBM沃森）
在本文中，我们探索深度学习模型与记忆组件或注意力机制的问答任务。我们结合和比较三种模型，神经机器翻译，神经图灵机，和记忆网络的模拟QA数据集。本文是第一篇将神经机器翻译和神经图灵机用于解决QA问题的论文。我们的研究结果表明，注意和记忆的结合有潜力解决某些问答问题。
2015-11-20 cs.AI cs.CL cs.LG
An Empirical Study of Explainable AI Techniques on Deep Learning Models For Time Series Tasks
University of Konstanz（康斯坦茨大学）；Offenburg University of Applied Sciences（奥芬堡应用科学大学）
机器学习黑盒模型的决策解释通常通过应用可解释AI（XAI）技术来生成。然而，许多提出的XAI方法产生未经验证的输出。评估和验证通常通过人类对单个图像或文本的视觉解释来实现。在这个预注册，我们提出了一个实证研究和基准框架，应用归因方法的神经网络开发的图像和文本数据的时间序列。我们提出了一种方法来自动评估和排名归因技术的时间序列使用扰动方法来确定可靠的方法。
2020-12-08 cs.AI cs.LG
Accelerating Deep Learning with Memcomputing
University of California, San Diego（加州大学圣地亚哥分校）；MemComputing, Inc.（MemComputing公司）
受限玻尔兹曼机（RBM）及其扩展，称为“深度信念网络”，是功能强大的神经网络，已在机器学习和人工智能领域得到应用。训练这些模型的标准方法采用基于吉布斯采样的迭代无监督过程，称为“对比发散”（CD），以及通过反向传播进行的额外监督调整。然而，这个过程已经被证明不遵循任何梯度，并可能导致次优的解决方案。在本文中，我们展示了一个有效的替代CD通过模拟数字memcomputing机（DMMs）。我们测试我们的方法上的模式识别使用修改后的版本的MNIST数据集。DMM有效地采样由RBM的模型分布给出的巨大相空间，并提供接近最佳的非常好的近似。这种高效的搜索显著减少了达到给定精度水平所需的预训练迭代次数，以及CD上的总性能增益。事实上，通过模拟DMM实现的预训练加速在迭代次数上与最近报道的量子退火方法在相同网络和数据集上的硬件应用相当。然而，值得注意的是，DMM在训练质量方面的表现远远好于报道的量子退火结果。我们还将我们的方法与监督训练的进步进行了比较，如批量归一化和整流器，这些方法可以减少预训练的优势。我们发现，memcomputing方法仍然保持了质量优势（$>1\%$的准确性，和$20\%$减少出错率）超过这些方法。此外，我们的方法对网络的连通性是不可知的。因此，它可以扩展到训练完整的玻尔兹曼机，甚至是深度网络。
2018-10-23 cs.AI cs.ET cs.LG
Empirical Studies on the Properties of Linear Regions in Deep Neural Networks
Huazhong University of Science and Technology（华中科技大学）
具有分段线性激活的深度神经网络（DNN）可以将输入空间划分为许多小的线性区域，其中拟合不同的线性函数。据信，这些区域的数量代表了DNN的表达能力。本文提供了一个新颖而细致的视角来研究DNN：我们不仅仅计算线性区域的数量，而是研究它们的局部属性，例如内球面，相应超平面的方向，决策边界以及周围区域的相关性。我们根据经验观察到，不同的优化技术导致完全不同的线性区域，即使它们导致相似的分类精度。我们希望我们的研究可以启发新的优化技术的设计，并帮助发现和分析DNN的行为。
2020-04-28 cs.LG stat.ML
Empirically Accelerating Scaled Gradient Projection Using Deep Neural Network For Inverse Problems In Image Processing
UNIST（蔚山国立科学技术院）
最近，深度神经网络（DNN）在加速优化算法方面显示出优势。一种方法是展开传统优化算法的有限次迭代，并学习算法中的参数。然而，这些都是向前的方法，实际上既不是迭代的，也不是收敛的。在这里，我们提出了一种新的基于DNN的收敛迭代算法，可以加速传统的优化算法。我们训练一个DNN来产生尺度梯度投影方法中的参数。到目前为止，这些参数的选择是严格的，但已被证明是至关重要的良好的经验表现。仿真结果表明，对于图像处理中的各种大规模反问题，该方法的经验收敛速度明显优于传统的优化方法.
2021-04-22 cs.CV cs.LG stat.ML
An Adaptive Empirical Bayesian Method for Sparse Deep Learning
Purdue University（普渡大学）
我们提出了一种新的自适应经验贝叶斯方法用于稀疏深度学习，其中稀疏性通过一类自适应尖峰和板先验来确保。所提出的方法的工作原理是交替采样自适应分层后验分布使用随机梯度马尔可夫链蒙特卡罗（MCMC）和平滑优化超参数使用随机逼近（SA）。在较弱的条件下，我们进一步证明了该方法收敛于渐近正确的分布。所提出的方法的经验应用导致最先进的性能MNIST和时尚MNIST与浅卷积神经网络和最先进的压缩性能CIFAR10与残差网络。该方法还提高了对对抗性攻击的抵抗力。
2020-04-13 cs.LG stat.ME stat.ML
Sparsity in Deep Neural Networks - An Empirical Investigation with TensorQuant
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；TU Kaiserslautern（凯泽斯劳滕工业大学）；Fraunhofer Center Machine Learning（弗劳恩霍夫机器学习中心）
深度学习正通过自动驾驶、智能传感器和增强现实等应用进入嵌入式世界。然而，深度神经网络的计算在能量、计算能力和存储器方面要求很高。已经研究了各种方法来减少必要的资源，其中之一是利用由于网络参数中的高冗余级别而在深度神经网络中发生的稀疏性。已经表明，稀疏性可以被具体地提升，并且所实现的稀疏性可以非常高。但在许多情况下，这些方法是在相当小的拓扑上进行评估的。尚不清楚结果是否转移到更深的拓扑结构上。在本文中，TensorQuant工具箱已经扩展到提供一个研究稀疏性的平台，特别是在更深层次的模型中。几个实际的相关拓扑结构不同的分类问题的大小进行了研究，以显示激活，权重和梯度的稀疏性的差异。
2018-08-27 cs.LG stat.ML
The Empirical Impact of Reducing Symmetries on the Performance of Deep Ensembles and MoE
HSE University（高等经济大学）
本文在五个数据集上实证检验减少对称性对深度集成、MoE 及新提出的 MoIE 的影响，发现其可显著改善深度集成扩展性，但对两类专家混合架构的作用尚无定论。
2025-03-17 cs.AI cs.LG
Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）
量化技术可以通过利用高吞吐量整数指令来减小深度神经网络的大小并改善推理延迟和吞吐量。在本文中，我们回顾了量化参数的数学方面，并评估他们的选择范围广泛的神经网络模型，用于不同的应用领域，包括视觉，语音和语言。我们专注于量化技术，适合加速处理器与高吞吐量整数数学管道。我们还提出了一个8位量化的工作流程，该工作流程能够在所研究的所有网络上将精度保持在浮点基线的1%以内，包括更难以量化的模型，如MobileNets和BERT-large。
2020-04-20 cs.LG stat.ML
Deep Bayesian Bandits Showdown: An Empirical Comparison of Bayesian Deep Networks for Thompson Sampling
Google Brain（谷歌大脑）
深度强化学习的最新进展在Go和Atari游戏等应用程序的性能方面取得了重大进展。然而，在复杂领域开发平衡勘探和开采的实用方法在很大程度上仍然没有解决。Thompson Sampling及其对强化学习的扩展提供了一种优雅的探索方法，只需访问模型的后验样本。与此同时，近似贝叶斯方法的进步使灵活的神经网络模型的后验近似变得实用。因此，在Thompson采样框架中考虑近似贝叶斯神经网络是有吸引力的。为了了解使用近似后验对汤普森采样的影响，我们对一系列上下文强盗问题的近似后验采样与汤普森采样相结合的方法进行了基准测试。我们发现，许多在监督学习环境中取得成功的方法在顺序决策场景中表现不佳。特别是，我们强调了适应缓慢收敛的不确定性估计在线设置的挑战。
2018-02-26 cs.LG stat.ML
Statistical Characteristics of Deep Representations: An Empirical Investigation
Seoul National University（首尔大学）
在这项研究中，八个表示正则化方法的影响进行了研究，包括两个新开发的秩正则化（RR）。调查表明，在训练过程中，相关性、稀疏性和秩等表示的统计特性可以按预期进行操作。此外，可以通过尝试所有的表示正则化器并微调其效果的强度来提高基线性能。与性能改善相反，性能和统计特征之间没有一致的关系。结果表明，操纵的统计特性可以有助于提高性能，但只有间接通过其对学习动力学或其调谐效果的影响。
2020-12-02 cs.LG stat.ML
