Taylorized Training: Towards Better Approximation of Neural Network Training at Finite Width
Salesforce Research（Salesforce研究院）
我们提出\emph{Taylorized training}作为一个倡议，以更好地理解神经网络训练在有限的宽度。泰勒化训练涉及在初始化时训练神经网络的$k$阶泰勒展开，是线性化训练的原则性扩展--最近提出的理解深度学习成功的理论。我们在现代神经网络架构上对泰勒训练进行了实验，结果表明泰勒训练（1）随着$k$的增加，与完全神经网络训练的一致性越来越好，（2）可以显著缩小线性化和完全训练之间的性能差距。与线性化训练相比，高阶训练适用于更现实的设置，例如标准参数化和大（初始）学习率。我们补充我们的实验与理论结果表明，$k$阶泰勒模型的逼近误差指数衰减超过$k$在广泛的神经网络。
2020-02-24 cs.LG stat.ML
Introspection: Accelerating Neural Network Training By Learning Weight Evolution
IIT Kharagpur（印度理工学院卡拉格普尔分校）；Adobe Systems Inc, Noida（Adobe系统公司诺伊达）；IIT Kanpur（印度理工学院坎普尔分校）
神经网络是函数逼近器，在许多机器学习任务中达到了最先进的精度。尽管它们在准确性方面取得了巨大的成功，但它们的大量训练时间使得它们难以用于各种任务。在本文中，我们探讨了从一个简单的网络学习权值演化模式的想法，以加速新的神经网络的训练。我们使用一个神经网络来学习MNIST分类的训练模式，并利用它来加速用于CIFAR-10和ImageNet分类的神经网络的训练。我们的方法具有较低的内存占用，是计算效率。这种方法也可以与其他优化器一起使用，以提供更快的收敛速度。结果表明，在神经网络的训练过程中的权重演变的一般趋势。
2017-04-17 cs.LG
Training Neural Networks to Approach the Optimum Bayes Estimator in Dense Multi-Emitter Localization
The City College of City University of New York（纽约城市大学城市学院）
本文在合成帧上训练神经网络逼近密集发射源定位的最优贝叶斯估计器，为高通量大视场超时空分辨率SMLM奠定基础。
2026-09-18 cs.LG
A Simple and Efficient Stochastic Rounding Method for Training Neural Networks in Low Precision
Eindhoven University of Technology（埃因霍温理工大学）
传统的随机舍入（CSR）被广泛应用于神经网络（NN）的训练中，即使在低精度计算中也显示出良好的训练结果。本文介绍了一种改进的随机舍入方法，该方法简单有效。所提出的方法成功地训练神经网络与16位定点数，并提供更快的收敛速度和更高的分类精度比CSR和确定性舍入到最近的方法。
2021-03-24 cs.LG
Uniform Learning in a Deep Neural Network via "Oddball" Stochastic Gradient Descent
University of Surrey（萨里大学）
当训练深度神经网络时，通常假设训练样本是一致难以学习的。或者，重申一下，假设训练误差将均匀分布在训练样本中。基于这些假设，每个训练样本被使用相同的次数。然而，这一假设在许多情况下可能并不成立。最近引入了“Oddball SGD”（新奇驱动的随机梯度下降），以根据误差分布概率地驱动训练-训练频率与训练误差大小成比例。在这篇文章中，使用深度神经网络对视频进行编码，我们证明了oddball SGD可以用于在训练集上强制执行统一的错误。
2015-10-08 cs.LG
Privacy-Preserving 3-Layer Neural Network Training
针对仅同态加密设置下的神经网络隐私保护训练问题，结合并扩展现有技术，实现了该设置下回归与分类任务的三层神经网络训练。
2025-04-15 cs.CR cs.LG
Search Spaces for Neural Model Training
NVIDIA（英伟达）
虽然更大的神经模型正在突破深度学习的极限，但通常需要更多的权重来训练模型，而不是为任务运行推理。本文试图使用搜索空间来理解这种行为--增加权重会产生额外的自由度，从而形成新的优化路径（或更宽的搜索空间），使神经模型训练更有效。然后，我们展示了如何扩大搜索空间，以训练稀疏模型，使其在数十个深度学习工作负载中获得有竞争力的分数。它们还可以容忍针对当前硬件的结构，为训练和推理加速开辟途径。我们的工作鼓励研究超越目前使用的大规模神经模型。
2021-05-27 cs.LG
Tuning Frequency Bias in Neural Network Training with Nonuniform Data
Cornell University（康奈尔大学）
过参数化神经网络（NN）的小泛化误差可以部分地由频率偏置现象来解释，其中基于梯度的算法在减少高频残差之前最小化低频失配。使用神经切线核（NTK），可以为训练提供理论上严格的分析，其中数据来自恒定或分段恒定的概率密度。由于大多数训练数据集不是从这样的分布，我们使用NTK模型和数据相关的正交规则，从理论上量化的频率偏置的NN训练完全不均匀的数据。通过用精心选择的Sobolev范数替换损失函数，我们可以进一步放大，阻尼，平衡或逆转NN训练中的固有频率偏差。
2022-09-25 cs.LG
Deep Neural Network Training without Multiplications
Preferred Networks, Inc.（Preferred Networks公司）
深度神经网络真的需要乘法吗？在这里，我们建议只添加两个IEEE 754浮点数与整数相加指令代替浮点乘法指令。我们表明，ResNet可以使用这种操作进行训练，具有竞争力的分类精度。我们的建议不需要任何方法来解决不稳定性和准确性下降，这在低精度训练中很常见。在某些情况下，我们可能会获得与基线FP32结果相同的精度。这种方法将能够消除深度神经网络训练和推理中的乘法运算。
2020-12-07 cs.LG
A comparative analysis of a neural network with calculated weights and a neural network with random generation of weights based on the training dataset size
Institute of Control Systems, Azerbaijan National Academy of Sciences（阿塞拜疆国家科学院控制系统研究所）
本文对比了多层感知器在预计算权重与随机初始化权重下的表现，发现预计算权重能显著加快训练速度并提升对数据集缩减的鲁棒性。
2025-05-29 cs.AI cs.LG
Probabilistic Neural Network Training for Semi-Supervised Classifiers
Amirkabir University of Technology（阿米尔卡比尔理工大学）
在本文中，我们提出了另一个版本的帮助训练方法，采用概率神经网络（PNN），提高了性能的主要判别分类器的半监督策略。我们介绍了PNN训练算法，并使用它来训练支持向量机（SVM）与少量的标记数据和大量的未标记数据。我们尝试为未标记的数据找到最好的标签，然后使用SVM来提高分类率。我们测试我们的方法在两个著名的基准测试，并显示我们的方法与以往的方法相比，效率。
2015-09-03 cs.LG
On the Convergence of Shallow Neural Network Training with Randomly Masked Neurons
Rice University（莱斯大学）
为了训练神经网络的所有参数，我们研究了为什么以及何时可以通过迭代地创建，训练和组合随机选择的子网络来实现这一点。最近的文献中或隐或显地出现了这种情况：例如，Dropout系列正则化技术，或者一些分布式ML训练协议，可以降低通信/计算复杂性，例如独立子网训练协议。虽然这些方法是经验研究和在实践中使用，他们往往享有部分或没有理论支持，特别是当应用于神经网络为基础的目标。在本文中，我们的重点是在懒惰训练机制中使用ReLU激活的过参数化单隐藏层神经网络。通过仔细分析$i)$子网络的神经切线核，$ii)$代理函数的梯度，以及$iii)$如何采样和组合代理函数，我们证明了线性收敛速度的训练误差-最佳点附近-一个超参数化的单隐层感知器的回归损失。我们的分析揭示了最优点周围的邻域大小对每个选定子网络的代理模型数量和局部训练步骤数量的依赖性。此外，所考虑的框架概括并提供了关于辍学训练，多样本辍学训练以及独立子网训练的新见解;对于每种情况，我们都提供了收敛结果作为我们的主要定理的推论。
2022-08-12 cs.LG
A framework for measuring the training efficiency of a neural architecture
TU Dublin（都柏林理工大学）；Trinity College Dublin（都柏林圣三一学院）；ADAPT Research Centre（ADAPT研究中心）
针对神经网络训练效率衡量这一开放问题，本文提出实验框架，通过分析CNN与贝叶斯等价模型在MNIST、CIFAR-10上的表现，揭示训练效率的变化规律及架构间的效率差异。
2024-09-12 cs.AI cs.LG
Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks
Vanderbilt University（范德堡大学）
现代神经网络的巨大规模激发了人们对神经网络量化的极大兴趣。我们介绍了随机马尔可夫梯度下降（SMGD），离散优化方法适用于训练量化的神经网络。SMGD算法设计用于训练期间内存高度受限的设置。我们提供了算法性能的理论保证，以及令人鼓舞的数值结果。
2020-12-22 cs.LG math.OC stat.ML
ASAT: Adaptively Scaled Adversarial Training in Time Series
Peking University（北京大学）；Mizuho Securities Co., Ltd（瑞穗证券株式会社）
对抗性训练是一种增强神经网络以提高对抗性样本的鲁棒性的方法。对抗训练除了可以解决潜在对抗样本的安全问题外，还可以提高神经网络的泛化能力，训练鲁棒的神经网络，并为神经网络提供可解释性。在这项工作中，我们引入对抗训练的时间序列分析，以提高神经网络更好的泛化能力，以金融领域为例。在反思现有对抗性训练研究的基础上，提出了时间序列分析中的自适应尺度对抗性训练（ASAT），通过自适应尺度对不同时间段的数据进行重新尺度化。实验结果表明，与基线相比，该算法可以提高神经网络的泛化能力和对抗鲁棒性。与传统的对抗训练算法相比，ASAT算法具有更好的泛化能力和相似的对抗鲁棒性。
2022-12-20 cs.LG
Mildly Overparametrized Neural Nets can Memorize Training Data Efficiently
Duke University（杜克大学）；IIIS, Tsinghua University（清华大学交叉信息研究院）
据观察，深度神经网络可以记住\citep{zhang2016understanding}：它们在训练数据上达到100%的准确率。最近的理论结果解释了高度过度参数化机制中的这种行为，其中每层中的神经元数量大于训练样本的数量。在本文中，我们表明，神经网络可以训练记忆训练数据完美地在一个温和的过参数化制度，其中的参数的数量只是一个常数的因素比训练样本的数量，和神经元的数量要小得多。
2019-09-26 cs.LG stat.ML
Training variance and performance evaluation of neural networks in speech
IBM Watson Group（IBM沃森集团）
在这项工作中，我们研究了自动语音识别中各种配置的神经网络训练结果的方差。虽然这种差异本身是众所周知的，这是，据我们所知，第一篇论文，进行了广泛的实证研究，其影响语音识别。我们将训练视为从分布中采样，并表明这些分布可能具有很大的方差。这些结果表明，迫切需要重新思考的方式，在文献中的结果报告和解释。
2016-06-14 cs.LG
Sup-Norm Convergence of Deep Neural Network Estimator for Nonparametric Regression by Adversarial Training
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文针对非参数回归中深度神经网络估计器难以实现上确界范数收敛的问题，提出带校正的对抗训练方案，证明其能达到上确界范数意义下的最优速率，并通过实验验证理论结果。
2023-07-08 cs.LG stat.ML
"Oddball SGD": Novelty Driven Stochastic Gradient Descent for Training Deep Neural Networks
University of Surrey（萨里大学）
随机梯度下降（SGD）可以说是当今应用于训练深度神经网络（DNN）的最流行的机器学习方法。最近已经证明，SGD可以在统计上有偏差，使得训练集的某些元素比其他元素更快地学习。在这篇文章中，我们将SGD放入一个反馈回路中，从而选择的概率与误差大小成正比。这提供了一个新颖性驱动的oddball SGD过程，通过优先考虑训练集中具有最大新颖性（错误）的元素，比传统SGD更快地学习。在我们的DNN示例中，oddball SGD的训练速度比常规SGD快50倍。
2015-09-18 cs.LG
Preconditioners for the Stochastic Training of Neural Fields
Australian Institute for Machine Learning, University of Adelaide（澳大利亚机器学习研究所，阿德莱德大学）
本文提出曲率感知对角预条件器以加速神经场随机训练，在图像重建、形状建模和NeRF任务中验证了有效性。
2025-05-22 cs.CV cs.LG
Horn: A System for Parallel Training and Regularizing of Large-Scale Neural Networks
Samsung Electronics（三星电子）
我介绍了一种新的分布式系统，用于在分布式计算架构上有效地训练和正则化大规模神经网络。实验证明了基于神经元计算模型的灵活模型划分和并行化策略的有效性，并实现了集体和并行的丢弃神经网络训练。最后对MNIST手写体数字分类进行了实验，并给出了实验结果。
2017-02-26 cs.DC cs.LG cs.NE
Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1
Université de Montréal（蒙特利尔大学）；Technion - Israel Institute of Technology（以色列理工学院）；Columbia University（哥伦比亚大学）
介绍了一种训练二值化神经网络（BNN）的方法--在运行时具有二值权值和激活的神经网络。在训练时，二进制权重和激活用于计算参数梯度。在前向过程中，BNN大大减少了内存大小和访问，并将大多数算术运算替换为逐位运算，预计这将大大提高功率效率。为了验证BNN的有效性，我们在Torch 7和Theano框架上进行了两组实验。在这两个数据集上，BNN在MNIST、CIFAR-10和SVHN数据集上都取得了接近最先进的结果。最后但并非最不重要的是，我们编写了一个二进制矩阵乘法GPU内核，使用它可以运行我们的MNIST BNN比使用未优化的GPU内核快7倍，而不会损失任何分类精度。用于训练和运行我们的BNN的代码可以在线获得。
2016-03-17 cs.LG
Some Insights into the Geometry and Training of Neural Networks
IBM Watson（IBM沃森）
神经网络已经在快速增长的实际应用中成功地用于分类任务。尽管它们很受欢迎并被广泛使用，但仍然有许多方面的训练和分类没有得到很好的理解。在本文中，我们的目标是提供一些新的见解，通过分析神经网络从特征空间的角度来训练和分类。我们回顾并解释了决策区域的形成，并研究了它们的一些组合方面。我们特别强调神经网络的权重和偏置项之间的连接和属性的决策边界和其他地区表现出不同程度的分类信心。我们展示了如何在这些地区的错误backpropagates和强调的重要作用，他们在形成的梯度。这些发现揭示了权重参数的缩放与训练样本密度之间的联系。这揭示了消失梯度问题，解释了正则化的必要性，并提出了一种对训练数据进行二次采样以提高性能的方法。
2016-05-02 cs.LG
Quantization Error as a Metric for Dynamic Precision Scaling in Neural Net Training
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Toronto（多伦多大学）；Toronto, ON, Canada（加拿大安大略省多伦多市）
最近的工作已经探索了在神经网络训练期间降低参数、激活和梯度的数值精度，作为降低训练计算成本的一种方式（Na & Mukhopadhyay，2016）（Courbariaux et al.，2014年）。我们提出了一种新的动态精度缩放（DPS）计划。通过使用随机定点舍入、基于量化误差的缩放方案以及训练过程中的动态位宽，我们在MNIST数据集上实现了98.8%的测试准确度，与深度学习框架中使用的标准32位浮点值相比，权重的平均位宽仅为16位，激活的平均位宽为14位。
2019-01-24 cs.LG
Adaptive Precision Training: Quantify Back Propagation in Neural Networks with Fixed-point Numbers
自适应精度训练：用固定点数量化神经网络中的反向传播。最近出现的量化技术已被应用于深度神经网络的推理，以实现快速有效的执行。然而，在训练中直接应用量化可能会导致显著的准确性损失，因此仍然是一个开放的挑战。
2020-03-05 cs.CV cs.LG
Neural Emulator Superiority: When Machine Learning for PDEs Surpasses its Training Data
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本研究提出神经模拟器在特定条件下可超越训练数据保真度，通过理论分析和实验验证，展示了模拟器在多步滚动中的优越性能及潜在应用价值。
2026-01-14 cs.LG
Generative Adversarial Training Can Improve Neural Language Models
University of Tehran（德黑兰大学）
虽然递归神经网络（RNN）形式的深度学习已经在神经语言建模方面取得了显着的进步，但它们非常容易过拟合的事实仍然是一个主要未解决的问题。在本文中，我们提出了一种基于生成对抗网络（GANs）和对抗训练（AT）的正则化方法，可以防止神经语言模型中的过拟合。与常见的对抗性训练方法不同，例如快速梯度符号法（FGSM）需要通过时间进行第二次反向传播，因此实际上需要至少两倍于常规训练的时间，我们方法的开销不超过基线训练的20%。
2022-11-02 cs.CL cs.LG
SecDD: Efficient and Secure Method for Remotely Training Neural Networks
University of Waterloo（滑铁卢大学）
我们利用通常被认为是深度学习算法最差的品质-高计算成本，需要大量数据，不可解释性，高度依赖于超参数选择，过拟合和对抗性扰动的脆弱性-以创建一种方法，用于通过不安全的通道安全有效地训练远程部署的神经网络。
2020-09-19 cs.LG stat.ML
Notes on Margin Training and Margin p-Values for Deep Neural Network Classifiers
Pennsylvania State University（宾夕法尼亚州立大学）
我们为Lipschitz连续DNN分类器提供了一个新的局部类纯度定理。此外，我们还讨论了如何获得训练样本的分类裕度。最后，我们描述如何计算测试样本的边际p值。
2019-12-05 cs.LG stat.ML
A Novel Neural Network Training Method for Autonomous Driving Using Semi-Pseudo-Labels and 3D Data Augmentations
aiMotive
训练神经网络以执行用于自动驾驶的3D目标检测需要大量不同的注释数据。然而，获得具有足够质量和数量的训练数据是昂贵的，并且有时由于人和传感器的约束而不可能。因此，需要一种新的解决方案来扩展当前的训练方法，以克服这种限制，并实现准确的3D目标检测。我们对上述问题的解决方案结合了半伪标记和新颖的3D增强。为了证明所提出的方法的适用性，我们设计了一个卷积神经网络的三维目标检测，可以显着增加检测范围相比，训练数据分布。
2022-07-20 cs.CV cs.LG
Training Large-Scale Optical Neural Networks with Two-Pass Forward Propagation
Sharif University of Technology（谢里夫理工大学）
针对光学神经网络训练效率低、非线性实现难等局限，提出两次前向传播训练法及集成光学下的卷积神经网络实现方案，经理论与数值验证可提升训练速度、能效与可扩展性，推动光学计算处理复杂任务的发展。
2024-08-15 cs.LG physics.optics
Learn2Mix: Training Neural Networks Using Adaptive Data Integration
Duke University（杜克大学）
本文提出 learn2mix 训练策略，通过自适应调整批次内类别比例并聚焦高错误率类别，在资源受限和类别不平衡条件下加速神经网络收敛，并在分类、回归和重建任务上取得更优结果。
2025-10-23 cs.LG stat.ML
QuickNets: Saving Training and Preventing Overconfidence in Early-Exit Neural Architectures
College of Computer and Information Sciences（计算机与信息科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
深度神经网络具有较长的训练和处理时间。添加到神经网络的早期退出允许网络在时间敏感的应用中使用网络中的中间激活来进行早期预测。然而，提前退出增加了神经网络的训练时间。我们介绍QuickNets：一种新的级联训练算法，用于神经网络的快速训练。QuickNet以逐层的方式进行训练，使得每个连续层仅在不能被先前层正确分类的样本上进行训练。我们证明了QuickNets可以动态分布学习，并且与标准反向传播相比，具有更低的训练成本和推理成本。此外，我们还引入了承诺层，通过识别过度自信的预测来显着改善早期退出，并证明其成功。
2022-12-25 cs.AI cs.LG cs.NE
Sequential training algorithm for neural networks
University of Leeds（利兹大学）
提出了一种大规模前向神经网络的序贯训练方法。神经网络的每一层都是解耦的，并分别进行训练。每一层的训练完成后，将它们组合在一起。如果将实现最优解，则与完整网络训练相比，网络的性能将是次优的。然而，实现整个网络的最优解将是不可行的或需要很长的计算时间。所提出的顺序方法大大减少了所需的计算机资源，并将具有更好的收敛性，因为每个优化步骤都优化了单个层。实现顺序训练所需的现有算法的修改是最小的。通过一个简单的例子验证了该方法的有效性。
2019-05-17 cs.LG cs.NE
Bayesian Optimisation-Assisted Neural Network Training Technique for Radio Localisation
University of Sheffield（谢菲尔德大学）；University of Bristol（布里斯托大学）；Bristol Research & Innovation Laboratory, Toshiba Europe Ltd.（东芝欧洲有限公司布里斯托尔研究与创新实验室）
基于无线电信号的（室内）定位技术对于智能工厂和仓库等物联网应用非常重要。通过机器学习，特别是神经网络方法，可以实现从信号特征到目标位置的更精确的映射。然而，不同的无线电协议，例如WiFi、蓝牙等，在发射信号中具有不同的特征，可以用于定位目的。此外，神经网络方法通常依赖于精心配置的模型和广泛的训练过程，以在各个定位场景中获得令人满意的性能。上述内容在确定神经网络模型结构或超参数以及从可用数据中选择训练特征的过程中构成了重大挑战。提出了一种基于贝叶斯优化的神经网络模型超参数整定和训练方法。可以实现模型超参数和训练特征的自适应选择，而对手动模型训练设计的需求最小。利用所提出的技术，训练过程以更自动和有效的方式进行优化，增强了神经网络在本地化中的适用性。
2022-03-08 cs.LG eess.SP
Mixing Real and Synthetic Data to Enhance Neural Network Training -- A Review of Current Approaches
Motec GmbH（Motec有限公司）
深度神经网络在许多计算机视觉任务中具有巨大的重要性。然而，它们的强大是以监督训练所需的大量注释数据为代价的。在这项工作中，我们回顾和比较了文献中的不同技术，以改善训练结果，而无需获取额外的注释真实世界的数据。这个目标主要是通过对现有数据应用注释保留转换或通过综合创建更多数据来实现的。
2020-07-17 cs.CV cs.LG
Iterative training of neural networks for intra prediction
Interdigital（Interdigital公司）
本文提出了一种迭代训练的神经网络帧内预测在基于块的图像和视频编解码器。首先，神经网络在图像的编解码器分区产生的块上进行训练，每个块都与其上下文配对。然后，迭代地，通过编解码器从图像的分区中收集块，包括在前一次迭代中训练的神经网络，每个神经网络与其上下文配对，并且神经网络在新的配对上重新训练。由于这种训练，神经网络可以学习帧内预测函数，这些函数既可以从初始编解码器中脱颖而出，又可以在率失真方面提升编解码器。此外，迭代过程允许设计对神经网络训练至关重要的训练数据清洗。当将迭代训练的神经网络放入H.265（HM-16.15）时，平均dB速率降低了-4.2%。通过将它们移动到H.266（VTM-5.0），平均dB速率降低达到-1.9%。
2020-11-25 cs.CV cs.LG eess.IV
Comparison of Training Methods for Deep Neural Networks
Imperial College London（帝国理工学院）
本报告描述了训练神经网络，特别是深度神经网络的困难。然后，它提供了深度神经网络训练方法的文献综述，重点是预训练。它专注于由受限玻尔兹曼机和堆叠自动编码器组成的深度信念网络，并提供了进一步和替代方法的推广。它还包括有关培训他们的文献中的相关实用建议。在第二部分中，使用一些所涵盖的方法进行了初步的实验在两个数据库。特别是，MNIST手写数字数据集和Kaggle比赛的面部表情数据进行实验。在其他研究论文中报告的结果的背景下讨论的结果。低于Kaggle竞赛最佳贡献的出错率是使用优化的堆叠自动编码器实现的。
2015-04-26 cs.AI cs.LG
Complexity of Training ReLU Neural Network
Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院工业与系统工程学院）
在本文中，我们探讨了关于使用ReLU激活函数训练神经网络的复杂性的一些基本问题。我们证明了训练一个双隐层前馈ReLU神经网络是NP难的。如果输入数据的维数和网络的拓扑结构是固定的，那么我们证明了存在一个多项式时间的算法，同样的训练问题。我们还表明，如果在ReLU神经网络的第一个隐藏层中提供了足够的过参数化，则存在一个多项式时间算法，该算法可以找到权重，使得过参数化ReLU神经网络的输出与给定数据的输出相匹配。
2020-11-03 cs.CC cs.LG
In-training Matrix Factorization for Parameter-frugal Neural Machine Translation
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出使用训练矩阵分解来减少神经机器翻译的模型大小。使用训练中矩阵分解，参数矩阵可以被分解为较小矩阵的乘积，这可以通过极大地减少可学习参数的数量来压缩大型机器翻译架构。我们将训练中矩阵分解应用于标准神经架构的不同层，并表明训练中分解能够减少近50%的可学习参数，而不会导致BLEU分数的任何相关损失。此外，我们发现训练矩阵分解在嵌入层上特别强大，提供了一种简单有效的方法来减少参数的数量，同时对模型性能的影响最小，有时还能提高性能。
2020-03-23 cs.CL cs.LG
Demystifying the Neural Tangent Kernel from a Practical Perspective: Can it be trusted for Neural Architecture Search without training?
Seoul National University（首尔国立大学）；NAVER AI Lab（NAVER人工智能实验室）；NAVER CLOVA
在神经架构搜索（NAS）中，降低架构评估的成本仍然是最关键的挑战之一。在众多绕过每个候选架构的训练以收敛以进行评估的努力中，神经切线核（NTK）正成为一个有前途的理论框架，其可用于在初始化时估计神经架构的性能。在这项工作中，我们重新审视了几个初始化的指标，可以从NTK，并揭示其关键的缺点。然后，通过对NTK时间演化的实证分析，我们推断出现代神经架构表现出高度的非线性特征，使得基于NTK的度量在没有一定量的训练的情况下无法可靠地估计架构的性能。考虑到这种非线性特性，我们引入了标签梯度对齐（LGA），一种新的基于NTK的度量，其固有的配方使其能够捕获大量的非线性优势，目前在现代神经架构。通过最小的训练量，LGA获得了与架构的训练后测试准确性有意义的等级相关性。最后，我们证明了LGA，辅以几个时代的训练，成功地指导现有的搜索算法，以显着降低搜索成本，以实现有竞争力的搜索性能。该代码可从以下网址获取：https://github.com/nutellamok/DemystifyingNTK。
2022-03-28 cs.AI cs.LG
Reducing the Training Time of Neural Networks by Partitioning
School of Electrical and Computer Engineering（电气与计算机工程学院）；University of Campinas（坎皮纳斯大学）
本文提出了一种用于预训练神经网络的新方法，该方法可以减少神经网络的总训练时间，同时保持最终性能，这促使其在深度神经网络中的使用。通过将训练任务划分为具有子模型的多个训练子任务，这些子模型可以独立和并行地执行，结果表明，子模型的大小几乎与创建的子任务的数量成二次方地减小，从而快速缩小用于预训练的子模型。然后合并子模型以提供原始模型的预先训练的初始权重集。所提出的方法是独立的其他方面的训练，如神经网络的架构，训练方法，和目标，使其与广泛的现有方法兼容。在MNIST和CIFAR10数据集上实验验证了在不损失性能的情况下的加速，还表明即使顺序执行子任务也可以减少训练时间。此外，我们表明，更大的模型可能会带来更高的加速比和猜想的好处，该方法在分布式学习系统。
2016-01-03 cs.LG cs.NE
Training Guarantees of Neural Network Classification Two-Sample Tests by Kernel Analysis
Brown University（布朗大学）；Duke University（杜克大学）；University of California, San Diego（加州大学圣迭戈分校）
本研究通过核分析推导神经网络双样本检验的训练时间理论界，给出统计功效保证，并通过实验验证了检验效果与训练时间、网络复杂度的关系。
2024-07-09 cs.LG stat.ML
Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training
University of Oxford（牛津大学）；Australian National University（澳大利亚国立大学）；EPFL（瑞士洛桑联邦理工学院）
我们研究了神经网络训练中的两个因素：数据并行性和稀疏性;在这里，数据并行性意味着使用分布式系统并行处理训练数据（或等效地增加批量大小），以便可以加速训练;对于稀疏性，我们指的是神经网络模型中的修剪参数，以减少计算和内存成本。然而，尽管它们有很好的好处，但对它们对神经网络训练的影响的理解仍然是难以捉摸的。在这项工作中，我们首先通过进行广泛的实验来严格测量这些影响，同时调整优化中涉及的所有元参数。结果发现，在数据集、网络模型和优化算法的不同工作负载下，由于数据并行的影响，批量大小和训练步数之间存在一个总体的缩放趋势，进而导致稀疏性下训练的困难。然后，我们开发了一个理论分析的基础上的收敛性的随机梯度方法和光滑的优化景观，这说明了观察到的现象，准确和一般，建立一个更好的帐户数据并行性和稀疏性对神经网络训练的影响。
2021-04-02 cs.LG stat.ML
Training Neural ODEs Using Fully Discretized Simultaneous Optimization
Department of Computing, Imperial College London（帝国理工学院计算系）
针对神经常微分方程训练计算成本高的问题，提出基于配点法的完全离散化联立优化方案，结合IPOPT求解器及ADMM分解框架，经Van der Pol振子验证收敛更快，为高效训练提供新路径。
2025-02-21 cs.LG math.OC
Algorithms for the Training of Neural Support Vector Machines
Bundesdruckerei GmbH（联邦印刷有限公司）
针对可融入领域知识的 NSVM，本文提出一组基于 Pegasos 的训练算法，并在标准机器学习任务上完成概念验证。
2023-08-14 cs.AI cs.LG
On the Computational Efficiency of Training Neural Networks
The Hebrew University（希伯来大学）；Weizmann Institute of Science（魏茨曼科学研究所）
众所周知，神经网络在计算上难以训练。另一方面，在实践中，现代神经网络使用SGD和各种技巧来有效地训练，这些技巧包括不同的激活函数（例如ReLU）、过规范（即，大于所需的训练网络）和正规化。在本文中，我们从现代的角度重新审视训练神经网络的计算复杂性。我们提供了积极和消极的结果，其中一些产生新的可证明有效和实用的算法，用于训练某些类型的神经网络。
2014-10-28 cs.AI cs.LG stat.ML
Meta-Learning with Hessian-Free Approach in Deep Neural Nets Training
Fudan University（复旦大学）；Rochester Institute of Technology（罗切斯特理工学院）
元学习是一种很有前途的方法，可以实现深度神经网络的有效训练方法，近年来吸引了越来越多的兴趣。但现有的方法大多不能训练复杂的神经网络模型，训练时间较长。本文在Hessian-Free方法的基础上，提出了一种新的二阶元优化算法--无Hessian-Free元学习（MLHF）方法。建立了两个递归神经网络来生成该Hessian-Free框架的阻尼和预条件矩阵。一系列的技术，以元训练MLHF走向稳定，并加强元训练的优化器，包括梯度计算的$H$。在CIFAR 10和ILSVRC 2012数据集上对深度卷积神经网络（包括CUDA-convnet和ResNet 18（v2））进行的数值实验表明，MLHF在整个长时间训练过程中表现出良好的连续训练性能，即，快速下降的早期阶段和快速下降的后期阶段，因此是一个有前途的元学习框架，可以提高现实世界深度神经网络的训练效率。
2018-09-07 cs.LG stat.ML
A Brain-inspired Algorithm for Training Highly Sparse Neural Networks
University of Twente（特文特大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Jyväskylä（于韦斯屈莱大学）
稀疏神经网络吸引了越来越多的兴趣，因为它们表现出与密集网络相当的性能，同时具有计算效率。修剪密集神经网络是获得稀疏神经网络的最广泛使用的方法之一。由于这种方法的高训练成本对于低资源设备来说是负担不起的，因此从头开始稀疏地训练稀疏神经网络最近受到了关注。然而，现有的稀疏训练算法存在各种问题，包括在高稀疏性场景中性能不佳，在训练期间计算密集的梯度信息，或纯随机拓扑搜索。受生物大脑进化和Hebbian学习理论的启发，本文提出了一种新的稀疏训练方法，该方法根据网络中神经元的行为来进化稀疏神经网络。具体地说，我们提出的基于余弦相似性和随机拓扑探索（CTRE）方法，通过利用余弦相似性度量连接的重要性，将最重要的连接添加到稀疏神经网络中，而不需要向后计算稠密梯度，从而进化稀疏神经网络的拓扑结构.我们在8个数据集上进行了不同的实验，包括表格，图像和文本数据集，并证明我们提出的方法在极稀疏的神经网络中的性能优于几种最先进的稀疏训练算法。实现代码可在https://github.com/zahraatashgahi/CTRE上获得
2022-11-10 cs.LG cs.NE
Regularizing Neural Networks by Stochastically Training Layer Ensembles
University of Toronto（多伦多大学）
丢弃和类似的随机神经网络正则化方法通常被解释为隐含地对大量模型进行平均。我们提出了STE（随机训练的集成）层，它通过训练具有随机正则化的权重矩阵的集成来增强这种方法的平均特性，同时显式地平均输出。这提供了更强的正则化，在测试时没有额外的计算成本。我们使用标准的网络拓扑结构，在各种图像分类任务上表现出一致的改进。
2019-11-21 cs.LG stat.ML
BLoad: Enhancing Neural Network Training with Efficient Sequential Data Handling
University of California Santa Barbara（加州大学圣巴巴拉分校）；Army Research Laboratory（美国陆军研究实验室）
本文提出一种名为BLoad的新颖训练方案，通过高效处理不同大小的序列实现低开销的分布式数据并行训练，将填充量减少100$x$以上且不删除任何帧，最终在实验中提升了训练时间与Recall的整体性能。
2024-04-25 cs.DC cs.LG
C-RNN-GAN: Continuous recurrent neural networks with adversarial training
Chalmers University of Technology（查尔姆斯理工大学）
生成对抗网络已经被提出作为有效训练深度生成神经网络的一种方式。我们提出了一个生成式对抗模型，该模型适用于连续的序列数据，并通过在一组古典音乐上训练它来应用它。我们的结论是，随着模型的训练，它生成的音乐听起来越来越好，报告生成的音乐的统计数据，并让读者通过下载生成的歌曲来判断质量。
2016-11-29 cs.AI cs.LG
Towards Robust Neural Networks with Lipschitz Continuity
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
深度神经网络在广泛的基于视觉的任务中表现出卓越的性能，特别是由于可用于训练和更好架构的大规模数据集。然而，在现实世界中看到的数据往往受到训练数据集没有考虑的失真的影响。在本文中，我们解决了神经网络的鲁棒性和稳定性的挑战，并提出了一种通用的训练方法，可用于使现有的神经网络架构更强大和稳定的输入视觉扰动，同时只使用可用的数据集进行训练。所提出的训练方法使用方便，因为它不需要数据增强或改变网络架构。我们提供了理论证明以及经验证据的效率，提出的训练方法进行实验与现有的神经网络架构，并证明了相同的架构时，训练与提出的训练方法进行训练时，比传统的训练方法在噪声数据集的存在下进行更好。
2018-11-22 cs.LG stat.ML
Training binary neural networks without floating point precision
Facoltà di Ingegneria dell’Informazione, Informatica e Statistica（工程、信息学与统计学学院）
本文针对二值神经网络训练效率问题，提出拓扑修改与策略训练两种方案，在接近最优性能的同时降低训练时间和内存需求。
2023-10-19 cs.AI cs.LG cs.NE
