DeRegiME: Deep Regime Mixtures for Probabilistic Forecasting under Distribution Shift
Machine Learning Research Group, University of Oxford(牛津大学机器学习研究组);Oxford-Man Institute, University of Oxford(牛津大学奥克斯曼研究所)
DeRegiME通过引入稀疏变分高斯过程,实现了概率预测中的制度混合,解决了神经预测器在处理分布偏移时的不足,提升了预测密度的准确性。
2026-05-19 cs.LG stat.ML
Temporal-difference learning with nonlinear function approximation: lazy training and mean field regimes
Duke University(杜克大学)
该研究针对无限水平折扣MRP的价值函数非线性逼近问题,分析了TD学习在懒训练机制下的指数收敛特性,并对比平均场机制的不动点性质,补充了相关模型示例。
2021-08-11 cs.LG stat.ML
Experiments with Rich Regime Training for Deep Learning
University of Minnesota, Twin Cities(明尼苏达大学双城分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
尽管在理解懒惰训练方面取得了进展,但最近的工作将深度学习的实际成功归因于具有复杂归纳偏差的丰富机制。在本文中,我们使用基准数据集实证研究了丰富的制度训练,发现虽然大多数参数都是惰性的,但总有少量的活动参数在训练过程中会发生相当大的变化。我们表明,重新初始化(重置为它们的初始随机值)的活动参数导致更差的推广。此外,我们还表明,大多数活动参数都位于底层,靠近输入,尤其是当网络变得更宽时。基于这样的观察,我们研究静态分层稀疏(LWS)SGD,它只更新层的一些子集。我们发现,只有更新的顶层和底层有很好的推广,正如预期的那样,只有更新的顶层产生一个快速算法。受此启发,我们研究了概率LWS-SGD,它主要更新顶层,偶尔更新整个网络。我们表明,概率LWS-SGD匹配香草SGD的泛化性能和反向传播时间可以更有效的2-5倍。
2021-02-26 cs.LG stat.ML
Disentangling feature and lazy training in deep neural networks
深度学习的两个不同限制是网络宽度$h\rightarrow \infty$,这取决于最后一层的权重如何与$h$缩放。在神经正切核(NTK)限制下,动态在权重中变为线性,并由冻结核$Θ$描述。相比之下,在平均场极限中,动态可以用与神经元相关联的参数的分布来表示,其遵循偏微分方程。在这项工作中,我们考虑深度网络,其中最后一层的权重在初始化时按$αh^{-1/2}$缩放。通过改变$α$和$h$,我们探测两个极限之间的交叉。我们观察先前确定的懒惰训练和特征训练的制度。在懒惰训练机制中,动态几乎是线性的,NTK在初始化后几乎没有变化。特征训练机制包括作为限制情况的平均场公式,其特征在于随时间演变的内核,并学习一些特征。我们进行数值实验MNIST,时尚MNIST,EMNIST和CIFAR10,并考虑各种架构。我们发现,(i)这两个制度是分开的PDMATHAMR,规模为$h^{-1/2}$。(ii)网络架构和数据结构在确定哪种机制更好方面发挥着重要作用:在我们的测试中,与卷积网络不同,完全连接的网络在延迟训练机制中通常表现更好。(iii)在这两种状态下,初始条件对学习函数引起的波动$δF$衰减为$δF\sim 1/\sqrt{h}$,导致性能随$h$增加。同样的改进也可以通过对几个网络进行集成平均来在中间宽度处获得。(iv)在特征训练机制中,我们识别时间尺度$t_1\sim\sqrt{h}α$,…
2020-10-04 cs.LG stat.ML
Online Robustness Training for Deep Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
在深度强化学习(RL)中,对抗攻击可以欺骗代理进入不想要的状态并中断训练。我们提出了一个名为Robust Student-DQN(RS-DQN)的系统,该系统允许与Q网络一起进行在线鲁棒性训练,同时保持竞争性能。我们表明,RS-DQN可以与(i)最先进的对抗训练和(ii)可证明的鲁棒训练相结合,以获得在训练和评估期间对强攻击具有弹性的代理。
2019-11-22 cs.LG stat.ML
G-Net: A Deep Learning Approach to G-computation for Counterfactual Outcome Prediction Under Dynamic Treatment Regimes
Massachusetts Institute of Technology(麻省理工学院);IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
反事实预测是决策中的一项基本任务。G计算是一种在动态时变治疗策略下估计预期反事实结果的方法。现有的G-计算实现大多采用经典的回归模型,其捕获复杂的时间和非线性依赖结构的能力有限。本文介绍了G-Net,这是一种用于G计算的新型顺序深度学习框架,可以处理复杂的时间序列数据,同时施加最小的建模假设,并提供对个体或群体水平时变治疗效果的估计。我们使用从CVSim(一种心血管系统的机械模型)获得的逼真的复杂时间模拟数据来评估替代G-Net实现。
2020-03-23 cs.LG stat.ML
Training Deep AutoEncoders for Collaborative Filtering
NVIDIA(英伟达)
本文提出了一种新的推荐系统中的评级预测任务的模型,该模型在时间分割的Netflix数据集上的性能显着优于以前的最先进的模型。我们的模型基于6层的深度自动编码器,并且是端到端训练的,没有任何逐层的预训练。我们的经验表明:a)深度自动编码器模型的泛化比浅模型好得多,b)具有负部分的非线性激活函数对于训练深度模型至关重要,以及c)大量使用正则化技术(如dropout)是防止过度拟合的必要条件。我们还提出了一种新的训练算法的基础上迭代输出反馈,以克服自然稀疏的合作过滤。新算法显著加快了训练速度,提高了模型性能。我们的代码可在https://github.com/NVIDIA/DeepRecommender上获得
2017-10-10 cs.LG stat.ML
On the Convergence of Gradient Descent Training for Two-layer ReLU-networks in the Mean Field Regime
Princeton University(普林斯顿大学)
我们描述了一个充要条件的收敛到最小贝叶斯风险时,训练两层ReLU-网络的梯度下降在平均场制度与全向初始参数分布。本文将Chizat和Bach最近的结果扩展到ReLU激活的网络以及没有参数可以精确实现MBR的情况。该条件不依赖于参数的初始化,只涉及神经网络实现的弱收敛性,而不涉及其参数分布。
2020-05-27 cs.LG math.AP stat.ML
Notes on Margin Training and Margin p-Values for Deep Neural Network Classifiers
Pennsylvania State University(宾夕法尼亚州立大学)
我们为Lipschitz连续DNN分类器提供了一个新的局部类纯度定理。此外,我们还讨论了如何获得训练样本的分类裕度。最后,我们描述如何计算测试样本的边际p值。
2019-12-05 cs.LG stat.ML
Deep orthogonal linear networks are shallow
CNRS(法国国家科学研究中心);ENS PSL University(巴黎高等师范学院PSL大学)
我们考虑训练深度正交线性网络的问题,该网络由正交矩阵的乘积组成,中间没有非线性。我们证明了用黎曼梯度下降训练权重等价于用梯度下降训练整个因子分解。这意味着在这种情况下完全没有过度参数化和隐式偏差的影响:训练这样一个深度的、过度参数化的网络完全等同于训练一个单层的浅层网络。
2020-11-27 cs.LG stat.ML
Sup-Norm Convergence of Deep Neural Network Estimator for Nonparametric Regression by Adversarial Training
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文针对非参数回归中深度神经网络估计器难以实现上确界范数收敛的问题,提出带校正的对抗训练方案,证明其能达到上确界范数意义下的最优速率,并通过实验验证理论结果。
2023-07-08 cs.LG stat.ML
Data splitting improves statistical performance in overparametrized regimes
Technical University of Braunschweig(不伦瑞克工业大学);University of Potsdam(波茨坦大学)
虽然大型训练数据集通常可以提高模型性能,但训练过程在计算上变得昂贵且耗时。分布式学习是通过利用多个计算设备来减少总体训练时间的常见策略。最近,它已被观察到在单机设置,过度参数化是必不可少的良性过度拟合在Hilbert空间中的无脊回归。我们表明,在这种制度下,数据分裂有一个正规化的效果,从而提高统计性能和计算复杂性在同一时间。我们进一步提供了一个统一的框架,允许分析有限和无限维设置。我们数值模拟了不同模型参数的影响。
2021-10-21 cs.LG stat.ML
Deep Learning Training on the Edge with Low-Precision Posits
Rochester Institute of Technology(罗切斯特理工学院)
最近,DNN数值格式已经显示出对DNN数据表示和超低精度计算的承诺([5. 8]-位)。然而,大多数研究只关注DNN推理。在这项工作中,我们提出了使用posits的DNN训练,并与浮点训练进行了比较。我们在MNIST和Fashion MNIST语料库上进行了评估,其中16位定位优于端到端DNN训练的16位浮点。
2019-07-30 cs.LG stat.ML
Stochastic Gradient Descent in the Saddle-to-Saddle Regime of Deep Linear Networks
Moirai;University of Oxford(牛津大学);University of California, Berkeley(加州大学伯克利分校);Iliad
研究深度线性网络中随机梯度下降在鞍点到鞍点区域的动力学,推导出各模式下的随机微分方程分解,并分析SGD噪声对特征学习的影响。
2026-04-07 cs.LG stat.ML
Exploring Low Rank Training of Deep Neural Networks
Cohere, Inc.(Cohere公司);University of Toronto(多伦多大学);University of Oxford(牛津大学)
在低等级中训练深度神经网络,即具有因子分解层,是社区特别感兴趣的:它在内存消耗和训练时间方面提供了比非因子分解训练更高的效率。先前的工作集中在预训练网络的低秩近似和具有额外目标的低秩空间中的训练,为所选择的实践提供各种特别的解释。我们分析了在实践中运作良好的技术,并通过对GPT2等模型的广泛消融,我们提供了伪造该领域共同信念的证据,在此过程中暗示了仍需回答的令人兴奋的研究机会。
2022-09-27 cs.LG stat.ML
Meta-Learning with Hessian-Free Approach in Deep Neural Nets Training
Fudan University(复旦大学);Rochester Institute of Technology(罗切斯特理工学院)
元学习是一种很有前途的方法,可以实现深度神经网络的有效训练方法,近年来吸引了越来越多的兴趣。但现有的方法大多不能训练复杂的神经网络模型,训练时间较长。本文在Hessian-Free方法的基础上,提出了一种新的二阶元优化算法--无Hessian-Free元学习(MLHF)方法。建立了两个递归神经网络来生成该Hessian-Free框架的阻尼和预条件矩阵。一系列的技术,以元训练MLHF走向稳定,并加强元训练的优化器,包括梯度计算的$H$。在CIFAR 10和ILSVRC 2012数据集上对深度卷积神经网络(包括CUDA-convnet和ResNet 18(v2))进行的数值实验表明,MLHF在整个长时间训练过程中表现出良好的连续训练性能,即,快速下降的早期阶段和快速下降的后期阶段,因此是一个有前途的元学习框架,可以提高现实世界深度神经网络的训练效率。
2018-09-07 cs.LG stat.ML
Understanding and Training Deep Diagonal Circulant Neural Networks
Wavestone(威士顿);Université Paris-Dauphine(巴黎多芬大学);PSL Research University(PSL研究大学);CNRS(法国国家科学研究中心)
本文研究了深度对角循环神经网络,即权矩阵为对角矩阵与循环矩阵乘积的深度神经网络。除了对它们的表达能力进行理论分析外,我们还介绍了训练这些模型的原则性技术:我们设计了一个初始化方案,并提出了一种非线性函数的巧妙使用,以便训练深度对角循环网络。此外,我们还证明了这些网络的性能优于最近引入的具有其他类型结构化层的深度网络。我们进行了彻底的实验研究,以比较深对角循环网络与基于结构化矩阵和密集模型的最新模型的性能。我们表明,我们的模型比其他结构化方法实现了更好的准确性,同时需要2倍的权重作为下一个最佳方法。最后,我们训练深度对角循环网络,以建立一个紧凑和准确的模型,在现实世界的视频分类数据集超过380万训练样本。
2019-11-21 cs.LG stat.ML
Fast Training of Deep Neural Networks Robust to Adversarial Perturbations
MIT Lincoln Laboratory(麻省理工学院林肯实验室)
深度神经网络能够在许多领域中快速训练和推广。尽管深度网络的性能很有希望,但它们对输入的扰动(例如,对抗性示例)及其学习的特征表示通常难以解释,从而引起了对其真实能力和可信度的担忧。对抗性训练是一种鲁棒优化的形式,其中模型针对对抗性示例进行了优化,最近的工作证明了提高对扰动的性能敏感性并产生更可解释的特征表示的能力。然而,对抗训练的计算成本比标准训练(即,非鲁棒性)训练,使得其不适用于大规模问题。最近的工作表明,对抗训练的快速近似显示出减少训练时间和在无穷范数约束的扰动存在下保持鲁棒性的希望。在这项工作中,我们证明了这种方法扩展到欧几里德规范,并保留了人类对齐的功能表示,这是常见的强大的模型。此外,我们还表明,使用分布式训练方案可以进一步缩短训练鲁棒深度网络的时间。快速对抗训练是一种很有前途的方法,它将在机器学习应用中提供更高的安全性和可解释性,而鲁棒优化以前被认为是不切实际的。
2020-07-08 cs.LG stat.ML
Generalization of Scaled Deep ResNets in the Mean-Field Regime
EPFL(洛桑联邦理工学院);University of Warwick(华威大学);New York University(纽约大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究在平均场机制下分析缩放深度残差网络的泛化性,通过时变Gram矩阵下界、KL散度动态及Rademacher复杂度,建立了超越惰性训练机制的泛化界。
2024-03-14 cs.LG
Understanding the Role of Training Regimes in Continual Learning
Washington State University(华盛顿州立大学);DeepMind(深度思维)
灾难性遗忘会影响神经网络的训练,限制它们顺序学习多个任务的能力。从公认的可塑性-稳定性困境的角度来看,神经网络往往过于可塑,缺乏防止忘记先前知识所必需的稳定性,这意味着随着学习的进行,网络往往会忘记先前看到的任务。这种现象在持续学习文献中被创造出来,最近引起了很多关注,并且已经提出了几种不同程度的成功方法。然而,以前的工作有限,广泛分析了不同的训练制度-学习率,批量大小,正则化方法-对遗忘的影响。在这项工作中,我们离开了典型的改变学习算法,以提高稳定性的方法。相反,我们假设的几何特性的局部极小值发现每个任务发挥了重要作用的整体遗忘程度。特别是,我们研究了辍学,学习率衰减和批量大小的影响,形成训练制度,扩大任务的局部最小值,从而帮助它不会忘记灾难性的。我们的研究提供了实用的见解,通过简单而有效的技术来提高稳定性,这些技术优于替代基线。
2020-06-12 cs.LG cs.NE stat.ML
A Recipe for Global Convergence Guarantee in Deep Neural Networks
Harvard University(哈佛大学);Stanford University(斯坦福大学)
(随机)梯度下降的现有全局收敛保证不适用于深度学习的实际机制中的实际深度网络,超出了神经切线核(NTK)机制。本文提出了一种算法,这是确保具有全局收敛性的保证,在实际制度超过NTK制度,在一个可验证的条件下,称为表达性条件。的表达条件被定义为数据依赖和架构依赖,这是关键的属性,使我们的结果适用于实际设置超出NTK制度。一方面,理论上证明了表达性条件对于具有窄隐藏层和单个宽层的完全连接的深度神经网络保持数据独立。另一方面,表达性条件在数值上显示为对于具有各种标准图像数据集的批量归一化的深度(卷积)ResNet具有数据依赖性。我们还表明,该算法具有推广性能与启发式算法,具有相同的超参数和总迭代次数。因此,所提出的算法可以被视为在实践中为深度学习提供理论保证的一步。
2021-04-15 cs.AI cs.CV cs.LG
DeePM: Regime-Robust Deep Learning for Systematic Macro Portfolio Management
Oxford-Man Institute & Machine Learning Research Group University of Oxford(牛津-曼彻斯特研究所及机器学习研究组牛津大学);Machine Learning Research Group University of Oxford(机器学习研究组牛津大学)
DeePM通过解决异步过滤、低信噪比和分布鲁棒性问题,实现了系统性宏观投资组合管理的高风险调整收益
2026-01-09 cs.LG q-fin.TR stat.ML
Application of Quantum Annealing to Training of Deep Neural Networks
Lockheed Martin Information Systems & Global Solutions(洛克希德·马丁信息系统与全球解决方案)
在深度学习中,一种众所周知的训练深度神经网络的方法是首先训练一个生成的深度信念网络模型,通常使用对比发散(CD),然后使用反向传播或其他判别技术微调权重。然而,由于吉布斯采样的缓慢混合,生成训练可能是耗时的。我们研究了一种替代方法,该方法使用来自D-Wave量子退火机的样本来估计受限玻尔兹曼机的模型期望。我们测试了这种方法的粗粒度版本的MNIST数据集。在我们的测试中,我们发现基于量子采样的训练方法实现了与传统的基于CD的训练相比相当或更好的准确性,并且生成训练的迭代次数显著减少。还需要进一步研究,以确定是否可以为其他数据集实现类似的改进,以及这些改进在多大程度上可以归因于量子效应。
2015-10-21 cs.LG quant-ph stat.ML
Joint Training Across Multiple Activation Sparsity Regimes
Zhejiang University School of Medicine(浙江大学医学院);the Second Affiliated Hospital, Zhejiang University School of Medicine(浙江大学医学院附属第二医院)
本文提出通过跨多种激活稀疏性模式的联合训练提升深度网络泛化能力,实验表明该方法在CIFAR-10数据集上优于传统密集训练。
2026-03-03 cs.AI cs.LG
Training Deep Architectures Without End-to-End Backpropagation: A Survey on the Provably Optimal Methods
University of Florida(佛罗里达大学)
本教程调查了端到端反向传播(E2 EBP)的可证明的最佳替代方案-用于训练深度架构的事实标准。模块化训练是指严格的局部训练,没有向前和向后的传球,即,将深度架构划分为若干不重叠的模块,并单独训练它们,而不进行任何端到端操作。在完全全局E2 EBP和严格局部模块化训练之间,存在仅执行训练而不向后传递的弱模块化混合。这些替代方案可以在ImageNet等具有挑战性的数据集上匹配或超越E2 EBP的性能,并且越来越受到关注,主要是因为它们提供了E2 EBP的实际优势,这将在本文中列举。特别是,它们允许深度学习工作流程中更大的模块化和透明度,使深度学习与主流计算机科学工程保持一致,这些工程充分利用模块化来实现可扩展性。模块化培训还揭示了关于学习的新见解,并对其他重要的研究领域产生了进一步的影响。具体而言,它归纳自然和有效的解决方案,一些重要的实际问题,如数据效率和可转移性估计。
2022-08-09 cs.LG cs.NE stat.ML
Performance Analysis and Characterization of Training Deep Learning Models on Mobile Devices
University of California, Merced(加州大学默塞德分校)
最近,由于移动硬件上的计算能力不断提高以及能够实现高用户体验的优势,在移动设备上训练深度学习模型成为可能。移动设备上机器学习的大部分现有工作都集中在深度学习模型(特别是卷积神经网络和递归神经网络)的推理上,而不是训练。在移动设备上训练深度学习模型的性能表征在很大程度上尚未探索,尽管理解性能表征对于在移动设备上设计和实现深度学习模型至关重要。在本文中,我们在一款代表性的移动终端(NVIDIA TX2)上进行了各种实验,以研究训练深度学习模型的性能。我们引入了一个基准套件和工具,从内存消耗、硬件利用率和功耗的角度研究移动设备上训练深度学习模型的性能。这些工具可以将性能结果与深度学习模型中的细粒度操作相关联,从而提供以细粒度捕获性能差异和问题的功能。我们揭示了有趣的性能问题和机会,包括异构硬件的利用率不足,内存的大能耗,以及工作负载特性的高可预测性。基于性能分析,我们提出了有趣的研究方向。
2019-09-07 cs.LG cs.PF stat.ML
Unsupervised training of a deep clustering model for multichannel blind source separation
Paderborn University(帕德博恩大学)
我们提出了一种训练方案,当并行干净数据不可用时,从头开始训练基于神经网络的声源分离算法。特别是,我们证明了无监督的空间聚类算法足以指导深度聚类系统的训练。我们认为,以前的工作需要强有力的监督,并详细说明为什么这是一个限制。我们证明了(a)根据所提出的方案单独训练的单通道深度聚类系统能够在单词出错率方面实现与多通道教师类似的性能,以及(b)使用深度聚类结果初始化空间聚类方法,与无监督教师相比,相对单词出错率降低了26%。
2019-04-02 cs.LG eess.SP stat.ML
Deep Bayesian Estimation for Dynamic Treatment Regimes with a Long Follow-up Time
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);FEIT(工程与信息技术学院);University of Technology Sydney(悉尼科技大学)
动态治疗方案(DTR)的因果关系估计有助于顺序决策。然而,DTR下的删失和时间依赖性混杂是具有挑战性的,因为观察数据量随着时间的推移而下降,这是由于样本量减少,但特征维度随着时间的推移而增加。长期随访使这些挑战更加复杂。另一个挑战是混杂因素、治疗和结局之间的高度复杂关系,这导致传统和常用的线性方法失败。我们将结果回归模型与治疗模型相结合,用于使用样本量较小的未删失受试者的高维特征,并将深度贝叶斯模型拟合为结果回归模型,以揭示混杂因素,治疗和结果之间的复杂关系。此外,开发的深度贝叶斯模型可以对不确定性进行建模,并输出预测方差,这对于自动驾驶汽车和医疗设计等安全意识应用至关重要。医学模拟艾滋病治疗的实验结果表明,所提出的方法能够获得稳定和准确的动态因果效应估计的观察数据,特别是长期随访。我们的技术为顺序决策和政策制定提供了实际指导。
2021-09-20 cs.AI cs.LG stat.ML
Extended critical regimes of deep neural networks
University of Sydney(悉尼大学)
深度神经网络(DNN)已经成功地应用于许多现实世界的问题,但仍然缺乏对其动力学和计算原理的完整理解。分析DNN的传统理论框架通常假设随机网络具有服从高斯统计的耦合权重。然而,非高斯重尾耦合是DNN中普遍存在的现象。在这里,通过将重尾随机矩阵和非平衡统计物理的理论编织在一起,我们为DNN开发了一种新型的平均场理论,该理论预测重尾权重能够在没有微调参数的情况下出现扩展的临界状态。在这种扩展的临界状态下,DNN表现出丰富而复杂的跨层传播动力学。我们进一步阐明,扩展的临界性赋予DNN深刻的计算优势:平衡内部神经表征的收缩和扩展,并加快训练过程,从而为设计高效的神经架构提供理论指导。
2022-03-24 cond-mat.dis-nn cond-mat.stat-mech cs.AI
Macroeconomic Message Passing for Anticipating Foreign Exchange Regime Changes: A Deep Logical Learning Approach using Graph Tsetlin Machines
Centre for Artificial Intelligence Research, University of Agder(人工智能研究中心,阿格德大学);La Jolla Private Wealth Group, Wells Fargo Advisors(拉贾尔私人财富集团,沃尔索尔顾问公司)
该研究提出用图论方法预测外汇货币价格市场制度,纳入宏观经济变量,利用GraphTM框架更新节点特征,通过超向量化有向多重图构建逻辑子句,实证证明此方法对美元兑日元货币对市场制度预测有效。
2026-07-09 cs.CE cs.LG
On the Global Convergence of Training Deep Linear ResNets
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Google(谷歌)
研究了梯度下降(GD)和随机梯度下降(SGD)算法训练$L$ -隐层线性残差网络(ResNets)的收敛性.我们证明了,对于在输入和输出层具有一定线性变换的深度残差网络(在整个训练过程中是固定的),在所有隐藏权重上具有零初始化的GD和SGD都可以收敛到训练损失的全局最小值。此外,当专门针对适当的高斯随机线性变换时,GD和SGD可证明优化了足够宽的深度线性ResNet。与GD用于训练标准深度线性网络的全局收敛结果(Du & Hu 2019)相比,我们对神经网络宽度的条件更尖锐$O(κL)$,其中$κ$表示训练数据协方差矩阵的条件数。我们进一步提出了一种改进的恒等输入和输出变换,并证明了一个$(d+k)$ -wide神经网络足以保证GD/SGD的全局收敛性,其中$d,k$分别是输入和输出维.
2020-03-02 cs.LG math.OC stat.ML
Towards Testing of Deep Learning Systems with Training Set Reduction
Simula Research Laboratory(Simula研究实验室)
测试深度学习系统及其训练例程的实现对于维护可靠的代码库至关重要。现代软件开发采用诸如持续集成之类的过程,在该过程中,对软件的更改被频繁地集成和测试。然而,测试训练例程需要运行它们,并且当使用完整的数据集时,完全训练深度学习模型可能是资源密集型的。仅使用训练数据的子集可以缩短测试运行时间,但也会降低其有效性。我们评估了不同的训练集缩减方法及其利用原始完整数据集模仿模型训练特征的能力。我们的研究结果强调了训练集减少的有用性,特别是在资源受限的环境中。
2019-01-14 cs.LG cs.NE cs.SE
On the effect of normalization layers on Differentially Private training of deep Neural networks
Spoken Language Systems Group(口语系统研究组);Saarland Informatics Campus(萨尔兰信息学园区);Saarland University(萨尔兰大学)
差分隐私随机梯度下降(DPSGD)是基于差分隐私(DP)范式的随机梯度下降的变体,它可以减轻由于训练数据中存在敏感信息而引起的隐私威胁。然而,使用DPSGD训练深度神经网络的一个主要缺点是模型准确性的降低。在本文中,我们研究了归一化层对DPSGD性能的影响。我们证明了归一化层显著影响具有噪声参数的深度神经网络的效用,并且应该被认为是DPSGD训练的基本成分。特别是,我们提出了一种新的方法集成批量归一化与DPSGD而不会产生额外的隐私损失。通过我们的方法,我们能够训练更深的网络,并实现更好的实用性和隐私权衡。
2021-12-07 cs.CR cs.LG stat.ML
Adaptive Regime-Switching Forecasts with Distribution-Free Uncertainty: Deep Switching State-Space Models Meet Conformal Prediction
University of Lorraine(洛林大学);CNRS(国家科学研究中心);Pernod Ricard(佩诺特理查德);INSA Rouen Normandy(里昂诺曼底理工学院)
本文提出了一种结合深度切换状态空间模型与适应性符合推断的方法,以在非平稳性和模型不规范性下实现具有有限样本保证的预测带,提升预测的鲁棒性和准确性。
2026-02-05 cs.AI cs.LG
Distributed Training Large-Scale Deep Architectures
HTC AI Research(宏达电人工智能研究院)
数据的规模和计算基础设施的规模共同促成了当前的深度学习复兴。然而,训练大规模深度架构需要算法改进和仔细的系统配置。在本文中,我们专注于采用系统的方法来加快大规模的培训。通过从常规基准测试工作中吸取的经验教训,我们首先确定阻碍数据并行的瓶颈和开销。然后,我们设计的指导方针,帮助从业人员配置一个有效的系统和微调参数,以实现所需的加速。具体来说,我们开发了一个程序设置minibatch大小和选择计算算法。我们还推导出用于确定关键组件的数量,如GPU和参数服务器的数量的引理。实验和实例表明,这些准则有助于有效地加快大规模深度学习训练。
2017-08-10 cs.DC cs.LG stat.ML
Multilevel Initialization for Layer-Parallel Deep Neural Network Training
Sandia National Laboratories(桑迪亚国家实验室);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);University of New Mexico(新墨西哥大学)
本文研究了多层初始化策略训练非常深的神经网络与层并行多重网格求解器。该计划是基于连续的解释的训练问题作为一个问题的最优控制,其中神经网络表示为离散化的时间依赖的常微分方程。一个关键目标是开发一种方法,能够智能地初始化可扩展层并行训练所支持的非常深的网络的网络参数。为此,我们在时域上应用细化策略,这相当于在层维度上进行细化。由此产生的改进创建了深度网络,并对来自粗训练网络的网络参数进行了良好的初始化。我们调查这种多级“嵌套迭代”的网络训练策略的有效性,显示支持的数值证据,减少运行时间等效的准确性。此外,我们还研究了初始化策略是否对整个训练过程产生了正则化效果,并降低了对超参数的敏感性和初始网络参数的随机性。
2019-12-19 cs.LG math.OC stat.ML
Prevalence of Neural Collapse during the terminal phase of deep learning training
Stanford University(斯坦福大学);Cornell University(康奈尔大学)
训练分类深度网络的现代实践涉及训练的终端阶段(TPT),该阶段开始于训练误差首次消失的时期;在TPT期间,训练误差实际上保持为零,而训练损失被推向零。针对三种原型深网架构和七个规范分类数据集的TPT直接测量暴露了一种普遍存在的归纳偏差,我们称之为神经崩溃,涉及四种深度相互关联的现象:(NC 1)最后一层训练激活的跨示例类内变异性崩溃为零,因为单个激活本身崩溃为它们的类均值;(NC 3)直到重新缩放,最后一层分类器塌缩到类均值,或者换句话说,塌缩到单纯形ETF,即,塌缩到自对偶配置;(NC 4)对于给定的激活,分类器的决策简化为简单地选择具有最接近的训练类均值的任何类,即,最接近类中心(NCC)决策规则。由TPT引起的对称和非常简单的几何结构赋予重要的益处,包括更好的泛化性能、更好的鲁棒性和更好的可解释性。
2020-08-21 cs.CV cs.LG stat.ML
Training of deep residual networks with stochastic MG/OPT
Euler Institute, Università della Svizzera Italiana(瑞士意大利语区大学欧拉研究所)
我们训练深残差网络的随机变量的非线性多重网格方法MG/OPT. To建立多级层次结构,我们使用动力系统的观点,具体到残差网络。我们报告了在深度残差网络上训练MNIST的显着速度提升和额外的鲁棒性。我们的数值实验还表明,多级训练可以用作修剪技术,因为许多辅助网络具有与原始网络相当的精度。
2021-08-09 cs.LG
Uniform Learning in a Deep Neural Network via "Oddball" Stochastic Gradient Descent
University of Surrey(萨里大学)
当训练深度神经网络时,通常假设训练样本是一致难以学习的。或者,重申一下,假设训练误差将均匀分布在训练样本中。基于这些假设,每个训练样本被使用相同的次数。然而,这一假设在许多情况下可能并不成立。最近引入了“Oddball SGD”(新奇驱动的随机梯度下降),以根据误差分布概率地驱动训练-训练频率与训练误差大小成比例。在这篇文章中,使用深度神经网络对视频进行编码,我们证明了oddball SGD可以用于在训练集上强制执行统一的错误。
2015-10-08 cs.LG
Accurate and Robust Deep Learning Framework for Solving Wave-Based Inverse Problems in the Super-Resolution Regime
Massachusetts Institute of Technology(麻省理工学院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们提出了一个端到端的深度学习框架,可以全面解决所有长度尺度上的逆波散射问题。我们的框架包括新引入的宽带蝴蝶网络,再加上一个简单的训练过程,在训练过程中动态注入噪声。虽然我们训练的网络在经典成像机制中提供了有竞争力的结果,但最值得注意的是,它在其他类似方法失败的超分辨率机制中也取得了成功。这包括(i)具有亚波长几何特征的散射体的重建,以及(ii)当两个或更多个散射体分开小于经典衍射极限时的精确成像。我们证明了这些属性被保留,即使在强噪声的存在下,并扩展到以前没有看到在训练集中的散射体。此外,我们的网络是简单的训练,不需要重新启动,并有一个在线运行时间是一个数量级比基于优化的算法快。我们用各种波散射介质进行实验,我们证明了我们提出的框架优于经典的反演和竞争网络架构,专门用于振荡波散射数据。
2021-06-02 cs.LG cs.NA math.NA
Gradual training of deep denoising auto encoders
The Gonda Brain Research Center(贡达脑研究中心);Bar Ilan University(巴伊兰大学)
众所周知,堆叠去噪自动编码器(DAE)可以学习有用的深度表示,可以通过初始化深度网络来改进监督训练。我们研究了一个深层DAE的训练方案,其中DAE层逐渐添加,并随着添加额外的层而不断适应。我们表明,在中等规模数据集的情况下,这种渐进式训练在MNIST和CIFAR数据集上的堆叠训练的重建质量和分类错误方面都比堆叠训练提供了小但一致的改进。
2014-12-19 cs.LG cs.NE
Convergence of Stochastic Gradient Langevin Dynamics in the Lazy Training Regime
本文研究了在懒惰训练 regime 中随机梯度 Langevin 动力学的收敛性,证明了其在非退化核和最优性差距上的收敛性,并通过实验验证了理论结果。
2026-01-29 cs.LG math.OC
Explaining Deep Learning Representations by Tracing the Training Process
TU Dortmund University(多特蒙德工业大学)
我们提出了一种新的解释方法,通过研究深度神经网络每一层的中间表示在训练过程中是如何细化的,来解释深度神经网络的决策。通过这种方式,我们可以a)在训练过程中找到最有影响力的训练样本,b)分析哪些类对最终表示最有影响。我们的方法是通用的:它可以围绕任何迭代优化过程,并覆盖各种神经网络体系结构,包括前馈网络和卷积神经网络。我们首先提出了一种使用单个训练实例进行随机训练的方法,但也继续推导出常见小批量训练的变体。在实验评估中,我们证明了我们的方法可以识别出具有高度代表性的训练实例,这些实例可以用作解释。此外,我们还提出了一个可视化的方法,在整个训练过程中以汇总统计的形式提供解释。
2021-09-13 cs.LG
Asymptotic Analysis of Deep Residual Networks
University of Oxford(牛津大学);Instadeep Ltd(Instadeep有限公司);University of Southern California(南加州大学)
我们研究了深度残差网络(ResNets)随着层数增加的渐近性质。我们首先证明了存在的缩放制度的训练权重显着不同的隐式假设在神经ODE文献。我们研究了这些标度制度中的隐态动力学的收敛性,表明人们可以得到一个常微分方程,一个随机微分方程或两者都没有。特别是,我们的研究结果指出,存在一个扩散制度,其中深网络限制描述的一类随机微分方程(SDES)。最后,我们推导出相应的尺度限制的反向传播动力学。
2023-01-25 cs.LG
Unleashing the Potential of Unsupervised Deep Outlier Detection through Automated Training Stopping
East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学)
针对深度异常检测模型对训练时间等超参数高度敏感且无标签难以选优的问题,提出损失熵指标与自动化训练停止算法,无需标签即可在最优迭代终止训练,提升模型鲁棒性与性能并显著减少训练时间。
2023-05-26 cs.LG
Optimal Change-Point Detection with Training Sequences in the Large and Moderate Deviations Regimes
National University of Singapore(新加坡国立大学)
从信息论的角度研究了一种新的离线变点检测问题。与大多数相关的作品相比,我们假设基本的变化前和变化后分布的知识是未知的,只能从可用的训练序列中学习。我们进一步要求\emph{estimation error}以指数或亚指数快速衰减的概率(分别对应于信息论用语中的大偏差和中等偏差状态)。基于训练序列以及测试序列组成的一个单一的变点,我们设计了一个变点估计,并进一步证明了这种估计是最佳的,通过建立匹配(强)的逆。这导致最佳置信宽度的完全表征(即,真实变化点以高概率位于其中的置信区间的宽度的一半)作为未检测误差的函数。
2021-10-03 cs.IT cs.LG math.IT
Faster learning of deep stacked autoencoders on multi-core systems using synchronized layer-wise pre-training
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
深度神经网络能够通过分层捕获数据的不同抽象级别来对高度非线性函数进行建模。在训练深度网络时,首先通过贪婪的逐层无监督预训练将系统初始化到一个良好的最佳值附近。然而,随着数据的迅速增长和体系结构维度的增加,这种方法的时间复杂度变得非常巨大。此外,层的贪婪预训练通常会变得有害,因为过度训练一层会导致它与网络的其余部分失去和谐。本文提出了一种在多核机器上预训练深度网络的同步并行算法。不同的层由运行在不同内核上的并行线程进行训练,并定期同步。因此,预训练过程变得更快,并且减少了过度训练的机会。这是实验验证使用堆叠自动编码器的维数减少MNIST手写数字数据库。该算法实现了26%的速度相比,贪婪的逐层预训练,实现相同的重建精度,证实其作为一种替代的潜力。
2016-03-09 cs.LG
Enhancing accuracy of deep learning algorithms by training with low-discrepancy sequences
ETH Zürich(苏黎世联邦理工学院)
我们提出了一种基于低差异序列作为训练集的深度监督学习算法。通过理论论证和大量的数值实验相结合,我们证明,该算法显着优于标准的深度学习算法,是基于随机选择的训练数据,在中等高的维度的问题。该算法为科学计算中的许多底层地图提供了一种有效的替代方法。
2020-05-26 cs.LG cs.NA math.NA
Deep Neural Network Training without Multiplications
Preferred Networks, Inc.(Preferred Networks公司)
深度神经网络真的需要乘法吗?在这里,我们建议只添加两个IEEE 754浮点数与整数相加指令代替浮点乘法指令。我们表明,ResNet可以使用这种操作进行训练,具有竞争力的分类精度。我们的建议不需要任何方法来解决不稳定性和准确性下降,这在低精度训练中很常见。在某些情况下,我们可能会获得与基线FP32结果相同的精度。这种方法将能够消除深度神经网络训练和推理中的乘法运算。
2020-12-07 cs.LG
Unsupervised Deep One-Class Classification with Adaptive Threshold based on Training Dynamics
KAIST(韩国科学技术院);Harvard University(哈佛大学);King’s College London(伦敦国王学院)
单类分类已经成为一种流行的方法,在建立深度异常检测模型的假设下,由正常样本组成的数据集是可用的。然而,在实践中,异常样本经常混合在训练数据集中,并且它们会在精神上影响深度模型的训练,这限制了它们的适用性。对于深度实际模型的鲁棒正态性学习,我们提出了一种无监督的深度一类分类,它从伪标记的正态样本中学习正态性,即,单个集群场景中的离群值检测。为此,我们提出了一种伪标记方法,通过基于排名的训练动态选择自适应阈值。在10个异常检测基准上的实验表明,该方法有效地提高了异常检测的性能。
2023-02-13 cs.LG
Deep Fusion: Efficient Network Training via Pre-trained Initializations
Google Research(谷歌研究院);Google(谷歌公司)
本文提出深度融合方法,利用小网络预训练初始化加速训练,并通过后向误差分析理论框架指导优化,在NLP任务和T5模型中降低计算成本、提升效率。
2024-06-26 cs.LG
A Hitchhiker's Guide On Distributed Training of Deep Neural Networks
IBM Research(IBM研究院)
深度学习在人工智能领域取得了巨大的进步。然而,需要注意的是,训练这些深度学习模型需要大量的计算。在一台带有现代GPU的机器上训练像ImageNet这样的基准数据集可能需要一周的时间,在多台机器上分布训练可以大大缩短时间。最近的工作通过使用2048个GPU的集群将ImageNet的训练时间降低到4分钟。本文综述了用于分布式训练的各种算法和技术,并介绍了现代分布式训练框架的最新技术水平。更具体地说,我们探索分布式随机梯度下降的同步和异步变体,各种All Reduce梯度聚合策略和最佳实践,以在集群上获得更高的吞吐量和更低的延迟,例如混合精度训练,大批量训练和梯度压缩。
2018-10-28 cs.AI cs.DC cs.LG
Deep Active Learning by Leveraging Training Dynamics
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of New South Wales(新南威尔士大学)
主动学习理论和方法在经典的统计学习环境中得到了广泛的研究。然而,深度主动学习,即,具有深度学习模型的主动学习通常基于经验标准,而没有坚实的理论依据,因此当其中一些未能在实际应用中提供益处时,会受到严重质疑。在本文中,通过探索泛化性能和训练动态之间的联系,我们提出了一种理论驱动的深度主动学习方法(dynamicAL),该方法选择样本以最大限度地提高训练动态。特别地,我们证明了训练的收敛速度和泛化性能在超宽条件下呈正相关,并表明最大化训练动态会导致更好的泛化性能。此外,为了扩展到大的深度神经网络和数据集,我们引入了两个松弛的子集选择问题,并降低了时间复杂度从多项式到常数。实证结果表明,dynamicAL不仅始终优于其他基线,而且在大型深度学习模型上也具有良好的扩展性。我们希望我们的工作能够激发更多的尝试,将深度网络的理论发现与深度主动学习在实际应用中的实际影响联系起来。
2022-11-20 cs.LG
Pre-training Neural Networks with Human Demonstrations for Deep Reinforcement Learning
Washington State University(华盛顿州立大学)
深度强化学习(deep RL)通过使用深度神经网络作为其函数逼近器并直接从原始图像学习,在复杂的顺序任务中实现了卓越的性能。使用原始图像的一个缺点是,除了学习策略之外,深度RL还必须从原始图像中学习状态特征表示。因此,深度RL可能需要大量的训练时间和数据才能达到合理的性能,这使得在现实世界的应用中很难使用深度RL,特别是当数据昂贵时。在这项工作中,我们通过解决深度RL试图解决的一半问题来加快训练速度-学习特征。我们的方法是通过使用一小部分人类演示,通过监督学习预训练深度RL网络的隐藏层来学习一些重要特征。我们使用深度Q网络(DQN)和异步优势演员-评论家(A3 C)算法对Atari 2600游戏Pong,Freeway和Beamrider进行经验评估。我们的研究结果表明:1)以监督学习方式使用人类演示进行预训练,相对于DQN中的原始预训练而言,在发现特征方面更好,以及2)使用预训练模型初始化深度RL网络,即使在从少量人类演示进行预训练时,也能显著改善训练时间。
2019-04-06 cs.AI cs.LG