A Triple-Inertial Accelerated Alternating Optimization Method for Deep Learning Training
School of Mathematics and Computational Science, Xiangtan University（湘潭大学数学与计算科学学院）
针对SGD与交替最小化方法的不足，本文提出TIAM框架，利用三重惯性加速和专门近似提升神经网络训练收敛效率，并给出收敛分析与实验验证。
2025-03-13 cs.AI cs.LG
Provable Accelerated Convergence of Nesterov's Momentum for Deep ReLU Neural Networks
Rice University（莱斯大学）
针对 Nesterov 动量在神经网络训练中的加速收敛难题，本文提出一类仅部分参数满足强凸性的新目标函数，从理论上证明其加速效果，并首次为深度 ReLU 网络等非平凡架构证明了加速收敛速率。
2024-01-05 cs.LG math.OC
Yet Another Accelerated SGD: ResNet-50 Training on ImageNet in 74.7 seconds
Fujitsu Laboratories Ltd.（富士通实验室有限公司）
人们对能够尽可能快地执行机器学习的算法有着强烈的需求，仅在过去两年中，深度学习的速度就加快了30倍。使用大型小批量的分布式深度学习是解决需求的关键技术，并且是一个巨大的挑战，因为很难在不牺牲准确性的情况下在大型集群上实现高可扩展性。在本文中，我们介绍了我们适用于这一挑战的优化方法。我们在ABCI集群上使用2，048个GPU实现了74.7秒的训练时间。训练吞吐量超过173万张图像/秒，top-1验证准确率为75.08%。
2019-03-29 cs.LG stat.ML
GPU-Accelerated Deep Learning for Heatwave Prediction and Urban Heat Risk Assessment
Faculty of Science, University of Sarajevo（萨拉热窝大学科学学院）
本文提出基于GPU的深度学习框架，用于预测城市热条件和评估热风险，采用MODIS和Open-Meteo数据，验证了ConvLSTM混合损失函数的有效性，提升了预测精度与效率。
2026-05-14 cs.AI cs.LG
$Σ$-net: Ensembled Iterative Deep Neural Networks for Accelerated Parallel MR Image Reconstruction
Imperial College London（帝国理工学院）；University of Birmingham（伯明翰大学）；NIH Clinical Center（美国国立卫生研究院临床中心）
我们探索了一个集成的$Σ$ -net快速并行MR成像，包括并行线圈网络，它执行隐式线圈加权，和灵敏度网络，涉及显式灵敏度地图。$Σ$ -net中的网络是以监督的方式训练的，包括内容和GAN损失，以及各种数据一致性的方式，即，近似映射，梯度下降和变量分裂。半监督微调方案允许我们在测试时适应k空间数据，然而，这降低了定量指标，尽管生成了视觉上最具纹理和清晰的图像。对于这个挑战，我们专注于强大和高SSIM分数，我们通过将所有模型集成到$Σ$ -net中来实现。
2019-12-11 cs.CV cs.LG eess.IV
Two-Stage Deep Learning for Accelerated 3D Time-of-Flight MRA without Matched Training Data
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Seoul National University College of Medicine, Seoul National University Bundang Hospital（首尔大学医学院，首尔大学盆唐医院）
飞行时间磁共振血管造影（TOF-MRA）是最广泛使用的非对比MR成像方法之一，以可视化血管，但由于3-D体积采集高度加速采集是必要的。因此，从欠采样TOF-MRA进行高质量重建是深度学习的重要研究课题。然而，大多数现有的深度学习工作都需要匹配的参考数据进行监督训练，而这些数据通常很难获得。通过从最优传输理论扩展对cycleGAN的最新理论理解，我们提出了一种新的两阶段无监督深度学习方法，该方法由沿冠状面的多线圈重建网络和沿轴向面的多平面细化网络组成。具体地，第一网络在平方和的平方根（SSoS）域中训练以实现高质量的并行图像重建，而第二细化网络被设计为使用双头最大池训练来有效地学习高度活化的血流的特性。大量的实验表明，所提出的学习过程中没有匹配的参考超过国家的最先进的压缩感知（CS）为基础的方法的性能，并提供可比的，甚至更好的结果比监督学习方法。
2020-08-04 cs.CV cs.LG eess.IV
Reconfigurable co-processor architecture with limited numerical precision to accelerate deep convolutional neural networks
University of Moratuwa（莫拉图瓦大学）
卷积神经网络（CNN）广泛用于深度学习应用，例如视觉系统、机器人等。然而，现有的软件解决方案效率不高。因此，已经提出了许多硬件加速器来优化实现的性能、功率和资源利用。在现有的解决方案中，基于现场可编程门阵列（FPGA）的架构提供了更好的成本-能量-性能权衡以及可扩展性和最小化开发时间。在本文中，我们提出了一种模型无关的可重构协处理架构来加速CNN。我们的体系结构由并行乘法和累加（MAC）单元与高速缓存技术和互连网络，以利用最大的数据并行。与现有的解决方案相比，我们引入有限精度的32位Q格式定点量化的算术表示和操作。因此，我们的架构实现了显著降低资源利用率与竞争力的准确性。此外，我们开发了一个汇编类型的微指令来访问协处理结构，以管理逐层并行，从而使有限的资源重用。最后，我们在Xilinx Virtex 7 FPGA上测试了高达9 x9内核大小的架构，在3x 3内核大小下实现了高达226.2 GOp/S的吞吐量。
2021-08-21 cs.AI cs.AR cs.DC
LION-DG: Layer-Informed Initialization with Deep Gradient Protocols for Accelerated Neural Network Training
LION-DG通过分层感知初始化和深度梯度协议，提升神经网络训练速度，实现隐式预热，无需超参数，适用于多种深度学习架构。
2026-01-05 cs.AI cs.LG
Deep Learning-based Accelerated MR Cholangiopancreatography without Fully-sampled Data
Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔朗根-纽伦堡大学）；Siemens Healthineers（西门子医疗）；New York University Grossman School of Medicine（纽约大学格罗斯曼医学院）
提出无需完全采样数据的SV与SSV深度学习MRCP重建，在3T和0.55T下实现更高PSNR、SSIM及2.4/3.0倍加速。
2025-01-07 cs.AI cs.CV cs.LG
Optimal Adaptive and Accelerated Stochastic Gradient Descent
Shanghai University of Finance and Economics（上海财经大学）；Georgia Institute of Technology（佐治亚理工学院）
随机梯度下降（\textsc{Sgd}）方法是训练机器学习和深度学习模型中最强大的优化工具。此外，加速度（a.k.a.动量）方法和对角缩放（a.k.a.自适应梯度）方法是改善\textsc{Sgd}慢收敛性的两种主要技术。虽然实证研究已经证明了结合这两种技术的潜在优势，但这些方法是否可以达到随机最优化的最佳收敛速度仍然是未知的。在本文中，我们提出了一类新的自适应和加速随机梯度下降方法，并证明了他们表现出最佳的采样和迭代复杂性的随机最优化。更具体地说，我们表明，对角缩放，最初设计用于改善香草随机梯度，可以被纳入加速随机梯度下降，以实现平滑随机最优化的最佳收敛速度。我们还表明，动量，除了被称为加快确定性优化的收敛速度，也为我们提供了新的方法来设计非均匀和积极的移动平均计划在随机最优化。最后，我们提出了一些启发式方法，有助于实现自适应加速随机梯度下降方法，并进一步提高其在机器学习和深度学习中的实际性能。
2018-10-01 cs.LG stat.ML
Pruning-based Data Selection and Network Fusion for Efficient Deep Learning
KAIST（韩国科学技术院）
本文提出 PruneFuse 方法，通过剪枝生成代理模型进行高效数据选择，再以网络融合将知识整合回稠密模型，从而降低数据选择计算成本并加速训练。
2025-01-02 cs.AI cs.LG
A Convergence Analysis of Nesterov's Accelerated Gradient Method in Training Deep Linear Neural Networks
Center for Strategic Assessment and Consulting, Academy of Military Science（军事科学院战略评估咨询中心）
动量法，包括重球法（heavy-ball~（HB））和Nesterov加速梯度法（NAG），因其收敛速度快而被广泛应用于神经网络的训练。然而，由于神经网络的优化景观是非凸的，因此它们的收敛和加速缺乏理论保证。现在，一些工作取得了进展，了解收敛的动量方法在一个过参数化的制度，其中的参数的数量超过了训练实例。尽管如此，目前的结果主要集中在两层神经网络上，这远远不能解释动量方法在训练深度神经网络方面的显着成功。受此启发，我们研究了具有恒定学习率和动量参数的NAG在训练两种深度线性网络架构：深度全连接线性神经网络和深度线性ResNets时的收敛性。基于过参数化机制，本文首先分析了随机高斯初始化下深度全连接线性神经网络的NAG训练轨迹引起的剩余动力学.我们的研究结果表明，NAG可以收敛到全局最小值在一个$(1 - \mathcal{O}(1/\sqrtκ))^t$率，其中$t$是迭代次数和$κ> 1$是一个常数依赖于条件数的特征矩阵。与GD的$(1 - \mathcal{O}(1/κ))^t$速率相比，NAG实现了超过GD的加速。据我们所知，这是NAG在训练深度神经网络时收敛到全局最小值的第一个理论保证。此外，我们将我们的分析扩展到深度线性ResNets，并得出类似的收敛结果。
2022-04-18 cs.LG math.OC
Deep Learning for Accelerated Reliability Analysis of Infrastructure Networks
Department of Civil and Environmental Engineering, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校土木与环境工程系）
自然灾害可能对基础设施系统的功能产生灾难性影响，并造成严重的物质和社会经济损失。考虑到预算限制，优化这些系统的减灾、备灾、响应和恢复实践方面的决策至关重要。这就需要准确、高效的手段来评估基础设施系统的可靠性。虽然许多研究工作已经解决和量化了自然灾害对基础设施系统的影响，通常使用蒙特卡罗方法，但它们仍然存在计算成本高的问题，因此对大型系统的适用性有限。本文提出了一种用于加速基础设施系统可靠性分析的深度学习框架。特别是，构建和研究了两种不同的深度神经网络代理：（1）加速网络连接确定的分类器代理，以及（2）取代许多组件的端到端代理，例如道路状态实现，连接确定和连接平均。所提出的方法被应用到一个基于模拟的研究加州交通网络的两端连接受到极端概率地震事件。数值结果表明，该方法在加速交通系统两端可靠性分析方面具有很高的预测精度。
2017-08-28 cs.AI cs.CE stat.ML
Fast-MC-PET: A Novel Deep Learning-aided Motion Correction and Reconstruction Framework for Accelerated PET
Yale University（耶鲁大学）；United Imaging Healthcare（联影医疗）
PET期间患者运动是不可避免的。其较长的采集时间不仅增加了运动和相关伪影，而且增加了患者的不适感，因此PET加速是理想的。然而，加速PET采集将导致重建图像具有低SNR，并且图像质量仍将因运动诱导伪影而降低。大多数先前的PET运动校正方法是运动类型特定的，其需要运动建模，因此当多种类型的运动一起存在时可能失败。此外，这些方法是为标准长采集定制的，不能直接应用于加速PET。为此，用于加速PET的无建模通用运动校正重建仍然高度未开发。在这项工作中，我们提出了一种用于加速PET的新型深度学习辅助运动校正和重建框架，称为Fast-MC-PET。我们的框架包括一个通用的运动校正（UMC）和一个短到长的采集重建（SL-Reon）模块。UMC通过从超短帧重建中估计准连续运动并将此信息用于运动补偿重建来实现无建模运动校正。然后，SL-Recon将具有低计数的加速UMC图像转换为具有高计数的高质量图像，用于我们的最终重建输出。我们在人体研究中的实验结果表明，我们的Fast-MC-PET可以实现7倍加速，仅需2分钟采集即可生成高质量的重建图像，优于/匹配使用标准15分钟长采集数据的先前运动校正重建方法。
2023-02-14 cs.AI cs.CV eess.IV
meProp: Sparsified Back Propagation for Accelerated Deep Learning with Reduced Overfitting
School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）；MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
我们提出了一个简单而有效的神经网络学习技术。前向传播照常计算。在反向传播中，仅计算完整梯度的一小部分来更新模型参数。梯度向量以这样一种方式稀疏化，即仅保留顶部$k$元素（就幅度而言）。结果，仅修改权重矩阵的$k$行或列（取决于布局），导致计算成本的线性减少（$k$除以向量维度）。令人惊讶的是，实验结果表明，我们只能在每个反向传播通道更新1-4%的权重。这不会导致大量的训练迭代。更有趣的是，所得到的模型的准确性实际上得到了提高，而不是降低，并给出了详细的分析。代码可在https://github.com/lancopku/meProp上获得
2019-03-11 cs.AI cs.CL cs.CV
S2 Reducer: High-Performance Sparse Communication to Accelerate Distributed Deep Learning
College of Computer, National University of Defense Technology（国防科技大学计算机学院）
分布式随机梯度下降（SGD）方法在大规模深度学习中得到了广泛应用，梯度集合方法是保证分布式深度学习系统训练可扩展性的关键。诸如AllReduce的集体通信已被广泛用于分布式SGD过程以减少通信时间。然而，AllReduce会占用大量带宽资源，而大多数梯度在许多情况下是稀疏的，因为许多梯度值为零，应该有效地压缩以节省带宽。为了减少稀疏梯度通信开销，我们提出了稀疏草图还原器（S2还原器），一种新的基于草图的稀疏梯度聚合方法，具有收敛保证。S2 Reducer通过仅使用计数草图和位图压缩非零梯度来降低通信成本，并支持高效的AllReduce操作符进行并行SGD训练。我们对五种训练模型中的四种最先进的方法进行了广泛的评估。我们的研究结果表明，S2 Reducer收敛到相同的精度，减少了81\%的稀疏通信开销，并实现了1.8 $ \times $的加速比相比，国家的最先进的方法。
2021-11-26 cs.AI cs.DC
AA-DLADMM: An Accelerated ADMM-based Framework for Training Deep Neural Networks
University of New South Wales（新南威尔士大学）
本文提出AA-DLADMM算法，通过将ADMM视为不动点迭代并引入Anderson加速以实现近二次收敛率，解决了基于ADMM优化器训练深度神经网络时收敛慢的问题，并在四个基准数据集上验证了其有效性与效率。
2024-01-08 cs.LG cs.SY eess.SY
Theoretical Limits of Pipeline Parallel Optimization and Application to Distributed Deep Learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们研究了深度学习架构的流水线并行学习的理论限制，这是一种分布式设置，其中计算是按层而不是按示例分布的。对于光滑的凸和非凸目标函数，我们提供了匹配的复杂性下限和上限，并表明Nesterov的加速梯度下降的朴素流水线并行化是最佳的。对于非光滑凸函数，我们提出了一种新的算法流水线并行随机平滑（PPRS），是在一个$d^{1/4}$乘法因子的最佳收敛速度，其中$d$是底层的尺寸。虽然收敛速度仍然遵循缓慢的$\varepsilon^{-2}$收敛速度，但深度依赖部分被加速，导致接近线性的加速和收敛时间，仅略微取决于深度学习架构的深度。最后，我们对非光滑非凸的情况进行了实证分析，结果表明，对于困难和高度非光滑的问题，PPRS优于更传统的优化算法，如梯度下降和Nesterov的加速梯度下降，用于样本量有限的问题，如Few-Shot或对抗学习。
2019-10-11 cs.DC cs.LG stat.ML
Deep Learning-Accelerated Surrogate Optimization for High-Dimensional Well Control in Stress-Sensitive Reservoirs
University of Southern California（南加州大学）
本文提出一种基于深度学习的代理优化框架，用于高维井控优化，通过问题导向的采样策略和神经网络代理，提升高维模拟器问题的计算效率和可靠性。
2026-04-01 cs.LG
Test Against High-Dimensional Uncertainties: Accelerated Evaluation of Autonomous Vehicles with Deep Importance Sampling
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Tongji University（同济大学）；University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
在自然环境下高精度地评估自动驾驶汽车（AV）及其复杂子系统的性能仍然是一个挑战，特别是在故障或危险情况很少的情况下。稀有性不仅需要巨大的样本量来实现高置信度的估计，而且还导致对真实失败率的危险低估，并且非常难以检测。同时，最先进的方法，带有正确性保证，只能计算在一定条件下的失败率的上限，这可能会限制其实际应用。在这项工作中，我们提出了深度重要性采样（深度IS）框架，该框架利用深度神经网络来获得与最新技术水平相当的有效IS，能够将所需的样本量减少到原始采样方法的43倍，以实现10%的相对误差，同时产生保守性更低的估计。我们的高维实验估计了一个最先进的交通标志分类器的误分类率，进一步表明即使目标非常小，这种效率仍然成立，实现了超过600倍的效率提升。这突出了深度IS在提供精确估计方面的潜力，即使是针对高维不确定性。
2022-04-06 cs.LG cs.RO stat.ME
CRONOS: Enhancing Deep Learning with Scalable GPU Accelerated Convex Neural Networks
Stanford University（斯坦福大学）
提出CRONOS算法用于两层神经网络的凸优化，并扩展为CRONOS-AM以训练任意架构的多层网络，在ImageNet等大规模数据集上实现与主流深度学习优化器相当或更优的验证精度。
2024-11-02 cs.LG math.OC
EMA-Nesterov: Stabilizing Nesterov's Lookahead for Accelerated Deep Learning Optimization
University of Minnesota（明尼苏达大学）；Amazon AGI（亚马逊人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
针对深度学习优化中Nesterov动量因随机梯度噪声和非凸损失导致的不稳定性，提出EMA-Nesterov方法，用参数更新的指数移动平均替代标准前瞻方向，通过低通滤波捕捉训练轨迹的低频趋势，在凸问题中保持理论加速收敛率，并在语言模型预训练中验证了其广泛适用性和优于现有前瞻方法的性能。
2026-05-25 cs.LG math.OC
Variable Resolution Sampling and Deep Learning Image Recovery for Accelerated Multi-Spectral MRI Near Metal Implants
Medical College of Wisconsin（威斯康星医学院）
本研究针对金属植入物附近多光谱MRI伪影多、采集效率低的问题，提出可变分辨率采样结合U-Net深度学习重建的方法，可提升约40%采集效率，图像质量优于传统重建，有望优化相关MRI检查。
2024-10-30 cs.AI cs.CV eess.IV
Deep Learning--Accelerated Multi-Start Large Neighborhood Search for Real-time Freight Bundling
University of Twente（特文特大学）；Delft University of Technology（代尔夫特理工大学）；STAR Lab（STAR实验室）
本文提出一种深度学习加速的混合搜索流程，用于实时货运捆绑问题，通过结合Transformer神经网络和多起点大邻域搜索，实现高效、高质量的解决方案。
2025-12-12 cs.AI
Why gradient clipping accelerates training: A theoretical justification for adaptivity
Massachusetts Institute of Technology（麻省理工学院）
我们为梯度裁剪在训练深度神经网络中的有效性提供了理论解释。关键成分是一个新的平滑条件来自实际的神经网络训练的例子。我们观察到，梯度平滑度是一阶优化算法分析的核心概念，通常被假设为常数，它在深度神经网络的训练轨迹上表现出显著的可变性。此外，这种平滑性与梯度范数正相关，并且与文献中的标准假设相反，它可以随着梯度的范数而增长。这些经验的观察限制了现有的理论分析的算法，依赖于一个固定的边界上的平滑度的适用性。这些观察促使我们引入一种新的松弛梯度平滑，比常用的Lipschitz平滑假设弱。在新的条件下，我们证明了两个流行的方法，即\emph{gradient clipping}和\emph{normalized gradient}，收敛速度任意快于梯度下降与固定步长。我们进一步解释了为什么这种自适应缩放的梯度法可以加速经验收敛，并在流行的神经网络训练环境中验证了我们的结果。
2020-02-10 cs.LG math.OC
A Nesterov's Accelerated quasi-Newton method for Global Routing using Deep Reinforcement Learning
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工业大学）；Hiroshima City University（广岛市立大学）
深度Q学习方法是最常用的深度强化学习算法之一，其使用深度神经网络来近似动作-价值函数的估计。深度Q网络（DQN）的训练通常限于基于一阶梯度的方法。本文试图通过引入二阶Nesterov加速拟牛顿方法来加速深度Q网络的训练。我们评估了所提出的方法的性能，深度强化学习使用双DQN全局路由。实验结果表明，与一阶Adam和RMSprop方法训练的DQN相比，该方法可以获得更好的路由解决方案。
2020-10-15 cs.LG
Deep Residual Learning for Accelerated MRI using Magnitude and Phase Networks
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Korea Basic Science Institute（韩国基础科学研究所）
利用压缩感知（CS）和并行成像加速磁共振（MR）扫描采集是减少MR成像扫描时间的一种强大方法。然而，许多重建算法具有高计算成本。为了解决这个问题，我们研究了深度残差学习网络，以从伪影损坏的图像中去除混叠伪影。提出的深度残差学习网络由单独训练的幅度和相位网络组成。如果相位和幅度信息都是可用的，所提出的算法可以作为一个迭代的k空间插值算法，使用小框架表示。当只有幅度数据是可用的，所提出的方法作为一个图像域后处理算法。即使具有强相干混叠伪影，所提出的网络也成功地学习并去除了混叠伪影，而当前的并行和CS重建方法无法去除这些伪影。使用单线圈和多线圈的比较表明，所提出的残差网络提供了良好的重建结果与数量级更快的计算时间比现有的压缩传感方法。所提出的深度学习框架可以通过立即生成准确的结果而具有加速MR重建的巨大潜力。
2018-04-02 cs.AI cs.CV cs.LG
Uncertainty-Aware Time-to-Event Prediction using Deep Kernel Accelerated Failure Time Models
Ludwig Maximilians University Munich（慕尼黑路德维希-马克西米利安大学）；Siemens AG（西门子股份公司）；University Hospital Erlangen（埃尔朗根大学医院）
基于递归神经网络的解决方案越来越多地用于纵向电子健康记录数据的分析。然而，大多数工作都集中在预测准确性上，而忽视了预测的不确定性。我们提出了用于时间到事件预测任务的深度内核加速故障时间模型，通过递归神经网络和稀疏高斯过程的管道实现预测的不确定性意识。此外，基于深度度量学习的预训练步骤适于增强所提出的模型。在两个真实数据集上的实验中，我们的模型显示出比基于递归神经网络的基线更好的点估计性能。更重要的是，我们模型的预测方差可用于量化事件发生时间预测的不确定性估计：当我们的模型对其预测更有信心时，它会提供更好的性能。与相关方法（如Monte Carlo Dropout）相比，我们的模型通过利用分析解决方案提供了更好的不确定性估计，并且计算效率更高。
2021-07-26 cs.LG stat.ML
Improving Infinitely Deep Bayesian Neural Networks with Nesterov's Accelerated Gradient Method
Shenzhen Institutes of Advanced Technology Chinese Academy of Sciences Shenzhen, P.R.China
本文提出一种结合Nesterov加速梯度与残差跳接的SDE-BNN模型，通过减少函数评估次数提升收敛速度和预测精度。
2026-03-26 cs.LG stat.ML
Toward Safe and Accelerated Deep Reinforcement Learning for Next-Generation Wireless Networks
Queen’s University（女王大学）；Cairo University（开罗大学）；University of Calgary（卡尔加里大学）
深度强化学习（Deep Reinforcement Learning，DRL）算法近年来在无线网络领域得到了广泛的关注。它们被认为是解决下一代网络中动态无线资源管理（RRM）问题的有前途的方法。由于DRL算法能够构建无线网络环境的近似和不断更新的模型，因此可以处理此类环境的多方面复杂性。然而，一些挑战阻碍了商业网络中DRL的实际采用。在本文中，我们首先讨论了两个关键的实际挑战，面临的，但很少解决时，开发基于DRL的RRM解决方案。我们认为，这是不可避免的，以解决这些DRL相关的挑战，DRL找到自己的方式RRM商业解决方案。特别是，我们讨论了需要有安全和加速的DRL为基础的RRM解决方案，减轻DRL算法所表现出的收敛速度慢和性能不稳定。然后，我们审查和分类的主要方法中使用的RRM域开发安全和加速DRL为基础的解决方案。最后，进行了案例研究，以证明具有安全和加速的基于DRL的RRM解决方案的重要性。我们采用多种变体的迁移学习（TL）技术，以加速智能无线电接入网络（RAN）切片DRL为基础的控制器的收敛。我们还提出了一种基于TL的混合方法和基于S形函数的奖励，作为基于DRL的RAN切片中安全探索的示例。
2022-09-16 cs.AI cs.LG cs.NI
Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks
OpenAI
我们提出权重归一化：在神经网络中对权重向量的重新参数化，该重新参数化使这些权重向量的长度与它们的方向相反。通过以这种方式重新参数化权重，我们改进了优化问题的条件，并且我们加快了随机梯度下降的收敛。我们的重新参数化的灵感来自于批量归一化，但不会在minibatch中的示例之间引入任何依赖关系。这意味着我们的方法也可以成功地应用于LSTM等递归模型和对噪声敏感的应用，如深度强化学习或生成模型，其中批量归一化不太适合。虽然我们的方法要简单得多，但它仍然提供了完全批量归一化的大部分加速。此外，我们的方法的计算开销较低，允许在相同的时间内采取更多的优化步骤。我们证明了我们的方法在监督图像识别，生成建模和深度强化学习中的应用的有用性。
2016-06-04 cs.AI cs.LG cs.NE
Efficient Deep Reinforcement Learning via Adaptive Policy Transfer
Tianjin University（天津大学）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；Nanjing University（南京大学）；Fuxi AI Lab in Netease（网易伏羲人工智能实验室）；JD Digits（京东数字科技）
迁移学习（TL）通过利用相关任务的过去学习策略中的先验知识，在加速强化学习（RL）方面显示出巨大的潜力。现有的迁移方法要么显式地计算任务之间的相似性，要么选择适当的源策略来为目标任务提供指导性的探索。然而，如何直接优化目标策略，通过交替利用知识，从适当的源策略，而不显式地测量的相似性是目前缺少的。在本文中，我们提出了一种新的策略转移框架（PTF），以加速RL利用这一思想。我们的框架学习什么时候，哪一个源策略是最好的目标策略重用，什么时候终止它通过建模多策略传输的选项学习问题。PTF可以很容易地与现有的深度RL方法相结合。实验结果表明，它显着加快了学习过程，并超越了国家的最先进的政策转移方法的学习效率和最终性能在离散和连续的行动空间。
2020-05-25 cs.AI cs.LG stat.ML
Accelerated Linearized Laplace Approximation for Bayesian Deep Learning
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；Shanghai Jiao Tong University（上海交通大学）
拉普拉斯近似（LA）及其线性化变体（LLA）使预训练的深度神经网络能够轻松适应贝叶斯神经网络。广义高斯-牛顿（GGN）近似是典型的引入，以改善其易处理性。然而，LA和LLA仍然面临着非平凡的低效率问题，在实际应用中应该依赖于克罗内克因子，对角，甚至最后一层近似的GGN矩阵。这些近似值可能会损害学习结果的保真度。为了解决这个问题，受LLA和神经切线核（NTK）之间的联系的启发，我们开发了一个Nystrom近似NTK来加速LLA。我们的方法受益于流行的深度学习库的前向模式自动微分的能力，并享有可靠的理论保证。广泛的研究反映了所提出的方法在可扩展性和性能方面的优点。我们的方法甚至可以扩展到像视觉Transformer这样的架构。我们还提供有价值的消融研究来诊断我们的方法。代码可在\url{https://github.com/thudzj/ELLA}上获得。
2022-10-23 cs.LG
XQC: Well-conditioned Optimization Accelerates Deep Reinforcement Learning
本文提出XQC算法，通过优化批评网络的条件数提升样本效率，结合批量归一化、权重归一化和分布交叉熵损失，在多个连续控制任务中取得最佳性能。
2026-03-13 cs.AI cs.LG
Accelerated replica exchange stochastic gradient Langevin diffusion enhanced Bayesian DeepONet for solving noisy parametric PDEs
Purdue University（普渡大学）
Deep Operator Networks~（DeepONet）是一种完全不同的神经网络，我们训练它来近似非线性算子，包括参数偏微分方程（PDE）的求解算子。DeepONets已经显示出卓越的近似和泛化能力，即使在使用相对较小的数据集进行训练时也是如此。然而，当训练数据被噪声污染时，DeepONets的性能会恶化，这种情况在实践中经常发生。为了使DeepONets能够使用噪声数据进行训练，我们建议使用复制交换Langevin扩散的贝叶斯框架。这样的框架使用两个粒子，一个用于探索，另一个用于利用DeepONets的损失函数。我们表明，所提出的框架的探索和利用能力使（1）在嘈杂的场景中提高DeepONets的训练收敛性，以及（2）为参数PDE的预测解附加不确定性估计。此外，我们还发现，与使用最先进的基于梯度的优化算法（例如Adam）训练的香草DeepONets相比，复制交换Langeving扩散（显着）还提高了DeepONet在嘈杂场景中的平均预测准确性。为了降低副本的潜在高计算成本，在这项工作中，我们提出了一个用于复制交换Langevin扩散的加速训练框架，该框架利用DeepONets的神经网络架构将其计算成本降低了25%，而不会影响所提出的框架的性能。最后，我们使用一系列的实验四个参数偏微分方程的问题，说明了所提出的贝叶斯框架的有效性。
2021-11-03 cs.LG cs.NA math.NA
Deep Learning for Accelerated and Robust MRI Reconstruction: a Review
Technical University of Munich（慕尼黑工业大学）；University of Iowa（爱荷华大学）；Stanford University（斯坦福大学）；Tel Aviv University（特拉维夫大学）；Technion - Israel Institute of Technology（以色列理工学院）
本综述全面概述了深度学习在加速MRI重建、提升图像质量及应对数据挑战方面的方法、应用现状与未来方向，强调了其对临床成像实践的深远影响。
2024-04-24 cs.LG eess.IV
TensorDash: Exploiting Sparsity to Accelerate Deep Neural Network Training and Inference
University of Toronto（多伦多大学）；Cerebras Systems（赛雷布拉斯系统公司）；Vector Institute（向量研究所）
TensorDash是一种硬件级技术，用于使数据并行MAC单元能够利用其输入操作数流中的稀疏性。当用于构成深度学习的硬件加速器时，TensorDash可以加快训练过程，同时提高能源效率。TensorDash将低成本、稀疏输入操作数互连与面积高效的硬件调度器相结合，该互连包括每个乘法器输入的8输入多路复用器。虽然互连允许每个操作数的非常有限的移动集合，但是当稀疏性存在于神经网络的激活、权重或梯度中时，调度器可以有效地提取稀疏性。在涵盖各种应用的广泛模型集合中，TensorDash通过$1.95{\times}$加速训练过程，同时在考虑片上和片外内存访问时，$1.89\times$更节能，$1.6\times$更节能。虽然TensorDash适用于任何数据类型，但我们使用单精度浮点单元和bfloat16来演示它。
2020-09-01 cs.AR cs.LG
Deep Neural Network Based Accelerated Failure Time Models using Rank Loss
Department of Statistics (Institute of Applied Statistics)（统计学系（应用统计研究所））；Jeonbuk National University（全北国立大学）；Department of Applied Statistics（应用统计学系）；Yonsei University（yonsei大学）；Department of Statistics and Data Science（统计学与数据科学系）；Center for Advanced Image and Information Technology（先进图像与信息技术中心）
针对加速失效时间模型均值预测的非线性问题，提出基于深度神经网络与 Gehan 型秩损失的 DeepR-AFT 模型，模拟与真实数据表明其在非线性及高维线性场景下优于传统模型。
2025-07-12 cs.LG stat.ML
Accelerated Deep Lossless Image Coding with Unified Paralleleized GPU Coding Architecture
TU Berlin（柏林工业大学）
我们提出了深度无损图像编码（DLIC），全分辨率学习无损图像压缩算法。我们的算法是基于神经网络结合熵编码器。神经网络对源图像的每个像素执行密度估计。然后使用密度估计对目标像素进行编码，在压缩率方面击败FLIF。类似的方法也曾尝试过。然而，长的运行时间使得它们对于现实世界的应用程序来说是不可行的。我们介绍了一个并行GPU的实现，允许编码和解码的灰度，8位图像在不到一秒钟。因为DLIC使用神经网络来估计用于熵编码器的概率，所以DLIC可以在特定于域的图像数据上训练。我们证明了这种能力，通过适应和训练DLIC与磁共振成像（MRI）图像。
2022-07-11 cs.CV cs.LG eess.IV
Lipschitz Multiscale Deep Equilibrium Models: A Theoretically Guaranteed and Accelerated Approach
Meiji University（东邦大学）
本研究提出一种理论保证且加速的Lipschitz多尺度深度均衡模型，通过重构架构实现固定点收敛，提升训练和推理效率。
2026-02-03 cs.LG
Dual-Domain Deep Learning Method to Accelerate Local Basis Functions Computation for Reservoir Simulation in High-Contrast Porous Media
School of Mathematics and Physics, Xi’an Jiaotong-Liverpool University（数学与物理学院，西安交通大学利物浦大学）
本研究提出双域深度学习方法，用于加速多尺度基函数计算，提升储层模拟的效率和精度。
2025-11-18 cs.LG cs.NA math.NA
An FPGA-Accelerated Design for Deep Learning Pedestrian Detection in Self-Driving Vehicles
American University of Beirut（贝鲁特美国大学）
随着自动驾驶汽车的兴起，出现了事故风险，需要更高的安全性，并在以下情况下保护行人检测：即将发生的碰撞，因此汽车应该撞上物体并避开行人，以及在道路交叉口的情况下，当行人穿过时，汽车必须停下来。目前，被称为融合深度神经网络（F-DNN）的深度神经网络的特殊拓扑被认为是行人检测中的最先进技术，因为它具有最低的未命中率，但它非常慢。因此，需要加速来加快性能。该项目提出了两个贡献来解决这个问题，通过使用用于目标检测的深度神经网络，称为Single Shot Multi-Box Detector（SSD）。第一个贡献是训练和调整SSD的超参数，以提高行人检测。第二个贡献是一个新的FPGA设计，用于加速Altera Arria 10平台上的模型。最终的系统将实时用于自动驾驶汽车。改进后的SSD的初步结果显示，在加州理工学院行人检测基准测试中，错误率比F-DNN高3%，但性能提高了4倍。加速设计预计将实现额外的性能改进，显著超过精度的最小差异。
2018-09-16 cs.CV cs.LG stat.ML
A Faithful Deep Sensitivity Estimation for Accelerated Magnetic Resonance Imaging
Xiamen University（厦门大学）；Zhongshan Hospital (Xiamen), Fudan University（复旦大学附属中山医院（厦门））；Xiamen University of Technology（厦门理工学院）
针对MRI重建中灵敏度图不准确导致图像质量下降的问题，提出联合深度灵敏度估计与重建网络JDSI，逐步提供更忠实灵敏度图，在体内数据集上达到最先进性能。
2023-12-25 cs.AI cs.LG eess.IV
Accelerate Intermittent Deep Inference
University of California, Riverside（加州大学河滨分校）
本文提出加速间歇性深度推理方法，将设备上推理任务调度至间歇性执行周期并优化延迟，在满足端到端延迟的同时，针对256KB以下SRAM实现了比基线更高的准确率。
2025-01-28 cs.DC cs.LG
Robustness of Deep Learning for Accelerated MRI: Benefits of Diverse Training Data
Technical University of Munich（慕尼黑工业大学）
本文研究训练数据分布对加速MRI深度学习模型鲁棒性的影响，发现用多扫描仪、多解剖部位的多样化数据训练可在不降低分布内性能的前提下提升跨分布鲁棒性，优于为单一分布分别维护模型。
2024-08-07 cs.CV cs.LG eess.IV
DeepLight: Deep Lightweight Feature Interactions for Accelerating CTR Predictions in Ad Serving
Purdue University（普渡大学）；Yahoo Research（雅虎研究院）；Google, Inc.（谷歌公司）
点击率（CTR）预测是在线展示广告中的一项重要任务。已经提出了基于嵌入的神经网络来学习通过浅层组件的显式特征交互和使用深层神经网络（DNN）组件的深层特征交互。然而，这些复杂的模型使预测推理至少慢了数百倍。为了解决生产环境中广告投放的服务延迟和内存使用率高的问题，本文提出了\emph{DeepLight}：一个从三个方面加速CTR预测的框架：1）通过显式搜索浅层组件中的信息特征交互来加速模型推理; 2）在DNN组件中修剪层内和层间级别的冗余层和参数; 3）提高嵌入层的稀疏性以保持最具鉴别力的信号。通过结合上述努力，所提出的方法在Criteo数据集上将模型推理加速了46倍，在Avazu数据集上加速了27倍，而预测精度没有任何损失。这为在广告服务生产中成功部署复杂的基于嵌入的神经网络铺平了道路。
2021-01-06 cs.IR cs.LG stat.AP
Wave-Encoded Model-based Deep Learning for Highly Accelerated Imaging with Joint Reconstruction
Athinoula A. Martinos Center for Biomedical Imaging（阿西努拉·A·马蒂诺斯生物医学成像中心）；Harvard Medical School（哈佛医学院）；National Nanotechnology Center（国家纳米技术中心）；Harvard/MIT Health Sciences and Technology（哈佛-麻省理工学院健康科学与技术）
目的：提出一种用于高度加速3D成像和联合多对比度图像重建的基于波编码模型的深度学习（wave-MoDL）策略，并进一步扩展该策略，以使用具有T2准备脉冲的交错look-locker采集序列（3D-QALAS）实现快速定量成像。方法：最近引入的MoDL技术成功地将基于卷积神经网络（CNN）的正则化器结合到使用少量网络参数的基于物理的并行成像重建中。Wave-CAIPI是一种新兴的并行成像方法，其通过在读出期间在相位和切片编码方向上采用正弦梯度来加速成像速度，以更好地利用3D线圈灵敏度曲线。在wave-MoDL中，我们建议将波编码策略与展开的网络约束相结合，以加快采集速度，同时加强波编码数据的一致性。我们进一步扩展了wave-MoDL，以利用并行成像（CAIPI）采样模式中的受控混叠来重建多对比度数据，以利用多个图像之间的相似性来提高重建质量。结果：Wave-MoDL能够在16倍加速度下以1 mm分辨率进行47秒MPH采集。对于定量成像，Wave-MoDL允许在12倍加速度下以1 mm分辨率进行2分钟的T1、T2和质子密度绘图采集，也可以从中合成对比加权图像。结论：Wave-MoDL允许快速MR采集和高保真图像重建，并且可以通过将展开的神经网络并入wave-CAIPI重建来促进临床和神经科学应用。
2022-02-06 cs.LG eess.IV
Constructing artificial life and materials scientists with accelerated AI using Deep AndersoNN
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出 Deep AndersoNN，用深度平衡模型与 Anderson 外推加速不动点求解，在药物、MOF 和晶体分类中实现最高98%准确率及十倍训练推理加速。
2024-07-29 cs.LG physics.app-ph
Hardware/Software Co-Programmable Framework for Computational SSDs to Accelerate Deep Learning Service on Large-Scale Graphs
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
图神经网络（GNN）处理由一千亿条边组成的大规模图。与传统的深度学习相比，新兴GNN的独特行为涉及大量的图形和嵌入存储的数据，这表现出复杂和不规则的预处理。我们提出了一个新的大型图上的深度学习框架HolisticGNN，它提供了一个易于使用的，接近存储的推理基础设施，用于快速，节能的GNN处理。为了实现最佳的端到端延迟和高能效，HolisticGNN允许用户实现各种GNN算法，并以整体方式在实际数据存在的地方直接执行这些算法。它还支持PCIe上的RPC，这样用户就可以通过图形语义库简单地对GNN进行编程，而无需了解底层硬件或存储配置。我们制作了HolisticGNN的硬件RTL，并在基于FPGA的计算SSD（CSSD）上实现了其软件。我们的实证评估表明，HolisticGNN的推理时间比使用高性能现代GPU的GNN推理服务高出7.1倍，同时平均降低了33.2倍的能耗。
2022-01-23 cs.AR cs.LG
Equilibrated Zeroth-Order Unrolled Deep Networks for Accelerated MRI
SIAT（中国科学院深圳先进技术研究院）；National Innovation Center for Advanced Medical Devices（国家高性能医疗器械创新中心）；Shanghai Jiaotong University（上海交通大学）；Technical University of Munich（慕尼黑工业大学）
最近，模型驱动的深度学习通过替换一阶信息（即，（子）梯度或近似算子），与常见的数据驱动网络相比，它看起来更可解释和可预测。相反，在理论上，不一定存在这样一个函数正则化器，其一阶信息与被替换的网络模块相匹配，这意味着网络输出可能不被原始正则化模型覆盖。此外，到目前为止，也没有理论来保证的全局收敛性和鲁棒性（正则性）的展开网络在现实的假设。为了弥补这一差距，本文提出了一种安全的方法，对网络展开。具体来说，专注于加速MRI，我们展开了一个零阶算法，其中网络模块代表正则化器本身，因此网络输出仍然可以被正则化模型覆盖。此外，受深度平衡模型思想的启发，在反向传播之前，我们进行展开迭代网络收敛到一个不动点，以确保收敛性。在测量数据含有噪声的情况下，我们证明了所提出的网络对噪声干扰具有鲁棒性。最后，数值实验表明，所提出的网络始终优于最先进的MRI重建方法，包括传统的正则化方法和其他深度学习方法。
2021-12-23 cs.LG eess.IV
Accelerated MRI with Un-trained Neural Networks
Rice University（莱斯大学）；Technical University of Munich（慕尼黑工业大学）
卷积神经网络（CNN）对于图像重建问题是非常有效的。通常，CNN是在大量训练图像上训练的。然而，最近，未经训练的CNN（如深度图像先验和深度解码器）在图像重建问题（如去噪和修复，\emph{without using any training data}）方面取得了优异的性能。出于这一发展的动机，我们解决了在加速MRI与未经训练的神经网络中出现的重建问题。我们提出了一种基于深度解码器变体的高度优化的未训练恢复方法，并表明它显著优于其他未训练方法，特别是基于稀疏的经典压缩感知方法和未训练神经网络的朴素应用。我们还比较了训练方法的理想设置中的性能（无论是重建准确性还是计算成本），特别是在fastMRI数据集上，其中训练和测试数据来自相同的分布。我们发现，我们的未经训练的算法实现了与基线训练的神经网络相似的性能，但最先进的训练网络优于未经训练的网络。最后，我们在训练和测试分布略有不同的非理想设置上进行比较，发现我们的未训练方法与最先进的加速MRI重建方法具有相似的性能。
2021-04-27 cs.CV cs.LG eess.IV
Exascale Deep Learning to Accelerate Cancer Research
Oak Ridge National Lab（橡树岭国家实验室）；Stony Brook University（石溪大学）
通过使用神经网络，深度学习已经证明了在提供足够的数据进行训练时自动化许多常规任务的卓越能力。神经网络架构（例如，层的数量、层的类型、层之间的连接等）在确定神经网络能够从训练数据学习什么（如果有的话）方面起着关键作用。神经网络架构的趋势，特别是那些在ImageNet上训练的架构，已经变得越来越深，越来越复杂。其结果是基准数据集的准确性不断提高，但代价是计算需求增加。在本文中，我们证明了神经网络架构可以自动生成，为特定的应用程序量身定制，具有双重目标：预测精度和预测速度。使用MENNDL--一个支持HPC的神经架构搜索软件栈--我们在癌症病理数据集上生成了一个神经网络，其准确性与最先进的网络相当，而且推理速度也比$16\times$快。由于癌症病理学数据的数量和速度，推理的加速是必要的;具体来说，对于没有访问HPC系统的个人研究人员来说，以前最先进的网络太慢，无法跟上数据生成的速度。我们的新模型使具有适度计算资源的研究人员能够比收集更快地分析新生成的数据。
2019-09-26 cs.DC cs.LG stat.ML
Data augmentation for deep learning based accelerated MRI reconstruction with limited data
University of Southern California（南加州大学）；Technical University of Munich（慕尼黑工业大学）；Rice University（莱斯大学）
深度神经网络已经成为图像恢复和重建任务的非常成功的工具。这些网络通常经过端到端的训练，以直接从该图像的噪声或损坏的测量中重建图像。为了实现最先进的性能，在大型和多样化的图像集上进行训练被认为是至关重要的。然而，收集大量的训练图像通常是困难的和/或昂贵的。受数据增强（DA）分类问题的成功启发，在本文中，我们提出了一种用于加速MRI重建的数据增强管道，并研究了其在各种设置中减少所需训练数据的有效性。我们的DA管道MRAugment专门设计用于利用医学成像测量中存在的不变性，因为忽略问题物理学的幼稚DA策略失败了。通过对多个数据集的广泛研究，我们证明了在低数据状态下，DA可以防止过拟合，并且可以匹配甚至超越最先进的技术，同时使用更少的训练数据，而在高数据状态下，它具有递减的收益。此外，我们的研究结果表明，DA可以提高模型的鲁棒性对各种变化的测试分布。
2021-06-28 cs.CV cs.LG eess.IV
Scalable Deep-Learning-Accelerated Topology Optimization for Additively Manufactured Materials
Oak Ridge National Laboratory（橡树岭国家实验室）
拓扑优化（TO）是一种流行的和强大的计算方法，用于设计新的结构，材料和设备。两个计算挑战限制了TO对各种工业应用的适用性。首先，TO问题通常涉及大量的设计变量，以保证足够的表达能力。其次，许多TO问题需要大量昂贵的物理模型模拟，并且这些模拟不能并行化。为了解决这些问题，我们提出了一个通用的可扩展的深度学习（DL）为基础的TO框架，称为SDL-TO，它利用高性能计算（HPC）的并行方案，以加速设计增材制造（AM）材料的TO过程。与现有的TO的DL研究不同，我们的框架通过学习迭代历史数据并同时训练给定设计与其梯度之间的映射来加速TO。通过利用多个CPU上的并行计算并结合多个GPU上的分布式DL训练来学习替代梯度。学习的TO梯度实现了快速在线更新方案，而不是基于物理模拟器或求解器的昂贵更新。采用局部采样策略，降低了设计空间固有的高维性，提高了SDL-TO框架的训练精度和可扩展性。该方法是通过基准的例子和AM材料的热传导设计证明。与基线方法相比，拟议的SDL-TO框架显示出具有竞争力的性能，但与标准TO实现相比，速度提高了约8.6倍，从而显着降低了计算成本。
2020-11-28 cs.CE cs.LG
