DP-SGD-Global-Adapt-V2-S: Triad Improvements of Privacy, Accuracy and Fairness via Step Decay Noise Multiplier and Step Decay Upper Clipping Threshold
University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）；College of Saint Benedict and Saint John’s University（圣本笃学院与圣约翰大学）；Mississippi State University（密西西比州立大学）
本文针对DP-SGD效用与公平性下降问题，提出DP-SGD-Global-Adapt-V2-S，通过步进衰减噪声乘子和上裁剪阈值，在多个数据集上同时提升隐私保护下的准确率与公平性。
2025-02-05 cs.CR cs.LG
Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour
Facebook（Facebook（脸书））
深度学习因大型神经网络和大型数据集而蓬勃发展。然而，更大的网络和更大的数据集导致更长的训练时间，阻碍了研究和开发的进展。分布式同步SGD通过将SGD小批划分到一个并行工作者池上，为这个问题提供了一个潜在的解决方案。然而，为了使这个方案有效，每个工作者的工作量必须很大，这意味着SGD minibatch大小的不平凡的增长。在本文中，我们通过经验证明，在ImageNet数据集上，大的小批量会导致优化困难，但当这些问题得到解决时，经过训练的网络表现出良好的泛化能力。具体来说，我们在使用高达8192张图像的大型小批量训练时没有表现出准确性损失。为了实现这一结果，我们采用了一个超参数的线性缩放规则来调整学习率作为小批量大小的函数，并开发了一个新的预热方案，克服了早期训练中的优化挑战。通过这些简单的技术，我们基于Caffe 2的系统在一个小时内在256个GPU上训练了8192个小批量大小的ResNet-50，同时匹配小批量精度。使用商品硬件，我们的实现了约90%的扩展效率时，从8到256 GPU。我们的研究结果使得在互联网规模的数据上高效地训练视觉识别模型成为可能。
2018-04-30 cs.CV cs.DC cs.LG
When MiniBatch SGD Meets SplitFed Learning:Convergence Analysis and Performance Evaluation
针对拆分联邦学习在非独立同分布数据下的客户端漂移问题，提出融入小批量SGD的MiniBatch-SFL算法，分析其收敛性并通过实验验证其准确率优于传统SFL和FL。
2023-08-23 cs.AI cs.LG
Distributed Optimization over Block-Cyclic Data
Shanghai Jiao Tong University（上海交通大学）；University of Texas at Dallas（得克萨斯大学达拉斯分校）；Alibaba Group（阿里巴巴集团）
我们考虑了联邦学习的实际数据特征，其中不平衡和非i.i.d.来自客户端的数据具有块循环结构：每个循环包含若干块，并且每个客户端的训练数据遵循块特定的和非i.i. d的。分布。这样的数据结构将在协作训练期间引入客户端和块偏差：单个全局模型将偏向于客户端或块特定数据。为了克服偏差，我们提出了两个新的分布式优化算法，称为多模型并行SGD（MM-PSGD）和多链并行SGD（MC-PSGD）的收敛速度为$O(1/\sqrt{NT})$，实现了线性加速相对于客户端的总数。特别地，MM-PSGD采用了块混合训练策略，而MC-PSGD进一步增加了块分离训练策略。这两种算法通过平均和比较来自不同周期的该块中生成的历史全局模型来为每个块创建特定的预测器。我们在CIFAR-10数据集上广泛评估了我们的算法。评估结果表明，我们的算法显着优于传统的联邦平均算法的测试精度方面，也保留了关键参数的方差的鲁棒性。
2020-02-18 cs.DC cs.LG math.OC
FPDeep: Scalable Acceleration of CNN Training on Deeply-Pipelined FPGA Clusters
深度神经网络（DNN）已经彻底改变了许多应用，但对更高性能的需求仍然有增无减。将DNN计算扩展到更大的集群通常是通过使用分布式同步SGD等方法以批处理模式分发任务来完成的。这种方法的问题之一是，为了使分布式集群以高利用率工作，分配给每个节点的工作负载必须很大，这意味着SGD小批量大小的增长非常重要。在本文中，我们提出了一个名为FPDeep的框架，它使用模型和层并行的混合配置分布式可重构集群训练DNN。这种方法有许多好处。首先，该设计不受批量增长的影响。第二，新的工作负载和权重划分导致节点之间的负载平衡。第三，整个系统是一个细粒度的管道。这导致了高并行性和利用率，并且还最小化了在等待反向传播时需要缓存的时间。因此，存储需求降低到只有片上存储器用于卷积层的程度。我们使用Alexnet、VGG-16和VGG-19基准测试来评估FPDeep。实验结果表明，FPDeep对大量FPGA具有良好的可扩展性，限制因素是FPGA到FPGA的带宽。每个FPGA有6个收发器，FPDeep的线性度高达83个FPGA。能源效率是相对于GOP/J进行评估的。FPDeep的能源效率平均比同类GPU服务器高6.36倍。
2020-06-21 cs.AR cs.DC cs.LG
Algorithm for Training Neural Networks on Resistive Device Arrays
IBM Research AI（IBM研究院人工智能部门）
由电阻交叉点器件阵列组成的硬件架构可以为使用随机梯度下降（SGD）和反向传播（BP）算法的深度神经网络训练工作负载提供显著的功率和速度优势。然而，在这种即将到来的模拟硬件上的训练精度强烈地依赖于交叉点元件的开关特性。关键要求之一是，这些电阻器件在受到正或负脉冲刺激时必须以对称方式改变电导。在这里，我们提出了一种新的训练算法，所谓的“Tiki-Taka”算法，消除了这种严格的对称性要求。我们发现，设备不对称性引入了一个无意的隐式成本项到SGD算法，而在“Tiki-Taka”算法耦合动力系统同时最小化的原始目标函数的神经网络和无意的成本项，由于设备不对称性在一个自洽的方式。我们在一系列网络架构上测试了这种新算法的有效性，例如全连接，卷积和LSTM网络。对这些不同网络的仿真结果表明，无论使用具有对称（理想）器件开关特性的常规SGD算法实现了什么精度，使用具有非对称（非理想）器件开关特性的“Tiki-Taka”算法也实现了相同的精度。此外，在阵列上执行的所有操作仍然是并行的，因此这种新算法在阵列架构上的实现成本是最小的;并且它保持了上述功率和速度优势。这些算法改进对于放宽材料规格和实现技术上可行的电阻交叉阵列至关重要，这些电阻交叉阵列在类似的训练任务中优于数字加速器。
2019-09-17 cs.ET cs.LG cs.NE
signSGD with Majority Vote is Communication Efficient And Fault Tolerant
Caltech（加州理工学院）；UC Irvine（加州大学欧文分校）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
在大型数据集上训练神经网络可以通过将工作负载分布在机器网络上来加速。随着数据集越来越大，数百或数千台机器的网络在经济上变得可行。传送梯度的时间成本限制了使用如此大的机器数量的有效性，因为可能增加网络故障的机会。我们探索了一种特别简单的算法，用于强大的，通信高效的学习-signSGD。工作进程只将其梯度向量的符号传输到服务器，整体更新由多数投票决定。与全精度分布式SGD相比，该算法每次迭代使用的$32\times$通信更少。在自然条件下，通过实验验证，我们证明了signSGD收敛在大型和小型批量设置，建立收敛的亚当作为副产品的参数制度。通过多数投票来聚合符号梯度意味着没有任何个体工人拥有太多的权力。我们证明，不像新加坡元，多数票是强大的，当高达50%的工人的行为敌对。我们考虑的一类对手包括那些反转或随机化其梯度估计的特殊情况。在实践方面，我们在Pytorch中构建了我们的分布式培训系统。以最先进的集体通信库（NCCL）为基准，我们的框架-参数服务器完全位于一台机器上-使用15台AWS p3.2xlarge机器时，在Imagenet上训练resnet 50的时间减少了25%。
2019-02-22 cs.AI cs.DC cs.LG
Near-Data Processing for Differentiable Machine Learning Models
Seoul National University（首尔大学）；Yonsei University（延世大学）；Stanford University（斯坦福大学）
近数据处理（NDP）是指用处理能力增强内存或存储。尽管NDP具有加速计算和降低功耗的潜力，但由于各种原因，在普及NDP方面只取得了有限的进展。最近，发生了两个重大变化，点燃了新的兴趣，并导致新民主党的复苏。首先是机器学习（ML）的成功，它通常需要大量的计算来进行训练，需要频繁地传输大数据。第二个是基于NAND闪存的固态驱动器（SSD）的普及，它包含多核处理器，可以容纳额外的数据处理计算。在本文中，我们使用一个新的SSD平台来评估NDP对ML的潜力，该平台允许我们模拟ML工作负载的存储处理（ISP）。我们的平台（名为ISP-ML）是一个成熟的模拟器，可以使用存储在SSD中的数据执行各种ML算法。为了进行彻底的性能分析并与其他技术进行深入比较，我们专注于一个特定的算法：随机梯度下降（SGD），这是训练可微模型（如逻辑回归和神经网络）的事实标准。我们使用ISP-ML实现并比较了三种SGD变体（同步，倾盆大雨和弹性平均），利用多个NAND通道并行化SGD。此外，我们比较了ISP和传统的主机内处理的性能，揭示了ISP的优势。基于通过实验确定的优势和局限性，我们进一步讨论了ISP加速ML的未来研究方向。
2017-04-28 cs.AR cs.DC cs.LG
Stochastic Gradient Push for Distributed Deep Learning
Facebook AI Research（Facebook人工智能研究院）；McGill University（麦吉尔大学）；University of Edinburgh（爱丁堡大学）
分布式数据并行算法旨在通过跨多个节点并行计算大型小批量梯度更新来加速深度神经网络的训练。使用精确的分布式平均来同步节点的方法（例如，通过AllReduce）对离散者和通信延迟敏感。PushSum gossip算法对这些问题是鲁棒的，但仅执行近似的分布平均。本文研究了随机梯度推送算法（SGP），它将PushSum算法与随机梯度更新算法相结合.我们证明了SGP收敛到平稳点的光滑，非凸目标在相同的次线性率SGD，所有节点实现共识。我们在图像分类（ResNet-50，ImageNet）和机器翻译（Transformer，WMT'16 En-De）工作负载上实证验证了SGP的性能。我们的代码将公开提供。
2019-05-14 cs.AI cs.DC cs.LG
Privacy-Preserving Asynchronous Federated Learning Algorithms for Multi-Party Vertically Collaborative Learning
JD Finance America Corporation（京东金融美国公司）；Department of Electrical & Computer Engineering, University of Pittsburgh（匹兹堡大学电气与计算机工程系）；University of Pittsburgh（匹兹堡大学）
针对垂直分区数据的隐私保护联邦学习作为新兴的多方联合建模应用的解决方案已经显示出有希望的结果，其中数据持有者（如政府分支机构、私人金融和电子商务公司）在整个学习过程中进行协作，而不是依赖于可信的第三方来持有数据。然而，现有的垂直分区数据的联邦学习算法仅限于同步计算。在联邦学习系统中，当计算/通信资源不均衡时，为了提高系统的效率，需要在保证数据隐私的前提下，针对垂直分区数据开发异步训练算法。在本文中，我们提出了一个异步联邦SGD（AFSGD-VP）算法及其SVRG和SAGA变种的垂直分区数据。在强凸性条件下，给出了AFSGD-VP及其SVRG和SAGA变体的收敛性分析。我们还讨论了他们的模型隐私，数据隐私，计算复杂性和通信成本。据我们所知，AFSGD-VP及其SVRG和SAGA变体是垂直分区数据的第一个异步联邦学习算法。在多种垂直分区数据集上的实验结果不仅验证了AFSGD-VP及其SVRG和SAGA变体的理论结果，而且表明我们的算法比相应的同步算法具有更高的效率。
2020-08-14 cs.LG stat.ML
ScaDLES: Scalable Deep Learning over Streaming data at the Edge
Indiana University Bloomington（印第安纳大学伯明顿分校）
针对边缘流数据在线训练的系统与统计异构性、带宽受限等问题，提出ScaDLES框架，解决非IID数据与流速率差异难题，收敛速度较传统分布式SGD最高提升3.29倍。
2024-01-29 cs.DC cs.LG cs.NI
Understanding the Difficulty of Training Transformers
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Microsoft Dynamics 365 AI（微软Dynamics 365人工智能部门）
本文从理论与实证分析 Transformer 训练困难，指出残差分支依赖导致的扰动放大是不稳定根源，并提出 Admin 初始化方法以提升稳定性、收敛速度和最终性能。
2023-10-01 cs.CL cs.LG stat.ML
Improving Neural Network Training in Low Dimensional Random Bases
Graphcore Research（Graphcore研究院）
随机梯度下降（SGD）已被证明在优化使用越来越多参数的深度神经网络方面非常有效。然而，提高大规模优化的效率仍然是一个重要和高度活跃的研究领域。最近的研究表明，深度神经网络可以在随机投影的子空间中进行优化，这些子空间的维数比它们的原生参数空间小得多。虽然这种训练有希望获得更有效和可扩展的优化方案，但其实际应用受到劣质优化性能的限制。在这里，我们对最近的随机子空间方法进行了如下改进：首先，我们证明了在整个训练过程中保持随机投影固定不利于优化。我们建议在每一步重新绘制随机子空间，这会产生更好的性能。我们通过将独立投影应用于网络的不同部分来实现进一步的改进，使近似随着网络维度的增加而变得更有效。为了实现这些实验，我们利用硬件加速的伪随机数生成来在每个优化步骤中按需构建随机投影，从而使我们能够将独立随机方向的计算分布在具有共享随机种子的多个工作者之间。这会显著减少内存，并且对于相关的工作负载来说，速度最高可提高10倍。
2020-11-09 cs.LG cs.NE stat.ML
Coordinating Distributed Example Orders for Provably Accelerated Training
Cornell University（康奈尔大学）
针对分布式训练中示例顺序优化问题，提出CD-GraB方法，利用核稀疏化思想将GraB的可证明加速优势扩展到分布式环境，实现线性加速并优于分布式RR。
2023-12-21 cs.DC cs.LG math.OC
Heterogeneous CPU+GPU Stochastic Gradient Descent Algorithms
University of California Merced（加州大学默塞德分校）
广泛采用的做法是使用专用硬件加速器训练深度学习模型，例如，GPU或TPU，由于其在线性代数运算上的卓越性能。然而，这种策略并没有有效地利用大量的CPU和内存资源--它们只用于预处理、数据传输和调度--这些资源在加速服务器上默认可用。在本文中，我们研究了异构CPU + GPU架构上的深度学习训练算法。我们的双重目标-同时最大化收敛速度和资源利用率-使问题具有挑战性。为了允许对设计空间进行原则性探索，我们首先介绍了一个通用的深度学习框架，该框架通过异步消息传递利用CPU和GPU之间的计算能力和存储层次结构的差异。通过实验的框架获得的见解的基础上，我们设计了两个异构异步随机梯度下降（SGD）算法。第一种算法-CPU + GPU Hogbatch-将CPU上的小批量与GPU上的大批量相结合，以最大限度地利用两种资源。然而，这会产生一个不平衡的模型更新分布，这阻碍了统计收敛。第二种算法-自适应Hogbatch-根据CPU和GPU的相对速度分配具有不断变化的大小的批次。这以可定制的利用率降低为代价来平衡模型更新率。我们表明，在拟议的CPU + GPU框架中实现这些算法，在几个真实数据集和两个计算架构（本地服务器和云实例）上实现了比TensorFlow更快的收敛和更高的资源利用率。
2020-04-19 cs.DB cs.DC cs.LG
A multi-algorithm approach for operational human resources workload balancing in a last mile urban delivery system
Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）
本文提出了一种多算法方法，用于优化最后一公里城市配送系统中劳动力的工作量分配，通过结合距离和工作量因素来平衡配送工人之间的任务分配。
2025-12-24 cs.AI cs.LG
CuMF_SGD: Fast and Scalable Matrix Factorization
Peking University（北京大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
本文提出CuMF_SGD，利用GPU高带宽内存和快节点连接加速大规模矩阵分解，通过批量Hogwild!和波前更新方案及优化内核，在单CPU和多GPU上实现3.1X-28.2X的加速。
2016-11-10 cs.LG cs.NA math.NA
DiVa: An Accelerator for Differentially Private Machine Learning
KAIST（韩国科学技术院）
机器学习（ML）的广泛部署引起了人们对保护参与收集训练数据的用户隐私的严重关注。差分隐私（DP）作为隐私保护的实用标准在业界正迅速获得发展势头。尽管DP的重要性，然而，很少有探讨在计算机系统社区关于这个新兴的ML算法对系统设计的影响。在这项工作中，我们对一种名为DP-SGD的最先进的差分私有ML训练算法进行了详细的工作负载表征。我们揭示了DP-SGD的几个独特性质（例如，与非私有ML相比，它的内存容量和计算需求更高），这是其关键瓶颈的根源。基于我们的分析，我们提出了一个名为DiVa的差分私有ML加速器，它在计算利用率方面有了显着的提高，与传统的脉动阵列相比，能效提高了2.6倍。
2022-08-26 cs.AI cs.AR cs.CR
