EmbRace: Accelerating Sparse Communication for Distributed Training of NLP Neural Networks
National University of Defense Technology（国防科技大学）；Xiamen University（厦门大学）
分布式数据并行训练已被广泛用于深度神经网络（DNN）模型。虽然目前的深度学习（DL）框架可以很好地扩展图像分类模型等密集模型，但我们发现这些DL框架对于具有高度稀疏嵌入表的自然语言处理（NLP）模型等稀疏模型的可扩展性相对较低。大多数现有的作品忽略了模型参数的稀疏性，从而遭受显着的，但不必要的通信开销。在本文中，我们提出了EmbRace，一个有效的通信框架，以加速稀疏模型的分布式训练的通信。EmbRace引入了稀疏感知混合通信，将AlltoAll和模型并行集成到数据并行训练中，以减少高度稀疏参数的通信开销。为了有效地将稀疏通信与向后和向前计算重叠，EmbRace进一步设计了一种2D通信调度方法，该方法优化了模型计算过程，放松了嵌入的依赖性，并使用优先级队列调度每个嵌入行的稀疏通信。我们已经实现了一个基于PyTorch和Horovod的EmbRace原型，并对四个代表性的NLP模型进行了全面的评估。实验结果表明，与最先进的分布式训练基线相比，EmbRace实现了高达2.41倍的加速比。
2022-06-27 cs.LG cs.MA
Proximal SCOPE for Distributed Sparse Learning: Better Data Partition Implies Faster Convergence Rate
Nanjing University（南京大学）
多台机器集群的分布式稀疏学习在机器学习中引起了广泛关注，特别是对于具有高维数据的大规模应用。实现稀疏学习的一种流行方法是使用$L_1$正则化。在本文中，我们提出了一种新的方法，称为近端\mbox{SCOPE} ~（\mbox{pSCOPE}），分布式稀疏学习$L_1$正则化。pSCOPE基于\underline{c}操作性\underline{a}可操作性\underline{l}局部\underline{l}可操作性~（\mbox{CALL}）框架。在\mbox{pSCOPE}的\mbox{CALL}框架中，我们发现数据划分会影响学习过程的收敛性，因此我们定义了一个度量数据划分优劣的指标。基于定义的度量，我们从理论上证明了pSCOPE是收敛的线性收敛速度，如果数据划分是足够好的。我们还证明了更好的数据划分意味着更快的收敛速度。此外，pSCOPE还具有通信效率。在真实数据集上的实验结果表明，pSCOPE可以优于其他最先进的分布式稀疏学习方法。
2018-10-26 cs.LG stat.ML
Sparse Generalized Canonical Correlation Analysis: Distributed Alternating Iteration based Approach
Shanghai Jiao Tong University（上海交通大学）；University of Southampton（南安普顿大学）
稀疏典型相关分析（CCA）是一种有用的统计工具，用于检测具有稀疏结构的潜在信息。然而，稀疏CCA仅适用于两个数据集，即，只有两个视图或两个不同的对象。为了克服这一局限性，本文提出了一种稀疏广义典型相关分析（GCCA），它可以检测具有稀疏结构的多视图数据的潜在关系。此外，引入的稀疏性可以被认为是典型变量的拉普拉斯先验。具体来说，我们将GCCA转换成一个线性方程组，并施加$\ell_1$最小化惩罚稀疏追求。这导致Stiefel流形上的非凸问题，这是很难解决的。受Boyd一致性问题的启发，提出了一种基于分布式交替迭代的算法，并在较弱的条件下详细研究了算法的理论一致性分析。在多个人工数据集和真实数据集上的实验证明了该算法的有效性。
2020-04-23 cs.LG stat.ML
DICOD: Distributed Convolutional Sparse Coding
CMLA, ENS Paris-Saclay, Université Paris-Saclay（巴黎萨克雷高等师范学院、巴黎萨克雷大学数学与应用数学中心）；L2TI, Université Paris 13（巴黎第十三大学信息处理与交互技术实验室）
在本文中，我们介绍了DICOD，卷积稀疏编码算法，建立长信号的移位不变表示。该算法被设计为在分布式环境中运行，具有本地消息传递，使其通信高效。它基于坐标下降，并使用局部贪婪更新，与贪婪坐标选择相比，这加快了分辨率。我们证明了该算法的收敛性，并强调其计算速度是超线性的核数。我们还提供了经验证据，我们的算法相比，国家的最先进的方法的加速性能。
2018-05-13 cs.LG stat.ML
Centralized and distributed online learning for sparse time-varying optimization
在过去的几年里，在线算法的发展，以跟踪时变系统引起了很多关注，特别是在在线凸优化的框架。同时，稀疏时变优化已经成为一个强大的工具，以处理广泛的应用，从动态压缩传感到简约系统辨识。在大多数关于稀疏时变问题的文献中，假设系统演化的一些先验信息是可用的。相比之下，在本文中，我们提出了一种在线学习方法，它不使用给定的模型，适用于对抗框架。具体来说，我们开发集中式和分布式算法，我们从理论上分析他们的动态遗憾，在网上学习的角度来看。此外，我们提出了数值实验，说明其实际有效性。
2020-01-31 cs.LG math.OC
Byzantine-Robust Distributed Sparse Learning Revisited
School of Mathematical Sciences（数学科学学院）；School of Statistics and Mathematics（统计与数学学院）；Information Center（信息中心）
本文提出结合局部ℓ1正则化鲁棒估计与服务器端鲁棒聚合的方法，用于高维稀疏线性模型，实现非渐进行为保证和近优统计速率，同时保持通信效率。
2026-05-13 cs.LG math.ST stat.TH
SalientGrads: Sparse Models for Communication Efficient and Data Aware Distributed Federated Training
Georgia Institute of Technology（佐治亚理工学院）；TReNDs Center（TReNDs中心）；Georgia State University（佐治亚州立大学）
SalientGrads 利用本地数据感知的显著性分数在训练前选择稀疏子网络，并在训练中仅传输高度稀疏梯度，从而在资源受限的联邦学习场景中提升通信效率并缩短实际通信时间。
2023-04-15 cs.LG
Global Momentum Compression for Sparse Communication in Distributed Learning
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
针对DMSGD稀疏通信的带宽瓶颈，本文提出使用全局动量的GMC及其增强版GMC+，证明二者收敛性，并在non-IID设置下取得更高准确率与更快收敛。
2024-04-03 cs.LG stat.ML
Sparse Communication for Distributed Gradient Descent
University of Edinburgh（爱丁堡大学）
我们通过交换稀疏更新而不是密集更新来使分布式随机梯度下降更快。梯度更新是正偏态的，因为大多数更新都接近零，所以我们将99%的最小更新（按绝对值）映射到零，然后交换稀疏矩阵。这种方法可以与量化相结合，以进一步提高压缩。我们探索不同的配置，并将其应用于神经机器翻译和MNIST图像分类任务。大多数配置在MNIST上工作，而不同的配置降低了更复杂的翻译任务的收敛速度。我们的实验表明，我们可以在MNIST上实现高达49%的速度，在NMT上实现22%的速度，而不会损害最终的准确性或BLEU。
2017-07-24 cs.CL cs.DC cs.LG
Sparse Distributed Learning Based on Diffusion Adaptation
Sapienza University of Rome（罗马大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出了扩散LMS策略，用于自适应网络的分布式估计，能够利用底层系统模型中的稀疏性。该方法依赖于压缩感知中常见的凸正则化，通过网络上的扩散过程来增强稀疏性的检测。由此产生的算法赋予网络学习能力，并允许它们实时从传入数据中学习稀疏结构，并跟踪模型稀疏度的变化。我们提供的收敛性和均方性能分析所提出的方法，并显示在什么条件下，它优于非正则扩散版本。我们还展示了如何自适应地选择正则化参数。仿真结果表明，所提出的滤波器的稀疏数据恢复的优势。
2012-11-12 cs.DC cs.LG
Variable Binding for Sparse Distributed Representations: Theory and Applications
Neuromorphic Computing Lab, Intel Labs（英特尔实验室神经形态计算实验室）；Redwood Center for Theoretical Neuroscience at the University of California, Berkeley（加州大学伯克利分校红杉理论神经科学中心）；Intelligent systems Lab at Research Institutes of Sweden（瑞典研究院智能系统实验室）
符号推理和神经网络通常被认为是不兼容的方法。被称为向量符号架构（VSAs）的连接主义模型可能会弥合这一差距。然而，经典的VSA和神经网络仍然被认为是不兼容的。VSA通过密集的伪随机向量对符号进行编码，其中信息分布在整个神经元群体中。神经网络对特征进行局部编码，通常形成神经激活的稀疏向量。继Rachkovskij（2001）; Laiho et al.（2015）之后，我们探索了具有稀疏分布表示的符号推理。VSA中的核心操作是向量之间的二元操作，以表达变量绑定和集合的表示。因此，代数操作使得VSA能够在固定维度的向量空间中表示和处理数据结构。使用压缩感知技术，我们首先表明，在VSAs密集向量之间的变量绑定在数学上等价于稀疏向量之间的张量积绑定，增加维数的操作。这个结果意味着一般稀疏向量的维保持绑定必须包括将张量矩阵减少到单个稀疏向量。研究了保持稀疏性的变量绑定的两种选择。一般稀疏向量的一种绑定方法扩展了早期的建议，将张量积减少到一个向量中，例如循环卷积。另一种方法仅针对稀疏分组码，即块循环卷积定义。我们的实验表明，变量绑定块码具有理想的属性，而绑定一般稀疏向量也工作，但有损，类似于以前的建议。我们展示了一个VSA与稀疏块码的示例应用程序，认知推理和分类，并讨论其相关的神经科学和神经网络。
2020-09-14 cs.LG cs.NE
Communication-efficient Algorithm for Distributed Sparse Learning via Two-way Truncation
University of Minnesota Twin Cities（明尼苏达大学双城分校）
我们提出了一个通信和计算效率高的算法，高维分布式稀疏学习。在每次迭代中，本地机器计算本地数据上的梯度，而主机器解决一个移位的$l_1$正则化最小化问题。通过双向截断过程，通信代价从现有算法的维数的常数倍降低到稀疏数的常数倍。理论上，我们证明了所提出的算法的估计误差呈指数下降，并在温和的假设下匹配的集中式方法。仿真数据和真实数据的实验结果表明，该算法在解决高维稀疏学习问题时具有与集中式方法相当的性能。
2017-09-09 cs.LG math.OC stat.ML
Towards Sparse Federated Analytics: Location Heatmaps under Distributed Differential Privacy with Secure Aggregation
Cornell Tech（康奈尔理工学院）；Google（谷歌）
我们设计了一种可扩展的算法，可以在来自数百万用户设备的分散数据上私下生成位置热图。它旨在确保数据对服务提供商可见之前的差分隐私，同时保持高数据准确性并最大限度地减少用户设备上的资源消耗。为了实现这一目标，我们重新分布式差分隐私的基础上，最近的结果在安全多方计算，我们设计了一个可扩展的和自适应的分布式差分隐私的位置分析方法。对公共位置数据集的评估表明，这种方法成功地从数百万用户样本中生成了大都市规模的热图，最坏情况下的客户端通信开销明显小于现有的最先进的私有协议。
2022-06-26 cs.CR cs.LG
Optimizing the Optimal Weighted Average: Efficient Distributed Sparse Classification
Booz Allen Hamilton（博思艾伦汉密尔顿公司）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Laboratory for Physical Sciences（物理科学实验室）
针对分布式线性模型通信成本高且单轮通信近似随机器增多而退化的问题，本文提出新技术ACOWA，通过增加一轮通信在略微增加运行时间下显著提升近似质量，在稀疏分布式逻辑回归中实现了更高准确率。
2024-06-03 cs.DC cs.LG stat.ML
Sparse Distributed Memory is a Continual Learner
Harvard University（哈佛大学）；Harvard College（哈佛学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Harvard Medical School（哈佛医学院）
持续学习是人工神经网络的一个问题，而它们的生物学对应物擅长解决这个问题。在使用稀疏分布式存储器（SDM）将核心神经回路与强大的Transformer模型连接起来的基础上，我们创建了一个修改后的多层感知器（MLP），它是一个强大的连续学习器。我们发现，从生物学翻译而来的MLP变体的每一个组成部分都是持续学习所必需的。我们的解决方案也是免费的，从任何内存重放或任务信息，并介绍了新的方法来训练稀疏网络，可广泛适用。
2023-03-20 cond-mat.dis-nn cs.AI cs.LG
A New Training Algorithm for Kanerva's Sparse Distributed Memory
University of Florence（佛罗伦萨大学）
由Pentii Kanerva提出的稀疏分布记忆（Sparse Distributed Memory，简称SDM）被认为是人类长期记忆的一种模型。SDM的体系结构允许存储二进制模式，并使用部分匹配模式检索它们。然而，Kanerva的模型仅在处理随机数据时特别有效。本文的目的是介绍一种新的方法来训练Kanerva的SDM，可以有效地处理非随机数据，并提供它的能力，以识别倒置模式。该方法使用的信号模型不同于Hely、Willshaw和Hayes在[4]中提出的用于不同目的的信号模型。本文还建议了一种在内存中创建硬位置的不同方法，尽管Kanerva的静态模型。
2012-07-27 cs.CV cs.LG cs.NE
Distributed Bayesian Piecewise Sparse Linear Models
NEC System Platform Research Laboratories（NEC系统平台研究所）；NEC Data Science Research Laboratories（NEC数据科学研究所）
由于新兴的企业预测分析、数据隐私的威胁、人工智能在社会中的责任等，机器学习模型的可解释性的重要性日益增加。它们通常会产生与最先进的非线性方法相比具有竞争力的准确性。此外，他们的陈述（即，基于规则的分割加上稀疏线性公式）通常被领域专家所偏好。然而，这样的模型的一个缺点是，同时确定的“件”和基数的每个线性预测，这限制了它们的适用性中等规模的数据集的计算成本高。提出了一种基于分布式存储结构的分段稀疏线性模型学习的分布式因子分解渐近贝叶斯（FAB）推理方法。分布式FAB推理解决了同时模型选择问题，而无需传送$O(N)$数据，其中N是训练样本的数量，并实现了相对于CPU核数量的线性横向扩展。实验结果表明，分布式FAB推理具有较高的预测精度和性能的可扩展性与合成和基准数据。
2017-11-07 cs.AI cs.DC cs.LG
Distributed Estimation of Sparse Inverse Covariances
Purdue University（普渡大学）
从时间序列数据中学习各种实体之间的关系在许多应用中是必不可少的。已经研究了高斯图形模型来推断这些关系。然而，现有的算法在一个中心位置批量处理数据，限制了它们在不同代理收集数据的场景中的应用。在本文中，我们提出了一种分布式稀疏逆协方差算法来学习网络结构（即，观察到的实体之间的依赖性）。我们的方法是建立在一个在线的图形交替最小化算法，增加了一个共识项，允许代理合作学习所需的结构。我们允许系统设计人员选择每个数据点的通信轮数和优化步骤。我们描述了我们的算法的收敛速度，并提供模拟合成数据集。
2021-09-30 cs.LG cs.MA cs.SY
MTraining: Distributed Dynamic Sparse Attention for Efficient Ultra-Long Context Training
Microsoft（微软）
本文提出MTraining方法，通过动态稀疏注意力机制解决超长上下文训练中的计算不平衡和通信开销问题，实现了Qwen2.5-3B模型上下文窗口从32K扩展到512K，并在多个下游任务中达到6倍更高的训练吞吐量同时保持模型准确性。
2026-05-19 cs.CL cs.DC cs.LG
Distributed Sparse SGD with Majority Voting
Ozyegin University（厄兹耶金大学）；Imperial College London（帝国理工学院）
分布式学习，特别是分布式随机梯度下降（DSGD）的变体，被广泛用于通过利用多个工作者的计算资源来加速训练。然而，在实践中，由于需要在工作器和参数服务器之间交换大量信息，通信延迟成为瓶颈。缓解通信瓶颈的最有效策略之一是top-K稀疏化。然而，top-K稀疏化需要额外的通信负载来表示稀疏模式，并且工作者的稀疏模式之间的不匹配阻碍了高效通信协议的利用。为了解决这些问题，我们引入了一种新的基于多数表决的稀疏通信策略，在该策略中，工作人员首先寻求稀疏表示结构上的共识。这种策略提供了一个显着减少通信负载，并允许在两个通信方向上使用相同的稀疏水平。通过对CIFAR-10数据集的广泛模拟，我们证明了在测试精度没有任何损失的情况下，可以实现高达x4000的压缩。
2020-11-12 cs.DC cs.IT cs.LG
Distributed Semi-Supervised Sparse Statistical Inference
Shanghai University of Finance and Economics（上海财经大学）；Shanghai Jiao Tong University（上海交通大学）；Purdue University（普渡大学）
针对分布式场景下高维去偏估计量计算成本高的问题，提出融合有标记与无标记数据的多轮分布式去偏估计量，适配多种损失函数，仅需一次高维逆协方差估计，提升了统计速率与计算效率。
2023-12-15 cs.LG stat.ML
SparDL: Distributed Deep Learning Training with Efficient Sparse Communication
College of Computer Science, Zhejiang University（浙江大学计算机学院）
针对分布式深度学习Top-k稀疏化中的稀疏梯度累积困境，提出SparDL框架，通过Spar-Reduce-Scatter、Spar-All-Gather和全局残差收集算法实现高效稀疏通信与快速收敛。
2024-02-23 cs.DC cs.LG
Distributed Variational Inference in Sparse Gaussian Process Regression and Latent Variable Models
University of Cambridge（剑桥大学）
高斯过程（GP）是函数概率推理的有力工具。它们已被应用于回归和非线性降维，并提供理想的属性，如不确定性估计，过拟合的鲁棒性，以及调整超参数的原则性方法。然而，这些模型对大数据集的可扩展性仍然是一个活跃的研究课题。我们介绍了一种新的重新参数化的变分推断稀疏GP回归和潜变量模型，允许一个有效的分布式算法。这是通过利用给定诱导点的数据解耦来重新制定Map-Reduce设置中的证据下限来完成的。我们表明，推理规模以及数据和计算资源，同时保持平衡的节点之间的负载分布。我们进一步展示了将高斯过程扩展到大数据的实用性。我们表明，GP的性能随着回归（200万记录的飞行数据）和潜变量建模（MNIST）中数据量的增加而提高。结果表明，GP的表现优于许多常用于大数据的常见模型。
2014-09-29 cs.LG stat.ML
Distributed Sparse Linear Regression under Communication Constraints
Department of Statistics, Federal University of Bahia, Salvador-BA, Brazil（统计系，巴伊亚联邦大学，巴西）；Department of Computer Science（计算机科学系）；Applied Mathematics, Weizmann Institute of Science, Rehovot, Israel（应用数学，魏茨曼科学研究院，以色列）
本文提出了一种在通信限制下实现稀疏线性回归的分布式算法，通过亚线性通信量实现精确支持恢复。
2026-01-02 cs.LG math.ST stat.TH
Distributed-Memory Sparse Kernels for Machine Learning
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
采样稠密时间稠密矩阵乘法（SDDMM）和稀疏时间稠密矩阵乘法（SpMM）出现在不同的设置中，如协同过滤，文档聚类和图嵌入。通常，SDDMM输出成为后续SpMM操作的输入稀疏矩阵。现有的工作集中在共享内存并行这些原语。虽然已经有广泛的分析，通信最小化分布式1.5D算法的SpMM，没有这样的分析存在SDDMM或背靠背序列的SDDMM和SpMM，称为融合MM。我们发现，分布式存储器1.5D和2.5D算法的SpMM可以转换为算法SDDMM具有相同的通信成本和输入/输出数据布局。此外，我们给出了两个通信省略策略，以进一步降低成本的FusionMM内核：要么重用SDDMM和SpMM的输入稠密矩阵的复制顺序，或融合本地SDDMM和SpMM内核。我们基准测试FusedMM算法Cori，Cray XC 40在LBNL，使用Erdos-Renyi随机矩阵和大型现实世界的稀疏矩阵。在256个节点上，每个节点有68个内核，与依次执行分布式内存SpMM和SDDMM内核相比，使用任何一种通信省略方法的1.5D FusedMM算法可以节省至少30%的通信时间。在具有数亿条边的真实矩阵上，我们所有的算法都比PETSc中的SpMM算法至少有10倍的加速。在这些矩阵上，我们的通信省略技术的运行时间比未优化的SDDMM和SpMM序列快1.6倍。我们嵌入和测试我们的算法在现实世界中的应用，包括协同过滤通过交替最小二乘法和…
2022-03-18 cs.DC cs.LG
Distributed Dynamic Safe Screening Algorithms for Sparse Regularization
University of Pittsburgh（匹兹堡大学）
分布式优化作为大规模样本模型训练的有效方法之一，得到了广泛的应用。然而，在大数据时代，大规模学习问题广泛存在，既有海量样本，又有高维特征。安全筛选是一种通过丢弃零系数的非活动特征来加速高维模型的流行技术。然而，现有的安全筛查方法仅限于序贯设置。本文提出了一种新的稀疏正则化模型的分布式动态安全筛选（DDSS）方法，并将其分别应用于共享内存和分布式内存结构，该方法在保证模型和数据集稀疏性的前提下，能够在保证精度的前提下显著提高计算速度.据我们所知，这是分布式安全动态筛选方法的第一项工作。理论上，我们证明了所提出的方法实现了线性收敛速度与较低的整体复杂度，可以消除几乎所有的非活动功能，在有限的迭代次数几乎肯定。最后，在基准数据集上的大量实验结果证实了我们提出的方法的优越性。
2022-04-23 cs.DC cs.LG stat.ML
Private and Communication-Efficient Edge Learning: A Sparse Differential Gaussian-Masking Distributed SGD Approach
Iowa State University（爱荷华州立大学）
随着机器学习（ML）的兴起和智能移动设备的激增，近年来人们对在无线边缘网络中执行ML的兴趣激增。在本文中，我们考虑共同提高分布式边缘学习的数据隐私和通信效率的问题，这两者都是无线边缘网络计算中的关键性能指标。为此，我们提出了一种新的分散随机梯度方法与稀疏差分高斯掩蔽随机梯度（SDM-DSGD）的非凸分布边缘学习。我们的主要贡献是三方面的：i）我们从理论上建立了我们的SDM-DSGD方法的隐私和通信效率的性能保证，它优于所有现有的工作; ii）我们表明，与现有技术相比，SDM-DSGD将基本的训练隐私权衡提高了{ \em两个数量级}。我们揭示了理论的见解，并提供实用的设计准则之间的相互作用的隐私保护和通信效率，两个相互冲突的性能目标。我们在MNIST和CIFAR-10数据集上使用各种学习模型进行了广泛的实验，以验证我们的理论发现。总的来说，我们的研究结果有助于分布式边缘学习的理论和算法设计。
2020-03-28 cs.CR cs.DC cs.LG
A Distributed Frank-Wolfe Algorithm for Communication-Efficient Sparse Learning
Télécom ParisTech（巴黎高等电信学院）；CNRS（法国国家科学研究中心）；University of Southern California（南加利福尼亚大学）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
稀疏组合学习是机器学习中的一个常见主题。在本文中，我们研究了其相关的优化问题，在分布式设置的元素被组合不是集中位于，但分布在网络上。我们解决了平衡通信成本和优化错误的关键挑战。为此，我们提出了一个分布式的Frank-Wolfe（dFW）算法。我们得到的优化误差$ε$和通信成本，不依赖于合并元素的总数的理论保证。我们进一步表明，dFW的通信成本是最佳的，通过推导出一个下界的通信成本所需的构建一个$ε$近似的解决方案。我们验证了我们的理论分析与实证研究的合成和真实世界的数据，这表明dFW优于基线和竞争的方法。我们还研究了dFW的性能时，我们的分析条件放宽，并表明，dFW是相当强大的。
2015-01-12 cs.AI cs.DC cs.LG
Two-Stage Robust and Sparse Distributed Statistical Inference for Large-Scale Data
Aalto University（阿尔托大学）
在本文中，我们解决的问题进行统计推断的设置，涉及大规模的数据，可能是高维和污染的离群值。数据的高容量和维度需要分布式处理和存储解决方案。我们提出了一个两阶段的分布式和强大的统计推断程序处理高维模型，促进稀疏。在第一阶段，称为模型选择，通过对不同的数据子集应用鲁棒Lasso估计来局部选择相关的预测因子。从每个计算节点的变量选择，然后融合的投票计划，找到完整的数据集的稀疏基。它以稳健的方式确定相关变量。在第二阶段，采用已开发的统计稳健且计算高效的自助方法。实际推断构造置信区间，找到参数估计值并量化标准差。与阶段1类似，本地推理的结果被传送到融合中心并在那里组合。通过使用分析方法，我们建立了良好的统计特性的强大的和计算效率的自助方法，包括一致性的固定数量的预测，和鲁棒性。建议的两阶段的强大和分布式推理程序表现出可靠的性能和稳健性，在变量选择，发现置信区间和自举近似的标准差，即使数据是高维和离群值污染。
2022-08-17 cs.LG eess.SP stat.ML
Distributed Sparse Normal Means Estimation with Sublinear Communication
Weizmann Institute of Science（魏茨曼科学研究所）
本文研究了在通信受限的分布式环境下的稀疏正态均值估计问题。我们假设有$M$机器，每个机器都持有被加性高斯噪声破坏的$K$稀疏向量$μ$的$d$维观测。$M$机器以星形拓扑连接到融合中心，融合中心的目标是以低通信预算估计矢量$μ$。以前的工作已经表明，为了实现$\ell_2$风险的集中式极大极小化率，总的通信必须是高的-至少在维度$d$上是线性的。然而，这种现象发生在非常弱的信号下。我们表明，在信号噪声比（SNR）是足够高的-但不足以恢复任何单独的机器-支持$μ$可以正确地恢复与显着较少的通信。具体来说，我们提出了两个算法的稀疏均值向量的分布估计高斯或亚高斯噪声损坏。然后，我们证明，在一定的SNR阈值以上，以高概率，这些算法恢复正确的支持与总的通信是次线性的维度$d$。此外，通信作为信号强度的函数呈指数下降。如果除了$KM\ll \tfrac{d}{\log d}$，然后与一个额外的一轮次线性通信，我们的算法实现了集中率的$\ell_2$的风险。最后，我们提出了模拟，说明我们的算法在不同的参数制度的性能。
2022-02-14 cs.IT cs.LG math.IT
Distributed Sparse Feature Selection in Communication-Restricted Networks
Sharif University of Technology（谢里夫理工大学）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究研究所（IPM））
本文旨在提出并理论分析一种新的分布式稀疏线性回归和特征选择方案。其主要目标是从一个未知的稀疏线性模型中学习高维数据集的几个因果特征。然而，包括$\mathbb{R}^p$中的$n$数据样本的假定训练集已经分布在具有通过极低带宽链路连接的$N$客户端的大型网络上。此外，我们考虑了$1\ll N\ll n\ll p$的渐近构型。为了从整个数据集中推断因果维度，我们提出了一种简单而有效的网络信息共享方法。在这方面，我们从理论上表明，真正的因果关系的功能可以可靠地恢复，可以忽略不计的带宽使用的$O\left(N\log p\right)$在整个网络。与将所有样本发送到单个节点的普通情况（集中式场景）相比，这产生了显著更低的通信成本，该情况需要$O\left(np\right)$传输。甚至更复杂的方案，如ADMM，仍然具有$O\left(Np\right)$的通信复杂度。令人惊讶的是，我们的样本复杂性界被证明是相同的（直到一个常数因子），在每个节点的固定性能指标的最佳集中式方法，而一个天真的分散技术与$N$线性增长。本文的理论保证基于Javanmard等人（2019）最近的去偏LASSO分析框架，并得到了在合成和真实世界数据集上进行的几个计算机实验的支持。
2021-11-02 cs.LG stat.ML
Can a Hebbian-like learning rule be avoiding the curse of dimensionality in sparse distributed data?
INESC-ID（INESC-ID（葡萄牙系统与计算机工程研究所））；Instituto Superior Técnico（里斯本高等理工学院）；University of Lisbon（里斯本大学）
一般认为，大脑使用类似于稀疏分布表示的东西。然而，这些表示是高维的，因此它们由于"维数灾难"而影响传统机器学习模型的分类性能。在有大量标记数据的任务中，深度网络似乎通过许多层和非Hebbian反向传播算法解决了这个问题。然而，大脑似乎能够用很少的层次来解决问题。在这项工作中，我们假设这是通过使用Hebbian学习来实现的。实际上，受限玻尔兹曼机的类赫布学习规则是不对称地学习输入模式的。它专门学习非零值之间的相关性，并忽略代表绝大多数输入维度的零。通过忽略零，可以避免“维数灾难”问题。为了验证我们的假设，我们生成了几个稀疏数据集，并将受限玻尔兹曼机分类器的性能与一些Backprop训练的网络进行了比较。使用这些代码的实验证实了我们最初的直觉，因为受限玻尔兹曼机显示出良好的泛化性能，而用反向传播算法训练的神经网络过拟合训练数据。
2022-07-20 cs.AI cs.LG cs.NE
High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates
Booz Allen Hamilton（博思艾伦汉密尔顿公司）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Laboratory for Physical Sciences（物理科学实验室）
针对大规模分布式训练中通信成本高、现有方法更新发散且难处理高维稀疏性的问题，提出通信高效的分布式逻辑回归方案，仅需少量更新即可大幅提升准确率，运行速度更优。
2024-07-08 cs.DC cs.LG stat.ML
Sparse-Push: Communication- & Energy-Efficient Decentralized Distributed Learning over Directed & Time-Varying Graphs with non-IID Datasets
Purdue University（普渡大学）；IMEC（IMEC（微电子研究中心））；University of California Berkeley（加州大学伯克利分校）
当前的深度学习（DL）系统依赖于集中式计算范例，这限制了可用训练数据的量，增加了系统延迟，并增加了隐私和安全约束。通过对等无线连接的边缘设备上的DL模型的分散和分布式训练实现的设备上学习不仅缓解了上述限制，而且还使需要DL模型的下一代应用程序能够持续交互并从其环境中学习。然而，这需要开发新的训练算法，该训练算法在时变和有向对等图结构上训练DL模型，同时最小化设备之间的通信量并且还对非IID数据分布有弹性。在这项工作中，我们提出，稀疏推送，一个通信效率高的分散式分布式训练算法，支持训练的对等，有向和随时间变化的图形拓扑结构。当在CIFAR-10数据集上训练各种DL模型（如ResNet-20和VGG 11）时，所提出的算法能够将通信减少466倍，性能仅下降1%。此外，我们演示了如何通信压缩可以导致显着的性能下降的情况下，非IID数据集，并提出倾斜补偿稀疏推送算法，恢复这种性能下降，同时保持类似的通信压缩水平。
2021-02-12 cs.AI cs.CV cs.DC
DiSMEC - Distributed Sparse Machines for Extreme Multi-label Classification
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
极端多标签分类是指涉及数十万甚至数百万个标签的监督多标签学习。极端分类中的数据集表现出符合幂律分布，即大部分标签在数据分布中具有非常少的正实例。大多数用于极端多标签分类的最先进方法试图通过将标签矩阵嵌入到低维线性子空间来捕获标签之间的相关性。然而，在幂律分布的非常大的和不同的标签空间的存在下，结构假设，如低秩可以很容易地被违反。在这项工作中，我们提出了DiSMEC，这是一个大规模的分布式框架，用于学习一对休息的线性分类器，再加上显式的容量控制，以控制模型的大小。与大多数最先进的方法不同，DiSMEC不对标签矩阵进行任何低秩假设。使用双层并行化，DiSMEC可以在几个小时内学习由数十万个标签组成的数据集的分类器。显式容量控制机制过滤掉虚假参数，使模型在尺寸上保持紧凑，而不会损失预测精度。我们对由多达670，000个标签组成的公开真实世界数据集进行了广泛的实证评估。我们比较DiSMEC与最近的国家的最先进的方法，包括SLEEC这是一个领先的方法，用于学习稀疏的本地嵌入，和FastXML这是一个基于树的方法，优化排名的损失函数。在一些数据集上，DiSMEC可以显著提高预测准确性-绝对值比SLECC高10%，比FastXML高15%。
2016-09-08 cs.LG stat.ML
Distributed Sparse Regression via Penalization
Purdue University（普渡大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
本研究针对无中心节点的网络稀疏线性回归，提出带一致性惩罚的分布式LASSO方法，证明其统计一致性与线性收敛性，并揭示速度-精度权衡。
2023-06-21 cs.LG math.OC
Near-Optimal Sparse Allreduce for Distributed Deep Learning
Department of Computer Science, ETH Zurich（计算机科学系，苏黎世联邦理工学院）
本文提出 O$k$-Top$k$ 方案，通过渐近最优的稀疏 allreduce 算法与去中心化 SGD 结合，并利用阈值估计高效选择 top-$k$ 梯度，在保持模型精度的同时显著提升分布式深度学习训练吞吐量和可扩展性。
2025-08-21 cs.DC cs.LG
Distributed Nonparametric Estimation: from Sparse to Dense Samples per Terminal
Tsinghua University（清华大学）；Southeast University（东南大学）
针对通信约束下的分布式非参数函数估计问题，刻画了各样本量情形下的极小极大最优速率及相变，设计分层估计协议并证明其最优性，解决了此前研究遗留的开放问题。
2025-01-14 cs.IT cs.LG math.IT
DDAC-SpAM: A Distributed Algorithm for Fitting High-dimensional Sparse Additive Models with Feature Division and Decorrelation
The Chinese University of Hong Kong（香港中文大学）；New York University（纽约大学）；East China Normal University（华东师范大学）
本文提出分布式算法DDAC-SpAM，通过特征划分、去相关和合并三步在高维稀疏可加模型中实现稀疏模式恢复与统计推断，兼顾理论与实证效果。
2023-07-08 cs.LG math.ST stat.AP
A Distributed Hierarchical SGD Algorithm with Sparse Global Reduction
Georgia Institute of Technology（佐治亚理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在分布式平台上训练大规模机器学习应用时，减少通信仍然是一个很大的挑战。为了解决这个问题，我们提出了一个分布式分层平均随机梯度下降（Hier-AVG）算法，通过引入局部约简，减少了全局约简。作为一种通用的并行SGD，Hier-AVG可以通过调整参数来复制几种流行的同步并行SGD变体。我们表明，Hier-AVG与不频繁的全球减少仍然可以达到标准的收敛速度为非凸优化问题。此外，我们还表明，更多参与者参与的更频繁的局部平均可以导致更快的训练收敛。通过比较Hier-AVG与另一种流行的分布式训练算法K-AVG，我们表明，通过部署局部平均与更少的全局平均，Hier-AVG仍然可以达到相当的训练速度，同时经常得到更好的测试精度。这表明，局部平均可以作为一种替代的补救措施，以有效地减少通信开销时，学习者的数量是大的。Hier-AVG在CIFAR-10和IMAGENET-1 K上使用几种最先进的深度神经网络进行实验，以验证我们的分析并显示其优越性。
2019-09-09 cs.DC cs.LG math.OC
Sparse Distributed Learning via Heterogeneous Diffusion Adaptive Networks
本文提出通过异质扩散自适应网络实现稀疏参数向量的分布式估计，通过选择性应用凸正则化方法减少计算开销，同时保持最优性能。
2014-10-26 cs.DC cs.LG cs.SY
Efficient Similarity-Preserving Unsupervised Learning using Modular Sparse Distributed Codes and Novelty-Contingent Noise
Neurithmic Systems（神经算法系统公司）
在神经科学中，人们越来越认识到信息是在大脑中表达的，例如，新皮层，海马，以稀疏分布代码（SDC）的形式，一种细胞组装。两个基本问题是：a）这些代码是如何在单次试验的基础上形成的，以及在学习过程中如何保持相似性，即，如何将更多相似的输入映射到更多相似的SDC。我描述了一种新颖的模块化稀疏分布式代码（MSDC），它为这两个问题提供了简单的、神经上似乎合理的答案。MSDC编码字段（CF）由Q个WTA竞争模块（CM）组成，每个模块由K个二进制单元（主单元的类似物）组成。CF的模块化性质使得单次试验、无监督学习算法成为可能，该算法近似地保持相似性，并且关键地，在固定时间内运行，即，存储项所需的步骤数量随着所存储项的数量增长而保持不变。此外，一旦项被存储为叠加的MSDC并且使得它们的交集结构反映输入相似性，固定时间最佳匹配检索和固定时间置信更新（更新所有存储项的概率）也变得可能。该算法的核心原理是简单地将噪声添加到选择代码的过程中，即，在每个CM中选择获胜者，这与输入的新颖性成比例。这使得输入X的代码与每个先前存储的输入Y的代码的预期交集与X和Y的相似性成比例。附录中给出了证明这些空间模式能力的结果。
2020-10-19 cs.LG cs.NE q-bio.NC
Sparse Binary Compression: Towards Distributed Deep Learning with minimal Communication
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Korea University（高丽大学）
目前，越来越大的深度神经网络是在不断增长的数据语料库上训练的。由于这种趋势在未来只会增加，分布式训练方案变得越来越重要。分布式训练中的一个主要问题是贡献节点之间有限的通信带宽或通常过高的通信成本。随着计算节点数量的增加，这些挑战变得更加紧迫。为了抵消这种发展，我们提出了稀疏二进制压缩（SBC），一个压缩框架，可以大大减少分布式训练的通信成本。SBC将现有的通信延迟和梯度稀疏化技术与新的二值化方法和最佳权重更新编码相结合，将压缩增益推向新的极限。通过这样做，我们的方法还允许我们平滑地权衡梯度稀疏性和时间稀疏性，以适应学习任务的要求。我们的实验表明，SBC可以将各种卷积和递归神经网络架构上的上游通信减少四个数量级以上，而不会显著损害前向-后向传递的收敛速度。例如，我们可以在ImageNet上使用$\times 3531$更少的位以相同的迭代次数将ResNet训练到基线精度，或者使用$\times 37208$更少的位将其训练到$1\%$更低的精度。在后一种情况下，每个参与客户端所需的上行通信总量从125 TB减少到3.35 GB。
2018-05-22 cs.AI cs.DC cs.LG
Distributed Inference with Sparse and Quantized Communication
Purdue University（普渡大学）；Sandia National Laboratories（桑迪亚国家实验室）
我们考虑分布式推理的问题，在网络中的代理观察到一个未知状态产生的私人信号流，并旨在唯一地识别这种状态从一组有限的假设。我们专注于代理之间的通信是昂贵的，并发生在有限带宽的通道的情况下。为了减少通信的频率，我们开发了一种新的事件触发的分布式学习规则，该规则基于对每个错误假设扩散低信念的原则。基于这一原则，我们设计了一个触发条件下，代理广播只有那些组件的信念向量，有足够的创新，只有那些邻居，需要这样的信息。我们证明，我们的规则保证收敛到真实的状态几乎可以肯定，尽管稀疏的通信指数快速，它有可能显着减少信息流的信息代理。接下来，为了处理有限精度的通信信道，我们提出了一个分布式学习规则，利用自适应量化的思想。我们表明，通过顺序地细化量化器的范围，每个代理几乎可以肯定地以指数速度学习真相，同时仅使用$1$位来编码其对每个假设的信念。对于我们提出的算法，我们严格的通信效率和学习率之间的权衡。
2021-06-07 cs.GT cs.IT cs.LG
Empowering Distributed Training with Sparsity-driven Data Synchronization
Rice University（莱斯大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Zhejiang University（浙江大学）
针对分布式训练中梯度同步的通信瓶颈，本文分析稀疏张量特性，探索最优通信方案，并开发了Zen系统，实现通信时间最高5.09倍、训练吞吐量最高2.48倍的加速。
2024-12-14 cs.DC cs.LG
Sparse-SignSGD with Majority Vote for Communication-Efficient Distributed Learning
Pohang University of Science and Technology（浦项科技大学）；Korea University（高丽大学）
通过使用分布式优化，可以显著提高复杂深度学习模型的训练效率。然而，这个过程经常被迭代期间工作者和参数服务器之间的大量通信成本所阻碍。为了解决这个瓶颈，在本文中，我们提出了一种新的通信高效算法，该算法提供了稀疏化和符号量化的协同优势，称为${\sf S}^3$ GD-MV。${\sf S}^3$ GD-MV中的工作器选择其本地梯度向量的顶部$K$幅度分量，并且仅将这些分量的符号发送到服务器。然后，服务器聚集这些符号，并通过多数投票规则返回结果。我们的分析表明，在某些温和的条件下，如果基于工人的数量和深度学习模型的大小适当选择稀疏化参数$K$，则${\sf S}^3$ GD-MV可以以与signSGD相同的速率收敛，同时显著降低通信成本。使用独立同分布（IID）和非IID数据集的实验结果表明，${\sf S}^3$ GD-MV达到更高的准确性比signSGD，显着降低通信成本。这些发现突出了${\sf S}^3$ GD-MV作为深度学习中通信高效分布式优化的有前途的解决方案的潜力。
2023-02-15 cs.DC cs.LG math.OC
Communication-Avoiding Optimization Methods for Distributed Massive-Scale Sparse Inverse Covariance Estimation
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Berkeley Institute for Data Science, UC Berkeley（加州大学伯克利分校伯克利数据科学研究所）；UC Santa Barbara（加州大学圣塔芭芭拉分校）；Google Brain（谷歌大脑）
在各种科学学科中，稀疏逆协方差估计是用于捕获多变量数据中的潜在依赖关系的流行工具。不幸的是，大多数估计器的可扩展性不足以处理现代高维数据集的大小（通常为TB级），并假设高斯样本。为了解决这些不足，我们引入HP-CONCORD，一个高度可扩展的优化方法，用于估计稀疏逆协方差阵的基础上正则化的pseudolikestry框架，而不假设高斯。我们的并行邻近梯度方法使用了一种新型的通信避免线性代数算法，并在多达1 k个节点（24 k个核心）的多节点集群上运行，实现了高达8190亿个参数（128万个维度）的问题的并行可扩展性;即使在单个节点上，HP-CONCORD也表现出可扩展性，优于最先进的方法。我们还使用HP-CONCORD从fMRI数据中估计大脑的潜在依赖结构，并使用结果自动识别功能区域。结果显示出良好的协议，从神经科学文献的聚类。
2018-04-08 cs.DC cs.LG stat.ML
FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models
King Abdullah University of Science and Technology (KAUST)（国王阿卜杜勒-阿齐兹大学科学与技术学院）；SDAIA-KAUST Center of Excellence in Data Science and Artificial Intelligence (SDAIA-KAUST AI)（SDAIA-KAUST数据科学与人工智能卓越中心）
针对联邦学习通信瓶颈，提出FedComLoc方法，将压缩技术集成到Scaffnew算法中，通过TopK压缩与量化在异构环境下显著降低通信开销。
2025-09-10 cs.AI cs.DC cs.LG
Efficient Learning of Distributed Linear-Quadratic Controllers
University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
在这项工作中，我们提出了一个鲁棒的方法来设计分布式控制器的未知但稀疏的线性和定常系统。通过利用现代技术在分布式控制器的合成和结构化的线性逆问题适用于系统辨识，我们表明，近最佳的分布式控制器可以学习与次线性样本复杂度和计算与近线性的时间复杂度，都相对于系统的尺寸测量。特别是，我们提供了尖锐的端到端的保证的稳定性和性能的设计的分布式控制器，并证明了稀疏系统，所需的样本的样本个数，以保证鲁棒性和接近最优性能的设计的控制器可以显着小于的系统的尺寸。最后，我们证明了所提出的最优化问题可以通过迭代求解一系列小的二次规划，以接近线性的时间复杂度求解到全局最优解。
2019-10-11 cs.LG math.OC stat.ML
A Partitioned Sparse Variational Gaussian Process for Fast, Distributed Spatial Modeling
本文提出分区稀疏变分高斯过程（PSVGP），通过相邻空间分区间的少量去中心化通信改善局部模型对齐，在保持高可扩展性和低开销的同时实现更平滑的分布式空间预测，并在E3SM上验证了其优于独立SVGP的效果。
2025-07-22 cs.LG stat.AP stat.ML
Approximate Gradient Coding via Sparse Random Graphs
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
分布式算法经常受到落伍者效应的困扰，系统中最慢的计算节点决定了整体运行时间。最近提出了编码理论技术，通过算法冗余来减轻掉队者。编码计算和梯度编码中的先前工作主要集中在期望输出的精确恢复上。然而，在对噪声鲁棒的应用中，稍微不精确的解决方案是可以接受的，例如通过基于梯度的算法进行模型训练。在这项工作中，我们提出了计算简单的梯度代码的基础上稀疏图，保证快速和近似准确的分布式计算。我们证明，牺牲少量的准确性可以显着增加算法的鲁棒性，掉队。
2017-11-17 cs.DC cs.IT cs.LG
Communication Lower Bounds for Statistical Estimation Problems via a Distributed Data Processing Inequality
Princeton University（普林斯顿大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；IBM Research Almaden（IBM阿尔马登研究中心）
我们研究了高维分布式统计估计问题的统计误差和通信成本之间的权衡。在分布式稀疏高斯均值估计问题中，每个$m$机器接收来自具有未知均值$θ$的$d$维高斯分布的$n$数据点，该均值被承诺为$k$ -稀疏的。机器通过消息传递进行通信，目的是估计平均值$θ$。我们提供了一个紧密的（对数因子）之间的权衡估计误差和机器之间通信的位数。这直接导致了分布式\textit{sparse linear regression}问题的下限：为了实现统计极大极小误差，总通信至少是$Ω(\min\{n,d\}m)$，其中$n$是每台机器接收的观测数，$d$是环境维度。通过允许多轮迭代通信模型，这些较低的结果改进了[Sha14，SD'14]。我们也给出了第一个最佳的同时协议在稠密的情况下，均值估计。作为我们的主要技术，我们证明了一个\textit{distributed data processing inequality}，作为一般的数据处理不等式的推广，这可能是独立的兴趣和有用的其他问题。
2016-05-10 cs.CC cs.IT cs.LG
Fast-Convergent Dynamics for Distributed Allocation of Resources Over Switching Sparse Networks with Quantized Communication Links
Aalto University（阿尔托大学）；Semnan University（塞姆南大学）；University of Cyprus（塞浦路斯大学）；Georgia State University（佐治亚州立大学）；University of Waterloo（滑铁卢大学）；City University of Hong Kong（香港城市大学）；Tufts University（塔夫茨大学）
本文提出了网络动力学来解决时变多智能体网络上的资源分配问题。每个代理的状态表示所使用的资源量（或所产生的实用程序），而资源总量是固定的。其思想是在固定的资源总量下，通过最小化总代价函数来优化资源分配。每个智能体的信息被限制在它自己的状态和代价函数和它的直接内邻居的。这是由分布式应用，如移动边缘计算，经济调度智能电网，和多代理覆盖控制。这项工作提供了一个快速收敛的解决方案（与线性动力学相比），同时考虑宽松的网络连接与量化的通信链路。所提出的动态切换（可能断开）无向网络达到最优解，只要他们的工会在一些有界的非重叠的时间间隔有一个生成树。我们证明了解决方案的可行性，最优状态的唯一性，并收敛到最优值下提出的动态，其中的分析是适用于类似的一阶分配动态具有强烈的符号保持非线性，如致动器饱和。
2022-07-25 cs.LG cs.MA cs.SI
