Sparse Communication for Distributed Gradient Descent
University of Edinburgh（爱丁堡大学）
我们通过交换稀疏更新而不是密集更新来使分布式随机梯度下降更快。梯度更新是正偏态的，因为大多数更新都接近零，所以我们将99%的最小更新（按绝对值）映射到零，然后交换稀疏矩阵。这种方法可以与量化相结合，以进一步提高压缩。我们探索不同的配置，并将其应用于神经机器翻译和MNIST图像分类任务。大多数配置在MNIST上工作，而不同的配置降低了更复杂的翻译任务的收敛速度。我们的实验表明，我们可以在MNIST上实现高达49%的速度，在NMT上实现22%的速度，而不会损害最终的准确性或BLEU。
2017-07-24 cs.CL cs.DC cs.LG
Learning Restricted Boltzmann Machines with Sparse Latent Variables
Massachusetts Institute of Technology（麻省理工学院）；ETH Zurich（苏黎世联邦理工学院）
受限玻尔兹曼机（RBM）是一种常见的带有潜变量的无向图模型。RBM由二分图描述，所有观测变量在一层，所有潜变量在另一层。我们考虑学习RBM的任务，给出根据它生成的样本。目前用于该任务的最佳算法对于铁磁RBM具有时间复杂度$\tilde{O}(n^2)$（即，具有吸引势），但对于一般RBM为$\tilde{O}(n^d)$，其中$n$是观测变量的数量，$d$是潜变量的最大程度。设观测变量的MRF邻域是其在观测变量的边际分布的马尔可夫随机场中的邻域。本文给出了一个学习具有时间复杂度的一般RBM的算法$\tilde{O}(n^{2^s+1})$，其中$s$是连接到观测变量的MRF邻域的隐变量的最大数目.这是一个改进时，$s < \log_2 (d-1)$，这对应于RBM与稀疏的潜在变量。此外，我们给出了一个版本的这个学习算法，恢复模型的预测误差小，其样本的复杂性是独立的最小潜在的马尔可夫随机场的观测变量。这是感兴趣的，因为当前算法的样本复杂度与最小势的倒数成比例，这不能根据RBM的自然属性来控制。
2020-10-17 cs.DS cs.IT cs.LG
Sparse Optimization on General Atomic Sets: Greedy and Forward-Backward Algorithms
Yale University（耶鲁大学）
我们考虑稀疏原子优化问题，其中“稀疏”的概念被推广到意味着一些线性组合的几个原子。原子集的定义非常广泛;常见的例子包括标准基、低秩矩阵、过完备字典、置换矩阵、正交矩阵等。因此，稀疏原子优化模型包括来自许多领域的问题，包括统计学、信号处理、机器学习、计算机视觉等。具体而言，我们考虑最大化限制强凸（或凹）的问题，限制为原子的稀疏线性组合的光滑函数。我们最近的工作，建立线性收敛速率的贪婪算法的限制强凹，光滑函数的稀疏向量的领域，一般的原子集，其中的收敛速度涉及到一个新的数量：“稀疏原子条件数“。这导致最强的已知乘法近似保证各种口味的贪婪算法稀疏原子优化，特别是，我们表明，在许多设置的利益的贪婪算法可以达到强近似保证，同时保持稀疏性。此外，我们引入了一个方案，实现了相同的近似保证的前向-后向算法。其次，我们定义了一个替代的概念，弱次模，我们表明是密切相关的更熟悉的版本，已被用来证明早期的线性收敛速率。我们证明了类似的乘法逼近保证使用这种交替弱子模，并建立其独特的身份和应用。
2019-12-26 cs.LG math.OC
Distributed Machine Learning with Sparse Heterogeneous Data
受分布式机器学习设置（如联合学习）的启发，我们考虑了在异构数据集的分布式集合中拟合统计模型的问题，这些数据集的相似性结构由图形拓扑编码。准确地说，我们分析的情况下，每个节点与拟合稀疏线性模型，边加入两个节点，如果他们的解决方案的差异也是稀疏的。我们提出了一种基于基追踪去噪的方法，并提供了有限的样本保证亚高斯设计矩阵的全变差惩罚。以树的根作为参考节点，我们表明，如果节点之间的差异的稀疏性是小于的稀疏性在根，然后恢复是成功的，通过更少的样本比通过独立地解决问题，或通过使用依赖于一个大的重叠的信号支持，如组拉索的方法。我们考虑了无噪声和有噪声的设置，和数值研究的分布式方法的性能的基础上，分布式交替方向法的乘法器（ADMM）和高光谱解混。
2021-11-27 math.ST stat.ML stat.TH
Sparse Linear Regression: Sequential Convex Relaxation, Robust Restricted Null Space Property, and Variable Selection
针对高维稀疏线性回归问题，提出序列凸松弛算法iSCRA-TL1，基于鲁棒限制零空间性质等理论证明其可在弱条件下、有限步数内获得神谕估计量，弥补了Lasso估计量质量不足的缺陷。
2024-11-02 math.ST stat.TH
Distributed Sparse SGD with Majority Voting
Ozyegin University（厄兹耶金大学）；Imperial College London（帝国理工学院）
分布式学习，特别是分布式随机梯度下降（DSGD）的变体，被广泛用于通过利用多个工作者的计算资源来加速训练。然而，在实践中，由于需要在工作器和参数服务器之间交换大量信息，通信延迟成为瓶颈。缓解通信瓶颈的最有效策略之一是top-K稀疏化。然而，top-K稀疏化需要额外的通信负载来表示稀疏模式，并且工作者的稀疏模式之间的不匹配阻碍了高效通信协议的利用。为了解决这些问题，我们引入了一种新的基于多数表决的稀疏通信策略，在该策略中，工作人员首先寻求稀疏表示结构上的共识。这种策略提供了一个显着减少通信负载，并允许在两个通信方向上使用相同的稀疏水平。通过对CIFAR-10数据集的广泛模拟，我们证明了在测试精度没有任何损失的情况下，可以实现高达x4000的压缩。
2020-11-12 cs.DC cs.IT cs.LG
A Distributed Hierarchical SGD Algorithm with Sparse Global Reduction
Georgia Institute of Technology（佐治亚理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在分布式平台上训练大规模机器学习应用时，减少通信仍然是一个很大的挑战。为了解决这个问题，我们提出了一个分布式分层平均随机梯度下降（Hier-AVG）算法，通过引入局部约简，减少了全局约简。作为一种通用的并行SGD，Hier-AVG可以通过调整参数来复制几种流行的同步并行SGD变体。我们表明，Hier-AVG与不频繁的全球减少仍然可以达到标准的收敛速度为非凸优化问题。此外，我们还表明，更多参与者参与的更频繁的局部平均可以导致更快的训练收敛。通过比较Hier-AVG与另一种流行的分布式训练算法K-AVG，我们表明，通过部署局部平均与更少的全局平均，Hier-AVG仍然可以达到相当的训练速度，同时经常得到更好的测试精度。这表明，局部平均可以作为一种替代的补救措施，以有效地减少通信开销时，学习者的数量是大的。Hier-AVG在CIFAR-10和IMAGENET-1 K上使用几种最先进的深度神经网络进行实验，以验证我们的分析并显示其优越性。
2019-09-09 cs.DC cs.LG math.OC
DECOrrelated feature space partitioning for distributed sparse regression
当样本量或数据集的维数很大时，拟合统计模型在计算上是具有挑战性的。缩小问题规模的一种有吸引力的方法是首先将数据集划分为子集，然后使用分布式算法进行拟合。数据集可以水平（在样本空间中）或垂直（在特征空间中）分区。虽然大多数文献集中在样本空间划分，特征空间划分是更有效的时，$p\gg n$。然而，现有的分割特征的方法要么容易受到高相关性的影响，要么在降低模型维度方面效率低下。在本文中，我们解决了这些问题，通过一个新的分布式变量选择和参数估计的并行框架命名为DECO。在DECO中，变量首先被分区并分配给$m$分布式工作者。然后，通过为高维问题设计的任何算法来拟合每个工人中的去相关子集数据。我们表明，通过将去相关步骤，DECO可以实现一致的变量选择和参数估计的每个子集（几乎）没有假设。此外，收敛速度几乎是最小最大最优的稀疏和弱稀疏模型，并不依赖于分区数$m$。大量的数值实验来说明新框架的性能。
2016-02-12 cs.DC stat.CO stat.ME
Private and Communication-Efficient Edge Learning: A Sparse Differential Gaussian-Masking Distributed SGD Approach
Iowa State University（爱荷华州立大学）
随着机器学习（ML）的兴起和智能移动设备的激增，近年来人们对在无线边缘网络中执行ML的兴趣激增。在本文中，我们考虑共同提高分布式边缘学习的数据隐私和通信效率的问题，这两者都是无线边缘网络计算中的关键性能指标。为此，我们提出了一种新的分散随机梯度方法与稀疏差分高斯掩蔽随机梯度（SDM-DSGD）的非凸分布边缘学习。我们的主要贡献是三方面的：i）我们从理论上建立了我们的SDM-DSGD方法的隐私和通信效率的性能保证，它优于所有现有的工作; ii）我们表明，与现有技术相比，SDM-DSGD将基本的训练隐私权衡提高了{ \em两个数量级}。我们揭示了理论的见解，并提供实用的设计准则之间的相互作用的隐私保护和通信效率，两个相互冲突的性能目标。我们在MNIST和CIFAR-10数据集上使用各种学习模型进行了广泛的实验，以验证我们的理论发现。总的来说，我们的研究结果有助于分布式边缘学习的理论和算法设计。
2020-03-28 cs.CR cs.DC cs.LG
On Verifiable Sufficient Conditions for Sparse Signal Recovery via $\ell_1$ Minimization
我们提出了新的充要条件的传感矩阵是“$s$ -好”-允许精确的$\ell_1$ -恢复稀疏信号与$s$非零条目时，没有测量噪声存在。然后，我们表示不完美的$\ell_1$ -恢复（非零测量噪声，近$s$ -稀疏信号，产生$\ell_1$ -恢复的最优化问题的近最优解）的这些条件下的特征方面的误差界。此外，我们证明（这是本文的主要结果），这些特性，虽然难以评估，导致可验证的充分条件精确稀疏的$\ell_1$恢复和有效地计算上界的那些$s$，其中一个给定的传感矩阵是$s$ -好。我们还建立了我们的方法和压缩感知理论的基本概念之间的指导性联系，如限制等距或限制特征值属性。
2010-05-31 math.OC math.ST stat.TH
Sparse Three-parameter Restricted Indian Buffet Process for Understanding International Trade
University Carlos III in Madrid（马德里卡洛斯三世大学）；Macedonian Academy of Sciences and Arts（马其顿科学与艺术学院）
本文提出了一种特别适合于高维计数数据探索性分析的贝叶斯非参数潜在特征模型。我们执行一个非负的双稀疏矩阵分解，有两个主要优点：我们不仅能够更好地近似行输入分布，但推断的主题也更容易解释。通过将三参数和受限的印度抖振过程结合到一个单一的先验中，我们增加了模型的灵活性，允许在潜在空间中的全谱稀疏解。我们证明了我们的方法在分析国家的经济结构的有用性。与其他方法相比，实证结果表明，我们的模型能够提供易于解释的信息，并更好地捕捉数据的底层稀疏结构。
2018-06-29 cs.LG stat.ML
Restricted Connection Orthogonal Matching Pursuit For Sparse Subspace Clustering
Information Security Lab, Institute of Big Data Technologies,\ Graduate School, Peking University
稀疏子空间聚类（SSC）是将数据点聚类到其底层子空间的最流行的方法之一。然而，SSC可能遭受沉重的计算负担。应用于SSC的正交匹配追踪加速了计算，但代价是聚类精度的损失。本文提出了一种抗噪声的稀疏子空间聚类算法--限制连接正交匹配追踪算法（RCOMP-SSC），该算法通过限制OMP迭代过程中每个数据点的连接数来提高聚类精度并保持较低的计算时间。此外，我们开发了一个控制矩阵的框架，实现RCOMP-SCC。该框架可扩展到其他数据点选择策略。我们的分析和实验合成数据和两个真实世界的数据库（EYaleB & USPS）证明了我们的算法相比，其他聚类方法的精度和计算时间的优越性。
2019-05-01 cs.LG stat.ML
Ranky : An Approach to Solve Distributed SVD on Large Sparse Matrices
Istanbul Technical University（伊斯坦布尔技术大学）
奇异值分解（SVD）是从数据采掘到图像处理等众多领域和应用中的一个研究热点。从这些应用程序中产生的数据可以表示为矩阵，其中它是大的和稀疏的。现有的算法大多用于计算大型稠密矩阵的奇异值和左、右奇异向量，而不是大型稀疏矩阵。即使他们可以找到一个大矩阵的奇异值分解，由于顺序算法，计算大的密集矩阵有很高的时间复杂度。提出了一种计算大型矩阵奇异值分解的分布式方法。然而，矩阵的秩仍然是一个问题时，解决奇异值分解与这些分布式算法。在本文中，我们提出了Ranky，一套方法来解决大型和稀疏矩阵的秩问题的分布式方式。实验结果表明，Ranky方法可以恢复给定的大型稀疏矩阵的奇异值、奇异左向量和奇异右向量，且误差可以忽略不计。
2020-09-21 cs.LG stat.ML
Sparse Generalized Canonical Correlation Analysis: Distributed Alternating Iteration based Approach
Shanghai Jiao Tong University（上海交通大学）；University of Southampton（南安普顿大学）
稀疏典型相关分析（CCA）是一种有用的统计工具，用于检测具有稀疏结构的潜在信息。然而，稀疏CCA仅适用于两个数据集，即，只有两个视图或两个不同的对象。为了克服这一局限性，本文提出了一种稀疏广义典型相关分析（GCCA），它可以检测具有稀疏结构的多视图数据的潜在关系。此外，引入的稀疏性可以被认为是典型变量的拉普拉斯先验。具体来说，我们将GCCA转换成一个线性方程组，并施加$\ell_1$最小化惩罚稀疏追求。这导致Stiefel流形上的非凸问题，这是很难解决的。受Boyd一致性问题的启发，提出了一种基于分布式交替迭代的算法，并在较弱的条件下详细研究了算法的理论一致性分析。在多个人工数据集和真实数据集上的实验证明了该算法的有效性。
2020-04-23 cs.LG stat.ML
Sparse Group Restricted Boltzmann Machines
由于玻尔兹曼机的学习通常非常缓慢，因此需要限制隐藏层内的连接。然而，隐藏单元的结果状态表现出统计依赖性。基于这一观察，我们建议使用$l_1/l_2$正则化的激活可能性的限制玻尔兹曼机的隐藏单元，以捕捉本地的依赖关系之间的隐藏单元。这种正则化不仅鼓励许多组中的隐藏单元在给定观测数据的情况下不活动，而且还使组内的隐藏单元相互竞争以建模观测数据。因此，RBM上的$l_1/l_2$正则化在组和隐藏单元级别上都产生稀疏性。我们将用正则化器\emph{sparse group}训练的RBM称为RBM。所提出的稀疏组RBM被应用于三个任务：自然图像的补丁建模，手写数字建模和预处理用于分类任务的深度网络。此外，我们说明正则化也可以应用于深度玻尔兹曼机，这导致稀疏群深度玻尔兹曼机。当适应的MNIST数据集，一个两层稀疏群玻尔兹曼机实现了$0.84\%$，这是，据我们所知，最好的公布结果的置换不变版本的MNIST任务的错误率。
2010-08-30 stat.ML
Communication-efficient Algorithm for Distributed Sparse Learning via Two-way Truncation
University of Minnesota Twin Cities（明尼苏达大学双城分校）
我们提出了一个通信和计算效率高的算法，高维分布式稀疏学习。在每次迭代中，本地机器计算本地数据上的梯度，而主机器解决一个移位的$l_1$正则化最小化问题。通过双向截断过程，通信代价从现有算法的维数的常数倍降低到稀疏数的常数倍。理论上，我们证明了所提出的算法的估计误差呈指数下降，并在温和的假设下匹配的集中式方法。仿真数据和真实数据的实验结果表明，该算法在解决高维稀疏学习问题时具有与集中式方法相当的性能。
2017-09-09 cs.LG math.OC stat.ML
Distributed Semi-Supervised Sparse Statistical Inference
Shanghai University of Finance and Economics（上海财经大学）；Shanghai Jiao Tong University（上海交通大学）；Purdue University（普渡大学）
针对分布式场景下高维去偏估计量计算成本高的问题，提出融合有标记与无标记数据的多轮分布式去偏估计量，适配多种损失函数，仅需一次高维逆协方差估计，提升了统计速率与计算效率。
2023-12-15 cs.LG stat.ML
Communication-efficient Distributed Sparse Linear Discriminant Analysis
我们提出了一个通信有效的分布式估计方法稀疏线性判别分析（LDA）在高维制度。我们的方法将大小为$N$的数据分布到$m$机器上，并使用大小为$N/m$的数据子集在每个机器上估计局部稀疏LDA估计器。在分布式估计之后，我们的方法聚集来自$m$机器的去偏局部估计器，并稀疏化聚集估计器。我们表明，聚合估计达到相同的统计率的集中估计方法，只要机器的数量$m$选择适当。此外，我们证明了我们的方法可以达到模型选择的一致性在一个温和的条件下比集中的方法。合成和真实数据集上的实验证实了我们的理论。
2016-10-15 stat.ML
Distributed Variational Inference in Sparse Gaussian Process Regression and Latent Variable Models
University of Cambridge（剑桥大学）
高斯过程（GP）是函数概率推理的有力工具。它们已被应用于回归和非线性降维，并提供理想的属性，如不确定性估计，过拟合的鲁棒性，以及调整超参数的原则性方法。然而，这些模型对大数据集的可扩展性仍然是一个活跃的研究课题。我们介绍了一种新的重新参数化的变分推断稀疏GP回归和潜变量模型，允许一个有效的分布式算法。这是通过利用给定诱导点的数据解耦来重新制定Map-Reduce设置中的证据下限来完成的。我们表明，推理规模以及数据和计算资源，同时保持平衡的节点之间的负载分布。我们进一步展示了将高斯过程扩展到大数据的实用性。我们表明，GP的性能随着回归（200万记录的飞行数据）和潜变量建模（MNIST）中数据量的增加而提高。结果表明，GP的表现优于许多常用于大数据的常见模型。
2014-09-29 cs.LG stat.ML
Optimizing the Optimal Weighted Average: Efficient Distributed Sparse Classification
Booz Allen Hamilton（博思艾伦汉密尔顿公司）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Laboratory for Physical Sciences（物理科学实验室）
针对分布式线性模型通信成本高且单轮通信近似随机器增多而退化的问题，本文提出新技术ACOWA，通过增加一轮通信在略微增加运行时间下显著提升近似质量，在稀疏分布式逻辑回归中实现了更高准确率。
2024-06-03 cs.DC cs.LG stat.ML
Distributed Sparse Multicategory Discriminant Analysis
本文提出了稀疏多类别线性判别分析的凸公式，并将其推广到数据分布的情况。关键的观察是，为了分类的目的，它足以恢复的判别子空间，这是不变的正交变换。从理论上讲，我们建立的统计特性，确保分布式稀疏多类别线性判别分析执行好集中式版本后{几轮}的通信。数值研究为我们的方法和理论提供了强有力的支持。
2022-02-22 math.ST stat.ML stat.TH
Distributed Bayesian Piecewise Sparse Linear Models
NEC System Platform Research Laboratories（NEC系统平台研究所）；NEC Data Science Research Laboratories（NEC数据科学研究所）
由于新兴的企业预测分析、数据隐私的威胁、人工智能在社会中的责任等，机器学习模型的可解释性的重要性日益增加。它们通常会产生与最先进的非线性方法相比具有竞争力的准确性。此外，他们的陈述（即，基于规则的分割加上稀疏线性公式）通常被领域专家所偏好。然而，这样的模型的一个缺点是，同时确定的“件”和基数的每个线性预测，这限制了它们的适用性中等规模的数据集的计算成本高。提出了一种基于分布式存储结构的分段稀疏线性模型学习的分布式因子分解渐近贝叶斯（FAB）推理方法。分布式FAB推理解决了同时模型选择问题，而无需传送$O(N)$数据，其中N是训练样本的数量，并实现了相对于CPU核数量的线性横向扩展。实验结果表明，分布式FAB推理具有较高的预测精度和性能的可扩展性与合成和基准数据。
2017-11-07 cs.AI cs.DC cs.LG
Debiased distributed learning for sparse partial linear models in high dimensions
尽管近年来针对纯线性模型和完全非参数模型提出了各种分布式机器学习方案，但对于具有多层次结构（如稀疏性、线性和非线性）的半参数模型的分布式优化研究较少。为了解决这些问题，本文提出了一种新的通信效率的分布式学习算法的部分稀疏线性模型的特征数量不断增加。该方法基于处理大数据的经典分而治之策略，每个子样本上定义的每个子方法由双正则化最小二乘方法的去偏估计组成。利用所提出的方法，我们从理论上证明了我们的全局参数估计可以达到最优的参数率在我们的半参数模型给出了一个适当的分区的总数据。特别地，数据划分的选择依赖于非参数分量的潜在光滑性，但它是自适应的稀疏性参数。即使在非分布情形下，我们也给出了高维部分线性模型中参数误差最优估计的一个新的易读的证明。最后，几个模拟实验进行了实施，以表明我们的去偏置技术的分布式设置下的经验性能。
2019-11-03 stat.ML
Two-Stage Robust and Sparse Distributed Statistical Inference for Large-Scale Data
Aalto University（阿尔托大学）
在本文中，我们解决的问题进行统计推断的设置，涉及大规模的数据，可能是高维和污染的离群值。数据的高容量和维度需要分布式处理和存储解决方案。我们提出了一个两阶段的分布式和强大的统计推断程序处理高维模型，促进稀疏。在第一阶段，称为模型选择，通过对不同的数据子集应用鲁棒Lasso估计来局部选择相关的预测因子。从每个计算节点的变量选择，然后融合的投票计划，找到完整的数据集的稀疏基。它以稳健的方式确定相关变量。在第二阶段，采用已开发的统计稳健且计算高效的自助方法。实际推断构造置信区间，找到参数估计值并量化标准差。与阶段1类似，本地推理的结果被传送到融合中心并在那里组合。通过使用分析方法，我们建立了良好的统计特性的强大的和计算效率的自助方法，包括一致性的固定数量的预测，和鲁棒性。建议的两阶段的强大和分布式推理程序表现出可靠的性能和稳健性，在变量选择，发现置信区间和自举近似的标准差，即使数据是高维和离群值污染。
2022-08-17 cs.LG eess.SP stat.ML
Parallelized Training of Restricted Boltzmann Machines using Markov-Chain Monte Carlo Methods
受限玻尔兹曼机（RBM）是一种生成式随机神经网络，可以应用于推荐系统中的协同过滤技术。在推荐系统中，RBM模型的预测精度通常优于其他模型。然而，训练RBM模型涉及马尔可夫链蒙特卡罗（MCMC）方法，这是计算昂贵的。在本文中，我们已经成功地应用了分布式并行训练使用Horovod框架，以提高RBM模型的训练时间。我们的测试表明，RBM模型的分布式训练方法具有良好的扩展效率。我们还表明，这种方法有效地减少了训练时间略超过12分钟64个CPU节点相比，5个小时的单个CPU节点。这将使成果管理制模式更实际地适用于推荐系统。
2019-10-14 cs.DC cs.LG stat.ML
High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates
Booz Allen Hamilton（博思艾伦汉密尔顿公司）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Laboratory for Physical Sciences（物理科学实验室）
针对大规模分布式训练中通信成本高、现有方法更新发散且难处理高维稀疏性的问题，提出通信高效的分布式逻辑回归方案，仅需少量更新即可大幅提升准确率，运行速度更优。
2024-07-08 cs.DC cs.LG stat.ML
A Distributed Frank-Wolfe Algorithm for Communication-Efficient Sparse Learning
Télécom ParisTech（巴黎高等电信学院）；CNRS（法国国家科学研究中心）；University of Southern California（南加利福尼亚大学）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
稀疏组合学习是机器学习中的一个常见主题。在本文中，我们研究了其相关的优化问题，在分布式设置的元素被组合不是集中位于，但分布在网络上。我们解决了平衡通信成本和优化错误的关键挑战。为此，我们提出了一个分布式的Frank-Wolfe（dFW）算法。我们得到的优化误差$ε$和通信成本，不依赖于合并元素的总数的理论保证。我们进一步表明，dFW的通信成本是最佳的，通过推导出一个下界的通信成本所需的构建一个$ε$近似的解决方案。我们验证了我们的理论分析与实证研究的合成和真实世界的数据，这表明dFW优于基线和竞争的方法。我们还研究了dFW的性能时，我们的分析条件放宽，并表明，dFW是相当强大的。
2015-01-12 cs.AI cs.DC cs.LG
Distributed Sparse Normal Means Estimation with Sublinear Communication
Weizmann Institute of Science（魏茨曼科学研究所）
本文研究了在通信受限的分布式环境下的稀疏正态均值估计问题。我们假设有$M$机器，每个机器都持有被加性高斯噪声破坏的$K$稀疏向量$μ$的$d$维观测。$M$机器以星形拓扑连接到融合中心，融合中心的目标是以低通信预算估计矢量$μ$。以前的工作已经表明，为了实现$\ell_2$风险的集中式极大极小化率，总的通信必须是高的-至少在维度$d$上是线性的。然而，这种现象发生在非常弱的信号下。我们表明，在信号噪声比（SNR）是足够高的-但不足以恢复任何单独的机器-支持$μ$可以正确地恢复与显着较少的通信。具体来说，我们提出了两个算法的稀疏均值向量的分布估计高斯或亚高斯噪声损坏。然后，我们证明，在一定的SNR阈值以上，以高概率，这些算法恢复正确的支持与总的通信是次线性的维度$d$。此外，通信作为信号强度的函数呈指数下降。如果除了$KM\ll \tfrac{d}{\log d}$，然后与一个额外的一轮次线性通信，我们的算法实现了集中率的$\ell_2$的风险。最后，我们提出了模拟，说明我们的算法在不同的参数制度的性能。
2022-02-14 cs.IT cs.LG math.IT
Estimate Exchange over Network is Good for Distributed Hard Thresholding Pursuit
我们研究了一个现有的分布式算法学习稀疏信号或数据网络。该算法是迭代的，并通过网络交换稀疏信号的中间估计。这种使用通过网络交换中间估计的学习策略需要用于信息传输的有限通信开销。我们在这篇文章中的目的是表明，该策略是好的学习，尽管有限的沟通。在追求这一目标，我们首先提供了一个限制等距性质（RIP）为基础的理论分析的迭代算法的收敛性。然后，使用模拟，我们表明，该算法提供了竞争力的性能，在学习稀疏信号相对于现有的替代分布式算法。交替分布式算法交换更多的信息，包括观测和系统参数。
2017-09-22 eess.SP stat.ML
DDAC-SpAM: A Distributed Algorithm for Fitting High-dimensional Sparse Additive Models with Feature Division and Decorrelation
The Chinese University of Hong Kong（香港中文大学）；New York University（纽约大学）；East China Normal University（华东师范大学）
本文提出分布式算法DDAC-SpAM，通过特征划分、去相关和合并三步在高维稀疏可加模型中实现稀疏模式恢复与统计推断，兼顾理论与实证效果。
2023-07-08 cs.LG math.ST stat.AP
Sparse Distributed Learning via Heterogeneous Diffusion Adaptive Networks
本文提出通过异质扩散自适应网络实现稀疏参数向量的分布式估计，通过选择性应用凸正则化方法减少计算开销，同时保持最优性能。
2014-10-26 cs.DC cs.LG cs.SY
