A Storage-Computation-Communication Tradeoff for Distributed Computing
本文研究了分布式计算系统，其中计算被分成“映射”和“减少”功能。提出了一种新的编码方案，称为分布式计算和编码通信（D3 C），并分析了其通信负载与可用存储空间和待计算中间值数目（IVA）的关系。对于给定的存储空间，D3 C实现了最小可能的通信负载，而与Li等人相比，需要计算的IVA数量更少。的编码分布式计算（CDC）方案。更一般地说，我们的方案可以在存储空间和要计算的IVA数量之间灵活地进行权衡。然后针对任何给定的折衷来分析通信负载。
2020-01-21 cs.IT math.IT
Communication Complexity of Distributed High Dimensional Correlation Testing
双方观察到一个$d$维向量和一个标量的独立副本。他们试图测试他们的数据是否相关，即他们试图测试他们的观察之间的相关向量$ρ$的范数$\|ρ\|_2$是否超过$τ$或者是$0$。为此，它们进行交互式通信并声明测试的输出。我们表明，大致顺序$d/τ^2$位的通信是足够的，必要的解决分布式相关性测试问题。此外，我们建立了一个下界的大致$d^2/τ^2$位的分布式相关性估计所需的通信，呈现估计和测试方法次优的分布式相关性测试所需的通信。对于单向通信的一维情况，我们的界限是紧的，即使在常数，并提供了一个精确的依赖通信复杂性上的两种类型的错误的概率。
2020-05-21 cs.IT math.IT
Novel Constructions for Computation and Communication Trade-offs in Private Coded Distributed Computing
Indian Institute of Technology, Kanpur（坎普尔印度理工学院）；TU Dortmund（多特蒙德工业大学）；Linköping University（林雪平大学）
本文提出了一种新的隐私保护分布式计算模型，通过扩展PDA框架探讨计算与通信的权衡，利用优化策略缓解隐私带来的通信开销。
2026-01-12 cs.IT math.IT
Storage, Computation, and Communication: A Fundamental Tradeoff in Distributed Computing
我们考虑一个类似MapReduce的分布式计算系统。我们推导出一个下界的通信成本为任何给定的存储和计算成本。这个下限与我们最近提出的可实现的界限相匹配。其结果是，我们完全表征的存储，计算和通信之间的最佳权衡。我们的结果推广了Li等人的前一个结果，也考虑了计算的中间值的数量。
2020-01-21 cs.IT math.IT
A Fundamental Tradeoff Among Storage, Computation, and Communication for Distributed Computing over Star Network
编码分布式计算通过利用分布式计算中的编码技术，充分利用冗余的存储和计算资源，可以减轻通信负载。本文研究了星型拓扑网络上的MapReduce类型的分布式计算框架，其中所有工作者通过一个公共接入点交换信息。存储的文件（存储负载），计算的中间值（计算负载）和在上行链路和下行链路（通信负载）中发送的比特之间的最佳权衡的特征。提出了一种编码计算方案来实现Pareto最优折衷曲面，接入点只需在接收信号之间进行简单的链式编码，并给出了与该曲面匹配的信息理论界。
2023-01-10 cs.IT math.IT
Straggler-Resilient and Communication-Efficient Distributed Iterative Linear Solver
提出了一种新的分布式迭代线性逆求解方法。我们的方法，PolyLin，具有显着降低的通信成本，无论是在轮数以及位数方面，与现有技术相比，在较高的计算复杂性和存储的成本。我们的算法也有一个内置的弹性离散和错误的计算节点。我们开发了一个自然的变种，我们的主要算法，权衡通信成本的计算复杂性。我们的方法的灵感来自于纠错码的思想。
2018-06-15 cs.IT math.IT
Communication-Efficient Distributed SGD using Preamble-based Random Access
在本文中，我们研究了通信效率的分布式随机梯度下降（SGD）的数据集的用户分布在一定的区域，并通过无线信道进行通信。由于在所提出的方法中的一个迭代的时间是独立的用户的数量，它是非常适合于可扩展的分布式SGD。此外，由于所提出的方法是基于机器类型通信（MTC）广泛采用的基于随机接入的随机接入，因此它可以容易地用于在各种物联网（IoT）应用中训练具有大量设备的模型，其中MTC用于它们的连接。对于衰落信道，我们表明，可以使用非相干合并。因此，不需要信道状态信息（CSI）估计。从分析和仿真结果，我们可以证实，所提出的方法不仅是可扩展的，而且还提供了改进的性能，随着设备数量的增加。
2021-05-19 cs.IT math.IT
Communication-Efficient Distributed Computing Through Combinatorial Multi-Access Models
本文提出基于t-设计的编码方案，用于多接入分布式计算模型，在计算负载为1时最小化通信开销，并显著减少归约器节点数量，尽管通信成本有所增加。
2025-08-07 cs.IT math.IT
Distributed Function Computation in Asymmetric Communication Scenarios
我们考虑在非对称通信场景中的分布式函数计算问题，其中接收器计算N个相关信息者之间的数据分割的一些确定性函数。分布式函数计算问题是分布式信源编码（DSC）问题的推广。我们主要感兴趣的是最小化所需的信息位数，在最坏的情况下，让水槽准确地计算功能。我们提供了一个建设性的解决方案，这方面的互动通信协议，并证明其最优性。所提出的协议还允许我们计算最坏情况下可实现的速率区域的计算的任何功能。我们定义了两类函数：有损函数和无损函数。我们表明，在一般情况下，可以计算的损失函数在水槽的信息位数比DSC的问题，而计算的无损功能需要尽可能多的信息位的DSC的问题。
2009-07-10 cs.IT math.IT
Quantum Hyperdense Coding for Distributed Communications
超密集编码证明了纠缠辅助的量子通信与经典系统相比可以提高数据传输速率。它允许在双方之间发送2个经典比特，以交换1个量子比特和一个预先共享的纠缠贝尔对。本文介绍了一种新的分布式通信协议。使用一个预共享的纠缠Bell对和1个经典比特2，平均可以传输5个经典比特。这不仅意味着容量的增加，而且双向分布式操作开辟了新的研究领域。
2012-10-10 cs.IT math.IT quant-ph
A Fundamental Tradeoff between Computation and Communication in Distributed Computing
我们如何以最佳方式交换额外的计算能力，以减少分布式计算中的通信负载？我们通过描述分布式计算中计算和通信之间的基本权衡来回答这个问题，即，两者成反比。更具体地说，一般的分布式计算框架，被认为是由常用的结构，如MapReduce，其中的整体计算被分解成计算一组“映射”和“减少”功能分布在多个计算节点。提出了一种名为“编码分布式计算“（CDC）的编码方案，以证明将Map函数的计算负载增加$r$的因子（即，在$r$仔细选择的节点处评估每一函数）可产生新颖的编码机会，所述编码机会将通信负载减少相同因子。还提供了一个信息理论上的通信负载的下限，它匹配的CDC计划实现的通信负载。结果，准确地描述了分布式计算中的最优计算-通信权衡。最后，CDC的编码技术应用于Hadoop TeraSort基准开发一种新的CodedTeraSort算法，这是经验证明，以加快整体作业执行的$1.97\times$ - $3.39\times$，为典型的设置感兴趣。
2017-09-23 cs.DC cs.IT math.IT
On the Performance Trade-off of Distributed Integrated Sensing and Communication Networks
本文利用随机几何理论分析分布式ISAC网络，推导了给定用户数下的检测与覆盖概率，定量描述了给定功率和带宽预算下感知与通信间的性能折中，并通过仿真验证了准确性。
2023-08-12 cs.IT cs.NI math.IT
Edge Learning for B5G Networks with Distributed Signal Processing: Semantic Communication, Edge Computing, and Wireless Sensing
为了在新兴的无线服务中处理和传送大量数据，利用分布式数据通信和学习变得越来越有吸引力。具体来说，边缘学习（EL）可以在地理上分散的边缘节点上进行本地模型训练，并最大限度地减少频繁数据交换的需求。然而，分离EL部署和通信优化的当前设计尚未获得分布式信号处理的承诺益处，并且有时遭受过多的信令开销、长处理延迟和不稳定的学习收敛。在本文中，我们提供了一个实用的分布式EL技术和先进的通信优化设计的相互作用的概述。特别是，典型的双功能学习和通信网络的性能指标进行了讨论。最后，从“为学习而通信”和“为通信而学习”的相互视角，对双功能设计使能技术的最新成果进行了综述。EL技术在各种未来通信系统中的应用也被设想用于超5G（B5G）无线网络。对于面向目标的语义通信中的应用，我们提出了第一个数学模型的面向目标的源熵作为一个优化问题。此外，从信息论的角度来看，我们确定基本的开放性问题的通信网络支持分布式学习和计算任务的速率区域的特征。我们还提出了该领域的技术挑战和新兴应用机会，旨在激发未来的研究，促进EL在B5G中的广泛发展。
2022-06-01 cs.DC cs.IT math.IT
Towards Distributed and Intelligent Integrated Sensing and Communications for 6G Networks
针对现有ISAC模型的局限，本文提出面向6G的DISAC概念，通过引入分布式架构和语义化目标导向框架，拓展了感知通信一体化的能力边界。
2024-12-12 cs.IT eess.SP math.IT
Adaptive Worker Grouping For Communication-Efficient and Straggler-Tolerant Distributed SGD
Fudan University（复旦大学）
挂钟收敛时间和通信负载是随机梯度下降（SGD）在参数服务器设置中的分布式实现的关键性能指标。通信自适应分布式亚当（CADA）最近已被提出作为一种方法，以减少通信负载，通过自适应选择的工人。CADA是受到性能退化方面的挂钟收敛时间的存在下的掉队者。本文提出了一种新的方案命名为基于分组的CADA（G-CADA），保留了CADA的优点，在减少通信负载，同时增加了对落伍者的鲁棒性，在工人的额外存储的成本。G-CADA将工作者划分为被分配相同数据分片的工作者组。组在每次迭代中自适应地调度，服务器只等待每个选定组中最快的工作者。我们提供了分析和实验结果，阐述了显着的增益上的挂钟时间，以及通信负载和计算负载，G-CADA超过其他基准计划。
2022-01-12 cs.IT cs.LG math.IT
Distributed Dual Coordinate Ascent in General Tree Networks and Communication Network Effect on Synchronous Machine Learning
Penn State Behrend（宾夕法尼亚州立大学贝伦德分校）；University of California, Davis（加州大学戴维斯分校）；University of Iowa（爱荷华大学）
由于数据量大，单台计算机或单台服务器的数据存储量有限，数据往往以分布式方式存储。因此，经常需要通过通信网络对分布式数据集执行大规模机器学习操作。本文研究了一般树结构网络中分布式机器学习问题的分布式双坐标上升的收敛速度。由于树型网络模型可以理解为星型网络模型的推广，因此我们的算法可以看作是星型网络模型中分布式对偶坐标上升的推广。本文以递归的方式给出了一般树状网络上分布式对偶坐标上升的收敛速度，并分析了网络对收敛速度的影响。其次，考虑网络通信时延，对分布式双坐标上升算法进行优化，使其收敛速度最大化。从我们的分析结果，我们可以选择最佳的局部迭代次数取决于通信延迟的严重程度，以达到最快的收敛速度。在数值实验中，我们考虑通信网络上的机器学习场景，其中本地工作者不能直接到达一个中心节点，由于通信的限制，并证明了我们的分布式双坐标上升算法在树网络的可用性。此外，我们还证明了在分布式双协调上升算法中，根据网络通信延迟调整局部和全局迭代次数可以提高算法的收敛速度。
2021-02-18 cs.DC cs.IT cs.LG
On the Worst-case Communication Overhead for Distributed Data Shuffling
University of Arizona（亚利桑那大学）
用于处理大规模数据集的分布式学习平台正变得越来越普遍。在典型的分布式实现中，集中式主节点将数据集分成较小的批次，以便跨分布式工作者进行并行处理，以实现加速和效率。几个计算任务是连续的，并涉及多次通过数据。在数据的每次迭代中，通常的做法是在主节点上随机重新洗牌数据，为每个工作节点分配不同的批处理。这种随机的重新洗牌操作是以额外的通信开销为代价的，因为在每次洗牌时，新的数据点需要被传递到分布式工作器。在本文中，我们专注于表征信息理论上的最优通信开销的分布式数据洗牌问题。我们提出了一种新的编码数据传输方案的情况下，没有多余的存储，其中每个工人只能存储分配的数据批处理。我们的方案利用了一种新的编码机会，并适用于任何任意洗牌，并为任何数量的工人。我们还提出了一个信息理论上的最小通信开销的数据洗牌的下限，并表明，所提出的方案相匹配的最坏情况下的通信开销的下限。
2016-09-30 cs.DC cs.IT cs.LG
Fundamental Limits of Communication Efficiency for Model Aggregation in Distributed Learning: A Rate-Distortion Approach
Shanghai Jiao Tong University（上海交通大学）
分布式学习的主要焦点之一是通信效率，因为每一轮训练的模型聚合可能包含数百万到数十亿个参数。为了提高模型聚合的通信效率，人们提出了几种模型压缩方法，如梯度量化和稀疏化。然而，对于给定的梯度估计失真的信息理论的最小通信成本仍然是未知的。本文从率失真的角度研究了分布式学习中模型聚合的通信代价的基本限制。通过将模型聚合问题描述为一个向量高斯CEO问题，推导了模型聚合问题的速率域界和和速率失真函数，揭示了在特定梯度失真上界下的最小通信速率.我们还分析了通信成本在每次迭代和总通信成本的基础上的总和率失真函数与现实世界的数据集的梯度统计。研究发现，SignSGD算法利用工作节点间的相关性获得的通信增益是显著的，梯度估计器的高失真可以降低梯度压缩的总通信开销。
2022-06-28 cs.IT cs.LG math.IT
Communication-Efficient and Distributed Learning Over Wireless Networks: Principles and Applications
Deakin University（迪肯大学）；University of Oulu（奥卢大学）；Korea University（高丽大学）；Yonsei University（延世大学）；CentraleSupélec, Université Paris-Saclay（巴黎-萨克雷大学中央理工-高等电力学院）
机器学习（ML）是第五代（5G）通信系统及以后的有前途的使能者。通过将智能注入网络边缘，边缘节点可以主动执行决策，从而对本地环境变化和干扰做出反应，同时体验零通信延迟。为了实现这一目标，必须通过以分布式方式不断交换新数据和ML模型更新，在时变信道和网络动态下满足大规模ML推理的高精度。驯服这种新的数据流量归结为通过优化通信有效载荷类型，传输技术和调度，以及ML架构，算法和数据处理方法来提高分布式学习的通信效率。为此，本文旨在提供相关通信和ML原则的整体概述，从而提供具有选定用例的通信效率和分布式学习框架。
2020-08-06 cs.IT cs.LG cs.NI
Optimal distributed composite testing in high-dimensional Gaussian models with 1-bit communication
在本文中，我们研究的问题，在高斯噪声中的分布式设置，在星形拓扑结构的本地机器可以传达一个单一的信息位的信号检测。我们推导出一个下界的欧几里德规范的信号需要有，以便被检测到。此外，我们表现出最佳的分布式测试策略，达到下限。
2022-02-24 cs.IT math.IT math.ST
Communication-Efficient Distributed Statistical Inference
我们提出了一个通信有效的代理Likestive（CSL）框架解决分布式统计推断问题。CSL为全局似然提供了一种通信效率高的替代，可用于低维估计、高维正则化估计和贝叶斯推断。对于低维估计，CSL可证明地改进了朴素平均方案，并有利于置信区间的构建。对于高维正则化估计，CSL导致一个极小极大最优估计与控制通信成本。对于贝叶斯推断，CSL可以用于形成收敛于真实后验的通信有效的准后验分布。这种准后验过程显着提高了MCMC算法的计算效率，即使在非分布式设置。我们提出了理论分析和实验来探索CSL近似的属性。
2016-11-06 cs.IT cs.LG math.IT
GADMM: Fast and Communication Efficient Framework for Distributed Machine Learning
当数据分布在多个服务器上时，在解决分布式学习问题的同时降低服务器（或工人）之间的通信开销是一个重要的问题，也是本文研究的重点。特别是，我们提出了一个快速，通信效率高的分散框架来解决分布式机器学习（DML）问题。所提出的算法，分组交替方向乘法（GADMM）是基于交替方向乘法（ADMM）框架。GADMM的关键新颖之处在于它解决了分散式拓扑中的问题，在这种拓扑中，在任何给定的时间，最多有一半的工作人员在争夺有限的通信资源。此外，每个工作者仅与两个相邻工作者交换本地训练的模型，从而在每次交换中以较低的通信开销训练全局模型。我们证明了GADMM收敛到凸损失函数的最优解，并在数值上表明，它比最先进的通信高效算法（如Lazily Aggregated Gradient（LAG）和对偶平均）在合成和真实数据集上的线性和逻辑回归任务中收敛得更快，通信效率更高。此外，我们提出了动态GADMM（D-GADMM），GADMM的一个变种，并证明其收敛下的时变网络拓扑的工人。
2020-03-24 cs.DC cs.IT cs.LG
Distributed Gaussian Mean Estimation under Communication Constraints: Optimal Rates and Communication-Efficient Algorithms
University of Pennsylvania（宾夕法尼亚大学）
在决策理论框架下研究了通信约束下高斯均值的分布式估计问题。极小极大收敛率，其特征之间的权衡通信成本和统计精度，建立在单变量和多变量设置。制定了通信效率高和统计上最佳的程序。在单变量的情况下，最佳速率只取决于总的通信预算，只要每个本地机器至少有一个比特。然而，在多变量的情况下，最小最大速率取决于本地机器之间的通信预算的具体分配。虽然高斯均值的最优估计在传统的环境中相对简单，但在通信约束下，它涉及到最优过程设计和下界参数。在本文中开发的技术可以是独立的利益。一个重要的步骤是分解成两个阶段，本地化和细化的极大极小估计问题。这种临界分解为下界分析和最优程序设计提供了一个框架。
2020-01-24 cs.DC cs.IT cs.LG
