Distributed Joint Source-Channel Coding for arbitrary memoryless correlated sources and Source coding for Markov correlated sources using LDPC codes
本文针对Slepian-Wolf速率域中任意点的任意相关信源,利用LDPC码,给出了一种分布式联合信源信道编码方案。我们考虑Slepian-Wolf设置两个源和一个目的地,其中一个源通过解码器处已知的一些相关模型从另一个源导出。对两个信源采用分布式编码和单独解码。我们还给出了一个分布式的信源编码方案时,源相关有记忆,以达到任何点的Slepian-Wolf率可达区域。在这种情况下,我们执行单独的编码,但联合解码。
2008-02-19 cs.IT math.IT
Straggler Mitigation in Distributed Optimization Through Data Encoding
UCLA(加州大学洛杉矶分校);Technicolor Research(泰利克色研究公司)
在分布式计算中,运行缓慢或落后的任务会显著降低计算速度。最近,受编码理论启发的方法已经被应用于通过在优化算法的某些线性计算步骤中嵌入冗余来减轻离散的影响,从而在不等待离散者的情况下完成计算。在本文中,我们提出了一种替代方法,我们将冗余直接嵌入数据本身,并允许计算完全不受编码的影响。我们提出了几种编码方案,并证明了流行的批处理算法,如梯度下降和L-BFGS,应用在一个编码不经意的方式,确定性地实现样本路径线性收敛到原问题的近似解,使用任意变化的子集的节点在每次迭代。此外,这种近似可以通过冗余量和每次迭代中使用的节点数量来控制。我们提供的实验结果表明,该方法的优势,在未编码和数据复制策略。
2018-01-22 cs.DC cs.IT cs.LG
Secure Block Source Coding with Sequential Encoding
我们介绍了基本的界限可实现的累积速率分布函数(CRDF)的特点,顺序编码过程中,确保无损或有损重建的平均失真标准,使用非因果解码器。CRDF描述了顺序压缩序列所花费的资源速率。我们还包括一个安全约束,影响可实现的CRDF集。随着信息泄漏的演变,基于源与其压缩表示之间的互信息来顺序地定义信息泄漏。为了表征安全约束,我们引入了累积泄漏分布函数(CLF)的概念,该函数确定了允许的信息泄漏分布在编码子块上。利用工具,从优化理论,我们得出的必要和充分条件,可实现的CRDF为一个给定的独立同分布(IID)源和CLF。本文的一个主要结果是,CRDF的凹壳特征的最佳可实现的速率分布。
2021-08-30 cs.IT math.IT
Two-layer Locally Repairable Codes for Distributed Storage Systems
本文提出了一种适用于分布式存储系统的具有最优最小距离的局部可修码。采用两层编码结构保证数据重构和指定的修复局部性。数据首先在第一层中通过任何现有的最大距离可分离(MDS)码进行编码,然后在第二层中将编码的符号分成不重叠的组并通过MDS阵列码进行编码。第二层中的编码为局部修复提供了足够的冗余,而整个代码基于来自两层的冗余执行数据恢复。我们的代码可以构建在一个有限的字段中的DSS中的节点总数的大小线性增长,并促进有效的降级读取。
2014-08-14 cs.IT math.IT
Channel-Aware Distributed Transmission Control and Video Streaming in UAV Networks
针对非授权频谱无人机网络,本文提出跨层框架及DTC、JDVT-EC算法,联合优化传输阈值与视频编码率,显著提升吞吐量和PSNR。
2025-07-25 cs.IT math.IT
Optimal Systematic Distributed Storage Codes with Fast Encoding
在分布式存储系统中,越来越多地使用擦除码来代替数据复制,因为它们提供了相同级别的可靠性和低得多的存储开销。我们考虑了为分布式存储构造显式纠删码的问题,这些纠删码具有以下由实践激发的理想性质:(i)最大距离可分离(MDS):以最小的存储开销提供最大的可靠性,(ii)最优修复带宽:最小化从剩余节点修复故障节点所需的数据量,(iii)修复的灵活性:以允许在选择用于修复的节点子集时的最大灵活性,这包括不要求所有幸存的节点都用于修复,(iv)系统形式:以确保原始数据以未编码的形式存在,以及(v)快速编码:以最小化生成编码数据的成本(由稀疏生成器矩阵实现)。本文提出了第一个明确的代码建设,从理论上保证所有五个所需的属性同时。我们的构造建立在一个强大的代码类称为产品矩阵(PM)代码。PM码满足性质(i)-(iii),以及(iv)或(v),但不同时满足两者。实际上,原生PM码具有导致稀疏性的固有结构,但是当码被系统化时,这种结构被破坏。我们首先提出了一个分析框架,了解PM代码的设计和系统属性之间的相互作用。使用这个框架,我们提供了一个明确的代码结构,同时实现所有上述所需的属性。我们还提出了转换现有的存储和修复最佳代码,使快速编码通过稀疏的一般方法。在实践中,这种稀疏码导致编码加速,对于典型参数约为4倍。
2015-09-06 cs.DC cs.IT cs.NI
Channel Capacity-Aware Distributed Encoding for Multi-View Sensing and Edge Inference
本文提出一种名为 ADE-MI 的新型框架,通过设备端自适应分布式编码与边缘端多视图推理的两阶段优化,在信道容量约束下最大化感知任务的互信息,实现了高识别准确率与超低通信延迟。
2024-11-18 cs.IT eess.SP math.IT
Storage, Computation, and Communication: A Fundamental Tradeoff in Distributed Computing
我们考虑一个类似MapReduce的分布式计算系统。我们推导出一个下界的通信成本为任何给定的存储和计算成本。这个下限与我们最近提出的可实现的界限相匹配。其结果是,我们完全表征的存储,计算和通信之间的最佳权衡。我们的结果推广了Li等人的前一个结果,也考虑了计算的中间值的数量。
2020-01-21 cs.IT math.IT
Minimum Communication Cost for Joint Distributed Source Coding and Dispersive Information Routing
本文研究了多汇点网络中相关信源的最小通信费用问题,该网络由分布式信源编码和路由组成。我们引入了一个新的路由范例称为分散信息路由,其中的中间结点被允许“分裂”的数据包和转发子集的每个转发路径上的接收位。这种范式开辟了丰富的一类研究问题,集中在网络中的编码和路由之间的相互作用。与[1]中的传统路由方法不同,分散信息路由确保每个接收器仅接收重建其需要再现的源所需的信息。我们证明使用简单的例子,我们的方法提供了更好的渐近性能比传统的路由技术。这种范式导致了一个新的信息理论的设置,这还没有被研究过。我们提出了一种新的编码方案,使用多描述编码[2]和Han和Kobayashi解码[3]的原理。我们表明,这种编码方案实现了完整的速率区域的某些特殊情况下的一般设置,从而实现了最小的通信成本下,这种路由模式。
2012-09-19 cs.IT math.IT
Optimal prefix codes for pairs of geometrically-distributed random variables
研究了由具有参数$q$,$0{<}q{<}1$的几何概率分布的源发射的独立整数值符号对的最佳前缀码。通过对符号对进行编码,可以减少逐符号编码的冗余代价,同时保持Golomb码及其变体的典型编码和解码过程的简单性。它示出,这些所谓的二维几何分布的最佳代码是\emph{singular},在这个意义上说,一个前缀码是最佳的一个值的参数$q$不能是最佳的任何其他值的$q$。这与一维情况形成鲜明对比,在一维情况下,对于参数$q$的正长度间隔,代码是最佳的。因此,在二维的情况下,它是不可行的,以给出一个紧凑的特性的最佳代码的所有值的参数$q$,因为是在一维的情况下。相反,最优码的特征在于$q$的值的离散序列,其提供单位间隔的良好覆盖。具体地,针对覆盖范围$q\ge 1/2$的$q=2^{-1/k}$($k\ge 1$)和覆盖范围$q<1/2$的$q=2^{-k}$($k>1$)描述最优前缀码。所描述的代码相对于一维情况产生预期的冗余减少,同时保持低复杂度的编码操作。
2013-01-06 cs.IT math.IT
A Fundamental Tradeoff Among Storage, Computation, and Communication for Distributed Computing over Star Network
编码分布式计算通过利用分布式计算中的编码技术,充分利用冗余的存储和计算资源,可以减轻通信负载。本文研究了星型拓扑网络上的MapReduce类型的分布式计算框架,其中所有工作者通过一个公共接入点交换信息。存储的文件(存储负载),计算的中间值(计算负载)和在上行链路和下行链路(通信负载)中发送的比特之间的最佳权衡的特征。提出了一种编码计算方案来实现Pareto最优折衷曲面,接入点只需在接收信号之间进行简单的链式编码,并给出了与该曲面匹配的信息理论界。
2023-01-10 cs.IT math.IT
Fundamental Limits of Multi-User Distributed Computing of Linearly Separable Functions
EURECOM(欧洲通信研究所)
本文研究多用户分布式计算线性可分函数的基本限制,提出了一种优化通信与计算权衡的分布式计算方案,并在实数域和有限域中证明其最优性能。
2026-01-15 cs.IT math.IT
Age-Based Coded Computation for Bias Reduction in Distributed Learning
Imperial College London(帝国理工学院);University of Maryland(马里兰大学)
编码计算可以用来加速分散工作者的分布式学习。梯度向量的部分恢复可以进一步减少每次迭代的计算时间;然而,这可能导致有偏估计,这可能会减慢收敛速度,甚至导致发散。当离散行为随着时间的推移而相关时,估计偏差将特别普遍,这导致梯度估计器由少数快速服务器主导。为了减轻有偏见的估计,我们设计了一个$timely$动态编码框架的部分恢复,其中包括一个排序算子,随着时间的推移,改变工人的码字和计算顺序。为了调节恢复频率,我们在动态编码方案的设计中采用了$age$度量。我们通过数值结果表明,所提出的动态编码策略增加了恢复计算的及时性,从而减少了模型更新的偏差,并加速了收敛相比,传统的静态部分恢复计划。
2020-06-02 cs.DC cs.IT cs.LG
A Novel Coded Computing Approach for Distributed Multi-Task Learning
针对非线性全局更新 DMTL 的通信瓶颈,提出基于矩阵分解与 MDS 编码的新型编码计算方案,在同构和异构场景下均达到通信开销下界。
2025-07-24 cs.IT math.IT
A Non-differential Distributed Space-Time Coding for Partially-Coherent Cooperative Communication
在分布式空时编码方案中,基于中继信道模型,中继节点协作以线性地处理从源发送的信号并将它们转发到目的地,使得目的地处的信号表现为空时分组码。最近,已经提出了用于在部分相干环境中实现全分集的码设计准则以及基于差分编码和解码技术的码。对于这样的设置,本文提出了一种非差分编码技术和构造分布式空时分组码从酉矩阵组在源和一组对角酉矩阵的中继。结果表明,我们的方案的性能是独立的酉矩阵的选择在继电器。当群是循环群时,证明了循环群的生成元达到全分集和最小化两两错误概率的一个充要条件。给出了循环群生成元的各种选择,以降低目的地的ML译码复杂度。同时还证明了,在源处,如果使用非循环交换酉矩阵群,则不能获得全分集。所提出的方案也是鲁棒的中继节点的任何子集的故障。
2008-06-19 cs.IT math.IT
Distributed Nonlinear Transform Source-Channel Coding for Wireless Correlated Image Transmission
本文提出分布式非线性变换源信道编码框架,通过显式建模联合分布和联合熵模型,在无线相关图像传输中优于现有分布式方案。
2025-03-27 cs.IT math.IT
Distributed Data Collection and Storage Algorithms for Collaborative Learning Vision Sensor Devices with Applications to Pilgrimage
本文提出了一种新的分布式数据汇集系统和存储算法,用于协作学习无线传感器网络(WSNs)。在一个大型的无线传感器网络中,考虑随机分布的$n$协作传感器设备来获取信息并学习某个领域。这种传感器的功耗低,带宽小,内存短,并且在运行一定时间后可能会从网络中消失。这项工作的目标是设计有效的策略,通过收集这些$n$传感器的感知数据,以更少的计算开销和有效的存储编码操作来了解该领域。在这个数据汇集系统中,我们提出了两个分布式数据存储算法(DSA的),以解决这个问题的手段,网络泛洪和传感器设备之间的连接。在第一种算法DSA-I中,假设网络中每个节点的节点总数是已知的。我们表明,该算法是有效的编码/解码操作。此外,每个节点使用网络洪泛在整个网络中传播其数据,混合时间约为O(n)。在第二种算法DSA-II中,假设每个学习传感器的节点总数是未知的,因此数据的传播不依赖于$n$的值。在这种情况下,我们表明,编码操作采取$O(Cμ^2)$,其中$μ$是网络图的平均度和$C$是一个系统参数。这两种算法的性能与理论结果相吻合。最后,我们展示了如何部署这些算法,用于监测和测量位于麦加东南部Minna场的美国制造的营地帐篷中的某些现象。
2011-12-30 cs.IT cs.NI math.IT
Robust Gradient Descent via Moment Encoding with LDPC Codes
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);MIT(麻省理工学院)
本文考虑了在分布式计算环境中,在{ \em离散}处理器的存在下,实现大规模梯度下降算法的问题。为了减轻掉队者的影响,先前已经提出用擦除校正码对数据进行编码,并在计算结束时在主服务器处进行解码。相反,我们建议使用低密度奇偶校验(LDPC)码对数据的二阶矩进行编码。LDPC码的迭代译码算法具有很低的计算开销,并且译码迭代次数可以根据系统中的落后者数目自动调整。我们表明,对于随机模型的离散,提出的矩编码的梯度下降方法可以被视为随机梯度下降方法。这使我们能够获得所提出的解决方案的收敛保证。此外,所提出的矩编码为基础的方法被证明优于现有的计划在一个真正的分布式计算设置。
2019-01-03 cs.DC cs.IT cs.LG
Distributed Arithmetic Coding for the Asymmetric Slepian-Wolf problem
分布式信源编码方案通常基于使用信道码作为信源码。在本文中,我们提出了一个新的范例,称为“分布式算术编码”,它利用了这样一个事实,即算术码是良好的源代码以及信道代码。特别是,我们提出了一个分布式的二进制算术编码器的Slepian-Wolf编码与解码器侧信息,以及软联合解码器。所提出的方案提供了几个优势,现有的Slepian-Wolf编码器,特别是其良好的性能,在小块长度,并能够将任意源模型的编码过程中,例如,基于上下文的统计模型。我们将分布式算术编码与Turbo码和低密度校验码的性能进行了比较,发现所提出的方法具有很强的竞争力。
2008-11-11 cs.IT math.IT
Network Coding for Energy-Efficient Distributed Storage System in Wireless Sensor Networks
提出了一种基于网络编码的无线传感器网络分布式存储系统节能方案,主要解决两个问题:一是考虑无线传感器网络中有效的分布式存储技术;二是研究如何利用较少的资源修复失效存储节点中的数据。对于第一个问题,我们提出了一种方法来获得一个稀疏的生成矩阵来构造网络码,并证明了这个稀疏的生成矩阵是稀疏的。受益于稀疏生成矩阵,实现分布式存储所需的能量消耗减少。对于第二个问题,我们设计了一种基于网络编码的迭代修复方法,该方法充分利用了网络编码理论中在中间结点重新编码的思想。受益于重新编码,数据修复所需的能量消耗显著降低。此外,我们提供了一个明确的下限字段大小所需的该计划,这意味着该计划可以工作在一个非常小的字段和所需的计算开销的编码是非常低的。仿真结果表明,该方案一方面可以降低无线传感器网络中实现分布式存储系统所需的总能耗,另一方面也可以均衡网络的能耗。
2013-04-05 cs.IT cs.NI math.IT
Differential Distributed Space-Time Coding with Imperfect Synchronization
差分分布式空时编码(D-DSTC)被认为是在信道信息缺失的情况下提高协作通信系统分集度和数据速率的有效方法。然而,传统上,假设中继在符号级完全同步。在实践中,由于中继网络的分布式特性,这个假设很容易被违反。本文提出了一种新的差分编码和解码过程中的D-DSTC系统的两个继电器。所提出的方法是强大的同步错误,并不需要在目的地的任何信道信息。此外,最大可能的多样性和符号的符号解码。仿真结果表明,所提出的方法的性能,各种同步误差和事实,我们的算法是不敏感的同步误差。
2014-07-24 cs.IT math.IT
Phase-Only Analog Encoding for a Multi-Antenna Fusion Center
我们考虑一个分布式传感器网络,其中的单天线传感器节点观察一个确定性的未知参数和编码后的观测信号与相位参数,传感器节点将其同时发送到多天线融合中心(FC)。FC优化相位编码参数,并将其反馈给传感器节点,使得估计误差的方差可以最小化。我们将相位优化问题松弛为半定规划问题,数值结果表明,所提出的方法的性能接近理论界。同时,渐近结果表明,当传感器的数量是非常大的,传感器节点和FC之间的距离的变化是小的,多天线不提供一个单一的天线系统相比,一个好处;当天线$M$的数量大并且传感器节点处的测量噪声与FC处的加性噪声相比小时,估计误差方差可以减小因子$M$。
2012-01-02 cs.IT math.IT
Distributed Successive Approximation Coding using Broadcast Advantage: The Two-Encoder Case
传统的分布式信源编码很少考虑独立编码器之间可能存在的链路。然而,在传感器网络中的无线通信的广播性质提供了一个免费的八卦机制,可以用来简化编码/解码和降低传输功率。利用这种广播的优势,我们提出了一个新的两个编码器的方案,模仿乒乓球比赛,并具有逐次逼近结构。对于二次高斯情形,我们证明了该方案在{和率,失真对}曲面上是连续可加细的,该曲面的特征在于分布式双编码器信源编码的率失真区域.一个潜在的能量节省传统的分布式编码也示出。该乒乓分布式编码思想可以推广到多编码器的情况,为无线场景下一类新的分布式图像编码方法提供了理论基础。
2010-10-18 cs.IT math.IT
On the Fundamental Limit of Private Information Retrieval for Coded Distributed Storage
我们认为私人信息检索(PIR)的分布式存储系统(DSS)与非串通节点的数据存储使用非最大距离可分离(MDS)的线性码。最近表明,如果使用特定类别的非MDS线性码存储数据,则MDS-PIR容量,即,可以实现MDS编码的DSS的最大可能PIR速率。对于这类码,我们证明了PIR容量确实等于MDS-PIR容量,给出了第一个PIR容量已知的非MDS码族。对于其他代码,我们提供了非对称PIR协议,实现了严格更大的PIR率相比,现有的对称PIR协议。
2018-08-27 cs.IT math.IT
Distributed Flooding-based Storage Algorithms for Large-scale Sensor Networks
在本文中,我们提出了分布式的存储算法为基础的大规模无线传感器网络。假设无线传感器网络具有功率、存储器和带宽有限的$n$节点。每个节点都能够感测和存储数据。这样的传感器节点可能由于故障或电池耗尽而从网络中消失。因此,期望设计有效的方案来从这些$n$节点收集数据。我们提出了两个分布式存储算法(DSA的),利用网络洪水来解决这个问题。在第一个算法中,DSA-I,我们假设每个节点利用网络洪泛传播其数据在整个网络中使用混合时间约为O(n)。我们表明,该算法是有效的编码和解码操作。在第二个算法,DSA-II,我们假设节点的总数是不知道每个传感器,因此传播的数据不依赖于$n$。在这种情况下,编码操作采用$O(Cμ^2)$,其中$μ$是网络图的平均度,而$C$是系统参数。我们评估所提出的算法的性能,通过分析和仿真,并表明其性能相匹配的理论结果。
2009-08-30 cs.IT cs.NI math.IT
Decoding the `Nature Encoded' Messages for Distributed Energy Generation Control in Microgrid
讨论了微网分布式发电控制中的通信问题。由于实时传输的要求,系统状态信息采用弱编码或无显式信道编码。为了保护未编码或弱编码的消息的可靠性,系统动态被认为是类似于卷积码的“自然编码”,由于其在时间上的冗余。对于具有或不具有显式信道编码的系统,提出了基于卡尔曼滤波和Pearl置信传播的两种解码过程,其方式类似于传统数据通信系统中的Turbo处理。利用发电机动态系统的线性模型进行了数值仿真,验证了该方法的有效性。
2010-10-19 cs.IT math.IT
Locally Encodable and Decodable Codes for Distributed Storage Systems
我们认为在分布式存储系统(DSS)的编码和解码操作的本地性,并提出了一类新的代码,称为本地可编码和可解码的代码(LEDC),提供了更高程度的操作本地性相比,目前已知的代码。对于一个给定的局部结构,我们推导出一个上界的全球距离,并证明存在一个最佳的LEDC足够大的字段大小。此外,我们还构造了两个家庭的最佳LEDC字段的大小线性码长。
2015-04-20 cs.IT math.CO math.IT
DALC: Distributed Arithmetic Coding Aided by Linear Codes
针对DAC解码中候选路径指数增长且MAP排序易输出错误路径的问题,提出DALC方法,利用线性码约束解码过程,实验证明其降低了误码率,尤其在偏态信源场景中效果显著。
2025-04-16 cs.IT math.IT
A Fundamental Tradeoff between Computation and Communication in Distributed Computing
我们如何以最佳方式交换额外的计算能力,以减少分布式计算中的通信负载?我们通过描述分布式计算中计算和通信之间的基本权衡来回答这个问题,即,两者成反比。更具体地说,一般的分布式计算框架,被认为是由常用的结构,如MapReduce,其中的整体计算被分解成计算一组“映射”和“减少”功能分布在多个计算节点。提出了一种名为“编码分布式计算“(CDC)的编码方案,以证明将Map函数的计算负载增加$r$的因子(即,在$r$仔细选择的节点处评估每一函数)可产生新颖的编码机会,所述编码机会将通信负载减少相同因子。还提供了一个信息理论上的通信负载的下限,它匹配的CDC计划实现的通信负载。结果,准确地描述了分布式计算中的最优计算-通信权衡。最后,CDC的编码技术应用于Hadoop TeraSort基准开发一种新的CodedTeraSort算法,这是经验证明,以加快整体作业执行的$1.97\times$ - $3.39\times$,为典型的设置感兴趣。
2017-09-23 cs.DC cs.IT math.IT
Error Correcting Codes for Distributed Control
在网络控制系统的应用中,如何在有噪声的通信链路上稳定不稳定对象是一个越来越重要的问题。虽然Schulman和Sahai在过去二十年的工作,以及他们对"树码" \phantom{}和"随时容量"概念的发展,为研究这些问题提供了理论框架,但由于不存在具有有效编码和解码的树码的显式构造,因此在这一领域很少有实际进展。为了稳定由有界噪声驱动的不稳定设备,需要实时编码和实时解码以及随着解码延迟呈指数增长的可靠性,这就是树码所保证的。我们证明了线性树码发生的概率很高,擦除信道,给出了一个明确的建设与预期的解码复杂度是恒定的每一个时刻。我们给出了新的充分条件的速度和可靠性所需的树代码稳定向量植物,并认为他们是渐近紧。这项工作采取了重要的一步,控制植物在嘈杂的渠道,我们通过几个例子证明了该方法的有效性。
2012-02-25 cs.IT math.IT math.OC
Optimal Selective Encoding for Timely Updates
我们考虑一个系统,其中的信息源产生独立和相同分布的状态更新数据包从观察到的现象,采取$n$可能的值的基础上,一个给定的pmf。这些更新分组在发送器节点处被编码以被发送到接收器节点。代替对所有$n$可能的实现进行编码,发射机节点仅对最可能的$k$实现进行编码,并且每当来自剩余$n-k$值的实现发生时就忽略。我们找到的平均年龄,并确定年龄最佳的实际码字长度,使接收机节点的平均年龄最小化。通过对任意pmfs的数值评估,我们表明,这种选择性的编码策略的结果在一个较低的平均年龄比编码每个实现,并找到年龄最佳的$k$。我们还分析了一个随机化的选择性编码策略,其中剩余的$n-k$实现被编码,并以一定的概率发送,以进一步通知接收器的代价较长的码字为选定的$k$实现。
2020-01-27 cs.IT cs.NI eess.SP
On the Suboptimality of Rate--Distortion-Optimal Compression: Fundamental Accuracy Limits for Distributed Localization
The Alexander Kofkin Faculty of Engineering, Bar-Ilan University(巴伊兰大学亚历山大·科夫金工程学院)
研究在仅能获取独立速率-失真最优压缩多传感器观测的情况下,分布式定位的基本精度限制,通过高斯RD测试信道模型和Whittle频谱Fisher信息特性,推导出频域Cramér-Rao下限,并揭示速率诱导的性能转变。
2026-03-24 cs.IT eess.SP math.IT
Finite-Bit Quantization For Distributed Algorithms With Linear Convergence
Arizona State University(亚利桑那州立大学);Purdue University(普渡大学);Bloomberg(彭博社)
本文研究了网格网络上(强凸)复合最优化问题的分布式算法。而不是专注于一个特定的算法设计,提出了一个黑盒模型,铸造线性收敛的分布式算法的形式固定点迭代。该算法模型配备了一个新的随机或确定性的偏置压缩(BC)规则的量化器设计,和一个新的自适应编码非均匀量化器(ANQ)加上一个通信效率高的编码方案,它实现了BC规则使用有限数量的位(低于机器精度)。这填补了存在于大多数现有技术的量化方案中的空白,例如基于流行的压缩规则的那些,其依赖于具有可忽略的量化误差(实际上以机器精度量化)的一些标量信号的通信。一个统一的通信复杂性分析的黑盒模型,确定所需的平均位数,以达到解决方案的最优化问题在目标精度。结果表明,提出的BC规则保持了非量化算法的线性收敛,并在基于ANQ的量化条件下实现了收敛速度和通信开销之间的折衷.数值结果验证了我们的理论研究结果,并表明,分布式算法配备了建议ANQ有更有利的通信成本比使用国家的最先进的量化规则的算法。
2022-05-18 cs.IT cs.LG math.IT
Fundamental Resource Trade-offs for Encoded Distributed Optimization
University of Southern California(南加利福尼亚大学)
处理当今海量数据集的剪切大小和复杂性需要能够以并行和分布式方式分析数据的计算平台。在这种现代分布式计算环境中出现的主要瓶颈是某些工作节点可能运行缓慢。这些节点又名~由于最慢的节点可能决定总的计算时间,所以离散节点可能显著地减慢计算。最近的计算框架,称为编码优化,在数据中创建冗余,以减轻掉队者的影响。在本文中,我们开发了新的数学理解这个框架,证明其有效性,在更广泛的设置比以前所理解的。我们还分析了迭代编码优化算法的收敛行为,使我们能够在这个框架中描述收敛速度,数据集大小,准确性,计算负载(或数据冗余)和落伍容忍之间的基本权衡。
2019-04-01 cs.IT cs.LG math.IT
A Fundamental Limit of Distributed Hypothesis Testing Under Memoryless Quantization
我们研究了一个分布式的假设检验设置,外围节点发送量化数据的融合中心在一个无记忆的方式。由每个节点在零假设下发送的比特的\emph{expected}数量保持有限。我们表征的误检测(II型错误)概率的最佳衰减率提供的误报(I型错误)是罕见的,并研究通信速率和最大II型错误衰减率之间的权衡。我们诉诸率失真的方法提供上限的权衡曲线,并表明,在高速率格量化达到接近最佳的性能。我们还描述了权衡的情况下,节点被允许记录和存储一个固定数量的样本。此外,在总和率约束下,我们证明了一个上限的权衡曲线得到一个注水的解决方案。
2022-06-24 cs.IT eess.SP math.IT
Distributed Lossy Source Coding Using Real-Number Codes
McGill University(麦吉尔大学)
我们展示了如何实数码可以用来压缩相关的源,并建立了一个新的框架,有损分布式信源编码,在其中,我们将压缩的源,而不是压缩量化的源。合并和量化块的顺序的这种改变使得可以更真实地对连续值源之间的相关性进行建模,并且当源完全相关时校正量化误差。详细描述了离散傅里叶变换(DFT)码的编码和解码过程。重建信号,在均方误差的意义上,被认为是优于在传统的方法。
2012-06-19 cs.CV cs.IT cs.NI
Convergence Rate Analysis of Distributed Gossip (Linear Parameter) Estimation: Fundamental Limits and Tradeoffs
本文考虑(静态)分布随机场(也称为,大尺度未知参数向量),每个传感器仅观测到场的一小部分。我们考虑线性分布估计器,其结构结合了传感器之间的信息\emph{flow}(\emph{consensus}长期从传感器之间的本地八卦交换时,他们能够进行通信)和传感器测量的信息\emph{gathering}(\emph{sensing}或\emph{innovations}长期)。这导致了混合时间尺度算法-一个时间尺度与共识相关,另一个与创新相关。本文建立了一个分布能观性条件(全局能观性加平均连通性),在此条件下分布估计是相合的且渐近正态的。我们介绍了分布式的概念相当于(集中式)费舍尔信息率,这是一个绑定的均方误差降低率的任何分布式估计,我们表明,在适当的建模和结构网络通信条件(八卦协议)的分布式八卦估计达到这个分布式费舍尔信息率,渐近实现的性能最佳集中式估计。最后,我们研究的行为时,测量衰减(噪声方差增长)随着时间的推移,分布的八卦估计,特别是,我们认为噪声方差可以增长的最大速率,仍然是分布式估计是一致的,通过显示,只要集中式估计是一致的,分布式估计保持一致。
2010-11-07 cs.IT math.IT math.OC
Rebuilding for Array Codes in Distributed Storage Systems
在使用编码的分布式存储系统中,出现了最小化在故障后重建存储节点所需的通信的问题。我们认为,在分布式存储系统中,使用EVENODD代码的修复被擦除的节点的问题。EVENODD码是最大距离可分离(MDS)阵列码,用于防止擦除,并且仅需要XOR操作进行编码和解码。我们表明,当有两个冗余节点,重建一个删除的系统节点,只有3/4的信息需要传输。有趣的是,在许多情况下,所需的磁盘I/O也被最小化。
2010-09-16 cs.DC cs.IT cs.NI
Fundamental Asymptotic Behavior of (Two-User) Distributed Massive MIMO
本文考虑了一个分布式大规模MIMO网络的上行链路$N$基站(BS),每个配备$M$天线,从$K=2$用户接收数据。我们研究的渐近频谱效率(作为$M\to \infty$)与空间相关的信道,导频污染,和不同程度的信道状态信息(CSI)和统计知识在BS。通过考虑两个用户的设置,我们可以简单地推导出基本的渐近行为,并提供新的见解的最佳组合方案的结构。与[1]一致,当全局CSI在所有BS可用时,如果用户的全局信道协方差矩阵渐近线性无关,则最优最小均方误差合并具有作为$M\to \infty$的无界容量。该结果有助于导出仅使用局部CSI和全局信道统计来提供作为$M\to \infty$的无限容量的次优组合方案。后一种方案被示出优于广义匹配滤波器方案,广义匹配滤波器方案也通过仅使用局部CSI和全局信道统计来实现渐近无界容量,但是在[2]之后基于更保守的容量界导出。
2018-11-08 cs.IT eess.SP math.IT
Selective Encoding Policies for Maximizing Information Freshness
信息源根据观察到的随机现象生成独立且相同分布的状态更新消息,该随机现象基于给定的pmf取$n$不同的值。这些更新分组在发送器节点处被编码以被发送到接收器节点,该接收器节点想要以尽可能小的年龄跟踪所观察到的随机变量。发射机节点实现选择性$k$编码策略,使得发射机节点不是编码所有可能的$n$实现,而是编码最可能的$k$实现。我们考虑关于剩余的$n-k$较不可能的实现的三种不同策略:$highest$ $k$ $selective$ $encoding$,其不管何时出现来自剩余的$n-k$值的实现; $randomized$ $selective$ $encoding$,其以一定概率编码和发送剩余的$n-k$实现,以进一步通知接收器节点,代价是用于所选择的$k$实现的较长码字;以及$highest$ $k$ $selective$ $encoding$ $with$ $an$ $empty$ $symbol$,其在剩余的$n-k$实现之一时发送指定的空符号。对于所有这三种编码方案,我们找到平均年龄,并确定年龄最佳的实际码字长度,包括空符号的码字长度的情况下,后一种方案,使得在接收机节点的平均年龄最小化。通过对任意pmfs的数值评估,我们表明这些选择性编码策略导致的平均年龄低于对每个实现进行编码,并找到相应的年龄最佳$k$值。
2020-04-13 cs.IT cs.NI eess.SP
Fundamental Limits of Distributed Caching in D2D Wireless Networks
我们考虑无线设备到设备(D2D)网络,其中通信被限制为单跳,用户从可能的文件的有限库做出任意请求,并且用户设备以来自库中的文件的分组的线性组合的形式缓存信息(编码缓存)。我们认为在缓存和交付阶段的编码,实现“编码多播增益”,和空间重用,由于本地短程D2D通信的综合效果。有些违反直觉,我们表明,编码的多播增益和空间复用增益不累积,在吞吐量的缩放定律。特别地,在我们先前关于未编码随机缓存的工作中示出的空间重用增益和本文中示出的编码多播增益产生相同的缩放定律行为,但是通过使用编码缓存和D2D空间重用两者不能实现进一步的缩放定律增益。
2013-04-22 cs.IT cs.NI math.IT
Fundamental Limits of Coded Linear Transform
在大规模分布式线性变换问题中,编码计算在有效处理“掉队者”(由于少数处理器速度慢或故障而可能延迟的分布式计算)方面起着重要作用。我们提出了一种编码的计算策略,称为对角码,实现了最佳的恢复阈值和最佳的计算负载。这是第一个在编码的分布式线性变换中同时实现双重最优性的代码。此外,利用随机建议图理论的思想,我们设计了两个随机码,可以保证最佳的恢复阈值与高概率,但计算量少得多。这些代码提供了有序的改进,在国家的最先进的。此外,实验结果表明显着的改善相比,未编码和现有的编码方案。
2018-04-25 cs.DC cs.IT math.IT
Information-Theoretic Limits of Node Localization under Hybrid Graph Positional Encodings
National University of Defense Technology(国防科技大学)
研究混合位置编码下节点定位的识别极限,通过观察映射问题分析编码多样性对识别性的影响,实验表明在随机3-正则图中编码规模预测有效,而在现实DDI图中识别性依赖于图结构。
2026-03-26 cs.IT cs.SC math.IT
Serverless Straggler Mitigation using Local Error-Correcting Codes
廉价的云服务,如无服务器计算,通常容易受到分散节点的影响,这会增加分布式计算的端到端延迟。我们提出并实现了简单而有原则的方法,用于在无服务器系统中进行矩阵乘法,并在机器学习和高性能计算的几个常见应用程序上对其进行评估。所提出的方案受到纠错码的启发,并使用无服务器工作人员对存储在云中的数据进行并行编码和解码。这创建了完全分布式计算框架,而不使用主节点进行编码或解码,这消除了主节点处的计算、通信和存储瓶颈。在理论方面,我们建立了我们提出的方案是渐近最优的解码时间,并提供了一个下界的掉队者,它可以容忍的概率很高。通过大量的实验,我们表明,我们的计划优于现有的计划,如投机执行和其他编码理论的方法至少25%。
2020-01-21 cs.DC cs.IT math.IT
Fundamental Limits of Communication Efficiency for Model Aggregation in Distributed Learning: A Rate-Distortion Approach
Shanghai Jiao Tong University(上海交通大学)
分布式学习的主要焦点之一是通信效率,因为每一轮训练的模型聚合可能包含数百万到数十亿个参数。为了提高模型聚合的通信效率,人们提出了几种模型压缩方法,如梯度量化和稀疏化。然而,对于给定的梯度估计失真的信息理论的最小通信成本仍然是未知的。本文从率失真的角度研究了分布式学习中模型聚合的通信代价的基本限制。通过将模型聚合问题描述为一个向量高斯CEO问题,推导了模型聚合问题的速率域界和和速率失真函数,揭示了在特定梯度失真上界下的最小通信速率.我们还分析了通信成本在每次迭代和总通信成本的基础上的总和率失真函数与现实世界的数据集的梯度统计。研究发现,SignSGD算法利用工作节点间的相关性获得的通信增益是显著的,梯度估计器的高失真可以降低梯度压缩的总通信开销。
2022-06-28 cs.IT cs.LG math.IT
Fundamental limits of distributed multiclass classification from simple binary decisions
University of Bristol(布里斯托大学);Indian Institute of Science(印度科学学院)
研究从\(O(\log K)\)个简单二元分类器组合构建\(K\)类分类器的问题,当二元分类器为超平面时,在高斯设置下得出性能界限,并通过模拟实验验证理论结果。
2026-07-22 cs.IT cs.LG math.IT
Random Alloy Codes and the Fundamental Limits of Coded Distributed Tensors
Virginia Tech(弗吉尼亚理工大学)
针对传统编码分布式张量以恢复阈值为优化目标无法直接降低故障概率的问题,本文提出基于解码概率的评估框架,构造了最优的局部随机合金码,并发现了编码分布式张量的不可能性定理。
2024-10-28 cs.DC cs.IT cs.LG
Distributed Coding of Multiview Sparse Sources with Joint Recovery
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);Vrije Universiteit Brussel(布鲁塞尔自由大学);Technical University of Denmark(丹麦技术大学)
在支持的应用程序,涉及多视角的源在分布式对象识别使用轻量级相机,我们提出了一种新的方法,用于分布式编码的稀疏源的视觉描述符直方图从多视角图像中提取。由于每个相机的计算和能量约束以及相机间通信的限制,该问题具有挑战性。我们的方法通过利用视觉描述符直方图的稀疏性以及它们的相机内和相机间的相关性来解决这些挑战。我们的方法耦合分布式信源编码的稀疏源与一个新的联合恢复算法,该算法采用了多个边信息信号,其中所有稀疏源的先验知识(低质量)最初发送利用它们的相关性。实验评估使用直方图的平移不变特征变换(SIFT)的描述符提取的多视点图像显示,我们的方法导致比特率节省高达43%相比,国家的最先进的分布式压缩感知方法与独立编码的来源。
2016-07-18 cs.CV cs.IT cs.MM
Selective Run-Length Encoding
针对游程编码在缺乏连续元素时压缩率下降及尺寸膨胀问题,提出基于组合数学的自动符号识别与选择性编码算法,在保持效率的同时缓解膨胀。
2023-12-28 cs.DS cs.IT eess.IV