Distributed Joint Source-Channel Coding for arbitrary memoryless correlated sources and Source coding for Markov correlated sources using LDPC codes
本文针对Slepian-Wolf速率域中任意点的任意相关信源，利用LDPC码，给出了一种分布式联合信源信道编码方案。我们考虑Slepian-Wolf设置两个源和一个目的地，其中一个源通过解码器处已知的一些相关模型从另一个源导出。对两个信源采用分布式编码和单独解码。我们还给出了一个分布式的信源编码方案时，源相关有记忆，以达到任何点的Slepian-Wolf率可达区域。在这种情况下，我们执行单独的编码，但联合解码。
2008-02-19 cs.IT math.IT
Polar Codes for Distributed Hierarchical Source Coding
我们表明，极化码可以用来实现分层信源编码的问题，也被称为连续细化问题的率失真函数。我们还分析了这个问题的分布式版本，构建了一个极化编码方案，实现率失真函数的连续细化与边信息。
2014-04-22 cs.IT math.IT
Extended Subspace Error Localization for Rate-Adaptive Distributed Source Coding
提出了一种基于离散傅立叶变换（DFT）码的速率自适应分布式信源编码（DSC）方法。删余DFT码可用于实现码率自适应信源编码，但由于子空间误差定位性能严重下降，即使在适度删余后，其性能也很差。所提出的基于子空间的错误定位扩展和改进了现有的一个，基于额外的伴随式，自然是适合于速率自适应分布式信源编码架构。
2013-06-27 cs.IT math.IT
Distributed Successive Approximation Coding using Broadcast Advantage: The Two-Encoder Case
传统的分布式信源编码很少考虑独立编码器之间可能存在的链路。然而，在传感器网络中的无线通信的广播性质提供了一个免费的八卦机制，可以用来简化编码/解码和降低传输功率。利用这种广播的优势，我们提出了一个新的两个编码器的方案，模仿乒乓球比赛，并具有逐次逼近结构。对于二次高斯情形，我们证明了该方案在{和率，失真对}曲面上是连续可加细的，该曲面的特征在于分布式双编码器信源编码的率失真区域.一个潜在的能量节省传统的分布式编码也示出。该乒乓分布式编码思想可以推广到多编码器的情况，为无线场景下一类新的分布式图像编码方法提供了理论基础。
2010-10-18 cs.IT math.IT
Distributed Arithmetic Coding for the Asymmetric Slepian-Wolf problem
分布式信源编码方案通常基于使用信道码作为信源码。在本文中，我们提出了一个新的范例，称为“分布式算术编码”，它利用了这样一个事实，即算术码是良好的源代码以及信道代码。特别是，我们提出了一个分布式的二进制算术编码器的Slepian-Wolf编码与解码器侧信息，以及软联合解码器。所提出的方案提供了几个优势，现有的Slepian-Wolf编码器，特别是其良好的性能，在小块长度，并能够将任意源模型的编码过程中，例如，基于上下文的统计模型。我们将分布式算术编码与Turbo码和低密度校验码的性能进行了比较，发现所提出的方法具有很强的竞争力。
2008-11-11 cs.IT math.IT
Distributed Multilevel Diversity Coding
在分布式多级分集编码中，以分布式方式对$K$相关源（每个具有$K$分量）进行编码，使得在给定来自任何$α$编码器的输出的情况下，解码器可以重构每个对应$α$源的第一$α$分量。对于这个问题，多层Slepian-Wolf编码方案的最优性的基础上合并和叠加建立时，$K\leq 3$。在一定的对称性条件下，对一般的$K$也得到了同样的结论，推广了Yeung和Zhang的一个著名结果.
2015-04-30 cs.IT math.IT
Successive Wyner-Ziv Coding Scheme and its Application to the Quadratic Gaussian CEO Problem
我们介绍了一种分布式信源编码方案，称为连续Wyner-Ziv编码。我们表明，在二次高斯CEO问题的速率区域中的任何点可以通过连续的Wyner-Ziv编码来实现。将单个信源编码中的连续细化的概念推广到分布式信源编码场景，我们称之为分布式连续细化。对于二次高斯CEO问题，我们建立了一个分布式连续细化的充分必要条件，连续Wyner-Ziv编码方案起着重要的作用。
2006-04-19 cs.IT math.IT
On a Duality Between Recoverable Distributed Storage and Index Coding
在本文中，我们介绍了一个模型的单故障本地可恢复的分布式存储系统。这个模型似乎引起了一个问题，似乎双重的研究良好的索引编码问题。本文建立了模型的最优索引码和最优分布存储码的维数之间的关系。我们还展示了向量码的一些扩展。
2014-03-10 cs.IT math.IT
Lattice-based Robust Distributed Source Coding
在本文中，我们提出了一个基于格的鲁棒分布式信源编码系统的两个相关的来源，并提供了详细的性能分析下的高分辨率的假设。它示出，除其他事项外，在渐近制度，其中1）侧失真接近0和2）的中心和侧失真之间的比率接近0，我们的计划是能够实现的二次多描述编码的信息理论极限时，两个源是相同的，而Chen和Berger的具有高斯码的随机编码方案的变体相对于该限制具有0.5比特的性能损失。
2018-10-03 cs.IT math.IT
Optimization-based Block Coordinate Gradient Coding for Mitigating Partial Stragglers in Distributed Learning
Shanghai Jiao Tong University（上海交通大学）
针对分布式学习中部分掉队者导致不完整计算无法利用的问题，提出块坐标梯度编码及低复杂度优化算法，以最小化预期运行时间并最大化完成概率。
2023-02-04 cs.IT cs.LG math.IT
A Distributed Differential Space-Time Coding Scheme With Analog Network Coding in Two-Way Relay Networks
在本文中，我们考虑一般的双向中继网络（TWRN）的两个源和N个中继节点。提出了一种基于模拟网络编码的分布式差分空时编码（DDSTC-ANC）方案。一个简单的盲估计和差分信号检测器的开发，以恢复所需的信号在每个源。分析了DDSTC-ANC方案的成对错误概率（PEP）和块出错率（BLER）。导出了精确的和简化的PEP表达式。为了提高系统性能，在简化的PEP表达式的基础上，确定源节点和中继节点之间的最优功率分配（OPA）。通过仿真验证了分析结果。
2013-12-15 cs.IT math.IT
Enhanced Mobile Digital Video Broadcasting with Distributed Space-Time Coding
本文研究了未来数字视频广播--下一代手持设备（DVB-NGH）标准的分布式空时编码方案。我们首先从理论上证明了分布式MIMO方案是信道容量方面的最佳广播方案。因此，我们评估了几个ST编码建议的DVB-NGH与实际的系统规格和信道条件的性能。仿真结果表明，3D码是最好的ST编码解决方案的广播在分布式MIMO场景。
2012-12-11 cs.IT cs.MM math.IT
Embedded Index Coding
受分布式存储和分布式计算应用的启发，我们引入了嵌入式索引编码（EIC）。EIC是一种分布式索引编码，其中分布式系统中的节点既充当信息的发送者又充当信息的接收者。我们展示了嵌入式索引编码是如何与一般的索引编码相关的，并给出了最优嵌入式索引码的通信代价的刻画和界。我们还定义了基于任务的EIC，其中每个发送节点独立于其他节点编码和发送数据块。基于任务的EIC在计算上更易处理，并且在分布式存储等应用中具有优势，其中，多个EIC可以在不同的时间完成它们的广播。最后，我们给出了近似最优嵌入式索引代码的启发式算法，并实证证明这些算法表现良好。
2019-10-30 cs.IT math.IT
Distributed Joint Source-Channel Coding for Functions over a Multiple Access Channel
在本文中，我们提供了相关数据的功能在多址信道（MAC）的有损传输的充分条件。所得的条件可作为Yamamoto结果的推广.我们还获得了有效的联合信源-信道编码方案，用于传输离散和连续字母表信源以恢复函数值。关键词：联合信源-信道编码，图着色，Lipschitz函数，相关信源.
2009-08-09 cs.IT math.IT
Optimization of zero-delay mappings for distributed coding by deterministic annealing
本文研究了在网络环境中，涉及分布式编码的零延迟模拟映射的优化。成本表面是已知的非凸的，并且已知的贪婪方法倾向于陷入在很大程度上依赖于初始化的差的局部最优解。我们得出一个优化算法的基础上的原则，“确定性退火”，一个强大的全局优化框架，已成功地应用于多个学科，包括在我们最近的工作，一个简单的零延迟模拟通信问题。我们证明了严格的优越性下降为基础的方法，以及目前的例子映射的属性提供见解的解决方案和数字分布式编码的关系的工作。
2013-12-03 cs.IT math.IT
Polar Coded Quantization for Distributed Source Coding
Technical University of Munich（慕尼黑工业大学）；Huawei Technologies Duesseldorf GmbH（华为技术有限公司杜塞尔多夫分公司）；Technion—Israel Institute of Technology（以色列理工学院）
本文提出极化编码量化用于高斯源分布式源编码，通过均方误差失真实现，设计短块长多级5G极化码以实现Wyner-Ziv极化编码量化，显著降低总失真。
2026-04-20 cs.IT math.IT
Capacity Theorems for Distributed Index Coding
在索引编码中，服务器向其相应的接收器广播多个消息，每个消息具有可以用于减少来自服务器的通信量的一些辅助信息。分布式索引编码是索引编码的扩展，其中消息从多个服务器广播，每个服务器存储消息的不同子集。本文针对一般的分布式索引编码问题，研究了消息速率和服务器广播速率之间的最优折衷，即容量域。建立了容量区域的内界和外界，所有218个非同构四消息问题具有匹配的和率，从服务器到接收器的所有链路具有相等的链路容量。建议的内界是建立在一个分布式的复合编码方案，通过将更灵活的解码配置和增强的分数速率分配到两阶段的复合编码，最初是为集中式索引编码的计划，优于现有的计划。建议的外边界是建立在polymatroidal公理的熵，以及功能的依赖，如$\rm{fd}$分离引入的多服务器的性质的问题。该外部边界利用具有不同粒度级别的服务器的一般分组，这允许在计算复杂性和边界的紧密性之间的自然折衷，并且包括并改进了用于分布式索引编码的所有现有外部边界。建议的内部和外部边界的具体功能，通过具体的例子与四个或五个消息。
2020-04-05 cs.IT math.IT
A Training based Distributed Non-Coherent Space-Time Coding Strategy
酉空时调制是在非相干多输入多输出（MIMO）信道上进行通信的有效手段。在这封信中，差分酉空时编码和非相干空时编码的训练为基础的方法，金和Tarokh的解决。对于这种方法，多组可解码的必要条件和充分条件推导出一个简单的方式假设一个广义似然比测试接收机和一个酉码本。扩展Kim和Tarokh的共址MIMO系统的方法，提出了一种新的基于训练的无线中继网络分布式非相干空时编码方法。提出了一种两组可解码分布式非相干空时码的显式构造方法，该方法在所有偶数个中继节点上实现完全协作分集。
2007-07-13 cs.IT math.IT
Variable-Rate Distributed Source Coding in the Presence of Byzantine Sensors
分布式信源编码问题被认为是当传感器，或编码器，是拜占庭攻击，也就是说，一个未知数量的传感器已被重新编程的恶意入侵者破坏的融合中心的重建。三种不同形式的问题被认为是。第一种是可变速率设置，其中解码器自适应地选择传感器传输的速率。可变速率的最小可实现的和速率的一个明确的表征陈述，给出的最大熵的分布的集合，从真正的源分布的解码器无法区分。此外，两种形式的固定速率的问题被认为是，一个与确定性编码和随机编码。可实现的速率区域给出了这两个问题，一个更大的区域可实现使用随机编码，但都是次优的可变速率编码相比。
2007-05-07 cs.IT math.IT
Task-Aware Network Coding Over Butterfly Network
Cornell University（康奈尔大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
网络编码允许诸如传感器的分布式信息源有效地压缩数据并将数据传输到带宽受限的网络上的分布式接收器。经典的网络编码在很大程度上是任务不可知的-编码方案主要旨在在接收器处忠实地重建数据，而不管接收到的数据用于什么最终任务。在本文中，我们分析了一个新的任务驱动的网络编码问题，分布式接收器通过机器学习（ML）任务，这提供了一个机会，以提高效率，通过传输显着的任务相关的数据表示传输数据。具体来说，我们制定了一个任务感知的网络编码问题在实坐标空间中的蝴蝶网络，通过主成分分析（PCA）的有损模拟压缩可以应用。给出了该问题的总损失函数的一个下界，并给出了达到该下界的充分必要条件。在一般情况下，我们引入ML算法来解决这个问题，我们的评估表明了任务感知网络编码的有效性。
2022-11-01 cs.IT cs.LG math.IT
Distributed Joint Source and Channel Coding with Low-Density Parity-Check Codes
研究了基于奇偶校验的低密度奇偶校验码（LDPC码）在分布式联合信源信道编码中的应用。基于奇偶校验的方法是理论上可实现的极限。不同的边缘度分布用于源变量节点和奇偶变量节点。特别地，针对非对称无记忆信道中的非对称相关非均匀信源，提出了码字平均密度演化算法（CADE）。大量的仿真结果表明，可变节点的分裂可以提高次优码的编码效率，降低错误平层。
2014-04-08 cs.IT math.IT
LAGC: Lazily Aggregated Gradient Coding for Straggler-Tolerant and Communication-Efficient Distributed Learning
参数服务器（PS）计算架构中基于代理的分布式学习会受到由于离散工作节点而导致的随机延迟以及PS和工作节点之间可能的通信瓶颈的影响。最近已经提出了基于梯度编码、工人分组和自适应工人选择的思想来单独解决这些损伤的解决方案。本文提供了一个统一的分析这些技术的挂钟时间，通信和计算复杂性的措施。此外，为了结合梯度编码和分组的好处，在鲁棒性的落伍者与通信和计算负载增益的自适应选择，新的战略，命名为懒惰聚合梯度编码（LAGC）和分组LAG（G-LAG），介绍。分析和结果表明，G-LAG提供了最好的挂钟时间和通信性能，同时保持了较低的计算成本，两个代表性分布的计算时间的工作节点。
2020-04-08 cs.IT cs.LG eess.SP
Distributed Source Coding Using Constrained-Random-Number Generators
针对 Jana 和 Blahut 提出的通用分布式无损/有损信源编码问题，本文利用熵函数刻画其多字符率失真区域，并基于受限随机数生成器构造编码证明可实现性。
2024-07-04 cs.IT math.IT
A New Data Processing Inequality and Its Applications in Distributed Source and Channel Coding
在相关信源的分布式编码中，出现了描述一对随机变量的联合概率分布的问题。这个问题的精确解是难以解决的。在本文中，我们寻求一个单字母的必要条件，这n-字母马尔可夫链。为此，我们提出了一个新的数据处理不等式的一个新的相关性的措施，通过谱分析。基于这一新的数据处理不等式，我们提供了所需的联合概率分布的一个单字母的必要条件。我们将我们的结果应用到两个具体的例子，涉及相关源的分布式编码：多终端率失真区域和多址信道与相关源，并提出了新的必要条件，这两个问题。
2006-11-03 cs.IT math.IT
Quantum Hyperdense Coding for Distributed Communications
超密集编码证明了纠缠辅助的量子通信与经典系统相比可以提高数据传输速率。它允许在双方之间发送2个经典比特，以交换1个量子比特和一个预先共享的纠缠贝尔对。本文介绍了一种新的分布式通信协议。使用一个预共享的纠缠Bell对和1个经典比特2，平均可以传输5个经典比特。这不仅意味着容量的增加，而且双向分布式操作开辟了新的研究领域。
2012-10-10 cs.IT math.IT quant-ph
Successive Approximation Coding for Distributed Matrix Multiplication
编码分布式计算是近年来提出的一种用于减轻离散节点对分布式计算的影响的计算方法。本文将近似计算与编码计算相结合，进一步提高计算速度。我们提出了逐次逼近编码（SAC）技术，实现了准确性和速度之间的权衡，允许的分布式计算系统产生的近似，随着时间的推移增加的准确性。如果有足够数量的计算节点完成了它们的任务，SAC会准确地恢复所需的计算。我们从理论上为我们的SAC技术提供了设计指导方针，数值计算表明，SAC实现了更好的精度-速度的权衡与以前的方法相比。
2022-01-10 cs.DC cs.IT math.IT
Practical Short-Length Coding Schemes for Binary Distributed Hypothesis Testing
针对分布式假设检验缺乏可实现编码方案的问题，本文基于短长度二元线性分组码设计量化与量化—分箱方案，并给出两类错误概率的精确表达式。
2024-05-13 cs.IT math.IT
Stochastic Gradient Coding for Straggler Mitigation in Distributed Learning
我们考虑离散点存在的分布式梯度下降。最近对\em梯度编码\em和\em近似梯度编码\em的研究表明，如何在分布式梯度下降中添加冗余，以保证收敛，即使有些工作者是\em落后者\em --也就是说，缓慢或无响应。在这项工作中，我们提出了一个近似的梯度编码方案称为\em随机梯度编码\em（SGC），它的工作时，掉队者是随机的。SGC根据成对平衡设计将数据点冗余地分发给工作者，然后简单地忽略落伍者。我们证明了SGC的收敛速度反映了批量随机梯度下降（SGD）的$\ell_2$损失函数，并显示如何收敛速度可以提高冗余。我们还提供了更一般的凸损失函数的界限。我们的经验表明，SGC需要少量的冗余来处理大量的掉队者，并且当掉队者的数量很大时，它可以优于现有的近似梯度码。
2019-05-14 cs.IT math.IT
Lossless coding for distributed streaming sources
分布式信源编码传统上是在分组编码上下文中看待的--所有的信源符号在编码器处都是预先已知的。相反，本文考虑流设置，其中iid源符号对被实时的揭示给单独的编码器，并且需要在解码器处使用有限速率无噪声信道以一定的可容忍的端到端延迟进行重构。一个顺序的随机装箱参数是用来推导出一个下界的误差指数与延迟，并显示ML解码和通用解码实现相同的正误差指数内的传统Slepian-Wolf率区域。错误事件与块编码错误事件不同，并且引起略微不同的指数。由于顺序随机分箱方案在延迟上也是通用的，因此所得代码最终以概率1正确地重建每个源符号。
2006-10-25 cs.IT math.IT
ErasureHead: Distributed Gradient Descent without Delays Using Approximate Gradient Coding
UW–Madison（威斯康星大学麦迪逊分校）
我们提出了ErasureHead，一种新的分布式梯度下降（GD）的方法，采用近似梯度编码，减轻系统延迟。梯度编码的分布式GD使用冗余来从计算节点的子集在每次迭代时精确地恢复梯度。相反，ErasureHead使用近似梯度代码在每次迭代时恢复不精确的梯度，但具有更高的延迟容忍度。与以前的工作梯度编码，我们提供了一个性能分析，结合延迟和收敛保证。我们建立了一个小的噪声本底，ErasureHead收敛速度一样快，分布式GD，并具有更快的整体运行时间下的概率延迟模型。我们在真实世界的数据集和分布式集群上进行了广泛的实验，并证明了我们的方法可以导致显着的加速比标准和梯度编码的GD。
2019-01-28 cs.DC cs.IT cs.LG
Election Coding for Distributed Learning: Protecting SignSGD against Byzantine Attacks
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
大规模分布式学习算法的最新进展已经通过SignSGD实现了通信高效的训练。不幸的是，一个主要的问题仍然困扰着分布式学习：即拜占庭式的失败可能会导致学习精度的严重下降。本文提出了选举编码，一个编码理论框架，以保证拜占庭鲁棒性的SignSGD与多数表决，它使用最少的工人主通信在两个方向。建议的框架探讨了新的信息理论的限制，找到大多数人的意见时，一些工人可能是恶意的，并铺平了道路，实现强大而高效的分布式学习算法。在这个框架下，我们构建了两种类型的显式代码，随机伯努利码和确定性代数码，可以容忍拜占庭攻击与控制量的计算冗余。对于Bernoulli码，我们提供了估计多数意见的错误概率的上界，这为容忍拜占庭攻击的代码设计提供了有用的见解。至于确定性的代码，我们构造了一个明确的代码，完全容忍拜占庭，并提供严格的上/下界上所需的最小计算冗余。最后，通过使用Python和MPI 4py包在Amazon EC2上进行的深度学习实验，证实了建议的编码方案的拜占庭容忍度。
2020-10-24 cs.DC cs.IT cs.LG
Three Stories on a Two-sided Coin: Index Coding, Locally Recoverable Distributed Storage, and Guessing Games on Graphs
三个科学和工程问题最近的利益-索引编码，本地可恢复的分布式存储，和猜测游戏的图形-进行了讨论，并阐明其最佳解决方案之间的连接。通过推广Shanmugam和Dimakis以及Mazumdar关于有向图上的索引编码问题的最优广播速率与同一图上的局部可恢复分布式存储问题的归一化速率之间的互补性的最新结果，证明了这两个问题的容量区域和最优速率区域是互补的.建立这一结果的主要成分是Alon等人（2008）引入的混淆图的概念，混淆图的顶点传递性，通过混淆图的分数色数表征索引编码容量区域，以及通过混淆图的独立数表征局部可恢复分布式存储的最佳速率区域。作为互补性的第三个也是最后一个方面，Riis在图上的猜测游戏被讨论为局部可恢复分布式存储问题的特殊情况，并且表明猜测游戏的最优策略的获胜概率以及最优策略和随机猜测的获胜概率之间的比率可以分别被表征，通过索引编码的容量区域和分布式存储的最佳速率区域。
2015-11-03 cs.IT math.IT
Distributed Soft Coding with a Soft Input Soft Output (SISO) Relay Encoder in Parallel Relay Channels
在本文中，我们提出了一种新的分布式编码结构与软输入软输出（SISO）中继编码器的易出错的并行中继信道。我们称之为分布式软编码（DISC）。在所提出的方案中，每个中继首先使用接收到的噪声信号来计算源符号的软比特估计（SBE）。设计了一种简单的SISO编码器，基于组成代码生成器矩阵对信源符号的SBE进行编码。SISO编码器在不同中继器处的输出然后被转发到目的地并且形成分布式码字。分析了该方案的性能。它表明，它的性能是由生成序列重量（GSW）的中继组成码，其中GSW的组成码被定义为在其生成序列中的1的数量。在此基础上，提出了一种新的编码设计准则，用于对所有继电器的组成码进行最优分配。仿真结果表明，与传统的软信息中继相比，DISC能有效地避免传统的检测转发（DF）中继重编码中由于解码错误而导致的错误传播，并能带来可观的编码增益。
2013-07-22 cs.IT math.IT
Distributed Joint Source-Channel Coding on a Multiple Access Channel with Side Information
我们考虑多个分布式信源在多址接入信道（MAC）上的传输问题，在信源和解码器处具有边信息。源-通道分离不适用于此通道。给出了具有给定畸变的信源传输的充分条件。源和/或信道可以具有连续的字母表（因此高斯源和高斯MAC是特殊情况）。作为特例得到了以前的各种结果。我们还提供了几个很好的联合信源-信道编码方案，用于离散/连续信源和离散/连续字母信道。信道反馈和衰落也被认为是。关键词：多址信道，边信息，有损联合信源-信道编码，反馈信道，衰落信道.
2008-03-10 cs.IT math.IT
On Model Coding for Distributed Inference and Transmission in Mobile Edge Computing Systems
考虑移动边缘计算系统，其中用户希望获得对本地测量的输入数据的线性推断操作的结果。与卸载的输入数据不同，模型权重矩阵分布在无线边缘节点（EN）上。EN具有不确定的计算时间，并且它们可以协作地将任何共享的计算输出传输回用户。这封信研究了在EN存储之前对模型信息进行编码所获得的潜在优势。通过信息理论的分析，它的结论是，虽然一般限制合作的机会，编码是有助于减少整体计算加通信延迟。
2019-04-11 cs.IT eess.SP math.IT
Distributed Source Coding for Correlated Memoryless Gaussian Sources
本文研究了$L$相关高斯观测值$Y_i, i=1,2,...,L$的分布式信源编码问题。我们假设随机向量$Y^{L}={}^{\rm t} (Y_1,Y_2,$ $...,Y_L)$是高斯随机向量$X^K={}^{\rm t}(X_1,X_2,...,X_K)$的观测值，具有形式$Y^L=AX^K+N^L ,$，其中$A$是$L\times K$矩阵，而$N^L={}^{\rm t}(N_1,N_2,...,N_L)$是$L$独立的高斯随机变量的向量，也独立于$X^K$。$X^K$上的估计误差由失真协方差矩阵来测量。率失真区域是由一组所有的速率矢量定义的，对于这些速率矢量，在半正定的意义下，估计误差的上界是由任意指定的协方差矩阵限定的。在本文中，我们推导出明确的外部和内部边界的率失真区域。这一结果为研究这种高斯分布信源编码系统的直接和间接信源编码问题提供了一个有用的工具，而这一问题目前还没有得到解决。
2010-01-13 cs.IT math.IT
Straggler-resistant distributed matrix computation via coding theory
当前的大数据时代通常需要在大规模分布式计算集群上处理大规模数据。这样的大规模集群经常遭受“掉队者”的问题，这被定义为缓慢或失败的节点。在这些集群上的计算作业的总体速度通常由掉队者主导，在没有复杂的任务分配给工作节点的情况下。近年来，基于编码理论的方法（称为“编码计算”）已被有效地用于离散抑制。编码计算为特定类别的问题提供了显着的好处，例如分布式矩阵计算（在机器学习管道的几个部分中起着至关重要的作用）。其基本思想是创建冗余任务，以便只要一定数量的工作节点完成其任务，就可以恢复所需的结果。在这篇调查文章中，我们概述了离散弹性分布式矩阵计算编码领域的最新进展。
2020-02-10 cs.IT math.IT
Energy Efficient Distributed Coding for Data Collection in a Noisy Sparse Network
我们考虑的问题，数据汇集在一个两层网络组成的（1）之间的$N$分布式代理和一个远程汇聚节点的链接;（2）稀疏网络形成的这些分布式代理。我们研究了智能体通信对整体能量消耗的影响。尽管代理之间的稀疏连接，我们提供了一个网络编码方案，减少了整体能源消耗的一个因素相比，一个天真的计划，忽略了智能体通信的$Θ(\log N)$。通过提供下界的能量消耗和稀疏（链接数）的网络，我们表明，是能量最优的，除了一个因素的$Θ(\log\log N)$。该方案扩展了Gallager以前的工作，从一个完整的图到稀疏图的噪声广播，同时带来了新的技术，从错误控制编码和噪声电路。
2016-01-22 cs.IT math.IT
Differential Distributed Space-Time Coding with Imperfect Synchronization
差分分布式空时编码（D-DSTC）被认为是在信道信息缺失的情况下提高协作通信系统分集度和数据速率的有效方法。然而，传统上，假设中继在符号级完全同步。在实践中，由于中继网络的分布式特性，这个假设很容易被违反。本文提出了一种新的差分编码和解码过程中的D-DSTC系统的两个继电器。所提出的方法是强大的同步错误，并不需要在目的地的任何信道信息。此外，最大可能的多样性和符号的符号解码。仿真结果表明，所提出的方法的性能，各种同步误差和事实，我们的算法是不敏感的同步误差。
2014-07-24 cs.IT math.IT
Adaptive Delay-Tolerant Distributed Space-Time Coding Based on Adjustable Code Matrices for Cooperative MIMO Relaying Systems
针对两跳协作MIMO网络，提出了一种利用反馈的自适应时延容忍分布式空时编码（DSTC）方案。最大似然（ML）接收机和可调码矩阵被认为是受功率约束的解码和转发（DF）合作策略。在所提出的延迟容忍DSTC方案中，中继节点采用可调的编码矩阵对空时编码矩阵进行变换。最小二乘（LS）算法被开发成具有降低的计算复杂性以调整码的参数。仿真结果表明，所提出的算法获得显着的性能增益和解决的延迟问题，合作MIMO系统相比，现有的延迟容忍DSTC计划。
2014-05-19 cs.IT math.IT
Hierarchical Coding for Distributed Computing
为分布式计算编码通过减轻分散工作人员的负担来支持低延迟计算。虽然大多数现有的作品假设一个简单的主-工人模型，我们认为一个层次化的计算结构，由工人组，动机是需要反映现实世界的分布式计算系统的架构。在这项工作中，我们提出了一个分层编码方案，该模型，以及分析其解码成本和预期的计算时间。具体来说，我们首先提供上界和下界所提出的计划的预期计算时间。我们还表明，我们的计划，使高效的并行解码，从而降低解码成本的数量级超过非层次的计划。当同时考虑解码成本和计算时间时，所提出的分层编码在许多实际场景中表现出优于现有方案。
2018-01-15 cs.DC cs.IT math.IT
Distributed Hypothesis Testing with Variable-Length Coding
本文研究了传感器-检测器链路的\emph{expected}速率受限时分布式假设独立性检验问题的最优第二类误差指数。与著名的Ahlswede-Csiszar结果不同，该结果在\emph{maximum}速率约束下成立，并且其中强逆成立，这里的最优指数取决于允许的I型误差指数。具体地，如果类型I错误概率受$ε$限制，则在\emph{expected}速率约束$R$下的最优类型II错误指数与在$(1-ε)R$的\emph{maximum}速率约束下的最优类型II错误指数一致。
2019-10-18 cs.IT math.IT
Adaptive Randomized Distributed Space-Time Coding in Cooperative MIMO Relay Systems
提出了一种适用于两跳协作MIMO网络的自适应随机分布式空时编码（DSTC）方案和算法。线性最小均方误差（MMSE）接收机和放大和转发（AF）的合作策略。在所提出的DSTC方案中，通过反馈信道获得的随机化矩阵被用来在中继节点处对空时编码矩阵进行变换。设计了线性MMSE表达式来计算自适应随机化矩阵和线性接收滤波器的参数。本文还提出了一种计算自适应随机化矩阵参数的随机梯度算法，降低了计算复杂性。我们还推导出了一个合作的MIMO系统采用随机空时编码方案的错误概率的上限。仿真结果表明，所提出的算法获得显着的性能增益相比，现有的DSTC计划。
2013-03-17 cs.IT math.IT
A Fully Distributed Opportunistic Network Coding Scheme for Cellular Relay Networks
在本文中，我们提出了一种蜂窝中继网络中的机会网络编码（ONC）方案，它的操作取决于中继是否成功解码源消息。提出了一种完全分布式的方法来实现所提出的机会网络编码方案，而不需要任何反馈之间的两个网络节点。我们考虑使用建议的ONC蜂窝下行链路传输，并推导出其封闭形式的中断概率表达式，考虑同信道干扰在瑞利衰落环境中。数值结果表明，所提出的ONC方案优于传统的非合作中断概率。我们还开发了建议ONC的分集复用权衡（DMT），并表明ONC方案获得了充分的多样性和增加的复用增益相比，传统的合作协议。
2013-01-31 cs.IT math.IT
Rate and power allocation under the pairwise distributed source coding constraint
研究了在成对分布式信源编码约束下传感器网络的速率和功率分配问题。对于无噪声的源-终端信道，我们表明，最小和速率分配可以通过找到一个最小的重量树形在一个适当定义的有向图。对于正交噪声源-终端信道，最小和功率分配可以通过在混合图中找到最小权重匹配森林来找到。数值结果表明，我们的解决方案总是优于以前提出的解决方案。当源相关性高时，增益是相当可观的。
2009-06-09 cs.IT math.IT
Multi-Version Coding - An Information Theoretic Perspective of Consistent Distributed Storage
在分布式存储系统到分布式计算的应用和键值存储的实现中，以下属性（通常在计算机科学和工程中被称为一致性）是重要的要求：随着存储的数据改变，数据的最新版本必须可由连接到存储系统的客户端访问。为了研究一致性分布式存储系统的存储代价，本文引入了一种信息论的多版本编码方法。多版本编码的特征在于消息的ν个全序版本和具有n个服务器的存储系统。在每个服务器处，接收并编码对应于v个版本的任意子集的值。对于存储系统中的c服务器的任何子集，与c服务器中的最新公共版本或根据总排序的更高版本相对应的值需要是可解码的。通过线性编码和一个相反的结果，表明该结构是近似紧的，提供了一个可实现的多版本码的结构。相反的含义是，在存储成本方面，为了确保分布式存储系统的一致性，存在不可避免的代价。
2015-10-19 cs.IT math.IT
Distributed MIMO coding scheme with low decoding complexity for future mobile TV broadcasting
提出了一种新的用于下一代移动电视广播的分布式空时分组码。新码在宽范围的功率不平衡内提供高效的性能，显示出对单频网络（SFN）广播部署的强适应性。新的代码优于现有的空时分组码具有相同的解码复杂度和接近那些更高的复杂度。
2012-12-11 cs.IT cs.NI math.IT
On Optimal Distributed Joint Source-Channel Coding for Correlated Gaussian Sources over Gaussian Channels
本文研究了高斯多址接入信道（GMAC）上相关高斯信源的分布式联合信源-信道编码问题。在解码器和/或编码器处可以存在边信息。首先，我们专门一个一般的结果（在MAC与边信息的相关源的传输），以获得足够的条件，在高斯MAC的可靠传输。该系统不满足信源信道分离。本文研究并比较了现有的三种信源-信道编码联合编码方案.我们表明，这些计划是最佳的，在不同的情况下。放大转发（AF）方案简化了编解码器的设计，但在低信噪比下是最优的，而在高信噪比下不是。另一种方案在高信噪比下是渐近最优的。第三种编码方案对于正交高斯信道是最佳的。我们还表明，AF是接近正交信道的最佳方案，即使在高信噪比。
2009-05-14 cs.IT math.IT
Distributed source coding in dense sensor networks
我们研究了在[0，1]中定义的高斯场的重建问题，使用以规则间隔部署的N个传感器。目标是量化具有给定均方失真的场的重建所需的总数据率。我们考虑一类两阶段机制，a）发送信息，以允许在足够的精度内重建传感器的样本，然后b）使用这些重建来估计整个字段。为了实现第一阶段，传感器样本之间的重相关性建议使用分布式编码方案来降低总速率。我们证明了一个分布式块编码方案的存在，实现了，对于一个给定的保真度标准重建的字段，总的信息率，是有界的一个常数，独立的传感器的数量$N$。该常数通常取决于场的自相关函数和传感器样本的期望失真标准。然后，我们描述了一个方案，可以实现仅使用标量量化器在传感器，而不使用任何分布式信源编码，也实现了总的信息速率是一个常数，独立的传感器的数量。虽然该方案的工作速率大于通过分布式编码实现的速率，并且需要更大的重建延迟，但其简单性使其在传感器网络中的实现具有吸引力。
2007-10-22 cs.IT math.IT
Coding for Distributed Fog Computing
Reddit在Fog网络中非常丰富（即，许多计算和存储点）并且随着网络规模线性增长。我们展示了编码在雾计算中的转型作用，以利用这种冗余来大幅降低计算的带宽消耗和延迟。特别是，我们讨论了两个最近提出的编码概念，即最小带宽码和最小延迟码，并说明其在雾计算的影响。我们还审查了一个统一的编码框架，其中包括上述两种编码技术的特殊情况下，并使计算延迟和通信负载之间的权衡，以优化系统性能。最后，我们将讨论几个开放的问题和未来的研究方向。
2017-02-20 cs.DC cs.IT math.IT
Weighted Gradient Coding with Leverage Score Sampling
机器学习的一个主要障碍是对大规模数据集的可扩展性。克服这一障碍的方法包括压缩数据矩阵和分布计算。\textit{Leverage score sampling}使用重要性加权子集提供数据矩阵的压缩近似。\textit{Gradient coding}最近已经在分布式优化中被提出来使用多个不可靠的工作节点来计算梯度。通过设计编码矩阵，可以使梯度编码计算对离散者有弹性，离散者是分布式网络中降低系统性能的节点。我们提出了一种新的\textit{weighted leverage score}方法，通过利用重要性采样来实现分布式梯度编码的改进性能。
2020-09-15 cs.IT math.IT
Faithful Simulation of Distributed Quantum Measurement with Coding for Computing
本文研究分布式量子测量模拟问题，提出在经典信道和共享随机性下忠实模拟联合测量所需的最小通信量，并推导了可达速率区域。
2025-06-21 cs.IT math.IT
Secure Distributed Storage: Rate-Privacy Trade-Off and XOR-Based Coding Scheme
我们考虑的问题，以分布式的方式存储数据在$T$服务器。我们要求数据（i）可从$T$服务器恢复，以及（ii）对任何$T-1$串通服务器保持私密性，其中隐私根据数据与$T-1$串通服务器上可用的所有信息之间的互信息进行量化。对于这个模型，我们确定（i）存储大小和所需隐私级别之间的基本权衡，（ii）编码器处所需的局部随机性的最佳量，以及（iii）仅依赖于XOR运算并且渐进地（与数据大小）匹配所发现的基本限制的显式低复杂度编码方案。
2020-05-28 cs.IT math.IT
Efficient File Synchronization: a Distributed Source Coding Approach
在分布式信源编码框架下，研究了在解码器边信息与信源不同步的情况下重构信源序列的问题。出于实际应用的需要，我们假设删除过程是突发的，并用马尔可夫链来建模。以高概率重构源序列所需的最小速率的特征在于在信息理论表达式方面，其被解释为删除内容的信息量和删除的位置，减去“自然的秘密”，即，给定源和边信息的位置的不确定性。对于小的突发删除概率，计算了最小速率的渐近展开。
2011-07-22 cs.IT math.IT
