A Low Latency Adaptive Coding Spiking Framework for Deep Reinforcement Learning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；College of Computer Science, Zhejiang University of Technology（浙江工业大学计算机学院）；Zhejiang Lab（之江实验室）
针对脉冲强化学习高延迟和通用性差的问题，提出使用可学习矩阵乘法编解码脉冲并结合直接训练方法的低延迟自适应编码框架，在多种环境中实现了超低延迟与高能效的最优性能。
2024-04-24 cs.AI cs.LG cs.NE
Distributed Deep Reinforcement Learning: A Survey and A Multi-Player Multi-Agent Learning Toolbox
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）
本文综述分布式深度强化学习方法与关键组件，并开发发布一个多玩家多智能体分布式深度强化学习工具箱，在Wargame环境中验证其可用性，同时展望挑战与未来趋势。
2022-12-01 cs.AI cs.LG cs.MA
Reinforcement Learning for Channel Coding: Learned Bit-Flipping Decoding
New York University（纽约大学）；Chalmers University of Technology（查尔姆斯理工大学）；University of Parma（帕尔马大学）；Duke University（杜克大学）
在本文中，我们使用强化学习来寻找有效的二进制线性码的译码策略。我们首先回顾了几种迭代解码算法，这些算法在每个步骤中都涉及决策过程，包括位翻转（BF）解码，残差置信传播和锚解码。然后，我们说明了如何将这些算法映射到马尔可夫决策过程，允许数据驱动的学习最佳决策策略，而不是基于直觉或直觉的决策。作为一个案例研究，我们认为BF解码的二进制对称和加性高斯白噪声信道。我们的研究结果表明，学习BF解码器可以提供一系列的性能复杂度权衡考虑Reed-Muller和BCH码，并在某些情况下实现接近最佳的性能。我们还展示了学习收敛速度时，偏向正确的解码决策的学习过程，而不是只依赖于随机探索和过去的知识。
2019-08-21 cs.AI cs.IT cs.LG
Reinforce Security: A Model-Free Approach Towards Secure Wiretap Coding
Freie Universität Berlin（柏林自由大学）；Universität Siegen（锡根大学）
由于针对无线通信系统的一般编码和解码任务获得的令人印象深刻的结果，使用基于深度学习的技术来近似安全编码函数在无线通信中引起了相当大的兴趣。特别重要的是开发无模型技术，这些技术在不了解底层信道的情况下工作。这样的技术利用例如生成对抗网络来估计和建模条件信道分布、作为奖励函数的互信息估计、或强化学习。本文研究了强化学习方法，特别是基于神经网络的安全编码的无模型方法的策略梯度方法。先前开发的用于在编码过程中强制执行特定陪集结构的技术可以与最近的强化学习方法相结合。这种新的方法进行了评估，通过广泛的模拟，它表明，由此产生的解码性能的窃听者是在一定的错误水平上限。
2021-06-01 cs.IT cs.LG math.IT
DICOD: Distributed Convolutional Sparse Coding
CMLA, ENS Paris-Saclay, Université Paris-Saclay（巴黎萨克雷高等师范学院、巴黎萨克雷大学数学与应用数学中心）；L2TI, Université Paris 13（巴黎第十三大学信息处理与交互技术实验室）
在本文中，我们介绍了DICOD，卷积稀疏编码算法，建立长信号的移位不变表示。该算法被设计为在分布式环境中运行，具有本地消息传递，使其通信高效。它基于坐标下降，并使用局部贪婪更新，与贪婪坐标选择相比，这加快了分辨率。我们证明了该算法的收敛性，并强调其计算速度是超线性的核数。我们还提供了经验证据，我们的算法相比，国家的最先进的方法的加速性能。
2018-05-13 cs.LG stat.ML
ErasureHead: Distributed Gradient Descent without Delays Using Approximate Gradient Coding
UW–Madison（威斯康星大学麦迪逊分校）
我们提出了ErasureHead，一种新的分布式梯度下降（GD）的方法，采用近似梯度编码，减轻系统延迟。梯度编码的分布式GD使用冗余来从计算节点的子集在每次迭代时精确地恢复梯度。相反，ErasureHead使用近似梯度代码在每次迭代时恢复不精确的梯度，但具有更高的延迟容忍度。与以前的工作梯度编码，我们提供了一个性能分析，结合延迟和收敛保证。我们建立了一个小的噪声本底，ErasureHead收敛速度一样快，分布式GD，并具有更快的整体运行时间下的概率延迟模型。我们在真实世界的数据集和分布式集群上进行了广泛的实验，并证明了我们的方法可以导致显着的加速比标准和梯度编码的GD。
2019-01-28 cs.DC cs.IT cs.LG
Distributed Learning based on 1-Bit Gradient Coding in the Presence of Stragglers
KTH Royal Institute of Technology（瑞典皇家理工学院）
针对分布式学习中落后节点及实值向量传输导致高通信负担的问题，提出基于1比特梯度编码的1-bit GCDL方法，通过传输1比特数据减少开销，并提供了收敛保证，实验证明其在同等通信开销下学习性能更优。
2024-03-19 cs.DC cs.LG
LAGC: Lazily Aggregated Gradient Coding for Straggler-Tolerant and Communication-Efficient Distributed Learning
参数服务器（PS）计算架构中基于代理的分布式学习会受到由于离散工作节点而导致的随机延迟以及PS和工作节点之间可能的通信瓶颈的影响。最近已经提出了基于梯度编码、工人分组和自适应工人选择的思想来单独解决这些损伤的解决方案。本文提供了一个统一的分析这些技术的挂钟时间，通信和计算复杂性的措施。此外，为了结合梯度编码和分组的好处，在鲁棒性的落伍者与通信和计算负载增益的自适应选择，新的战略，命名为懒惰聚合梯度编码（LAGC）和分组LAG（G-LAG），介绍。分析和结果表明，G-LAG提供了最好的挂钟时间和通信性能，同时保持了较低的计算成本，两个代表性分布的计算时间的工作节点。
2020-04-08 cs.IT cs.LG eess.SP
Optimization-based Block Coordinate Gradient Coding for Mitigating Partial Stragglers in Distributed Learning
Shanghai Jiao Tong University（上海交通大学）
针对分布式学习中部分掉队者导致不完整计算无法利用的问题，提出块坐标梯度编码及低复杂度优化算法，以最小化预期运行时间并最大化完成概率。
2023-02-04 cs.IT cs.LG math.IT
Approximate Gradient Coding for Distributed Learning with Heterogeneous Stragglers
Korea Advanced Institute of Science and Technology School of Electrical Engineering（韩国科学技术院电子工程学院）；Seoul National University Department of Electrical and Computer Engineering（首尔国立大学电气与计算机工程学院）
本文提出一种结构最优的梯度编码方案，通过考虑个体掉队概率并利用凸优化推导闭式解，降低冗余和计算负载，从而缓解分布式学习中的异构掉队者问题，加速收敛。
2025-10-26 cs.LG cs.SY eess.SY
Election Coding for Distributed Learning: Protecting SignSGD against Byzantine Attacks
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
大规模分布式学习算法的最新进展已经通过SignSGD实现了通信高效的训练。不幸的是，一个主要的问题仍然困扰着分布式学习：即拜占庭式的失败可能会导致学习精度的严重下降。本文提出了选举编码，一个编码理论框架，以保证拜占庭鲁棒性的SignSGD与多数表决，它使用最少的工人主通信在两个方向。建议的框架探讨了新的信息理论的限制，找到大多数人的意见时，一些工人可能是恶意的，并铺平了道路，实现强大而高效的分布式学习算法。在这个框架下，我们构建了两种类型的显式代码，随机伯努利码和确定性代数码，可以容忍拜占庭攻击与控制量的计算冗余。对于Bernoulli码，我们提供了估计多数意见的错误概率的上界，这为容忍拜占庭攻击的代码设计提供了有用的见解。至于确定性的代码，我们构造了一个明确的代码，完全容忍拜占庭，并提供严格的上/下界上所需的最小计算冗余。最后，通过使用Python和MPI 4py包在Amazon EC2上进行的深度学习实验，证实了建议的编码方案的拜占庭容忍度。
2020-10-24 cs.DC cs.IT cs.LG
Reinforcement Learning for Out-of-Distribution Reasoning in LLMs: An Empirical Study on Diagnosis-Related Group Coding
School of Computing and Data Science, UIUC（计算与数据科学学院，UIUC）；Mayo Clinic Health System（梅奥诊所健康系统）；Mayo Clinic Rochester（梅奥诊所罗切斯特分部）；Mayo Clinic Phoenix（梅奥诊所凤凰城分部）；Carle Illinois College of Medicine, UIUC（Carle伊利诺伊医学院，UIUC）
本研究提出DRG-Sapphire，利用强化学习（GRPO）从临床笔记自动进行DRG编码，在MIMIC-IV上达到最先进精度，并发现RL性能受限于基础模型知识，扩展SFT比单独扩展RL更有效。
2025-10-14 cs.AI cs.LG
LDMIC: Learning-based Distributed Multi-view Image Coding
The Hong Kong University of Science and Technology（香港科技大学）
本文提出基于学习的分布式多视图图像编码框架LDMIC，通过独立编码和基于交叉注意力的联合上下文传递模块实现联合解码，在快速编码的同时显著优于现有多视图图像编码方法。
2023-04-12 cs.AI cs.CV cs.LG
Task-Aware Network Coding Over Butterfly Network
Cornell University（康奈尔大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
网络编码允许诸如传感器的分布式信息源有效地压缩数据并将数据传输到带宽受限的网络上的分布式接收器。经典的网络编码在很大程度上是任务不可知的-编码方案主要旨在在接收器处忠实地重建数据，而不管接收到的数据用于什么最终任务。在本文中，我们分析了一个新的任务驱动的网络编码问题，分布式接收器通过机器学习（ML）任务，这提供了一个机会，以提高效率，通过传输显着的任务相关的数据表示传输数据。具体来说，我们制定了一个任务感知的网络编码问题在实坐标空间中的蝴蝶网络，通过主成分分析（PCA）的有损模拟压缩可以应用。给出了该问题的总损失函数的一个下界，并给出了达到该下界的充分必要条件。在一般情况下，我们引入ML算法来解决这个问题，我们的评估表明了任务感知网络编码的有效性。
2022-11-01 cs.IT cs.LG math.IT
Erasure coding for distributed matrix multiplication for matrices with bounded entries
Iowa State University（爱荷华州立大学）
分布式矩阵乘法广泛应用于多个科学领域。众所周知，分布式集群上的计算时间通常由最慢的工人（称为掉队者）控制。最近的工作表明，可以被看作是一个问题的设计纠删码的掉队缓解。对于矩阵$\mathbf A$和$\mathbf B$，该技术实质上将$\mathbf A^T \mathbf B$的计算映射到较小（编码）子矩阵的乘法。在这个过程中，掉队者被视为擦除。只要有一定数量的工作者（称为恢复阈值）完成分配给他们的任务，计算就可以完成。我们提出了一种新的编码策略，这个问题时，矩阵项的绝对值是足够小的。我们证明了假设的绝对值边界的矩阵条目和恢复阈值之间的权衡。在一个极端，我们相对于恢复阈值是最优的，在另一个极端，我们匹配先前工作的阈值。基于云的集群上的实验结果验证了我们的方法的好处。
2018-11-07 cs.DC cs.IT cs.LG
Neural Distributed Source Coding
Google DeepMind（谷歌DeepMind）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出基于条件VQ-VAE的神经分布式信源编码框架，摆脱对特定相关结构的依赖并可扩展至高维，在多个数据集上实现最先进PSNR。
2024-07-01 cs.IT cs.LG math.IT
Communication-Efficient Gradient Coding for Straggler Mitigation in Distributed Learning
University of California, Berkeley（加州大学伯克利分校）
基于梯度的方法的分布式实现，其中服务器将梯度计算分布在工作机器上，需要克服两个限制：由称为“掉队者”的缓慢运行的机器引起的延迟，以及通信开销。最近，Ye和Abbe [ICML 2018]提出了一种编码理论范式，以表征每个工作者的计算负载，每个工作者的通信开销和离散容忍之间的基本权衡。然而，他们提出的编码方案遭受沉重的解码复杂度和差的数值稳定性。在本文中，我们开发了一个通信高效的梯度编码框架，以克服这些缺点。我们提出的框架允许使用任何线性码来设计编码和解码功能。当在该框架中使用特定代码时，其块长度决定计算负载，维度决定通信开销，最小距离决定离散容限。选择代码的灵活性允许我们优雅地权衡离散阈值和通信开销，以获得更小的解码复杂度和更高的数值稳定性。此外，我们表明，使用一个随机高斯矩阵在我们的框架中产生的最大距离可分离（MDS）代码的梯度代码，是最佳的权衡，此外，满足更强的保证数值稳定性相比，以前提出的计划。最后，我们在Amazon EC2上评估了我们提出的框架，并证明与之前的梯度编码方案相比，它将平均迭代时间减少了16%。
2020-05-14 cs.DC cs.IT cs.LG
Distributed Deep Joint Source-Channel Coding over a Multiple Access Channel
Imperial College London（帝国理工学院）
针对有限分组长度下分离式信源信道编码次优的问题，提出非正交分布式深度联合信源信道编码图像传输方案，实验证明其在低带宽比下重建图像质量显著优于正交传输方案，并公开了源代码。
2023-03-02 cs.CV cs.IT cs.LG
Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning
University of Maryland（马里兰大学）；Imperial College London（伦敦帝国学院）
分布式实现对于加速大规模机器学习应用至关重要。分布式梯度下降（GD）通过将数据集分布在多个工作者之间来广泛地用于并行化学习任务。分布式同步GD中每次迭代完成时间的一个重要性能瓶颈是$straggling$工作者。编码分布式计算技术最近被引入，以减轻离散和加速GD迭代分配冗余计算的工人。在本文中，我们考虑梯度编码（GC），并提出了一种新的动态GC计划，它分配冗余数据的工人获得的灵活性，动态选择一组可能的代码取决于过去的离散行为。特别是，我们认为GC与聚类，并调节在每个集群中的掉队者的数量，在每次迭代时动态地形成集群，因此，该计划被称为$GC$ $with$ $dynamic$ $clustering$（GC-DC）。在时间相关的离散行为下，GC-DC随着时间的推移从适应离散行为中获益，使得在每次迭代时，GC-DC旨在基于过去的离散行为尽可能均匀地跨集群分布离散者。对于同构和异构的工人模型，我们数值表明，GC-DC提供了显着的改善，在平均每次迭代完成时间没有增加的通信负载相比，原来的GC计划。
2021-03-01 cs.DC cs.IT cs.LG
