Distributed Compression for the Uplink of a Backhaul-Constrained Coordinated Cellular Network
我们考虑回程受限的协调蜂窝网络。也就是说，具有$N+1$多天线基站（BS）的单频网络，所述多天线基站（BS）协作以对用户的数据进行解码，并且借助于有限容量$\mathrm{R}$的公共无损回程来链接。为了实现接收协作，我们提出分布式压缩：$N$ BS在接收到它们的信号时，使用多源有损压缩码来压缩它们。然后，它们将压缩的矢量发送到中央BS，中央BS执行用户的解码。分布式Wyner-Ziv编码建议使用，并在这项工作中进行了优化设计。本文的第一部分是致力于一个网络与一个独特的多天线用户，发送一个预定义的高斯空时码字。对于这样的场景，BS处的压缩码本被优化，考虑用户的可实现速率作为性能度量。特别地，对于$N = 1$，最佳码本分布以封闭形式导出，而对于$N>1$，设计了迭代算法。贡献的第二部分集中在多用户场景上。对于它，可达到的速率区域是通过最佳的压缩码本的和速率和加权和速率，分别获得。
2008-02-06 cs.IT math.IT
A Comprehensive Analysis of Correlated Source Compression Using Edge Computing in Distributed Systems
本文研究了位于网络边缘的相关信源的无损压缩理论。重要的是，禁止节点之间的通信。具体地，解释了组合相关信源编码和矩阵分割的方法。然后，通过将该方法限制为在两个不同的节点组上操作，使该技术更加灵活。因此，这种新方法允许在压缩性能上有更多的自由度，从而在节点完整性验证中进行权衡。具体来说，当使用具有4个节点的汉明（7，4）时，它提供2-3倍的压缩节省。它还降低了在节点加入/离开网络时管理节点的复杂性，同时保留了可以对信息进行有损解码的范围。
2020-03-24 cs.IT math.IT
Lossy Compression with Near-uniform Encoder Outputs
众所周知，当且仅当编码器被随机化时，具有接近均匀的编码器输出的离散无记忆源的无损压缩以高于其熵的速率是可能的。本文主要研究Wyner-Ziv算法中编码器输出接近均匀的条件和分布式有损压缩问题。我们表明，在Wyner-Ziv问题，近均匀的编码器输出和操作接近的WZ速率限制是同时可能的，而在分布式有损压缩问题，联合近均匀的输出是可以实现的内部的分布式有损压缩速率区域，如果源共享非平凡的Gács-Körner共同信息。
2016-07-09 cs.IT math.IT
Distributed Fronthaul Compression and Joint Signal Recovery in Cloud-RAN
云无线电接入网络（C-RAN）是用于未来移动通信的有前途的网络架构，并且其大规模实现的一个实际障碍是将分布式远程无线电头端（RRH）连接到C-RAN中的集中式基带池（BBU）的高容量和低延迟前传的严格要求。为了提高C-RAN网络的可扩展性，在信号检测中考虑前传负载是非常重要的，并且非常期望降低C-RAN系统中的前传负载。在本文中，我们考虑上行链路C-RAN系统，我们提出了一个分布式前传压缩方案在分布式RRH和联合恢复算法在BBU部署分布式压缩感知（CS）的技术。与传统的分布式CS不同，C-RAN系统中的CS问题需要考虑多址衰落的潜在影响，以便从用户端到端地恢复发送的信号。我们分析了所提出的端到端信号恢复算法的性能，我们表明，在C-RAN系统中的聚合测量矩阵，其中包含分布式前传压缩和多址衰落，仍然可以满足限制等距属性的概率很高。基于这些结果，我们推导出C-RAN系统中上行链路容量和前传负载之间的折衷结果。
2014-12-15 cs.IT math.IT
Robust and Efficient Distributed Compression for Cloud Radio Access Networks
这项工作研究分布式压缩的云无线接入网络的上行链路，其中多个多天线基站（BS）连接到一个中央单元，也被称为云解码器，通过容量受限的回程链路。由于在不同BS处接收的信号是相关的，所以分布式信源编码策略是潜在有益的，并且可以经由具有边信息的顺序信源编码来实现。针对带边信息的压缩问题，首先回顾了现有的基于最大可达速率和最小均方误差准则的压缩策略。观察到，在任一情况下，每个BS需要关于特定协方差矩阵的信息，以便实现分布式信源编码的优点。由于该协方差矩阵取决于与其他BS相对应的信道实现，因此针对其中关于在每个BS处可用的协方差的信息不完美的实际场景提出了鲁棒压缩方法。该问题是制定使用一个确定性的最坏情况下的方法，并提出了一种算法，实现了一个固定点的问题。然后，BS选择的目的是减少活动BS的数量，从而提高网络的能量效率。一个优化问题，其中压缩和BS选择联合执行引入一个稀疏诱导项的目标函数。一个迭代算法，提出了收敛到一个局部最优点。从数值结果中可以看出，所提出的鲁棒压缩方案补偿了由不完美的统计信息引起的大部分性能损失。此外，所提出的BS选择算法被视为执行接近更复杂的穷举搜索解决方案。
2012-06-15 cs.IT math.IT
A Deterministic Construction of Projection matrix for Adaptive Trajectory Compression
压缩感知技术可以从少量的测量数据中精确重构稀疏信号，在弹道压缩方面具有巨大的潜力。为了优化压缩，轨迹压缩算法需要根据轨迹的可压缩性来调整压缩比。直观地，在星光道路中移动的对象的轨迹与在蜿蜒道路中移动的对象的轨迹相比更可压缩，因此，与后者相比，在前一种情况下可实现更高的压缩。我们提出了一种支持向量回归理论的原位压缩技术，该技术可以准确地预测给定对象的平均速度的轨迹的可压缩性，然后应用压缩传感来适应轨迹的可压缩性。压缩感知的传统编码和解码过程使用预定义的字典和测量（或投影）矩阵对。然而，最佳对的选择是非平凡的和穷举的，并且对的随机选择不能保证最佳压缩性能。在本文中，我们提出了一个确定性和数据驱动的构造的投影矩阵，这是通过应用奇异值分解从数据集学习的稀疏字典。我们分析了案例研究的行人和动物的轨迹数据集，包括GPS轨迹数据从127个科目。实验结果表明，所提出的自适应压缩算法，结合确定性建设的投影矩阵，提供了显着更好的压缩性能相比，国家的最先进的替代品。
2013-07-26 cs.IT math.IT
MF-based Dimension Reduction Signal Compression for Fronthaul-Constrained Distributed MIMO C-RAN
在这项工作中，我们提出了一个前传压缩方案的分布式MIMO系统与多天线接收机，其中，在信号量化之前，在每个接收机进行降维匹配滤波接收到的信号与一个子集的本地用户信道向量。通过基于全局信道信息来选择这些匹配滤波器向量，可以通过少量信号分量来捕获高比例的潜在容量，然后可以使用局部信号压缩来有效地压缩这些信号分量。我们概述了一个贪心算法为每个接收器选择匹配的滤波矢量，和一个本地变换编码的方法来量化它们，给出表达式所得到的系统和用户容量。然后，我们表明，该计划很容易修改，以占不完美的CSI在接收机。数值结果表明，在低信号维数下，该方案能够在非常接近于切集界的情况下工作，并且在所有工作点，特别是在高信噪比下，与局部压缩相比，该方案在速率容量权衡方面都有显着的改善。
2020-05-27 cs.IT math.IT
An Adaptive-Parity Error-Resilient LZ'77 Compression Algorithm
本文提出了一种改进的容错Lempel-Ziv'77（LZ'77）算法，该算法采用自适应的奇偶校验位数量来进行错误保护。它是最近提出的错误弹性算法LZRS'77的修改版本，其在所有编码数据块上使用恒定量的奇偶校验。恒定量的奇偶校验由编码字符串的最低冗余部分限定，而自适应奇偶校验更有效地利用编码字符串的可用冗余，并且平均可以高得多。因此，所提出的算法提供了更好的编码数据的错误保护。这两种算法的性能进行了测量。比较表明，使用自适应奇偶校验有明显的改善。所提出的算法是能够纠正多达几倍的错误，而原来的算法的压缩性能几乎保持不变。
2008-04-18 cs.IT math.IT
Dimension Reduction-based Signal Compression for Uplink Distributed MIMO C-RAN with Limited Fronthaul Capacity
提出了一种基于降维的上行分布式MIMO云无线接入网（C-RAN）信号压缩方案，该方案在接收天线总体过剩的情况下，用户由通过单个有限容量前传链路连接到中央处理器的分布式多天线接收机联合服务。我们首先表明，在量化噪声限制的操作下，在每个接收器处应用线性降维，然后用均匀的量化噪声水平局部压缩，导致总和容量与前传容量近似线性地缩放，并且可以在割集界限的固定间隙内。最大化联合互信息的降维滤波器被证明是条件Karhunen-Loeve变换的截断形式，并给出了一种块坐标上升算法来寻找一个稳定点。分析和数值计算结果表明，信号维数可以减少，而不会显着的信息损失，特别是在高信噪比，保留使用多余的天线的好处。然后，该方法适用于在接收机处的不完美的信道状态信息的情况。该方案在所有前传速率下都明显优于传统的本地信号压缩，并且网络大小的复杂度线性代表了分布式MIMO C-RAN系统的可扩展解决方案。
2020-05-26 cs.IT math.IT
Robust Distributed Compression of Symmetrically Correlated Gaussian Sources
考虑具有$\ell$分布式编码器和集中式解码器的有损压缩系统。每个编码器压缩其观测源，并将压缩数据转发到解码器，用于在均方误差失真约束下联合重建目标信号。假设观测源可以表示为目标信号和破坏性噪声之和，这两个破坏性噪声独立地产生于两个对称的多元高斯分布。取决于这样的分布的参数，该系统的率失真极限的特征在于完全或至少足够低的失真。结果被进一步扩展到鲁棒分布式压缩设置，其中编码器的子集的输出也可以用于产生对应的目标信号的非平凡重构。特别是，我们在高-当所有$\ell$编码器中的每个$k$共同以相同模式操作时，基于$k+1$或更多编码器的输出的最小可实现重构失真的精确表征，该模式在最小化由相应$k$目标信号的重构引起的失真相对于这些目标信号的平均速率的意义上是贪婪的$k$编码器。
2018-07-18 cs.IT math.IT
Local Decoding in Distributed Compression
最近表明，无损压缩的一个单一的源$X^n$是可实现的强局部性的概念，任何$X_i$可以从一个恒定数量的压缩位解码，在$n$的错误概率为零。相比之下，我们表明，对于两个单独编码的源$(X^n,Y^n)$，无损压缩和强局部性一般是不可能的。具体而言，我们表明，对于类的“混淆”的来源，强本地性不能实现时，其中一个源被压缩到其熵以下。与$n$无关，对于某个索引$i$，解码$(X_i,Y_i)$的错误概率由$2^{-O(d)}$下界，其中$d$表示由本地解码器访问的压缩比特的数量。相反，如果源是不可混淆的，即使其中一个源被压缩到低于其熵，强局域性也是可能的。结果扩展到任意数量的源。
2022-09-27 cs.IT math.IT
Distributed Sequential Hypothesis Testing With Zero-Rate Compression
在本文中，我们考虑序贯测试在一个单一的传感器，一个单一的决策中心设置。在每个时刻$t$，传感器获得$k$样本$(k>0)$，并通过零速率无噪声链路向决策中心描述直到时间$t$的观察序列。决策中心向传感器发送一位反馈，请求更多样本进行压缩/测试或停止传输。在第一类错误概率不超过给定阈值$ε\in (0,1)$的约束下，当决策中心请求数的期望值小于$n$且趋于无穷大时，刻画了第二类错误概率的最优指数.有趣的是，最优指数与零速率通信约束下的固定长度假设检验的最优指数一致。
2021-09-17 cs.IT math.IT
Compression and Recovery of Distributed Random Signals
我们考虑的情况下，当一组空间分布的传感器进行本地观测，这是一个感兴趣的信号的噪声版本。每个传感器将关于其测量的压缩信息传输到融合中心，融合中心应该在规定的精度内恢复原始信号。这种信息处理涉及无线传感器网络（WSN）场景。关键问题是找到传感器和融合中心的模型，使它们在一定的标准下，如均方误差（MSE）的相关误差最小化的意义上是最优的。我们确定的技术，这是一个组合的最大块改进（MBI）方法和通用的Karhunen-Loève变换（KLT）的模型。由此产生的多压缩KLT-MBI算法给出的伪逆矩阵，因此，它是数值稳定的，总是存在的。所提出的模型提供了压缩，去噪和重建的情况下，已知的方法是不适用的（由于奇异性的相关矩阵）或产生较大的相关误差的分布式信号。提供了误差分析。
2015-08-19 cs.IT math.IT
Distributed Compression of Graphical Data
与时间序列相比，图形数据是由图的顶点和边索引的数据。诸如互联网、社交网络、基因组学和蛋白质组学之类的现代应用生成图形数据，通常是大规模的。大规模的数据需要压缩存储和后续处理。由于这些数据可能在不同的位置有多个组件，因此研究图形数据的分布式压缩也很重要。在本文中，我们推导出一个率区域，这是一个对应的Slepian-Wolf定理。当分布式图形数据的统计描述可以被建模为两种类型之一时，我们将速率区域表征为标记稀疏Erdos-Renyi系综序列的成员或标记配置模型系综序列的成员。我们的结果是Bordenave和Caputo在稀疏图的局部弱极限研究中引入的熵概念的推广。此外，我们给出了一个推广的Erdos-Renyi和配置模型系综与两个以上的源。
2021-08-20 cs.IT math.IT
Kimad: Adaptive Gradient Compression with Bandwidth Awareness
KAUST（阿卜杜拉国王科技大学）；HKUST（香港科技大学）
针对分布式训练中的通信瓶颈问题，提出具备带宽感知能力的自适应梯度压缩方案Kimad，可根据实时带宽动态调整各神经网络层的压缩比，经测试验证性能优异，成为该领域的基准方案。
2023-12-13 cs.DC cs.IT cs.LG
Learning Progressive Distributed Compression Strategies from Local Channel State Information
本文提出了一个深度学习框架来设计分布式压缩策略，分布式代理需要压缩源的高维观测数据，然后通过带宽受限的链路将压缩后的比特发送到融合中心进行源重构。此外，我们要求压缩策略是渐进的，以便它可以适应代理和融合中心之间不断变化的链路带宽。此外，为了确保可扩展性，我们调查的策略，只依赖于本地信道状态信息（CSI）在每个代理。为此，我们使用一种数据驱动的方法，其中每个代理的渐进线性组合和统一量化策略都是根据其本地CSI进行训练的。为了应对量化操作建模的挑战（在神经网络的训练中总是产生零梯度），我们提出了一种新的方法，利用批量训练数据的统计数据来设置均匀量化器的动态范围。在数值上，我们表明，建议的分布式估计策略设计，只有本地CSI可以显着降低信令开销，并可以实现较低的均方误差失真的源重建比国家的最先进的设计，需要全球CSI在可比的整体通信成本。
2022-03-09 cs.IT math.IT
Distributed Compression and Multiparty Squashed Entanglement
我们研究了一个协议，其中多方使用量子通信将共享状态传输到接收方，而无需彼此通信。这个协议是一个多方版本的完全量子Slepian-Wolf协议的两个节点，并通过重复应用两个发送者协议而产生。我们描述的分布式压缩问题的可实现的速率区域上的界限。内界产生的表达我们的协议在其顶点和极端射线，等价地，在方面的不平等的可实现的速率区域。我们还证明了所有可能的分布式压缩率的基础上的多方挤压纠缠，多方纠缠的措施，一个外边界。
2008-02-05 cs.IT math.IT quant-ph
Distributed compression through the lens of algorithmic information theory: a primer
分布式压缩是由多个参与方压缩相关数据的任务，每个参与方拥有一段数据并单独行动。经典的Slepian-Wolf定理（D. Slepian，J.K. Wolf，IEEE Transactions on Inf. Theory，1973）表明，如果数据是由来自联合分布的独立抽取生成的，即由无记忆随机过程生成的，则当各方一起行动时，分布式压缩可以实现与集中式压缩相同的压缩率。最近，作者（M。Zimand，STOC 2017）在数学信息论（也称为Kolmogorov复杂性）的框架中获得了Slepian-Wolf定理的模拟版本。与经典定理相比，AIT版本适用于单个字符串，没有任何关于生成过程的假设。唯一的要求是各方知道输入字符串的复杂性概况，这是数据相关性的简单定量度量。本文的目标是以一种可访问的形式呈现，省略了参考文献（M。Zimand，STOC 2017）。
2017-06-26 cs.CC cs.IT math.IT
Applying Compression to a Game's Network Protocol
本报告介绍了将不同的压缩算法应用于在线游戏的网络协议的结果。比较的算法实现是zlib，liblzma和我自己的基于LZ77和自适应霍夫曼编码的变体的实现。比较数据是从游戏TomeNET收集的。结果表明，自适应编码是特别有用的压缩大量的非常小的数据包。
2012-05-28 cs.IT math.IT
SimpleTrack:Adaptive Trajectory Compression with Deterministic Projection Matrix for Mobile Sensor Networks
一些移动传感器网络应用要求传感器节点将其轨迹传输到数据宿。提出了一种基于压缩感知的自适应轨迹（有损）压缩算法。该算法有两个创新要素。首先，我们提出了一种方法来计算一个确定性的投影矩阵从学习字典。其次，我们提出了一种移动节点的移动节点的速度的基础上，自适应预测所需的投影的数量的方法。使用6个数据集的广泛评估表明，我们提出的算法可以实现亚米精度。此外，我们的方法计算投影矩阵优于现有的两种方法。最后，我们的算法与一个国家的最先进的轨迹压缩算法的比较表明，我们的算法可以减少10-60厘米的错误，为相同的压缩比。
2014-04-23 cs.IT cs.NI math.IT
On the Suboptimality of Rate--Distortion-Optimal Compression: Fundamental Accuracy Limits for Distributed Localization
The Alexander Kofkin Faculty of Engineering, Bar-Ilan University（巴伊兰大学亚历山大·科夫金工程学院）
研究在仅能获取独立速率-失真最优压缩多传感器观测的情况下，分布式定位的基本精度限制，通过高斯RD测试信道模型和Whittle频谱Fisher信息特性，推导出频域Cramér-Rao下限，并揭示速率诱导的性能转变。
2026-03-24 cs.IT eess.SP math.IT
Distributed and Rate-Adaptive Feature Compression
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Army Research Laboratory（陆军研究实验室）
针对线性回归中分布式传感器通信速率时变的问题，提出基于一维投影量化的分布式速率自适应特征压缩方案，并通过仿真验证其有效性。
2024-04-02 cs.AI cs.IT math.IT
Extremum-Based Joint Compression and Detection for Distributed Sensing
Bar-Ilan University（巴伊兰大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
研究分布式传感系统中压缩与检测的联合优化问题，提出基于极值的简单策略，通过发送最大样本索引和阈值测试实现高效检测，推导非渐近的误报和误检概率并验证。
2026-03-29 cs.IT eess.SP math.IT
Adaptive Compression for Communication-Efficient Distributed Training
KAUST（阿卜杜拉国王科技大学）；Institut Polytechnique de Paris（巴黎理工学院）；MIPT（莫斯科物理技术学院）
我们提出了自适应压缩梯度下降（AdaCGD）-一种新的优化算法，用于具有自适应压缩级别的监督机器学习模型的通信有效训练。我们的方法受到Richtarik等人（2022）最近提出的三点压缩器（3 PC）框架的启发，其中包括误差反馈（EF 21），惰性聚合梯度（LAG）及其组合作为特例，并在弱假设下提供了这些方法的当前最先进的速率。虽然上述机制提供了固定的压缩级别，或者仅在两个极端之间进行适应，但我们的建议是执行更精细的适应。特别地，我们允许用户选择任意数量的任意选择的压缩压缩机制，例如具有用户定义的稀疏化级别K的Top-K稀疏化，或者具有用户定义的量化级别选择的量化，或者它们的组合。AdaCGD在优化过程中自适应地选择合适的压缩器和压缩级别。除了i）提出一种理论上的多自适应通信压缩机制之外，我们还ii）将3 PC框架扩展到双向压缩，即，我们允许服务器也进行压缩，以及iii）在强凸、凸和非凸设置中提供尖锐的收敛边界。凸政权的结果是新的，即使是我们的一般机制，包括3 PC和EF 21的几个关键的特殊情况。在所有的制度，我们的利率优于所有现有的自适应压缩方法。
2022-10-31 cs.DC cs.IT cs.LG
Learned Distributed Image Compression with Multi-Scale Patch Matching in Feature Domain
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；HUAWEI Technologies Co., Ltd.（华为技术有限公司）；Peng Cheng Laboratory（鹏城实验室）；Shenzhen University（深圳大学）
除了实现比经典图像压缩编解码器更高的压缩效率之外，深度图像压缩预计将利用附加的边信息来改进，例如，从同一场景的不同角度拍摄的另一张照片。为了更好地利用分布式压缩场景下的边信息，现有方法（Ayzik and Avidan 2020）仅在图像域实现补丁匹配，以解决由视点差异引起的视差问题。然而，图像域的块匹配对不同视角引起的尺度、形状和光照变化鲁棒性差，不能充分利用边信息图像丰富的纹理信息。为了解决这个问题，我们提出了多尺度特征域补丁匹配（MSFRENT），充分利用边信息在分布式图像压缩模型的解码器。具体地说，MSFNN由边信息特征提取器、多尺度特征域块匹配模块和多尺度特征融合网络组成。此外，我们重新利用浅层的区块间相关性来加速深层的区块匹配。最后，我们发现，与图像域的补丁匹配方法相比，我们在多尺度特征域中的补丁匹配进一步提高了约20%的压缩率（Ayzik和Avidan 2020）。
2022-11-28 cs.CV cs.IT math.IT
Channel Simulation and Distributed Compression with Ensemble Rejection Sampling
Department of Electrical and Computer Engineering, University of Toronto（电气与计算机工程系，多伦多大学）
本文提出基于集成拒绝采样的信道模拟与分布式匹配方案，实现近最优编码速率，并首次在拒绝采样家族中达到接近泊松匹配引理的匹配概率，通过分布式压缩实验验证有效性。
2025-10-07 cs.IT cs.LG math.IT
Quantum Compression for Distributed Entanglement
Aalborg University（奥尔堡大学）
针对量子态划分不确定下的多体纠缠分布，提出联合设计资源态与压缩族的方法，通过加权Dicke态对称性优化，在固定传输预算下提升跨划分纠缠量，并给出非渐近界与实用构造。
2026-06-23 cs.IT math.IT quant-ph
Robust Distributed Compression with Learned Heegard-Berger Scheme
本文针对Heegard-Berger问题提出基于学习的分布式压缩方案，使神经压缩器能根据边信息可用性自适应地模拟点对点与Wyner-Ziv编码策略，并接近信息论界限。
2024-05-06 cs.IT eess.SP math.IT
LASER: Linear Compression in Wireless Distributed Optimization
School of Computer and Communication Sciences, EPFL（洛桑联邦理工学院计算机与通信科学学院）；Department of Electrical and Computer Engineering, UT Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）
本文提出LASER，一种利用梯度低秩结构在噪声信道上高效传输的无线分布式优化压缩方法，兼具理论保证并在视觉和语言任务上优于现有方案。
2024-02-06 cs.AI cs.IT cs.LG
Adaptive Transform Coding for Semantic Compression
Mitsubishi Electric R&D Centre Europe（三菱电机欧洲研发中心）
本文提出一种自适应变换编码方法，用于语义特征压缩，通过高斯混合模型的条件率-失真函数指导，实现高效编码异质特征分布，实验表明其优于或与现有神经压缩方法相当，同时保持灵活性和可解释性。
2026-04-29 cs.CV cs.IT eess.IV
Distributed Deep Convolutional Compression for Massive MIMO CSI Feedback
Imperial College London（帝国理工学院）
大规模多输入多输出（MIMO）系统需要基站（BS）处的下行链路信道状态信息（CSI）来实现空间分集和复用增益。在频分双工（FDD）多用户大规模多输入多输出网络中，每个用户需要压缩其下行链路CSI并将其反馈给BS。CSI开销随着天线、用户和子载波的数量而缩放，并且成为整体频谱效率的主要瓶颈。在本文中，我们提出了一种基于深度学习（DL）的CSI压缩方案，称为DeepCMC，由卷积层以及量化和熵编码块组成。与之前基于DL的CSI缩减结构相比，DeepCMC提出了一种新的全卷积神经网络（NN）架构，在解码器处具有残留层，并将量化和熵编码块纳入其设计中。DeepCMC经过训练以最小化加权率失真成本，这使得能够在CSI质量和其反馈开销之间进行权衡。仿真结果表明，DeepCMC优于最先进的CSI压缩方案在CSI的重建质量方面，对于相同的压缩率。我们还提出了一个分布式版本的DeepCMC的多用户MIMO场景编码和重构CSI从多个用户以分布式的方式。分布式DeepCMC不仅利用单个MIMO用户的固有CSI结构进行压缩，而且还受益于附近用户的信道矩阵之间的相关性，以进一步提高性能。我们还提出了一种降低复杂度的分布式DeepCMC训练方法，允许将其扩展到多个用户，并提出了一种基于集群的分布式DeepCMC方法用于实际实现。
2020-09-06 cs.IT cs.LG eess.SP
Uncertainty Principle for Communication Compression in Distributed and Federated Learning and the Search for an Optimal Compressor
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
为了减轻分布式和联邦学习中的高通信成本，各种矢量压缩方案，例如量化、稀疏化和抖动，已经变得非常流行。在设计压缩方法时，目的在于尽可能少地传送比特，这最小化每通信回合的成本，而同时试图对所传送的消息赋予尽可能少的失真（变化），这最小化压缩对通信回合的总数的不利影响。然而，直觉上，这两个目标从根本上是冲突的：我们允许的压缩越多，信息就变得越扭曲。我们形式化这种直觉，并证明了随机压缩算子的{ \em不确定性原理}，从而在数学上量化了这种限制，{ \em有效地提供了渐近紧的下限上可能实现的通信压缩}。受这些发展的启发，我们呼吁寻找最佳的压缩算子。在尝试采取在这个方向上的第一步，我们考虑一个无偏的压缩方法的启发Kashin表示的向量，我们称之为{ \em Kashin压缩（KC）}。与所有先前提出的压缩机制相比，KC享有{ \em维度独立}方差界，即使在每个向量条目仅需要传送几个比特的情况下，我们也推导出明确的公式。
2021-01-26 cs.DC cs.IT cs.LG
Decentralized Uplink Adaptive Compression for Cell-Free MIMO with Limited Fronthaul
针对前传容量受限的无蜂窝MIMO上行压缩问题，提出基于速率的自适应压缩方法，可动态调整维度与压缩参数，通过解耦容量表达式实现低开销分布式部署，性能接近集中式方案。
2025-06-12 cs.IT cs.NI cs.SY
DeepCABAC: Context-adaptive binary arithmetic coding for deep neural network compression
Fraunhofer Heinrich-Hertz Institut（弗劳恩霍夫海因里希·赫兹研究所）
我们提出了DeepCABAC，一种用于压缩深度神经网络的新型上下文自适应二进制算术编码器。它通过最小化加权率失真函数来量化每个权重参数，这隐含地考虑了量化对网络精度的影响。随后，它将量化值压缩成具有最小冗余的比特流表示。我们表明，DeepCABAC能够在各种不同的网络架构和数据集上达到非常高的压缩比。例如，我们能够将VGG16 ImageNet模型压缩到x63.6，而不会损失准确性，因此能够仅用8.7MB来表示整个网络。
2019-05-15 cs.AI cs.IT cs.LG
A Machine Learning Framework for Distributed Functional Compression over Wireless Channels in IoT
Georgia Institute of Technology（佐治亚理工学院）；Samsung Research America（三星美国研究院）；Qualcomm Technologies, Inc.（高通技术公司）
针对物联网云端数据传输的网络压力问题，提出首个支持GMAC和正交AWGN信道的分布式函数压缩机器学习框架，无需传输原始数据，性能更优且通信量降两个数量级。
2023-05-01 cs.DC cs.IT cs.LG
