Lossless Compression with Security Constraints
探讨了存在窃听者时的安全分布式数据压缩。需要可靠地传输到合法接收器的两个相关源可在不同的编码器处使用。被认为是无噪声，有限的速率从编码器到合法的接收器，其中之一也可以完美地观察到的窃听器的链接。窃听者也有自己的相关观察。给出了可实现的压缩模糊率区域的内界和外界。还考虑了涉及发射机处的边信息以及多个接收机/窃听者的几种不同场景。
2008-05-20 cs.IT math.IT
Robust Distributed Compression of Symmetrically Correlated Gaussian Sources
考虑具有$\ell$分布式编码器和集中式解码器的有损压缩系统。每个编码器压缩其观测源，并将压缩数据转发到解码器，用于在均方误差失真约束下联合重建目标信号。假设观测源可以表示为目标信号和破坏性噪声之和，这两个破坏性噪声独立地产生于两个对称的多元高斯分布。取决于这样的分布的参数，该系统的率失真极限的特征在于完全或至少足够低的失真。结果被进一步扩展到鲁棒分布式压缩设置，其中编码器的子集的输出也可以用于产生对应的目标信号的非平凡重构。特别是，我们在高-当所有$\ell$编码器中的每个$k$共同以相同模式操作时，基于$k+1$或更多编码器的输出的最小可实现重构失真的精确表征，该模式在最小化由相应$k$目标信号的重构引起的失真相对于这些目标信号的平均速率的意义上是贪婪的$k$编码器。
2018-07-18 cs.IT math.IT
A New Approach to Lossy Network Compression of a Tuple of Correlated Multivariate Gaussian RVs
经典的Gray和Wyner信源编码的一个简单的网络源，产生一个元组的多元，相关的高斯随机变量$(Y_1,Y_2)$重新检查使用几何方法的高斯随机变量，和弱随机实现的相关高斯随机变量。新的结果是：（1）根据$(Y_1, Y_2)$的弱随机实现，给出了使元组$(Y_1,Y_2)$的两个分量条件独立的所有随机变量$W : Ω\rightarrow {\mathbb R}^n $参数化的公式、方法和算法。(2)通过非奇异变换$(S_1,S_2)$将随机变量$(Y_1,Y_2)$变换为它们的标准变量形式。(3)一个公式为Wyner的有损共同信息的联合解码与均方误差失真。(4)所示的方法是至关重要的参数化的Gray和Wyner信源编码问题的有损率区域，和计算的最小公共消息速率$R_0$的Gray和Wyner信源问题，当和速率$R_0+R_1+R_2$是任意接近的联合率失真函数$R_{Y_1, Y_2}(Δ_1, Δ_2)$的联合解码。这些方法和算法也适用于多用户通信的其它问题，如多址信道等。本文的讨论是自包含的，从第一性原理出发，回顾了多元相关高斯随机变量的弱随机实现理论的基本概念，并发展了某些结果以满足结果（1）-（4）的要求。
2021-02-14 cs.IT math.IT
Achievable Moderate Deviations Asymptotics for Streaming Compression of Correlated Sources
受流多视点视频编码和无线传感器网络的启发，我们考虑了一对相关源的分块流压缩问题，我们称之为流Slepian-Wolf编码。我们研究了中等偏差制度，在该制度中，一个序列的代码的速率对收敛，沿着一条直线，在Slepian-Wolf区域的边界上的各个点的速度慢于块长度的平方根倒数$n$，而错误概率衰减亚指数快速$n$。我们的主要结果集中在Slepian-Wolf区域的角点的方法的方向。它指出，对于每个相关的源和所有角点，存在接近方向的非空子集，使得适度偏差常数（错误概率的次指数衰减的比例常数）被增强（在非流传输情况下）至少$T$的因子，$T$是解码源块对的块延迟。我们专门我们的主要结果流无损信源编码的设置，并概括这一结果的设置，我们有不同的延迟要求的两个源块。我们的主要结果的证明涉及到各种分析工具的使用，并融合了最近的信息理论流文献的几个想法。我们采用了Draper和Khisti（2011）以及Lee，Tan和Khisti（2016）的所谓截断内存编码思想，以确保在大块长度的限制下，错误累积的影响是无效的。我们还调整了所谓的最小加权经验后缀熵解码器的使用，Draper，Chang和Sahai（2014）使用该解码器来推导符号流Slepian-Wolf编码的可实现误差指数。
2017-09-20 cs.IT math.IT
Graph Compression with Side Information at the Decoder
针对解码器端存在相关图或结构作为边信息的压缩问题，论文基于熵谱框架刻画了相关 Erdős-Rényi 加权图的最优压缩速率，并将图对齐用于无权图的最优解码。
2025-01-17 cs.IT math.IT
Reduced-Dimension Linear Transform Coding of Correlated Signals in Networks
提出了一种线性变换网络（LTN）模型，用于分析有向无环图（DAG）上传输的相关信号的压缩和估计。LTN是具有多个源和接收器节点的DAG网络。源节点通过应用降维线性变换来发送随机相关信号的子空间投影。子空间投影由多个中继器线性处理并路由到预期接收器。每个接收器应用线性估计器来近似具有最小均方误差（MSE）失真的源的子集。该模型被扩展到包括噪声网络与发射机上的功率约束。一个关键任务是计算网络中的所有局部压缩矩阵和线性估计器，以最小化端到端失真。非凸问题迭代求解的优化框架内使用约束二次规划（QP）。该算法恢复的特殊情况下，定期和分布式Karhunen-Loeve变换（KLT）。给出了基于凸松弛的线性编码下多源多接收网络失真区域的割集下界。对于任何基于信息论的编码策略，给出了割集下界。针对不同的通信需求（例如，多个单播）和图形结构示出了失真区域和压缩估计折衷。
2012-02-28 cs.IT math.IT
Secrecy Amplification for Distributed Encrypted Sources with Correlated Keys using Affine Encoders
提出了在密钥相关的分布式加密中，应用加密后压缩技术来增强加密的保密性。我们推导出通用的编码结构的压缩和率区域的代码具有可扩展性和保密性是可获得的。我们的主要技术是使用仿射编码器，这是从某些线性编码器构造的密文编码之前，将它们发送到公共通信信道。我们证明，如果线性码的速率在一定的速率范围内：（1）信息泄漏的原始源从编码的密文没有密钥是可以忽略的，而（2）一个谁拥有合法的密钥是能够检索原始源数据的错误概率可以忽略不计。
2018-01-13 cs.IT math.IT
Lossy Compression with Privacy Constraints: Optimality of Polar Codes
研究了一种带隐私约束的有损信源编码问题，即将两个相关的离散信源$X$和$Y$压缩成一个具有一定失真度的重构$\hat{X}$（$D$）.此外，隐私约束被指定为有损重构$\hat{X}$和$Y$之间的模糊性。这对来自一个用户的一定量的源信息作为效用（由其重构的保真度给出）提供给另一个用户或公众的情况进行建模，而源信息的某些其他相关部分$Y$必须保持私有。在这项工作中，我们表明，极化码能够，可能与分时的帮助下，实现山本确定的最佳率失真模糊区域中的任何点，从而提供了一个建设性的计划，在这个框架中获得效用和隐私之间的最佳权衡。
2015-04-21 cs.IT math.IT
Distributed Compression of Correlated Classical-Quantum Sources or: The Price of Ignorance
我们恢复调查的相关量子源的独立的本地压缩的问题，其中的经典情况下，是由著名的Slepian-Wolf定理。我们特别关注经典-量子（cq）源，对于该源，对应于经典部分的压缩的速率区域的一个边缘，使用量子部分作为解码器处的边信息，先前由Devetak和Winter [Phys.Rev.A68，042301（2003）]确定。而Devetak-Winter协议达到的速率和等于联合源的冯诺伊曼熵，在这里，我们表明，全速率区域是复杂得多，由于部分量子性质的源。特别地，在压缩源的量子部分的相反情况下，使用经典部分作为解码器处的边信息，通常速率和严格大于总源的冯诺伊曼熵。我们确定在一般情况下的全速率区域，表明，除了Devetak-Winter点，在可实现的区域中的所有其他点具有严格大于联合熵的速率和。我们可以将这种差异解释为量子编码器不知道经典边信息所付出的代价。在一般情况下，我们给出了一个可实现的速率区域，通过协议，建立在去耦原则，量子态合并和量子态重新分配的原则。我们的可实现的区域几乎是匹配的单字母的逆，但仍然涉及渐近误差和一个无界的辅助系统。
2018-11-22 cs.IT math.IT quant-ph
On Distributed Lossy Coding of Symmetrically Correlated Gaussian Sources
本文研究了一个具有$L$编码器和解码器的分布式有损压缩网络。每个编码器观察一个源，并将压缩版本发送到解码器。解码器产生目标信号的联合重建，均方误差失真低于给定阈值。假设观测源可以表示为目标信号和由两个对称多元高斯分布独立产生的破坏性噪声之和。该网络的最小压缩率与失真阈值的关系被称为率失真函数，通过求解最小化问题来建立其明确的下限。我们的下限匹配著名的Berger-Tung上限的失真阈值的一些值。上界和下界之间的渐近间隙的特征在于大的$L$极限。
2022-06-03 cs.IT math.IT
Dynamic Compression-Transmission for Energy-Harvesting Multihop Networks with Correlated Sources
能量收集无线传感器网络是一种新兴技术，应用于环境和结构健康监测等各个领域。无线传感器的显著特征是需要执行信源编码任务（例如测量和压缩）和传输任务。已知的是，用于信源编码的总能量消耗通常与传输的能量消耗相当，并且两类任务的联合设计可以导致相关的性能增益。此外，传感器网络中的信源编码的效率可以经由分布式技术通过利用由不同节点测量的信号是相关的这一事实来潜在地提高。在本文中，数据收集协议的多跳无线传感器网络的能量收集能力的研究，从而传感器测量的源相关。对信源编码和传输的能量消耗进行了建模，并假设了分布式信源编码。针对时变信道和信源，提出了动态联合优化信源编码和传输策略的问题。该问题包括在队列稳定性约束下的源重建在汇的失真的成本函数的最小化。通过采用基于扰动的李雅普诺夫技术，一个接近最优的在线计划，提出了一个明确的和可控的权衡之间的最优性差距和队列大小。在接收端可用的边信息的作用也被讨论的假设下，获取的边信息需要一个能量成本。结果表明，边信息的存在下，可以提高网络的整体网络成本函数和队列大小方面的性能。
2012-03-14 cs.IT cs.NI math.IT
On Large Scale Distributed Compression and Dispersive Information Routing for Networks
本文研究大型网络中的分布式信源编码问题。对分布式编码的常规方法的实际部署构成存在威胁的主要障碍是解码器复杂度随着源的数量和编码速率的指数增长。这种复杂性的增长使得许多传统方法甚至对于中等规模的网络也不切实际。在本文中，我们提出了一种新的解码范式，大规模分布式压缩解码器的复杂性是明确控制在设计过程中。我们的方法的核心是一个模块，称为“位子集选择器”，其作用是明智地提取一个适当的子集，每个单独的源解码接收到的位。我们提出了一个实用的设计策略，基于确定性退火（DA）的联合设计的系统组件，使直接优化的解码器的复杂性失真的权衡，从而所需的可扩展性。我们还指出了大规模分布式压缩问题和传感器网络中的相关问题之间的直接联系，即相关源的分散信息路由。这使我们能够扩展大规模分布式压缩的背景下提出的设计原则，设计高效的路由器，最低成本的相关源在整个网络中的通信。在真实数据集和合成数据集上的实验提供了比传统方法大幅度增益的证据。
2013-01-06 cs.IT math.IT
Separate Source-Channel Coding for Broadcasting Correlated Gaussians
研究了利用最佳分离信源信道编码广播一对相关高斯信源的问题。相当大的性能增益比以前已知的单独的源通道计划进行了观察。虽然源-信道分离产生次优的性能一般，它表明，该方案是非常有竞争力的任何带宽压缩/扩展的情况下。特别地，对于高信道SNR场景，可以示出实现最佳功率失真折衷。
2011-05-09 cs.IT math.IT
Compressive Sensing Over Networks
在本文中，我们展示了压缩感知在网络上的一些应用。本文将压缩感知与传统的信源编码和信道编码中的信息论技术联系起来。我们的研究结果提供了一个明确的速率和解码复杂度之间的权衡。压缩感知和传统信息论方法的关键区别在于它们的解码端。虽然用于恢复由信源编码压缩的原始信号的最佳解码器具有高复杂度，但是压缩感知解码器是线性或凸优化的。首先，我们研究了压缩感知在相关源的分布式压缩中的应用。在这里，通过使用压缩感知，我们提出了一个压缩方案的相关源的家庭与模块化的解码器，提供压缩率和解码复杂度之间的权衡。我们称这种方案为稀疏分布式压缩。我们使用这种压缩方案的一般组播网络相关的来源。在这里，我们首先通过网络解码技术解码一些源，然后，我们使用压缩感知解码器来获得整个源。然后，我们研究了压缩感知在信道编码中的应用。我们提出了一种编码方案，结合压缩感知和随机信道编码的高信噪比点对点高斯信道。我们称这种方案为稀疏信道编码。我们提出了一个模块化的解码器提供的容量损失和解码复杂度之间的权衡。在接收端，首先，我们使用压缩感知解码器对噪声信号进行解码，以获得原始信号的噪声估计，然后，我们应用传统的信道编码解码器来找到原始信号。
2010-12-04 cs.IT math.IT
One-Shot Wyner-Ziv Compression of a Uniform Source
本文研究均匀信源在仅解码器具有相关边信息条件下的一次性Wyner-Ziv有损压缩问题，采用标量量化加变长熵编码框架，推导了量化及含噪边信息情形下熵失真函数的上下界，并证明高压缩率下界具有紧致性。
2024-05-02 cs.IT math.IT
Compressed Channel Feedback for Correlated Massive MIMO Systems
大规模多输入多输出（MIMO）技术由于其能量效率高和可达到的高数据率而成为蜂窝通信中一种很有前途的方法。然而，这些优点只有在信道状态信息（CSI）在发射机处可用时才能实现。由于存在许多天线，CSI太大而不能在没有压缩的情况下反馈。为了压缩CSI，先前的工作已经应用了压缩感测（CS）技术和CSI可以被稀疏化的事实。然而，所采用的稀疏基未能反映空间相关性和信道条件，或者在实践中是可行的。在本文中，我们提出了一个新的稀疏化的基础，反映了长期的信道特性，并不需要改变，只要空间相关模型不改变。我们提出了一种新的重建算法CS，并建议降维作为压缩方法。为了在实践中反馈压缩CSI，我们提出了一种新的码本用于压缩信道量化，假设没有其他小区干扰。数值结果表明，所提出的信道反馈机制在点到点（单用户）和点到多点（多用户）的情况下表现出更好的性能。
2015-03-31 cs.IT math.IT
Non-Adaptive Distributed Compression in Networks
在本文中，我们讨论了非自适应分布式压缩节点间相关的实值消息。要做到这一点，我们讨论了传统的数据包通过路由转发的性能，在总的网络负载与所产生的服务质量（失真水平）。作为一个更好的替代数据包转发，我们简要地描述了我们以前提出的一步量化网络编码（QNC），并使激励参数的优势时，适当的边际速率分布式信源编码是不可用的编码器源节点。我们还得到分析保证我们的一步QNC方案所产生的失真。最后，我们得出结论，通过提供一步QNC和传统的数据包转发的总网络负载之间的数学比较，一步QNC的情况下显着减少。
2013-01-25 cs.IT math.IT
Network Compression: Worst-Case Analysis
本文研究了在二次失真约束下，无记忆网络中分布式相关无记忆源从源节点到目的节点的通信问题。我们建立了以下两个互补的结果：（a）对于任意无记忆网络，在给定相关性的所有分布式无记忆源中，高斯源是最小可压缩的，也就是说，它们允许可实现的失真元组的最小集合，以及（b）对于通过无记忆加性噪声网络通信的任何无记忆源，在给定相关性的所有噪声过程中，高斯噪声容许最小可实现的失真元组集。我们建设性地建立这些结果，显示如何计划相应的高斯问题可以应用到实现类似的性能（源或噪声）分布，不一定是高斯，但具有相同的协方差。
2013-04-05 cs.IT math.IT
Distributed Compression in the Era of Machine Learning: A Review of Recent Advances
本文综述了面向抽象源和图像的学习型分布式压缩技术的近期进展，重点讨论了接近信息论界限且具可解释性的方法，并指出了该领域未解决的挑战。
2024-02-12 cs.IT eess.SP math.IT
Universal Graph Compression: Stochastic Block Models
针对随机块模型图数据，本文通过二维变换与Krichevsky–Trofimov压缩器提出多项式时间的通用无损压缩方案，在四个基准数据集上显著优于现有算法。
2024-05-21 cs.DB cs.IT math.IT
An efficient CDMA decoder for correlated information sources
我们考虑在普遍存在的码分多址（CDMA）方案中相关信息源的检测。我们提出了一个基于消息传递的方案，用于直接检测相关源，而不需要信源编码。检测是在一个传输的二进制符号（字）块上同时完成的。仿真结果表明，与未修改的检测器和源压缩的替代方案相比，误码率有了很大的改善。在实际的模型设置下，包括错误估计的生成马尔可夫转移矩阵和有限长度的扩频码的错误性能改善的鲁棒性。
2010-01-28 cond-mat.stat-mech cs.IT math.IT
Information-Theoretic Limits on Compression of Semantic Information
针对 Bayesian network 描述的相关语义信源，本文推导其无损与有损压缩的信息论极限，并利用条件独立性提出低复杂度编码及边信息下的最优码结构。
2023-06-04 cs.IT math.IT
Compressed Relaying for Two-Way Relay Networks with Correlated Sources
本文提出了一种基于Huffman和物理层网络编码（HPNC）的双向相关源中继网络（TWRN-CS）的压缩中继方案。在HPNC方案中，两个源首先同时向中继发送相关的原始源消息。中继器对接收到的符号执行物理层网络编码（PNC），使用霍夫曼编码来压缩PNC编码的符号，并将压缩的符号广播到两个源节点。然后，每个源通过使用其自己的消息作为边信息来解码另一个源的消息。分析了该方案的压缩比和误块率出错率。仿真结果表明，在TWRN-CS中，与传统的非压缩中继方案相比，HPNC方案能有效提高网络吞吐量，同时获得更好的误码率性能。
2014-10-26 cs.IT math.IT
Sharp Second-Order Pointwise Asymptotics for Lossless Compression with Side Information
当相关边信息在编码器和解码器都可用时，确定任意无损压缩算法的最佳可实现性能的问题被检查。对于任意的源端信息对，条件信息密度示出为任意序列的压缩器实现的描述长度提供了一个尖锐的渐近下界。这意味着，对于遍历的源端信息对，条件熵率是该速率的最佳可实现的渐近下界，不仅在期望中，而且概率为1。在适当的混合条件下，证明了中心极限定理和重对数律，描述了二阶渐近最佳可能速率的不可避免的波动。一个理想化的版本Lempel-Ziv编码与边信息是普遍的第一和第二阶渐近最优，在相同的条件下。这些结果的一部分是基于一个新的几乎肯定的不变性原则的条件信息密度，这可能是独立的利益。
2020-05-21 cs.IT math.IT
Maximum Entropy Functions: Approximate Gacs-Korner for Distributed Compression
考虑从联合分布$p_{X,Y}$生成的两个相关源$X$和$Y$。他们的Gács-Körner公共信息，一种利用分布$p_{X,Y}$的组合结构的公共信息的度量，导致显示$X$和$Y$中潜在公共部分的源分解。使用这种源分解，我们构建了一个有效的分布式压缩方案，它可以有效地用于网络设置以及。然后，我们放松组合条件的源分布，这导致一个有效的计划与一个助手节点，这可以被认为是一个前端缓存。这种放松导致了一个内在的权衡之间的速率的助手和速率降低的来源，我们捕获的概念，最佳分解。我们将其表述为近似的Gács-Körner优化。然后，我们讨论这种优化的性质，并提供连接的最大相关系数，以及一个有效的算法，都通过应用谱图理论诱导二分图的$p_{X,Y}$。
2016-04-14 cs.IT math.IT
Distributed compression through the lens of algorithmic information theory: a primer
分布式压缩是由多个参与方压缩相关数据的任务，每个参与方拥有一段数据并单独行动。经典的Slepian-Wolf定理（D. Slepian，J.K. Wolf，IEEE Transactions on Inf. Theory，1973）表明，如果数据是由来自联合分布的独立抽取生成的，即由无记忆随机过程生成的，则当各方一起行动时，分布式压缩可以实现与集中式压缩相同的压缩率。最近，作者（M。Zimand，STOC 2017）在数学信息论（也称为Kolmogorov复杂性）的框架中获得了Slepian-Wolf定理的模拟版本。与经典定理相比，AIT版本适用于单个字符串，没有任何关于生成过程的假设。唯一的要求是各方知道输入字符串的复杂性概况，这是数据相关性的简单定量度量。本文的目标是以一种可访问的形式呈现，省略了参考文献（M。Zimand，STOC 2017）。
2017-06-26 cs.CC cs.IT math.IT
Cache-Aided Coded Multicast for Correlated Sources
边缘缓存和编码多播的结合是一种很有前途的方法，以提高缓存辅助网络的内容交付效率。由于用户消费的内容的日益个性化的性质，在当前解决方案中由分布在网络上的内容重叠引起的全局高速缓存增益是有限的。在本文中，缓存辅助编码多播问题一般占网络内容之间的相关性，制定一个源压缩问题与分布式边信息。提出了一种相关性感知的可实现方案，并推导出其性能上界。结果表明，可以实现相当大的负载减少，相比，最先进的相关性不知情的计划，当缓存和交付阶段具体占内容文件之间的相关性。
2016-09-19 cs.IT math.IT
On Computing Compression Trees for Data Collection in Sensor Networks
我们解决的问题，有效地收集相关的数据从有线或无线传感器网络，设计算法与可证明的最优性保证的目的，并了解如何接近我们可以得到已知的理论下限。我们提出的方法是基于找到一个最佳的或接近最佳的{ \em压缩树}为一个给定的传感器网络：压缩树是一个有向树的传感器网络节点，使节点的值被压缩使用的值其父节点。我们认为这个问题在不同的通信模型，包括{ \em广播通信}模型，使许多新的机会，能源效率的数据汇集。我们绘制连接之间的数据汇集问题和以前研究的图形概念，称为{ \em弱连接支配集}，我们用它来开发新的近似算法的问题。我们提出了几个合成和现实世界的数据集的比较结果表明，我们的算法构建接近最佳的压缩树，产生显着减少的数据汇集成本。
2009-07-30 cs.IT cs.NI math.IT
Neural Distributed Image Compression using Common Information
Imperial College London（帝国理工学院）；Sharif University of Technology（谢里夫理工大学）；New York University（纽约大学）；EPFL（洛桑联邦理工学院）
我们提出了一种新的深度神经网络（DNN）架构，用于在相关图像仅在解码器处作为边信息时压缩图像。这个问题在信息论中被称为分布式信源编码（DSC）。特别地，我们考虑一对立体图像，其通常由于重叠的视场而彼此具有高相关性，并且假设该对中的一个图像将被压缩和传输，而另一个图像仅在解码器处可用。在所提出的架构中，编码器将输入图像映射到潜在空间，量化潜在表示，并使用熵编码对其进行压缩。解码器被训练为仅使用后者来提取输入图像和相关图像之间的公共信息。接收到的潜在表示和本地生成的公共信息通过解码器网络以获得输入图像的增强重构。公共信息在接收机处提供相关信息的简洁表示。我们训练和证明所提出的方法的有效性的KITTI和城市景观数据集的立体图像对。我们的研究结果表明，所提出的架构是能够利用解码器只有边信息，并优于以前的工作与解码器边信息的立体图像压缩。
2021-11-10 cs.IT cs.LG eess.IV
General Mixed State Quantum Data Compression with and without Entanglement Assistance
研究一般混合态量子信息源的最优压缩问题，通过 Koashi-Imoto 分解确定有无纠缠辅助下的最优压缩率及可行率对区域。
2019-12-18 cs.IT math.IT quant-ph
