Multiterminal Source Coding under Logarithmic Loss
我们考虑经典的两个编码器多端信源编码问题，其中失真是在对数损失下测量的。我们提供了一个单一的字母表征的可实现的率失真区域任意相关的源有限字母。在这样做的时候，我们也给率失真区域的$m$编码器CEO问题（也在对数损失）。给出了几个应用实例。
2012-07-11 cs.IT math.IT
A Generalization of Blahut-Arimoto Algorithm to Compute Rate-Distortion Regions of Multiterminal Source Coding Under Logarithmic Loss
在本文中，我们提出了迭代算法，数值计算率失真区域的两个问题：两编码器多端信源编码问题和首席执行官（CEO）问题，这两个问题都是在对数损失失真测度下的.由于这些模型与分布式信息瓶颈方法有着明确的联系，所提出的算法可以在各种应用中找到用处，例如聚类，模式识别和学习。我们通过一些数值例子说明我们的算法的效率。
2017-08-24 cs.IT math.IT
Subset Typicality Lemmas and Improved Achievable Regions in Multiterminal Source Coding
考虑下面的信息理论设置，其中根据N个相关随机变量各自的边缘生成N个相关随机变量的独立码本。已经相当好地研究了确定关于码本的速率的条件以确保存在至少一个码字元组的问题，该码字元组相对于给定的联合密度是联合典型的（称为多变量覆盖引理），并且已经在若干信源编码场景中发现了相关联的速率区域的应用。然而，几个多终端信源编码应用，例如一般的多用户Gray-Wyner网络，只需要在发送的码字的子集内的联合典型性。出于这样的应用程序，我们问自己的条件的速率，以确保至少一个码字元组的存在，这是联合典型的子集内根据给定的每个子集联合密度。这份报告主要集中在推导一个新的可实现的速率区域这个问题，严格改善后，直接扩展的多元覆盖引理，这已经相当普遍地被用于在几个早期的工作。为了证明这一结果，我们得出了两个重要的结果，称为“子集典型性引理”，可能有更广泛的适用性，在更一般的情况下，超出了本报告所考虑的。最后，我们应用其中的结果，以获得一个新的可实现的区域一般多用户Gray-Wyner网络。
2012-05-06 cs.IT math.IT
Outer Bounds for Multiterminal Source Coding via a Strong Data Processing Inequality
给出了多端信源编码问题的一个直观的外界。建议的界限明确耦合率失真函数为每个源和相关措施，来自一个“强”的数据处理不等式。与许多标准的外边界，建议的界限是不参数化的一个连续的家庭的辅助随机变量，而是只需要最大限度地提高两个比率的分歧，不依赖于所考虑的失真函数。
2013-07-16 cs.IT math.IT
A new sufficient condition for sum-rate tightness in quadratic Gaussian multiterminal source coding
研究了二次高斯多终端（MT）信源编码问题，给出了Berger-Tung和速率界紧的一个新的充分条件.逆证明利用一组虚拟远程源，给定MT源是块独立的，最大块大小为2。给定的MT信源编码问题，然后与一组矩阵失真约束的两端问题，其中一个新的下界的总和速率。最后，提出了一个凸优化问题，并给出了最优BT格式满足基于次梯度的Karush-Kuhn-Tucker条件的充分条件。我们的新的充分条件定义的和率紧性问题的集合包含所有以前已知的紧的情况下，并打开一个更一般的部分解决方案的新方向。
2010-09-10 cs.IT math.IT
Unified Theory of Source Coding: Part II -- Multiterminal Problems
在这两部分通信的第一篇论文中，我们在一个统一的框架中解决了各种非合作编码器的两终端信源编码问题，从而巩固了Shannon，Slepian-Wolf，Wyner，Ahlswede-Körner，Wyner-Ziv，Berger { \em et al.}的工作。还有杨柏格为了实现这样的统一，我们利用了一个基本原则，将大量的分析与手头的失真标准（如果有的话）分离开来，并扩展了香农和Wyner-Ziv的典型性论点。在这第二篇论文中，我们推广的基本原则，为任何数量的来源，并在其基础上详尽地解决所有的多端信源编码问题与非合作的编码器和一个解码器。失真标准（如适用）要求适用于单个字母并有界。我们的分析包括边信息的情况下，分别是部分可用，完全可用和完全不可用的解码器。正如我们的第一篇论文中所看到的，可实现的区域允许无限阶信息论描述。我们还表明，熵约束的多端估计问题可以解决作为我们的理论的一个特例。
2005-08-26 cs.IT math.IT
Generalized Gaussian Multiterminal Source Coding: The Symmetric Case
考虑一个广义的多端信源编码系统，其中$\ell\choose m$编码器，每个观测$\ell$（$\ell\geq 2$）的不同大小的$m$子集，具有相关系数$ρ$的零均值单位方差对称相关高斯信源，以这样一种方式压缩它们的观测，使得联合解码器可以基于压缩数据在规定的均方误差失真内重建信源。该系统的最佳速率-失真性能以前仅对于两种极端情况$m=\ell$（集中式情况）和$m=1$（分布式情况）是已知的，并且除了当$ρ=0$时，在所有非平凡失真约束下，集中式系统可以实现比分布式系统严格更低的压缩率。有些令人惊讶的是，在本论文中建立了具有$m\geq 2$的上述广义多终端信源编码系统的最佳率失真性能与集中式系统的最佳率失真性能一致，当$ρ\leq 0$时，对于所有失真，当$ρ>0$时，对于低于明确的正阈值（取决于$m$）的失真。此外，当$ρ>0$，广义多终端信源编码的最小可实现的速率受到任意正失真约束$d$被证明是在一个有限的差距（取决于$m$和$d$），从其集中的对应在大的$\ell$限制，除了可能的临界失真$d=1-ρ$。
2017-10-12 cs.IT math.IT
Markov Lemma for Countable Alphabets
强典型性和马尔可夫引理已被用于多终端信源编码定理的证明中。由于这两种工具只能应用于有限字母表，所以它们所证明的结果受到同样的限制。近年来，一种新的典型性概念被提出，即统一典型性。它既可以应用于有限字母表，也可以应用于可数无限字母表，并且保持了渐近均分性和强典型性的结构性质。在本文中，统一的典型性是用来推导出一个版本的马尔可夫引理，它的工作都有限或可数无限的字母，使许多结果在多端信源编码可以很容易地扩展。此外，一个简单的方法来验证一些序列是否是联合典型的。
2010-06-02 cs.IT math.IT
On the Minimum Energy of Sending Gaussian Multiterminal Sources over the Gaussian MAC
在这项工作中，我们研究了高斯多址接入信道（MAC）上发送相关源的最小能量。与其他联合信源-信道编码的工作相比，我们考虑了信源和信道带宽不自然匹配的一般情况。特别地，我们提出了使用混合数字模拟编码来提高传输能量效率。研究了相关源的不同模型。我们首先考虑无损传输的二进制源的MAC。然后，我们处理高斯源在高斯MAC上的有损传输，包括CEO源和多端源。在所有情况下，我们表明，混合动力传动系统实现了最佳的能源效率。
2013-01-18 cs.IT math.IT
Cascade multiterminal source coding
我们研究了两个相关信源X和Y的分布式信源编码，其中消息以级联方式传递到解码器。X的编码器以速率R_1向Y的编码器发送消息。Y的编码器然后基于Y和它接收到的关于X的消息以速率R_2向解码器发送消息。解码器的任务是估计X和Y的函数。例如，我们考虑在这些约束下对联合高斯随机变量的和进行编码时的最小均方误差失真。我们还描述了重建X和Y损失函数所需的速率。我们对理解级联多端信源编码网络的限制的一般贡献是在可达到的速率区域上的内界和外界的形式，以满足任意失真函数d（x，y，z）的失真约束。内界利用了两种编码策略之间的平衡-中继关于X的信息和重新压缩关于X和Y的信息。在高斯的情况下，发现一个阈值，用于确定两个极端的策略优化的内界。如果X的方差大于Y的方差，则对于某些速率对，中继优于在中继处重新压缩总和。
2009-05-12 cs.IT math.IT
Myopic Coding in Multiterminal Networks
本文研究了多终端网络中协作和可达速率之间的相互作用。协作是指节点共同工作以向目的地中继数据的过程。在可实现的信息传输速率和合作水平之间存在固有的权衡，这由涉及多少节点以及节点如何编码/解码数据来确定。我们通过研究多终端网络中数据传输的基于信息论解码转发的编码策略来说明这种权衡。解码转发策略通常在全知编码的上下文中讨论，其中网络中的所有节点在编码和解码方面都完全相互合作。在本文中，我们研究近视编码，其中每个节点只与几个相邻节点合作。我们表明，近视解码转发的可实现的速率可以大的全知解码转发在低信噪比制度。我们还表明，当每个节点只有几个合作的邻居，增加一个节点到合作的传输速率显着增加。此外，我们表明，近视解码转发可以实现非零速率的网络规模增长没有约束。
2008-06-30 cs.IT math.IT
Optimal Rate Allocation in Mismatched Multiterminal Source Coding
我们考虑一个多终端信源编码问题，其中一个源估计在一个中央处理单元从有损压缩的远程观测。每个有损编码的观察是由一个遥感器，它获得一个嘈杂的版本的源和压缩这个观察最小化的局部失真的措施，这只取决于其观察的边缘分布。另一方面，中心节点具有源和所有观测的联合分布的知识，并产生源估计，该源估计最小化源与其重建之间的不同失真度量。在这种对应关系中，我们调查的问题，最佳选择的速率，每个有损压缩的远程估计，以尽量减少在中央处理单元的失真受到约束的遥感器和中央单元之间的整体通信速率。我们专注于，特别是，在两个模型的实际相关性：在加性高斯噪声中观察到的高斯源的情况下，并在二次失真下重建，以及在比特翻转噪声中观察到的二进制源的情况下，并在汉明失真下重建。在这两种情况下，我们表明，存在制度下，有更多的远程编码器减少源失真：换句话说，有更少的，高质量的远程估计提供了一个更小的失真比有更多的，低质量的估计。
2016-05-12 cs.IT math.IT
Fairness in Multiterminal Data Compression: Decomposition of Shapley Value
我们考虑的问题，如何确定一个公平的信源编码率分配方法的无损数据压缩问题的多端网络，例如，无线传感器网络中有大量的信源编码。我们模型这个问题的博弈论的方法，并提出了一种分解方法，用于获得Shapley值，一个公平的信源编码率矢量在Slepian-Wolf可实现的区域。我们制定了一个联盟的博弈模型，熵函数量化的成本，由于在每个联盟的信源编码率。在博弈可分解的典型情况下，我们证明了每个子博弈的Shapley值可以单独获得。这种分解方法的复杂性是由子博弈的最大规模决定的，它严格小于源的总数，并有助于大大减少计算复杂性。实验表明，大的复杂性降低时，源的数量变得很大。
2018-04-05 cs.IT math.IT
Secure Multiterminal Source Coding with Side Information at the Eavesdropper
研究了在窃听者处具有边信息的安全多终端信源编码问题。这种情况下，由一个主编码器（称为爱丽丝），希望压缩一个单一的来源，但同时满足所需的要求失真水平在一个合法的接收器（称为鲍勃）和含糊率-平均不确定性-在窃听者（称为夏娃）。进一步假设在Alice和Bob之间存在（公共）速率受限链路。在这种情况下，Eve完美地观察到Alice发送给Bob的信息比特，并且还可以访问可以用作边信息的相关源。第二个编码器（称为Charlie）通过经由（私有）速率受限链路发送其自己的相关观测的压缩版本来帮助Bob估计Alice的源，该压缩版本仅由Bob观察。例如，手头的问题可以被看作是Berger-Tung和安全信源编码设置之间的统一。推导了率失真模糊区域的内、外边界。内部区域在两种情况下变得紧密：（i）在Bob处的未编码边信息和（ii）在Bob处的两个源的无损重构-安全分布式无损压缩。在存在高斯和二进制/三进制（分别）的情况下保护高斯和二进制信源的有损信源编码的应用示例还考虑了辅助信息。最佳编码方案的特点是在解码器的边信息和存在的非零失真在鲍勃可以充分利用，以保证保密性的统计差异的某些情况下的利益。
2013-11-08 cs.IT math.IT
In-network Compression for Multiterminal Cascade MIMO Systems
我们研究了上行链路级联多输入多输出（MIMO）系统中的接收波束形成问题，作为有损函数计算的级联多端信源编码的一个实例。使用这种连接，我们开发了两个编码方案的第二个，并表明它们的应用导致第一个波束成形方案。在第一种编码方案中，级联中的每个终端发送它所观察到的信源的描述;解码器有损地重建所有信源，然后计算所需函数的估计。该方案改进了标准路由，每个终端只压缩其源w.r. t的新息。由级联中的前一个终端发送的描述。在第二种方案中，期望函数在级联网络中逐步计算，每个终端发送对期望函数的更精细描述，在上行级联MIMO系统中，这两种方案的应用分别导致集中式接收波束形成和分布式接收波束形成。数值结果说明了所提出的方法的性能，并表明他们优于标准路由。
2017-03-06 cs.IT math.IT
Universal coding for correlated sources with complementary delivery
本文研究了一种多终端信源编码系统的通用编码问题，我们称之为互补传递编码系统。在该系统中，来自两个相关源的消息被联合编码，并且每个解码器可以访问两个消息中的一个，以使其能够再现另一个消息。固定到固定长度和固定到可变长度的无损编码方案被认为是。通过类型理论和图论分析，明确了通用码的构造和错误概率的界。[[Keywords]]多端信源编码，互补传递，通用编码，序列类型，二分图
2007-10-23 cs.IT math.IT
Distributed Source Coding of Correlated Gaussian Sources
我们考虑$L$相关高斯源$Y_i,i=1,2,...,L$的分布式信源编码系统，$Y_i,i=1,2,...,L$是相关高斯远程源$X_k, k=1,2,...,K$的噪声观测。我们假设$Y^{L}={}^{\rm t}(Y_1,Y_2,$ $..., Y_L)$是源向量$X^K={}^{\rm t}(X_1,X_2,..., X_K)$的观测，具有$Y^L=AX^K+N^L$的形式，其中$A$是$L\times K$矩阵，而$N^L={}^{\rm t}(N_1,N_2,...,N_L)$是$L$独立的高斯随机变量的向量，也独立于$X^K$。在该系统中，$L$相关高斯观测值分别由$L$编码器压缩并发送到信息处理中心。我们研究了远程信源编码问题，在中心的解码器试图重建远程源$X^K$。我们考虑三个失真准则的基础上的协方差矩阵的估计误差$X^K$。对于这三个标准中的每一个，我们得到明确的内部和外部边界的率失真区域。接下来，在$K=L$和$A=I_L$的情况下，我们研究了多终端信源编码问题，其中解码器希望重建观测$Y^L=X^L+N^L$。为了研究这个问题，我们将建立一个结果，它提供了一个强有力的连接之间的远程信源编码问题和多端信源编码问题。利用这一结果，我们驱动几个新的部分解决方案的多端信源编码问题。
2011-02-18 cs.IT math.IT
The Three-Terminal Interactive Lossy Source Coding Problem
研究了三节点多端有损信源编码问题。我们推导出一个内界的一般率失真区域的这个问题，这是一个自然的扩展的开创性工作Kaspi'85上的交互式双端信源编码问题。结果表明，这个（而涉及）内界包含一些相关的信源编码设置的率失真区域。这样，除了交互式两端问题的非平凡扩展之外，我们的结果还可以被视为该领域以前几项工作的推广和统一。专门针对特定的情况下，我们获得了几个有损信源编码问题的新的率失真区域。最后，我们将描述一些尚未解决的问题和挑战。然而，一般的三节点多端有损信源编码问题似乎提供了一个强大的数学复杂性。
2016-01-18 cs.IT math.IT
Shanghai Jiao Tong University（上海交通大学）
One of the main focus in federated learning (FL) is the communication efficiency since a large number of participating edge devices send their updates to the edge server at each round of the model training. Existing works reconstruct each model update from edge devices and implicitly assume that the local model updates are independent over edge devices. In FL, however, the model update is an indirect multi-terminal source coding problem, also called as the CEO problem where each edge device cannot observe directly the gradient that is to be reconstructed at the decoder, but is rather provided …
2021-05-13 cs.AI cs.IT math.IT
Universal Coding of Ergodic Sources for Multiple Decoders with Side Information
一个多终端有损编码问题，其中包括各种问题，如Wyner-Ziv问题和补充交付问题的特殊情况下，被认为是。它示出的可实现的率失真区域中的任何点可以达到，即使源统计是未知的。
2010-04-19 cs.IT math.IT
A Random Variable Substitution Lemma With Applications to Multiple Description Coding
我们建立了一个随机变量替换引理，并使用它来研究细化层在多描述编码中的作用，阐明了几个现有的可实现的多描述率失真区域之间的关系。具体地说，它表明，El Gamal覆盖（EGC）区域是等价的EGC* 区域（一个先行版本的EGC区域），而Venkataramani-Kramer-Goyal（VKG）区域（当专用于2-描述的情况下）是等价的Zhang-Berger（ZB）区域。此外，我们证明了多描述编码与个人和层次的失真约束，在VKG方案的层数可以显着减少时，只有某些加权和率的关注。研究了细化层在可分级编码（多描述编码的一种特殊情况）中的作用。
2009-09-17 cs.IT math.IT
Universal source coding over generalized complementary delivery networks
本文研究了一类称为广义互补传输网络的多端信源编码网络的通用编码问题。在该网络中，来自多个相关源的消息被联合编码，并且每个解码器可以访问其中一些消息，以使其能够再现其他消息。固定到固定长度和固定到可变长度的无损编码方案被认为是。利用类型和图论分析的方法，阐明了泛码的显式构造和错误概率的界。
2007-10-26 cs.IT math.IT
Information Masking and Amplification: The Source Coding Setting
最近，Merhav和Shamai以及Kim等人解决了在Gel'fand-Pinsker信道中掩蔽和放大信道状态信息的互补问题，分别本文研究了一个相关的信源编码问题。具体地，我们考虑两个编码器的信源编码设置，其中一个信源将被放大，而另一个信源将被屏蔽。在一般情况下，这两个目标之间存在一种紧张关系，其特征在于放大掩蔽权衡。在本文中，我们给出了一个单字母的描述这种权衡。我们应用这一结果，连同最近的定理Courtade和Weissman多端信源编码，解决一个基本的熵表征问题。
2012-04-25 cs.IT math.IT
A Unified Framework for One-shot Achievability via the Poisson Matching Lemma
我们引入了一个基本引理称为泊松匹配引理，并应用它来证明单次可扩展性的结果为各种设置，即信道的状态信息在编码器，有损信源编码与边信息在解码器，联合源信道编码，广播信道，分布式有损信源编码，多址接入信道，信道可分辨性和窃听信道。我们的一杆界限改善后，最知名的一杆界限在大多数上述设置（除了多路访问通道，通道可分辨性和窃听通道，在那里我们恢复界限可比的最知名的界限），在某些设置中，即使与传统的渐近方法相比，使用典型性较短的证明。泊松匹配引理取代了填充引理和覆盖引理，大大简化了误差分析。本文扩展了Li和El Gamal关于Poisson函数表示的工作，该工作主要考虑可变长度信源编码设置，而本文研究固定长度设置，并且不限于信源编码，表明Poisson函数表示是网络信息论中大多数问题典型性的可行替代方案。
2019-02-22 cs.IT math.IT
On Finite Blocklength Lossy Source Coding
本专著系统综述有损信源编码的二阶渐近理论，围绕单信源率失真及其五类推广和四种多终端模型，给出有限块长性能界与未来方向。
2023-01-19 cs.IT math.IT
Strong Functional Representation Lemma and Applications to Coding Theorems
本文证明了对于任意随机变量$X$和$Y$，都可以将$Y$表示为$(X,Z)$的函数，使得$Z$独立于$X$和$I(X;Z|Y)\le\log(I(X;Y)+1)+4$位.我们使用这个强函数表示引理（SFRL）建立一个约束的速率需要一次精确的信道模拟一般（离散或连续）随机变量，加强结果由Harsha等人。和Braverman和Garg，并建立新的和简单的可扩展性结果的一次可变长度的有损信源编码，多描述编码和Gray-Wyner系统。我们还表明，SFRL可以用来减少状态非因果已知的编码器的一个点对点的通道，这提供了一个简单的可扩展性证明的Gelfand-Pinsker定理的通道。
2018-01-19 cs.IT math.IT
The term "Cleaning Lemma" refers to a family of similar propositions that have been used in Quantum Coding Theory to estimate the minimum distance of a code in terms of its length and dimension. We show that the mathematical core is a simple fact of linear algebra of inner product spaces; moreover, it admits a further reduction to a combinatorial, lattice-theoretical level. Several concrete variants of the Cleaning Lemma and some additional propositions are derived as corollaries of the proposed approach.
2022-04-10 cs.IT math.IT quant-ph
A Lattice Coding Scheme for Secret Key Generation from Gaussian Markov Tree Sources
本文研究了多终端信源模型中的秘密密钥生成问题，其中终端可以访问相关高斯信源。我们假设源在树上形成马尔可夫链。我们给出了一个嵌套的基于格的密钥生成方案，其计算复杂性是多项式的数量，N，独立和相同分布的样本观察到的每个源。我们还计算了可实现的秘密密钥率，并给出了一类例子，我们的计划是最佳的罚款量化限制。然而，我们也给出的例子表明，我们的计划并不总是最佳的精细量化的限制。
2016-01-22 cs.IT math.IT
A Graph-based Framework for Transmission of Correlated Sources over Broadcast Channels
在本文中，我们考虑的通信问题，涉及相关源的广播信道的传输。我们认为这个信息传输问题的一个基于图形的框架。该系统包括信源编码模块和信道编码模块。在信源编码模块中，信源被有效地映射到一个近似半正则的二分图中，而在信道编码模块中，该图的边在广播信道上被可靠地传输。我们认为近半正则二分图作为离散的接口之间的信源编码和信道编码在这个多端设置。我们提供了一个信息论表征（1）指数增长率（作为信道使用次数的函数）其边可以通过广播信道可靠地传输的二分图的大小，以及（2）指数增长率（作为源样本数量的函数）的大小的二分图，它可以可靠地表示一对相关的源被发送到一个广播信道。
2006-08-01 cs.IT math.IT
Importance Matching Lemma for Lossy Compression with Side Information
该研究对基于重要性采样的有损压缩方法做两项扩展，提出有序随机编码变体与重要性匹配引理，结合深度学习给出解码器带边信息的分布式有损压缩新方案，并通过多组实验验证其有效性。
2024-03-08 cs.IT math.IT
Distributed Source Coding with One Distortion Criterion and Correlated Messages
本文考虑了具有一个失真准则和相关信息的分布式（或多端）信源编码。这个问题也可以称为“相关消息的Berger-Yeung问题”。它对应于基于图的框架的信源编码部分，用于在多址信道（MAC）上传输一对相关信源，其中一个是无损的，另一个是有损的。结果，为该问题提供了可实现的率失真区域。它是一个信息论表征的指数增长率（作为源样本的数量的函数）的大小的二分图，可以表示一对相关的源满足一个失真标准。给出了可拓性和逆部的严格证明。同时证明了具有相关消息的Berger-Yeung问题与具有相关消息的半确定性广播信道之间存在函数对偶。这意味着一个问题的最佳编码器-解码器映射成为对偶问题的最佳解码器-编码器映射。在对偶结构中，给出了信源失真测度和信道代价测度这两个对偶问题中消息的相关结构。
2009-08-15 cs.IT math.IT
The source coding game with a cheating switcher
Berger的论文“The信源编码Game”，IEEE Trans. Inform。理论，1971年，考虑的问题，找到率失真函数的对抗性来源组成的多个已知的IID源。对手，被称为“开关”，只允许因果访问源实现和率失真函数是通过使用一个类型覆盖引理。在本文中，率失真函数的对抗源描述，假设开关有非因果访问所有的源实现。证明利用类型覆盖引理和简单的条件，随机的“切换”规则。率失真函数再次是针对可达到的IID分布的区域的R（D）函数的最大化。
2007-04-19 cs.IT math.IT
In this paper, we consider the information-theoretic characterization of the set of achievable rates and distortions in a broad class of multiterminal communication scenarios with general continuous-valued sources and channels. A framework is presented which involves fine discretization of the source and channel variables followed by communication over the resulting discretized network. In order to evaluate fundamental performance limits, convergence results for information measures are provided under the proposed discretization process. Using this framework, we consider point-to-point source …
2022-02-23 cs.IT eess.SP math.IT
The Likelihood Encoder for Source Coding
随机码本的似然编码器被证明是一种有效的信源编码工具。结合软覆盖引理（与信道可分辨性相关），似然编码器为已知结果（如率失真理论）提供简单的可分辨性证明。他们还产生了一个易于处理的安全率失真理论和强协调的分析。
2013-07-31 cs.IT math.IT
Nonasymptotic Oblivious Relaying and Variable-Length Noisy Lossy Source Coding
The Chinese University of Hong Kong（香港中文大学）；Imperial College London（帝国理工学院）
研究了信息瓶颈信道的有限块长可实现性，探讨了固定长度和可变长度编码对信息瓶颈第二阶版本的影响，并引入了新的非渐近性可变长度噪声失真信源编码结果。
2026-04-24 cs.IT math.IT
A Stronger Soft-Covering Lemma and Applications
Wyner软覆盖引理是信息论安全性、可分解性、信道综合和信源编码的可分解性证明的重要工具。这里的结果锐化软覆盖的要求远离期望值分析。相反，随机码本示出实现软覆盖现象具有高概率。失败的概率在块长度上是双指数小的，通过联合边界可以实现更强大的应用程序。
2015-08-07 cs.IT math.IT
Distributed Source Coding for Interactive Function Computation
研究了一个两端交互式的分布式信源编码问题，该问题在两个位置上具有交替的消息。对于任何数量的消息，速率区域的可计算表征以单字母信息措施的形式提供。虽然在一个或两个位置的无损源再现的最小和速率方面的相互作用是无用的，但即使当源是独立的时，增益对于函数计算也可以任意大。对于一类源和函数，交互被证明是无用的，即使有无限的消息，当一个函数必须在只有一个位置计算，但被证明是有用的，如果函数必须在两个位置计算。为了计算两个独立的伯努利源在两个位置的布尔与函数，一个可实现的无限消息和速率与无限小速率的消息推导出一个二维定积分和速率分配曲线。本文提出了一种基于信息交换协议的多终端交互函数计算的通用框架，该协议在不同的分布式信源编码配置之间连续切换。对于一个星形拓扑结构的网络，多轮的交互式编码被证明是减少缩放定律的总网络速率的一个数量级的网络增长。
2008-11-12 cs.IT math.IT
Joint Source-Channel Coding Revisited: Information-Spectrum Approach
给定一个具有可数无限信源字母表的一般信源和一个具有任意抽象信道输入/信道输出字母表的一般信道，从信息谱的角度研究信源-信道编码联合编码问题。首先，我们推广了Feinstein引理（正向部分）和Verdu-Han引理（逆向部分），使之适用于一般的联合信源-信道编码问题。基于这些引理，我们建立了一个充分条件，以及一个必要条件的源是可靠的传输信道上的渐近消失的错误概率。证明了我们的充分条件等价于Vembu，Verdu和Steinberg的充分条件，而我们的必要条件强于或等价于他们的必要条件.作为一个直接的结果，分离原理在相关的广义意义上适用于广泛的一类源和通道，正如Vembu，Verdu和Steinberg以非常不同的方式所示。还应该指出的是，我们的必要条件和充分条件之间存在一个很好的对偶性，而我们不能完全享受Vembu，Verdu和Steinberg的必要条件和充分条件之间的对偶性。此外，我们还证明了ε-可传性的一个充分条件和一个必要条件。最后，证明了传统标准形式的分离定理对于满足半强逆性质的信源和信道类是成立的。
2007-12-18 cs.IT math.IT
Quantum soft-covering lemma with applications to rate-distortion coding, resolvability and identification via quantum channels
本文提出量子软覆盖问题并基于平滑最小熵证明单次量子覆盖引理，该引理等价于后验信道失真准则下的率失真编码定理，并进一步应用于量子信道可解性及识别容量的上下界证明。
2024-04-26 cs.IT math.IT quant-ph
Towards Optimality in Transform Coding
众所周知，对于多变量高斯源的变换编码，Karhunen-Loève变换（KLT）使均方误差失真最小化。然而，寻找一般非高斯源的最佳变换几十年来一直是一个悬而未决的问题，尽管有几个重要的进展，提供了一些关于KLT最优性的部分答案。本文给出了当采用高分辨率、可变速率量化器时，变换最优的一个充要条件。因此，我们不仅提出了一个完整的表征时，KLT是最佳的，但也是一个确定条件的一般（非KLT）变换的最优性。这个充分必要条件被证明有直接的联系，以及研究声源分离问题。这种观察可以影响声源分离本身，如新的最优性结果所示。本文将变换最优性条件与声源分离的算法工具相结合，导出了一种实用的数值方法来搜索信源编码中的最优变换。然后，我们专注于多端设置，{\it条件} KLT被证明具有一定的最优性高斯源。我们推导出最佳的正交变换的设置，边信息只提供给解码器，随着新的专门的结果特定的条件条件KLT的最优性。最后，我们考虑分布式信源编码，其中两个相关信源将被分别变换编码但联合解码。我们得到了正交变换最优性的充分必要条件。我们专门寻找最佳的正交变换，在这种情况下，特定的源密度，包括联合高斯源。
2012-06-18 cs.IT math.IT
One-Shot Coding and Applications
本研究扩展了Poisson函数表示在复杂场景中的应用，以推导一次信息论的可达结果，并应用于具有记忆但行为遍历的系统。
2025-11-24 cs.IT math.IT
The Likelihood Encoder for Lossy Source Compression
在这项工作中，似然编码器的有损信源压缩的背景下进行了研究。似然编码器的分析是基于软覆盖引理。它表明，使用的似然编码器与软覆盖引理提供了替代的可扩展性证明经典的信源编码问题。率失真函数与边信息在解码器（即Wyner-Ziv问题）的情况下仔细检查和似然编码器的应用程序的多终端信源编码内界（即Berger-Tung区域）的概述。
2014-04-23 cs.IT math.IT
An information-spectrum approach to joint source-channel coding
给定具有{ \em可数无限}信源字母表的一般信源$\sV=\{V^n\}\noi$和具有任意{ \em abstract}信道输入输出字母表的一般信道$\sW=\{W^n\}\noi$，从信息谱的角度研究信源信道联合编码问题.首先，我们推广了Feinstein引理（直接部分）和Verdú-Han引理（逆部分），使其适用于一般的联合信源信道编码问题。基于这些引理，我们建立了信源$\sV$在信道$\sW$上可靠传输且误差概率渐近为零的充分条件和必要条件.结果表明，我们的充分条件与Vembu，Verdú和Steinberg的充分条件一致，而我们的必要条件比他们的必要条件强得多.实际上，如果我们忽略这些条件中出现的一些渐近为零的项，我们的必要条件与我们的充分条件是一致的。此外，它表明，{ \em分离定理}在广义上总是成立。此外，我们还证明了$\vep$ -可传性（$0\le \vep <1$）的一个充分条件和一个必要条件.最后，证明了传统标准式的分离定理对于满足（半）强逆性质的信源和信道类是成立的。
2000-05-09 cs.IT math.IT math.PR
Successive Refinement Under Strong-Sense Perfect Perception
School of Automation and Intelligent Manufacturing, Southern University of Science and Technology（南方科技大学自动化与智能制造学院）
本文研究强感知完美感知约束下的连续细化有损信源编码，推导了率失真-感知区域，并证明伯努利信源在汉明失真下仍可连续细化。
2026-09-15 cs.IT math.IT
Correlated Sources over Broadcast Channels
可靠传输的相关源的广播信道，最初由韩和科斯塔研究的问题，是重新审视。给出了可靠传输的充分条件的另一种表征，其中包括Marton对广播信道上的信道编码和Gray和Wyner对分布式信源编码的结果。提出了一种基于联合典型性编解码的“最小化”编码方案，该方案不需要使用Cover的叠加编码、随机散列和两个信源之间的公共部分。编码方案的分析在概念上也是简单的，并依赖于一个新的多元覆盖引理和应用程序的傅立叶-Motzkin消除过程。
2009-12-22 cs.IT math.IT
Almost exact analysis of soft covering lemma via large deviation
本文研究了在相对熵和总变差距离作为偏差度量下的软覆盖引理。随机i.i.d.代码为软覆盖问题的问题，确定。本文中使用的证明技术显着不同于以往的技术，推导出精确的指数的软覆盖引理。将测度变换技巧（已广泛用于大偏差）应用于文献中已知的单次边界，可以得到精确阶的可解性。对于系综逆，导出了一些新的独立不等式，并再次应用了测度变换技巧。总变化距离的精确阶数与错误概率的精确阶数相似，从而在信道编码和软覆盖之间增加了另一个对偶性。最后，本文的结果不仅适用于有限字母表信道，而且适用于任何无记忆信道。
2019-02-21 cs.IT math.IT
Distributed and Cascade Lossy Source Coding with a Side Information "Vending Machine"
具有边信息“自动售货机”的信源编码是最近提出的框架，其中边信息和信源之间的统计关系可以由解码器控制，而不是像经典的Wyner-Ziv问题中那样被给定和固定。该控制动作由解码器基于由源节点编码的消息来选择。与传统的设置不同，该消息因此不仅可以携带关于要在解码器处再现的源的信息，而且可以携带旨在提高辅助信息的质量的控制信息。在本文中，与控制动作相关的速率，失真和成本之间的权衡分析扩展到两个基本的多端模型从以前研究的点对点设置。首先，研究了分布式信源编码模型，在该模型中，两个编码器通过速率受限的链路与解码器通信，解码器的边信息可以被控制。控制动作由解码器基于由两个源节点编码的消息选择。对于这种设置，内边界上的率失真成本区域推导出的两种情况下，其中边信息是可利用的因果关系和非因果关系在解码器。这些界限被证明是严格的特定假设下，包括的情况下，其中一个节点观察到的序列是一个函数的源观察到的其他和侧信息是因果关系在解码器。然后，一个级联的情况下，三个节点连接在一个级联和最后一个节点具有可控的边信息，也进行了研究。对于这个模型，率失真成本区域推导出一般的失真要求和假设的因果关系的边信息在最后一个节点的可用性。
2013-02-08 cs.IT math.IT
The Likelihood Encoder for Lossy Compression
在有损信源压缩的背景下研究了似然编码器。似然编码器的分析是基于软覆盖引理。它表明，使用的似然编码器与软覆盖引理产生简单的可扩展性证明经典的信源编码问题。本文研究了点到点率失真函数、解码端带边信息率失真函数（即Wyner-Ziv问题）和多终端信源编码内界（即Berger-Tung问题）的情况。此外，一个非渐近分析用于点到点的情况下，检查由这种方法提供的过度失真的上限。似然编码器还涉及到最近的替代技术，使用随机分箱的属性。
2016-04-05 cs.IT math.IT
Dual Domain Expurgated Error Exponents for Source Coding with Side Information
Centre Tecnològic de Telecomunicacions de Catalunya (CTTC)（加泰罗尼亚电信技术中心）；Eindhoven University of Technology（埃因霍温理工大学）；University of Cambridge（剑桥大学）；Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）
本文提出双域消除方法用于有辅助信息的信源编码，推导出两种消除误差指数，并展示其与Csiszár-Körner指数的一致性。
2026-02-24 cs.IT math.IT
One-Shot Broadcast Joint Source-Channel Coding with Codebook Diversity
University of Toronto（多伦多大学）
本文研究单次广播联合源信道编码问题，通过独立信道将源编码一次广播给K个解码器，至少一个解码器在最大失真约束下恢复源。发现使用不同解码器的不相交码本可带来码本多样性增益，提出利用该现象的编码方案，并通过二元对称信道的数值结果验证了混合方案的优越性。
2026-04-16 cs.IT math.IT
Channel Simulation and Distributed Compression with Ensemble Rejection Sampling
Department of Electrical and Computer Engineering, University of Toronto（电气与计算机工程系，多伦多大学）
本文提出基于集成拒绝采样的信道模拟与分布式匹配方案，实现近最优编码速率，并首次在拒绝采样家族中达到接近泊松匹配引理的匹配概率，通过分布式压缩实验验证有效性。
2025-10-07 cs.IT cs.LG math.IT
On Distributionally Robust Lossy Source Coding
该研究针对信源分布不确定下的有损编码问题，扩展 SFRL 并推导单次与渐近分布鲁棒编码方案，还给出 R-RDF 的隐式刻画、计算算法及 Bernoulli 信源解析基准。
2025-07-23 cs.IT math.IT
Source Coding Problems with Conditionally Less Noisy Side Information
由Heegard和Berger提出的率失真（RD）函数的可计算表达式已经回避了信息论近三十年。众所周知，Heegard和Berger的单字母可重复性界对于\emph{physically degraded}边信息是最优的;然而，不知道该界对于任意相关边信息（一般离散无记忆源）是否是最优的。在本文中，我们考虑一种新的设置，其中在一个接收机的边信息是\emph{conditionally less noisy}比边信息在其他。新的设置包括退化的边信息作为一个特殊的情况下，它的动机是由文献退化和噪声较小的广播信道。我们的主要贡献是一个逆证明的最优性Heegard和Berger的可扩展性界在一个新的设置。逆依赖于一定的\emph{single-letterization}引理，我们证明使用信息理论的伸缩身份{最近提出的克莱默}。我们还概括了两个不同的逐次求精问题的上述想法。
2012-12-11 cs.IT math.IT
Sharp Bounds for Mutual Covering
网络信息论中的一个基本工具是覆盖引理，它降低了在给定数量的独立生成的候选者中存在一对随机变量落在给定集合内的概率。我们使用加权和技巧和Talagrand的浓度不等式，以证明新的相互覆盖的界限。我们确定了两个有趣的应用：1）当给定的联合分布下的集合的概率有界远离0和1，覆盖概率收敛到1 \emph{doubly}指数快速的块长度，这意味着覆盖引理不会导致惩罚的错误指数在应用中的编码定理。2)使用霍尔的婚姻引理，我们表明，联合分布和覆盖概率下的集合的概率之间的最大差异等于一半的最小总变化之间的距离的联合分布和任何分布，可以通过选择一对从候选人模拟。因此，我们使用相互覆盖界来推导联合分布模拟问题的精确误差指数。在这两个应用中，精确指数（或双指数）行为的确定关键依赖于相互覆盖引理证明中使用的尖锐浓度不等式。
2019-04-16 cs.IT math.IT
