Mismatched Rate-Distortion Theory: Ensembles, Bounds, and General Alphabets
在本文中，我们考虑不匹配的率失真问题，其中的编码是使用一个码本，和编码器选择最小失真码字根据不匹配的失真函数，不同于真正的。对于离散无记忆信源的情况，我们使用多用户编码技术，即叠加编码和删除并行编码，建立可实现的率失真界限。我们研究的例子，这些达到匹配的率失真权衡，但一个标准的合奏与独立的码字未能做到这一点。另一方面，在对比的信道编码对应，我们表明，有结构化的随机码本的情况下，可以执行比他们的非结构化的同行。此外，在适应现有的和上述结果的困难，一般的字母表，我们认为一个更简单的i.i.d.随机编码系综，并建立其可实现的率失真界限一般字母。
2022-12-19 cs.IT math.IT
On Finite Block-Length Quantization Distortion
我们调查的上限和下限的量化失真的独立和同分布的源在有限块长度制度。基于率失真理论的凸优化框架，推导了有限块长度下的量化失真下界，该下界大于率失真理论给出的渐近失真。我们还推导了两个上界的量化失真的基础上的随机量化码本，它可以实现任何以上的渐近失真。此外，我们将新的上界和下界应用于两种类型的源，离散二元对称源和连续高斯源。对于二元对称源，我们得到了上界和下界的封闭表达式。对于高斯信源，我们提出了一种计算简便的方法来计算量化码本的上、下界，数值结果表明，对于合理的块长度，上、下界之间的差距很小，因此上、下界是紧的。
2013-06-20 cs.IT math.IT
One-Shot Broadcast Joint Source-Channel Coding with Codebook Diversity
University of Toronto（多伦多大学）
本文研究单次广播联合源信道编码问题，通过独立信道将源编码一次广播给K个解码器，至少一个解码器在最大失真约束下恢复源。发现使用不同解码器的不相交码本可带来码本多样性增益，提出利用该现象的编码方案，并通过二元对称信道的数值结果验证了混合方案的优越性。
2026-04-16 cs.IT math.IT
An Achievable Rate-Distortion Region for the Multiple Descriptions Problem
提出了一种多描述（MD）编码策略，并推导了可达率失真区域的内界。该方案使用线性码。它示出在两个不同的MD设置，线性编码方案实现了更大的率失真区域比以前已知的随机编码策略。此外，它示出了通过一个例子，最好的已知的随机编码方案的设置可以通过包括额外的随机生成的码本进行改进。
2014-02-10 cs.IT math.IT
Lossy Compression in Near-Linear Time via Efficient Random Codebooks and Databases
研究了基于随机码本或随机数据库的有损压缩算法的压缩复杂度权衡问题。受Gupta-Verdú-Weissman（GVW）最近的结果及其与Kontoyiannis的有损Lempel-Ziv算法的模式匹配方案的潜在联系的启发，我们引入了有损Lempel-Ziv方法的非通用版本（称为LLZ）。LLZ的最优无记忆源的建立，其性能相比，GVW分而治之的方法。实验结果表明，GVW方法通常比LLZ产生更好的压缩，但代价是更高的内存需求。为了结合两者的优点，我们引入了一种混合算法（HYB），它利用了GVW的分治思想和LLZ的单数据库结构。证明了HYB与GVW共享完全相同的率失真性能和实现复杂度，而像LLZ一样，需要较少的内存，通过一个可能成为无界的因素，取决于选择或相关的设计参数。实验结果也被提出，说明所有三种方法的性能上产生的数据由简单的离散无记忆源。特别是，HYB算法优于现有的计划，一些简单的离散源的压缩相对于汉明失真准则。
2009-04-21 cs.IT math.IT
$D$-semifaithful codes that are universal over both memoryless sources and distortion measures
我们证明了存在的d-半忠实有损压缩，同时是普遍的有限字母表的无记忆源类和类的所有有界附加失真措施的码书。通过应用独立的随机选择的码字根据所有的无记忆源的混合物，我们实现了冗余率是在O（log n/n）接近的经验率失真函数的每个给定的源向量相对于每个有界失真措施。正如上一节所述，主要思想还可以扩展到无记忆源之外，即设置由有限状态机编码的单个序列。
2022-03-07 cs.IT math.IT
The Likelihood Encoder for Source Coding
随机码本的似然编码器被证明是一种有效的信源编码工具。结合软覆盖引理（与信道可分辨性相关），似然编码器为已知结果（如率失真理论）提供简单的可分辨性证明。他们还产生了一个易于处理的安全率失真理论和强协调的分析。
2013-07-31 cs.IT math.IT
Concentric Permutation Source Codes
排列码是一类结构化矢量量化器，其编码过程基于对标量分量的排序，计算简单。使用包括若干置换码作为子码的码本保持了编码的简单性，同时增加了率失真操作点的数量，改善了操作点的凸包，并增加了设计复杂度。我们表明，当子码的设计具有相同的组成，优化的码本减少到一个单一的锥内的低维矢量量化器的设计。启发式降低设计复杂度，包括在形状增益矢量量化器与增益相关的包裹球形码本的速率分配的优化。
2010-06-23 cs.IT math.IT
The Generalized Asymptotic Equipartition Property: Necessary and Sufficient Conditions
假设由具有分布$P$的无记忆源$(X_n)_{n\geq 1}$生成的字符串$X_1^n=(X_1,X_2,...,X_n)$将使用具有分布$Q$的无记忆随机码本以不大于$D\geq 0$的失真被压缩。压缩性能由“广义渐近均分性质”（AEP）确定，AEP指出在$X_1^n$和任何给定码字$Y_1^n$之间找到$D$ -接近匹配的概率近似为$2^{-n R(P,Q,D)}$，其中速率函数$R(P,Q,D)$可以表示为相对熵的下确界。这里的主要目的是消除各种限制性假设的有效性，这一结果已经出现在最近的文献。在抽象字母表和无界失真测度的一般情况下，给出了广义AEP的充要条件。考虑所有可能的失真水平$D\geq 0$;源$(X_n)_{n\geq 1}$可以是平稳的和遍历的;并且码本分布可以具有记忆。此外，匹配概率的行为的精确特征，即使当广义AEP是无效的。率函数$R(P,Q,D)$的自然特征是在同样一般的条件下建立的。
2007-11-16 cs.IT math.IT
Lossy Compression via Sparse Linear Regression: Performance under Minimum-distance Encoding
我们研究了一类新的编码的有损压缩与平方误差失真准则，设计使用的统计框架的高维线性回归。码字是设计矩阵的列的子集的线性组合。这种结构被称为稀疏叠加或稀疏回归码本，其动机是Barron和Joseph最近提出的用于AWGN信道上通信的类似结构。对于i.i.d高斯源和最小距离编码，我们表明，这样的代码可以达到香农率失真函数的最佳误差指数，低于指定值的所有失真。它还表明，稀疏回归码在以下意义上是鲁棒的：设计用于压缩具有（平方误差）失真$D$的i.i.d高斯方差源$σ^2$的码本可以将小于$σ^2$的任何遍历方差源压缩到失真$D$内。因此，稀疏回归系综保留了i.i.d随机高斯系综的许多良好的覆盖特性，同时具有在矩阵方面的紧凑表示，该矩阵的大小是块长度中的低阶多项式。
2015-12-18 cs.IT math.IT stat.ML
Non-Asymptotic Converse Bounds and Refined Asymptotics for Two Lossy Source Coding Problems
在本文中，我们重新审视两个多终端有损信源编码问题：在编码器和两个解码器之一的侧信息可用的有损信源编码问题，我们称之为Kaspi问题（Kaspi，1994），和一个半确定性失真度量的多描述编码问题，我们称之为Fu-Yeung问题（Fu and Yeung，2002）。对于Kaspi问题，我们首先给出了最优测试通道的性质。随后，我们将有损信源编码问题的失真倾斜信息密度的概念推广到Kaspi问题，并利用最优测试信道的性质和定义良好的失真倾斜信息密度证明了一个非渐近逆界.最后，对于离散无记忆源，我们得到了精细渐近，其中包括二阶，大，中偏差渐近。在二阶渐近性的逆证明中，我们将Berry-Esseen定理应用于导出的非渐近逆界。首先证明一个适合于Kaspi问题的类型覆盖引理，然后适当地泰勒展开定义良好的扭曲倾斜信息密度，最后应用Berry-Esseen定理。然后，我们将Kaspi问题中使用的方法推广到Fu-Yeung问题。得到了最小和率函数的最优测试通道的性质、离散无记忆信源的非渐近逆界和精细渐近性。由于逐次加细问题是Fu-Yeung问题的一个特例，作为副产品，我们获得了逐次加细问题的非渐近逆界，这是逐次加细源的非渐近逆界的严格推广（Zhou，Tan和Motani，2017）。
2017-08-18 cs.IT math.IT
The Henchman Problem: Measuring Secrecy by the Minimum Distortion in a List
本文基于率失真理论提出了一种新的信息理论保密措施，并在Shannon密码系统的背景下对其进行了研究。而率失真理论是传统上关注一个单一的重建序列，在这项工作中，我们假设一个窃听者产生一个列表的$2^{nR_{\sf L}}$重建序列和测量保密的最小失真在整个列表。我们表明，这种设置是相当于一个窃听者必须重建一个单一的序列，但也收到侧信息的源序列和公共消息从一个速率有限的追随者（一个助手的对手）。我们刻画了秘密密钥速率、列表速率和窃听者失真的最佳折衷。解决方案取决于一个独立的兴趣问题：有损压缩的码字均匀地从随机码本。我们还描述了有损通信版本的问题，其中失真是允许在合法的接收器的解决方案。在这两种设置的分析是大大有助于最近的技术证明信源编码的结果与使用的似然编码器。
2014-11-24 cs.IT math.IT
On the Rényi Rate-Distortion-Perception Function and Functional Representations
University of Granada（格拉纳达大学）
本文扩展了率-失真-感知框架至Rényi信息论领域，利用Sibson的α-互信息表征在失真和感知约束下的基本限制，推导了标量高斯源的Rényi RDP函数闭式表达式，并建立了Rényi广义的强函数表示引理。
2026-05-10 cs.IT math.IT
A General Framework for Transmission with Transceiver Distortion and Some Applications
提出了一个通用的理论框架来分析无记忆收发器失真的高斯信道上的信息传输，其中包括各种非线性失真模型，包括发送侧限幅，接收侧模数转换，和其他。该框架是基于所谓的广义互信息（GMI），和分析，特别是受益于高斯码本合奏和最近邻解码的设置，它是建立的GMI采取一般形式类似于未失真的高斯信道的信道容量，具有降低的“有效”的信号-噪声比（SNR），取决于标称SNR和失真模型。当应用到特定的失真模型，一系列的工程相关的结果。对于只有发射端失真的信道，它示出了一个传统的方法，它把失真的信号作为原始信号部分和不相关的失真部分的总和，实现了GMI。对于具有输出量化的信道，获得了有效信噪比和GMI的封闭形式的表达式，并制定和解决量化器设计的相关优化问题。最后，超奈奎斯特采样的一般框架内进行了分析，它表明，超过奈奎斯特速率的采样增加了GMI的所有SNR。例如，在二进制对称输出量化的情况下，通过以四倍于奈奎斯特速率的速率对输出进行采样，可以实现每个信道使用超过一位的信息速率。
2011-04-12 cs.IT math.IT
Asymptotically Optimal Stochastic Lossy Coding of Markov Sources
本文提出了一种有效的基于字符串匹配技术的马尔可夫信源随机有损编码机制。早期的工作已经表明，率失真界限可以通过“自然类型选择”（NTS）机制渐进地实现，该机制迭代地编码渐进长源串（来自未知源分布P），并且在观察K个码字的集合以“d-匹配”之后，根据最大似然分布框架重新生成码本（即，满足K个源字的相应集合的失真约束。这一结果后来被推广到具有记忆的源，假设源字必须包含源超字母表上的渐近长度向量（或超符号）序列，即，该源被认为是矢量源。然而，较早的结果具有显著的实际缺陷，更具体地，它需要将超级符号（以及相应地超级字母表）长度扩展到无穷大，以便实现速率失真界限，即使对于有限存储器源，例如，马尔科夫来源这意味着NTS迭代的复杂性将超出任何实际能力，从而损害NTS算法在具有存储器的源的实际场景中的承诺。这项工作描述了一个更加有效和易于处理的机制，以实现渐进的最佳性能给定的内存约束，在一个实际的框架内量身定制的马尔可夫源。更具体地，该算法在具有规定阶的马尔可夫特性的分布的约束集合内渐近地找到最佳码本再现分布，该分布在保持指定失真水平的同时实现最小的每个字母编码率。
2023-01-15 cs.IT eess.SP math.IT
Universal Variable-to-Fixed Length Lossy Compression at Finite Blocklengths
我们考虑了具有保真度准则的无记忆信源的通用变长到定长压缩。我们设计了一个字典码本的再现字母表，这是用来解析的源流。一旦源子序列在字典码字的指定失真内，码字的索引就被发出作为再现的串。我们建议的字典由覆盖类型类的边界过渡从低到高的经验损耗率。对于足够大的字典，我们推导出我们的编码方案的ε-编码率（直到三阶项）的渐近性。
2022-11-22 cs.IT math.IT
Lossy Compression via Sparse Linear Regression: Computationally Efficient Encoding and Decoding
我们提出了计算效率的编码器和解码器的有损压缩使用稀疏回归码。码本由设计矩阵定义，并且码字是该矩阵的列的结构化线性组合。所提出的编码算法顺序地选择设计矩阵的列来连续地近似源序列。它示出，以实现最佳的失真率函数独立同分布高斯源下的平方误差失真准则。对于给定的速率，可以改变设计矩阵的参数以在失真性能与编码复杂度之间进行权衡。作为块长度n的函数的这种折衷的示例如下。对于每个源样本的计算资源（空间或时间）为O（（n/ \log n）^2），对于高斯失真率函数以上的固定失真水平，过度失真的概率在n中呈指数衰减。稀疏回归码在以下意义上是鲁棒的：对于任何遍历源，所提出的编码器实现了具有相同方差的i.i.d高斯源的最佳失真率函数。仿真结果表明，该编码器具有良好的经验性能，特别是在低速率和中等速率。
2014-03-28 cs.IT math.IT stat.ML
A Universal Random Coding Ensemble for Sample-wise Lossy Compression
我们提出了一个通用的合奏随机选择率失真码，这是渐近最优的样本明智的意义。根据该系综，在与$2^{-LZ(\hbx)}$成比例的概率分布下随机独立地选择每个再现矢量$\hbx$，其中$LZ(\hbx)$是属于Lempel-Ziv（LZ）算法的1978版本的$\hbx$的码长。我们表明，与高概率，由此产生的码本产生的渐近最佳可变速率有损压缩计划下的任意失真措施，在这个意义上，匹配的逆定理也成立。根据逆定理，即使解码器预先知道源向量的$\ell$阶类型（$\ell$是大的但固定的正整数），对于表示相同类型的所有源向量的绝大多数码字，上述码的性能也不能得到本质上的改善。最后，我们提供了一个讨论我们的结果，其中包括，除其他事项外，一个比较的编码方案，选择再生矢量中的所有向量，在允许的失真从源向量的LZ码长度最短。
2022-12-23 cs.IT math.IT
A Simple Proof for the Existence of "Good" Pairs of Nested Lattices
本文提供了一个简化的证明存在嵌套格码本允许实现的加性高斯白噪声信道的容量，以及最佳率失真折衷的高斯源。证明是独立的，只依赖于基本的概率和几何参数。嵌套格，这是不同的，更基本的，比以前的证明中使用的一个合奏。该集成基于使用构造A将线性码的不同子码提升到欧几里得空间。除了更简单之外，我们的分析对加性噪声是高斯的假设不太敏感。特别是，对于加性遍历噪声信道，它示出的嵌套格编码方案的可实现的速率取决于噪声分布仅通过其功率。类似地，嵌套格型信源编码方案对于具有相同二阶矩的所有遍历信源获得相同的率失真折衷。
2015-08-07 cs.IT math.IT
Source Coding, Large Deviations, and Approximate Pattern Matching
我们提出了一个发展的部分率失真理论和模式匹配算法的有损数据压缩，围绕着一个有损版本的渐近均分属性（AEP）。这种处理与无损压缩的相应发展密切相关，这是Wyner和Ziv在1989年的一篇重要论文中提出的观点。在无损的情况下，我们审查如何AEP的Lempel-Ziv算法的分析基础，将其视为一个随机码，并减少它的理想化香农码。这也提供了关于Lempel-Ziv算法的冗余和几个相关量的渐近行为的信息。在有损的情况下，我们给出了各种版本的广义AEP的声明，我们概述了其证明通过大偏差的一般方法。本文还讨论了它与Barron广义AEP的关系。有损AEP被应用于：（i）证明加强版本的Shannon信源编码定理和通用编码定理;（ii）表征失配码本的性能;（iii）分析有损压缩的模式匹配算法的性能;（iv）确定等待时间的一阶渐近性（具有失真）;（v）将加权码本的最佳可达率表征为最优球覆盖指数。然后，我们提出了一个改进的有损AEP和使用它：（i）证明二阶编码定理;（ii）表征哪些源更容易压缩;（iii）确定二阶渐近的等待时间;（iv）确定最长匹配长度的精确渐近行为。对随机场也作了推广。
2001-03-02 cs.IT math.IT math.PR
Gaussian Rate-Distortion-Perception Coding and Entropy-Constrained Scalar Quantization
本文研究高斯率-失真-感知函数的已知界，证明其非退化性，给出Wasserstein-2距离下的改进下界，并揭示这些界在弱感知约束下通常不紧。
2024-09-04 cs.IT cs.LG math.IT
Ensemble-Tight Second-Order Asymptotics and Exponents for Guessing-Based Decoding with Abandonment
本文研究带弃权的猜测式解码，推导其系综紧致一阶与二阶渐近、误差及强逆指数，证明在信道容量超过输入分布熵一半时优于传统测试式解码。
2025-08-08 cs.IT math.IT
The physical language of molecular codes: A rate-distortion approach to the evolution and emergence of biological codes
生物体的功能取决于其信息处理网络的性能，该网络通过分子识别传递信息。这些网络中的许多路径利用分子密码本，如遗传密码，将一类分子中的信息翻译成另一种分子“语言”。本文探讨了率失真理论的分子码的出现和演变，并回顾了这种方法的最新成果。我们讨论了如何通过优化其分子编码机制来最大限度地提高生物体适应性的生物学问题等价于设计最佳信息通道的通信工程问题。分子密码的适应性考虑了通道的质量和生物体在构建和维护通道时所需投入的资源成本之间的相互作用。我们分析了一个种群的生物体，根据其代码的健身竞争的动态。该模型提出了一个通用的机制出现的分子代码作为一个相变的信息通道。这种机制被放入生物学背景下，并在一个简单的例子中证明。
2010-07-26 cs.IT math.IT physics.bio-ph
Volume of Metric Balls in High-Dimensional Complex Grassmann Manifolds
度量球的体积与码的率失真理论和填充边界有关。本文对任意半径的复格拉斯曼流形中球的体积进行了计算。球被定义为一组超平面的一个固定的维度参考一个中心的可能不同的维度，和广义弦距离不等维子空间被使用。首先，体积被简化为一维积分表示。整个问题归结为评估与子空间维度相同大小的矩阵的行列式。解释这个行列式作为一个特征函数的雅可比系综，进行了渐近分析。此外，使用矩匹配技术，以提供一个更紧密的近似在有限大小的制度，得到的渐近体积细化。最后，通过对Grassmann流形上信源编码的率失真分析，说明了所得结果的相关性。
2015-08-02 cs.IT math.IT
A Comparative Study of Unipolar OFDM Schemes in Gaussian Optical Intensity Channel
研究了在平均光功率约束下，具有高斯噪声的离散时间光强信道中单极正交频分复用（OFDM）的信息速率。几个单，双，和多分量单极OFDM方案被认为是假设独立同分布（i.i.d.）使用高斯或复高斯码本集合和最近邻解码（最小欧几里德距离解码）。我们得到了一系列的信息率结果。这些结果验证了现有的信号噪声和失真比（SNDR）为基础的速率分析，建立某些计划的信息速率的等效性，并证明了在高信噪比（SNR）使用组件复用的明显好处。对于双分量和多分量方案，研究了使信息速率最大化的分量功率分配策略。特别是，通过利用功率分配策略，我们证明了几个多分量方案的方法的高信噪比容量的离散时间高斯OIC平均功率约束下，在0.07比特。
2018-01-04 cs.IT math.IT
Rate-Distortion Guided Knowledge Graph Construction from Lecture Notes Using Gromov-Wasserstein Optimal Transport
College of Computing and Informatics（计算与信息学院）；Drexel University（德雷塞尔大学）；Lynch School of Education and Human Development（教育与人类发展学院）；Department of Computer Science（计算机科学系）；Boston College（波士顿学院）
针对非结构化教育材料转关键教学内容KG的难题，提出基于率失真理论和FGW最优传输的构建优化框架，通过度量-测度空间建模内容、FGW耦合对齐候选KG、优化算子最小化率失真拉格朗日函数，生成的KG使MCQ质量在15项标准上优于原始材料。
2025-11-18 cs.AI cs.IT math.IT
Rate-Distortion Theory of Gaussian Mixtures via Posterior Label Sampling
该研究针对有限高斯混合模型的均方误差率失真函数，提出吉布斯重标记方法与随机标量量化方案，证明其可达到香农下界，量化有限码本代价并通过数值结果验证。
2026-10-14 cs.IT math.IT
Learned layered coding for Successive Refinement in the Wyner-Ziv Problem
Vrije Universiteit Brussel (VUB)（布鲁塞尔自由大学（VUB））；imec（比利时微电子研究中心）
针对Wyner-Ziv逐次精化编码问题，提出基于循环神经网络的学习型分层编码方法，通过最小化率失真函数变分界训练，性能接近率失真界且可得到分层分箱解。
2023-11-06 cs.IT cs.LG math.IT
The Dispersion of Mismatched Joint Source-Channel Coding for Arbitrary Sources and Additive Channels
我们考虑了一个联合信源信道编码（JSCC）问题，在这个问题中，我们希望在一个任意的附加信道上传输一个任意的无记忆信源。我们提出了一个不匹配的编码架构，包括高斯码本的源再现序列和信道码字。然而，自然最近邻编码器和解码器，需要明智地修改，以获得最高的通信速率在有限的块长度。特别是，我们考虑了不等错误保护（UEP）计划，其中所有的源被划分为不相交的功率类型类。我们还正则化的最近邻解码器，以便在解码策略中考虑到每个功率类型类的大小的适当的措施。对于这样一个架构，我们得出合奏紧二阶和中等偏差的结果。我们的一阶（最佳带宽扩展比）结果推广了Lapidoth（1996，1997）的开创性结果。我们的JSCC方案的色散是Scarlett，Tan和Durisi（2017）的信道编码鞍点问题和本作者的率失真鞍点问题的失配色散的线性组合，因此也推广了这些结果。
2018-08-31 cs.IT math.IT
Constructive Approaches to Perception-Aware Lossy Source Coding: Information-Theoretic Guidelines
McMaster University（麦克马斯特大学）；Texas A&M University（德克萨斯农工大学）；University of Michigan（密歇根大学）
本文探讨了基于信息论原理的构造性方法，用于开发感知-aware的有损源编码，通过率-失真-感知理论指导设计可实现的编码方案，并通过实例说明关键概念和权衡。
2026-04-21 cs.IT math.IT
Variable-Length Joint Source-Channel Coding for Semantic Communication
针对数字语义通信中联合信源信道编码（JSCC）连续编码表示与离散可变长度码字系统不兼容的问题，本文提出端到端编码（E2EC）框架，基于扩展信息瓶颈理论构建可训练编码器，实验证明其低比特率下推理质量优于基线。
2025-11-11 cs.IT math.IT
Task-Sufficient Contraction: Source Selection for Machine Information Interfaces
Ericsson Ireland（爱立信爱尔兰）
本文提出任务充分收缩概念，通过任务预定义的源缩减保留完整下游问题，在有限动作集和二次损失下给出精确刻画，支持异构机器按需交换信息。
2026-10-08 cs.IT cs.LG math.IT
