Benefiting from Disorder: Source Coding for Unordered Data
字母的顺序在沟通任务中并不总是相关的。本文讨论了阶数无关性对信源编码的影响，给出了信源编码理论的几个主要分支的结果：无损编码，通用无损编码，率失真，高速率量化和通用有损编码。主要结论表明，有一个显着的节省率时，顺序是无关紧要的。具体地，来自有限字母表的n个字母的无损编码需要Theta（log n）比特，并且对于许多可数字母表源，通用无损编码需要n + o（n）比特。然而，没有通用的方案，可以驱动一个强大的冗余措施为零。有损编码的结果包括在各种高速率量化方案中从阶无关性节省速率的分布自由表达式。率失真界给出，它表明，类似的香农下界是松散的，在所有有限的速率。
2007-08-17 cs.IT math.IT
Lossless Coding with Generalised Criteria
本文提出了一种最小化各种准则的前缀码，它们被构造为最大码字长度和平均码字长度或最大冗余度和平均冗余度的凸组合，包括码字长度的指数函数的平均值和平均冗余度的凸组合。这个框架包括作为一个特殊的情况下，以前在文献中研究的几个标准，而通用编码的关系进行了讨论。推导出的编码算法是参数化的，导致根据合并规则通过加权概率向量重新调整初始源概率。期望的合并水平在最大码字长度有界的应用中具有含义。
2011-02-10 cs.IT math.IT
Lossless Source Coding in the Point-to-Point, Multiple Access, and Random Access Scenarios
本文研究了有限块长度体制下的点到点、多址和随机存取无损信源编码。在每种情况下，随机编码技术的开发和使用三阶编码性能分析。渐近的结果包括一个三阶表征的Slepian-Wolf率区域与改进的逆依赖于连接到复合假设检验。对于非独立信源，该结果表明Slepian-Wolf码所使用的独立编码器可以实现与单个联合编码器相同的三阶最优性能。随机接入信源编码的概念被引入以将多址（Slepian-Wolf）信源编码推广到编码器独立地决定是否参与并且参与编码器的集合对于编码器和解码器都是未知的{ \em先验}的情况。所提出的随机接入信源编码策略采用无速率编码和调度反馈。一个随机编码参数证明了存在一个单一的确定性代码的这种结构，同时实现了三阶最佳Slepian-Wolf性能为每个可能的活动编码器集。
2020-10-10 cs.IT math.IT
Lossless Secure Source Coding: Yamamoto's Setting
给定一个私有信息源$X^n$和一个公共相关信息源$Y^n$，我们研究了将二维源$(X^n, Y^n)$编码为索引$J$的问题，使得知道$J$和一些外部辅助信息$Z^n$的远程方，可以丢失地恢复$Y^n$，而任何知道$J$和可能相关的边信息$E^n$的窃听者可以检索关于$X^n$的非常少的信息。我们给出了一般的逆结果的信息量$X^n$，可能会被泄露在这样的系统，并在某些特殊情况下是最佳的可扩展性的结果。
2015-10-06 cs.IT math.IT
Row-Centric Lossless Compression of Markov Images
出于最近推出的缩减割集编码（RCC）是否提供了比传统的基于上下文的条件编码与二维马尔可夫结构的源的速率复杂度性能的好处的问题，本文比较了几个行为中心的编码策略，不同的条件的量，以及是否使用模型或经验表中的行块的编码。结论是，至少对于表现出低阶相关性的源，单侧基于模型的条件编码对于给定的复杂度约束优于RCC方法，并且常规的基于上下文的条件编码几乎与单侧基于模型的编码一样好。
2017-02-26 cs.IT math.IT
Delay and Redundancy in Lossless Source Coding
研究了在无记忆信源的无损信源编码中施加有限时延约束所带来的代价。众所周知，对于所谓的块到变量和变量到变量码，冗余度最多随延迟多项式衰减，其中在这种情况下，延迟分别与源块长度或最大源短语长度相标识。与此形成鲜明对比的是，对于顺序码（例如，延迟受限算术码），可以使冗余随延迟约束指数衰减。相应的冗余延迟指数被证明是至少一样好的Rényi熵的顺序2的源，但（几乎所有的源）不优于一个数量取决于最小的源符号概率和字母表的大小。
2014-07-23 cs.IT math.IT
Timely Lossless Source Coding for Randomly Arriving Symbols
我们考虑一个实时流信源编码系统，其中编码器观察来自i.i.d.源，并将二进制码字馈送到FIFO缓冲器，FIFO缓冲器每时间单位向解码器输出一位。每个源符号表示源的状态更新，并且系统的及时性由信息年龄（AoI）量化，AoI定义为当前时间与解码器输出处的最新符号的生成时间之间的时间差。当FIFO缓冲区为空时，基于对离散时间Geo/G/1队列的分析，提出了一种最小化平均峰值年龄的无前缀无损编码方案.对于更实际的情况下，其中一个特殊的码字被保留用于指示一个空的缓冲区，我们提出了一个编码方案，分配一个码字的空缓冲区状态的基础上的估计的缓冲区空闲时间。
2018-10-02 cs.IT math.IT
Linear-Codes-Based Lossless Joint Source-Channel Coding for Multiple-Access Channels
提出了一种基于线性码和随机交织器的多址信道联合无损信源-信道编码（JSCC）方案，并对其进行了分析。通过信息谱方法和码谱方法，证明了具有良好联合谱的线性码可用于建立相关一般信源和一般MAC的接近极限的无损JSCC方案，其中联合谱是输入输出权分布的推广.研究了具有良好联合谱的线性码的一些性质。导出了具有良好联合谱的线性码的“距离”性质的一个公式，并在此基础上进一步证明了任何具有良好联合谱的系统码的码率不可能大于相应字母基数的倒数，任何稀疏生成矩阵都不可能产生具有良好联合谱的线性码.文中还讨论了任意码率编码方案的设计问题。本文提出了一种新的思想，即“广义删余”思想，使得一个好的低速率线性码就足以设计多速率编码方案成为可能。最后，在码谱方法建立的统一框架下，对MAC码的各种编码问题进行了综述，并根据这些问题的频谱要求，给出了良好线性码的标准和候选码。
2009-03-31 cs.IT math.IT
Tight Bounds for Symmetric Divergence Measures and a Refined Bound for Lossless Source Coding
几个对称的发散措施的紧界导出的总变化距离。它示出，这些边界中的每一个是由一对2或3元概率分布。无损信源编码的这些界限的应用提供了，精炼和改进的Csiszár的某个界限。这些界限的另一个应用最近由Yardi介绍。等用于信道码检测。
2015-03-11 cs.IT math.IT math.PR
Depth Sequence Coding with Hierarchical Partitioning and Spatial-domain Quantisation
用于多视图视频加深度（MVD）架构的3D-HEVC中的深度译码（i）归因于块层级边缘近似而使对象形状变形;（ii）由于未能利用强同质性而错过在接近无损质量下的高可压缩性的机会（聚类趋势）在帧级的深度句法、运动矢量分量和残差中;以及（iii）由于纹理深度编码依赖性，限制了交互性并且限制了对于“非观看”应用独立使用深度信息的响应性。本文提出了一种独立的深度序列编码器，其在无损到接近无损的质量范围内操作，同时压缩优于有损3D-HEVC的深度数据。它保留隐式的边缘限制量化的空间域和利用聚类趋势有效地在帧级与一种新的二叉树分解（BTBD）技术。对于标准MVD测试序列的单视图编码，平均而言，（i）无损BTBD使用最低量化参数$QP = 1$实现了相对于伪无损3D-HEVC的$\times 42.2$压缩比和$-60.0\%$编码增益，以及（ii）相对于3D-HEVC，近无损BTBD分别实现了$-79.4\%$和$6.98$ dB Bjøntegaard增量比特率（BD-BR）和失真（BD-PSNR）。在视图合成应用中，与3D-HEVC相比，来自BTBD的解码深度图呈现了更高质量的合成视图，平均具有$-18.9\%$深度BD-BR和$0.43$ dB合成纹理BD-PSNR。
2018-01-08 cs.IT math.IT
Variable Length Lossless Coding for Variational Distance Class: An Optimal Merging Algorithm
在本文中，我们考虑无损信源编码的一类源指定的总变距离球中心在一个固定的名义概率分布。我们的目标是找到一个最小最大平均长度的源代码，其中的最小值是码字长度-实数算术或香农码-而最大值是从总变距离球的源分布。首先，我们研究的最大化的平均码字长度将其转化为一个等价的优化问题，我们给出了最佳的码字长度通过注水解决方案。其次，我们证明了等价的优化问题可以通过源字母表的最佳划分，以及固定标称概率的重新归一化和合并来解决。对于最佳码字长度的计算，我们还开发了一个快速算法的顺序${\cal O}(n)$的计算复杂性。
2013-01-24 cs.IT math.IT
Timeliness in Lossless Block Coding
我们研究无损数据压缩从平均延迟的角度来看。编码器每单位时间从i.i.d.接收一个输入符号。源，并将二进制码字提交给FIFO缓冲器，FIFO缓冲器以固定速率将比特传输到接收器/解码器。编码器处的每个输入符号被源视为状态更新，并且系统性能由状态更新年龄表征，状态更新年龄被定义为解码器输出滞后于编码器输入的时间单位（符号）的数量。平均状态年龄的上界是从具有延迟的流信源编码中的错误概率的指数界导出的。除了描述误差收敛的误差指数的影响外，该上界还与误差概率中的常数乘子项成比例。然而，错误指数不会导致一个准确的描述状态年龄为小延迟和小块长度。通过将流信源编码系统转化为D/G/1排队系统，提出了一种基于平均年龄近似的年龄最优分组编码方案。我们比较这个方案的错误指数最佳编码方案，使用的方法类型。我们表明，最大化的错误指数是不等于最小化的平均状态年龄。
2018-02-26 cs.IT math.IT
A Novel Rate Control Algorithm for Onboard Predictive Coding of Multispectral and Hyperspectral Images
预测编码由于其低计算复杂性、适度的存储器要求和在逐像素基础上精确控制质量的能力而对于航天器上的压缩是有吸引力的。传统上，预测压缩集中在无损和近无损操作模式，其中最大误差可以被限制，但压缩图像的速率是可变的。速率控制被认为是预测编码器的一个具有挑战性的问题，这是由于反馈回路中的量化和预测之间的依赖性，以及缺乏将信号的能量打包到几个系数中的信号表示。在本文中，我们表明，它是可能的设计一个速率控制方案旨在板载实现。特别是，我们提出了一个通用的框架来选择量化器在每个空间和光谱区域的图像，以达到所需的目标速率，同时最大限度地减少失真。速率控制算法允许实现有损、近无损压缩和任何介于两者之间的压缩类型，例如，具有近无损约束的有损压缩。虽然这个框架是独立的具体预测所使用的，为了显示其性能，在本文中，我们将其调整到CCSDS-123无损压缩标准所采用的预测，获得一个扩展，允许在一个单一的包中执行无损，近无损和有损压缩。我们表明，速率控制器具有优异的性能，在输出速率，率失真特性的精度方面，是非常有竞争力的国家的最先进的变换编码。
2014-01-14 cs.IT math.IT
User Preference Aware Lossless Data Compression at the Edge
数据压缩是节省数据存储和传输成本的有效技术。然而，传统的数据压缩方法总是忽略用户偏好对链路上传输的符号的统计分布的影响。请注意，随着大数据技术的发展和智能设备的普及，可以根据从个人手机收集的数据分析用户偏好。本文提出了一种用户偏好感知的无损数据压缩方法，称为边缘信源编码，在网络边缘压缩数据。用公式表示优化问题以最小化在边缘信源编码中表示所请求的内容项所需的期望比特数。针对离散用户偏好下的边缘信源编码，提出了基于凸函数差规划算法（DCA）和基于k-means++的码书设计算法。对于连续用户偏好下的边缘信源编码，采用采样方法设计码书。此外，边缘信源编码被扩展到两个用户的情况下，精心设计的码本，以利用组播的机会。理论分析和仿真结果表明，最优码本设计应考虑用户的偏好。
2019-03-29 cs.IT math.IT
The price of ignorance: The impact of side-information on delay for lossless source-coding
受加密信源压缩背景的启发，本文考虑了带边信息的无损信源编码的速率、端到端延迟和错误概率之间的一般折衷。端到端延迟的概念通过考虑顺序设置而变得精确，在该顺序设置中，源符号被实时的揭示并且需要在解码器处在某个固定延迟要求内被重构。上界推导出的可靠性函数的延迟时，边信息是已知的解码器，以及当它也是已知的编码器。当编码器并非不知道边信息时（包括当没有边信息时的平凡情况），可以在所有速率下在延迟和错误概率之间具有实质上更好的折衷。这表明，当编码器不知道边信息时，在端到端延迟方面存在无知的基本代价。如果只考虑固定块长度的代码，这种效果是不可见的。这样，信源编码中的边信息起到类似于信道编码中的反馈的作用。虽然本文中的定理是渐近的长延迟和低概率的错误，一个例子是用来表明，这里所描述的定性效果是显着的，即使在短期和中度延迟。
2007-12-06 cs.IT math.IT
Multiterminal Source Coding with an Entropy-Based Distortion Measure
在本文中，我们考虑一类多端信源编码问题，每个问题都受到使用特定的，基于熵的失真度量计算的失真约束。我们提供了可实现的率失真区域的两种情况下，在这样做，我们证明了有损多端信源编码问题与我们的具体失真措施和（1）规范Slepian-Wolf无损分布式信源编码网络之间的关系，（2）Ahlswede-Körner-Wyner信源编码与边信息问题，其中只有一个源被恢复losslessly。
2011-05-31 cs.IT math.IT
Improved Bounds on Lossless Source Coding and Guessing Moments via Rényi Measures
本文给出了在有限集上取值的随机变量的最优猜测矩的上、下界。这些矩量化了正确识别未知物体所需的猜测次数，类似于Arikan的界限，它们用Arimoto-Rényi条件熵表示。虽然Arikan的界是渐近紧的，但本文对界的改进在非渐近状态下是有意义的。最优猜测函数的矩和MAP错误概率之间的关系也被建立，表征其可达值的精确轨迹。最佳猜测矩的界用于改善无前缀约束的固定到可变最佳无损信源编码的码字长度的累积量生成函数的非渐近界。离散无记忆源的可靠性函数的非渐近界的推导。依靠这些技术，推导出的码字长度的累积量生成函数的下限，通过平滑雷尼熵，允许解码错误的源代码。
2018-06-21 cs.IT math.IT
Separation of source-network coding and channel coding in wireline networks
本文证明了有线网络中信源网络编码与信道编码的分离。对于这项工作的目的，有线网络是任何网络的独立的，无记忆的，点对点的，有限字母表的信道用于传输相关的来源，无论是losslance或受到失真约束。在推导这一结果时，我们还证明了在具有相关源的一般无记忆网络中，无损和零失真重建是等价的，只要每个源的条件熵给定其他源是非零的。此外，我们将分离结果扩展到连续字母表，点对点信道，如加性高斯白噪声（AWGN）信道的情况。
2012-12-18 cs.IT math.IT
Analysis and Enhancement of Lossless Image Compression in JPEG-XL
本文评估并改进 JPEG XL 无损压缩，通过修改代码库发现一种预测方法可在特定图像类型上提升压缩比，为未来无损压缩优化提供参考。
2024-04-30 cs.IT math.IT
Optimal Merging Algorithms for Lossless Codes with Generalized Criteria
本文提出了无损前缀码优化支付标准组成的最大码字长度和平均码字长度的凸组合。最佳码字长度是基于一种新的编码算法，该算法根据合并规则将初始源概率向量转换为新的概率向量。该编码算法等价于将源字母表划分为不相交的集合，在该集合上，新的变换后的概率向量被定义为初始源概率向量和标量参数的函数。所考虑的支付标准包括最大和平均码字长度之间的权衡;它与由平均码字长度和平均码字长度的指数函数的凸组合组成的支付标准有关，并且与受到有限长度约束的平均码字长度支付标准有关。第一个相关的支付的一个特殊情况是连接到编码问题，涉及源概率的不确定性和码字溢出概率，而第二个相关的支付恭维有限长度的霍夫曼编码算法。
2012-08-06 cs.IT math.IT
Lossless compression with state space models using bits back coding
University College London（伦敦大学学院）；University of Edinburgh（爱丁堡大学）
我们推广的“位回ANS”方法的时间序列模型的潜在马尔可夫结构。这类模型包括隐马尔可夫模型（HHMM）、线性高斯状态空间模型（LGSSM）等。我们提供的实验证据表明，我们的方法是有效的小规模的模型，并讨论其适用性较大规模的设置，如视频压缩。
2021-05-04 cs.AI cs.IT cs.LG
Broadcast Approach Meets Network Coding for Data Streaming
对于数据流应用，现有的解决方案还不能缩小高数据率和低延迟之间的差距。本文研究了具有延迟反馈的单通道混合延迟约束下的数据流问题。提出了一种新的分层自适应因果随机线性网络编码（LAC-RLNC）方法。LAC-RLNC是变量到变量编码方案，即，提出了在可变短块长度和速率上在接收机处的可变恢复信息数据。具体而言，对于具有内容的基础层和增强层的数据流，我们表征了由自适应因果分层编码方案管理的高维吞吐量-延迟权衡。基础层被设计为满足严格的延迟约束，因为它包含允许流服务所需的数据。然后，发送方可以通过调整重传率的先验和后验的增强层，其中包含剩余的数据，以增加流媒体服务的质量，是与放松的延迟约束的第二层的吞吐量延迟的权衡管理。我们数值计算表明，分层网络编码方法可以显着提高性能。我们表明，LAC-RLNC与非分层的方法相比，增益的平均值和最大延迟的基础层，接近下限的三个因素，和因子2的增强层。
2022-02-07 cs.IT math.IT
Bit-Swap: Recursive Bits-Back Coding for Lossless Compression with Hierarchical Latent Variables
University of California, Berkeley（加州大学伯克利分校）
比特回退的论点表明，潜在变量模型可以变成无损压缩方案。然而，对于一般的潜变量模型，将比特回退参数转换成有效和实用的无损压缩方案仍然是一个悬而未决的问题。Townsend等人（2019）最近提出的非对称数字系统位回编码（BB-ANS）使得位回编码对于具有一个潜在层的潜在变量模型实际上是可行的，但对于分层潜在变量模型来说效率低下。在本文中，我们提出了比特交换，一个新的压缩方案，推广BB-ANS，并实现严格更好的压缩率与马尔可夫链结构的层次潜变量模型。通过实验，我们验证了比特交换的结果在无损压缩率是经验优于现有的技术。我们的实现可以在https://github.com/fhkingma/bitswap上获得。
2019-10-02 cs.AI cs.IT cs.LG
Multi-Terminal Source Coding With Action Dependent Side Information
我们考虑具有单个编码器和多个解码器的多终端信源编码，其中编码器或解码器可以采取影响存在于解码器处的边信息的质量的成本受限动作。对于解码器采取行动的情况下，我们的特点的速率-成本的折衷区域的无损信源编码，并给出了一个可扩展性计划的有损信源编码的两个解码器，这是最佳的各种特殊情况下的利益。对于编码器采取行动的情况下，我们的特点的速率成本权衡一类无损信源编码的情况下，多个解码器。最后，我们还考虑扩展到其他多终端信源编码设置与行动，并表征率失真成本权衡的情况下，连续细化与行动。
2011-10-31 cs.IT math.IT
Lossless Coding of Correlated Sources with Actions
本文研究了具有依赖于作用的联合分布的相关信源的分布式压缩问题。事实上，这类问题是Slepian-Wolf模型的扩展，但是编码器或解码器采取的成本约束动作会影响其中一个源的生成。这项工作的目的是研究行动对可实现的比率的影响。特别是，两种情况下，传输发生在一个速率受限的链路进行了研究;情况A的解码器和情况B的行动，在编码器采取的行动。在这两种情况下，给出了一个完整的单字母表征的一组可实现的速率。此外，网络编码设置的情况下，在编码器采取行动进行了调查。源在网络的不同节点处生成，并且在一组终端节点处需要，然而传输发生在一般的、非循环的、有向网络上。对于这种设置，广义割集界限推导，并提供了一个完整的表征使用单字母表达式的一组可实现的速率。对于这种情况下，随机线性网络编码被证明是最佳的，即使这不是一个经典的多播问题。此外，两个二进制的例子进行了研究，并演示了如何在系统的不同节点采取的行动有一个显着的影响，可实现的速率区域相比，一个天真的分时策略。
2014-04-15 cs.IT math.IT
Improving Lossless Compression Rates via Monte Carlo Bits-Back Coding
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Facebook AI Research（脸书人工智能研究院）；University College London（伦敦大学学院）；University of Oxford（牛津大学）
潜变量模型已成功地应用于无损压缩的比特回退编码算法。然而，比特返回遭受比特率的增加等于近似后验和真实后验之间的KL发散。在本文中，我们将展示如何消除这一差距渐近派生比特回编码算法从更严格的变分界限。其关键思想是利用扩展的空间表示的蒙特卡罗估计的边际似然。天真地应用，我们的计划将需要更多的初始位比标准的位回编码器，但我们展示了如何大大减少这种额外的成本与耦合的潜在空间。当可以利用并行架构时，我们的编码器可以实现比比特回退更好的速率，而几乎没有额外的成本。我们证明了改进的无损压缩率在各种设置，特别是在分布或顺序数据压缩。
2021-06-15 cs.AI cs.IT cs.LG
Soft Compression for Lossless Image Coding
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
软压缩是一种无损图像压缩方法，它从信息论和统计分布的角度出发，采用码书的位置和形状对图像进行编码，致力于同时消除编码冗余和空间冗余。本文提出了一个新的概念，可压缩指示函数关于图像，它给出了一个阈值的平均比特数所需的代表一个位置，可以用来揭示软压缩的性能。通过具体的算法和压缩指示值，对二值图像、灰度图像和多分量图像的软压缩进行了研究和分析。人们期望通过应用软压缩可以大大减少传输和存储同类图像时所需的带宽和存储空间。
2020-12-11 cs.AI cs.IT eess.IV
Lossless Address Coding for Quantum Networks
University of Naples Federico II（那不勒斯费德里科二世大学）
研究量子网络寻址问题，提出无损源编码方案，引入前缀 - 后缀地址空间，开发等距分层编解码器并结合基于哈夫曼的程序，经13节点网络数值示例验证可行且保真，建立源编码理论与量子网络设计联系，提供实用框架。
2026-07-28 cs.IT cs.NI math.IT
Erasure Coding for Real-Time Streaming
我们考虑一个实时的【形】流媒体系统中的消息被创建顺序在源，并编码传输到接收器的数据包擦除链路。每个消息随后必须在从其创建时间起的给定延迟内在接收器处被解码。我们的目标是构建一个擦除校正码，实现最大的消息大小时，所有的消息必须在指定的一组擦除模式（擦除模型）的各自的最后期限进行解码。我们提出了一个明确的intrasession代码的建设，是渐近最佳的擦除模型下包含有限数量的擦除每个编码窗口，每个滑动窗口，并包含一个有限长度的擦除突发。
2012-07-16 cs.IT math.IT
Adapting Diffusion Language Models for Lossless Pixel-Level Image Transmission
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）；Shenzhen CyberAray Network Technology Co., Ltd（深圳CyberAray网络技术有限公司）；School of Mechanical Engineering and Electronic Information, China University of Geosciences（中国地质大学（武汉）机械与电子信息学院）；Zhejiang Lab（浙江实验室）
提出基于离散扩散模型的分离源信道编码框架DDM-SSCC，通过双向注意力下的同步逆向算术编码实现无损像素级图像传输，并引入Halton引导去噪顺序、掩码率感知余弦调度和轻量温度校准模块提升性能。
2026-06-04 cs.AI cs.IT math.IT
METTLE: Efficient Streaming Erasure Code with Peeling Decodability
METTLE是一种高效流式擦除码，具备高编码效率、低复杂度和快速解码能力，显著优于现有流式RaptorQ方案。
2026-07-21 cs.IT math.IT
Practical Lossless Compression with Latent Variables using Bits Back Coding
University College London（伦敦大学学院）
深度潜变量模型最近在许多数据领域取得了成功。无损压缩是这些模型的一种应用，尽管其具有非常有用的潜力，但还没有以实际的方式实现。我们提出了"位回ANS"（BB-ANS），一个计划，以执行无损压缩与潜变量模型在一个接近最佳的速率。我们证明了这个方案，使用它来压缩MNIST数据集与变分自动编码器模型（VAE），实现压缩率优于标准方法，只有一个简单的VAE。鉴于该计划是非常适合并行化，我们的结论是，有一个足够高的质量生成模型，该计划可以用来实现可接受的运行时间在压缩率的大幅改善。我们在www.example.com上提供了我们的实现。
2019-01-15 cs.AI cs.IT cs.LG
Round-Robin Streaming with Generations
我们考虑三种类型的应用层编码流有损链路：随机线性编码，系统随机线性编码，和结构化编码。正在流式传输的文件被划分为子块（代）。通过组合属于相同代的数据形成代码符号，并以循环方式传输。我们比较的方案的基础上交付的数据包计数，净吞吐量，和能源消耗的一代大小的范围。我们确定这些性能指标分析和实验配置。我们发现我们的分析预测与实验结果相符。我们表明，在应用层的编码带来了显着的净数据吞吐量的增加，从而减少由于减少通信时间的能源消耗。另一方面，在计算资源受限的设备上，繁重的编码操作会导致较高层的丢包，并对净吞吐量产生负面影响。我们发现，从我们的实验结果，低速率MDS码是最好的小世代大小，而系统随机线性编码具有最好的净吞吐量和最低的能量消耗较大的世代大小，由于其低解码复杂度。
2012-06-14 cs.IT math.IT
Bounds for Learning Lossless Source Coding
University of Hawaii, Manoa（夏威夷大学马诺阿分校）
本文提出了一个基本问题：需要多少训练才能击败通用源代码编码器？传统上，有两种类型的源代码编码器：固定的，最佳的编码器，如霍夫曼编码器;和通用的源代码编码器，如Lempel-Ziv本文认为第三种类型的源代码编码器：学习编码器。这些编码器在特定类型的数据上进行训练，然后用于编码该类型的新数据。这是一种编码器，最近在（有损）图像和视频编码中变得非常流行。本文考虑两个标准的学习编码器的性能：训练数据的平均性能，并保证在所有的训练，除了一些错误概率$P_e$的性能。在这两种情况下，编码器的冗余度进行评估。本文考虑了IID二元情形和二元马尔可夫链。在这两种情况下，它表明，所需的训练数据量是非常温和的：编码序列的长度$l$的训练数据量需要击败通用源编码器是$m=K\frac{l}{\log l}$，其中常数在前面取决于所考虑的情况。
2020-09-18 cs.IT cs.LG math.IT
Random Permutation Codes: Lossless Source Coding of Non-Sequential Data
本文提出随机置换码（RPC）框架，将非顺序数据建模为组合随机变量，并给出其最优无损压缩速率及面向多重集、图和划分的编码算法。
2024-11-18 cs.IT eess.SP math.IT
Universal Tree Source Coding Using Grammar-Based Compression
我们应用所谓的树直线程序的问题的无损压缩的二叉树。我们得到的最大逐点冗余（或最坏情况下的冗余），提高以前的界限张，杨，Kieffer使用有向无环图。利用这一点，我们获得通用代码的新类的结构化树源。
2017-01-21 cs.IT math.IT
On Throughput-Smoothness Trade-offs in Streaming Communication
与传统的文件传输不同，只有总延迟问题，流应用程序对每个数据包施加延迟限制，并要求它们按顺序排列。为了实现快速的按序分组解码，我们必须在吞吐量上做出妥协。我们研究这种权衡吞吐量和平滑度在数据包解码。我们首先考虑一个点到点的流和分析如何权衡的影响，由频率的块明智的反馈，从而源接收完整的信道状态反馈在周期性的间隔。我们表明，频繁的反馈可以大大提高吞吐量平滑的权衡。然后，我们考虑的问题，多播一个数据包流的两个用户。对于点到点和多播流，我们提出了一个频谱的编码方案，跨越不同的吞吐量平滑度权衡。可以根据应用的延迟敏感性和带宽限制从这些方案中选择适当的编码方案。这项工作介绍了一种新的风格的分析，使用更新过程和马尔可夫链分析编码方案。
2015-11-25 cs.IT math.IT
Universal Covertness for Discrete Memoryless Sources
考虑由具有未知分布$p_X$的离散无记忆源（DMS）发射的长度为$n$的序列$X^n$。我们的目标是构建一个无损的源代码，将$X^n$映射到一个序列$\widehat{Y}^m$的长度$m$是不可区分的，在Kullback-Leibler分歧，从另一个DMS发出的序列与已知的分布$p_Y$。主要结果是存在一种编码方案，该编码方案以等于$H(X)/H(Y)$的最佳比率$m/n$执行该任务，所述最佳比率是两个分布的香农熵的比率，因为$n$趋于无穷大。该编码方案通过基于类型的通用无损信源编码方案克服了由于缺乏关于$p_X$的知识而产生的挑战，该方案产生几乎均匀分布的序列作为输出，随后是另一种基于类型的编码方案，该编码方案联合执行信源可分辨性和通用无损信源编码。该结果恢复并扩展了以前的结果，假设$p_X$或$p_Y$均匀，或$p_X$已知。这些推广的代价是使用了具有消失率的普通随机性，其长度是$n$的对数。通过允许公共随机性大于$n$的对数但与$n$相比仍然可以忽略，还借助于极化码为二进制源提供了与主要结果对应的构造性低复杂度编码和解码。
2021-06-17 cs.IT math.IT
On Lossless Universal Compression of Distributed Identical Sources
Slepian-Wolf定理是一个众所周知的框架，其目标是对（两个）分布式源的输出之间具有逐符号相关性的（两个）数据流进行几乎无损压缩。然而，本文考虑了一个不同的情况下，不适合在Slepian-Wolf框架。我们考虑两个相同的，但空间分离的源。我们希望研究来自源之一的长度为$n$的序列的通用压缩，假设解码器可以访问（即，存储）来自另一个源的长度为$m$的序列。例如，在对来自同一服务器的多个镜像的数据进行通用压缩时，就会出现这种情况。在这种设置中，相关性不是由来自两个源的两个输出的逐符号依赖性引起的。相反，序列通过它们包含的关于未知源参数的信息而相关。我们表明，手头的压缩问题的有限长度的性质，需要考虑几乎无损信源编码的概念，编码引起的错误概率$p_e(n)$，消失与序列长度$n$。我们得到一个下界的平均极小极大冗余几乎无损码作为序列长度$n$和允许的错误概率$p_e$的函数时，解码器有一个内存长度$m$和编码器不进行通信。我们的结果表明，当两个编码器不通信时，即使解码器知道未知参数向量（即，$m \to \infty$）。
2012-06-19 cs.IT math.IT
Achievable Moderate Deviations Asymptotics for Streaming Compression of Correlated Sources
受流多视点视频编码和无线传感器网络的启发，我们考虑了一对相关源的分块流压缩问题，我们称之为流Slepian-Wolf编码。我们研究了中等偏差制度，在该制度中，一个序列的代码的速率对收敛，沿着一条直线，在Slepian-Wolf区域的边界上的各个点的速度慢于块长度的平方根倒数$n$，而错误概率衰减亚指数快速$n$。我们的主要结果集中在Slepian-Wolf区域的角点的方法的方向。它指出，对于每个相关的源和所有角点，存在接近方向的非空子集，使得适度偏差常数（错误概率的次指数衰减的比例常数）被增强（在非流传输情况下）至少$T$的因子，$T$是解码源块对的块延迟。我们专门我们的主要结果流无损信源编码的设置，并概括这一结果的设置，我们有不同的延迟要求的两个源块。我们的主要结果的证明涉及到各种分析工具的使用，并融合了最近的信息理论流文献的几个想法。我们采用了Draper和Khisti（2011）以及Lee，Tan和Khisti（2016）的所谓截断内存编码思想，以确保在大块长度的限制下，错误累积的影响是无效的。我们还调整了所谓的最小加权经验后缀熵解码器的使用，Draper，Chang和Sahai（2014）使用该解码器来推导符号流Slepian-Wolf编码的可实现误差指数。
2017-09-20 cs.IT math.IT
Exact Moderate Deviation Asymptotics in Streaming Data Transmission
在本文中，流传输设置被认为是一个编码器观察到一个新的消息，在每个块的开始和解码器顺序解码后的延迟$T$块的每个消息。在这个流设置中，基本的编码速率，错误概率，和块长度在中等偏差制度之间的相互作用进行了研究。对于输出对称信道，中等偏差常数被示出为改进块编码或非流设置，对于一定范围的中等偏差缩放，恰好是$T$的因子。对于逆证明，假设一个更强大的解码器，其中一些额外的信息是前馈。的错误概率是有界的第一个辅助通道，这一结果被翻译回原始通道，通过使用一个新开发的测量引理的变化，在那里的指数中的剩余项的衰减速度仔细的特点。对于可重复性证明，在错误分析中应用涉及对新消息和过去消息的联合编码和解码的已知编码技术，并进行一些操作。
2016-04-23 cs.IT math.IT
Selection of network coding nodes for minimal playback delay in streaming overlays
网络编码允许在媒体流应用中部署本地适应网络可用性的分布式分组递送算法。然而，如果它没有被有效地实现，它也可能增加延迟和计算复杂性。我们在这里解决的有效放置的节点，实现随机网络编码的覆盖网络，使有效吞吐量保持较高，而解码的延迟在流媒体应用中保持较小。我们首先估计每个客户端的解码延迟，这取决于网络中的创新率。该估计允许识别必须执行编码以减少解码延迟的节点。然后，我们提出了两个迭代算法选择的节点，应该执行网络编码。第一种算法依赖于完整网络统计信息的知识。第二种算法只使用每个节点的本地网络统计数据。仿真结果表明，只需选择少量的网络编码节点，就可以获得较大的性能增益。此外，第二种算法的性能非常接近于中心估计策略，这表明网络编码节点可以以分布式方式有效地选择。我们的计划显示了巨大的收益，在现实的覆盖网络中实现的吞吐量，延迟和视频质量相比，采用传统的流媒体策略以及随机网络节点选择算法的方法。
2011-01-20 cs.IT cs.MM cs.NI
Low-Delay Distributed Source Coding for Time-Varying Sources with Unknown Statistics
我们考虑一个系统，其中两个节点采取相关测量的随机源随时间变化和未知的统计。在第一节点处的源的观测结果将在第二节点处以给定的中断概率被有损地复制，第二节点通过恒定速率无差错信道从第一节点接收数据。我们开发了一个系统和相关的联合分布式信源编码（编码和解码）和传输控制的策略，以实现低的端到端延迟。传统形式的Slepian-Wolf编码不能应用于我们的场景中，因为编码器需要观测的联合统计数据，并且相关的解码延迟非常高。我们分析评估我们的策略的性能，并表明，通过它们实现的延迟是为了最佳的，作为源的条件熵接近信道速率。我们还评估了我们的算法的性能的基础上，使用两个摄像机记录视频的场景在不同的角度在现实世界中的实验。在实现了我们的方案后，我们证明了，即使使用非常低复杂度的量化器，在解码器处的无损复制也可以实现大约50%的压缩比，平均延迟为几秒钟。
2016-10-26 cs.IT math.IT
Network Compression: Memory-Assisted Universal Coding of Sources with Correlated Parameters
在本文中，我们提出了{ \em分布式网络压缩通过内存}。我们考虑两个空间分离的源相关的未知源参数。我们希望研究来自源之一的长度为$n$的序列的通用压缩，假设解码器可以访问（即，存储）来自另一个源的长度为$m$的序列。在这种设置中，相关性不是由来自两个源的两个输出的逐符号依赖性引起的（如Slepian-Wolf设置中那样）。相反，这两个序列是相关的，因为它们源自具有\emph{unknown}相关参数的两个源。手头的压缩问题的有限长度性质需要考虑几乎无损信源编码的概念，其中编码引起的错误概率$p_e(n)$随着序列长度$n$增长到无穷大而消失。我们得到的几乎无损码的冗余时，解码器可以访问的随机存储器的长度$m$序列长度$n$和允许的错误概率$p_e(n)$的函数。我们的研究结果表明，通过内存的分布式网络压缩有可能显着改善传统的端到端的压缩时，足够大的内存从以前的通信可供解码器。
2012-10-08 cs.IT math.IT
Lossless Data Compression with Error Detection using Cantor Set
2009年，一种基于一维混沌映射的无损压缩算法被提出，称为广义Luröth级数（或GLS）。该算法（GLS编码）将输入信息编码为一个适当的一维混沌映射（GLS）上的符号序列，并通过在映射上向后迭代获得压缩文件作为初始值。对于各态历经的源，它表明，GLS编码实现了最好的可能的无损压缩（在无噪声设置）的香农熵的限制。然而，在存在噪声的情况下，由于对初始值的敏感依赖性，即使压缩文件中的小错误也会导致灾难性的解码错误。本文首先证明了重复码$\mathcal{R}_n$（每个符号重复$n$次，其中$n$为正奇数），是文献中最古老、最基本的纠错码和检错码，实际上位于一个Cantor集上，其分形维数为$\frac{1}{n}$，也就是码的码率.受此启发，我们将错误检测能力的GLS编码，确保压缩文件（在地图上的初始值）在于康托集的措施零。即使初始值中的1位错误也会将其抛出到解码时可以检测到的康托集之外。错误检测性能（以及码的速率）可以通过康托集的分形维数来控制，并且可以根据通信信道的噪声水平来适当地调整。
2013-08-10 cs.IT math.IT nlin.CD
On Zero-Error Source Coding with Feedback
本文研究了在接收端存在边信息的情况下，有限反馈下的零差错信源编码问题。首先，我们推导出一个可实现的速率区域的任意联合分布的源和边信息。当所有的源对的源和边信息符号是可观察的非零概率，我们表明，这种特性给出了整个速率区域。接下来，我们展示了一类源，渐近零反馈足以实现零错误编码的速率承诺的Slepian-Wolf界渐近无损编码。最后，我们用三个简单的例子来说明这些结果。
2010-01-14 cs.IT math.IT
Constructing Linear Encoders with Good Spectra
具有良好联合频谱的线性编码器是用于最优无损联合信源-信道编码（JSCC）的合适候选，其中联合频谱是输入-输出完整权重分布的变体，并且如果它接近（相同编码速率的）所有线性编码器的平均联合频谱则被认为是良好的。尽管它们的存在，很少有人知道如何在实践中构建这样的编码器。本文致力于他们的建设。特别是，两个家庭的线性编码器，并证明有良好的联合频谱。第一个家庭是来自Gabidulin码，一类最大秩距离码。第二类是使用低密度奇偶校验码的编码器（作为外部编码器）与低密度生成矩阵编码器（作为内部编码器）的串行级联来构造的。此外，良好的线性编码器的标准被定义为三个编码应用：无损信源编码，信道编码，和无损JSCC。在码谱方法的框架中，这三种情况分别对应于构造具有良好核谱、良好图像谱和良好联合谱的线性编码器的问题。良好的联合频谱意味着良好的内核频谱和良好的图像频谱，并且对于具有良好内核的每个线性编码器（分别地，图像）谱，证明了存在不仅具有相同核（分别，图像），而且具有良好联合频谱。因此，良好的联合频谱是线性编码器的最重要特征。
2014-08-27 cs.IT math.IT
Reliable Video Streaming over mmWave with Multi Connectivity and Network Coding
下一代多媒体应用将要求电信网络支持比今天更高的比特率，以便向用户传送虚拟现实和超高质量视频内容。大多数视频内容将从移动设备访问，这促使下一代（5G）蜂窝网络提供非常高的数据率。考虑到可以分配给移动用户的大量可用频谱，在这方面可能的推动者是毫米波频率下的通信;然而，在如此高的频率下的恶劣传播环境使得难以提供可靠的服务。本文提出了一种可靠的视频流架构的毫米波网络，多连接和网络编码的基础上，并评估其性能使用一种新的组合的ns-3毫米波模块，真正的视频轨迹和网络编码库Kodo。结果表明，通过蜂窝mmWave链路可靠地传输视频确实是可能的，而多连接和网络编码的组合可以支持低延迟的高视频质量。
2018-02-05 cs.IT cs.NI math.IT
Streaming Data Transmission in the Moderate Deviations and Central Limit Regimes
我们考虑在离散无记忆信道上的流数据传输。在每个块的开始处向编码器提供新的消息，并且在延迟$T$块之后，解码器顺序地解码每个消息。在这种流设置中，我们研究了中心限制和中等偏差制度中的速率和错误概率之间的基本相互作用，并表明i）在中等偏差制度中，中等偏差常数比块编码或非流设置提高了$T$的因子，以及ii）在中心限制制度中，对于宽范围的信道参数，二阶编码速率提高了大约$\sqrt{T}$的因子。对于这两种制度，我们提出了编码技术，将联合编码的新鲜和以前的消息。特别是，对于中心极限制度，我们提出了一种编码技术与截断内存，以确保常数的总和，这是由于应用的中心极限定理，不发散的错误分析。此外，我们探索有趣的变种的基本流设置中的适度偏差制度。我们首先考虑的情况下，在解码器中的擦除选项，并表明，总错误和未检测到的错误概率的指数提高了$T$的因素。接下来，通过利用擦除选项，我们表明，总错误概率的指数可以提高到未检测到的错误概率（在顺序意义上）的可变解码延迟的代价。最后，我们还将我们的结果扩展到消息速率不固定但在两个值之间交替的情况。
2015-12-19 cs.IT math.IT
Two-Dimensional Source Coding by Means of Subblock Enumeration
一种经由子串枚举（CSE）的无损压缩技术获得压缩比以及用于一维（1D）源的流行无损压缩器。CSE利用从输入源的圆形串构建的概率模型来对源进行编码，CSE通过将二维（2D）源的一行像素处理为扩展字母表的符号而适用于诸如图像的2D源。在CSE编码过程的初始步骤中，我们需要输出扩展字母表中所有符号的出现次数，因此当源的大小变大时，时间复杂度呈指数增长。为了降低时间复杂度，我们提出了一种新的CSE，它可以编码一个二维源在逐块，而不是逐行。所提出的CSE利用输入2D源的平坦环面作为用于编码源的概率模型，而不是源的圆形串。此外，我们分析了建议的CSE一般源的平均码字长度的限制。
2017-01-24 cs.IT math.IT
Lossy Compression of Individual Sequences Revisited: Fundamental Limits of Finite-State Encoders
本文将Ziv和Lempel的有限状态编码器模型扩展至个体序列的有损压缩，推导出取决于无损编码器状态数的两个渐近可达压缩比下界，并证明当状态数足够大时，可利用通用的随机编码集成显著提升性能。
2024-01-03 cs.IT math.IT
On the Separation of Lossy Source-Network Coding and Channel Coding in Wireline Networks
本文证明了在有噪声、离散、无记忆信道的网络中信源-网络编码与信道编码的分离。我们表明，在提供一个家庭的依赖源在这样一个网络中的可实现的失真矩阵的集合等于一组可实现的失真矩阵提供相同的源在一个不同的网络，这是通过替换每个通道由一个无噪声的，点对点的比特管道相应的容量。因此，通过在每个链路上应用独立的信道编码而使链路几乎无损地跨链路应用源网络编码的代码在整个网络上渐进地实现最佳性能。
2010-05-02 cs.IT math.IT
Multi-Class Source-Channel Coding
本文研究了一种几乎无损的信源-信道编码方案，该方案将信源信息分配到不同的类中，并使用依赖于类索引的信道码进行编码。通过随机编码误差指数分析了码的性能，并利用现有的信源和信道码对低复杂度实现进行了仿真验证。虽然每个类代码可以被看作是源代码和信道代码的级联，但是当类的数量增加时，总体性能在单独的源-信道编码的性能上有所改善，并且接近联合源-信道编码的性能。
2016-07-26 cs.IT math.IT
On Locally Decodable Source Coding
局部可解码的信道码形成一类特殊的纠错码，其特性是解码器能够从仅查询噪声码字的几个比特来重构输入消息的任何比特。众所周知，与它们的非局部对应物相比，这样的码需要显著更多的冗余（特别是具有消失率）。在本文中，我们定义了一个对偶问题，即本地可解码的源代码（LDSC）。我们认为几乎无损（块错误）和有损（位错误）的情况下。在几乎无损的情况下，我们表明，最佳压缩（熵）是可能的O（log n）查询压缩字符串的解压缩。我们还示出了以下相反的界限：1）线性LDSC不能实现低于1的任何速率，具有有限数量的查询，2）具有线性解码器（不一定是本地的）的任何信源编码的速率在1中，3）对于2个查询，任何代码构造不能具有低于1的速率。在有损的情况下，我们表明，任何率以上率失真是可以实现的有限数量的查询。我们还表明，率失真是可以实现的任何缩放数量的查询。我们提供了一个有限块长度制度的可扩展性界限，并将其与简洁的数据结构文献中现有的界限进行比较。
2013-08-27 cs.IT math.IT
