Lossless Source Coding in the Point-to-Point, Multiple Access, and Random Access Scenarios
本文研究了有限块长度体制下的点到点、多址和随机存取无损信源编码。在每种情况下，随机编码技术的开发和使用三阶编码性能分析。渐近的结果包括一个三阶表征的Slepian-Wolf率区域与改进的逆依赖于连接到复合假设检验。对于非独立信源，该结果表明Slepian-Wolf码所使用的独立编码器可以实现与单个联合编码器相同的三阶最优性能。随机接入信源编码的概念被引入以将多址（Slepian-Wolf）信源编码推广到编码器独立地决定是否参与并且参与编码器的集合对于编码器和解码器都是未知的{ \em先验}的情况。所提出的随机接入信源编码策略采用无速率编码和调度反馈。一个随机编码参数证明了存在一个单一的确定性代码的这种结构，同时实现了三阶最佳Slepian-Wolf性能为每个可能的活动编码器集。
2020-10-10 cs.IT math.IT
Sequential decoding for lossless streaming source coding with side information
研究了在解码端具有边信息的离散无记忆信源的无损固定速率流编码问题。采用随机时变树码对字符串进行序列二进制编码，采用可变偏置的堆栈算法利用边信息，给出了一种带边信息的延迟通用无损信源编码系统。该方案示出了指数衰减的错误概率与延迟，与指数等于Gallager的随机编码指数的源与边信息。堆栈解码器的计算的随机变量的平均值是有界的，并且给出了偏置的条件以保证$0 \leq ρ\leq 1$的有限$ρ^{th}$矩。此外，该问题也研究的情况下，有一个离散的无记忆信道之间的编码器和解码器。同样的方案略有修改，给出了一个联合源信道编码器和堆栈的顺序解码器使用边信息。同样，通过适当选择偏差，误差概率随延迟呈指数衰减，并且计算的随机变量具有有限均值。给出了几个例子的仿真结果。
2007-03-23 cs.IT math.IT
Lossless Secure Source Coding: Yamamoto's Setting
给定一个私有信息源$X^n$和一个公共相关信息源$Y^n$，我们研究了将二维源$(X^n, Y^n)$编码为索引$J$的问题，使得知道$J$和一些外部辅助信息$Z^n$的远程方，可以丢失地恢复$Y^n$，而任何知道$J$和可能相关的边信息$E^n$的窃听者可以检索关于$X^n$的非常少的信息。我们给出了一般的逆结果的信息量$X^n$，可能会被泄露在这样的系统，并在某些特殊情况下是最佳的可扩展性的结果。
2015-10-06 cs.IT math.IT
Row-Centric Lossless Compression of Markov Images
出于最近推出的缩减割集编码（RCC）是否提供了比传统的基于上下文的条件编码与二维马尔可夫结构的源的速率复杂度性能的好处的问题，本文比较了几个行为中心的编码策略，不同的条件的量，以及是否使用模型或经验表中的行块的编码。结论是，至少对于表现出低阶相关性的源，单侧基于模型的条件编码对于给定的复杂度约束优于RCC方法，并且常规的基于上下文的条件编码几乎与单侧基于模型的编码一样好。
2017-02-26 cs.IT math.IT
Optimal Merging Algorithms for Lossless Codes with Generalized Criteria
本文提出了无损前缀码优化支付标准组成的最大码字长度和平均码字长度的凸组合。最佳码字长度是基于一种新的编码算法，该算法根据合并规则将初始源概率向量转换为新的概率向量。该编码算法等价于将源字母表划分为不相交的集合，在该集合上，新的变换后的概率向量被定义为初始源概率向量和标量参数的函数。所考虑的支付标准包括最大和平均码字长度之间的权衡;它与由平均码字长度和平均码字长度的指数函数的凸组合组成的支付标准有关，并且与受到有限长度约束的平均码字长度支付标准有关。第一个相关的支付的一个特殊情况是连接到编码问题，涉及源概率的不确定性和码字溢出概率，而第二个相关的支付恭维有限长度的霍夫曼编码算法。
2012-08-06 cs.IT math.IT
Delay and Redundancy in Lossless Source Coding
研究了在无记忆信源的无损信源编码中施加有限时延约束所带来的代价。众所周知，对于所谓的块到变量和变量到变量码，冗余度最多随延迟多项式衰减，其中在这种情况下，延迟分别与源块长度或最大源短语长度相标识。与此形成鲜明对比的是，对于顺序码（例如，延迟受限算术码），可以使冗余随延迟约束指数衰减。相应的冗余延迟指数被证明是至少一样好的Rényi熵的顺序2的源，但（几乎所有的源）不优于一个数量取决于最小的源符号概率和字母表的大小。
2014-07-23 cs.IT math.IT
Lossless coding for distributed streaming sources
分布式信源编码传统上是在分组编码上下文中看待的--所有的信源符号在编码器处都是预先已知的。相反，本文考虑流设置，其中iid源符号对被实时的揭示给单独的编码器，并且需要在解码器处使用有限速率无噪声信道以一定的可容忍的端到端延迟进行重构。一个顺序的随机装箱参数是用来推导出一个下界的误差指数与延迟，并显示ML解码和通用解码实现相同的正误差指数内的传统Slepian-Wolf率区域。错误事件与块编码错误事件不同，并且引起略微不同的指数。由于顺序随机分箱方案在延迟上也是通用的，因此所得代码最终以概率1正确地重建每个源符号。
2006-10-25 cs.IT math.IT
Timely Lossless Source Coding for Randomly Arriving Symbols
我们考虑一个实时流信源编码系统，其中编码器观察来自i.i.d.源，并将二进制码字馈送到FIFO缓冲器，FIFO缓冲器每时间单位向解码器输出一位。每个源符号表示源的状态更新，并且系统的及时性由信息年龄（AoI）量化，AoI定义为当前时间与解码器输出处的最新符号的生成时间之间的时间差。当FIFO缓冲区为空时，基于对离散时间Geo/G/1队列的分析，提出了一种最小化平均峰值年龄的无前缀无损编码方案.对于更实际的情况下，其中一个特殊的码字被保留用于指示一个空的缓冲区，我们提出了一个编码方案，分配一个码字的空缓冲区状态的基础上的估计的缓冲区空闲时间。
2018-10-02 cs.IT math.IT
Linear-Codes-Based Lossless Joint Source-Channel Coding for Multiple-Access Channels
提出了一种基于线性码和随机交织器的多址信道联合无损信源-信道编码（JSCC）方案，并对其进行了分析。通过信息谱方法和码谱方法，证明了具有良好联合谱的线性码可用于建立相关一般信源和一般MAC的接近极限的无损JSCC方案，其中联合谱是输入输出权分布的推广.研究了具有良好联合谱的线性码的一些性质。导出了具有良好联合谱的线性码的“距离”性质的一个公式，并在此基础上进一步证明了任何具有良好联合谱的系统码的码率不可能大于相应字母基数的倒数，任何稀疏生成矩阵都不可能产生具有良好联合谱的线性码.文中还讨论了任意码率编码方案的设计问题。本文提出了一种新的思想，即“广义删余”思想，使得一个好的低速率线性码就足以设计多速率编码方案成为可能。最后，在码谱方法建立的统一框架下，对MAC码的各种编码问题进行了综述，并根据这些问题的频谱要求，给出了良好线性码的标准和候选码。
2009-03-31 cs.IT math.IT
Tight Bounds for Symmetric Divergence Measures and a Refined Bound for Lossless Source Coding
几个对称的发散措施的紧界导出的总变化距离。它示出，这些边界中的每一个是由一对2或3元概率分布。无损信源编码的这些界限的应用提供了，精炼和改进的Csiszár的某个界限。这些界限的另一个应用最近由Yardi介绍。等用于信道码检测。
2015-03-11 cs.IT math.IT math.PR
Depth Sequence Coding with Hierarchical Partitioning and Spatial-domain Quantisation
用于多视图视频加深度（MVD）架构的3D-HEVC中的深度译码（i）归因于块层级边缘近似而使对象形状变形;（ii）由于未能利用强同质性而错过在接近无损质量下的高可压缩性的机会（聚类趋势）在帧级的深度句法、运动矢量分量和残差中;以及（iii）由于纹理深度编码依赖性，限制了交互性并且限制了对于“非观看”应用独立使用深度信息的响应性。本文提出了一种独立的深度序列编码器，其在无损到接近无损的质量范围内操作，同时压缩优于有损3D-HEVC的深度数据。它保留隐式的边缘限制量化的空间域和利用聚类趋势有效地在帧级与一种新的二叉树分解（BTBD）技术。对于标准MVD测试序列的单视图编码，平均而言，（i）无损BTBD使用最低量化参数$QP = 1$实现了相对于伪无损3D-HEVC的$\times 42.2$压缩比和$-60.0\%$编码增益，以及（ii）相对于3D-HEVC，近无损BTBD分别实现了$-79.4\%$和$6.98$ dB Bjøntegaard增量比特率（BD-BR）和失真（BD-PSNR）。在视图合成应用中，与3D-HEVC相比，来自BTBD的解码深度图呈现了更高质量的合成视图，平均具有$-18.9\%$深度BD-BR和$0.43$ dB合成纹理BD-PSNR。
2018-01-08 cs.IT math.IT
Timeliness in Lossless Block Coding
我们研究无损数据压缩从平均延迟的角度来看。编码器每单位时间从i.i.d.接收一个输入符号。源，并将二进制码字提交给FIFO缓冲器，FIFO缓冲器以固定速率将比特传输到接收器/解码器。编码器处的每个输入符号被源视为状态更新，并且系统性能由状态更新年龄表征，状态更新年龄被定义为解码器输出滞后于编码器输入的时间单位（符号）的数量。平均状态年龄的上界是从具有延迟的流信源编码中的错误概率的指数界导出的。除了描述误差收敛的误差指数的影响外，该上界还与误差概率中的常数乘子项成比例。然而，错误指数不会导致一个准确的描述状态年龄为小延迟和小块长度。通过将流信源编码系统转化为D/G/1排队系统，提出了一种基于平均年龄近似的年龄最优分组编码方案。我们比较这个方案的错误指数最佳编码方案，使用的方法类型。我们表明，最大化的错误指数是不等于最小化的平均状态年龄。
2018-02-26 cs.IT math.IT
A Novel Rate Control Algorithm for Onboard Predictive Coding of Multispectral and Hyperspectral Images
预测编码由于其低计算复杂性、适度的存储器要求和在逐像素基础上精确控制质量的能力而对于航天器上的压缩是有吸引力的。传统上，预测压缩集中在无损和近无损操作模式，其中最大误差可以被限制，但压缩图像的速率是可变的。速率控制被认为是预测编码器的一个具有挑战性的问题，这是由于反馈回路中的量化和预测之间的依赖性，以及缺乏将信号的能量打包到几个系数中的信号表示。在本文中，我们表明，它是可能的设计一个速率控制方案旨在板载实现。特别是，我们提出了一个通用的框架来选择量化器在每个空间和光谱区域的图像，以达到所需的目标速率，同时最大限度地减少失真。速率控制算法允许实现有损、近无损压缩和任何介于两者之间的压缩类型，例如，具有近无损约束的有损压缩。虽然这个框架是独立的具体预测所使用的，为了显示其性能，在本文中，我们将其调整到CCSDS-123无损压缩标准所采用的预测，获得一个扩展，允许在一个单一的包中执行无损，近无损和有损压缩。我们表明，速率控制器具有优异的性能，在输出速率，率失真特性的精度方面，是非常有竞争力的国家的最先进的变换编码。
2014-01-14 cs.IT math.IT
User Preference Aware Lossless Data Compression at the Edge
数据压缩是节省数据存储和传输成本的有效技术。然而，传统的数据压缩方法总是忽略用户偏好对链路上传输的符号的统计分布的影响。请注意，随着大数据技术的发展和智能设备的普及，可以根据从个人手机收集的数据分析用户偏好。本文提出了一种用户偏好感知的无损数据压缩方法，称为边缘信源编码，在网络边缘压缩数据。用公式表示优化问题以最小化在边缘信源编码中表示所请求的内容项所需的期望比特数。针对离散用户偏好下的边缘信源编码，提出了基于凸函数差规划算法（DCA）和基于k-means++的码书设计算法。对于连续用户偏好下的边缘信源编码，采用采样方法设计码书。此外，边缘信源编码被扩展到两个用户的情况下，精心设计的码本，以利用组播的机会。理论分析和仿真结果表明，最优码本设计应考虑用户的偏好。
2019-03-29 cs.IT math.IT
The price of ignorance: The impact of side-information on delay for lossless source-coding
受加密信源压缩背景的启发，本文考虑了带边信息的无损信源编码的速率、端到端延迟和错误概率之间的一般折衷。端到端延迟的概念通过考虑顺序设置而变得精确，在该顺序设置中，源符号被实时的揭示并且需要在解码器处在某个固定延迟要求内被重构。上界推导出的可靠性函数的延迟时，边信息是已知的解码器，以及当它也是已知的编码器。当编码器并非不知道边信息时（包括当没有边信息时的平凡情况），可以在所有速率下在延迟和错误概率之间具有实质上更好的折衷。这表明，当编码器不知道边信息时，在端到端延迟方面存在无知的基本代价。如果只考虑固定块长度的代码，这种效果是不可见的。这样，信源编码中的边信息起到类似于信道编码中的反馈的作用。虽然本文中的定理是渐近的长延迟和低概率的错误，一个例子是用来表明，这里所描述的定性效果是显着的，即使在短期和中度延迟。
2007-12-06 cs.IT math.IT
Multiterminal Source Coding with an Entropy-Based Distortion Measure
在本文中，我们考虑一类多端信源编码问题，每个问题都受到使用特定的，基于熵的失真度量计算的失真约束。我们提供了可实现的率失真区域的两种情况下，在这样做，我们证明了有损多端信源编码问题与我们的具体失真措施和（1）规范Slepian-Wolf无损分布式信源编码网络之间的关系，（2）Ahlswede-Körner-Wyner信源编码与边信息问题，其中只有一个源被恢复losslessly。
2011-05-31 cs.IT math.IT
Improved Bounds on Lossless Source Coding and Guessing Moments via Rényi Measures
本文给出了在有限集上取值的随机变量的最优猜测矩的上、下界。这些矩量化了正确识别未知物体所需的猜测次数，类似于Arikan的界限，它们用Arimoto-Rényi条件熵表示。虽然Arikan的界是渐近紧的，但本文对界的改进在非渐近状态下是有意义的。最优猜测函数的矩和MAP错误概率之间的关系也被建立，表征其可达值的精确轨迹。最佳猜测矩的界用于改善无前缀约束的固定到可变最佳无损信源编码的码字长度的累积量生成函数的非渐近界。离散无记忆源的可靠性函数的非渐近界的推导。依靠这些技术，推导出的码字长度的累积量生成函数的下限，通过平滑雷尼熵，允许解码错误的源代码。
2018-06-21 cs.IT math.IT
Separation of source-network coding and channel coding in wireline networks
本文证明了有线网络中信源网络编码与信道编码的分离。对于这项工作的目的，有线网络是任何网络的独立的，无记忆的，点对点的，有限字母表的信道用于传输相关的来源，无论是losslance或受到失真约束。在推导这一结果时，我们还证明了在具有相关源的一般无记忆网络中，无损和零失真重建是等价的，只要每个源的条件熵给定其他源是非零的。此外，我们将分离结果扩展到连续字母表，点对点信道，如加性高斯白噪声（AWGN）信道的情况。
2012-12-18 cs.IT math.IT
Analysis and Enhancement of Lossless Image Compression in JPEG-XL
本文评估并改进 JPEG XL 无损压缩，通过修改代码库发现一种预测方法可在特定图像类型上提升压缩比，为未来无损压缩优化提供参考。
2024-04-30 cs.IT math.IT
Lossless compression with state space models using bits back coding
University College London（伦敦大学学院）；University of Edinburgh（爱丁堡大学）
我们推广的“位回ANS”方法的时间序列模型的潜在马尔可夫结构。这类模型包括隐马尔可夫模型（HHMM）、线性高斯状态空间模型（LGSSM）等。我们提供的实验证据表明，我们的方法是有效的小规模的模型，并讨论其适用性较大规模的设置，如视频压缩。
2021-05-04 cs.AI cs.IT cs.LG
Bit-Swap: Recursive Bits-Back Coding for Lossless Compression with Hierarchical Latent Variables
University of California, Berkeley（加州大学伯克利分校）
比特回退的论点表明，潜在变量模型可以变成无损压缩方案。然而，对于一般的潜变量模型，将比特回退参数转换成有效和实用的无损压缩方案仍然是一个悬而未决的问题。Townsend等人（2019）最近提出的非对称数字系统位回编码（BB-ANS）使得位回编码对于具有一个潜在层的潜在变量模型实际上是可行的，但对于分层潜在变量模型来说效率低下。在本文中，我们提出了比特交换，一个新的压缩方案，推广BB-ANS，并实现严格更好的压缩率与马尔可夫链结构的层次潜变量模型。通过实验，我们验证了比特交换的结果在无损压缩率是经验优于现有的技术。我们的实现可以在https://github.com/fhkingma/bitswap上获得。
2019-10-02 cs.AI cs.IT cs.LG
Multi-Terminal Source Coding With Action Dependent Side Information
我们考虑具有单个编码器和多个解码器的多终端信源编码，其中编码器或解码器可以采取影响存在于解码器处的边信息的质量的成本受限动作。对于解码器采取行动的情况下，我们的特点的速率-成本的折衷区域的无损信源编码，并给出了一个可扩展性计划的有损信源编码的两个解码器，这是最佳的各种特殊情况下的利益。对于编码器采取行动的情况下，我们的特点的速率成本权衡一类无损信源编码的情况下，多个解码器。最后，我们还考虑扩展到其他多终端信源编码设置与行动，并表征率失真成本权衡的情况下，连续细化与行动。
2011-10-31 cs.IT math.IT
Lossless Coding of Correlated Sources with Actions
本文研究了具有依赖于作用的联合分布的相关信源的分布式压缩问题。事实上，这类问题是Slepian-Wolf模型的扩展，但是编码器或解码器采取的成本约束动作会影响其中一个源的生成。这项工作的目的是研究行动对可实现的比率的影响。特别是，两种情况下，传输发生在一个速率受限的链路进行了研究;情况A的解码器和情况B的行动，在编码器采取的行动。在这两种情况下，给出了一个完整的单字母表征的一组可实现的速率。此外，网络编码设置的情况下，在编码器采取行动进行了调查。源在网络的不同节点处生成，并且在一组终端节点处需要，然而传输发生在一般的、非循环的、有向网络上。对于这种设置，广义割集界限推导，并提供了一个完整的表征使用单字母表达式的一组可实现的速率。对于这种情况下，随机线性网络编码被证明是最佳的，即使这不是一个经典的多播问题。此外，两个二进制的例子进行了研究，并演示了如何在系统的不同节点采取的行动有一个显着的影响，可实现的速率区域相比，一个天真的分时策略。
2014-04-15 cs.IT math.IT
Improving Lossless Compression Rates via Monte Carlo Bits-Back Coding
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Facebook AI Research（脸书人工智能研究院）；University College London（伦敦大学学院）；University of Oxford（牛津大学）
潜变量模型已成功地应用于无损压缩的比特回退编码算法。然而，比特返回遭受比特率的增加等于近似后验和真实后验之间的KL发散。在本文中，我们将展示如何消除这一差距渐近派生比特回编码算法从更严格的变分界限。其关键思想是利用扩展的空间表示的蒙特卡罗估计的边际似然。天真地应用，我们的计划将需要更多的初始位比标准的位回编码器，但我们展示了如何大大减少这种额外的成本与耦合的潜在空间。当可以利用并行架构时，我们的编码器可以实现比比特回退更好的速率，而几乎没有额外的成本。我们证明了改进的无损压缩率在各种设置，特别是在分布或顺序数据压缩。
2021-06-15 cs.AI cs.IT cs.LG
Soft Compression for Lossless Image Coding
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
软压缩是一种无损图像压缩方法，它从信息论和统计分布的角度出发，采用码书的位置和形状对图像进行编码，致力于同时消除编码冗余和空间冗余。本文提出了一个新的概念，可压缩指示函数关于图像，它给出了一个阈值的平均比特数所需的代表一个位置，可以用来揭示软压缩的性能。通过具体的算法和压缩指示值，对二值图像、灰度图像和多分量图像的软压缩进行了研究和分析。人们期望通过应用软压缩可以大大减少传输和存储同类图像时所需的带宽和存储空间。
2020-12-11 cs.AI cs.IT eess.IV
Lossless Address Coding for Quantum Networks
University of Naples Federico II（那不勒斯费德里科二世大学）
研究量子网络寻址问题，提出无损源编码方案，引入前缀 - 后缀地址空间，开发等距分层编解码器并结合基于哈夫曼的程序，经13节点网络数值示例验证可行且保真，建立源编码理论与量子网络设计联系，提供实用框架。
2026-07-28 cs.IT cs.NI math.IT
Adapting Diffusion Language Models for Lossless Pixel-Level Image Transmission
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）；Shenzhen CyberAray Network Technology Co., Ltd（深圳CyberAray网络技术有限公司）；School of Mechanical Engineering and Electronic Information, China University of Geosciences（中国地质大学（武汉）机械与电子信息学院）；Zhejiang Lab（浙江实验室）
提出基于离散扩散模型的分离源信道编码框架DDM-SSCC，通过双向注意力下的同步逆向算术编码实现无损像素级图像传输，并引入Halton引导去噪顺序、掩码率感知余弦调度和轻量温度校准模块提升性能。
2026-06-04 cs.AI cs.IT math.IT
Practical Lossless Compression with Latent Variables using Bits Back Coding
University College London（伦敦大学学院）
深度潜变量模型最近在许多数据领域取得了成功。无损压缩是这些模型的一种应用，尽管其具有非常有用的潜力，但还没有以实际的方式实现。我们提出了"位回ANS"（BB-ANS），一个计划，以执行无损压缩与潜变量模型在一个接近最佳的速率。我们证明了这个方案，使用它来压缩MNIST数据集与变分自动编码器模型（VAE），实现压缩率优于标准方法，只有一个简单的VAE。鉴于该计划是非常适合并行化，我们的结论是，有一个足够高的质量生成模型，该计划可以用来实现可接受的运行时间在压缩率的大幅改善。我们在www.example.com上提供了我们的实现。
2019-01-15 cs.AI cs.IT cs.LG
Bounds for Learning Lossless Source Coding
University of Hawaii, Manoa（夏威夷大学马诺阿分校）
本文提出了一个基本问题：需要多少训练才能击败通用源代码编码器？传统上，有两种类型的源代码编码器：固定的，最佳的编码器，如霍夫曼编码器;和通用的源代码编码器，如Lempel-Ziv本文认为第三种类型的源代码编码器：学习编码器。这些编码器在特定类型的数据上进行训练，然后用于编码该类型的新数据。这是一种编码器，最近在（有损）图像和视频编码中变得非常流行。本文考虑两个标准的学习编码器的性能：训练数据的平均性能，并保证在所有的训练，除了一些错误概率$P_e$的性能。在这两种情况下，编码器的冗余度进行评估。本文考虑了IID二元情形和二元马尔可夫链。在这两种情况下，它表明，所需的训练数据量是非常温和的：编码序列的长度$l$的训练数据量需要击败通用源编码器是$m=K\frac{l}{\log l}$，其中常数在前面取决于所考虑的情况。
2020-09-18 cs.IT cs.LG math.IT
Random Permutation Codes: Lossless Source Coding of Non-Sequential Data
本文提出随机置换码（RPC）框架，将非顺序数据建模为组合随机变量，并给出其最优无损压缩速率及面向多重集、图和划分的编码算法。
2024-11-18 cs.IT eess.SP math.IT
Universal Tree Source Coding Using Grammar-Based Compression
我们应用所谓的树直线程序的问题的无损压缩的二叉树。我们得到的最大逐点冗余（或最坏情况下的冗余），提高以前的界限张，杨，Kieffer使用有向无环图。利用这一点，我们获得通用代码的新类的结构化树源。
2017-01-21 cs.IT math.IT
A Novel Scheme to Improve Lossless Image Coders by Explicit Description of Generative Model Classes
在这项研究中，我们提出了一个新的计划，系统的改进无损图像压缩编码器的角度来看，在信息论的通用代码。在该方案中，我们描述了一个生成模型类的图像作为一个随机模型。使用贝叶斯码，我们能够构造一个无损图像压缩编码器，这是最佳的贝叶斯准则下的模型类描述适当。由于压缩编码器对于假设的模型类是最佳的，因此我们能够专注于模型类的扩展。为了验证所提出的方案的效率，我们构建了一个无损图像压缩编码器，实现了约19.7%的减少以前的编码器的平均编码率。
2019-04-16 cs.IT math.IT
Universal Covertness for Discrete Memoryless Sources
考虑由具有未知分布$p_X$的离散无记忆源（DMS）发射的长度为$n$的序列$X^n$。我们的目标是构建一个无损的源代码，将$X^n$映射到一个序列$\widehat{Y}^m$的长度$m$是不可区分的，在Kullback-Leibler分歧，从另一个DMS发出的序列与已知的分布$p_Y$。主要结果是存在一种编码方案，该编码方案以等于$H(X)/H(Y)$的最佳比率$m/n$执行该任务，所述最佳比率是两个分布的香农熵的比率，因为$n$趋于无穷大。该编码方案通过基于类型的通用无损信源编码方案克服了由于缺乏关于$p_X$的知识而产生的挑战，该方案产生几乎均匀分布的序列作为输出，随后是另一种基于类型的编码方案，该编码方案联合执行信源可分辨性和通用无损信源编码。该结果恢复并扩展了以前的结果，假设$p_X$或$p_Y$均匀，或$p_X$已知。这些推广的代价是使用了具有消失率的普通随机性，其长度是$n$的对数。通过允许公共随机性大于$n$的对数但与$n$相比仍然可以忽略，还借助于极化码为二进制源提供了与主要结果对应的构造性低复杂度编码和解码。
2021-06-17 cs.IT math.IT
On Lossless Universal Compression of Distributed Identical Sources
Slepian-Wolf定理是一个众所周知的框架，其目标是对（两个）分布式源的输出之间具有逐符号相关性的（两个）数据流进行几乎无损压缩。然而，本文考虑了一个不同的情况下，不适合在Slepian-Wolf框架。我们考虑两个相同的，但空间分离的源。我们希望研究来自源之一的长度为$n$的序列的通用压缩，假设解码器可以访问（即，存储）来自另一个源的长度为$m$的序列。例如，在对来自同一服务器的多个镜像的数据进行通用压缩时，就会出现这种情况。在这种设置中，相关性不是由来自两个源的两个输出的逐符号依赖性引起的。相反，序列通过它们包含的关于未知源参数的信息而相关。我们表明，手头的压缩问题的有限长度的性质，需要考虑几乎无损信源编码的概念，编码引起的错误概率$p_e(n)$，消失与序列长度$n$。我们得到一个下界的平均极小极大冗余几乎无损码作为序列长度$n$和允许的错误概率$p_e$的函数时，解码器有一个内存长度$m$和编码器不进行通信。我们的结果表明，当两个编码器不通信时，即使解码器知道未知参数向量（即，$m \to \infty$）。
2012-06-19 cs.IT math.IT
X3: Lossless Data Compressor
X3是一个无损优化的基于字典的数据压缩器。该算法使用字典、上下文建模和算术编码的组合。优化增加了为每个文件找到最合适的参数的能力。即使没有优化，x3也可以压缩数据，其压缩比可与LZMA、zstd或Brotli等最好的字典压缩方法相媲美。
2022-01-01 cs.DS cs.IT cs.MM
Efficient sequential compression of multi-channel biomedical signals
本文提出了多通道生物医学信号的无损和近无损压缩算法。该算法是顺序的和有效的，这使得他们适合于低延迟和低功耗的信号传输应用。我们利用信息论和信号处理工具（如通用编码，通用预测，和快速在线实现的多元递归最小二乘法），结合简单的方法来利用空间以及时间冗余通常存在于生物医学信号。公开可用的脑电图和心电图数据库的算法进行测试，在所有情况下，超过了目前的最先进的近无损和无损压缩比。
2016-05-14 cs.IT math.IT
Fast and Lightweight Rate Control for Onboard Predictive Coding of Hyperspectral Images
预测编码以其优良的率失真性能和较低的复杂度在航天器上的超光谱图像压缩中具有重要的应用前景。在这封信中，我们提出了一种码率控制算法，并将其集成在CCSDS-123无损压缩建议的有损扩展中。所提出的速率算法通过更快和更简单的数量级来实现，同时在输出速率和可比或更好的图像质量方面仍然提供相同的精度，从而彻底改变了我们以前的方案。
2017-01-30 cs.IT math.IT
Low-Delay Distributed Source Coding for Time-Varying Sources with Unknown Statistics
我们考虑一个系统，其中两个节点采取相关测量的随机源随时间变化和未知的统计。在第一节点处的源的观测结果将在第二节点处以给定的中断概率被有损地复制，第二节点通过恒定速率无差错信道从第一节点接收数据。我们开发了一个系统和相关的联合分布式信源编码（编码和解码）和传输控制的策略，以实现低的端到端延迟。传统形式的Slepian-Wolf编码不能应用于我们的场景中，因为编码器需要观测的联合统计数据，并且相关的解码延迟非常高。我们分析评估我们的策略的性能，并表明，通过它们实现的延迟是为了最佳的，作为源的条件熵接近信道速率。我们还评估了我们的算法的性能的基础上，使用两个摄像机记录视频的场景在不同的角度在现实世界中的实验。在实现了我们的方案后，我们证明了，即使使用非常低复杂度的量化器，在解码器处的无损复制也可以实现大约50%的压缩比，平均延迟为几秒钟。
2016-10-26 cs.IT math.IT
Network Compression: Memory-Assisted Universal Coding of Sources with Correlated Parameters
在本文中，我们提出了{ \em分布式网络压缩通过内存}。我们考虑两个空间分离的源相关的未知源参数。我们希望研究来自源之一的长度为$n$的序列的通用压缩，假设解码器可以访问（即，存储）来自另一个源的长度为$m$的序列。在这种设置中，相关性不是由来自两个源的两个输出的逐符号依赖性引起的（如Slepian-Wolf设置中那样）。相反，这两个序列是相关的，因为它们源自具有\emph{unknown}相关参数的两个源。手头的压缩问题的有限长度性质需要考虑几乎无损信源编码的概念，其中编码引起的错误概率$p_e(n)$随着序列长度$n$增长到无穷大而消失。我们得到的几乎无损码的冗余时，解码器可以访问的随机存储器的长度$m$序列长度$n$和允许的错误概率$p_e(n)$的函数。我们的研究结果表明，通过内存的分布式网络压缩有可能显着改善传统的端到端的压缩时，足够大的内存从以前的通信可供解码器。
2012-10-08 cs.IT math.IT
Lossless Data Compression with Error Detection using Cantor Set
2009年，一种基于一维混沌映射的无损压缩算法被提出，称为广义Luröth级数（或GLS）。该算法（GLS编码）将输入信息编码为一个适当的一维混沌映射（GLS）上的符号序列，并通过在映射上向后迭代获得压缩文件作为初始值。对于各态历经的源，它表明，GLS编码实现了最好的可能的无损压缩（在无噪声设置）的香农熵的限制。然而，在存在噪声的情况下，由于对初始值的敏感依赖性，即使压缩文件中的小错误也会导致灾难性的解码错误。本文首先证明了重复码$\mathcal{R}_n$（每个符号重复$n$次，其中$n$为正奇数），是文献中最古老、最基本的纠错码和检错码，实际上位于一个Cantor集上，其分形维数为$\frac{1}{n}$，也就是码的码率.受此启发，我们将错误检测能力的GLS编码，确保压缩文件（在地图上的初始值）在于康托集的措施零。即使初始值中的1位错误也会将其抛出到解码时可以检测到的康托集之外。错误检测性能（以及码的速率）可以通过康托集的分形维数来控制，并且可以根据通信信道的噪声水平来适当地调整。
2013-08-10 cs.IT math.IT nlin.CD
On Zero-Error Source Coding with Feedback
本文研究了在接收端存在边信息的情况下，有限反馈下的零差错信源编码问题。首先，我们推导出一个可实现的速率区域的任意联合分布的源和边信息。当所有的源对的源和边信息符号是可观察的非零概率，我们表明，这种特性给出了整个速率区域。接下来，我们展示了一类源，渐近零反馈足以实现零错误编码的速率承诺的Slepian-Wolf界渐近无损编码。最后，我们用三个简单的例子来说明这些结果。
2010-01-14 cs.IT math.IT
Two-Dimensional Source Coding by Means of Subblock Enumeration
一种经由子串枚举（CSE）的无损压缩技术获得压缩比以及用于一维（1D）源的流行无损压缩器。CSE利用从输入源的圆形串构建的概率模型来对源进行编码，CSE通过将二维（2D）源的一行像素处理为扩展字母表的符号而适用于诸如图像的2D源。在CSE编码过程的初始步骤中，我们需要输出扩展字母表中所有符号的出现次数，因此当源的大小变大时，时间复杂度呈指数增长。为了降低时间复杂度，我们提出了一种新的CSE，它可以编码一个二维源在逐块，而不是逐行。所提出的CSE利用输入2D源的平坦环面作为用于编码源的概率模型，而不是源的圆形串。此外，我们分析了建议的CSE一般源的平均码字长度的限制。
2017-01-24 cs.IT math.IT
On the Separation of Lossy Source-Network Coding and Channel Coding in Wireline Networks
本文证明了在有噪声、离散、无记忆信道的网络中信源-网络编码与信道编码的分离。我们表明，在提供一个家庭的依赖源在这样一个网络中的可实现的失真矩阵的集合等于一组可实现的失真矩阵提供相同的源在一个不同的网络，这是通过替换每个通道由一个无噪声的，点对点的比特管道相应的容量。因此，通过在每个链路上应用独立的信道编码而使链路几乎无损地跨链路应用源网络编码的代码在整个网络上渐进地实现最佳性能。
2010-05-02 cs.IT math.IT
Multi-Class Source-Channel Coding
本文研究了一种几乎无损的信源-信道编码方案，该方案将信源信息分配到不同的类中，并使用依赖于类索引的信道码进行编码。通过随机编码误差指数分析了码的性能，并利用现有的信源和信道码对低复杂度实现进行了仿真验证。虽然每个类代码可以被看作是源代码和信道代码的级联，但是当类的数量增加时，总体性能在单独的源-信道编码的性能上有所改善，并且接近联合源-信道编码的性能。
2016-07-26 cs.IT math.IT
On Locally Decodable Source Coding
局部可解码的信道码形成一类特殊的纠错码，其特性是解码器能够从仅查询噪声码字的几个比特来重构输入消息的任何比特。众所周知，与它们的非局部对应物相比，这样的码需要显著更多的冗余（特别是具有消失率）。在本文中，我们定义了一个对偶问题，即本地可解码的源代码（LDSC）。我们认为几乎无损（块错误）和有损（位错误）的情况下。在几乎无损的情况下，我们表明，最佳压缩（熵）是可能的O（log n）查询压缩字符串的解压缩。我们还示出了以下相反的界限：1）线性LDSC不能实现低于1的任何速率，具有有限数量的查询，2）具有线性解码器（不一定是本地的）的任何信源编码的速率在1中，3）对于2个查询，任何代码构造不能具有低于1的速率。在有损的情况下，我们表明，任何率以上率失真是可以实现的有限数量的查询。我们还表明，率失真是可以实现的任何缩放数量的查询。我们提供了一个有限块长度制度的可扩展性界限，并将其与简洁的数据结构文献中现有的界限进行比较。
2013-08-27 cs.IT math.IT
Distributed Source Coding Using Constrained-Random-Number Generators
针对 Jana 和 Blahut 提出的通用分布式无损/有损信源编码问题，本文利用熵函数刻画其多字符率失真区域，并基于受限随机数生成器构造编码证明可实现性。
2024-07-04 cs.IT math.IT
Performance of Polar Codes for Channel and Source Coding
最近由Arıkan引入的极化码是已知使用低复杂度连续消除解码器实现对称信道容量的第一个码族。虽然这些代码，结合连续取消，在这方面是最佳的，他们的有限长度的性能是没有破纪录的。我们讨论了几种技术，通过它们的有限长度的性能可以提高。我们还研究了这些代码的性能的上下文中的信源编码，无损和有损，在单用户上下文中，以及分布式应用程序。
2009-05-22 cs.IT math.IT
Lossless Compression with Probabilistic Circuits
UCLA（加州大学洛杉矶分校）；University of California, Irvine（加州大学欧文分校）
尽管在图像生成方面取得了广泛的进展，但常见的深度生成模型架构并不容易应用于无损压缩。例如，VAE由于其潜在变量而遭受压缩成本开销。这种开销只能部分消除精心设计的方案，如比特回编码，往往导致单样本压缩率差。为了克服这些问题，我们建立了一类新的易处理的无损压缩模型，允许有效的编码和解码：概率电路（PC）。这些是涉及$|p|$计算单元的一类神经网络，其支持对$D$特征维度的任意子集的有效边缘化，从而实现有效的算术编码。我们得到有效的编码和解码方案，都具有时间复杂度$\mathcal{O} (\log(D) \cdot |p|)$，其中一个天真的计划将在$D$和$|p|$的线性成本，使该方法高度可扩展。根据经验，我们基于PC的（解）压缩算法比实现类似比特率的神经压缩算法快5-40倍。通过扩展传统的PC结构学习管道，我们在MNIST等图像数据集上获得了最先进的结果。此外，PC可以自然地与现有的神经压缩算法集成，以提高这些基础模型在自然图像数据集上的性能。我们的研究结果突出了非标准学习架构可能对神经数据压缩产生的潜在影响。
2022-03-16 cs.IT cs.LG math.IT
Rate Region of the Vector Gaussian One-Helper Source-Coding Problem
我们确定的协方差矩阵失真约束下的矢量高斯单助手信源编码问题的速率区域。速率区域通过一个简单的方案实现，该方案将有损矢量量化与无损空间压缩分离。相反的是建立在扩展和结合三个分析技术，已在过去获得部分结果的问题。
2011-12-29 cs.IT math.IT
Approximating the Gaussian Multiple Description Rate Region Under Symmetric Distortion Constraints
我们考虑了对称均方误差失真约束下的高斯信源的多描述编码，并给出了码率区域的近似描述。我们表明，率区域可以夹在两个多面体之间，之间的差距可以由常数依赖于描述的数量上界，但独立于确切的失真约束。这一结果的基础是无损多级分集信源编码问题的精确表征：MD问题的无损对应物。此连接为速率区域的内部边界和外部边界提供了一个多面体模板。为了建立外界，我们推广了Ozarow的技术，引入了一个战略扩展的原始概率空间的多个随机变量。对于对称速率的情况下，任何数量的描述，我们表明，上限和下限之间的差距为个人的描述率不大于0.92位。在这项工作中开发的结果还表明，“分离”的方法相结合的连续细化量化和无损多级分集编码是一个有竞争力的，因为它只是一个常数远离最佳。结果进一步扩展到一般源下的均方误差失真措施，在类似的，但更宽松的约束的差距举行。
2008-10-20 cs.IT math.IT
Universal source coding over generalized complementary delivery networks
本文研究了一类称为广义互补传输网络的多端信源编码网络的通用编码问题。在该网络中，来自多个相关源的消息被联合编码，并且每个解码器可以访问其中一些消息，以使其能够再现其他消息。固定到固定长度和固定到可变长度的无损编码方案被认为是。利用类型和图论分析的方法，阐明了泛码的显式构造和错误概率的界。
2007-10-26 cs.IT math.IT
Stable Source Coding
本文研究了稳定信源编码的压缩率，通过组合论推导了信息论极限，指出随机分组技术的不稳定性。
2026-01-23 cs.IT math.IT
Universal coding for correlated sources with complementary delivery
本文研究了一种多终端信源编码系统的通用编码问题，我们称之为互补传递编码系统。在该系统中，来自两个相关源的消息被联合编码，并且每个解码器可以访问两个消息中的一个，以使其能够再现另一个消息。固定到固定长度和固定到可变长度的无损编码方案被认为是。通过类型理论和图论分析，明确了通用码的构造和错误概率的界。[[Keywords]]多端信源编码，互补传递，通用编码，序列类型，二分图
2007-10-23 cs.IT math.IT
Asymptotics and Non-asymptotics for Universal Fixed-to-Variable Source Coding
在有限块长和高阶渐近性条件下，研究了无记忆信源的通用固定-可变无损信源编码。最佳的三阶编码速率一般固定到可变码和前缀码。结果表明，无前缀类型大小码，其中码字长度的类型类大小的升序选择，实现了最佳的三阶速率，并优于经典的两阶段码。利用经验熵分布的一个结果和拉普拉斯近似证明了逆结果。最后，没有前缀约束的固定变量编码问题被证明是基本上相同的通用猜测问题。
2014-12-15 cs.IT math.IT
