Network Compression: Worst-Case Analysis
本文研究了在二次失真约束下,无记忆网络中分布式相关无记忆源从源节点到目的节点的通信问题。我们建立了以下两个互补的结果:(a)对于任意无记忆网络,在给定相关性的所有分布式无记忆源中,高斯源是最小可压缩的,也就是说,它们允许可实现的失真元组的最小集合,以及(b)对于通过无记忆加性噪声网络通信的任何无记忆源,在给定相关性的所有噪声过程中,高斯噪声容许最小可实现的失真元组集。我们建设性地建立这些结果,显示如何计划相应的高斯问题可以应用到实现类似的性能(源或噪声)分布,不一定是高斯,但具有相同的协方差。
2013-04-05 cs.IT math.IT
Worst-case optimal adaptive alphabetic prefix-free coding
Dalhousie University(达尔豪斯大学)
该研究提出了一种在特定条件下最优的自适应字母表前缀码算法,实现了时间复杂度和压缩性能的最坏情况最优。
2026-01-07 cs.DS cs.IT math.IT
A Code-specific Conservative Model for the Failure Rate of Bit-flipping Decoding of LDPC Codes with Cryptographic Applications
描述迭代译码的低密度和中密度奇偶检验(LDPC/MDPC)码的译码失败率对于基于它们构造能够在自适应选择密文攻击下具有不可破译性的密码系统是至关重要的。在本文中,我们提供了一个统计最坏情况下的分析,我们提出的迭代解码器通过一个简单的修改经典的在位翻转解码器。这种最坏情况分析允许导出在具有相同长度、速率和奇偶检验数量的族中挑选的LDPC/MDPC码的最坏情况行为,以及解码失败率上的码特定界限。前一个结果允许我们构建一个基于代码的密码系统,该密码系统享有IND-CCA 2构造所需的$δ$正确性属性,而后一个结果允许我们丢弃可能具有与平均解码失败率显著不同的解码失败率的代码实例(即,表示弱密钥),如果它们在密钥生成过程期间被挑选的话。
2019-12-11 cs.CR cs.IT math.IT
On Optimal Fronthaul Compression and Decoding Strategies for Uplink Cloud Radio Access Networks
本文研究了上行链路云无线接入网络(C-RAN)模型的压缩转发方案,其中多天线基站(BS)通过容量受限的前传链路连接到基于云计算的中央处理器(CP)。BS用Wyner-Ziv编码压缩接收到的信号,并将表示比特发送到CP; CP执行所有用户消息的解码。在此基础上,本文对C-RAN中压缩转发方案的前传压缩和CP解码策略的优化结构进行了研究。在CP解码策略设计上,本文证明了在总前传容量约束下,允许CP处任意交织顺序的量化和用户消息码字的广义连续解码策略与最优联合解码具有相同的速率区域。此外,它示出了一个实用的策略,连续解码的量化码字第一,然后用户消息,实现了相同的最大和速率联合解码下的个人前传约束。在用户传输和基站量化策略的联合优化问题上,本文证明了在假设输入分布为高斯分布的情况下,联合解码时,使可达速率区域最大化的最优量化方案为高斯。此外,高斯输入和高斯量化与联合解码实现在高斯多输入多输出(MIMO)上行链路C-RAN模型的容量区域的恒定间隙内。最后,本文讨论了优化上行链路MIMO C-RAN的计算方面,通过显示在固定高斯输入下,高斯量化噪声协方差矩阵上的和速率最大化问题可以被公式化为凸优化问题,从而促进其有效的解决方案。
2016-10-12 cs.IT math.IT
Shifted Pruning for List Decoding of Polar Codes
在连续消除列表(SCL)解码中,树修剪操作在每个解码步骤中保留关于度量的L个最佳路径。然而,由于施加的惩罚,正确路径可能在L个最差路径中。在这种情况下,正确的路径被修剪,解码过程失败。在这项工作中,我们提出了一个方案,当解码失败时,额外的解码尝试,其中修剪窗口不一定选择L个最佳路径,但这个窗口在排序列表中的位置1和2L之间移动。在最简单的形式中,在解码步骤中选择L个最差路径,其中正确路径的消除概率高。此外,本文还对该方案进行了推广,提出了约束移位、嵌套移位和分段译码下移位等变体,旨在降低计算复杂性。对于码率为0.5和0.8以及列表大小L = 2、8、32的长度为512的极化码的数值结果表明,移位修剪方案可以在纠错性能方面提供0.25 - 0.5 dB的增益,而平均计算复杂性在实际FER范围内接近常规列表解码复杂性。
2020-01-29 cs.IT eess.SP math.IT
Multi-Trial Guruswami--Sudan Decoding for Generalised Reed--Solomon Codes
基于Alekhnovich的模最小化,提出了广义Reed-Solomon码的Guruswami-Sudan列表译码算法的迭代精化过程。该方法是可参数化的,并允许通常的列表解码方法的变体。特别地,可以在保持最坏情况复杂度的同时以改进的平均情况复杂度来执行在中间半径内找到\emph{closest}码字的列表。
2013-01-31 cs.IT math.IT
New Algorithms and Lower Bounds for Sequential-Access Data Compression
本论文研究的是顺序存取数据压缩技术,通过从头到尾读取输入一次或多次的算法。在一章中,我们考虑自适应前缀编码,对于这种编码,我们必须逐个字符地读取输入字符,在读取下一个字符之前输出每个字符的自定界码字。我们展示了如何在恒定的最坏情况下的时间编码和解码每个字符,同时产生一个编码的长度是最坏情况下的最佳。在另一章中,我们考虑一次通过压缩与内存的字母表大小和上下文长度的限制,并证明了一个几乎紧密的权衡之间的内存量,我们可以使用和压缩的质量,我们可以实现。在第三章中,我们考虑在读/写流模型中的压缩,它允许我们在输入的大小上传递和存储多对数。我们首先展示如何实现通用压缩,只使用一个通过一个流。然后,我们表明,一个流是不足以实现良好的基于语法的压缩。最后,我们表明,两个流是必要的和充分的实现熵的唯一界限。
2009-02-01 cs.IT math.IT
Asymmetric Encoding-Decoding Schemes for Lossless Data Compression
本文提出了一种不对称编码解码方案,用于在特定条件下实现更高效的无损数据压缩。
2026-01-16 cs.IT math.IT
LoRa Performance Analysis with Superposed Signal Decoding
本文考虑使用连续干扰消除(SIC)来解码长距离(LoRa)网络中的叠加信号。我们建立在一个已知的随机几何模型的LoRa网络,并包括通过SIC恢复冲突数据包的效果。我们推导出封闭形式的表达式,成功解码的数据包使用SIC考虑路径损耗,衰落,噪声和干扰,而我们通过蒙特卡罗模拟验证模型。结果表明,支持SIC的LoRa网络将最坏情况下的可靠性提高了34%。我们发现,至少有一个测试方案,SIC增加了159%的服务用户的数量与相同的最坏情况下的可靠性水平。
2020-10-19 cs.IT cs.NI eess.SP
Worst-case Asymmetric Distributed Source Coding
我们考虑一个最坏情况下的非对称分布式信源编码问题,其中一个信息接收器与$N$相关的信息源进行通信,以收集他们的数据。从离散和有限的联合概率分布${\mathcal P} = p(x_1, ..., x_N)$导出数据向量$\bar{x} = (x_1, ..., x_N) \sim {\mathcal P}$,并且向$i^{\textrm{th}}$源$1 \le i \le N$揭示分量$x_i$。我们考虑一个不对称的通信场景,只有汇被假定为知道分布$\mathcal P$。我们感兴趣的是计算的最小数量的位,源必须发送,在最坏的情况下,使接收器losslylearn任何$\bar{x}$透露给源。我们提出了一种新的信息度量称为信息歧义执行最坏情况下的信息理论分析,并证明其各种性质。然后,我们提供了交互式通信协议,以解决上述问题,在两个不同的通信场景。我们还研究了块编码在分布式压缩问题的最坏情况分析中的作用,并证明了它几乎没有压缩优势,与本文中仅使用单个数据向量的情况相比,解决了这个问题。
2013-01-02 cs.IT math.IT
Compressive Sensing Over Networks
在本文中,我们展示了压缩感知在网络上的一些应用。本文将压缩感知与传统的信源编码和信道编码中的信息论技术联系起来。我们的研究结果提供了一个明确的速率和解码复杂度之间的权衡。压缩感知和传统信息论方法的关键区别在于它们的解码端。虽然用于恢复由信源编码压缩的原始信号的最佳解码器具有高复杂度,但是压缩感知解码器是线性或凸优化的。首先,我们研究了压缩感知在相关源的分布式压缩中的应用。在这里,通过使用压缩感知,我们提出了一个压缩方案的相关源的家庭与模块化的解码器,提供压缩率和解码复杂度之间的权衡。我们称这种方案为稀疏分布式压缩。我们使用这种压缩方案的一般组播网络相关的来源。在这里,我们首先通过网络解码技术解码一些源,然后,我们使用压缩感知解码器来获得整个源。然后,我们研究了压缩感知在信道编码中的应用。我们提出了一种编码方案,结合压缩感知和随机信道编码的高信噪比点对点高斯信道。我们称这种方案为稀疏信道编码。我们提出了一个模块化的解码器提供的容量损失和解码复杂度之间的权衡。在接收端,首先,我们使用压缩感知解码器对噪声信号进行解码,以获得原始信号的噪声估计,然后,我们应用传统的信道编码解码器来找到原始信号。
2010-12-04 cs.IT math.IT
A Fixed-Length Coding Algorithm for DNA Sequence Compression
在达到2.0 bits/base的压缩比的同时,新算法对非N个base进行定长编码。与以往的DNA压缩算法和一些通用的压缩程序相比,它大大减少了编码和解码的时间。
2005-06-12 cs.IT math.IT
Universal compression of Gaussian sources with unknown parameters
对于可数支撑集上的分布集合,Shtarkov的最坏情况通用压缩公式试图在支撑集上分配一个通用分布。这一提法旨在确保普遍分布不会低估支持集合中任何元素相对于集合中分布的概率。当字母表是不可数的,而我们有一个勒贝格连续测度的集合$\cal P$时,我们问是否有一个相应的普适概率密度函数(pdf),它不会低估相对于$\cal P$中pdf的支持中任何点的密度函数的值。类似于可数字母表上分布集合的最坏情况冗余,我们定义一个类的\textit{attenuation}为$A$,当最坏情况下的最佳通用pdf在任何点$x$的支持总是至少值集合中的任何pdf $\cal P$分配给$x$除以$A$。我们分析了最差的最优通用pdf在长度上的衰减- $n$样本从高斯分布生成\textit{i.i.d.},高斯分布的均值可以是$-α/2$到$α/2$之间的任何值,方差可以是$σ_m^2$和$σ_M^2$之间的任何值。我们表明,这种衰减是有限的,增长的样本数为${\cal O}(n)$,也指定衰减完全没有近似。当只允许一个参数变化时,我们表明衰减增长为${\cal O}(\sqrt{n})$,再次与先前文献的结果保持一致,该文献将数量级固定为每个参数的$\sqrt{n}$因子。此外,我们还指定衰减精确没有近似时,只有平均值或只有方差允许变化。
2014-10-16 cs.IT math.IT
Compress-Forward Schemes for General Networks
压缩转发(CF)方案在一般网络中进行了研究。单中继信道的CF速率定义了一般网络的CF速率和支持该速率的压缩速率向量区域的外边界。我们证明了使用具有恒定编码延迟的常规解码可以实现外界,避免了噪声网络编码和反向解码中的指数延迟和对双向通信的限制。分层的概念被引入到协调规则CF方案与解码转发设置中的流分解的框架。分层对应于常规解码方案。在外部边界中的任何期望的压缩率向量都可以通过一些分层来实现,这是使用流分解中的相同“移位”操作来找到的。在单独的工作中,我们表明,“移位”最大限度地减少了需要找到layernet的操作,从而最大限度地减少了压缩率向量区域的复杂性。
2022-09-20 cs.IT math.IT
Lossy Compression via Sparse Linear Regression: Computationally Efficient Encoding and Decoding
我们提出了计算效率的编码器和解码器的有损压缩使用稀疏回归码。码本由设计矩阵定义,并且码字是该矩阵的列的结构化线性组合。所提出的编码算法顺序地选择设计矩阵的列来连续地近似源序列。它示出,以实现最佳的失真率函数独立同分布高斯源下的平方误差失真准则。对于给定的速率,可以改变设计矩阵的参数以在失真性能与编码复杂度之间进行权衡。作为块长度n的函数的这种折衷的示例如下。对于每个源样本的计算资源(空间或时间)为O((n/ \log n)^2),对于高斯失真率函数以上的固定失真水平,过度失真的概率在n中呈指数衰减。稀疏回归码在以下意义上是鲁棒的:对于任何遍历源,所提出的编码器实现了具有相同方差的i.i.d高斯源的最佳失真率函数。仿真结果表明,该编码器具有良好的经验性能,特别是在低速率和中等速率。
2014-03-28 cs.IT math.IT stat.ML
Multi-Trial Guruswami-Sudan Decoding for Generalised Reed--Solomon Codes
提出了一种基于Alekhnovich模最小化的广义Reed-Solomon码Guruswami-Sudan列表译码算法的迭代精化方法。该方法是可参数化的,并允许通常的列表解码方法的变体。特别地,找到中间半径内的最接近码字的列表可以以改进的平均情况复杂度来执行,同时保留最坏情况复杂度。我们提供了一个详细的描述模块最小化,重新分析的Mulders-Storjohann算法和绘制新的连接到Alekhnovich的算法和李-奥沙利文的。此外,我们展示了如何将重新编码技术的Kötter和Vardy到我们的迭代算法。
2014-04-11 cs.IT math.IT
Asymptotic Compression of Interactive Quantum Communication using Type-Constrained de Finetti Reduction
Université de Sherbrooke(舍布鲁克大学)
提出基于输入类型的约束 de Finetti 约化,用于简化交互式量子通信协议的分析,并证明无先验量子信息成本等于最坏情况输入下的摊销量子通信成本。
2026-06-24 cs.CC cs.IT math.IT
Encoding and Decoding Algorithms of ANS Variants and Evaluation of Their Average Code Lengths
本文针对研究者对非对称数字系统(ANS)了解不足的问题,详细阐释ANS的编解码算法,并从理论上分析其可实现的平均码长,为该高性能无损压缩技术的应用与研究提供支撑。
2024-08-14 cs.IT math.IT
Universal Compression of Power-Law Distributions
众所周知,英语单词和许多其他自然过程的输出都遵循Zipf分布。然而,这种完全确定的性质从未被证明有助于压缩或预测这些重要的过程。我们发现,Zipf分布的顺序$α>1$的预期冗余大致是$1/α$功率的预期冗余的无限制分布。因此,对于这些阶,Zipf分布可以比以前已知的更好地压缩和预测。与预期的情况不同,我们表明,最坏情况下的冗余是大致相同的Zipf和无限制的分布。因此,Zipf分布具有显着不同的最坏情况和预期冗余,使其成为第一个具有这种差异的自然分布类。
2015-05-01 cs.IT math.IT math.ST
Reliability of universal decoding based on vector-quantized codewords
出于生物识别和内容识别系统的应用,我们考虑的问题,随机编码的通道,其中每个码字进行有损压缩(矢量量化),解码器的基础上,其决定只对压缩的码字和信道输出,这又是一个原始码字的传输,在压缩之前,信道的响应。对于有限字母表的无记忆信源和无记忆信道,我们提出了一种新的通用解码器,并分析了其误差指数,这改进了Dasarathy和Draper(2011)的早期结果,他们使用经典的最大互信息(MMI)通用解码器。此外,我们表明,我们的通用解码器提供了相同的错误指数的最佳,最大似然(ML)解码器,至少只要所有的单字母的通道的转移概率是积极的。我们猜想,即使没有这个积极性条件,同样的论证也是正确的。
2016-09-28 cs.IT math.IT
Comparison Between the Joint and Successive Decoding Schemes for the Binary CEO Problem
针对一个两链路二进制首席执行官(CEO)问题,给出了联合译码方案和连续译码方案的比较。我们利用对数损失作为衡量和比较解码技术的总失真的标准。二进制对称信道(BSC)被认为是测试信道模型,它提供了一个理论上的率失真界。仿真结果表明,联合解码方案提供了更小的压缩率和失真值相比,连续解码方案。另一方面,连续解码方法具有较低的复杂度,因此,它是有效的情况下,具有较高数量的链接。
2020-04-11 cs.IT math.IT
Lossless Compression with Probabilistic Circuits
UCLA(加州大学洛杉矶分校);University of California, Irvine(加州大学欧文分校)
尽管在图像生成方面取得了广泛的进展,但常见的深度生成模型架构并不容易应用于无损压缩。例如,VAE由于其潜在变量而遭受压缩成本开销。这种开销只能部分消除精心设计的方案,如比特回编码,往往导致单样本压缩率差。为了克服这些问题,我们建立了一类新的易处理的无损压缩模型,允许有效的编码和解码:概率电路(PC)。这些是涉及$|p|$计算单元的一类神经网络,其支持对$D$特征维度的任意子集的有效边缘化,从而实现有效的算术编码。我们得到有效的编码和解码方案,都具有时间复杂度$\mathcal{O} (\log(D) \cdot |p|)$,其中一个天真的计划将在$D$和$|p|$的线性成本,使该方法高度可扩展。根据经验,我们基于PC的(解)压缩算法比实现类似比特率的神经压缩算法快5-40倍。通过扩展传统的PC结构学习管道,我们在MNIST等图像数据集上获得了最先进的结果。此外,PC可以自然地与现有的神经压缩算法集成,以提高这些基础模型在自然图像数据集上的性能。我们的研究结果突出了非标准学习架构可能对神经数据压缩产生的潜在影响。
2022-03-16 cs.IT cs.LG math.IT
A Constituent Codes Oriented Code Construction Scheme for Polar Code-Aim to Reduce the Decoding Latency
本文提出了一种极化码构造方案,该方案减少了组成码补充解码延迟。组成码是具有特定模式的子码字。它们用于加速极化码的连续消除解码过程而没有任何性能下降。我们修改传统的建设方法,以产生更多的理想的组成代码,加快解码过程。对于(n,k)极化码,不是直接将k个最佳比特和(n-k)最差比特分别设置为信息比特和冻结比特,而是根据其等效信道的质量仔细地交换一些信息比特和冻结比特的位置。我们对1024和2048比特长度的极化码进行了多速率仿真,并分析了不同长度码的解码延迟。数值结果表明,所提出的构造方案通常能够实现至少约20%的延迟减少与精心选择的优化阈值的增益可以忽略不计的损失。
2017-09-20 cs.IT math.IT
Quad Length Codes for Lossless Compression of e4m3
Google LLC(谷歌公司)
本文提出四长度编码,结合压缩效率与解码速度,适用于e4m3数据类型的无损压缩。
2026-02-25 cs.IT cs.LG math.IT
High-Dimensional Signal Compression: Lattice Point Bounds and Metric Entropy
University of Rochester(罗切斯特大学);Binghamton University(宾汉姆顿大学);Institute of Mathematics and Yerevan State University(数学研究所与埃里温国立大学)
本文研究在ℓ²能量约束下,基于坐标依赖量化精度的最坏情况信号压缩问题,通过计数对角椭球内的格点数,得到维度相关的码本大小上界,并改进了Landau的经典格点估计。
2026-04-03 cs.IT cs.NA math.IT
Worst-case Redundancy of Optimal Binary AIFV Codes and their Extended Codes
二进制AIFV码是无损码,它推广了瞬时FV码。该代码使用两个代码树,并将源符号分配给不完整的内部节点以及叶子。经验表明,AIFV码比霍夫曼码具有更好的压缩比。然而,关于最佳二进制AIFV码的冗余的上界仅已知为1,这与霍夫曼码的界相同。本文将其上界改进为1/2,这与码的最坏情况冗余度相吻合。与此同时,根据$p_{\max}\geq$ 1/2导出最坏情况的冗余,其中$p_{\max}$是最可能的源符号的概率。此外,我们提出了一种扩展的二进制AIFV码,它使用$m$码树,并允许最多$m$位解码延迟。我们证明了对于$m \leq 4.$,扩展二进制AIFV码的最坏情况冗余是$1/m$
2017-08-01 cs.IT math.IT
Challenges and Solutions in Selecting Optimal Lossless Data Compression Algorithms
Department of Computer Science and Engineering(计算机科学与工程系);East West University(东西方大学);Bangladesh University of Business and Technology (BUBT)(孟加拉国商业技术大学)
本文提出整合压缩比、编码与解码时间的加权评分框架,以在多指标约束下客观选择最优无损压缩算法。
2025-09-23 cs.CV cs.IT math.IT
A fixed latency ORBGRAND decoder architecture with LUT-aided error-pattern scheduling
猜测随机加性噪声解码(GRAND)是最近被提出作为执行最大似然解码的实用方式的通用解码算法。它生成一系列可能的错误模式,并将其应用于接收到的向量,检查结果是否是有效的码字。有序可靠性比特GRAND(ORBGRAND)通过考虑从信道接收的软信息来改进GRAND。GRAND和ORBGRAND都是在硬件中实现的,专注于平均性能,牺牲了最坏情况下的吞吐量和延迟。在这项工作中,一个改进的模式调度ORBGRAND的建议。它在出错率$\le 10^{-5}$的情况下提供了超过标准调度的$>0.5$ dB增益,并且以其一小部分的复杂性胜过更复杂的GRAND风格。建议的时间表内使用一种新的代码不可知的解码器架构:解码器保证固定的高吞吐量和低延迟,使其有吸引力的延迟受限的应用程序。它比解码器在最坏情况下的性能高出几个数量级,并且比许多最佳情况下的性能都要好。对长度为128的码进行解码,其实现了$79.21$ Gb/s的吞吐量,具有$58.49$ ns的延迟,产生了相对于现有技术更好的能量效率和可比较的面积效率。
2022-02-08 cs.AR cs.IT math.IT
An extended Krylov subspace method for decoding edge-based compressed images by homogeneous diffusion
本研究针对基于修复的有损压缩中热方程求解的需求,提出扩展Krylov子空间方法来数值求解热方程,该方法在大时间解的直接计算上高效,适用于通过均匀扩散解码边缘压缩图像。
2025-03-25 cs.IT cs.NA math.IT
Decoding Delay Guarantees of Space Regulated Multiple Access Random Wireless Networks using Successive Interference Cancellation
Inria, INSA Lyon, CITI(法国国家信息与自动化研究所,里昂国立应用科学学院,信息与通信研究所);INRIA-ENS(法国国家信息与自动化研究所,巴黎高等师范学院);Telecom Paris(巴黎电信学院)
本文研究了无线网络中满足信号干扰噪声比阈值η_0的解码延迟保证问题,采用空域网络计算方法量化了蜂窝外网络上行链路的最坏传输解码延迟。
2026-09-21 cs.IT cs.NI math.IT
Study On Universal Lossless Data Compression by using Context Dependence Multilevel Pattern Matching Grammar Transform
本文提出了上下文相关多级模式匹配(context dependence multilevel pattern matching,简称CDMPM)文法变换,并在此文法变换的基础上,提出了一种通用的无损数据压缩算法--CDMPM码。此外,我们得到了该算法的最坏情况下的冗余度的上界之间的所有个人序列的长度为n的有限字母表。
2013-03-20 cs.DM cs.IT math.IT
Optimal Multi-bit Generative Watermarking Schemes Under Worst-Case False-Alarm Constraints
本文研究了在最坏情况误报约束下大型语言模型的多比特生成水印问题,提出两种新的编码解码构造以达到已知下限,彻底表征最优多比特水印性能。
2026-11-02 cs.CL cs.IT math.IT