n-Channel Asymmetric Multiple-Description Lattice Vector Quantization
我们提出了最佳熵约束的多描述格矢量量化器的解析表达式,在高分辨率的假设下,最大限度地减少给定的丢包概率的预期失真。我们考虑的非对称情况下,允许丢包概率和侧熵是不平等的,并找到最佳量化器的任何数量的描述在任何维度。我们表明,归一化的二阶矩的侧量化给出了一个$L$维球体独立的晶格的选择。此外,我们表明,最佳的比特分布之间的描述是不唯一的。事实上,在一定限度内,比特可以任意分布。
2005-08-02 cs.IT math.IT
Optimal Design of Multiple Description Lattice Vector Quantizers
在多描述格型矢量量化器(MDLVQ)的设计中,索引分配起着关键的作用。此外,在给定所有边描述的总熵率Rt和描述丢失概率p的情况下,还需要选择中心格的Voronoi单元尺寸v、子格索引N和边描述的数目K,以使期望的MDLVQ失真最小化。本文提出了一种线性时间MDLVQ索引分配算法,适用于任意维中任意K >= 2个平衡描述,基于所谓的K分数格的新构造。该算法本质上是贪婪的,但被证明是渐近(N ->无穷)最优的任何K >= 2平衡描述在任何维度,给定Rt和p。当K > 2时,提出了一种局部调整算法来增强贪婪索引分配,并证明了该算法对有限N是最优的。我们的算法研究也导致更好地了解v,N和K的最佳MDLVQ设计。当K = 2时,我们首次导出了p,Rt,N中最优MDLVQ的期望失真的非渐近封闭形式表达式。对于K > 2,我们收紧了当前期望失真的渐近公式,将N和K的最佳值与p和Rt更精确地联系起来。
2006-09-22 cs.IT math.IT
A Zador-Like Formula for Quantizers Based on Periodic Tilings
我们认为Zador的渐近公式的失真率函数的可变速率矢量量化器在高速率的情况下。该公式涉及源的差分熵、量化器的速率(单位:比特/样本)和系数G,该系数G取决于量化器的几何结构但与源无关。我们给出了一个明确的公式G的情况下,当量化区域形成一个周期性平铺的n维空间,在体积和二阶矩的Voronoi细胞。作为一个应用程序,我们表明,扩展早期的工作Kashyap和Neuhoff,即使是一个可变速率的三维量化器的基础上的"A15“结构仍然是劣于量化器的基础上的体心立方晶格。我们还确定了这种结构的最小覆盖半径。
2002-07-17 cs.IT math.CO math.IT
Rejection-Sampled Universal Quantization for Smaller Quantization Errors
本文提出基于拒绝采样的通用量化器,在高分辨率下对多个维度减小最大误差和均方误差,并实现误差均匀分布,同时刻画了加性噪声信道单次模拟的高信噪比极限。
2025-10-28 cs.IT eess.SP math.IT
Quantizers with Parameterized Distortion Measures
在许多量化问题中,失真函数由欧几里德度量给出,以测量源样本到量化器的任何给定再现点的距离。在这项工作中,我们将考虑失真函数,这是加法和乘法加权的每个再现点,从而在一个异构的量化问题,例如在传感器网络的部署问题。然而,通常在这样的问题中,对于给定的权重(参数),平均失真被最小化,我们将在所有权重上优化量化问题,即,我们调整或控制失真函数使其对我们有利。对于一个均匀的源分布在一维,我们推导出唯一的最小值,给出了一个最佳的公共权重的均匀标量量化器。通过数值模拟,我们证明了这一结果扩展到二维渐近的参数优化量化器是具有共同的权重的六边形晶格。作为一个应用,我们将确定无人机(UAV)的最佳部署,以提供一个无线通信的地面终端在最小的通信功率成本。这里,最优权重与UAV的最优飞行高度有关。
2018-11-06 cs.IT math.IT
Lattice Quantization with Side Information: Codes, Asymptotics, and Applications in Sensor Networks
我们认为率/失真的问题,边信息仅在解码器。对于联合高斯源X和边信息Y以及均方误差失真的情况,Wyner在1976年证明了这个问题的速率/失真函数与条件速率/失真函数R_{X|Y}相同,假设边信息Y在编码器处可用。在本文中,我们构造了一个结构类的渐近最优量化器为这个问题:在源X和边信息Y之间的高相关性的假设下,我们表明存在量化器在我们的类,其性能任意接近Wyner的界限。作为一个应用程序说明的相关性的高相关性的渐近,我们还探讨了使用这些量化器的背景下的传感器网络的数据压缩的问题,在一个设置涉及大量的设备收集高度相关的测量在一个封闭的区域。我们的配方的一个重要特点是,虽然每个节点的网络吞吐量趋于零,网络规模的增加,所以每个发射机产生的信息量。这是一种在实践中可能经常遇到的情况,这使我们能够对大规模无线网络的传输容量产生一些新的、更"乐观“的负面影响。
2006-11-01 cs.IT math.IT
Optimal Index Assignment for Multiple Description Scalar Quantization
我们提供了一种方法来设计一个最佳的标量K描述编码的索引分配。该方法源于平移标量晶格的构造,其通过利用所谓的交错增益来提供性能优势。有趣的是,最佳索引分配的生成是基于K-1维空间中的格。K-1维格的使用有利于分析洞察的性能,并消除了对贪婪优化的索引分配的需要。证明了最优索引分配不是唯一的。这说明了两个描述的情况下,其中周期性的索引分配是从可能的最佳分配,并详细描述。新的索引分配被应用到设计的K-描述量化器,这是优于参考K-描述量化器在高速率。由于交错增益的性能优势随着描述之间的冗余度的增加而增加。
2011-09-12 cs.IT math.IT
High-Rate Nested-Lattice Quantized Matrix Multiplication with Small Lookup Tables
针对现有基于查找表的嵌套格量化矩阵乘法仅支持低码率的问题,提出分层嵌套格量化框架,通过分层量化缩小查找表规模,实现高速率量化且损耗可忽略。
2025-05-19 cs.IT math.IT
n-Channel Entropy-Constrained Multiple-Description Lattice Vector Quantization
在本文中,我们推导出分析表达式的中心和侧量化器,在高分辨率的假设下,最大限度地减少预期失真的对称多描述格型矢量量化(MD-LVQ)系统的熵约束的侧描述给定的丢包概率。我们考虑一个特殊的情况下,一般的n-通道对称多描述问题,只有一个单一的参数控制的冗余之间的权衡中心和侧失真。先前的工作对双通道MD-LVQ表明,侧量化器的失真可以表示通过一个球体的归一化二阶矩。我们在这里表明,这也是三通道MD-LVQ的情况。此外,我们推测,这是正确的一般n通道MD-LVQ。对于给定的源,目标速率和分组丢失概率,我们找到最佳数量的描述,并构建MD-LVQ系统,最大限度地减少预期的失真。我们通过数值模拟验证了理论表达式,并在实际设置中显示,通过使用三通道MD-LVQ,可以在最先进的两通道MD-LVQ上实现显着的性能改善。
2006-02-09 cs.IT math.IT
Achieving the Quadratic Gaussian Rate-Distortion Function for Source Uncorrelated Distortions
我们证明了最近的特征二次高斯率失真函数(RDF)的约束下,失真是不相关的源的可扩展性。这个结果是基于成形抖动晶格量化的限制,因为晶格维度趋于无穷大,并适用于所有正失真。事实证明,这种不相关的失真RDF可以实现因果关系。这个功能,这是在对比香农的RDF,说明因果变换编码。此外,我们证明,通过使用反馈噪声整形,可以通过无记忆熵编码因果地实现不相关失真RDF。虽然可扩展性依赖于无限维的量化器,我们证明,在有限维的情况下发生的速率损失可以是上限的量化器的空间填充损失,因此,最多为0.254位/维。
2008-07-24 cs.IT math.IT
NestQuant: Nested Lattice Quantization for Matrix Products and LLMs
MIT(麻省理工学院);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文提出基于自相似嵌套格与 Gosset 格的 NestQuant 训练后量化方法,可即插即用地量化 LLM 权重、激活和 KV-cache,并在 4 bit 设置及最高 70B 模型上显著降低困惑度损失。
2025-07-26 cs.AI cs.IT cs.LG
Data compression with low distortion and finite blocklength
本文考虑有损信源编码的$n$维无记忆源,并显示了一个显式近似的最小信源编码率维持超过失真的概率$d$不大于$ε$,这是简单的比已知的色散为基础的近似。我们的方法从著名的经典结果中得到启发,该结果表明率失真函数的香农下限在极限$d \to 0$中变得很紧。我们制定了一个抽象版本的香农下界,恢复经典的香农下界和率失真函数本身作为特殊情况。同样,我们表明,一个非渐近版本的抽象香农下界恢复所有以前已知的非渐近转换。给出了精确达到Shannon下界的一个充分必要条件。它表明,只要满足该条件,速率色散函数是简单地由源的熵。值得注意的是,所有有限字母源与平衡失真措施满足该条件的范围内的低失真。大多数连续源都违反了这一条件。尽管如此,我们表明,格量化器密切接近非渐近香农下界,提供的源密度是足够光滑和失真是低的。这意味着即使在有限的$n$上,精细的多维晶格覆盖在率失真意义上也是接近最优的。的可扩展性证明技术是基于一个新的约束格量化器的输出熵的差分熵的源,格细胞的大小和平滑参数的源密度。该技术避免了通常的随机编码参数和简化假设的抖动信号的存在。
2017-02-25 cs.IT math.IT
Scalar Lattices and Probabilistic Shaping for Dithered Wyner-Ziv Quantization
针对高斯信源 WZ 问题,提出带模运算、抖动与概率成形的标量格量化,实现 WZ 率失真对,并经协方差谱逆注水扩展到矢量信源,短 polar 码仿真验证其性能。
2025-06-16 cs.IT math.IT
Polar Lattices for Lossy Compression
最近,由极化码构造的极化格被证明能够实现加性高斯白噪声(AWGN)信道的容量。在这项工作中,我们提出了一种新的构造极格来解决对偶问题,即,实现无记忆高斯源的率失真界限,这意味着极坐标也可以用于连续源的有损压缩。所提出的极格子的结构使我们能够将后熵编码过程集成到格子量化器中,这简化了量化过程。对于亚指数衰减的过量失真,编码和解码复杂度的总体复杂度是$O(N \log^2 N)$。此外,极格的嵌套结构进一步为一些多端编码问题提供了解决方案。高斯源的Wyner-Ziv编码问题可以通过嵌套在实现率失真界中的AWGN容量实现极格来解决,并且Gelfand-Pinsker问题可以以相反的方式解决。
2021-05-15 cs.IT math.IT
Partially Block Markov Superposition Transmission of Gaussian Source with Nested Lattice Codes
本文研究了高斯信源在加性高斯白噪声(AWGN)信道中的带宽扩展情况,信道带宽大于源带宽。针对传统数字传输方案中的差错传播现象,提出了一种基于嵌套格码的部分块马尔可夫叠加传输(BMST)的容量逼近联合信源信道编码(JSCC)方案。在所提出的方案中,首先,高斯源序列离散化的基于格的量化器,导致在一个序列的格点。其次,这些格点被编码的一个短的系统群码。第三,编码序列被划分成等长的块,然后以BMST方式发送。JSCC方案的主要特点包括:1)没有显式地使用熵编码。2)只有奇偶校验序列被叠加,因此被称为部分BMST(PBMST)。这与原始的BMST不同。为了显示所提出的方案的优越性能,我们提出了广泛的仿真结果表明,该方案的香农限制在1.0 dB内执行。因此,所提出的方案提供了一个有吸引力的候选高斯源的传输。
2016-03-07 cs.IT math.IT
Vector Quantization with Error Uniformly Distributed over an Arbitrary Set
本文针对格型矢量量化误差仅在基本胞腔上均匀的问题,构造了误差可在 n 维球或任意指定集合上均匀分布的周期矢量量化器,并给出量化信号熵的上下界及随机量化应用。
2024-01-24 cs.IT math.IT
Integer-Forcing Source Coding
整数强迫(IF)是一种基于计算转发的新框架,用于从高斯多输入多输出信道的输出中解码多个整数线性组合。本文应用中频方法,提出了一种新的低复杂度的中频信源编码方案,用于相关高斯信源在最小均方误差失真测度下的分布式有损压缩。所有编码器使用相同的嵌套格型码本。每个编码器使用精细网格作为量化器来量化其观察结果,并将结果以粗略网格为模进行缩减,这起到了装仓的作用。解码器不是直接恢复各个量化信号,而是首先恢复量化信号的明智选择的整数线性组合的满秩集合,然后将其反转。这允许增加粗晶格的密度,这又转化为较小的压缩率。我们还提出并分析了一个单次版本的IF信源编码,这是足够简单,可能导致一个新的设计原则,可以利用采样信号之间的空间相关性的模数转换器。
2013-08-29 cs.IT math.IT
Optimal Quantization for Matrix Multiplication
Hebrew University of Jerusalem(耶路撒冷希伯来大学);MIT(麻省理工学院)
本文研究矩阵乘法的量化压缩,提出基于嵌套格点的通用量化器,给出均方误差下界并实现渐近最优,揭示低速率下需降维的相变现象。
2025-10-15 cs.AI cs.CL cs.IT
Multidimensional Sampling of Isotropically Bandlimited Signals
给出了多维采样和重构的平均重构误差方差的一个新的下界。它适用于任意维数的任意格点上的采样,假设随机过程具有常数、各向同性带限谱和最佳线性重构。在足够高和足够低的采样率下,该下限对于任何晶格都是精确的。误差方差偏离下界的两个阈值率给出了采样格的两个最优性准则。证明了在低速率下,在第一阈值附近,最优格是最优球覆盖格的对偶,首次建立了最优采样与最优球覆盖之间的严格关系.一个先前已知的结果被确认在高利率,接近第二个阈值,即,最佳的晶格是最好的球填充晶格的对偶。数值结果量化的性能,各种格采样和支持理论的最优性标准。
2017-03-01 cs.IT math.IT math.ST
Construction A Lattice Design Based on the Truncated Union Bound
针对n=128维构造A格设计,本文提出基于截断theta级数的截断联合界估计误字率,通过最小化VNR选择最佳分量码,在P_e≤10⁻⁴时估计精确,实例显示比经典规则误码率更低,(128,106,8)EBCH码获最佳设计。
2025-02-15 cs.IT math.IT
Extracting Wyner's Common Information Using Polar Codes and Polar Lattices
研究了无损和有损Gray-Wyner问题的极码和极格的显式构造。利用极化码提取双对称二进制信源的Wyner公共信息,然后扩展极化格提取一对高斯信源或多个高斯信源的Wyner公共信息。对于离散信源,通过指定测试信道来构造极化码而不分时,实现了无损Gray-Wyner问题的整个最佳已知区域。因此,我们能够给出一种解释,即当失真较小时,Wyner的公共信息与有损情况保持相同[1]。最后,离散源的整个最著名的有损Gray-Wyner区域也可以使用极化码来实现。对于高斯源,具有特定协方差矩阵的二元高斯源的最著名的有损Gray-Wyner区域[1]可以通过使用极格来实现。此外,我们还证明了提取一对高斯信源的Wyner公共信息等价于对单个高斯信源进行有损压缩,这意味着公共信息可以通过极格来提取并量化。此外,我们将这一结果的情况下,多个高斯源。
2016-10-25 cs.IT math.IT
Design of Polar Code Lattices of Small Dimension
使用构造D从二进制极化码形成极化码格。在本文中,我们提出了一种有限维极化码格的设计技术。维数$n$和解码错误的目标概率是用于该设计的参数。为了选择构造D分量码的速率,而不是像过去的工作那样使用容量,我们使用极化码的显式有限长度特性。在连续抵消解码下,密度演化允许选择满足等错误概率规则的码率。在$10^{-4}$的错误率下,维度$n=128$极化码网格实现2.5 dB的VNR,在最佳已知BCH码网格的0.2 dB内,但是具有显著更低的解码复杂度。
2021-02-08 cs.IT math.IT