Estimation of Bandlimited Signals in Additive Gaussian Noise: a "Precision Indifference" Principle
研究了在加性独立高斯噪声影响下动态范围受限信号的采样、量化和估计问题。对于带限信号,由于加性独立高斯噪声的失真可以通过过采样(统计分集)来减少。在这项工作中,逐点期望均方误差被用作信号估计的失真度量。考虑量化器精度的两种极端情况:(i)无限精度(实标量);和(ii)一位量化(符号信息)。如果$N$是相对于奈奎斯特速率的过采样率,则失真的最佳规律是$O(1/N)$。我们表明,失真的$O(1/N)$可以实现的量化器精度无关,通过考虑上述两个极端的情况下的量化。因此,一个量化精度无差异原则被发现,其中的重建失真的法律,直到一个比例常数,是不受量化器的精度。
2012-11-28 cs.IT math.IT
Joint Source-Channel Coding at the Application Layer for Parallel Gaussian Sources
本文研究了独立并行高斯信源在二进制删除广播信道上的多播问题。多分辨率嵌入量化器和分层联合信源-信道编码方案的使用,以同时服务于多个用户在不同的信道容量。率失真函数的凸性质,通过反向注水计算,使我们能够解决相应的凸优化问题,对应于不同的性能标准。然后,分层联合信源信道编码的基础上级联的嵌入式标量量化器与二进制无比率编码器的构造。
2009-01-16 cs.IT math.IT
RATQ: A Universal Fixed-Length Quantizer for Stochastic Optimization
Indian Institute of Science(印度科学学院)
我们提出了旋转自适应四迭代量化器(RATQ),一个固定长度的量化器的梯度在一阶随机优化。RATQ易于实现,仅涉及Hadamard变换计算和具有适当选择的动态范围的自适应均匀量化。噪声梯度几乎肯定有界欧氏范数,我们建立了一个信息理论的下限优化精度使用有限精度梯度,并表明RATQ几乎达到这个下限。对于均方有界的噪声梯度,我们使用增益形状量化器,它分别量化的欧几里德范数和使用RATQ的归一化单位范数向量。我们建立下限的任何优化程序和形状量化器的性能,当使用一个均匀的增益量化器。最后,我们提出了一个自适应量化器的增益,当使用RATQ形状量化优于均匀增益量化,事实上,接近最佳。作为一个副产品,我们表明,我们的固定长度量化器RATQ具有几乎相同的性能作为最佳的可变长度量化器的分布均值估计。此外,我们得到了一个有效的量化器的高斯向量,达到一个率非常接近的高斯率失真函数,事实上,是普遍的亚高斯输入向量。
2019-12-16 cs.IT cs.LG math.IT
Scalar Quantizer Design for Two-Way Channels
研究了相关信源在无记忆双向信道中的有损传输问题。目标是开发一种鲁棒的低延迟和低复杂度的源信道编码方案而不使用纠错。设计了一种简单的全双工信道优化标量量化(COSQ)方案,隐式地减轻TWC干扰。数值结果表明,无论是加性或乘性用户干扰的二进制加性噪声TWC发送高斯双变量源,在信号失真比性能方面,所提出的全双工COSQ方案相比,半双工COSQ毫不逊色。
2019-07-16 cs.IT math.IT
Golden Angle Modulation: Approaching the AWGN Capacity
在这项工作中,例如,未来一代蜂窝,微波链路,或光纤系统,我们提出了一种新的几何形状设计的黄金角度调制(GAM)的基础上(双)截断高斯输入分布。相对于[1]、[2]中介绍的两个关键GAM方案,该设计在全信噪比(SNR)范围内提高了互信息(MI)和峰均功率比。受所提出的几何形状的启发,还建议了一种更简单的SNR相关的设计。性能数值评估相对于MI和比较与经典的调制方案。利用所提出的设计,即使对于相对适度的目标频谱效率,SNR也可以相对于经典正交幅度调制而降低。由于GAM设计可以接近高斯信道容量,因此期望提高功率/能量效率。
2018-02-27 cs.IT math.IT
Scalar Compandor Design Based on Optimal Compressor Function Approximating by Spline Functions
本文用一次样条函数和二次样条函数逼近最优压气机函数。我们形成近似样条函数的系数通过求解由阈值条件形成的方程组来确定。对于量化器输入端的高斯源,利用得到的近似样条函数进行了压扩量化器的设计。通过与最优压扩器的SQNR的比较,可以看出基于近似样条函数的压扩量化器的SQNR任意接近于最优压扩器的SQNR。
2013-11-21 cs.IT math.IT
On the Capacity-Achieving Input of the Gaussian Channel with Polar Quantization
极化接收机架构是一种接收机设计,它捕获信号的包络和相位信息,而不是其同相和正交分量。一些研究已经证明了极坐标接收机对相位噪声和其他非线性的鲁棒性。然而,在文献中还没有研究过具有有限精度量化器的极性接收机的信息理论极限。这项工作的主要贡献是确定的最佳信令策略的加性高斯白噪声(AWGN)信道与极性量化的输出。更确切地说,我们表明,实现容量的调制方案具有幅度相移键控(APSK)结构。使用这个结果,在输出端具有极性量化的AWGN信道的容量通过数值优化幅度的概率质量函数来建立。最后给出了采用$b_1$比特相位量化器和优化的单比特幅度量化器的极化量化AWGN信道的容量。我们的数值研究结果表明,存在的信噪比(SNR)阈值,高于最佳APSK方案的幅度电平的数量和它们各自的概率突然改变。此外,实现容量的输入随SNR增加而演变的方式取决于相位量化比特的数量。
2022-07-06 cs.IT eess.SP math.IT
Gaussian Two-Way Channels With Discrete Inputs and Quantized Outputs
本文研究了均匀输出量化的高斯双向信道。对于高斯输入,最佳的均匀有限电平量化器的数值确定为不同值的信噪比(SNR)。然后研究了基于星座的发射机的双向信道。一个制定所谓的香农可实现的区域,该通道的开发和数值计算,该区域提出了特定的星座。它表明,如果一个发射机使用的星座在其他发射机的旋转版本,香农可达到的区域可以扩大
2016-05-03 cs.IT math.IT
Scalar Quantization for Audio Data Coding
本文研究了音频编解码器中变换系数的标量量化。广义高斯分布(GGD)被用作调制重叠变换(MLT)或修正余弦变换(MDCT)滤波器组获得的变换系数的一维概率密度函数的近似。与理论上可实现的率失真函数进行比较,提供了该模型的基本原理。从一个大的数据库的样本的真实序列获得的随机序列计算的率失真函数进行比较,由GGD随机发生器获得的随机序列计算。提出了一种构造扩展零区量化器的简单算法。仿真结果表明,EZZ量化器产生的编码效率相比,最佳标量量化器可以忽略不计的损失。此外,我们描述了一个自适应版本的EZZ量化器,它有效地与低比特率的要求发送边信息
2008-06-26 cs.IT cs.MM math.IT
Design of Binary Quantizers for Distributed Detection under Secrecy Constraints
Syracuse University(雪城大学)
本文研究了在存在窃听者的情况下分布式检测网络的设计,通过最大化融合中心的KL散度并限制窃听者的KL散度来设计二进制量化器,提出基于似然比检验的最优结构及动态规划算法,验证了在高斯噪声下的性能。
2015-09-06 cs.CR cs.IT cs.SY
Zero-Delay Joint Source-Channel Coding for a Bivariate Gaussian on a Gaussian MAC
本文研究了高斯多址接入信道(GMAC)上两个相关高斯无记忆信源的无时延、低复杂度的联合信源-信道编码(JSCC)传输。本文的主要贡献是两个分布式JSCC计划:一个离散计划嵌套标量量化的基础上,和一个混合离散模拟方案的基础上的标量量化器和线性连续映射。所提出的方案表现出良好的性能,提高相关性,并对噪声水平的变化是强大的。当信道信噪比变大时,这两种方案都表现出与性能上界的恒定差距。
2012-04-04 cs.IT math.IT
Multiple Description Quantization via Gram-Schmidt Orthogonalization
多描述(MD)问题作为不可靠信道上信息传输的一种模型,受到了广泛的关注。本文提出了一个设计有效的多描述量化方案的一般框架。我们提供了一个系统的处理的El Gamal覆盖(EGC)可实现的MD率失真区域,并表明,在EGC区域中的任何点可以通过一个连续的量化方案以及量化分裂。对于二次高斯的情况下,所提出的计划有一个内在的联系与Gram-Schmidt正交化,这意味着整个高斯MD率失真区域是可以实现的顺序抖动格为基础的量化方案的尺寸(最佳)格量化器变得很大。此外,该计划是普遍的所有i.i.d.平滑源,性能不劣于i.i.d.。高斯源具有相同的方差和渐近最佳的高分辨率。一类低复杂度的MD标量量化器的建议的一般框架也被构造和几何说明,性能分析的高分辨率制度,表现出显着的改善现有的MD标量量化方案。
2005-04-01 cs.IT math.IT
Channel Capacity under the Subtractive Dithered Quantization Model
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院电信学院通信与电子学实验室);SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris(巴黎理工学院南巴黎电信学院信息、自动与控制建模实验室);Université Paris-Saclay, CNRS, CentraleSupélec, Laboratoire des Signaux et Systèmes(巴黎萨克雷大学、法国国家科学研究中心、中央理工-高等电力学院信号与系统实验室)
研究加性高斯白噪声信道后接减性抖动均匀量化器的容量,基于熵功率不等式推导平均功率和峰值幅度约束下的容量界,数值结果表明K级量化器用K个质量点的离散星座可实现近最优速率。
2026-08-18 cs.IT eess.SP math.IT
Comparison-limited Vector Quantization
本文考虑了经典矢量量化问题的一种变体。在标准公式中,量化器被设计为当重建点的数量固定时使输入和输出之间的失真最小化。相反,我们考虑在量化中使用的比较器的数量是固定的情况。更准确地说,我们研究的情况下,其中一个矢量量化器的维度d是由k个比较器,每个接收的线性组合的输入和生产的输出值1/0,如果这个线性组合是高于/低于一定的阈值。在重构中,比较器的输出被映射到重构点,选择该重构点以便最小化量化器输入与其重构之间的所选失真度量。比较限制矢量量化(CLVQ)的问题,然后被定义为最佳设计的压缩机的配置和选择的重建点,以尽量减少给定的失真的问题。在本文中,我们设计了一个数值优化算法的CLVQ问题。该算法利用组合几何概念来描述由比较器的配置引起的超平面布置。它还依赖于遗传遗传Meta启发式算法来改进量化器初始化的选择,并避免在优化过程中遇到的局部最小值。我们数值评估我们的算法的性能的情况下,输入分布均匀和高斯i.i.d.在二次失真下压缩源,并将其与经典的Linde-Buzo-Gray(LBG)算法进行比较。
2021-05-30 cs.IT math.IT
The Gaussian Many-Help-One Distributed Source Coding Problem
在N个不同的终端上观察到联合高斯无记忆源。目标是以分布式方式有效地对观测进行编码,以便能够在解码器处根据二次保真度标准重建任何一个观测,比如第一个观测。我们的主要结果是一个精确的表征率失真区域时,源的协方差矩阵满足“树结构”的条件。在这种情况下,一个自然的模拟-数字分离方案最佳地权衡了分布式量化率元组和重建中的失真:每个编码器由一个点对点高斯矢量量化器和一个Slepian-Wolf合并编码器组成。我们还提供了一个部分的逆,表明树结构条件是基本的。
2008-05-13 cs.IT math.IT
Online variable-length source coding for minimum bitrate LQG control
提出结合量化器设计与通用无损信源编码的自适应方法,实现近最小比特率无前缀反馈的LQG控制,证明量化器输出属于指数或幂律包络类,并开发实用零延迟定点算术算法,数值评估显示其在比特率与控制性能权衡上具竞争力。
2023-04-02 cs.IT cs.SY eess.SP
Lattice Quantization with Side Information: Codes, Asymptotics, and Applications in Sensor Networks
我们认为率/失真的问题,边信息仅在解码器。对于联合高斯源X和边信息Y以及均方误差失真的情况,Wyner在1976年证明了这个问题的速率/失真函数与条件速率/失真函数R_{X|Y}相同,假设边信息Y在编码器处可用。在本文中,我们构造了一个结构类的渐近最优量化器为这个问题:在源X和边信息Y之间的高相关性的假设下,我们表明存在量化器在我们的类,其性能任意接近Wyner的界限。作为一个应用程序说明的相关性的高相关性的渐近,我们还探讨了使用这些量化器的背景下的传感器网络的数据压缩的问题,在一个设置涉及大量的设备收集高度相关的测量在一个封闭的区域。我们的配方的一个重要特点是,虽然每个节点的网络吞吐量趋于零,网络规模的增加,所以每个发射机产生的信息量。这是一种在实践中可能经常遇到的情况,这使我们能够对大规模无线网络的传输容量产生一些新的、更"乐观“的负面影响。
2006-11-01 cs.IT math.IT
Partially Block Markov Superposition Transmission of Gaussian Source with Nested Lattice Codes
本文研究了高斯信源在加性高斯白噪声(AWGN)信道中的带宽扩展情况,信道带宽大于源带宽。针对传统数字传输方案中的差错传播现象,提出了一种基于嵌套格码的部分块马尔可夫叠加传输(BMST)的容量逼近联合信源信道编码(JSCC)方案。在所提出的方案中,首先,高斯源序列离散化的基于格的量化器,导致在一个序列的格点。其次,这些格点被编码的一个短的系统群码。第三,编码序列被划分成等长的块,然后以BMST方式发送。JSCC方案的主要特点包括:1)没有显式地使用熵编码。2)只有奇偶校验序列被叠加,因此被称为部分BMST(PBMST)。这与原始的BMST不同。为了显示所提出的方案的优越性能,我们提出了广泛的仿真结果表明,该方案的香农限制在1.0 dB内执行。因此,所提出的方案提供了一个有吸引力的候选高斯源的传输。
2016-03-07 cs.IT math.IT
Polar Lattices for Lossy Compression
最近,由极化码构造的极化格被证明能够实现加性高斯白噪声(AWGN)信道的容量。在这项工作中,我们提出了一种新的构造极格来解决对偶问题,即,实现无记忆高斯源的率失真界限,这意味着极坐标也可以用于连续源的有损压缩。所提出的极格子的结构使我们能够将后熵编码过程集成到格子量化器中,这简化了量化过程。对于亚指数衰减的过量失真,编码和解码复杂度的总体复杂度是$O(N \log^2 N)$。此外,极格的嵌套结构进一步为一些多端编码问题提供了解决方案。高斯源的Wyner-Ziv编码问题可以通过嵌套在实现率失真界中的AWGN容量实现极格来解决,并且Gelfand-Pinsker问题可以以相反的方式解决。
2021-05-15 cs.IT math.IT
A Tight Bound on the Performance of a Minimal-Delay Joint Source-Channel Coding Scheme
模拟源将在高斯信道上传输,每个源符号使用一个以上的信道。本文推导出一种策略,包括重复量化的源,在第一个通道使用的量化器输出,并发送剩余的量化误差未编码的最后一个通道使用的渐近均方误差的下限。该界与作者在以前的论文中研究的次优解码器所实现的性能相吻合,从而确定该界是紧的。
2010-01-14 cs.IT math.IT
Mismatched codebooks and the role of entropy-coding in lossy data compression
介绍了一种基于随机编码的通用量化方案,并分析了其性能。该方案包括一个源独立的随机码本(通常_mismatched_to_source分布),其次是最佳熵编码是_matched_to_quantized码字分布。在码本维数较大的情况下,在给定的失真下,推导出了该方案所能达到的码率的单字母公式。由于熵编码的速率降低进行了量化,它表明,它可以是任意大的。在"几乎统一"码本的特殊情况下(例如,身份证高斯码本与大方差)和差分失真措施,一个新的连接之间的压缩实现本方案和“通用”熵编码抖动格量化器的性能。这种连接推广了抖动格量化器冗余的"半比特"界限。此外,它证明了一个强大的概念的普遍性,其中一个单一的“几乎均匀”的码本是接近最佳的任何源和任何差异失真的措施。
2005-11-02 cs.IT math.IT math.PR
Optimal Quantization for Matrix Multiplication
Hebrew University of Jerusalem(耶路撒冷希伯来大学);MIT(麻省理工学院)
本文研究矩阵乘法的量化压缩,提出基于嵌套格点的通用量化器,给出均方误差下界并实现渐近最优,揭示低速率下需降维的相变现象。
2025-10-15 cs.AI cs.CL cs.IT
Zero-Delay Joint Source-Channel Coding in the Presence of Interference Known at the Encoder
研究了高斯信源在加性高斯白噪声(AWGN)信道中的零延迟传输问题。均方误差(MSE)失真最小化的平均功率约束下,假设干扰信号是已知的发射机。由于已知干扰信号的存在,简单线性传输的最佳性在此设置中不成立。虽然最佳的编码器-解码器对仍然是一个悬而未决的问题,本文提出了各种非线性传输方案。特别是,干扰浓度(ICO)和一维晶格(1DL)的战略,使用均匀和非均匀量化的干扰信号,进行了研究。它示出,在典型的标量量化的高斯源,一个非均匀量化器,其量化间隔变得更小,因为我们去进一步从零,提高了性能。在最优译码器是最小均方误差(MMSE)估计器的条件下,推导了编码器最优性的必要条件,并得到了满足该条件的数值优化编码器(NOE)。基于数值结果,它示出了具有非均匀量化的1DL执行更接近(与其他方案相比)的数值优化的编码器,同时需要显着较低的复杂性。
2016-04-14 cs.IT math.IT
Graph-based Code Design for Quadratic-Gaussian Wyner-Ziv Problem with Arbitrary Side Information
Wyner-Ziv编码(WZC)是一种使用解码器侧信息的压缩技术,该信息在编码器处是未知的,以帮助重建。在本文中,我们提出并实现了一个新的WZC结构,称为残差WZC,二次高斯Wyner-Ziv问题的边信息可以任意分布。在我们的两级残差WZC中,源被量化两次,第二级的输入是第一级的量化误差(残差)。第一级量化器的码本必须同时适用于信源和信道编码,因为它在解码器处也起信道码的作用。由于编码端量化的非理想性,在设计实际译码器时,发现并解决了信道译码超容量的问题。此外,通过使用改进的增强置信传播量化算法,低密度奇偶检验码(LDPC),其边缘度优化的信道编码,也表现良好的源代码。然后,我们实现了剩余的WZC的LDPC码和低密度生成矩阵码(LDGM)。仿真结果表明,我们的实际建设接近Wyner-Ziv界。与以前的工作相比,我们的结构可以提供更多的设计灵活性方面的分布的边信息和实际的码率选择。
2012-05-31 cs.IT math.IT
Compression with Exact Error Distribution for Federated Learning
École Polytechnique IPParis(巴黎综合理工学院);Chinese University of Hong Kong(香港中文大学)
本文提出在联邦学习中通过分层量化聚合实现精确高斯或拉普拉斯误差分布的压缩方法,并证明其可在差分隐私应用中免压缩代价地恢复和改进朗之万动力学及随机平滑等标准方案。
2023-10-31 cs.IT cs.LG math.IT
A Lower-bound for Variable-length Source Coding in Linear-Quadratic-Gaussian Control with Shared Randomness
在这封信中,我们考虑一个线性二次高斯(LQG)控制系统,反馈发生在一个无噪声的二进制信道,并获得最低限度的通信成本(通过信道比特率量化),以达到一个给定的控制性能所需的下限。我们假设,在每个时间步长,编码器可以通过信道将包含可变比特数的分组传送到控制器处的解码器。我们的系统模型提供了编码器和解码器共享随机性的可能性,就像使用抖动量化器的系统中的情况一样。我们定义了两个极端的无前缀的要求,可能会施加在消息包,这样的约束是有用的,因为它们允许解码器,并可能其他代理唯一地识别在一个在线的方式传输的结束。然后,我们推导出一个下界的无前缀编码的有向信息的速率,特别是我们表明,以前已知的绑定仍然保持在共享的随机性的情况下。我们概括了前缀约束放松时的界限,并得出结论与率失真制定。
2022-06-02 cs.IT cs.SY eess.SP
Joint Rate and Resource Allocation in Hybrid Digital-Analog Transmission over Fading Channels
在混合数字模拟(HDA)系统中,资源分配已被用于实现期望的失真性能。然而,现有的研究在这个问题上假设无差错的数字传输,这是不有效的衰落信道。在时变信道衰落的情况下,在发射机处无法获得精确的信道状态信息。因此,随机中断和由此产生的数字失真不容忽视。此外,在资源分配中应考虑速率分配,因为它不仅决定了数字传输和模拟传输的信息量,而且还影响中断概率。基于上述观察,本文试图在衰落信道下执行联合速率和资源分配策略来优化HDA系统中的系统失真。考虑一种带宽扩展方案,其中在具有熵约束标量量化器(ECSQ)的HDA系统中发送无记忆高斯源。首先,我们制定的联合分配问题作为一个预期的系统失真最小化问题,其中模拟和数字失真都被认为是。然后,在低中断概率的限制下,基于块坐标下降法将问题分解为两个耦合的子问题,并提出一种迭代梯度算法来逼近最优解。此外,我们将我们的工作扩展到多变量高斯源的情况下,提出了一个两阶段的快速算法,结合舍入和贪婪策略,以优化联合速率和资源分配问题。仿真结果表明,在单高斯源情况下,所提算法的信失真比优于现有算法2.3dB;在多高斯源情况下,所提算法的信失真比优于现有算法3.5dB。
2018-12-17 cs.IT cs.PF eess.SP