Concentric Permutation Source Codes
排列码是一类结构化矢量量化器,其编码过程基于对标量分量的排序,计算简单。使用包括若干置换码作为子码的码本保持了编码的简单性,同时增加了率失真操作点的数量,改善了操作点的凸包,并增加了设计复杂度。我们表明,当子码的设计具有相同的组成,优化的码本减少到一个单一的锥内的低维矢量量化器的设计。启发式降低设计复杂度,包括在形状增益矢量量化器与增益相关的包裹球形码本的速率分配的优化。
2010-06-23 cs.IT math.IT
Comparison-limited Vector Quantization
本文考虑了经典矢量量化问题的一种变体。在标准公式中,量化器被设计为当重建点的数量固定时使输入和输出之间的失真最小化。相反,我们考虑在量化中使用的比较器的数量是固定的情况。更准确地说,我们研究的情况下,其中一个矢量量化器的维度d是由k个比较器,每个接收的线性组合的输入和生产的输出值1/0,如果这个线性组合是高于/低于一定的阈值。在重构中,比较器的输出被映射到重构点,选择该重构点以便最小化量化器输入与其重构之间的所选失真度量。比较限制矢量量化(CLVQ)的问题,然后被定义为最佳设计的压缩机的配置和选择的重建点,以尽量减少给定的失真的问题。在本文中,我们设计了一个数值优化算法的CLVQ问题。该算法利用组合几何概念来描述由比较器的配置引起的超平面布置。它还依赖于遗传遗传Meta启发式算法来改进量化器初始化的选择,并避免在优化过程中遇到的局部最小值。我们数值评估我们的算法的性能的情况下,输入分布均匀和高斯i.i.d.在二次失真下压缩源,并将其与经典的Linde-Buzo-Gray(LBG)算法进行比较。
2021-05-30 cs.IT math.IT
An Achievable Rate-Distortion Region for Multiple Descriptions Source Coding Based on Coset Codes
我们考虑的问题,多描述(MD)信源编码,并提出新的编码策略,涉及非结构化和结构化的编码层。以前,用于$l$描述问题的最一般的可实现的速率失真(RD)区域是具有合并的组合消息共享(CMSB)区域。CMSB方案利用非结构化量化器和非结构化分箱。在本文的第一部分中,我们表明,这种策略可以改进后,使用更一般的非结构化量化器和更一般的非结构化分仓方法。在第二部分中,结构化的编码策略被认为是。首先,结构化的编码策略,考虑具体的MD的例子,涉及三个或更多的描述。我们表明,应用结构化量化结果在严格的RD改进时,有两个以上的描述。此外,我们表明,结构化分仓也产生了改善。这些改进是除了在第一部分的文件中得出的。这表明,结构化编码是必不可少的编码超过两个描述。使用这些例子中开发的想法,我们提供了一个新的统一的编码策略,考虑几个结构化的编码层。最后,我们描述其性能的形式内界的最佳率失真区域使用可计算的单字母信息量。新的RD区域严格包含所有先前已知的可实现区域。
2016-02-05 cs.IT math.IT
Joint Source-Channel Vector Quantization for Compressed Sensing
研究了基于矢量量化的压缩感知测量信号的联合信源-信道编码.我们开发了一个框架,实现最佳的JSCC计划,使编码和传输CS测量的稀疏源离散无记忆信道,并解码稀疏源信号。为此,考虑了矢量量化器的编码器-解码器对的最优设计,其中通过最小化端到端均方误差(MSE)来解决最优性。我们推导出一个理论上的MSE性能的下限,并提出了一个实际的编码器,解码器的设计,通过迭代算法。所得到的编码方案被称为用于CS的信道优化的VQ,被称为COVQ-CS。为了解决COVQ-CS的编码复杂度问题,我们提出使用结构化量化器,即低复杂度多级VQ(MSVQ)。我们推导出新的编码和解码条件的MSVQ,然后提出了一个实用的编码器和解码器的设计算法称为信道优化MSVQ CS,创造COMSVQ-CS。通过仿真研究,我们比较了所提出的方案相对于相关的量化器。
2014-05-31 cs.IT math.IT
Optimal Index Assignment for Multiple Description Scalar Quantization
我们提供了一种方法来设计一个最佳的标量K描述编码的索引分配。该方法源于平移标量晶格的构造,其通过利用所谓的交错增益来提供性能优势。有趣的是,最佳索引分配的生成是基于K-1维空间中的格。K-1维格的使用有利于分析洞察的性能,并消除了对贪婪优化的索引分配的需要。证明了最优索引分配不是唯一的。这说明了两个描述的情况下,其中周期性的索引分配是从可能的最佳分配,并详细描述。新的索引分配被应用到设计的K-描述量化器,这是优于参考K-描述量化器在高速率。由于交错增益的性能优势随着描述之间的冗余度的增加而增加。
2011-09-12 cs.IT math.IT
Aggregated Learning: A Deep Learning Framework Based on Information-Bottleneck Vector Quantization
National Research Council Canada(加拿大国家研究委员会);University of Ottawa(渥太华大学);Beihang University(北京航空航天大学)
基于信息瓶颈(IB)的概念,我们制定了一个量化问题称为“IB量化”。我们表明IB量化等效于基于IB原则的学习。在这种等价性下,标准神经网络模型可以被看作是标量(单样本)IB量化器。从传统的率失真理论可知,标量量化器劣于矢量(多样本)量化器。这样的缺陷,然后启发我们开发一种新的学习框架,AgrLearn,对应于矢量IB量化器的学习与神经网络。与标准网络不同,AgrLearn同时针对多个数据样本进行优化。我们通过实验验证了AgrLearn在应用于当前几种用于图像识别和文本分类的深度学习架构时可以带来显著的改进。我们还通过经验证明,AgrLearn可以减少ResNet训练所需的训练样本的80%。
2019-02-12 cs.AI cs.IT cs.LG
On the best lattice quantizers
本文推广Zamir-Feder白色量化误差定理至局部最优格及其最优乘积,推导NSM上界,并构造多个维度中改进的格量化器。
2023-06-28 astro-ph.IM cs.IT gr-qc
Distributed Quantization for Compressed Sensing
研究了基于矢量量化器的压缩感知测量数据的分布式编码。我们开发了一个分布式框架,实现优化量化器,使相关稀疏源的CS测量编码,然后在融合中心联合解码。通过最小化稀疏源和它们在融合中心处的重构向量之间的均方误差之和来解决VQ编码器-解码器对的最优性。我们推导出所研究的分布式系统的端到端性能的下限,并通过迭代算法提出了一个实用的编码器-解码器设计。
2014-04-30 cs.IT math.IT
n-Channel Entropy-Constrained Multiple-Description Lattice Vector Quantization
在本文中,我们推导出分析表达式的中心和侧量化器,在高分辨率的假设下,最大限度地减少预期失真的对称多描述格型矢量量化(MD-LVQ)系统的熵约束的侧描述给定的丢包概率。我们考虑一个特殊的情况下,一般的n-通道对称多描述问题,只有一个单一的参数控制的冗余之间的权衡中心和侧失真。先前的工作对双通道MD-LVQ表明,侧量化器的失真可以表示通过一个球体的归一化二阶矩。我们在这里表明,这也是三通道MD-LVQ的情况。此外,我们推测,这是正确的一般n通道MD-LVQ。对于给定的源,目标速率和分组丢失概率,我们找到最佳数量的描述,并构建MD-LVQ系统,最大限度地减少预期的失真。我们通过数值模拟验证了理论表达式,并在实际设置中显示,通过使用三通道MD-LVQ,可以在最先进的两通道MD-LVQ上实现显着的性能改善。
2006-02-09 cs.IT math.IT
On the Uniqueness of Binary Quantizers for Maximizing Mutual Information
我们考虑具有二进制输入X的通道被连续值噪声破坏,导致连续值输出Y。最佳二进制量化器用于将连续值输出Y转换为最终二进制输出Z,以最大化互信息I(X; Z)。我们证明了当信道条件密度比r(y)= P(Y=y| X=0)/ P(Y =y| X=1)是y的严格递增/递减函数,则具有单个阈值的量化器可以最大化互信息。此外,我们表明,一个最佳量化器(可能有多个阈值)是一个阈值向量的元素是所有的解决方案r(y)= r* 的一些常数r* > 0。有趣的是,最佳常数r* 是唯一的。该唯一性属性允许快速算法实现,诸如二分算法,以找到最佳量化器。我们的研究结果也证实了以前的一些结果,使用替代初等证明。我们给出了一些数值例子,将我们的结果应用到加性高斯噪声信道。
2020-01-07 cs.IR cs.IT eess.SP
Robust Distributed Maximum Likelihood Estimation with Dependent Quantized Data
在本文中,我们考虑分布式最大似然估计(MLE)与相关的量化数据的假设下,联合概率密度函数(PDF)的结构是已知的,但它包含未知的确定性参数。参数可以包括对应于边际pdf的不同向量参数和描述跨传感器的观测的依赖性的参数。由于具有单个量化器的MLE由于pdf的不确定性而对阈值的选择敏感,因此我们专注于具有多组量化器的MLE(可以通过使用先验信息或一些启发式方法来确定)以抵御差/离群值量化器的风险。在一定的正则性条件下证明了多量化器MLE方案的渐近有效性,并推导出渐近方差是基于多个不同量化器的Fisher信息矩阵的加权线性组合的逆,从而证明了该方法的鲁棒性.作为一个说明性的例子,我们考虑一个估计问题的二元非高斯pdf的分布式恒虚警率(CFAR)检测系统中的应用程序。仿真结果表明,特别是当量化测量的数量是小的建议MLE计划的鲁棒性。
2013-09-14 cs.IT math.IT
Multiple Description Quantization via Gram-Schmidt Orthogonalization
多描述(MD)问题作为不可靠信道上信息传输的一种模型,受到了广泛的关注。本文提出了一个设计有效的多描述量化方案的一般框架。我们提供了一个系统的处理的El Gamal覆盖(EGC)可实现的MD率失真区域,并表明,在EGC区域中的任何点可以通过一个连续的量化方案以及量化分裂。对于二次高斯的情况下,所提出的计划有一个内在的联系与Gram-Schmidt正交化,这意味着整个高斯MD率失真区域是可以实现的顺序抖动格为基础的量化方案的尺寸(最佳)格量化器变得很大。此外,该计划是普遍的所有i.i.d.平滑源,性能不劣于i.i.d.。高斯源具有相同的方差和渐近最佳的高分辨率。一类低复杂度的MD标量量化器的建议的一般框架也被构造和几何说明,性能分析的高分辨率制度,表现出显着的改善现有的MD标量量化方案。
2005-04-01 cs.IT math.IT
A Distributed Computationally Aware Quantizer Design via Hyper Binning
我们设计了一个分布式函数感知量化方案的分布式函数压缩。我们认为$2$相关的源$X_1$和$X_2$和目的地,寻求一个连续函数$f(X_1,\,X_2)$的结果的估计$\hat{f}$。我们开发了一种压缩方案,称为超分仓,以通过最小化联合源分割的熵来压缩$f$。超合并是Cover的随机码构造的自然推广,用于使用正交合并的渐进最优Slepian-Wolf编码方案。这种方法背后的关键思想是使用线性判别分析,以表征不同的源特征组合。该方案捕获源和函数结构之间的相关性作为降维的手段。我们调查的性能超分仓不同的源分布,并确定哪些类的源需要更多的分区,以实现更好的函数近似。我们的方法带来了信息论的角度来看,传统的矢量量化技术从信号处理。
2023-01-20 cs.IT cs.NI math.IT
Rejection-Sampled Universal Quantization for Smaller Quantization Errors
The Chinese University of Hong Kong(香港中文大学);The City University of Hong Kong(香港城市大学)
本文提出基于拒绝采样的通用量化器,在高分辨率下对多个维度减小最大误差和均方误差,并实现误差均匀分布,同时刻画了加性噪声信道单次模拟的高信噪比极限。
2025-10-28 cs.IT eess.SP math.IT
Graded Quantization: Democracy for Multiple Descriptions in Compressed Sensing
压缩感知范式允许通过其线性测量有效地表示稀疏信号。然而,这些测量传输到一个接收机的信道上可能容易发生数据包丢失的问题已经收到很少的关注。在本文中,我们提出了新的方法来产生多个描述压缩感知测量,以增加不可靠的信道的鲁棒性。特别是,我们利用压缩测量的民主属性,以一种简单的方式通过划分测量向量和适当分配比特率来生成描述,优于多描述标量量化器等经典方法。此外,我们提出了一个修改后的版本的基追踪去噪恢复过程,是专门针对所提出的方法。实验结果表明,相对于现有的方法显着的性能增益。
2013-10-04 cs.IT math.IT
Vector Quantization with Error Uniformly Distributed over an Arbitrary Set
本文针对格型矢量量化误差仅在基本胞腔上均匀的问题,构造了误差可在 n 维球或任意指定集合上均匀分布的周期矢量量化器,并给出量化信号熵的上下界及随机量化应用。
2024-01-24 cs.IT math.IT
Adaptive Differential Feedback in Time-Varying Multiuser MIMO Channels
在时变多用户多输入多输出(MIMO)系统的背景下,我们设计递归最小二乘自适应预测器和差分量化器,以最小化整个系统的总和均方误差。利用高斯MIMO信道的左奇异矩阵的标量项即使对于少量的发射天线也几乎成为高斯分布的事实,我们对相关奇异矩阵项进行自适应差分量化。与现有微分反馈文献中的算法相比,我们提出的量化器提供了三个优点:第一,控制器参数足够灵活,可以适应不同的车辆速度;第二,模型是向后自适应的,即,基站和接收机可以在不明确交换参数的情况下就预测器和方差估计器系数达成一致;第三,即使当两个连续信道样本之间的相关性变得低至0.05时,它也可以精确地对系统建模。我们的仿真结果表明,我们提出的方法可以减少所需的反馈每秒几个单位的车辆速度高达20公里/小时(通道跟踪器)和10公里/小时(奇异向量跟踪器)。建议的系统也优于一个固定的量化器,具有相同的反馈开销,在比特出错率高达30公里/小时。
2012-10-19 cs.IT math.IT
Multiple-Description Coding by Dithered Delta-Sigma Quantization
我们解决多描述(MD)问题和Delta-Sigma量化之间的连接。Delta-Sigma量化中由于过采样而产生的固有冗余,以及由抖动晶格量化产生的简单线性加性噪声模型,使我们能够构建对称且时不变的MD编码方案。我们表明,使用的噪声整形滤波器使得它可以权衡中央失真的侧失真。当格型矢量量化器的维数和噪声整形滤波器的阶数接近无穷大时,抖动Delta-Sigma量化方案的熵率渐近地接近于无记忆高斯源和MSE保真度标准的对称双通道MD率失真函数,在任何边到中心失真比和任何分辨率下。在最优方案中,无限阶噪声成形滤波器必须是最小相位的,并且具有分段平坦的功率谱和单跳不连续性。所提出的设计的一个重要优点是,它是对称的速率和失真的建设,所以编码率的描述是相同的,因此没有必要的源分裂。
2009-07-15 cs.IT math.IT
Deep Task-Based Quantization
Weizmann Institute of Science(魏茨曼科学研究所)
量化器在数字信号处理系统中起着至关重要的作用。最近的工作已经表明,通过在量化之前适当地处理模拟信号,可以显著地改善使用标量模数转换器(ADC)获取多个模拟信号的量化系统的性能。然而,这种混合量化器的设计是相当复杂的,并且它们的实现需要模拟信号的统计模型的完整知识,这在实践中可能是不可用的。在这项工作中,我们设计了具有标量ADC的数据驱动的面向任务的量化系统,该系统确定如何使用深度学习工具将模拟信号映射为其数字表示。这些表示被设计为便于从量化信号中恢复潜在信息的任务,所述潜在信息可以是要估计的一组参数,或者备选地,分类任务。通过利用深度学习,我们避免了显式恢复系统模型并为其找到合适的量化规则的需要。我们的主要目标应用是多输入多输出(MIMO)通信接收机,该接收机同时获取一组模拟信号,并且通常受到比特数的限制。我们的研究结果表明,在MIMO信道估计设置中,建议的深度任务基量化器能够接近间接率失真理论所规定的最佳性能限制,使用矢量量化器可以实现,并且需要完整的底层统计模型知识。此外,对于符号检测场景,证明了所提出的方法可以实现可靠的比特高效的混合MIMO接收机,该接收机能够根据任务设置其量化规则,例如,以最小化误比特率。
2019-08-01 cs.IT cs.LG eess.SP
Networked Multiple Description Estimation and Compression with Resource Scalability
我们提出了一种用于资源受限网络通信的联合源信道多描述(JSC-MD)框架(例如,传感器网络),其中一个或多个被剥夺的编码器将针对比特错误和擦除错误的马尔可夫源传送到许多异构解码器,一些是强大的,一些是被剥夺的。为了保持编码器的复杂度在最低限度,源编码成K个描述的一个简单的多描述量化器(MDQ)既没有熵也没有信道编码。解码器利用MDQ的码分集和网络的路径分集来纠正传输错误并提高编码效率。一个关键的设计目标是资源的可扩展性:强大的节点在网络中可以执行JSC-MD分布式估计/解码的最大后验概率(MAP)或最小均方误差(MMSE)的标准下,而原始节点诉诸于更简单的MD解码,所有工作与相同的MDQ码。应用JSC-MD的传感器网络中的隐马尔可夫模型的分布式估计。提出的JSC-MD MAP估计器是一种加权有向无环图中最长路径的算法,而JSC-MD MMSE解码器是著名的前向-后向算法到多描述的扩展。这两种算法同时利用源存储器,冗余的固定速率MDQ,和描述间的相关性。它们的性能优于现有的硬判决MDQ解码器的大幅度(高达8dB)。对于高斯马尔可夫信源,JSC-MD分布式MAP序列估计算法的复杂度可以降低到典型的单描述Viterbi类算法的复杂度。
2007-08-27 cs.IT math.IT
Vector Gaussian Multiple Description with Individual and Central Receivers
研究了矢量高斯源在单个接收机和中心接收机中的L多重描述。在半正定序下,具有协方差失真测度约束的描述的和率被精确地刻画。对于两种描述,整个速率区域被表征。联合高斯描述在实现限制速率方面是最优的。解决方案的关键组成部分是一个新的信息理论不等式,用于降低可实现的多描述率。
2005-10-25 cs.IT math.IT
Multiple-Description Lattice Vector Quantization
在本论文中,我们建构并分析了以格型向量量化为基础的多重描述码。
2007-07-17 cs.IT math.IT
The Sum Rate of Vector Gaussian Multiple Description Coding with Tree-Structured Covariance Distortion Constraints
通过引入辅助随机变量形成马尔可夫树,推广了Ozarow著名的逆命题,建立了具有树结构失真约束的多描述编码的和速率的单字母下界.对于二次向量高斯的情况下,这个下限被证明是可以实现的扩展版本的El Gamal覆盖计划,产生一个完整的总和速率表征。
2016-07-28 cs.IT math.IT
n-Channel Asymmetric Entropy-Constrained Multiple-Description Lattice Vector Quantization
本文设计和分析了一种基于索引分配(IA)的多描述编码方案。我们使用熵约束格型矢量量化和限制注意简单的重建函数,这是由逆IA函数时,所有的描述被接收或以其他方式由所接收的描述的加权平均。我们考虑具有有限微分熵率和MSE保真度准则的光滑源。在以前的设计中,我们的构造是基于嵌套格,通过一个单一的IA功能相结合。结果在高分辨率条件下是精确的,并且当嵌套比趋于无穷大时是渐近的。对于任何n,设计是渐近最优的类IA为基础的计划。此外,在两个描述和有限格向量维数大于一的情况下,性能严格优于现有的设计。在三种描述的情况下,我们表明,在大的格向量维数的限制,点上的内界的Pradhan等人。此外,对于三个描述和有限的晶格矢量尺寸,我们表明,IA为基础的方法产生,在对称的情况下,一个较小的速率损失比最近提出的源分裂方法。
2010-11-30 cs.IT math.IT
On Optimal Zero-Delay Coding of Vector Markov Sources
研究了由噪声过程驱动的向量值马尔可夫源的最优零延迟编码问题,通过随机控制问题框架分析了最优量化策略的存在性和结构,证明了在有限时间范围内,当允许凸码单元量化器时,存在最优零延迟量化策略,并扩展到线性二次高斯问题。
2014-08-08 cs.IT cs.SY eess.SY
Bounding the Rate Region of Vector Gaussian Multiple Descriptions with Individual and Central Receivers
本文研究了具有个体和中心二次失真约束的向量高斯多描述问题的速率域。特别地,导出了L-描述问题的速率区域的外边界。该界是通过对率区域的每个支持超平面的加权和率下界来获得的。其核心思想是引入至多L-1个辅助随机变量,并根据描述权的排序对变量施加马尔可夫结构。这使得可以大大简化外边界的推导。在标量高斯的情况下,完整的速率区域的特点是充分显示,外边界是紧的。在这种情况下,每个支持超平面的最优加权和率是通过求解一个最大化问题来获得的。这与现有的结果,这需要解决一个最小-最大优化问题。
2010-06-15 cs.IT math.IT
The Voronoi Region of the Barnes-Wall Lattice $Λ_{16}$
本文刻画 Barnes-Wall 格 $\Lambda_{16}$ 的 Voronoi 区域,精确求出其量化常数,并用更准确的新型方差量化方法验证数值估计。
2023-01-15 cs.IT math.IT math.MG
Optimal Quantization for Matrix Multiplication
Hebrew University of Jerusalem(耶路撒冷希伯来大学);MIT(麻省理工学院)
本文研究矩阵乘法的量化压缩,提出基于嵌套格点的通用量化器,给出均方误差下界并实现渐近最优,揭示低速率下需降维的相变现象。
2025-10-15 cs.AI cs.CL cs.IT