Tree-Structured Random Vector Quantization for Limited-Feedback Wireless Channels
我们考虑在多天线信道和码分多址(CDMA)系统中的签名矢量的发射波束形成矢量的量化。假设完美的信道知识,接收机选择发射机的矢量,最大限度地提高性能的随机矢量量化(RVQ)码本,其中包括独立的各向同性分布的单位范数矢量。量化的矢量然后经由速率受限的反馈信道被中继到发射机。RVQ码本需要穷举搜索来定位所选择的条目。为了减少搜索的复杂性,我们应用广义劳埃德或$k$维(kd)树算法来组织RVQ条目到一棵树。在所示的示例中,对于相同的性能,树结构(TS)RVQ的搜索复杂度可以比非结构化RVQ的搜索复杂度小几个数量级。我们还推导了TS-RVQ在大系统极限下的性能近似,它很好地预测了中等大小系统的性能。
2011-07-08 cs.IT math.IT
Optimal Index Assignment for Multiple Description Scalar Quantization
我们提供了一种方法来设计一个最佳的标量K描述编码的索引分配。该方法源于平移标量晶格的构造,其通过利用所谓的交错增益来提供性能优势。有趣的是,最佳索引分配的生成是基于K-1维空间中的格。K-1维格的使用有利于分析洞察的性能,并消除了对贪婪优化的索引分配的需要。证明了最优索引分配不是唯一的。这说明了两个描述的情况下,其中周期性的索引分配是从可能的最佳分配,并详细描述。新的索引分配被应用到设计的K-描述量化器,这是优于参考K-描述量化器在高速率。由于交错增益的性能优势随着描述之间的冗余度的增加而增加。
2011-09-12 cs.IT math.IT
Graded Quantization: Democracy for Multiple Descriptions in Compressed Sensing
压缩感知范式允许通过其线性测量有效地表示稀疏信号。然而,这些测量传输到一个接收机的信道上可能容易发生数据包丢失的问题已经收到很少的关注。在本文中,我们提出了新的方法来产生多个描述压缩感知测量,以增加不可靠的信道的鲁棒性。特别是,我们利用压缩测量的民主属性,以一种简单的方式通过划分测量向量和适当分配比特率来生成描述,优于多描述标量量化器等经典方法。此外,我们提出了一个修改后的版本的基追踪去噪恢复过程,是专门针对所提出的方法。实验结果表明,相对于现有的方法显着的性能增益。
2013-10-04 cs.IT math.IT
n-Channel Entropy-Constrained Multiple-Description Lattice Vector Quantization
在本文中,我们推导出分析表达式的中心和侧量化器,在高分辨率的假设下,最大限度地减少预期失真的对称多描述格型矢量量化(MD-LVQ)系统的熵约束的侧描述给定的丢包概率。我们考虑一个特殊的情况下,一般的n-通道对称多描述问题,只有一个单一的参数控制的冗余之间的权衡中心和侧失真。先前的工作对双通道MD-LVQ表明,侧量化器的失真可以表示通过一个球体的归一化二阶矩。我们在这里表明,这也是三通道MD-LVQ的情况。此外,我们推测,这是正确的一般n通道MD-LVQ。对于给定的源,目标速率和分组丢失概率,我们找到最佳数量的描述,并构建MD-LVQ系统,最大限度地减少预期的失真。我们通过数值模拟验证了理论表达式,并在实际设置中显示,通过使用三通道MD-LVQ,可以在最先进的两通道MD-LVQ上实现显着的性能改善。
2006-02-09 cs.IT math.IT
n-Channel Asymmetric Entropy-Constrained Multiple-Description Lattice Vector Quantization
本文设计和分析了一种基于索引分配(IA)的多描述编码方案。我们使用熵约束格型矢量量化和限制注意简单的重建函数,这是由逆IA函数时,所有的描述被接收或以其他方式由所接收的描述的加权平均。我们考虑具有有限微分熵率和MSE保真度准则的光滑源。在以前的设计中,我们的构造是基于嵌套格,通过一个单一的IA功能相结合。结果在高分辨率条件下是精确的,并且当嵌套比趋于无穷大时是渐近的。对于任何n,设计是渐近最优的类IA为基础的计划。此外,在两个描述和有限格向量维数大于一的情况下,性能严格优于现有的设计。在三种描述的情况下,我们表明,在大的格向量维数的限制,点上的内界的Pradhan等人。此外,对于三个描述和有限的晶格矢量尺寸,我们表明,IA为基础的方法产生,在对称的情况下,一个较小的速率损失比最近提出的源分裂方法。
2010-11-30 cs.IT math.IT
Graded quantization for multiple description coding of compressive measurements
压缩感知(CS)是一种新兴的模式,用于获取稀疏信号的压缩表示。它的低复杂度对于传感器网络等资源受限的场景很有吸引力。然而,这样的场景通常与不可靠的通信信道相结合,并且向接收器提供所获取的数据的鲁棒传输是一个问题。多描述编码(MDC)有效地对抗信道损耗的系统没有反馈,从而提高了开发明确设计的CS框架的MDC方法的兴趣,并利用其属性。我们提出了一种称为分级量化(CS-GQ)的方法,该方法利用压缩测量的民主属性来有效地实现MDC,并且我们提供了优化其性能的方法。提出了一种基于乘法器交替方向法的解码算法,可从有限数目的接收描述中重构信号。进行仿真,以评估性能的CS-GQ对其他方法存在的数据包丢失。所提出的方法是成功的,在提供强大的编码CS测量和优于其他计划所考虑的测试指标。
2015-03-30 cs.IT math.IT
Comparison-limited Vector Quantization
本文考虑了经典矢量量化问题的一种变体。在标准公式中,量化器被设计为当重建点的数量固定时使输入和输出之间的失真最小化。相反,我们考虑在量化中使用的比较器的数量是固定的情况。更准确地说,我们研究的情况下,其中一个矢量量化器的维度d是由k个比较器,每个接收的线性组合的输入和生产的输出值1/0,如果这个线性组合是高于/低于一定的阈值。在重构中,比较器的输出被映射到重构点,选择该重构点以便最小化量化器输入与其重构之间的所选失真度量。比较限制矢量量化(CLVQ)的问题,然后被定义为最佳设计的压缩机的配置和选择的重建点,以尽量减少给定的失真的问题。在本文中,我们设计了一个数值优化算法的CLVQ问题。该算法利用组合几何概念来描述由比较器的配置引起的超平面布置。它还依赖于遗传遗传Meta启发式算法来改进量化器初始化的选择,并避免在优化过程中遇到的局部最小值。我们数值评估我们的算法的性能的情况下,输入分布均匀和高斯i.i.d.在二次失真下压缩源,并将其与经典的Linde-Buzo-Gray(LBG)算法进行比较。
2021-05-30 cs.IT math.IT
Comparison-limited Vector Quantization
经典的矢量量化问题的一个变化被认为是,其中的模拟到数字(A2 D)转换是不受约束的输出的基数,而是由数量的比较器可用于量化。更具体地说,我们考虑这样的场景,其中维度d的矢量量化器由k个比较器组成,每个比较器接收输入的线性组合,并且当该信号高于/低于阈值时产生0/1。给定输入的分布和失真标准,线性组合和阈值的值将被配置为使得量化器输入与其重构之间的失真最小化。这种矢量量化器架构自然出现在量化器的成本和能耗受到严格限制的许多A2 D转换场景中。对于这种新颖的矢量量化器结构,我们提出了一种算法来确定最佳配置,并提供了第一个性能评估的情况下均匀和高斯源。
2019-06-27 cs.IT eess.SP math.IT
Optimal and Near-Optimal Adaptive Vector Quantization
UCL(伦敦大学学院);VMware Research(VMware研究);Harvard University(哈佛大学)
针对最优自适应量化方法运行与内存开销高、不可行的问题,该研究重新探究自适应矢量量化问题,提出了复杂度渐近优化的最优算法及面向大输入的快速近似最优算法,为其在更多机器学习场景的应用铺路。
2025-07-31 cs.DS cs.IT cs.LG
Aggregated Learning: A Deep Learning Framework Based on Information-Bottleneck Vector Quantization
National Research Council Canada(加拿大国家研究委员会);University of Ottawa(渥太华大学);Beihang University(北京航空航天大学)
基于信息瓶颈(IB)的概念,我们制定了一个量化问题称为“IB量化”。我们表明IB量化等效于基于IB原则的学习。在这种等价性下,标准神经网络模型可以被看作是标量(单样本)IB量化器。从传统的率失真理论可知,标量量化器劣于矢量(多样本)量化器。这样的缺陷,然后启发我们开发一种新的学习框架,AgrLearn,对应于矢量IB量化器的学习与神经网络。与标准网络不同,AgrLearn同时针对多个数据样本进行优化。我们通过实验验证了AgrLearn在应用于当前几种用于图像识别和文本分类的深度学习架构时可以带来显著的改进。我们还通过经验证明,AgrLearn可以减少ResNet训练所需的训练样本的80%。
2019-02-12 cs.AI cs.IT cs.LG
Cloud Radio-Multistatic Radar: Joint Optimization of Code Vector and Backhaul Quantization
一个多基地雷达设置被认为是分布式接收天线连接到一个融合中心(FC)通过有限容量的回程链路。类似于通信中的云无线电接入网络,接收天线在将接收到的基带信号发送到FC之前对其进行解调。最大化的检测性能在FC联合在发射天线使用的码向量和回程量化引入的噪声的统计的问题进行了研究。具体而言,采用信息理论的Bhattacharyya距离的标准来评估检测性能的FC和信息理论的量化率的措施,手头的问题是通过块坐标下降(BCD)的方法加上优化最小化(MM)。数值结果表明,所提出的联合优化方法的优点比更传统的解决方案,执行单独的优化。
2014-11-03 cs.IT math.IT math.ST
UVeQFed: Universal Vector Quantization for Federated Learning
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Princeton University(普林斯顿大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Weizmann Institute of Science(魏茨曼科学研究所)
传统的深度学习模型在集中式服务器上使用从终端设备或用户收集的标记数据样本进行训练。这样的数据样本通常包括用户可能不愿意共享的私人信息。联邦学习(FL)是一种新兴的方法来训练这样的学习模型,而不需要用户共享他们可能的私人标记数据。在FL中,每个用户在本地训练其学习模型的副本。然后,服务器收集各个更新并将其聚合到全局模型中。在这种方法中出现的主要挑战是每个用户需要在吞吐量有限的上行链路信道上有效地发送其学习模型。在这项工作中,我们使用量子化理论的工具来应对这一挑战。特别是,我们确定了与在速率受限信道上传输训练模型相关的独特特性,并提出了一种适合这种设置的量化方案,称为FL的通用矢量量化(UVeQFed)。我们表明,通用矢量量化方法与FL相结合,产生一个分散的训练系统,在该系统中,压缩的训练模型只引起最小的失真。然后,我们从理论上分析了失真,表明它随着用户数量的增长而消失。我们还描述了传统的联邦平均方法结合UVeQFed训练的模型的收敛性,该模型使损失函数最小化。我们的数值结果表明,UVeQFed的收益超过以前提出的方法在两个失真引起的量化和精度的聚合模型。
2020-12-14 cs.IT cs.LG math.IT
Fast-TurboQuant: A Multiplier-Free Online Vector Quantization Approach
National Institute of Telecommunications (Inatel)(国家电信研究所(Inatel))
提出Fast-TurboQuant,用结构化快速Johnson-Lindenstrauss变换替代密集随机旋转矩阵,实现无乘法器投影,在DBpedia数据集上获得19.7倍加速并提升召回率。
2026-06-23 cs.IT cs.LG eess.SP