Distributed Consensus Algorithms in Sensor Networks: Quantized Data and Random Link Failures
研究了具有量化数据和随机链路故障的传感器网络中的分布式平均一致性问题。为了实现一致性，在量化之前将抖动（小噪声）添加到传感器状态。当量化器的范围是无界的（可数数量的量化器水平），随机逼近表明，共识是渐近实现的概率为1，并在一个有限的随机变量的均方。我们表明，均方误差（m.s.e.）可以通过调整链路权重序列来使其任意小，代价是算法的收敛速度。为了研究量化器范围有界时随机链接的抖动一致性，我们建立了无界量化器样本路径的一致有界性。这需要表征量化器状态的采样路径上取的上确界的统计特性。这是通过将量化器的状态向量分成两个分量来实现的：一个分量沿着一致子空间，另一个分量沿着与一致子空间正交的子空间。证明使用极大不等式的下鞅和上鞅序列。从这些，我们得出的概率界限上的两个连续性的偏移，从量化器状态矢量的偏移的概率界限如下。本文展示了如何使用这些概率界来设计量化器参数，并探讨量化器级别的数量，量化步骤的大小，所需的饱和概率，以及所需的准确度$ε$远离共识之间的权衡。最后，本文说明了量化器的设计与数值研究。
2009-09-28 cs.IT cs.MA math.IT
Quantization of Prior Probabilities for Collaborative Distributed Hypothesis Testing
本文研究了分布式检测和数据融合中先验概率的量化问题。设计和性能之间的等价关系的N个代理绑定一个固定的融合规则和一个更强大的单一代理。比较了相同量化和不同量化的效果。考虑到感知的共同风险，使代理商使用不同的量化器合作的假设检验，它被证明是最小的平均贝叶斯风险误差是通过不同的量化。比较表明，每个量化器具有K个单元的最佳多样量化与每个量化器具有N（K-1）+1个单元的最佳相同量化一样执行。对于最大贝叶斯风险误差作为失真准则，得到了类似的结果。
2011-09-12 cs.IT math.IT
Distributed Quantization for Compressed Sensing
研究了基于矢量量化器的压缩感知测量数据的分布式编码。我们开发了一个分布式框架，实现优化量化器，使相关稀疏源的CS测量编码，然后在融合中心联合解码。通过最小化稀疏源和它们在融合中心处的重构向量之间的均方误差之和来解决VQ编码器-解码器对的最优性。我们推导出所研究的分布式系统的端到端性能的下限，并通过迭代算法提出了一个实用的编码器-解码器设计。
2014-04-30 cs.IT math.IT
Design of Binary Quantizers for Distributed Detection under Secrecy Constraints
Syracuse University（雪城大学）
本文研究了在存在窃听者的情况下分布式检测网络的设计，通过最大化融合中心的KL散度并限制窃听者的KL散度来设计二进制量化器，提出基于似然比检验的最优结构及动态规划算法，验证了在高斯噪声下的性能。
2015-09-06 cs.CR cs.IT cs.SY
A Distributed Computationally Aware Quantizer Design via Hyper Binning
我们设计了一个分布式函数感知量化方案的分布式函数压缩。我们认为$2$相关的源$X_1$和$X_2$和目的地，寻求一个连续函数$f(X_1,\,X_2)$的结果的估计$\hat{f}$。我们开发了一种压缩方案，称为超分仓，以通过最小化联合源分割的熵来压缩$f$。超合并是Cover的随机码构造的自然推广，用于使用正交合并的渐进最优Slepian-Wolf编码方案。这种方法背后的关键思想是使用线性判别分析，以表征不同的源特征组合。该方案捕获源和函数结构之间的相关性作为降维的手段。我们调查的性能超分仓不同的源分布，并确定哪些类的源需要更多的分区，以实现更好的函数近似。我们的方法带来了信息论的角度来看，传统的矢量量化技术从信号处理。
2023-01-20 cs.IT cs.NI math.IT
Distributed Scalar Quantization for Computing: High-Resolution Analysis and Extensions
量化信息的通信之后经常是计算。我们认为情况的\emph{distributed functional scalar quantization}：分布式标量量化（可能相关）的来源，然后集中计算的功能。平滑条件下的源和功能，压扩标量量化器的设计，以尽量减少均方误差（MSE）的计算功能的量化器分辨率允许增长。在没有考虑函数的情况下设计的量化器的显著改进是可能的，并且在熵约束设置中比在固定速率设置中更大。作为基本分析的扩展，我们描述了一个大类的功能，定期量化就足够了，考虑某些功能的渐近最优性，而无需任意精细量化，并允许有限的源编码器之间的合作。在熵约束设置中，编码器之间通信的每个样本的单个比特可以对函数失真具有任意大的影响。相比之下，这种通信在固定速率设置中具有非常小的效果。
2011-05-13 cs.IT math.IT
Distributed Beamforming in Wireless Multiuser Relay-Interference Networks with Quantized Feedback
我们研究具有任意数量的发射机、中继器和接收机的无线放大转发中继干扰网络中的量化波束成形。我们设计的量化器的信道状态信息，以尽量减少的概率，至少有一个接收机错误地解码其所需的符号（S）。相应地，我们引入了一个广义的多样性措施，封装传统的一阶多样性。此外，它还结合了二阶分集，这与发射机功率相关的对数项，出现在出错率表达式。首先，我们表明，无论量化器和反馈量，使用的中继干扰网络遭受二阶分集损失相比，无干扰网络。然后，两种不同的量化方案进行了研究：第一，使用一个全局量化器，我们表明，一个简单的中继选择方案可以实现最大的多样性。然后，使用本地化方法，我们构建固定长度和可变长度的本地（分布式）量化器（fLQs和vLQs）。我们的fLQ实现了最大的一阶分集，而我们的vLQ实现了最大的分集。此外，我们表明，所有承诺的多样性和阵列增益可以获得任意低的反馈率时，发射机功率足够大。最后，我们通过模拟证实了我们的分析结果。
2010-07-30 cs.IT math.IT
Distributed Bayesian Detection Under Unknown Observation Statistics
本文研究了假设先验概率未知的分布式贝叶斯检测问题。传感器获得的观测值是有条件地依赖于传感器和它们的概率密度函数（pdf）是不确切的。观测值被量化并发送到融合中心。融合中心融合当前量化的观测值并做出最终决策。它还设计（更新）的量化器，用于传感器和融合规则的基础上所有以前的量化观察。关于更新的量化器的信息被发送回传感器以供下次使用。在本文中，条件联合概率密度函数表示在一个参数的形式，使用Copula框架。未知参数包括相关参数和边际参数。提出了基于量化数据的带反馈的最大似然估计方法来估计未知参数。这些估计迭代地用于改进量化器和融合规则，以通过使用反馈来提高分布式检测性能。数值算例表明，基于反馈极大似然估计的检测方法比基于条件独立观测假设的检测方法有更好的性能。
2012-09-19 cs.IT math.IT
Unbiased Single-scale and Multi-scale Quantizers for Distributed Optimization
Indian Institute of Science（印度科学学院）
海量的数据导致了大规模机器学习模型在单个工人身上的训练效率低下。分布式机器学习方法，如Sparkel-SGD，作为解决这个问题的解决方案，已经受到了极大的关注。然而，由于用于同步梯度和参数的高网络通信成本，分布式系统的性能不随工人的数量线性地缩放。研究人员已经提出了量化和稀疏化等技术，通过压缩梯度来缓解这个问题。大多数压缩方案产生的压缩梯度不能直接与诸如all-reduce之类的高效协议聚合。在本文中，我们提出了一套全减少兼容的梯度压缩方案，显着减少通信开销，同时保持性能的香草SGD。我们提出了我们的实验结果与CIFAR 10数据集和观察过程中得出的。我们的压缩方法比深度学习框架目前提供的内置方法性能更好。代码可在存储库中获得：\url{https://github.com/vineeths96/Gradient-Compression}。
2022-03-30 cs.DC cs.IT cs.LG
Model-Driven Deep Learning for Distributed Detection with Low-Bit Quantization
The Hong Kong University of Science and Technology（香港科技大学）；Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China（电子科技大学深圳先进研究院）；School of Information Science and Engineering, Southeast University（东南大学信息科学与工程学院）
针对低比特量化分布式检测性能下降问题，提出模型驱动深度学习框架，设计二元及树状概率量化器，推导MAP融合规则，仿真显示其在高量化分辨率下接近集中式神谕性能，且对网络规模和信号幅度变化鲁棒。
2026-10-16 cs.IT math.IT
On Distributed Quantization for Classification
University of California, Los Angeles（加州大学洛杉矶分校）
我们考虑分布式特征量化的问题，其目标是使一个预先训练的分类器在一个中心节点进行分类的功能，从分布式节点收集通过通信受限的渠道。我们提出了专门针对分类任务的分布式量化方案的设计：与帮助中心节点尽可能准确地重建原始信号的量化方案不同，我们的重点不是重建精度，而是正确的分类。我们的工作不做任何先验分布的数据假设，而是使用训练数据的量化器设计。我们的主要贡献包括：我们证明了在一般情况下寻找最佳量化器的NP-困难; 2我们为特殊情况设计了一个最佳方案; 3我们提出了量化算法，该算法利用离散神经表示和训练数据，并且可以在多项式时间内为任何数量的特征、任何数量的类和分布节点上的任意特征划分而设计。我们发现，量身定制的量化器的分类任务可以提供显着的节省：相比替代品，我们可以实现超过两个因素的减少方面的位数通信，相同的分类精度。
2019-11-01 cs.IT cs.LG math.IT
n-Channel Asymmetric Multiple-Description Lattice Vector Quantization
我们提出了最佳熵约束的多描述格矢量量化器的解析表达式，在高分辨率的假设下，最大限度地减少给定的丢包概率的预期失真。我们考虑的非对称情况下，允许丢包概率和侧熵是不平等的，并找到最佳量化器的任何数量的描述在任何维度。我们表明，归一化的二阶矩的侧量化给出了一个$L$维球体独立的晶格的选择。此外，我们表明，最佳的比特分布之间的描述是不唯一的。事实上，在一定限度内，比特可以任意分布。
2005-08-02 cs.IT math.IT
Compression for Distributed Optimization and Timely Updates
本论文的目的是系统地研究分布式计算中的压缩问题。在论文的第一部分，我们研究了分布式一阶优化的梯度压缩。我们首先建立信息理论的下限优化精度时，只有有限的精度梯度。此外，我们开发了快速量化梯度压缩，当使用标准的一阶优化算法，匹配上述下限。在论文的第二部分中，我们研究了分布式优化算法的一个重要基础--分布式均值估计。我们开发了有效的估计，提高了国家的最先进的有效地利用边信息存在于中心。我们还重新审视了高斯率失真问题，并在边信息和无边信息设置中为这个问题开发了有效的量化器。最后，我们研究了信息物理系统中常见的由边缘设备向中心传输的符号的熵压缩问题。我们的目标是设计熵压缩方案，使信息以“及时”的方式传输，这反过来又使中心能够访问最新的信息进行计算。我们阐明了最佳熵压缩方案的结构，并使用这种结构，我们开发了有效的算法来计算这种最佳压缩方案。
2023-01-11 cs.IT math.IT
Optimal Asymmetric Binary Quantization for Estimation Under Symmetrically Distributed Noise
在这封信中考虑了基于噪声和二进制量化测量的位置参数估计。我们研究了不同对称单峰噪声分布的Cramer-Rao界作为量化器阈值的函数的行为。我们表明，在某些情况下，直观的选择阈值位置的对称性的问题，把阈值的真实参数值，可以导致局部最差的估计性能。
2013-10-25 cs.IT math.IT
Model-Driven Deep Learning for Distributed Detection with Binary Quantization
本文针对无线传感器网络分布式检测中带宽与能量受限问题，提出结合模型驱动深度学习与二值概率量化的方法，推导MAP检测错误概率下界和KL散度作为损失函数，分别训练量化器与融合中心检测器，在降低复杂度的同时实现接近最优的检测性能。
2024-03-30 cs.IT eess.SP math.IT
On the best lattice quantizers
本文推广Zamir-Feder白色量化误差定理至局部最优格及其最优乘积，推导NSM上界，并构造多个维度中改进的格量化器。
2023-06-28 astro-ph.IM cs.IT gr-qc
Practical Short-Length Coding Schemes for Binary Distributed Hypothesis Testing
针对分布式假设检验缺乏可实现编码方案的问题，本文基于短长度二元线性分组码设计量化与量化—分箱方案，并给出两类错误概率的精确表达式。
2024-05-13 cs.IT math.IT
On Distributed Linear Estimation With Observation Model Uncertainties
我们考虑分布式估计的高斯源在异质带宽约束的传感器网络中，源被损坏的独立的乘性和加性观测噪声，与不完全的统计知识的乘性噪声。对于多比特量化器，我们推导出封闭形式的均方误差（MSE）的线性最小均方误差（LMMSE）估计在FC的表达式。对于无错误和错误的通信信道，我们提出了几种速率分配方法命名为最长根到叶路径，贪婪和整数松弛（i）最小化MSE给定的网络带宽约束，（ii）最小化所需的网络带宽给定的目标MSE。我们还推导出贝叶斯Cramer-Rao下界（CRLB），并比较我们提出的方法对CRLB的MSE性能。我们的研究结果证实，对于低功率乘性观测噪声和足够的网络带宽，我们提出的方法的MSE和CRLB之间的差距可以忽略不计，而其他方法，如个别速率分配和均匀的性能不令人满意。
2017-09-07 cs.IT math.IT
On Distributed Vector Estimation for Power and Bandwidth Constrained Wireless Sensor Networks
我们考虑分布式估计的高斯向量的线性观测模型在非均匀无线传感器网络中，融合中心（FC）重建的未知向量，使用线性估计。传感器采用统一的多位量化器和二进制PSK调制，并通过正交功率和带宽受限的无线信道与FC进行通信。我们研究发射功率和量化率（每传感器的位测量）分配方案，最大限度地减少均方误差（MSE）。特别是，我们推导出两个封闭形式的上界的MSE，在优化参数方面，并提出耦合和解耦的资源分配计划，最大限度地减少这些界限。我们表明，该界是很好的近似的模拟MSE和所提出的方案的性能接近千里眼集中估计时，总发射功率或带宽是非常大的。我们研究了功率和速率分配如何依赖于传感器的观测质量和信道增益，以及总的发射功率和带宽约束。我们的模拟证实了我们的分析结果，并说明了所提出的算法的优越性能。
2015-10-09 cs.IT math.IT
One-bit Distributed Sensing and Coding for Field Estimation in Sensor Networks
本文阐述和研究了一个一般的分布式场重建问题，使用一个密集的网络的噪声一位随机标量量化器在存在的未知分布的加性观测噪声。一个建设性的量化，编码，和字段重建计划的开发和上限的相关均方误差（MSE）在任何点和任何快照的基础字段的局部时空平滑特性的条款。它示出，当噪声，传感器的放置模式，和传感器的时间表满足一定的弱的技术要求，它是可能的驱动器的MSE为零，增加传感器密度在点的字段连续性，同时确保每个传感器的比特率和感测相关的网络开销率同时去零。该方案实现了空间恒定的时空场的类的顺序最优的MSE与传感器密度缩放行为。
2007-07-26 cs.IT math.IT
Low-Delay Distributed Source Coding for Time-Varying Sources with Unknown Statistics
我们考虑一个系统，其中两个节点采取相关测量的随机源随时间变化和未知的统计。在第一节点处的源的观测结果将在第二节点处以给定的中断概率被有损地复制，第二节点通过恒定速率无差错信道从第一节点接收数据。我们开发了一个系统和相关的联合分布式信源编码（编码和解码）和传输控制的策略，以实现低的端到端延迟。传统形式的Slepian-Wolf编码不能应用于我们的场景中，因为编码器需要观测的联合统计数据，并且相关的解码延迟非常高。我们分析评估我们的策略的性能，并表明，通过它们实现的延迟是为了最佳的，作为源的条件熵接近信道速率。我们还评估了我们的算法的性能的基础上，使用两个摄像机记录视频的场景在不同的角度在现实世界中的实验。在实现了我们的方案后，我们证明了，即使使用非常低复杂度的量化器，在解码器处的无损复制也可以实现大约50%的压缩比，平均延迟为几秒钟。
2016-10-26 cs.IT math.IT
Learning Progressive Distributed Compression Strategies from Local Channel State Information
本文提出了一个深度学习框架来设计分布式压缩策略，分布式代理需要压缩源的高维观测数据，然后通过带宽受限的链路将压缩后的比特发送到融合中心进行源重构。此外，我们要求压缩策略是渐进的，以便它可以适应代理和融合中心之间不断变化的链路带宽。此外，为了确保可扩展性，我们调查的策略，只依赖于本地信道状态信息（CSI）在每个代理。为此，我们使用一种数据驱动的方法，其中每个代理的渐进线性组合和统一量化策略都是根据其本地CSI进行训练的。为了应对量化操作建模的挑战（在神经网络的训练中总是产生零梯度），我们提出了一种新的方法，利用批量训练数据的统计数据来设置均匀量化器的动态范围。在数值上，我们表明，建议的分布式估计策略设计，只有本地CSI可以显着降低信令开销，并可以实现较低的均方误差失真的源重建比国家的最先进的设计，需要全球CSI在可比的整体通信成本。
2022-03-09 cs.IT math.IT
On Lossless Universal Compression of Distributed Identical Sources
Slepian-Wolf定理是一个众所周知的框架，其目标是对（两个）分布式源的输出之间具有逐符号相关性的（两个）数据流进行几乎无损压缩。然而，本文考虑了一个不同的情况下，不适合在Slepian-Wolf框架。我们考虑两个相同的，但空间分离的源。我们希望研究来自源之一的长度为$n$的序列的通用压缩，假设解码器可以访问（即，存储）来自另一个源的长度为$m$的序列。例如，在对来自同一服务器的多个镜像的数据进行通用压缩时，就会出现这种情况。在这种设置中，相关性不是由来自两个源的两个输出的逐符号依赖性引起的。相反，序列通过它们包含的关于未知源参数的信息而相关。我们表明，手头的压缩问题的有限长度的性质，需要考虑几乎无损信源编码的概念，编码引起的错误概率$p_e(n)$，消失与序列长度$n$。我们得到一个下界的平均极小极大冗余几乎无损码作为序列长度$n$和允许的错误概率$p_e$的函数时，解码器有一个内存长度$m$和编码器不进行通信。我们的结果表明，当两个编码器不通信时，即使解码器知道未知参数向量（即，$m \to \infty$）。
2012-06-19 cs.IT math.IT
Power Controlled Adaptive Sum-Capacity of Fading MACs with Distributed CSI
我们考虑的问题，找到最佳的，公平的和分布式的功率速率策略，以实现高斯多址块衰落信道的总容量。在这里，发射机只能访问它们自己的衰落系数，而接收机可以全局访问所有的衰落系数。在任何通信块中不允许中断。由此产生的平均和吞吐量也被称为“功率控制的自适应和容量”，这似乎是一个公开的问题，在文献中。本文提出了一类流行的MAC模型的功率控制自适应总容量。特别是，我们提出了一种功率速率策略，在分布式信道状态信息（CSI）的存在下，这是吞吐量最优时，所有用户都有相同的信道统计。所提出的方案也有一个有效的实施，使用连续取消和速率分裂。我们提出了一个上界时，通道的法律是不相同的。此外，最佳方案的情况下，每个发射机有额外的有限速率部分CSI的链路质量的其他扩展。
2012-08-23 cs.IT math.IT
