Distributed Binary Detection with Lossy Data Compression
考虑这样一个问题:在一个两节点系统中,一个统计学家从一个发送器接收到关于一个无记忆过程的边际观测的速率受限信息,该过程是从两个可能的分布中生成的。使用它自己的观察,这个接收器需要首先通过声明过程的联合分布来识别其发送者的合法性,然后根据这种认证,它生成满足平均每个字母失真的观察的适当重建。通过相应的速率-误差-失真区域来研究该设置的性能,该区域描述了通信速率、由检测引起的误差指数和由源重构引起的失真之间的权衡。在独立性测试的特殊情况下,替代假设意味着源是独立的,最佳率误差失真区域的特点。最后给出了该方法在二进制对称信源中的应用实例,并给出了率误差失真域的显式表达式。“一般假设”的情况下也进行了调查。一个新的可实现的率误差失真区域的基础上,使用非渐近分箱,提高质量的通信描述。进一步提高性能的一般情况下,被证明是可能的,当源重建的要求放宽,这与一般假设的情况下。
2017-03-01 cs.IT math.IT
Location-Aided Fast Distributed Consensus in Wireless Networks
现有的工作分布式共识探索线性迭代的基础上可逆马尔可夫链,这有助于缓慢收敛的算法。已经观察到,通过克服可逆链的扩散行为,从可逆链提升的某些不可逆链比原始链混合得快得多。本文研究了提升马尔可夫链加速分布式共识的思想,提出了一种无线网络中的位置辅助分布式平均(LADA)算法,利用节点的粗略位置信息构造不可逆链,以利于分布式计算和协同处理.首先,两个一般的伪算法来说明通过链提升的分布平均的概念。这些伪算法,然后分别实例化通过一个网格网络上的LADA算法,和一个一般的无线网络。对于一个$k\times k$网格网络,所提出的LADA算法实现了$O(k\log(ε^{-1}))$的$ε$平均时间。基于该算法,在传输距离为$r$的无线网络中,通过集中式算法可以得到$O(r^{-1}\log(ε^{-1}))$的$ε$平均时间。随后,我们提出了一个完全分布式的LADA算法的无线网络,它只利用邻居的方向信息来构建不可逆链。结果表明,这种分布式LADA算法实现了相同的缩放定律的平均时间集中式计划。最后,我们提出了一个基于集群的LADA(C-LADA)算法,它不需要中央协调,提供了额外的好处,降低消息的复杂性相比,分布式LADA算法。
2009-03-23 cs.IT math.IT
Distributed and Cascade Lossy Source Coding with a Side Information "Vending Machine"
具有边信息“自动售货机”的信源编码是最近提出的框架,其中边信息和信源之间的统计关系可以由解码器控制,而不是像经典的Wyner-Ziv问题中那样被给定和固定。该控制动作由解码器基于由源节点编码的消息来选择。与传统的设置不同,该消息因此不仅可以携带关于要在解码器处再现的源的信息,而且可以携带旨在提高辅助信息的质量的控制信息。在本文中,与控制动作相关的速率,失真和成本之间的权衡分析扩展到两个基本的多端模型从以前研究的点对点设置。首先,研究了分布式信源编码模型,在该模型中,两个编码器通过速率受限的链路与解码器通信,解码器的边信息可以被控制。控制动作由解码器基于由两个源节点编码的消息选择。对于这种设置,内边界上的率失真成本区域推导出的两种情况下,其中边信息是可利用的因果关系和非因果关系在解码器。这些界限被证明是严格的特定假设下,包括的情况下,其中一个节点观察到的序列是一个函数的源观察到的其他和侧信息是因果关系在解码器。然后,一个级联的情况下,三个节点连接在一个级联和最后一个节点具有可控的边信息,也进行了研究。对于这个模型,率失真成本区域推导出一般的失真要求和假设的因果关系的边信息在最后一个节点的可用性。
2013-02-08 cs.IT math.IT
Optimal Lempel-Ziv based lossy compression for memoryless data: how to make the right mistakes
压缩是指使用比特对数据进行编码,以便表示使用尽可能少的比特。压缩可以是无损的:即,编码数据可以从其表示中精确地恢复),或者是有损的,其中数据比无损情况压缩得更多,但是仍然可以恢复到预定的失真度量内。在本文中,我们证明了Codelet解析,一个准线性时间算法的有损压缩的比特序列是独立和相同的分布(\iid)和汉明失真的最优性。Codelet Parsing将无损Lempel Ziv算法扩展到有损情况--这是信源编码文献近二十年来的一个重点。给定\iid序列$\x$,使得$\x$可以被重构到失真$\dist$内的最短有损表示的预期长度由速率失真函数$\rd$给出。我们证明了Codelet解析算法对于无记忆位序列的有损压缩的最优性。它将输入序列自然地分成短语,用codelet表示每个短语,codelet是一个潜在的长度相同的扭曲短语。长度为$n$的字符串${\x}$的有损表示中的码片具有大致$(\log n)/\rd$的长度,并且像无损Lempel Ziv算法一样,码片解析构造序列长度对数的码本。
2012-10-18 cs.IT math.IT
Fastest Distributed Consensus Averaging Problem on Perfect and Complete n-ary Tree networks
解决最快的分布式共识平均问题(即,在具有不同拓扑结构的网络上找到边上的权重以最小化权重矩阵的第二大特征值模)是传感器网络领域中的主要研究领域之一,并且在这个问题中众所周知的网络之一是树形网络。在这项工作中,我们提出了最快的分布式共识平均算法的分层和半定规划的方法,为两种特殊类型的树网络,即完美和完整的n元树网络的问题的解析解。该方法基于最快分布式共识平均问题的凸性,通过对松弛条件下的特征多项式进行归纳比较,找到最优权值。此外,某些类型的分支(例如完美和完整的n元树分支)的边的最佳权重独立于网络的其余部分来确定。
2010-05-15 cs.DC cs.IT cs.NI
Rate Distortion for Lossy In-network Function Computation: Information Dissipation and Sequential Reverse Water-Filling
本文研究了树型网络中分布式有耗线性函数的计算问题。我们研究两种情况:(i)数据聚合(只有一个汇聚节点计算)和(ii)共识(所有节点计算相同的函数)。通过量化分布式计算中信息损失的累积,我们得到了网络计算速率的基本限制,作为网络边缘增量失真(因此增量信息损失)的函数。基于量化失真累积的上述表征提供了对基于整体失真而不是增量失真的经典割集类型技术的改进。这种信息损失的量化定性地类似于级联通道中的信息耗散[1]。令人惊讶的是,这种失真的累积效应甚至在无限块长度时也会发生。结合这一观察与相对熵量的均方量的优势上的不等式,我们得到比经典的割集界限更紧的差,可以是任意大的数据聚合和共识的率失真函数的外部边界。我们还获得了使用随机高斯编码的最佳速率的内界,其与外界相差$\mathcal{O}(\sqrt{D})$,其中$D$是总体失真。所获得的内部和外部边界可以提供洞察率(比特)分配的数据聚合问题和共识问题。我们表明,树网络的速率分配结果具有类似于经典的反向注水并行高斯源的数学结构。
2017-01-13 cs.IT math.IT
Fastest Distributed Consensus Averaging Problem on Chain of Rhombus Networks
分布式共识已出现作为一个最重要的和主要的问题,在分布式计算的背景下,它已经收到了新的兴趣在传感器网络领域(由于在无线通信的最新进展),其中解决最快的分布式共识平均问题在不同的拓扑结构的网络是在这个问题的主要问题之一。本文给出了菱形网络链上最快分布式共识平均算法的解析解,其求解过程包括网络关联连通图的分层和半定规划,特别是松弛条件的求解,其中最优权值由松弛条件引发的特征多项式的归纳比较得到.归纳确定了包含SLEM的权矩阵特征值对应的特征多项式及其根。此外,为了说明菱形图的重要性,指出用菱形子图代替路网络中的单个节点,可以提高路网络的收敛速度。
2010-06-17 cs.DC cs.DM cs.IT
Secure Lossy Source Coding with Side Information at the Decoders
本文研究了在窃听者(称为Bob)和窃听者(称为Eve)处具有任意相关边信息的情况下的安全有损信源编码问题。该场景由希望压缩源以满足以下方面的期望要求的编码器组成:(i)Bob处的失真水平和(ii)Eve处的模糊率。假设解码器可以访问相关源作为边信息。例如,这个问题可以被看作是考虑到安全要求的著名的Wyner-Ziv问题的推广。一个完整的表征率失真模糊区域的情况下,任意相关的边信息在解码器推导出来。几个特殊的情况下的利益和应用程序的例子,以确保有损信源编码的二进制和三进制边信息的存在下,也被认为是。它示出的边信息在解码器和非零失真的存在下,在合法的解码器之间的统计差异可以是有用的保密性。这些结果的应用出现在各种分布式传感器网络的场景。
2010-09-20 cs.IT math.IT
Lossy Compression, Realism, and Coordination
Imperial College London(伦敦帝国理工学院)
本文概述带真实性约束的有损压缩领域,揭示其与速率受限分布式协调的深层关联,综述真实性形式化进展并提出将相关范式转移至协调领域以催生新问题。
2026-08-13 cs.IT math.IT
Distributed Source Coding Using Constrained-Random-Number Generators
针对 Jana 和 Blahut 提出的通用分布式无损/有损信源编码问题,本文利用熵函数刻画其多字符率失真区域,并基于受限随机数生成器构造编码证明可实现性。
2024-07-04 cs.IT math.IT
Optimization and Analysis of Distributed Averaging with Short Node Memory
在本文中,我们证明,无论是理论上和数值例子,增加一个局部预测组件的更新规则可以显着提高分布式平均算法的收敛速度。我们专注于局部预测器是节点的两个先前值的线性组合的情况(即,两个存储器抽头),并且我们的更新规则计算预测器和从相邻节点接收的值的通常加权线性组合的组合。我们推导出最佳的混合参数相结合的预测与邻居的值,并进行了理论分析,可以使用这种加速方法获得的收敛速度的改善。对于n个节点上的链式拓扑,这导致比一步算法提高n倍,对于二维网格,我们的方法实现了n^1/2倍的改进,就达到规定精度水平所需的迭代次数而言。
2010-02-05 cs.DC cs.IT cs.MA
Distributed Averaging via Lifted Markov Chains
受分布式线性估计、分布式控制和分布式优化等应用的启发,我们考虑设计线性迭代算法来计算网络中的平均数。具体来说,我们的兴趣是在设计这样一个算法的收敛速度最快的网络的拓扑约束。作为本文的主要结果,我们设计了一个算法,在给定的网络图上使用不可逆马尔可夫链的最快可能的收敛速度。我们构造这样一个马尔可夫链通过转换的标准马尔可夫链,这是使用Metropolis-Hastings方法得到的。我们称这种新颖的变换为伪提升。我们应用我们的方法与几何图形,或图形的双重维度。具体来说,我们的算法的收敛时间(相当于我们的马尔可夫链的混合时间)与网络图的直径成正比,因此是最优的。作为一个副产品,我们的结果提供了最快的混合马尔可夫链给定的网络拓扑约束,自然应该找到他们的应用程序中的分布式优化,估计和控制。
2009-08-27 cs.DC cs.IT math.IT
Efficient Distributed Online Prediction and Stochastic Optimization with Approximate Distributed Averaging
McGill University(麦吉尔大学)
本文研究了分布式在线预测与随机优化方法,提出基于 gossip 的优化方法,证明在近似分布式平均协议下可达到最优 regret 界,并展示其近线性扩展特性。
2014-03-05 cs.DC cs.IT cs.SY
Generalized Geometric Programming for Rate Allocation in Consensus
分布式平均(英语:Distributed average),或分布式平均共识(英语:Distributed average consensus),是一种计算分散在网络节点中的数据样本均值的常用方法。通过与邻居迭代地交换消息,网络的节点可以收敛到其初始状态的样本均值的一致性。在实际场景中,这些消息受到带宽和功率约束,这促使设计有损压缩策略。很少有现有的工作考虑的角度来看,约束优化,这提供了一个原则性的方法,设计的有损压缩计划的速率分配问题,允许放宽某些假设,并提供性能保证。我们表明,高斯分布的初始状态与熵编码的标量量化和矢量量化的编码率分布平均可以通过广义几何规划进行优化。在没有来自过去状态的边信息的情况下,该方法找到在有限运行时间内实现目标均方误差所需的最小化聚合编码速率的节点和迭代上的速率分配。我们的速率分配相比,通过数值模拟的一些现有技术。结果激励边信息通过差分或预测编码,以提高率失真性能的结合。
2017-10-25 cs.IT math.IT math.OC
Lossy Compression for Sparse Aggregation
The Chinese University of Hong Kong(香港中文大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
研究分布式学习中稀疏局部模型传输的通信-精度权衡,提出覆盖与草图结合的压缩方案,并基于f-散度给出紧下界。
2026-06-29 cs.IT math.IT
Centralized Coded Caching for Heterogeneous Lossy Requests
流行内容的集中式编码缓存的异构失真的要求,对应于不同的处理和显示能力的移动设备的用户进行了研究。用户的失真要求被假定为固定的和已知的,而他们的特殊需求,只有在放置阶段后才被揭示。将数据库中的每个文件建模为独立同分布的高斯向量,研究了在相应的失真目标内满足任意需求组合的最小交付率。最佳传输速率的特点是两个用户和两个文件的特殊情况下的任何一对失真的要求。针对多用户和多文件的一般情况,提出了一种分层的缓存和分发方案,该方案利用了高斯源的连续可细化性。该方案在多个层中缓存每个内容,并通过解决两个子问题进行优化:具有异构缓存容量的每个层的无损缓存,以及层之间可用缓存的分配。每个层的交付率最小化问题的数值解决,而两个计划,称为比例缓存分配(PCA)和有序缓存分配(OCA),提出了缓存分配。通过数值模拟对这些格式进行了比较,并对割集界进行了比较。
2016-04-27 cs.IT math.IT
Fastest Distributed Consensus on Petal Networks
为寻找最快分布式共识(FDC)问题提供解析解是传感器网络领域的挑战性问题之一。在这项工作中,我们提出了最快的分布式共识平均算法的问题的分析解决方案,通过分层和半定规划,两种特殊类型的花瓣网络,即对称和完全核心对称(CCS)花瓣网络。该方法基于最快分布式共识平均问题的凸性,通过对松弛条件下的特征多项式进行归纳比较,找到最优权值。还介绍了某些类型的叶子以及它们的最佳权重,如果单独考虑这些叶子,则这些权重无法通过本工作中使用的方法实现。
2010-09-25 cs.DM cs.IT math.IT
Provably Private Distributed Averaging Consensus: An Information-Theoretic Approach
在这项工作中,我们专注于以私人的方式解决分散的共识问题。具体来说,我们考虑一个设置,其中一组节点,通过网络连接,旨在计算其本地值的平均值,而不透露这些值给对方。分布式共识问题是一个经典的问题,已被广泛研究,其收敛特性是众所周知的。唉,最先进的共识方法建立在与相邻节点交换本地信息的基础上,这泄露了用户本地值的信息。我们提出了一个算法框架,能够实现经典的共识算法的收敛极限和速度,同时保持用户的本地值的私人。我们所提出的方法的关键思想是仔细设计噪声消息,从每个节点传递到它的邻居,使共识算法仍然精确地收敛到本地值的平均值,而最小量的信息泄漏的本地值。我们正式这精确地表征一个节点的私人消息和所有的消息,另一个对手收集随着时间的推移之间的互信息。我们证明了我们的方法是能够保护用户的隐私的任何网络没有所谓的“广义叶”,并形式化的隐私和收敛时间之间的权衡。与许多私有算法不同,我们的方法可以实现任何所需的准确性,并且所需的隐私级别只影响收敛时间。
2022-02-18 cs.IT cs.MA math.IT
Fastest Distributed Consensus Problem on Branches of an Arbitrary Connected Sensor Network
研究了任意连通传感器网络分支上的最快分布式共识平均问题。在以往的工作中,充分了解传感器网络的连通性拓扑结构,需要确定最佳的权重和收敛速度的分布式共识平均算法在网络上。在这项工作中,第一次为某些类型的分支的边缘分析确定最佳权重,独立于网络的其余部分。求解过程包括分支关联连通图的分层和半定规划(SDP),特别是松弛条件的求解,其中最优权值通过松弛条件引发的特征多项式的归纳比较来获得。几个例子和数值结果证实了所获得的权重的最优性。
2011-06-03 cs.DC cs.DM cs.IT
Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds
Stanford University(斯坦福大学)
我们认为分布式最优化方法的问题,形成海森是计算上的挑战和通信是一个重大的瓶颈。我们利用随机草图减少问题的尺寸,以及保护隐私和提高离散弹性异步分布式系统。我们得到新的近似保证经典的素描方法,并建立紧密的浓度结果,作为上界和下界的错误。然后,我们扩展我们的分析,分布草图的参数平均的准确性。此外,我们开发了无偏参数平均方法的随机二阶优化正则化问题,采用草图的海森。现有的工作没有考虑估计的偏差,这限制了他们的应用大规模并行计算。我们提供了正则化参数和步长的封闭形式的公式,可证明最小化素描牛顿方向的偏差。此外,我们通过在无服务器云计算平台上进行大规模实验,展示了我们的理论研究结果的影响。
2022-03-18 cs.DC cs.IT cs.LG