Interactive Distributed Detection: Architecture and Performance Analysis
本文研究了条件独立观测串联融合网络中交互式融合对检测性能的影响。在Neyman-Pearson框架内,考虑了两种不同的制度:固定样本量检验和大样本检验。对于前者,它建立了交互式分布式检测可以严格优于单向串联融合结构。然而,对于大样本制度,它表明,交互式融合的Kullback-Leibler(KL)距离的渐近性能相比,简单的单向串联融合没有改善。然后将结果扩展到交互式融合系统,其中融合中心和传感器可以经历多个无记忆交互步骤或涉及多个外围传感器,以及与软传感器输出的交互式融合。
2014-09-29 cs.IT math.IT math.OC
Common Randomness Generation from Sources with Countable Alphabet
我们研究了一个标准的两源模型的共同随机性(CR)的产生,其中爱丽丝和鲍勃产生一个共同的随机变量,通过观察独立同分布(i.i.d.)相关源的样本在可数无限字母表上。另外,允许双方尽可能少地通过嘈杂的无记忆信道进行通信。在我们的工作中,我们给出了该模型的CR容量的一个单字母公式,并给出了严格的证明。这是一个具有挑战性的场景,因为有限字母表的一些性质,即熵不能扩展到可数无限的情况。值得注意的是,众所周知,香农熵实际上在具有可数无限支持的所有概率分布上都是不连续的。
2022-10-14 cs.IT math.IT
Large Alphabet Compression and Predictive Distributions through Poissonization and Tilting
本文介绍了一种方便的编码和预测策略的独立,同分布的随机变量序列产生的一个大的字母表的大小$m$。特别是,允许样本的大小是可变的。泊松模型和倾斜方法的就业简化了实施和分析,通过独立。由此产生的策略是最优的一类分布满足矩条件,并接近最优的类的所有i.i.d分布的字符串的给定长度。此外,该方法可以用于编码和预测字符串的有序计数的尾部上的条件。它也可以应用于包络类中的分布。
2014-01-15 cs.IT math.IT stat.ME
Common Randomness Generation from Sources with Infinite Polish Alphabet
本文研究两方在有噪无记忆信道下从无限波兰字母表信源生成公共随机性的问题,建立了CR容量的单字母上下界,并证明除可数个不连续点外两界相等。
2024-05-03 cs.IT math.IT
Distributed Source Coding for Interactive Function Computation
研究了一个两端交互式的分布式信源编码问题,该问题在两个位置上具有交替的消息。对于任何数量的消息,速率区域的可计算表征以单字母信息措施的形式提供。虽然在一个或两个位置的无损源再现的最小和速率方面的相互作用是无用的,但即使当源是独立的时,增益对于函数计算也可以任意大。对于一类源和函数,交互被证明是无用的,即使有无限的消息,当一个函数必须在只有一个位置计算,但被证明是有用的,如果函数必须在两个位置计算。为了计算两个独立的伯努利源在两个位置的布尔与函数,一个可实现的无限消息和速率与无限小速率的消息推导出一个二维定积分和速率分配曲线。本文提出了一种基于信息交换协议的多终端交互函数计算的通用框架,该协议在不同的分布式信源编码配置之间连续切换。对于一个星形拓扑结构的网络,多轮的交互式编码被证明是减少缩放定律的总网络速率的一个数量级的网络增长。
2008-11-12 cs.IT math.IT
Interactive Scalar Quantization for Distributed Resource Allocation
在许多资源分配问题中,集中式控制器需要将某些资源授予从分布式用户集合中选择的用户,目标是最大化用户将从资源接收的效用。这可以被建模为控制器计算分布式用户效用的极值。使控制器能够再现用户的本地状态所需的开销率可能非常高。减少这种开销的方法是交互式通信,其中通过容忍延迟的增加来实现速率节省。在本文中,我们考虑设计一个简单的可实现的方案的基础上连续细化的标量量化在每个用户。通过一个动态的程序计算的最佳量化策略,我们证明,容忍一个小的延迟增加可以产生显着的速率节省。然后,我们考虑两个更简单的量化政策,调查的缩放性能的速率延迟权衡。使用这些更简单的策略的组合,最优策略的性能可以以更低的计算成本接近。
2015-09-06 cs.IT math.IT
Universal Lossless Compression with Unknown Alphabets - The Average Case
独立同分布序列模式的通用压缩研究具有未知的、可能较大的字母表的源。模式是一个索引序列,它包含所有连续的索引,这些索引按第一次出现的递增顺序排列。如果生成序列的源的字母表是未知的,则可以利用对未知字母表符号进行编码的不可避免的成本来创建序列的模式。这种模式本身又可以被压缩。它表明,如果字母表的大小$k$基本上是小的,那么平均极大极小和极大极小冗余以及几乎每个源的每个码的冗余,当压缩模式时,由每个未知概率参数至少0.5 log(n/k^3)比特组成,并且如果所有字母表字母都可能出现,存在这样的码,其冗余度对于每个未知概率参数至多为0.5log(n/k^2)比特,其中n是数据序列的长度。否则,如果字母表很大,则这些冗余基本上是每个符号至少O(n^{-2/3})比特,并且存在实现每个符号基本上O(n^{-1/2})比特的冗余的代码。提出了两种次优的低复杂度的模式压缩顺序算法,并分析了它们的描述长度,指出模式的平均通用描述长度可以减小到低于I.I.D.足够大的字母表的熵。
2006-03-17 cs.IT math.IT
Fronthaul Compression for Uplink Cloud-RAN with Finite-Alphabet Inputs: A Reverse Mercury/Waterfilling Approach
Yonsei University(延世大学);Hanyang University(汉阳大学)
针对有限字母输入的上行云无线接入网,提出反向汞/注水比特分配方法,最大化LMMSE检测后的广义互信息,在紧张fronthaul预算下维持端到端速率并具鲁棒性。
2026-09-21 cs.IT eess.SP math.IT
Distributed Joint Source-Channel Coding for Functions over a Multiple Access Channel
在本文中,我们提供了相关数据的功能在多址信道(MAC)的有损传输的充分条件。所得的条件可作为Yamamoto结果的推广.我们还获得了有效的联合信源-信道编码方案,用于传输离散和连续字母表信源以恢复函数值。关键词:联合信源-信道编码,图着色,Lipschitz函数,相关信源.
2009-08-09 cs.IT math.IT
Bounds on the Entropy of Patterns of I.I.D. Sequences
独立同分布(i.i.d.)来源是派生的。模式是一个索引序列,它包含所有连续的整数索引,这些索引按第一次出现的递增顺序排列。如果生成序列的源的字母表是未知的,则可以利用对未知字母表符号进行编码的不可避免的成本来创建序列的模式。这种模式本身又可以被压缩。这里导出的边界是i.i.d.的函数。源熵、字母大小和字母概率。它表明,对于大的字母,模式熵必须从i.i.d.一个.在许多情况下,减少是更显着的比通用的编码冗余界限在以前的作品。模式熵被限制在两个界限之间,这两个界限取决于字母概率在概率空间中的排列。对于其大小可能大于编码模式长度的非常大的字母,所有低概率字母被打包到一个符号中。模式熵是上界和下界的独立同分布。新压缩字母表的熵。校正项,这通常是可以忽略不计的,提供了上限和下限。
2005-04-13 cs.IT math.IT
Distributed Function Computation with Confidentiality
一组终端观察相关的数据,并试图使用交互式公共通信来计算数据的函数。同时,要求数据的私有函数的值保持对观察该通信的窃听者隐藏。一般来说,私有函数和节点计算的函数可以完全不同。我们证明了一类函数是安全可计算的,当且仅当给定私有函数值的数据的条件熵大于相关的多终端源编码任务所需的交互式通信的最小速率。在特殊情况下,为这一比率提供了一个单字母公式。
2013-02-01 cs.CR cs.IT math.IT
Symbolic transfer entropy rate is equal to transfer entropy rate for bivariate finite-alphabet stationary ergodic Markov processes
传递熵是联合分布随机过程之间信息流大小和方向的度量。近年来,它的置换类似物在文献中被认为是通过计数值的排序出现的次数来估计转移熵,而不是值本身。已经表明,置换的方法是易于实现,计算成本低,并适用于现实世界的时间序列数据时,对噪声的鲁棒性。在本文中,我们提出了相应的速率的理论处理。特别是,我们认为转移熵率和它的置换模拟,符号转移熵率,并表明,他们是平等的任何二元有限字母平稳遍历马尔可夫过程。这个结果是[T. Haruna和K. Nakajima,Physica D 240,1370(2011)]。我们还讨论了转移熵率、时延互信息率以及它们的置换类比之间的关系。
2013-03-11 cs.IT math.IT nlin.CD
Interactive Nearest Lattice Point Search in a Distributed Setting: Two Dimensions
研究分布式网络中二维最近格点搜索问题,考虑单轮与多轮通信约束下的算法,推导误码率表达式,分析格结构对通信代价的影响及零误差的通信条件。
2024-09-16 cs.IT math.IT
An Overview of Physical Layer Security with Finite-Alphabet Signaling
在物理层上提供安全通信,其目的是实现完美的保密性而不需要秘密密钥,这在过去十年中受到越来越多的关注。物理层安全领域的绝大多数现有研究都集中在信道输入为高斯分布的情况下。然而,实际上,用于传输的信号是从诸如相移键控和正交幅度调制的离散信号星座图中提取的。因此,了解有限字母表输入约束的影响,并在此假设下设计安全的传输方案是物理层安全的实际实现的必要步骤。基于这一动机,本文回顾了有限字母表输入的物理层安全性的最新进展。我们探索发射信号的设计算法,单天线以及多天线窃听信道在不同的假设下的信道状态信息在发射机。此外,我们提出了一个审查的最新成果,在安全传输与离散信令的各种情况下,包括多载波传输系统,广播信道的机密消息,认知多址接入和中继网络。在本文中,我们强调了在物理层安全性的上下文中离散输入与高斯输入的重要行为差异。我们还提出了一个概述的高斯和衰落窃听信道的实际代码建设,我们讨论了一些开放的问题和未来的研究方向。
2018-08-09 cs.IT math.IT
Generalized Independent Component Analysis Over Finite Alphabets
独立分量分析(ICA)是一种统计方法,用于将可观测的多维随机向量转换为尽可能相互独立的分量。通常ICA框架假设一个模型,根据该模型生成观测值(例如具有加性噪声的线性变换)。有限域上的ICA是ICA的一种特殊情况,其中观测值和独立分量都在有限字母表上。在这项工作中,我们考虑了这个框架的推广,在这个框架中,一个观察向量被分解为它的独立组件(尽可能多),没有事先假设它的生成方式。这种推广也被称为巴洛的最小冗余表示问题,被认为是一个开放的问题。我们提出了几个定理,并表明,这个NP困难的问题可以准确地解决了一个分支定界搜索树算法,或紧密近似的一系列线性问题。我们的贡献为Barlow问题提供了第一个有效且有建设性的解决方案。最小冗余表示(也称为阶乘码)有许多应用,主要在神经网络和深度学习领域。二进制ICA(BICA)也被证明有几个领域的应用,包括医疗诊断,多簇分配,网络断层扫描和互联网资源管理。在这项工作中,我们表明这种配方进一步适用于多学科的信源编码,如预测编码,分布式信源编码和编码的大字母来源。
2015-08-20 cs.IT math.IT
Joint Source-Channel Coding on a Multiple Access Channel with Side Information
我们考虑多个分布式相关源在多址接入信道(MAC)的源和解码器的边信息的传输问题。源-通道分离不适用于此通道。给出了具有给定畸变的信源传输的充分条件。源和/或信道可以具有连续的字母表(因此高斯源和高斯MAC是特殊情况)。作为特例得到了以前的各种结果。本文还提出了几种适用于离散信源和离散/连续字母信道的信源-信道编码联合方案。
2009-04-26 cs.IT math.IT
Lower Bounds for Interactive Function Computation via Wyner Common Information
在理论计算机科学和信息论领域中,协作各方之间需要多少通信来计算其数据的函数的问题具有根本的重要性。在这项工作中,重点是提出这方面的下限。协议的信息成本是协议向Alice和Bob揭示的关于彼此输入的信息量,函数的信息复杂度是所有有效协议的信息成本的下确界。对于摊销的情况下,它是已知的,计算的最佳速率等于信息的复杂性。然而,精确计算这种信息复杂度并不是一件简单的事情。在这项工作中,我们下界信息的独立输入的Wyner共同信息的某一对随机变量的复杂性。我们证明了Wyner公共信息的最优辅助随机变量的一个结构性质,并利用它在某些情况下精确计算Wyner公共信息。通过这种技术得到的下界是紧的一个非平凡的例子-平等(EQ)的三进制字母表。我们也给出一个例子来表明,下界可能,在一般情况下,不紧。
2016-02-07 cs.IT math.IT
Non interactive simulation of correlated distributions is decidable
信息论中的一个基本问题如下:设$\mathbf{P} = (\mathbf{X}, \mathbf{Y})$是一个任意分布,其中边缘值$\mathbf{X}$和$\mathbf{Y}$(潜在)相关。假设Alice和Bob是两个参与者,其中Alice获得样本$\{x_i\}_{i \ge 1}$,Bob获得样本$\{y_i\}_{i \ge 1}$,并且对于所有$i$,$(x_i, y_i) \sim \mathbf{P}$。什么样的联合分布$\mathbf{Q}$可以由Alice和Bob在没有任何交互的情况下模拟?当$\mathbf{P}$或$\mathbf{Q}$中至少有一个是$\{0,1\} \times \{0,1\}$上的分布时,G{á}cs-K{<$}rner和Wyner在信息论中的经典著作回答了这个问题,其中每个边缘都是无偏的和相同的。然而,除了这种特殊情况,这个问题的答案是理解在极少数情况下。最近,Ghazi,Kamath和Sudan证明了这个问题对于支持$\{0,1\} \times \{0,1\}$的$\mathbf{Q}$是可判定的。我们将他们的结果推广到任意有限字母表上支持的$\mathbf{Q}$。我们依赖于最近的结果在高斯几何(作者),以及一个新的\emph{smoothing argument}的启发方法的\emph{boosting}从学习理论和潜在的…
2017-02-15 cs.CC cs.IT math.IT
Interactive Relay Assisted Source Coding
本文研究了一个信源编码问题,其中两个终端通过一个中继通信希望估计对方的源在一定的失真约束。中继器可以访问与源相关的边信息。两种不同的方案的通信顺序,\emph{distributed source coding/delivery}和\emph{two cascaded rounds}的基础上,提出和内部和外部边界的率失真区域。提供的例子表明,没有率失真区域包括另一个。
2013-10-08 cs.IT math.IT
Infinite-message Interactive Function Computation in Collocated Networks
在分布式分组信源编码框架下研究了同位网络中交互函数的计算问题。源节点通过一系列无错广播来交换消息,目标是在接收端计算所需的函数。无限信息最小和率被看作是联合源pmf的泛函,并被刻画为具有一定凸几何性质的偏序泛函族中的最小元素。这种特性导致一个家庭的下限无限消息最小和率和一个简单的最优性测试任何可实现的无限消息和率。提出了一种求无限信息最小和率泛函的迭代算法,并通过计算三个信源的最小函数的例子进行了说明。
2010-06-01 cs.IT math.IT
On redundancy of memoryless sources over countable alphabets
描述一个随机变量所需的最小平均比特数是它的熵,假设知道潜在的统计信息。另一方面,通用压缩假设随机变量的分布,虽然未知,但属于一个已知的分布集$\cal P$。随机变量的这种通用描述对于$\cal P$中的分布的同一性是不可知的。但是因为它们与随机变量的基本分布不完全匹配,所以它们使用的平均比特数更高,超过熵的部分就是“冗余”。这个公式不仅是压缩问题的基础,也是估计和预测问题的基础,并且具有从语言建模到保险的各种应用。在本文中,我们研究了由独立同分布(iid)抽样从一个集合$\cal P$分布在可数支持上的字符串的通用编码的冗余。我们首先表明,如果描述一个单一的样本从$\cal P$招致有限的冗余,那么$\cal P$是紧的,但反过来并不总是成立。如果单个样本可以用有限的最坏情况遗憾(比上述冗余更严格的公式)来描述,则已知长度为$n$ id的样本仅在$n$增加时引起每个符号的(在$n$中)冗余减少。然而,我们表明,它是可能的,一个集合$\cal P$招致有限的冗余,但长度- $n$ iid样本的描述招致每个符号编码的恒定冗余。然后,我们展示了$\cal P$上的一个充分条件,使得长度为$n$ iid的样本将导致每个编码符号的冗余减少。
2014-03-31 cs.IT math.IT
Precoding for the AWGN Channel with Discrete Interference
对于具有输入字母表$\mathcal{X}$和状态字母表$\mathcal{S}$的状态依赖DMC,其中i.i.d.状态序列在发射机处是因果已知的,它示出了通过使用香农\emph{associated}信道的$|\mathcal{X}|^{|\mathcal{S}|}$输入符号中的至多$|\mathcal{X}||\mathcal{S}|-|\mathcal{S}|+1$,容量是可实现的。作为在发射机处具有边信息的状态相关信道的示例,在具有附加$Q$元干扰的AWGN信道上的$M$元信号传输,其中i.i.d.干扰符号在发射机处是因果已知的。对于高斯噪声功率为零的特殊情况,给出了容量为每信道使用$\log_2 M$比特的充分条件,该条件与干扰无关。研究了在给定任意干扰符号的信道输入均匀分布于信道输入字母表的约束下,最大化传输速率的问题。对于这种设置,提出了具有最佳预编码的通信系统的一般结构。
2007-07-03 cs.IT math.IT
Channel simulation via interactive communications
在本文中,我们研究的问题,信道模拟通过交互式通信,称为协调能力,在一个双端网络。我们假设两个终端观察i.i.d.。两个随机变量的副本,并希望生成i.i.d.\与观测到的随机变量共同分布的另外两个随机变量的副本。终端被提供有双向通信链路,并且共享共同的随机性,所有这些都以有限的速率。这个问题的两个特例是Ma和Ishwar研究的交互函数计算,以及Cuff研究的单向通信和共享随机性之间的权衡曲线。后者的工作启发了Gohari和Anantharam通过上述交互式通信研究信道模拟的一般问题。然而,在他们的工作中,只得到了没有共享随机性的特殊情况下的内外界。在本文中,我们解决了这个问题,提供了一个精确的可计算的多轮问题的表征。为了表明这一点,我们采用的技术“输出统计的随机分仓”,最近开发的作者。
2014-04-18 cs.IT math.IT
Towards a Converse for the Nearest Lattice Point Problem
在早期的工作\cite{VB:2017}中,对于两方交互通信模型,考虑了在给定格$Λ\subset \mathbb{R}^2$中找到最近格点的通信复杂性的上界。在这里,我们推导出该过程中的一个关键步骤的通信复杂性的下限。具体而言,考虑的问题是,交互式地找到$\min(X_1,X_2)$,当$(X_1,X_2)$是均匀分布的单位正方形。一个下界上的单发互动通信复杂性推导出,并示出是紧的。这是通过表征放置在由交互式代码生成的分区上的约束并利用最优解的自相似性来实现的。
2018-03-24 cs.IT math.IT
A Few Interactions Improve Distributed Nonparametric Estimation, Optimally
该研究针对分布式非参数密度估计问题,推导了单向与交互协议下的极小极大均方风险阶,证明少量超对数轮交互即可达到最优交互速率,并给出基于有偏伯努利变量估计的上下界证明。
2023-08-27 cs.IT math.IT math.ST
Distributed Matrix-Vector Multiplication with Sparsity and Privacy Guarantees
我们考虑的问题,设计一个编码方案,允许分布式矩阵向量乘法的稀疏性和隐私。完美的信息论隐私要求将输入稀疏矩阵编码成随机均匀分布的矩阵,从而破坏了稀疏性。已知计算稀疏矩阵的矩阵向量乘法是快速的。将计算分布在非稀疏编码矩阵上保持了隐私,但引入了人为的计算延迟。在这项工作中,我们放松了隐私约束,并表明在编码矩阵中可以保持一定程度的稀疏性。我们考虑的首席/工人设置,同时假设存在两个集群的工人:一个是完全不可信的,其中所有的工人勾结窃听的输入矩阵,其中完美的隐私必须得到满足;在部分信任的集群,只有多达$z$工人可能勾结,并透露少量的信息输入矩阵是允许的。我们设计了一个计划,交易稀疏隐私,同时实现所需的约束。我们使用循环任务分配的编码矩阵容忍部分和全部掉队。
2022-03-03 cs.IT math.IT
Channel Simulation and Distributed Compression with Ensemble Rejection Sampling
Department of Electrical and Computer Engineering, University of Toronto(电气与计算机工程系,多伦多大学)
本文提出基于集成拒绝采样的信道模拟与分布式匹配方案,实现近最优编码速率,并首次在拒绝采样家族中达到接近泊松匹配引理的匹配概率,通过分布式压缩实验验证有效性。
2025-10-07 cs.IT cs.LG math.IT
Communication Complexity of Distributed High Dimensional Correlation Testing
双方观察到一个$d$维向量和一个标量的独立副本。他们试图测试他们的数据是否相关,即他们试图测试他们的观察之间的相关向量$ρ$的范数$\|ρ\|_2$是否超过$τ$或者是$0$。为此,它们进行交互式通信并声明测试的输出。我们表明,大致顺序$d/τ^2$位的通信是足够的,必要的解决分布式相关性测试问题。此外,我们建立了一个下界的大致$d^2/τ^2$位的分布式相关性估计所需的通信,呈现估计和测试方法次优的分布式相关性测试所需的通信。对于单向通信的一维情况,我们的界限是紧的,即使在常数,并提供了一个精确的依赖通信复杂性上的两种类型的错误的概率。
2020-05-21 cs.IT math.IT
Distributed Function Computation in Asymmetric Communication Scenarios
我们考虑在非对称通信场景中的分布式函数计算问题,其中接收器计算N个相关信息者之间的数据分割的一些确定性函数。分布式函数计算问题是分布式信源编码(DSC)问题的推广。我们主要感兴趣的是最小化所需的信息位数,在最坏的情况下,让水槽准确地计算功能。我们提供了一个建设性的解决方案,这方面的互动通信协议,并证明其最优性。所提出的协议还允许我们计算最坏情况下可实现的速率区域的计算的任何功能。我们定义了两类函数:有损函数和无损函数。我们表明,在一般情况下,可以计算的损失函数在水槽的信息位数比DSC的问题,而计算的无损功能需要尽可能多的信息位的DSC的问题。
2009-07-10 cs.IT math.IT