Distributed Full-duplex via Wireless Side Channels: Bounds and Protocols
在本文中，我们研究了一个三节点全双工网络，其中一个基站是从事在同一频带的两个半双工移动节点的同时上行和下行通信。为了减少两个移动节点之间的节点间干扰对系统容量的影响，我们研究了如何利用两个移动节点之间的正交边信道来实现类似全双工的复用增益。我们提出并表征了四种分布式全双工方案的可实现速率，标记为二进制和取消，压缩和取消，估计和取消和解码和取消。在这四个中，对于信道参数的所有值，示出了在容量区域的1比特/秒/Hz内实现的分箱和消除。相比之下，其他三种方案仅在特定的信道值范围内才能达到接近最优的性能。渐近复用增益的所有建议的计划推导出的侧信道是非常有效的制度，其中节点间的干扰具有最高的影响。
2014-05-14 cs.IT math.IT
Generalized Secure Distributed Source Coding with Side Information
本文给出了带边信息的广义安全数据压缩的可达压缩-模糊率区域的新的内、外界，它们一般不匹配。在这种设置中，两个间谍，爱丽丝和查理打算通过有限容量的信道向鲍勃传输信息，以便他能够可靠地重建他们的观察结果。窃听者Eve在每个时刻都可以访问其中一个信道，并且对同一信道的源感兴趣。鲍勃和夏娃也有自己的观察结果，这些观察结果与爱丽丝和查理的观察结果相关联。在这个模型中，定义了两个歧义和压缩率相对于爱丽丝和查理的来源。此外，不同的特殊情况下，讨论的内部和外部边界匹配。我们的模型也涵盖了以前获得的结果。
2010-04-06 cs.IT math.IT
Resource Allocation for Outdoor-to-Indoor Multicarrier Transmission with Shared UE-side Distributed Antenna Systems
在本文中，我们研究的资源分配算法设计下行链路多载波传输与共享用户设备（UE）侧的分布式天线系统（SUDAS），利用授权和未授权的频带，以提高系统的吞吐量。联合UE选择和收发器处理矩阵设计被公式化为用于最大化端到端系统吞吐量（比特/秒）的非凸优化问题。为了获得一个易于处理的资源分配算法，我们首先表明，最佳的发射机预编码和接收机后处理矩阵联合对角化的端到端的通信信道。随后，优化问题被转换为多个并行通道的标量优化问题，这是通过使用渐近最优迭代算法来解决。仿真结果表明，所提出的资源分配算法的SUDAS实现了良好的系统性能，并提供了空间复用增益的单天线UE。
2015-01-09 cs.IT math.IT
Distributed and Cascade Lossy Source Coding with a Side Information "Vending Machine"
具有边信息“自动售货机”的信源编码是最近提出的框架，其中边信息和信源之间的统计关系可以由解码器控制，而不是像经典的Wyner-Ziv问题中那样被给定和固定。该控制动作由解码器基于由源节点编码的消息来选择。与传统的设置不同，该消息因此不仅可以携带关于要在解码器处再现的源的信息，而且可以携带旨在提高辅助信息的质量的控制信息。在本文中，与控制动作相关的速率，失真和成本之间的权衡分析扩展到两个基本的多端模型从以前研究的点对点设置。首先，研究了分布式信源编码模型，在该模型中，两个编码器通过速率受限的链路与解码器通信，解码器的边信息可以被控制。控制动作由解码器基于由两个源节点编码的消息选择。对于这种设置，内边界上的率失真成本区域推导出的两种情况下，其中边信息是可利用的因果关系和非因果关系在解码器。这些界限被证明是严格的特定假设下，包括的情况下，其中一个节点观察到的序列是一个函数的源观察到的其他和侧信息是因果关系在解码器。然后，一个级联的情况下，三个节点连接在一个级联和最后一个节点具有可控的边信息，也进行了研究。对于这个模型，率失真成本区域推导出一般的失真要求和假设的因果关系的边信息在最后一个节点的可用性。
2013-02-08 cs.IT math.IT
Robust Distributed Compression with Learned Heegard-Berger Scheme
本文针对Heegard-Berger问题提出基于学习的分布式压缩方案，使神经压缩器能根据边信息可用性自适应地模拟点对点与Wyner-Ziv编码策略，并接近信息论界限。
2024-05-06 cs.IT eess.SP math.IT
Improved Random-Binning Exponent for Distributed Hypothesis Testing
本文研究双终端分布式二元假设检验，通过改进Shimokawa-Han-Amari量化分箱方案中接收端的决策规则，获得了更优的第二类错误概率指数。
2025-08-25 cs.IT math.IT
Tight Exponential Strong Converses for Lossy Source Coding with Side-Information and Distributed Function Computation
本文针对 Wyner-Ziv 有损信源编码问题推导出紧致强逆指数，并推广至分布式函数计算，通过测度变换与软马尔可夫约束证明逆定理，利用泊松匹配方法证明可达性，并给出软马尔可夫约束严格为正的实例。
2025-04-23 cs.IT math.IT
Lattice-based Robust Distributed Source Coding
在本文中，我们提出了一个基于格的鲁棒分布式信源编码系统的两个相关的来源，并提供了详细的性能分析下的高分辨率的假设。它示出，除其他事项外，在渐近制度，其中1）侧失真接近0和2）的中心和侧失真之间的比率接近0，我们的计划是能够实现的二次多描述编码的信息理论极限时，两个源是相同的，而Chen和Berger的具有高斯码的随机编码方案的变体相对于该限制具有0.5比特的性能损失。
2018-10-03 cs.IT math.IT
Wyner-Ziv Estimators for Distributed Mean Estimation with Side Information and Optimization
National University of Singapore（新加坡国立大学）；Indian Institute of Science（印度科学学院）；Google Research（谷歌研究院）
通信高效的分布式均值估计是在诸如联邦学习之类的许多分布式学习和优化场景中出现的重要原语。没有任何概率假设的基础数据，我们研究了分布式均值估计的问题，服务器可以访问边信息。我们提出了\emph{Wyner-Ziv estimators}，这是通信和计算效率和接近最佳的边信息和数据之间的距离的上限是已知的。作为一个推论，我们还表明，我们的算法提供了有效的方案，经典的Wyner-Ziv问题的信息论。在另一个方向，当没有关于边信息和数据之间的距离的知识时，我们提出了一种使用相关采样的替代Wyner-Ziv估计。后一种设置提供{ \em通用恢复保证}，并且当用户数量很大并且不可能跟踪数据和辅助信息之间的距离时，在实践中可能会感兴趣。有了这个均值估计器，我们重新审视了分散优化和压缩中的基本问题，其中我们的Wyner-Ziv估计器产生了几乎具有最佳性能的算法。首先，我们考虑通信约束的分布式优化问题，并提供了一个算法，该算法通过利用梯度估计彼此接近的事实，达到最佳的收敛速度。具体来说，我们算法中的梯度压缩方案首先使用一半的方来形成边信息，然后使用我们的Wyner-Ziv估计器来压缩剩余的一半梯度估计。
2022-11-14 cs.IT cs.LG math.IT
Diffusion L0-norm constraint improved proportionate LMS algorithm for sparse distributed estimation
为了利用所考虑的系统的稀疏性，扩散比例型最小均方（PtLMS）算法分配不同的增益到每个抽头在收敛阶段，而扩散稀疏约束LMS（ScLMS）算法拉零的组件在稳态阶段。在本文中，通过最小化一个可微的成本函数，利用更新和以前的权重向量之间的黎曼距离以及加权更新的权重向量的L0范数，我们提出了一种扩散L0范数约束改进的比例LMS（L0-IPLMS）算法，它结合了扩散PtLMS和扩散ScLMS算法的优点，并执行其中最好的性能。在系统辨识背景下的仿真证实了所提出的算法的改进。
2017-03-24 cs.IT math.IT
CAT and DOG: Improved Codes for Private Distributed Matrix Multiplication
针对私有分布式矩阵乘法问题，研究者基于外积划分提出循环加法次数表框架及CATx构造，同时提出GASPrs、DOGrs方案族，分别在低隐私场景和广泛参数下优于现有方案。
2025-07-30 cs.IT math.IT
Compression for Distributed Optimization and Timely Updates
本论文的目的是系统地研究分布式计算中的压缩问题。在论文的第一部分，我们研究了分布式一阶优化的梯度压缩。我们首先建立信息理论的下限优化精度时，只有有限的精度梯度。此外，我们开发了快速量化梯度压缩，当使用标准的一阶优化算法，匹配上述下限。在论文的第二部分中，我们研究了分布式优化算法的一个重要基础--分布式均值估计。我们开发了有效的估计，提高了国家的最先进的有效地利用边信息存在于中心。我们还重新审视了高斯率失真问题，并在边信息和无边信息设置中为这个问题开发了有效的量化器。最后，我们研究了信息物理系统中常见的由边缘设备向中心传输的符号的熵压缩问题。我们的目标是设计熵压缩方案，使信息以“及时”的方式传输，这反过来又使中心能够访问最新的信息进行计算。我们阐明了最佳熵压缩方案的结构，并使用这种结构，我们开发了有效的算法来计算这种最佳压缩方案。
2023-01-11 cs.IT math.IT
Universal Distributed Feature Extraction Complementary to Side Information via H-Score
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Department of Mathematics The University of Hong Kong（香港大学数学系）
本文针对分布式估计系统中边缘节点传特征至中心节点的场景，提出基于H得分的分布式嵌套H得分方法，实现与辅助信息互补的通用最优特征提取，缩小与任务特定特征的MSE差距。
2026-10-20 cs.IT cs.LG eess.SP
Vector Bin-and-Cancel for MIMO Distributed Full-Duplex
在多输入多输出（MIMO）全双工网络中，其中带内全双工基础设施节点与支持同时上行和下行流的两个半双工移动台通信，上行和下行移动台之间的移动台间干扰限制了系统性能。我们研究了在不同的信道模型下，在这样的网络中的移动台之间利用带外侧信道的影响。对于时不变信道，我们的目标是表征边信道辅助的MIMO全双工网络的广义自由度（GDOF）。对于慢衰落信道，我们专注于分集复用权衡（DMT）的系统与各种假设的信道状态信息的可用性在发射机（CSIT）。最佳性能的关键是一个向量箱和取消策略，利用汉小林消息分裂，这是实现系统容量区域内的一个恒定的位。我们量化了侧信道如何改善GDoF和DMT相比，没有额外的正交频谱的系统。从我们的分析中获得的见解揭示了：i）来自不同节点处的多个天线的空间资源与侧信道的频谱资源之间的权衡，以及ii）发射机处的信道不确定性与侧信道的使用之间的相互作用。
2015-01-16 cs.IT math.IT
Asymmetry Helps: Improved Private Information Retrieval Protocols for Distributed Storage
我们认为私人信息检索（PIR）的分布式存储系统（DSS）与非串通节点的数据存储使用非最大距离可分离（MDS）的线性码。最近表明，如果使用特定类别的非MDS线性码存储数据，则MDS-PIR容量，即，可以实现MDS编码的DSS的最大可能PIR速率。对于这类码，我们证明了PIR容量确实等于MDS-PIR容量，给出了第一个PIR容量已知的非MDS码族。对于其他代码，我们提供了非对称PIR协议，实现了严格更大的PIR率相比，现有的对称PIR协议。
2018-09-18 cs.IT math.IT
Improved Computation-Communication Trade-Off for Coded Distributed Computing using Linear Dependence of Intermediate Values
在大规模分布式计算系统中，通信开销是主要的瓶颈之一。在作为主要分布式计算框架之一的map-shuffle-reduce框架中，可以通过增加每个服务器的计算负载来减少服务器之间的通信负载，即，在计算负载和通信负载之间存在折衷。最近，它已经表明，编码分布式计算（CDC）通过让服务器编码他们的中间计算结果，改善了这种权衡关系。原始的CDC方案并不假设服务器计算的函数有任何特殊的结构。然而，在实际问题中，这些功能往往有一些结构，和权衡关系可以进一步改善通过使用这些结构。在本文中，我们提出了一个新的计划，进一步改善了权衡关系，利用线性依赖结构的中间计算结果。在映射阶段计算的中间值可被视为$\mathbb{F}_{2}$上的向量。在一些应用中，这些中间值具有线性依赖性，并且在这种情况下，每个服务器发送线性子空间的基和线性组合系数就足够了。因此，所提出的方法在某些应用中改进了最著名的计算-通信开销权衡。
2020-05-13 cs.IT math.IT
Distributed Deep Joint Source-Channel Coding with Decoder-Only Side Information
Imperial College London（帝国理工学院）；New York University（纽约大学）
针对Wyner-Ziv场景下仅接收端具有边信息的低延迟图像传输问题，提出一种在接收端多阶段融合边信息的深度JSCC神经网络架构，在低信噪比和小带宽比条件下显著提升传输质量。
2024-02-27 cs.CV cs.IT cs.LG
Efficient File Synchronization: a Distributed Source Coding Approach
在分布式信源编码框架下，研究了在解码器边信息与信源不同步的情况下重构信源序列的问题。出于实际应用的需要，我们假设删除过程是突发的，并用马尔可夫链来建模。以高概率重构源序列所需的最小速率的特征在于在信息理论表达式方面，其被解释为删除内容的信息量和删除的位置，减去“自然的秘密”，即，给定源和边信息的位置的不确定性。对于小的突发删除概率，计算了最小速率的渐近展开。
2011-07-22 cs.IT math.IT
Rate-Efficiency and Straggler-Robustness through Partition in Distributed Two-Sided Secure Matrix Computation
计算高效的矩阵乘法是各种领域的基本要求，包括并且特别是在数据分析中。为此，大规模矩阵乘法的计算任务通常外包给多个服务器。然而，由于服务器上的数据误用，安全性通常是令人担忧的。本文从信息论的角度研究了双边安全矩阵乘法问题，其中用户对两个有限域私有矩阵$\boldsymbol{A}$和$\boldsymbol{B}$的矩阵乘积$\boldsymbol{AB}$感兴趣.在这个问题中，用户利用$N$服务器的计算资源来计算矩阵乘积，但同时试图向服务器隐藏私有矩阵。我们的目标是双重的：（i）最大化通信速率，以及（ii）最小化确定$\boldsymbol{AB}$所需的服务器观测的有效数量，同时保持安全性，其中我们允许多达$\ell\leq N$服务器串通。为此，我们提出了一种通用的对齐秘密共享方案，针对该方案，我们优化了矩阵$\boldsymbol{A}$和$\boldsymbol{B}$的矩阵划分，以便根据系统参数（例如，$N$和$\ell$）。一个建议的归纳方法为我们提供了分析，接近最佳的解决方案（i）和（ii）。关于（i），我们的方案在（a）通信速率、（b）最大可容忍合谋服务器数目和（c）计算复杂性方面显著优于Chang和Tandon的现有方案。
2018-10-30 cs.IT math.IT
Structural Properties of Optimal Test Channels for Distributed Source Coding with Decoder Side Information for Multivariate Gaussian Sources with Square-Error Fidelity
本文着重于测试通道的结构特性，Wyner的操作信息率失真函数（RDF），$\overline{R}(Δ_X)$，多元相关的元组，联合独立和同分布的高斯随机变量（RV），$\{X_t, Y_t\}_{t=1}^\infty$，$X_t: Ω\rightarrow {\mathbb R}^{n_x}$，$Y_t: Ω\rightarrow {\mathbb R}^{n_y}$，与平均均方误差在解码器，$\frac{1}{n} {\bf E}\sum_{t=1}^n||X_t - \widehat{X}_t||^2\leq Δ_X$，当$\{Y_t\}_{t=1}^\infty$是边信息提供给解码器。我们构造最佳的测试通道实现，实现信息RDF，$\overline{R}(Δ_X) \triangleq\inf_{{\cal M}(Δ_X)} I(X;Z|Y)$，其中${\cal M}(Δ_X)$是辅助RV $Z$的集合，使得${\bf P}_{Z|X,Y}={\bf P}_{Z|X}$，$\widehat{X}=f(Y,Z)$和${\bf E}\{||X-\widehat{X}||^2\}\leq Δ_X$。我们显示的基本结构特性：（1）最佳的测试通道实现，实现RDF，$\overline{R}(Δ_X)$，满足条件独立性，$ {\bf P}_{X|\widehat{X}, Y, Z}=…
2020-11-22 cs.IT math.IT
Importance Matching Lemma for Lossy Compression with Side Information
该研究对基于重要性采样的有损压缩方法做两项扩展，提出有序随机编码变体与重要性匹配引理，结合深度学习给出解码器带边信息的分布式有损压缩新方案，并通过多组实验验证其有效性。
2024-03-08 cs.IT math.IT
Distributed Instrument Simulation with Quantum Side Information in the One-Shot Regime
本文研究了三方分布式参与方在单次情形下利用量子侧信息进行仪器模拟的问题，提出新的内界，基于无结构的独立同分布码和余集码，结合似然POVM和Sen的平滑多party覆盖，实现了分布式组件场景下的有效模拟。
2026-06-05 cs.IT math.IT quant-ph
Learned Distributed Image Compression with Multi-Scale Patch Matching in Feature Domain
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；HUAWEI Technologies Co., Ltd.（华为技术有限公司）；Peng Cheng Laboratory（鹏城实验室）；Shenzhen University（深圳大学）
除了实现比经典图像压缩编解码器更高的压缩效率之外，深度图像压缩预计将利用附加的边信息来改进，例如，从同一场景的不同角度拍摄的另一张照片。为了更好地利用分布式压缩场景下的边信息，现有方法（Ayzik and Avidan 2020）仅在图像域实现补丁匹配，以解决由视点差异引起的视差问题。然而，图像域的块匹配对不同视角引起的尺度、形状和光照变化鲁棒性差，不能充分利用边信息图像丰富的纹理信息。为了解决这个问题，我们提出了多尺度特征域补丁匹配（MSFRENT），充分利用边信息在分布式图像压缩模型的解码器。具体地说，MSFNN由边信息特征提取器、多尺度特征域块匹配模块和多尺度特征融合网络组成。此外，我们重新利用浅层的区块间相关性来加速深层的区块匹配。最后，我们发现，与图像域的补丁匹配方法相比，我们在多尺度特征域中的补丁匹配进一步提高了约20%的压缩率（Ayzik和Avidan 2020）。
2022-11-28 cs.CV cs.IT math.IT
Correlation-Aware Distributed Caching and Coded Delivery
高速缓存辅助编码多播利用边信息在无线边缘高速缓存，以有效地服务于多个组播需求，通过共同的多播传输，导致负载减少，是成比例的聚合高速缓存大小。然而，用户消费的内容的日益不可预测和个性化的性质对现有的基于缓存的解决方案的效率提出了挑战，在现有的基于缓存的解决方案中，仅探索精确的内容重用。本文将高速缓存辅助编码组播问题推广到一个源压缩与分布式边信息的问题，特别是占内容文件之间的相关性。它示出了如何在缓存和交付阶段的联合文件压缩可以提供超出现有方案实现的负载减少。这是通过一个基本的速率-内存权衡的下限，以及相关性感知可实现的方案，显着优于最先进的相关性不知道的解决方案，同时接近限制速率-内存权衡。
2016-09-19 cs.IT math.IT
Intelligent Reflecting Surface-Aided LEO Satellite Communication: Cooperative Passive Beamforming and Distributed Channel Estimation
本文提出了一种新的智能反射面（IRS）辅助低轨卫星通信系统，该系统利用大规模无源反射单元的可控相移实现灵活的波束形成，有效地解决了高机动卫星（SAT）与地面节点（GN）之间时变信道的问题。特别是，我们提出了一种新的架构IRS辅助LEO卫星通信，其中IRS部署在SAT和GN的两侧，并研究其合作的无源波束形成（CPB）设计超过视线（LoS）为主的单反射和双反射信道。具体来说，我们联合优化的主动发送/接收波束成形在SAT/GN以及CPB在两侧IRS的最大化的总信道增益从SAT到每个GN。有趣的是，我们表明，在LoS信道条件下，高维SAT-GN信道可以分解为两个低维向量的外积。通过利用分解的SAT-GN信道，我们将原始波束成形优化问题解耦为两个更简单的子问题，分别对应于SAT和GN侧，这两个子问题都以封闭形式求解。此外，我们提出了一个有效的传输协议进行信道估计和波束跟踪，这只需要独立的处理的SAT和GN在一个分布式的方式，从而大大降低了实现的复杂度。仿真结果验证了与传统反射阵列和单边IRS等各种基线方案相比，所提出的具有双边协作IRS的IRS辅助低轨卫星通信系统的性能优势。
2022-01-09 cs.IT eess.SP math.IT
On the Capacity for Distributed Index Coding
分布式索引编码问题进行了研究，其中多个消息存储在不同的服务器被广播到接收器的边信息。首先，现有的复合编码方案是加强集中式（单服务器）的索引编码问题，然后合并与分数分区的服务器，产生一个新的编码方案的分布式索引编码。建立了新的容量区域外边界。对于213的218个非同构的分布式索引编码问题与四个消息的建议的分布式复合编码方案的可实现的和速率匹配的外部边界，从而建立这些问题的和容量。
2017-01-21 cs.IT math.IT
One-shot source coding with coded side information available at the decoder
提出了当编码边信息在解码器处可用时用于信源编码的单次可达速率区域（具有帮助器的信源编码）。提出的可达区域是根据条件光滑最大Renyi熵和光滑最大Renyi发散。渐近地（在大的块长度的限制），该区域量化的频谱上的条件熵率和频谱上的互信息率。特别是，它符合率区域中导出的无限独立和相同分布的副本的源的限制。
2013-03-11 cs.IT math.IT
A Dichotomy of Functions in Distributed Coding: An Information Spectral Approach
考虑了函数计算的分布式数据压缩问题，其中（i）待计算的函数不一定是符号函数，（ii）信息源具有记忆性，可能不是平稳的，也可能不是遍历的.我们引入了光滑源类，并给出了函数的一个充分条件，使得计算的可达速率区域与Slepian-Wolf区域重合（即，用于再现整个源的速率区域）。此外，对于符号函数，建立了重合的充分必要条件。我们的结果为充分的侧信息的情况下是一个推广的结果Ahlswede和Csiszar的来源与记忆，我们的二分法定理是不同的韩和小林的二分法定理，这揭示了记忆的效果在分布函数计算。所有的结果，不仅给出了固定长度的编码，但也为可变长度的编码在一个统一的方式。此外，对于充分的边信息的情况下，在适度的偏差制度的错误概率也进行了研究。
2015-05-09 cs.IT math.IT
Centralized vs Decentralized Targeted Brute-Force Attacks: Guessing with Side-Information
根据最近的实证研究，大多数用户在多个密码保护的在线服务中使用相同或非常相似的密码。这种做法可能会产生灾难性的后果，因为一个密码被泄露会使所有其他帐户面临更高的风险。一般来说，攻击者可能会使用他/她拥有的关于用户的任何辅助信息，无论是人口统计信息，以前受损帐户上的密码重复使用，还是任何其他相关信息，以设计更好的蛮力策略（所谓的有针对性的攻击）。在这项工作中，我们考虑了一个分布式的蛮干攻击的情况下，$m$的对手，每个观察一些边信息，试图突破密码安全的系统。我们比较两种策略：一种是不协调攻击，其中攻击者根据他们自己的辅助信息查询系统，直到他们找到正确的密码;另一种是完全协调攻击，其中攻击者将他们的辅助信息集中起来，一起查询系统。对于长度为$n$的密码$\mathbf{X}$，从分布$P_X$独立且相同地生成，当侧信息$\mathbf{Y}_{(m)}$独立于通过无记忆通道$P_{Y|X}$传递$\mathbf{X}$而生成时，我们建立了不协调和协调策略的渐近闭合形式表达式，因为密码$n$的长度趋于无穷大。我们说明了我们的结果，二进制对称通道和二进制擦除通道，两个家庭的边信息通道模型密码重用。我们证明了两个协调代理执行渐近优于任何有限数量的不协调代理这些渠道，这意味着共享边信息是非常有价值的分布式攻击。
2020-08-28 cs.IT math.IT
Exploiting Side Information for Improved Online Learning Algorithms in Wireless Networks
IIT Bombay（印度理工学院孟买分校）；IIIT Delhi（德里英迪拉·甘地信息技术学院）
在无线网络中，实现的速率取决于干扰水平、硬件损伤和信道增益等因素。通常，可以测量这些因素中的一些的瞬时值，并且它们提供关于所实现的瞬时速率的有用信息。例如，较高的干扰意味着较低的速率。在这项工作中，我们对待任何这样的可测量的质量，有一个非零的相关性与作为边信息实现的速率，并研究如何可以利用它来快速学习提供更高的吞吐量（奖励）的信道。当边信息的平均值是已知的，使用控制变量理论，我们开发的算法，需要更少的样本来学习的参数，可以提高学习率的情况下，边信息被忽略。具体来说，我们将边信息在经典的置信上限（UCB）算法和量化的增益实现的遗憾性能。我们表明，收益是成比例的奖励和相关的边信息之间的相关性的量。我们详细讨论了各种边信息，可以利用认知无线电和空对地通信在$L-$波段。我们证明了奖励和边信息之间的相关性在实践中往往很强，利用它可以显着提高吞吐量。
2022-02-16 cs.AI cs.IT eess.SP
Community Detection with Side Information: Exact Recovery under the Stochastic Block Model
社区发现问题涉及基于观察图的边缘来对图中的节点标签进行推断。研究了具有$n$节点的二元随机块模型中附加的非图形边信息对精确恢复相变的影响。当边信息由错误概率为$α$的噪声标签组成时，证明了当且仅当$\log(\frac{1-α}α)=Ω(\log(n))$ .当边信息包括揭示一部分$1-ε$的标签，它表明，相变得到改善，当且仅当$\log(1/ε)=Ω(\log(n))$。对于由$K$特征组成的更一般的边信息，研究了两种情况：（1）~ $K$是固定的，而每个特征相对于对应节点标签的似然性随着$n$而演变，以及（2）~特征的数量$K$随着$n$而变化，但每个特征的似然性是固定的。在每种情况下，我们发现边信息何时改善了精确的恢复相变以及改善了多少。除一种特殊情况外，所计算的精确恢复的充分必要条件是严格的。在推导内界的过程中，提出了一种有效的社区发现算法的变体，该算法使用部分恢复算法与局部改进过程相结合。
2018-05-22 cs.IT math.IT
Neural Distributed Source Coding
Google DeepMind（谷歌DeepMind）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出基于条件VQ-VAE的神经分布式信源编码框架，摆脱对特定相关结构的依赖并可扩展至高维，在多个数据集上实现最先进PSNR。
2024-07-01 cs.IT cs.LG math.IT
Information Theoretic Security for Side-Channel Attacks to the Shannon Cipher System
研究了Shannon密码系统的侧信道攻击。为了对Shannon密码系统进行侧信道攻击，我们将其看作是通过来自两个分布式传感器的编码数据进行的信号估计。这可以用公式表示为Ahlswede、Körner（1975）和Wyner（1975）提出并研究的一个辅助信源编码问题。我们进一步研究所提出的问题，得到新的保密界。我们的结果是由Watanabe和Oohama（2012）在有界存储evasdropper上获得的结果与Oohama（2015）为一个助手信源编码问题建立的指数强逆定理的耦合导出的。
2019-01-18 cs.IT math.IT
Improved Source Coding Exponents via Witsenhausen's Rate
我们提供了一个新的上界Witsenhausen率，所需的速率在零错误模拟的Slepian-Wolf问题，我们的界限是在一个新的信息理论功能定义在一定的图形。然后，我们使用的功能，以给出一个单一的字母下界的错误指数为Slepian-Wolf问题的消失的错误概率准则下，解码器有完整的（即未编码的）边信息。我们的指数源于我们的新的编码方案，该方案仅通过连接源与边信息的“信道”矩阵中的零的位置来利用源分布，并且在这个意义上是“半通用的”。我们证明，我们的错误指数可以击败'删除'源编码指数的Csiszár和Körner，可扩展性，需要使用一个非通用的最大似然解码器。我们的计划的有损情况下（即Wyner-Ziv）的扩展。对于边信息是源的确定性函数的情况下，我们的改进方案的指数完全符合球包装界（从而确定可靠性函数）。文中还给出了该泛函在零差错信道容量中的一个应用。
2010-01-21 cs.IT math.IT
Improved Information Theoretic Generalization Bounds for Distributed and Federated Learning
Princeton University（普林斯顿大学）；New Jersey Institute of Technology（新泽西理工学院）
本文为分布式与联邦学习提出改进的信息论泛化界，在 Bregman 散度或 Lipschitz 连续损失下给出逐节点互信息上界，展现对节点数 K 的 1/K 改进依赖。
2024-01-15 cs.IT cs.LG math.IT
Improved Degree Tables for Secure Distributed Matrix Multiplication
University of California San Diego（加州大学圣地亚哥分校）；Clemson University（克莱姆森大学）；Villanova University（维拉诺瓦大学）
本文提出周期间隙框架构造改进的度数表，得到SHIFT和COVER两种新方案，在多数情况下优于现有方法，并证明平衡情形下SHIFT在度数表构造中渐近最优。
2026-09-09 cs.IT math.CO math.IT
Fundamental Limits of Erasure-Coded Key-Value Stores with Side Information
在分布式存储系统到现代键值存储的应用中，由于频繁更新，存储的数据是高度动态的。为了研究分布式存储系统中动态数据的存储开销问题，提出了多版本编码问题。以前关于多版本编码的工作考虑了一个完全分散和异步的系统，假设服务器不知道其他服务器接收的数据版本。在本文中，我们放松了这一假设，并研究了一个系统，其中服务器可以获取侧信息的数据版本传播到一些其他服务器的网络拓扑结构的基础上。具体来说，我们研究了存储系统与$n$服务器上的有向图存储$ν$完全有序版本的消息。每个服务器接收这些$ν$版本的子集。服务器知道它在网络图中的邻居已经接收到哪些版本。我们表明，侧信息可以导致更好的存储成本相比，没有侧信息的情况下，在某些制度的代价与交换侧信息的额外延迟。通过信息理论的逆，我们确定了令人惊讶的情况下，边信息可能无助于提高最坏情况下的存储成本超出服务器没有边信息的情况。最后，我们提出了一个案例研究亚马逊网络服务（AWS），展示了潜在的成本降低，可能会获得我们的建设。
2019-05-18 cs.DC cs.IT math.IT
Neural Distributed Image Compression using Common Information
Imperial College London（帝国理工学院）；Sharif University of Technology（谢里夫理工大学）；New York University（纽约大学）；EPFL（洛桑联邦理工学院）
我们提出了一种新的深度神经网络（DNN）架构，用于在相关图像仅在解码器处作为边信息时压缩图像。这个问题在信息论中被称为分布式信源编码（DSC）。特别地，我们考虑一对立体图像，其通常由于重叠的视场而彼此具有高相关性，并且假设该对中的一个图像将被压缩和传输，而另一个图像仅在解码器处可用。在所提出的架构中，编码器将输入图像映射到潜在空间，量化潜在表示，并使用熵编码对其进行压缩。解码器被训练为仅使用后者来提取输入图像和相关图像之间的公共信息。接收到的潜在表示和本地生成的公共信息通过解码器网络以获得输入图像的增强重构。公共信息在接收机处提供相关信息的简洁表示。我们训练和证明所提出的方法的有效性的KITTI和城市景观数据集的立体图像对。我们的研究结果表明，所提出的架构是能够利用解码器只有边信息，并优于以前的工作与解码器边信息的立体图像压缩。
2021-11-10 cs.IT cs.LG eess.IV
A New Approach to Distributed Hypothesis Testing and Non-Bayesian Learning: Improved Learning Rate and Byzantine-Resilience
Purdue University（普渡大学）；Sandia National Laboratories（桑迪亚国家实验室）
我们研究了一组代理的设置，每个代理接收部分信息的私人信号，寻求协作学习世界的真实底层状态（从一组有限的假设），生成他们的联合观察配置文件。为了解决这个问题，我们提出了一个分布式学习规则，从根本上不同于现有的方法，因为它不采用任何形式的“置信平均”。相反，智能体根据最小规则更新他们的信念。在对观测模型和网络结构的标准假设下，我们建立了每个代理几乎肯定渐近地学习真理。作为我们的主要贡献，我们证明了概率为1，每个假假设被排除由每个代理指数快速在一个网络独立的速率，严格大于现有的利率。然后，我们开发了一个计算效率高的变体，我们的学习规则，是可证明弹性代理谁不按预期的行为（所代表的拜占庭对手模型），并故意试图传播错误信息。
2019-07-05 cs.IT cs.LG cs.SY
Privacy-Preserving Identification via Layered Sparse Code Design: Distributed Servers and Multiple Access Authorization
我们提出了一种新的计算效率的隐私保护的身份识别框架的基础上分层稀疏编码。该框架的核心思想是一个具有模糊性的稀疏化变换学习，它由一个训练好的线性映射、一个分量非线性和一个隐私放大组成。我们介绍了一个实用的识别框架，它包括两个阶段：公共和私人识别。公共不可信服务器基于存储在其侧的稀疏隐私保护码本提供快速搜索服务。私有可信服务器或本地客户端应用使用公共搜索的结果和存储在其一侧的分层稀疏码本来执行细化的精确相似性搜索。在解码域中执行私有搜索，并且基于客户端的授权级别来选择私有搜索的准确性。所提出的方法的效率在于编码、解码、“加密”（模糊化）和“解密”（净化）的计算复杂性以及码本的存储复杂性。
2018-06-07 cs.CR cs.DB cs.DC
