Distributed Indirect Source Coding with Decoder Side Information
本文面向任务语义通信与分布式学习场景,研究带解码器边信息的分布式间接信源编码率失真问题,给出通用率失真区域界,并在信源条件独立于边信息时精确刻画率失真函数。
2024-05-22 cs.IT math.IT
Data-Driven Neural Estimation of Indirect Rate-Distortion Function
本文针对仅给定数据集时难以估计间接率失真函数的问题,利用条件期望与二次损失最小化的等价性,提出基于神经网络的iRDF估计方法,并验证了其相合性与有效性。
2025-03-08 cs.IT math.IT
A Simple but Accurate Approximation for Multivariate Gaussian Rate-Distortion Function and Its Application in Maximal Coding Rate Reduction
本文提出一种多元高斯率失真函数的简单精确近似,并基于该近似推导出分类算法AR-ReduNet,在准确率和优化效率上优于ReduNet。
2025-06-23 cs.IT math.IT
Rényi Rate-Distortion-Perception-Privacy Tradeoff under Indirect Observation
本文提出R-RDPP框架,研究在间接源编码中率、失真、感知和隐私的权衡,揭示传统隐私度量对合法语义恢复的惩罚,并引入条件隐私度量和改进的可实现界限。
2026-07-27 cs.IT math.IT
An Indirect Rate-Distortion Characterization for Semantic Sources: General Model and the Case of Gaussian Observation
University of Science and Technology of China(中国科学技术大学);Shanghai Jiaotong University(上海交通大学);Princeton University(普林斯顿大学)
提出了一种新的信源模型,该模型由内禀状态部分和外禀观测部分组成,定义并分析了其信息论特征,即率失真函数。这种源模型的动机是最近激增的兴趣在语义方面的信息:内在状态对应于源的语义特征,这在一般情况下是不可观察的,但只能从外部观察推断。有两个失真的措施,一个内在的状态和它的再现之间,和外部的观察和它的再现之间的其他。在给定码率下,这两种失真度量之间的折衷由率失真函数表征,该率失真函数通过间接率失真理论求解,并被称为信源的语义率失真函数。作为一般模型及其分析的一个应用,在二次畸变结构下,研究了高斯型外观测的情形,假定本征态与外观测之间为线性关系.语义率失真函数示出为凸规划问题的解决方案相对于误差协方差矩阵,并提供了一个反向注水型的解决方案时,该模型进一步满足可对角化条件。
2022-06-01 cs.IT cs.LG math.IT
Root Tracking for Rate-Distortion: Approximating a Solution Curve with Higher Implicit Multivariate Derivatives
本文研究有损压缩中率失真曲线的潜在动力学,提出利用高阶导数张量表示非线性算子根处隐式导数的算法族,沿曲线追踪测试信道并保证最优性,展示了将分岔理解转化为数值算法的范例。
2023-06-29 cs.IT math.IT
Sampling and Distortion Tradeoffs for Indirect Source Retrieval
考虑一个不能直接观察到的连续信号。相反,人们可以访问信号的多个损坏版本。可用的损坏信号是相关的,因为它们携带关于公共远程信号的信息。其目标是从其损坏版本收集的数据中重建原始信号。远程重建问题的信息理论公式假设被破坏的信号被均匀采样,并且重点是样本的最佳压缩。在本文中,我们重新审视这个问题,从抽样的角度来看。我们看的问题,找到最佳的采样位置,为每个信号,以尽量减少总的重建失真的远程信号。在找到采样位置时,可以利用损坏信号之间的相关性。我们的主要贡献是任何任意非均匀采样策略的重建失真的基本下界。该下限对任何采样率都有效。此外,它是紧密的,并匹配在低和高采样率的最佳重建失真。此外,它表明,在低采样率区域,它是最佳的,使用一定的非均匀采样方案的所有信号。另一方面,在高采样率区域中,最佳的是均匀地采样所有信号。我们还考虑的问题,找到最佳的采样位置,以恢复损坏的信号集,而不是远程信号。不同于信息理论制定的问题,这两个问题是等价的,我们表明,他们是不等价的,在我们的设置。
2016-12-05 cs.IT math.IT
Sum-Rate-Distortion Function for Indirect Multiterminal Source Coding in Federated Learning
Shanghai Jiao Tong University(上海交通大学)
联邦学习(FL)的主要焦点之一是通信效率,因为在每一轮模型训练中,大量参与的边缘设备将其更新发送到边缘服务器。现有的作品从边缘设备重建每个模型更新,并隐含地假设本地模型更新是独立的边缘设备。然而,在FL中,模型更新是间接的多终端信源编码问题,也称为CEO问题,其中每个边缘设备不能直接观察到要在解码器处重构的梯度,而是仅提供有噪声的版本。现有的工作不利用冗余的信息传输的不同边缘。本文研究FL中间接多端信源编码问题的码率域,目标是在一个特定的梯度方差上界下获得最小可达码率。在无偏估计下得到了二次向量高斯CEO问题的速率域,并在边缘设备和维数上的梯度相同的特殊情况下,得到了和速率失真函数的显式表达式.最后,我们分析了凸Minibatched SGD和非凸Minibatched SGD的通信效率的基础上的和率失真函数,分别。
2021-05-13 cs.AI cs.IT math.IT
A Graph Algorithmic Approach to Separate Direct from Indirect Neural Interactions
网络图已经成为一种流行的工具来表示由许多相互作用的子单元组成的复杂系统;特别是在神经科学中,网络图越来越多地用于表示和分析神经源之间的功能相互作用。相互作用经常使用成对双变量分析来重建,忽略了它们的多变量性质:它被忽略了,调查一个源对目标的影响需要考虑所有其他源作为潜在的滋扰变量;源的组合也可能共同作用于给定的目标。双变量分析产生的网络可能包含虚假的相互作用,这降低了网络及其图形度量的可解释性。然而,一个真正的多元重建,是计算上棘手的,由于潜在的相互作用的数量组合爆炸。因此,我们必须采取近似的方法来处理多变量相互作用重建的棘手性,从而使网络在神经科学中的使用。在这里,我们建议这样一个近似的方法,在一个算法的形式,通过识别潜在的虚假的相互作用事后扩展快速双变量相互作用重建:该算法标志潜在的虚假的边缘,然后可以从网络中修剪。这产生了一个统计上保守的网络近似,保证只包含非虚假的相互作用。我们描述了该算法,并提出了一个参考实现来测试其性能。我们讨论的算法与其他近似的多元方法,并突出合适的应用场景。我们的方法是一种易于处理和数据有效的方式重建近似网络的多元相互作用。如果可用数据有限或完全多变量方法在计算上不可行,则最好采用这种方法。
2015-11-23 cs.IT math.IT q-bio.NC
Indirect Lossy Source Coding with Observed Source Reconstruction: Nonasymptotic Bounds and Second-Order Asymptotics
本文研究仅访问一个相关信源时联合压缩并恢复两个信源的问题,推导了非渐近界与二阶渐近性,并通过EFCF情形验证了近似精度。
2024-11-05 cs.IT math.IT
On the Second-Order Achievabilities of Indirect Quadratic Lossy Source Coding
本文研究特定信源模型下间接二次有损信源编码的二阶可达性,利用失真倾斜信息技术建立二阶可达性界,并推广至带观测信源重构的情形,证明所得界限与有限字母表对应物形式一致且二阶紧致。
2024-10-13 cs.IT math.IT
A Rate-Distortion Approach to Caching
本文采用率失真方法来理解高速缓存辅助通信系统的信息理论定律。具体来说,我们将优化的交付率之间的权衡,缓存容量和重建失真的单用户问题和一些特殊情况下的两个用户的问题。我们的分析考虑离散无记忆源,预期和过度失真约束,可分离和f-可分离的失真函数。我们还建立了一个强大的可分离失真函数的逆,我们表明,共同的信息(Gács-Körner和Wyner)的有损版本在缓存中发挥了重要作用。最后,我们说明并明确评估这些法律的多元高斯源和二进制对称源。
2016-10-24 cs.IT math.IT
On the Computation of the Gaussian Rate-Distortion-Perception Function
EURECOM(欧洲通信学院)
本文研究多元高斯源在多种感知度量下的率失真-感知函数计算,提出基于特征空间的交替最小化算法,并给出完美现实主义情形的解析解。
2023-11-15 cs.CV cs.IT cs.LG
Indirect NRDF for Partially Observable Gauss-Markov Processes with MSE Distortion: Complete Characterizations and Optimal Solutions
本文研究了具有硬均方误差(MSE)失真约束的部分可观测多变量Gauss-Markov过程的非预期率失真函数(NRDF)的刻画和计算问题。对于有限时间范围的情况下,我们首先推导出这个问题的完整表征和相应的最佳实现,这是一个线性函数的当前时间足够的统计过去和当前的观测信号。我们表明,当问题是严格可行的,它可以通过半定规划(SDP)算法计算。对于平均总MSE失真的时变标量过程,我们推导出一个最佳的封闭形式的表达,通过一个动态的反向注水的解决方案,我们也通过一个迭代方案,在有限时间内线性收敛,和一个封闭形式的解决方案下逐点MSE失真约束。对于无限时域,给出了观测信号的充分统计过程渐近地达到相应协方差矩阵的稳态解的充分必要条件,并给出了允许存在时不变解的条件.然后,我们表明,当一个有限的解决方案存在于渐近极限,它可以通过SDP算法计算。我们还给出了强大的结构特性的渐近极限,允许通过一个反向注水算法,我们通过一个迭代方案,收敛线性有限数量的空间分量下实现的最佳解决方案的表征的问题。我们的研究结果与各种模拟研究相印证,并与文献中现有的结果进行了比较。
2021-10-20 cs.IT cs.SY eess.SY
Characterization of the Gray-Wyner Rate Region for Multivariate Gaussian Sources: Optimality of Gaussian Auxiliary RV
在本文中检查,是灰色和Wyner可实现的有损率区域的相关多元高斯随机变量(RV)的元组$X_1 : Ω\rightarrow {\mathbb R}^{p_1}$和$X_2 : Ω\rightarrow {\mathbb R}^{p_2}$相对于平方误差失真在两个解码器。结果表明,在所有的联合分布引起的三重RVs $(X_1,X_2, W)$,使$W : Ω\rightarrow {\mathbb W} $是辅助RV采取连续,可数,或有限的值,灰色和Wyner可实现的速率区域的特征在于联合高斯RVs $(X_1,X_2, W)$,使$W $是$n$ -维高斯RV。然后,可实现速率区域由联合高斯RV的三个条件协方差$Q_{X_1,X_2|W}, Q_{X_1|W}, Q_{X_2|W}$参数化。此外,如果RV $W$使$X_1$和$X_2$有条件地独立,则可实现速率区域的对应子集更简单,并且仅由两个条件协方差$Q_{X_1|W}, Q_{X_2|W}$参数化。本文还包括Pangloss平面的Gray-Wyner率区域的表征,以及相应的率失真函数的表征,其测试通道分布,以及诱导这些分布的实现的结构特性。
2022-05-16 cs.IT math.IT
A New Approach to Lossy Network Compression of a Tuple of Correlated Multivariate Gaussian RVs
经典的Gray和Wyner信源编码的一个简单的网络源,产生一个元组的多元,相关的高斯随机变量$(Y_1,Y_2)$重新检查使用几何方法的高斯随机变量,和弱随机实现的相关高斯随机变量。新的结果是:(1)根据$(Y_1, Y_2)$的弱随机实现,给出了使元组$(Y_1,Y_2)$的两个分量条件独立的所有随机变量$W : Ω\rightarrow {\mathbb R}^n $参数化的公式、方法和算法。(2)通过非奇异变换$(S_1,S_2)$将随机变量$(Y_1,Y_2)$变换为它们的标准变量形式。(3)一个公式为Wyner的有损共同信息的联合解码与均方误差失真。(4)所示的方法是至关重要的参数化的Gray和Wyner信源编码问题的有损率区域,和计算的最小公共消息速率$R_0$的Gray和Wyner信源问题,当和速率$R_0+R_1+R_2$是任意接近的联合率失真函数$R_{Y_1, Y_2}(Δ_1, Δ_2)$的联合解码。这些方法和算法也适用于多用户通信的其它问题,如多址信道等。本文的讨论是自包含的,从第一性原理出发,回顾了多元相关高斯随机变量的弱随机实现理论的基本概念,并发展了某些结果以满足结果(1)-(4)的要求。
2021-02-14 cs.IT math.IT
Single-Shot Lossy Compression for Joint Inference and Reconstruction
本文研究解码器同时完成数据重建与推理的单次有损压缩问题,将其建模为直接-间接信源编码并推导超额失真概率的上下界,还在对数损失下给出易计算的可达界。
2023-09-30 cs.IT math.IT
Design of Threshold-Constrained Indirect Quantizers
针对硬件实现中时不变连续单元标量量化器的约束,研究均方误差约束下的信源间接量化问题,推导广义Lloyd-Max必要条件,提出迭代设计算法及标量观测下的动态规划非迭代算法。
2024-09-10 cs.IT math.IT
Characterization of Conditional Independence and Weak Realizations of Multivariate Gaussian Random Variables: Applications to Networks
针对在两个解码器处的平方误差失真,重新检查了用于产生联合高斯随机变量(RV)$X_1 : Ω\rightarrow {\mathbb R}^{p_1}$和$X_2 : Ω\rightarrow {\mathbb R}^{p_2}$的元组的源的简单网络的Gray和Wyner有损源编码,使用(1)高斯RV的Hotelling几何方法-规范变量形式,(2)van Putten和van Schuppen对联合分布${\bf P}_{X_1, X_2, W}$的高斯RVs参数化$W : Ω\rightarrow {\mathbb R}^n $使$(X_1,X_2)$条件独立,以及$(X_1, X_2)$的弱随机实现.项(2)用于通过RV $W$的协方差矩阵来参数化用于具有均方误差失真${\bf E}\big\{||X_i-\hat{X}_i||_{{\mathbb R}^{p_i}}^2 \big\}\leq Δ_i \in [0,\infty], i=1,2$的联合解码的Gray和Wyner信源编码问题的有损速率区域。由此得出Wyner的公共信息$C_W(X_1,X_2)$(信息定义)是由$W$与单位协方差矩阵实现的,而Wyner的有损公共信息的公式(操作定义)被导出,对于失真区域$ 0\leq Δ_1 \leq \sum_{j=1}^n(1-d_j)$,$0\leq Δ_2 \leq \…
2020-01-19 cs.IT math.IT
On the Information Dimension of Stochastic Processes
1959年,Rényi提出了信息维和$d$维熵来度量一般随机变量的信息含量。本文将信息维推广到随机过程,定义信息维率为均匀量化随机过程的熵率除以量化器步长$1/m$的对数之差,其极限为$m\to\infty$。证明了信息维数率与率失真维数率一致,率失真维数定义为随机过程的率失真函数$R(D)$的两倍除以$-\log(D)$,极限为$D\downarrow 0$ .进一步证明了在具有给定(矩阵值)谱分布函数(SDF)的所有多元平稳过程中,高斯过程具有最大的信息维率,多元平稳高斯过程的信息维率由SDF的导数的平均秩给出.结果表明,通过可压缩信号追踪和几乎无损模拟压缩的几乎零失真恢复的基本限制是不同的。
2019-06-11 cs.IT math.IT
An Efficient Alternating Minimization Algorithm for Computing Quantum Rate-Distortion Function
针对纠缠辅助量子率失真函数计算,本文提出基于拉格朗日分析、逐次更新乘子并以闭式更新变量的交替最小化算法,实验验证其准确且更高效。
2025-07-26 cs.IT math.IT quant-ph
Zero-Delay Joint Source-Channel Coding for a Multivariate Gaussian on a Gaussian MAC
本文研究了高斯多址信道上的多变量高斯通信。给出了分布式零延迟联合信源-信道编码(JSCC)解决方案。非线性和线性的方法进行了讨论。任意码长的性能上限(信号失真比)也来自和零延迟合作JSCC简要处理,以提供一个近似的零延迟计划的性能上界。主要贡献是一个非线性混合离散模拟JSSC计划的基础上分布式量化和线性连续映射分布式量化线性编码器(DQLC)。DQLC具有良好的性能,随着相关性的增加而提高,并且对噪声水平的变化具有鲁棒性。的DQLC表现出一个恒定的差距的性能上限的信号噪声比(SNR)变得很大的任何数量的源和相关值。因此,当SNR变得足够大时,它在任何情况下都优于线性解决方案(未编码传输)。
2014-01-11 cs.IT math.IT
On Distributed Lossy Coding of Symmetrically Correlated Gaussian Sources
本文研究了一个具有$L$编码器和解码器的分布式有损压缩网络。每个编码器观察一个源,并将压缩版本发送到解码器。解码器产生目标信号的联合重建,均方误差失真低于给定阈值。假设观测源可以表示为目标信号和由两个对称多元高斯分布独立产生的破坏性噪声之和。该网络的最小压缩率与失真阈值的关系被称为率失真函数,通过求解最小化问题来建立其明确的下限。我们的下限匹配著名的Berger-Tung上限的失真阈值的一些值。上界和下界之间的渐近间隙的特征在于大的$L$极限。
2022-06-03 cs.IT math.IT
Joint Nonanticipative Rate Distortion Function for a Tuple of Random Processes with Individual Fidelity Criteria
研究了具有独立保真度准则的随机过程元组的联合非预期率失真函数。最佳测试通道分布的结构特性。此外,联合多元高斯马尔可夫过程的元组与个人平方误差保真度标准的联合NRDF的应用实例,实现的再生过程,诱导的最佳测试通道分布,并相应的联合NRDF的特点。最简单的例子,一个元组的标量相关马尔可夫过程的分析,说明了许多具有挑战性的方面,这样的问题。
2021-03-29 cs.IT cs.SY eess.SY
On Distribution Preserving Quantization
在压缩感知相关信号时,常规量化通常在低速率下导致不自然的结果。我们提出了分布保持量化(DPQ)来解决这个问题。DPQ是一种新的量化概念,它将重建的概率空间限制为与源的概率空间相同。DPQ的一个显著特点是它有助于信号合成和量化之间的无缝过渡。DPQ的理论分析导致了一个分布保持率失真函数(DP-RDF),它作为一个下界的任何DPQ方案的速率,失真的约束下。在一般情况下,DP-RDF接近经典的率失真函数为相同的源和失真措施,在限制的速率增加。提出了一种基于多元变换的DPQ方案。该方案渐近地实现了DP-RDF的i.i.d.高斯源和均方误差。
2011-08-18 cs.IT math.IT
Copula-based Estimation of Continuous Sources for a Class of Constrained Rate-Distortion-Functions
该研究提出基于copula分布的新方法,将输出约束率失真函数转化为凸集I投影问题,通过梯度迭代方案求解,还推导了完美真实感率失真感知函数的香农下界,并用数值算例验证了方法性能。
2024-01-30 cs.IT math.IT
The Rate-Distortion Risk in Estimation from Compressed Data
考虑当压缩器不知道信号和数据之间的关系时,从数据的有损压缩版本估计潜在信号的问题。当在确定下游推理任务之前传输或存储数据时,许多现代应用程序都会出现这种情况。给定比特率约束和数据与其压缩版本之间的失真度量,让我们考虑实现香农率失真(RD)函数的联合分布。给定与下游推理任务相关的估计量和损失函数,将率失真风险定义为RD实现分布下的预期损失。我们提供了一般的条件下,从压缩数据估计的操作风险是渐近等价的RD风险。证明这种等价性的主要理论工具是传输成本不等式,以及实现香农RD函数的压缩码的性质。只要这种等价性成立,就出现了一种从经历有损压缩的数据集设计估计量而不指定实际压缩技术的方法:设计估计量以最小化RD风险。在离散无记忆或多元正态数据的特殊情况下,我们的条件得到了简化。对于这些情况下,我们推导出明确的表达式的RD风险的几个估计,并比较它们的最佳信源编码性能与充分的知识之间的关系的潜在信号和数据。
2021-01-10 cs.IT math.IT
Robust Distributed Compression of Symmetrically Correlated Gaussian Sources
考虑具有$\ell$分布式编码器和集中式解码器的有损压缩系统。每个编码器压缩其观测源,并将压缩数据转发到解码器,用于在均方误差失真约束下联合重建目标信号。假设观测源可以表示为目标信号和破坏性噪声之和,这两个破坏性噪声独立地产生于两个对称的多元高斯分布。取决于这样的分布的参数,该系统的率失真极限的特征在于完全或至少足够低的失真。结果被进一步扩展到鲁棒分布式压缩设置,其中编码器的子集的输出也可以用于产生对应的目标信号的非平凡重构。特别是,我们在高-当所有$\ell$编码器中的每个$k$共同以相同模式操作时,基于$k+1$或更多编码器的输出的最小可实现重构失真的精确表征,该模式在最小化由相应$k$目标信号的重构引起的失真相对于这些目标信号的平均速率的意义上是贪婪的$k$编码器。
2018-07-18 cs.IT math.IT
Shannon Bounds for Quadratic Rate-Distortion Problems
本文综述了均方误差失真下率失真问题的 Shannon 界,重点介绍了 Berger 的技术,并作为新结果将 Gray-Wyner 网络纳入已知此类界限的设定中。
2024-09-23 cs.IT math.IT
Model-Aware Rate-Distortion Limits for Task-Oriented Source Coding
本文提出任务模型感知的率失真界限,以优化机器为中心推理系统中的视觉数据通信效率。
2026-02-13 cs.IT cs.LG eess.IV
Joint Rate and Resource Allocation in Hybrid Digital-Analog Transmission over Fading Channels
在混合数字模拟(HDA)系统中,资源分配已被用于实现期望的失真性能。然而,现有的研究在这个问题上假设无差错的数字传输,这是不有效的衰落信道。在时变信道衰落的情况下,在发射机处无法获得精确的信道状态信息。因此,随机中断和由此产生的数字失真不容忽视。此外,在资源分配中应考虑速率分配,因为它不仅决定了数字传输和模拟传输的信息量,而且还影响中断概率。基于上述观察,本文试图在衰落信道下执行联合速率和资源分配策略来优化HDA系统中的系统失真。考虑一种带宽扩展方案,其中在具有熵约束标量量化器(ECSQ)的HDA系统中发送无记忆高斯源。首先,我们制定的联合分配问题作为一个预期的系统失真最小化问题,其中模拟和数字失真都被认为是。然后,在低中断概率的限制下,基于块坐标下降法将问题分解为两个耦合的子问题,并提出一种迭代梯度算法来逼近最优解。此外,我们将我们的工作扩展到多变量高斯源的情况下,提出了一个两阶段的快速算法,结合舍入和贪婪策略,以优化联合速率和资源分配问题。仿真结果表明,在单高斯源情况下,所提算法的信失真比优于现有算法2.3dB;在多高斯源情况下,所提算法的信失真比优于现有算法3.5dB。
2018-12-17 cs.IT cs.PF eess.SP
On the Nonasymptotic Bounds of Joint Source-Channel Coding with Hierarchical Sources
East China Normal University(华东师范大学);Xihua University(西华大学);Beijing University of Posts and Telecommunications(北京邮电大学);Shanghai Jiao Tong University(上海交通大学)
本文研究了在有限块长条件下,联合源-信道编码中分层源的可计算紧界。通过引入新的d(·)函数失真松弛方法,建立了可计算且紧的联合过失真概率界,并通过高斯近似优化了高斯记忆less源在加性白高斯噪声信道中的传输。
2026-06-06 cs.IT math.IT
Distributed Source Coding for Correlated Memoryless Gaussian Sources
本文研究了$L$相关高斯观测值$Y_i, i=1,2,...,L$的分布式信源编码问题。我们假设随机向量$Y^{L}={}^{\rm t} (Y_1,Y_2,$ $...,Y_L)$是高斯随机向量$X^K={}^{\rm t}(X_1,X_2,...,X_K)$的观测值,具有形式$Y^L=AX^K+N^L ,$,其中$A$是$L\times K$矩阵,而$N^L={}^{\rm t}(N_1,N_2,...,N_L)$是$L$独立的高斯随机变量的向量,也独立于$X^K$。$X^K$上的估计误差由失真协方差矩阵来测量。率失真区域是由一组所有的速率矢量定义的,对于这些速率矢量,在半正定的意义下,估计误差的上界是由任意指定的协方差矩阵限定的。在本文中,我们推导出明确的外部和内部边界的率失真区域。这一结果为研究这种高斯分布信源编码系统的直接和间接信源编码问题提供了一个有用的工具,而这一问题目前还没有得到解决。
2010-01-13 cs.IT math.IT
Rate-Distortion Theory for Strategic Semantic Communication
本文分析了战略语义通信问题的基本限制,其中发射机获得有限数量的间接观察的内在语义信息源,然后可以影响接收机的解码发送有限数量的消息到一个不完美的通道。发射机和接收机可以具有不同的失真度量,并且可以分别对它们的编码和解码策略做出合理的决定。解码器还可以具有一些辅助信息(例如,背景知识和/或从先前通信中获得的信息)来帮助其解释语义信息。我们特别关注的情况下,发射机可以承诺的编码策略和研究的影响的战略决策的语义通信的率失真。研究并比较了强Stackelberg均衡、弱Stackelberg均衡和纳什均衡三种均衡解。推导出了各种均衡解下的最优编码和解码策略分布。我们证明,致力于编码策略并不总是带来好处的编码器。因此,我们提出了一个可行的条件下,承诺的编码策略,总是可以减少语义通信的失真性能。
2022-08-06 cs.IT cs.NI math.IT
The Performance of Compression-Based Denoisers
Stanford University(斯坦福大学)
本文通过将损失压缩的失真度量与信道条件分布匹配,将压缩去噪框架推广到一般离散无记忆信道,并精确刻画了去噪器的损失。
2026-06-08 cs.IT math.IT
Structural Properties of Optimal Test Channels for Distributed Source Coding with Decoder Side Information for Multivariate Gaussian Sources with Square-Error Fidelity
本文着重于测试通道的结构特性,Wyner的操作信息率失真函数(RDF),$\overline{R}(Δ_X)$,多元相关的元组,联合独立和同分布的高斯随机变量(RV),$\{X_t, Y_t\}_{t=1}^\infty$,$X_t: Ω\rightarrow {\mathbb R}^{n_x}$,$Y_t: Ω\rightarrow {\mathbb R}^{n_y}$,与平均均方误差在解码器,$\frac{1}{n} {\bf E}\sum_{t=1}^n||X_t - \widehat{X}_t||^2\leq Δ_X$,当$\{Y_t\}_{t=1}^\infty$是边信息提供给解码器。我们构造最佳的测试通道实现,实现信息RDF,$\overline{R}(Δ_X) \triangleq\inf_{{\cal M}(Δ_X)} I(X;Z|Y)$,其中${\cal M}(Δ_X)$是辅助RV $Z$的集合,使得${\bf P}_{Z|X,Y}={\bf P}_{Z|X}$,$\widehat{X}=f(Y,Z)$和${\bf E}\{||X-\widehat{X}||^2\}\leq Δ_X$。我们显示的基本结构特性:(1)最佳的测试通道实现,实现RDF,$\overline{R}(Δ_X)$,满足条件独立性,$ {\bf P}_{X|\widehat{X}, Y, Z}=…
2020-11-22 cs.IT math.IT
Rate-Distortion-Perception Theory for Semantic Communication
Xidian University(西安电子科技大学);Peng Cheng Laboratory(鹏城实验室);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔));Virginia Tech(弗吉尼亚理工大学)
本文针对语义通信建立率—失真—感知理论,刻画间接感知语义源及边信息下的可达权衡,并给出二进制源闭式速率与实验验证。
2023-12-09 cs.AI cs.IT cs.NI
Information-theoretic signatures of causality in Bayesian networks and hypergraphs
Imperial College London(帝国理工学院);University Hospital Würzburg(维尔茨堡大学医院)
本文探讨了信息论方法在贝叶斯网络和超图中识别因果关系的潜力,通过部分信息分解揭示了因果结构的局部特性,为因果推断提供了新的理论基础。
2026-04-12 cs.IT math.IT stat.ML
Constrained Gaussian Wasserstein Optimal Transport with Commutative Covariance Matrices
本文研究在速率、维度和信道三种约束下的Gaussian Wasserstein最优传输问题,并在源与重建变量的协方差矩阵可交换时,推导出最小可实现均方误差的显式结果。
2025-03-05 cs.IT cs.LG math.IT