Rate-Distortion-Perception Trade-off with Strong Realism Constraints: Role of Side Information and Common Randomness
本文研究带边信息的无记忆信源压缩在强完美真实感约束下的率-失真-感知权衡，刻画了边信息仅在解码器端或两端可用时的信息论极限，并揭示边信息作为公共随机性来源的双重作用及高斯场景下的显式解。
2025-07-20 cs.IT math.IT
Understanding Rate-Distortion Performance in Distributed Transformer Inference
Simon Fraser University（西蒙弗雷泽大学）
本文提出基于率-失真原理的压缩框架，通过学习紧凑编码在准确率与比特率间进行权衡，实验证明其在语言基准测试中能显著提升压缩效率。
2026-08-04 cs.IT cs.LG math.IT
Minimax Data Sanitization with Distortion Constraint and Adversarial Inference
New Jersey Institute of Technology（新泽西理工学院）
针对含边信息的双对手隐私共享问题，提出在重构失真约束下最大化对手最小损失的数据驱动 minimax 交替训练方法，并以高斯和二进制理论最优解作为基准。
2025-07-23 cs.AI cs.IT math.IT
Semantic Rate Distortion and Posterior Design: Compute Constraints, Multimodality, and Strategic Inference
Electrical and Computer Engineering Department, Binghamton University（宾夕法尼亚大学布林茅尔分校电子与计算机工程系）
本文研究了在计算限制下的语义压缩问题，通过后验设计和多模态观测优化，提高了语义准确性和模型效率。
2026-02-03 cs.AI cs.IT cs.LG
Source Coding with Fixed Lag Side Information
我们考虑在解码器处具有固定滞后边信息的信源编码。我们重点研究了Pradhan提出的带前馈的信源编码（带反馈的信道编码的对偶）对应的具有单位滞后的理想边信息的特殊情况。我们使用这种对偶性来开发一种线性复杂度算法，该算法实现了任何无记忆有限字母表源和失真度量的率失真界。
2004-10-04 cs.IT math.IT
Distortion Exponent in MIMO Fading Channels with Time-Varying Source Side Information
在严格时延约束下，研究了高斯信源在时变多输入多输出（MIMO）信道中的传输。假设在接收机处相关边信息的可用性，其质量，即，与源信号的相关性也随时间变化。一个块衰落模型被认为是时变信道和时变边信息的状态，并假设在接收机完美的状态信息，而发射机只知道的统计。针对这种联合信源-信道编码问题，研究了由\textit{distortion exponent}表征的高信噪比性能。上界推导和比较与较低的列表解码，混合数字模拟传输，以及多层计划，传输连续细化的源，依赖于渐进式和叠加传输与列表解码。最佳失真指数的特点是单输入多输出（SIMO）和多输入单输出（MISO）的情况下，通过显示的失真指数实现多层叠加编码与联合解码满足建议的上限。在MIMO的情况下，最佳失真指数的特点是在低带宽比制度，它表明，多层叠加编码执行非常接近的上限在高带宽扩展制度。
2015-05-26 cs.IT math.IT
A Framework for Partial Secrecy
我们认为部分保密的理论限制，在设置窃听者试图因果重建的信息序列与低失真的基础上，截获的传输和过去的序列。发送器和接收器具有有限的秘密密钥，但不足以用一次性密码本建立完美的保密性。从另一个角度来看，窃听者是作为一个对手，在一个零和重复的游戏竞争的发送者和接收者的保密系统。在这种情况下，信息序列表示一系列的行动，失真函数捕捉博弈的收益。我们给出了一个信息论域，它表达了秘密密钥速率和最大最小失真之间的折衷。我们还简化了这个特征的线性规划。作为一个例子，我们讨论了如何最佳地使用秘密密钥隐藏Bernoulli-p位从窃听，使他们招致最大的汉明失真。
2010-08-04 cs.IT math.IT
SPHERICAL KV: Angle-Domain Attention and Rate-Distortion Retention for Efficient Long-Context Inference
Synopsys；McGill University（麦吉尔大学）；IIIT Ranchi（印度理工学院拉奇）；Amazon（亚马逊）；Meta；Apple（苹果）；Pragya Lab, BITS Pilani Goa（普拉基亚实验室， BITS 拉贾斯坦）
提出Spherical KV方法，通过角度域注意力（ADA）和率失真保持（RDR）机制，在长上下文推理中减少KV缓存占用并保持解码效率。
2026-06-07 cs.CL cs.IT cs.LG
Semantic Compression with Side Information: A Rate-Distortion Perspective
我们考虑面向任务的视频压缩的语义率失真问题。对应于任务的语义信息，这是不可观察的编码器，通过联合概率分布显示对观察的影响。在视频压缩中帧内片段和帧间片段之间的相似性被公式化为在编码器和解码器两者处可用的边信息。解码器感兴趣的是恢复的观察，并作出一定的失真约束下的语义信息的推断。我们建立了压缩率和失真之间的权衡充分表征率失真函数的信息理论的限制。我们进一步评估了三种情况下的特定马尔可夫条件下的率失真函数：i）任务和观察都是二进制源; ii）任务是一个整数观测的偶数和奇数的二进制分类; iii）高斯相关的任务和观察。我们还通过数值结果说明，恢复只有语义信息可以降低编码率相比，恢复源观察。
2022-08-12 cs.IT math.IT
Optimal Rate-Distortion-Leakage Tradeoff for Single-Server Information Retrieval
私有信息检索协议保证用户可以从存储在多个服务器上的数据库中私有地、丢失地检索单个文件。在这项工作中，我们建议同时放宽条件的完美检索和隐私，以获得更好的下载速率时，所有文件存储在一个单一的服务器上未编码。信息泄漏是根据服务器正确猜测所需文件的身份的平均成功概率来衡量的。主要调查结果如下：i）当文件大小为无限时，下载速率、失真和信息泄漏之间的最佳折衷的推导。对于“无泄漏”和“无隐私”的特殊情况，给出了最优折衷的封闭表达式。ii）一种基于线性规划（LP）的新方法，用于构建有限文件大小和任意数量文件的方案。所提出的LP方法可以被用来找到可证明的最佳方案与相应的封闭形式的表达式的速率失真泄漏的权衡时，数据库中包含最多4位。最后，对于一个包含320位的数据库，我们比较了两种建设方法的基础上的LP方法与非建设性计划下载的文件子集使用有限长度的有损压缩机的基础上随机编码。
2022-01-06 cs.IT math.IT
Strategic Communication with Side Information at the Decoder
我们调查的问题，战略点到点的通信与边信息在解码器，其中的编码器和解码器有不匹配的失真函数。解码过程不受监督，它返回最小化解码器失真函数的输出序列。编码过程是预先设计的，并考虑到解码器的失真失配。当通信信道是完美的，解码器没有边信息时，这个问题在经济学文献中被称为Kamenica-Gentzkow的贝叶斯说服博弈。我们制定的战略通信的情况下，作为一个联合信源-信道编码的问题，边信息在解码器。源的信息内容影响编码的设计，因为它不同地影响两个不同的失真函数。边信息使分析复杂化，因为编码器不确定解码器对源统计的信任。我们通过控制由Wyner-Ziv源编码方案引起的后验信念来表征单字母最优解。这证实了即使解码过程不受监督也发送编码数据比特的益处。
2020-09-16 cs.IT math.IT
Hiding Symbols and Functions: New Metrics and Constructions for Information-Theoretic Security
我们提出了信息理论的定义和结果分析的公钥加密方案超出了完美的保密制度，即当完美的保密性是没有达到。我们采用两条分析线，一个基于无损信源编码，另一个类似于率失真理论。首先，我们提出了一个新的信息理论度量的安全性，称为符号保密，并推导出相关的基本界限。然后，我们介绍了列表源代码（LSC），这是一个通用的框架映射的密钥长度（熵）的列表大小，窃听者必须解决，以恢复秘密消息。我们提供了明确的结构的LSC，并证明，当源是均匀分布的，最高级别的符号保密的一个固定的密钥长度可以实现通过基于最小距离可分离（MDS）码的建设。使用相关的率失真理论的分析，然后，我们展示了如何符号保密可以用来确定窃听者正确地重建原始明文的功能的概率。我们说明了如何将这些界限可以应用到表征安全属性的公钥加密方案，特别是，扩展安全要求的基础上，符号保密的功能设置。
2015-03-30 cs.IT math.IT
Distortion based Light-weight Security for Cyber-Physical Systems
在信息物理系统（CPS）中，基于通信数据的推理具有重要意义，因为它可以用于操纵或破坏对手的控制操作。由于控制系统越来越多地分布在更大的地理区域上，这就需要有效的数据安全传输机制。基于失真的安全性，最近提出的CPS中的安全传输的候选人之一，不仅更适合这些应用程序，但也相当节俭的共享密钥的事先要求。在本文中，我们提出了基于失真的度量来保护CPS通信，并表明只需几位预共享密钥就可以混淆对手。特别是，我们将表明，一个线性动力系统可以传达其状态的方式，防止窃听者准确地学习状态。
2020-06-25 cs.CR cs.IT math.IT
Rate-Distortion-Perception Theory: Redefining the Fundamental Limits of Information Representation
研究针对经典率失真理论中失真度量不能很好捕捉感知质量等问题，提出率-失真-感知理论，通过引入感知扩展RD框架得到RDPF，介绍其编码原理、计算工具及相关结果，并概述了相关交叉领域的研究方向。
2026-07-21 cs.IT cs.LG cs.SY
On Perfect Obfuscation: Local Information Geometry Analysis
我们考虑的问题，隐私保护的数据发布的一个特定的实用程序任务下完美的混淆约束。我们建立的必要和充分条件，以提取功能的原始数据，携带尽可能多的信息的效用属性，而不透露任何信息的敏感属性。这个问题公式概括了信息瓶颈和隐私漏斗问题。我们采用了一个本地信息几何分析，提供了有用的洞察信息耦合和轨道建设的球扰动的概率质量函数。这种分析使我们能够构建的联合分布，发散传递矩阵，和互信息的模态分解。通过将互信息分解为正交模式，在满足完全混淆约束的情况下，得到了关于效用属性的局部充分统计量。在欧氏信息几何中，基于$χ^2$ -散度和Kullback-Leibler散度，提出了完全混淆的概念.
2020-09-09 cs.CR cs.IT math.IT
Synonymous Variational Inference for Perceptual Image Compression
Beijing University of Posts and Telecommunications（北京邮电大学）；Peng Cheng Laboratory（鹏城实验室）
本文基于语义信息理论中的同义关系，提出同义变分推断（SVI）方法重新分析感知图像压缩，揭示率-失真-感知的三重权衡，并设计渐进式同义图像压缩（SIC）编解码器验证其有效性。
2025-05-28 cs.AI cs.CV cs.IT
