Algorithm Families for Computing Information-Theoretic Forms of Strong Converse Exponents in Channel Coding and Lossy Source Coding
离散无记忆信道的误差指数用两种形式表示。一个是Gallager的表达与一个积极的斜率参数和其他Csiszar和Korner的信息理论表示使用的互信息和相对熵。它们在外观上不同，现有的方法来证明他们的协议是不基本的，因为它们需要评估的KKT条件，最佳分配必须满足。类似地，强逆指数有两种类型的表达式。它们分别是具有负斜率参数的Arimoto表达式和Dueck和Korner的信息论表达式。本文的目的是澄清两种表示指数的方法之间的关系，即，表示使用斜率参数和那些使用信息理论量，从算法的角度计算指数。Arimoto的算法是基于斜率参数的表达式，而作者的算法和Tridenski和Zamir的算法是基于Dueck和Korner的信息论表达式。最近提出了一个算法族，其中包括上述两个算法的特殊情况。本文阐明了Tridenski和Zamir算法的收敛性证明了Arimoto和Dueck及Korner指数的匹配。我们讨论了另一个家庭的算法，并使用其中使用的代理目标函数，证明了两个表达式的误差指数相吻合。在此证明中不需要评估KKT条件。然后讨论了有损信源编码中错误和正确译码概率指数的计算。定义了一种新的计算信源编码强逆指数的算法族。算法族中的一个成员的收敛性意味着强逆指数的两个表达式的匹配。
2022-11-04 cs.IT math.IT
Channels with cost constraints: strong converse and dispersion
本文显示了强逆和色散的无记忆信道的成本约束，并进行精细分析的三阶项的渐近展开的最大可实现的信道编码速率，表明它是等于$\frac 1 2 \frac {\log n}{n}$在大多数情况下的利益。该分析是基于一个非渐近的逆界表示的随机变量的分布称为$\mathsf b$倾斜的信息密度，这起着类似的作用，在有损信源编码的$\mathsf d$倾斜的信息。我们还分析了有损联合信源信道编码的基本限制与成本约束的信道。
2015-10-08 cs.IT math.IT
One-Shot Information Theory via the Pairwise Error Probability: Lossy, Joint Source-Channel, Erasure, and Multiuser Coding
Tel Aviv University（特拉维夫大学）
本文扩展了基于成对错误概率的单样本信息论框架，将其应用于有损信源编码等四种场景，恢复了相关界并建立了多用户场景与可达性/逆对的关联。
2026-08-18 cs.IT math.IT
Indirect Lossy Source Coding with Observed Source Reconstruction: Nonasymptotic Bounds and Second-Order Asymptotics
本文研究仅访问一个相关信源时联合压缩并恢复两个信源的问题，推导了非渐近界与二阶渐近性，并通过EFCF情形验证了近似精度。
2024-11-05 cs.IT math.IT
Nonasymptotic noisy lossy source coding
本文对压缩器通过噪声信道观测信源的有损压缩问题给出了新的一般非渐近可压缩性和逆界，并进行了色散分析。虽然这个问题是渐近等价于一个无噪声的有损信源编码的问题与修改后的失真函数，nonasymptomatically有一个明显的差距，如何快速达到最低编码率的方法共同的率失真函数，证明了这两个改进的渐近分析（色散）和数值结果。噪声问题和渐近等价的无噪声问题的分散体之间的差距的大小取决于压缩机通过其观察源的信道的随机可变性。
2016-09-16 cs.IT math.IT
Number of Measurements in Sparse Signal Recovery
我们分析了从噪声测量中恢复稀疏信号的渐近性能。特别是，我们推广了一些现有的结果，高斯的情况下，亚高斯和其他合奏。一个可实现的结果是线性稀疏制度。还提出了在次线性状态下所需测量的数量的逆，其涵盖了许多广泛使用的测量集合。我们的逆向思想利用了压缩感知思想和信息论中复合信道之间的对应关系。
2009-04-29 cs.IT math.IT
Successive Refinement for Lossy Compression of Individual Sequences
该研究针对单个序列有损压缩的逐次细化问题，在编码器为有限状态机的限定下建立了码率区域外边界，并将思路拓展至多描述编码，提出对应可达性方案。
2025-02-24 cs.IT math.IT
Exponential Strong Converse for Successive Refinement with Causal Decoder Side Information
我们考虑了具有因果解码器边信息的$k$ -用户连续加细问题，并得到了一个指数强逆定理。该问题的率失真区域可以作为Maor和Merhav（2008）的双用户情况的直接扩展来导出。我们表明，对于具有因果解码器侧信息的$k$ -用户连续细化问题的率失真区域之外的任何率失真元组，联合过度失真概率以指数速度接近1。我们的证明如下明智地适应最近提出的强逆技术Oohama使用的信息谱方法，率失真区域的变分形式和Hölder不等式。由El Gamal和Weissman考虑的具有因果解码器侧信息的有损信源编码问题是当前问题的特殊情况（$k=1$）。因此，El Gamal和Weissman问题的指数强逆定理作为我们结果的推论。
2019-02-23 cs.IT math.IT
Single-Shot Lossy Compression for Joint Inference and Reconstruction
本文研究解码器同时完成数据重建与推理的单次有损压缩问题，将其建模为直接-间接信源编码并推导超额失真概率的上下界，还在对数损失下给出易计算的可达界。
2023-09-30 cs.IT math.IT
Strong Converses using Typical Changes of Measures and Asymptotic Markov Chains
本文提出了信源编码、信道编码和假设检验问题的指数强逆。更具体地说，它提出了替代的证据，众所周知的指数强逆界几乎无损源编码与边信息和信道编码在离散无记忆信道（DMC）。这些替代的证明是完全基于一个变化的措施参数的一套有条件或联合典型的序列，导致一个正确的决定，并在分析这些措施的渐近制度的无限blocklengths。本文还提出了一个新的指数强逆K-hop假设检验对独立性问题与某些马尔可夫链和一个强逆的两端Lround交互压缩问题的多失真约束，依赖于两个源和两个重建。后者的问题包括作为特殊情况的Wyner-Ziv问题，交互函数计算问题，和压缩与有损共同重建问题。这些新的强逆证明是使用类似的变化的测量参数如上所述，并通过额外证明，某些马尔可夫链涉及辅助随机变量持有无限块长度的渐近制度。如相关出版物中所示，相同的方法也在预期的资源约束下产生逆界。
2023-01-16 cs.IT math.IT
Sample complexity of population recovery
总体恢复问题是指基于不完整或损坏的样本估计分布。考虑一个样本量为$n$的随机调查，调查对象为一群个体，每个被调查者都被要求回答$d$二元问题。我们考虑两个轮询障碍之一：（a）在有损人口恢复中，被轮询者可能以概率$ε$跳过每个问题，（b）在噪声人口恢复中，被轮询者可能以概率$ε$躺在每个问题上。给定$n$有损或噪声样本，目标是以高概率在准确度$δ$内同时估计所有$2^d$二进制向量的概率。本文解决了总体恢复的样本复杂性问题。对于有损模型，最优样本复杂度为$\tildeΘ(δ^{-2\max\{\fracε{1-ε},1\}})$，改进了Moitra和Saks的方法：建立了样本复杂度的下界，改进了样本复杂度的上界，并且最大程度上依赖于维数的对数。令人惊讶的是，当$ε$超过$1/2$时，样本复杂度经历了从参数到非参数速率的相变。对于有噪声的总体恢复，尖锐的样本复杂度变得对维数和尺度更敏感，除了$ε=0,1/2$或$1$的平凡情况之外，作为$\exp(Θ(d^{1/3} \log^{2/3}(1/δ)))$。对于这两种模型，我们的估计量只是计算某个函数的经验均值，这是通过预先求解线性规划（LP）来找到的。奇怪的是，对偶LP可以理解为Le Cam的方法，用于下界极小极大风险，从而建立了所提出的估计量的统计最优性。LP的值由复分析方法确定。
2020-04-29 cs.IT math.IT math.ST
Strong converse for the classical capacity of optical quantum communication channels
我们建立的经典容量的光学量子信道之间的急剧过渡制度-这是一个错误的制度，通信速率低于容量，和其他的概率正确解码的经典消息收敛到零，如果通信速率超过经典容量。这一结果是通过证明所有相位不敏感玻色高斯信道的经典容量的强逆定理而获得的，玻色高斯信道是光量子通信信道的一个完善模型，例如有耗光纤，放大器和自由空间通信。该定理在特定的光子数占据约束下成立，我们在本文中详细描述了这一点。我们的研究结果支持了对这些通道的经典容量的理解，并为应用开辟了道路，例如证明具有光链路的密码学的噪声量子存储模型的安全性。
2015-02-11 cs.IT math.IT quant-ph
Detecting Correlated Gaussian Databases
本文考虑的问题，检测是否两个数据库，每个数据库由$n$用户与$d$高斯特征，是相关的。在零假设下，数据库是独立的。在备择假设下，特征在未知的行排列下跨数据库相关。一个简单的测试表明，检测是可以实现以上$ρ^2 \approx \frac{1}{d}$。相反，截断二阶矩方法用于建立检测是不可能低于大致$ρ^2 \approx \frac{1}{d\sqrt{n}}$。这些结果进行比较，相应的恢复问题，其中的目标是解码的行置换，和一个逆界大致$ρ^2 \approx 1 - n^{-4/d}$先前已示出。对于某些参数的选择，检测可重复性界限优于此恢复逆界限，表明在这种情况下检测可能比恢复更容易。
2022-06-23 cs.IT math.IT math.ST
Limits on Support Recovery with Probabilistic Models: An Information-Theoretic Framework
支持恢复问题包括确定一组变量的稀疏子集，该变量与生成一组观测值相关，并且在各种设置中出现，例如压缩感知，回归中的子集选择和组测试。在本文中，我们采取统一的方法来支持恢复问题，考虑一般的概率模型相关的稀疏数据向量的观测向量。我们研究了精确和部分支持恢复的信息理论限制，采取了一种新的方法，在信道编码阈值技术的动机。我们提供了一般的可扩展性和逆界之间的权衡的错误概率和测量的数量，我们专门这些线性，1位，和组测试模型。在几种情况下，我们的边界不仅提供了匹配的缩放定律在必要和足够的数量的测量，但也尖锐的阈值匹配常数因子。我们的方法与以前的方法相比有几个优点：对于可扩展性部分，我们在稀疏水平和其他参数的更广泛缩放下获得了尖锐的阈值（例如，信噪比）相比，以前的几个作品，和相反的部分，我们不仅提供了条件下，错误概率不消失，但也条件下，它往往是一个。
2016-08-30 cs.IT math.IT math.ST
Exponential Error Bounds for Information Bottleneck Source Coding Problems
Eindhoven University of Technology（埃因霍温理工大学）；Tokyo University of Agriculture and Technology（东京农工大学）
研究信息瓶颈源编码问题的指数误差界，分析其收敛速度及强逆否定结论，通过辅助随机变量优化建立与有帮助源编码的联系。
2026-04-20 cs.IT math.IT
Lower Bounds on Information Requirements for Causal Network Inference
针对线性高斯动态网络的因果支撑恢复问题，本文利用带边信息的似然比样本估计 ROC 曲线，给出非渐近错误概率下界，并与 Bhattacharyya 系数及 KL 散度方法比较。
2025-06-08 cs.IT math.IT
The Minimal Compression Rate for Similarity Identification
传统上，数据压缩处理简明地表示数据源（例如字母序列）的问题，以便最终再现（精确或近似）。在这项工作中，我们感兴趣的情况下，目标是回答相似性查询的压缩序列，即识别原始序列是否类似于一个给定的查询序列。我们研究的压缩率和压缩数据上执行的查询的可靠性之间的基本权衡。为了i.i.d.序列，我们表征的最小压缩率，允许查询答案，这是可靠的意义上有一个消失的假阳性概率，当假阴性是不允许的。该结果部分基于Ahlswede等人先前的工作，而内在典型子集引理在逆证明中起着关键作用。然后，我们的压缩率可实现的方案，使用有损源代码作为一个积木的特点，并表明，这样的计划是，在一般情况下，次优。最后，我们解决的问题，评估的最小压缩率，通过将问题转化为一系列的凸规划，可以有效地解决。
2013-12-07 cs.DB cs.IR cs.IT
Unlabeled Sensing with Random Linear Measurements
研究了观测值为未标记时线性传感系统的求解问题。具体地说，我们寻求一个解决方案的线性方程组y = Ax时，在向量y中的意见的顺序是未知的。重点放在其中A是具有i.i.d.的随机矩阵的设置上。条目，我们表明，如果传感矩阵A允许2或更高的过采样率，那么以概率1，可以在不知道y中的观测值的顺序的情况下精确地恢复x。此外，如果x的维度为K，则y的任何2K个条目都足以恢复x。这一结果意味着存在确定性的未标记的传感矩阵，过采样因子为2，允许完美的重建。结果是普遍的，因为对于x的所有可能的选择，恢复都是有保证的。虽然证明是建设性的，但它使用了一种不实用的组合算法，留下了复杂性的问题。我们还分析了一个嘈杂的版本的问题，并表明，本地稳定性的解决方案是有保证的。特别地，对于每个x，随着信噪比趋于无穷大，恢复误差趋于零。普遍稳定性的问题还不清楚。我们还得到了无噪声情况下结果的逆：如果y中的观测数小于2K，则以概率1，通用恢复失败，即，在概率为1的情况下，存在x的不同选择，其导致y中相同的无序观测列表。在应用方面，未标记的感测问题与在不同领域中遇到的数据关联问题有关，包括机器人技术，其中它出现在称为“同时定位与地图构建“（SLAM）的方法、多目标跟踪应用以及存在抖动的情况下的采样信号中。
2015-12-01 cs.IT math.IT math.PR
