Alternating minimization for dictionary learning: Local Convergence Guarantees
University of California Berkeley（加州大学伯克利分校）
我们提出的交替最小化算法的字典学习/稀疏编码问题的理论保证。字典学习问题是将向量样本$y^{1},y^{2},\ldots, y^{n}$分解为适当的基（字典）$A^*$和稀疏向量$x^{1*},\ldots,x^{n*}$。我们的算法是一个简单的交替最小化过程，在交替步骤中在$\ell_1$最小化和梯度下降之间切换。字典学习和特别是交替最小化算法的字典学习，以及在理论和经验研究。然而，在以前的理论分析这个问题，我们取代了一个条件上的运营商范数（即最大幅度奇异值）的真正的基础字典$A^*$与矩阵无穷范数（即最大幅度项）的条件。我们的保证是在一个合理的生成模型下，允许字典与不断增长的运营商规范，并可以处理任意级别的过完备性，同时具有稀疏性，这是理论上最优的信息。我们还建立了我们的算法的样本复杂度的上界。
2019-07-30 cs.LG stat.ML
Decoding Delay Minimization in Inter-Session Network Coding
会话内网络编码已被证明可以在可实现的吞吐量和延迟方面提供显着的增益，其中一个源向多个客户端多播数据。在本文中，我们考虑一个更一般的情况下，多个源传输数据的客户端集和研究会话间网络编码的好处，当网络节点有机会结合来自不同来源的数据包。特别是，我们提出了一个新的框架，在会话间网络编码系统的最佳速率分配。我们制定的问题，在客户端人口的平均解码延迟最小化，并解决它与基于梯度的随机算法。我们优化的会话间网络编码解决方案在不同的网络拓扑结构进行评估，并与基本的会话内网络编码解决方案进行比较。我们的研究结果表明，适当的编码决策和有效的速率分配的好处，降低解码延迟时，网络是由并发组播会话。
2012-11-05 cs.IT cs.NI math.IT
Delay Minimization in Real-time Communications with Joint Buffering and Coding
我们提出了一个封闭形式的表达式，最小的延迟，是在一个设置，结合缓冲区和擦除码，用于减轻数据包延迟方差。纠删码是根据最近的信息论结果有限块长码建模。评估表明，准确的网络参数的知识是必不可少的最佳操作。此外，它表明，当网络分组延迟方差是大的，缓冲区延迟变得可以忽略不计。因此，在这种情况下，延迟预算应该主要花费在纠删码上。
2016-10-14 cs.IT math.IT
Digital Network Coding Aided Two-way Relaying: Energy Minimization and Queue Analysis
在本文中，我们考虑一个三节点，双向中继系统与数字网络编码在静态信道中的所有链路增益被假定为常数在传输过程中。其目的是最大限度地减少总的能量消耗，同时确保在所有节点的队列稳定性，对于一个给定的一对随机数据包到达率。具体来说，我们允许一组传输模式，并解决分配给每个模式，包括多址上行链路传输模式和网络编码广播模式的资源的最佳比例。此外，对于下行链路，我们发现的条件，以确定是否叠加编码与过量的数据在更好的链路和网络编码的数据，为两个用户是能量有效的，并制定和解决相应的优化。为了解决这个网络中的队列演化，我们提出了一个详细的分析，在每个节点上的队列使用随机调度方法，非常接近的理论设计，通过一个二维马尔可夫链模型。
2012-10-26 cs.IT math.IT
On Intercept Probability Minimization under Sparse Random Linear Network Coding
本文考虑了一个网络中，一个节点希望发送一个源消息，一个合法的接收器在窃听者的存在。发射机采用随机线性网络编码（RLNC）的稀疏实现来保护其传输。一个紧密的近似窃听者恢复源消息的概率。所提出的近似适用于两种情况下发生的传输没有反馈或反馈信道的可靠性受损的窃听者干扰反馈信道。通过优化RLNC的稀疏性，最大限度地减少拦截概率的优化框架。结果验证了所提出的近似和量化的增益，我们的优化解决方案，其中使用非稀疏RLNC。
2019-03-22 cs.IT math.IT
Completion Time Minimization in Fog-RANs using D2D Communications and Rate-Aware Network Coding
被称为\textit{D2D-aided F-RAN}的设备到设备通信辅助雾无线电接入网络利用增强型远程无线电头端（eRRH）处的高速缓存和D2 D邻近度来提高系统性能。对于D2 D辅助的F-RAN，我们开发了一个框架，该框架利用eRRH处的缓存内容、它们的传输速率/功率以及不同用户先前接收的内容，以最小的完成时间将请求内容传递给用户。由于完成时间最小化问题的棘手性，我们制定它在每个传输近似的完成时间和解耦成两个子问题。在第一子问题中，我们最小化eRRH下行链路传输中的可能完成时间，而在第二子问题中，我们最大化要在D2 D链路上调度的用户的数量。我们设计了两个理论图，即\textit{interference-aware instantly decodable network coding (IA-IDNC)}和\textit{D2D conflict}图，将两个子问题分别转化为最大权团和最大独立集问题。使用这些图，我们启发式地开发联合和协调调度方法。通过大量的仿真结果，我们证明了所提出的计划对现有的基线计划的有效性。仿真结果表明，所提出的两种方法实现了相当大的性能增益方面的完成时间最小化。
2020-07-09 cs.IT math.IT
Multivariate Convolutional Sparse Coding for Electromagnetic Brain Signals
LTCI, Télécom ParisTech, Université Paris-Saclay（LTCI，巴黎高等电信学院，巴黎萨克雷大学）；INRIA, Université Paris Saclay（法国国家信息与自动化研究所，巴黎萨克雷大学）
神经活动的频率特异性模式传统上被解释为持续的节律振荡，并且与认知机制如注意、高级视觉处理或运动控制相关。虽然已知α波（8-12 Hz）非常类似于短正弦曲线，并且因此通过傅立叶分析或小波变换来揭示，但是存在一个不断发展的争论，即电磁神经信号由更复杂的波形组成，这些波形不能通过线性滤波器和传统信号表示来分析。在本文中，我们建议使用多变量卷积稀疏编码（CSC）算法来学习这些记录的专用表示。应用于脑电图（EEG）或脑磁图（MEG）数据，该方法不仅能够学习典型的时间波形，而且还能够学习相关的空间模式，因此可以在大脑中定位它们的起源。我们的算法是基于交替最小化和贪婪的坐标下降求解器，导致国家的最先进的运行时间长的时间序列。为了证明这种方法的影响，我们将其应用于MEG数据，并表明它能够恢复生物文物。更值得注意的是，我们的方法还揭示了非正弦μ形模式的存在，以及它们与躯体感觉皮层相关的地形图。
2018-05-26 cs.LG eess.SP stat.ML
Low-rank Matrix Completion using Alternating Minimization
Microsoft Research India（微软印度研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
交替最小化代表了一种广泛适用且经验上成功的方法，用于找到最适合给定数据的低秩矩阵。例如，对于低秩矩阵完成问题，这种方法被认为是最准确和最有效的方法之一，并成为Netflix挑战赛获奖作品的主要组成部分。在交替最小化方法中，低秩目标矩阵被写成双线性形式，即$X = UV^†$ ;然后算法在寻找最佳$U$和最佳$V$之间交替。通常，孤立的每个交替步骤是凸的和易处理的。然而，整个问题变得非凸，几乎没有理论上的理解，当这种方法产生一个很好的结果。在本文中，我们提出了第一个理论分析的交替最小化矩阵完成的性能，以及相关的矩阵检测问题。对于这两个问题，著名的最近的结果表明，他们成为适定性和易于处理的，一旦某些（现在的标准）条件施加在问题上。我们表明，交替最小化也成功在类似的条件下。此外，与现有的结果相比，我们的论文表明，交替最小化保证更快（特别是几何）收敛到真正的矩阵，同时允许一个更简单的分析。
2012-12-03 cs.LG math.OC stat.ML
Precoding for Outage Probability Minimization on Block Fading Channels
中断概率极限是受衰落影响的编码通信系统的字出错率的基本且可实现的下限。该限制主要由两个参数决定：分集阶数和编码增益。利用线性预编码，在块衰落信道中无需纠错码就可以实现全分集。然而，预编码对编码增益的影响并不是很清楚，主要是由于中断概率的复杂表达式。使用几何方法，本文建立了简单的中断概率上界，最小化产生的预编码矩阵，实现非常好的性能。对于离散的字母表，它示出的星座扩展和预编码的组合是足够接近的最小可能的中断实现的i.i.d.高斯输入分布，从而基本上最大化编码增益。
2012-10-04 cs.IT math.IT
Low-complexity 8-point DCT Approximation Based on Angle Similarity for Image and Video Coding
本研究针对PCA在高约束场景下的应用局限，提出基于角度相似性最小化的低复杂度8点DCT近似方法，所得正交变换矩阵复杂度低、编码性能优，在特定压缩比下图像编码效果优于精确DCT，并完成了FPGA原型实现。
2024-01-30 cs.MM eess.IV eess.SP
Delay Minimization for Instantly Decodable Network Coding in Persistent Channels with Feedback Intermittence
本文研究了在具有反馈重复性的持续前向和反馈删除信道上，最小化广义即时可解码网络编码（G-IDNC）的组播解码延迟问题。在这样的环境中，发送方并不总是在每次传输之后从接收方接收确认。此外，前向和反馈信道都受到持续擦除的影响，这可以通过称为Gilbert-Elliott信道（GEC）的两个状态（好状态和坏状态）马尔可夫链来建模。由于这样的反馈缺陷，发送器不能确定所有接收器的后续即时可解码分组组合。鉴于这种苛刻的信道和反馈模型，我们首先推导出解码延迟增量的概率分布的表达式，然后采用这些表达式在制定最小解码问题，在这样的环境中作为一个最大的重量集团问题的G-IDNC图。我们还表明，在更简单的通道和反馈模型的问题配方是我们的广义配方的特殊情况。由于这个问题是NP-难的，我们设计了一个贪心算法来解决它，并比较它的盲目的方法在文献中提出。通过大量的仿真，我们的自适应算法被证明在所有情况下都优于盲方法，并在解码延迟方面取得了显着的改善，特别是当信道高度持续时
2014-07-08 cs.IT math.IT
QoS Guaranteed Energy Minimization Over Two-Way Relaying Networks
在这项工作中，我们考虑一个典型的三节点，双向中继网络（TWRN）在衰落信道。其目的是从长远来看，最大限度地减少整个系统的能量使用TWRN，同时满足两个源节点之间所需的平均对称交换率。为此，分析了物理层网络编码（PNC）和基于叠加编码的数字网络编码（SPC-DNC）的能量使用。然后通过比较得出了两种策略的选择规则。基于所观察到的规则，我们然后设计了一个方案，通过PNC和SPC-DNC之间切换的每个通道实现。通过PNC/DNC切换以及针对每个信道实现的上行链路和下行链路上的功率分配来制定相关的优化问题，并经由迭代算法来求解。理论分析和仿真结果表明，该切换方案优于单独使用PNC或SPC-DNC的方案。
2016-11-16 cs.IT math.IT
Complexity of Unconstrained L_2-L_p Minimization
我们考虑无约束的$L_2$极小化问题：对于给定的$A \in R^{m\times n}$，$b\in R^m$和参数$λ>0$，$p\in [0,1)$，找到$\|Ax-b\|^2_2+λ\|x\|^p_p$的极小化元.这个问题在高维数据的变量选择和稀疏最小二乘拟合中得到了广泛的研究。理论结果表明，由于正则化函数$\|\cdot\|^p_p$的非Lipschitz性质，$L_2$-$L_p$问题的极小元具有各种吸引人的特征.本文证明了$L_p$极小化问题对任何$p\in [0,1)$和$q\ge 1$都是强NP-困难的，包括它的光滑形式.另一方面，我们表明，通过仔细选择参数$(p,λ)$，极小，全球或本地，将有一定的期望稀疏。我们相信这些结果为凹正则优化问题的研究和应用提供了新的理论依据。
2011-05-03 cs.CC stat.CO
Matrix Coherency Graph: A Tool for Improving Sparse Coding Performance
精确恢复的稀疏解的欠定线性方程组意味着充分搜索字典的所有可能的子集，这是计算上难以处理的，而l1最小化将做的工作时，一个限制等距属性的字典。然而，实际的稀疏恢复算法可能无法恢复系数的向量，即使字典偏离RIP只有轻微的。为了在更广泛的意义上享受l1最小化保证，提出了一种基于全搜索和l1最小化相结合的方法。这个想法是基于划分字典的原子，在某种意义上是良好的条件和那些是病态的。受此启发，本文提出了一种基于字典结构的抽取工具--矩阵相干图。该工具可用于减少稀疏编码算法的贪婪性，使恢复更可靠。我们对IRLS算法进行了改进，仿真结果表明，改进后的算法性能明显优于原算法。
2014-11-30 cs.IT math.IT
Distortion Minimization in Gaussian Layered Broadcast Coding with Successive Refinement
没有信道状态信息（CSI）的发射机希望在慢衰落信道上发送时延受限的高斯信源。源代码是在叠加层中编码的，每一层都连续地细化前一层中的描述。接收器解码由信道实现支持的层，并重建源直到失真。通过在源层之间最优地分配发射功率来最小化预期失真。对于两个源层，分配是最佳的，当功率首先分配给较高层的功率上限，仅取决于信道衰落分布，所有剩余的功率，如果有的话，分配给较低层。对于具有凸约束的凸失真代价函数，最小化问题被表述为凸优化问题。在无限层的连续体的极限中，最小期望失真由根据衰落分布的密度的一组线性微分方程的解给出。当带宽比b（每个源符号的信道使用）趋于零时，使预期失真最小化的功率分布收敛到使预期容量最大化的功率分布。虽然可以通过在发射机处获取CSI（CSIT）或通过从独立衰落路径的实现中增加分集来改善预期失真，但是在高SNR下，来自分集的性能益处超过来自CSIT的性能益处，特别是当b较大时。
2009-06-17 cs.IT math.IT
Completion Delay Minimization for Instantly Decodable Network Codes
在本文中，我们考虑的问题，最小化的完成延迟即时解码网络编码（IDNC），在无线多播和广播的情况下。我们感兴趣的是这类网络编码，由于其众多的好处，如低解码延迟，低编码和解码的复杂性和简单的接收机要求。我们首先扩展的IDNC图，它代表了所有可行的IDNC编码的机会，有效地在多播和广播的情况下操作。然后，我们制定的最小完工延迟问题的IDNC作为一个随机最短路径（SSP）的问题。虽然使用SSP找到最优策略是棘手的，我们使用这个公式得出的理论指导方针的政策，可以有效地减少在IDNC的完成延迟。在此基础上，我们设计了一个最大权团选择算法，该算法可以有效地减少IDNC的完成延迟在多项式时间内。我们还设计了一个二次时间启发式团选择算法，它可以在实时应用中操作。仿真结果表明，与随机算法和最大速率算法相比，本文提出的算法有效地降低了IDNC的完成延迟，在广播场景下，几乎达到了所有网络编码的全局最优完成延迟性能。
2012-01-23 cs.IT cs.NI math.IT
A Linear Network Code Construction for General Integer Connections Based on the Constraint Satisfaction Problem
在容量受限的网络中，寻找一般连接的网络代码是一个固有的困难问题。利用网络编码的一般连接的资源最小化进一步复杂化。现有的解决方案识别方法主要依赖于高度受限的网络代码类，并且几乎都是集中式的。在本文中，我们引入线性网络混合系数的代码建设的一般连接，推广随机线性网络编码（RLNC）的组播连接。对于这样的代码建设，我们提出的问题，成本最小化的子图中涉及的编码解决方案，并将此最小化的路径为基础的约束满足问题（CSP）和基于边的CSP。在CSP一般是NP完全问题的情况下，本文利用通信自由学习（CFL）方法，提出了一种基于路径的概率分布式算法和一种基于边的概率分布式算法，该算法在有限时间内几乎必然收敛。我们的方法允许相当一般的编码流，保证不超过路由的成本，并显示了一个可能的分布式实现。数值结果表明，我们的方法比现有的方法的性能改善。
2016-07-02 cs.IT math.IT
Joint Power Minimization Over Multi-Carrier Two-Way Relay Networks
该研究考虑了一个三节点，双向中继网络（TWRN）在多载波系统，旨在最大限度地减少所有的发送和接收活动的总功耗。通过采用数字网络编码（DNC）和物理层网络编码（PNC），以及一种新的混合PNC/DNC切换方案，首先分析了所考虑的多载波TWRN系统的总发射功率，然后利用推导出的解析表达式来求解一组非凸优化问题.我们将展示如何将这些非凸函数凸化以获得更好的计算跟踪性。在数值结果中观察到，PNC方案通常比DNC消耗更少的功率，但在非常低的SNR区域变得更差。建议的混合PNC/DNC切换方案，利用这两个，在所有的SNR制度优于。
2017-09-02 cs.IT math.IT
A new compressive video sensing framework for mobile broadcast
Rice University（莱斯大学）
提出了一种新的基于压缩采样的视频编码方法。在该方法中，使用对视频立方体的压缩测量来编码视频。视频重建是通过最小化沿时间方向的像素级DCT系数的总变差（TV）来执行的。TVAL 3是一种基于交替最小化和增广拉格朗日方法的有效TV最小化算法，本文在此基础上提出了一种新的重建算法。该方法的视频编码具有固有的可伸缩性，并在移动广播中有应用。
2013-02-08 cs.CV cs.IT cs.MM
Energy Minimization for the Half-Duplex Relay Channel with Decode-Forward Relaying
我们分析了在中继信道中的能量效率编码在一个固定的源速率。首先，我们提出了一个半双工解码前向编码方案的高斯中继信道。然后，我们推导出三个最优的功率分配，分别最小化网络，中继和源的能量消耗。这些最优功率分配是以封闭形式给出的，到目前为止，这对于最大速率方案来说仍然是隐式的。此外，分析表明，在给定的速率下最小化网络能量消耗并不等同于在给定能量的情况下最大化速率，因为它只覆盖解码转发可实现的所有速率的一部分。因此，我们将网络和中继能量消耗的优化方案组合成一个广义的方案，然后覆盖所有可实现的速率。这种广义的计划不仅是能量最优的所需的源速率，但也速率最优的消耗的能量。结果还给出了详细的了解的功耗制度，并允许一个全面的描述的最佳消息编码和资源分配为每个所需的源速率和信道实现。最后，我们在一个现实的环境中模拟所提出的方案，考虑路径损耗和阴影建模的3GPP标准。通过直接传输和两跳传输，可以获得显著的能量增益，特别是当源远离中继站和目的地时。
2013-03-19 cs.IT math.IT
Exact Random Coding Exponents and Universal Decoders for the Asymmetric Broadcast Channel
这项工作包含两个主要贡献有关的非对称广播信道。第一个是两个用户的精确随机编码误差指数的分析，第二个是通用解码器的推导。这些通用解码器是最大互信息（MMI）通用解码器的某些变体，其实现了最优解码的相应随机编码指数。此外，我们引入了一些下界，这涉及到非常少的参数优化，不像原来的，确切的指数，这涉及到辅助概率分布的最小化。二进制对称广播信道的数值结果表明，改进了以前推导出的误差指数相同的模型。
2017-02-26 cs.IT math.IT
Orthonormal Matrix Codebook Design for Adaptive Transform Coding
该研究提出一种基于分块平稳模型、结合块坐标下降与Stiefel流形映射的正交变换矩阵码本设计算法，可高效求解带正交约束的优化问题，在H265帧间预测残差上的实验验证了其优于标准DCT非自适应编码。
2022-02-24 cs.IT math.IT
Information Theoretic Bounds for Tensor Rank Minimization over Finite Fields
本文研究了一组随机线性测量的无噪声和有噪声低秩张量完备化问题。在我们的推导中，我们假设张量的条目属于任意大小的有限域，并且重建基于秩最小化框架。导出的结果表明，精确重建所需的最小测量数的上界由一个三次张量的秩，阶和维数的乘积。此外，这个条件也是唯一极小化的充分条件。类似的界限适用于噪声秩最小化场景，除了取决于信道错误概率的缩放函数。
2011-04-03 cs.IT math.IT
Abelian Group Codes for Source Coding and Channel Coding
本文研究了任意离散（有限字母表）无记忆信源的有损信源编码问题以及任意离散（有限字母表）无记忆信道的信道编码问题的阿贝尔群码的渐近性能。对于信源编码问题，我们推导出一个可实现的率失真函数，其特征在于在一个单字母的信息理论的形式使用阿贝尔群码的合奏。当底层群是场时，它简化为对称率失真函数。同样，对于信道编码问题，我们发现了一个可实现的速率，其特征在于在一个单字母的信息理论的形式使用组码。当底层组是字段时，这简化为通道的对称容量。我们计算率失真函数和可实现的速率为几个例子的来源和渠道。由于所考虑的源和通道的非对称性，我们的分析使用了信息论和群论工具的协同作用。
2013-05-07 cs.IT math.IT
A New Random Coding Technique that Generalizes Superposition Coding and Binning
无反馈或无协作网络的容量证明通常涉及两种基本的随机编码技术：叠加编码和合并。虽然在概念上非常不同，但这两种技术通常实现相同的性能，这表明了潜在的相似性。在这封信中，我们提出了一种新的随机编码技术，概括叠加编码和分仓，并提供了新的见解之间的关系。通过这种新的理论工具，我们得出新的可实现的区域三个经典的信息理论模型：多址信道，广播信道，干扰信道，并显示，不幸的是，它并没有改善这些情况下的最大已知的可实现的区域。
2012-02-07 cs.IT math.IT
Graph-Theoretic Approaches to Two-Sender Index Coding
考虑无噪声信道上的通信场景，其中发送方需要向多个接收方广播消息，每个接收方具有关于某些消息的边信息。在这种情况下，发送方可以在消息编码期间利用接收方的辅助信息，以减少所需的传输。这种类型的编码称为索引编码。在本文中，我们研究了索引编码与两个合作的搜索引擎，每一个与一些子集的消息，和多个接收器，每个请求一个唯一的消息。这种设置中的索引编码称为双发送方单播索引编码（TSUIC）。TSUIC的主要目标是最大限度地减少两个基站所需的传输总数。基于图论的方法，我们证明了TSUIC是等价的单发送端单播索引编码（SSUIC）的一些特殊情况。此外，我们扩展了现有的计划SSUIC，即，循环覆盖方案、循环覆盖方案和局部色方案到TSUIC的相应方案。
2016-09-28 cs.IT math.IT
Optimized learned entropy coding parameters for practical neural-based image and video compression
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
当权重和激活被量化为低精度整数时，基于神经的图像和视频编解码器的功率效率显著提高。虽然存在用于减少量化效应的通用技术，但是当不考虑特定熵编码属性时可能发生大的损失。本文分析了参数量化对熵编码的影响，并提出了一种减小熵编码损失的方法。它示出，通过使用某种类型的编码参数学习，均匀量化成为实际上最佳的，也简化了代码存储器的要求最小化。文中给出了新表示的数学性质，并通过编码实验证明了其有效性，结果表明，在每个网络输出的精度低至4~bits时，可以获得良好的结果，而在8~bits时几乎没有损失。
2023-01-20 cs.IT cs.LG cs.MM
Algorithm Families for Computing Information-Theoretic Forms of Strong Converse Exponents in Channel Coding and Lossy Source Coding
离散无记忆信道的误差指数用两种形式表示。一个是Gallager的表达与一个积极的斜率参数和其他Csiszar和Korner的信息理论表示使用的互信息和相对熵。它们在外观上不同，现有的方法来证明他们的协议是不基本的，因为它们需要评估的KKT条件，最佳分配必须满足。类似地，强逆指数有两种类型的表达式。它们分别是具有负斜率参数的Arimoto表达式和Dueck和Korner的信息论表达式。本文的目的是澄清两种表示指数的方法之间的关系，即，表示使用斜率参数和那些使用信息理论量，从算法的角度计算指数。Arimoto的算法是基于斜率参数的表达式，而作者的算法和Tridenski和Zamir的算法是基于Dueck和Korner的信息论表达式。最近提出了一个算法族，其中包括上述两个算法的特殊情况。本文阐明了Tridenski和Zamir算法的收敛性证明了Arimoto和Dueck及Korner指数的匹配。我们讨论了另一个家庭的算法，并使用其中使用的代理目标函数，证明了两个表达式的误差指数相吻合。在此证明中不需要评估KKT条件。然后讨论了有损信源编码中错误和正确译码概率指数的计算。定义了一种新的计算信源编码强逆指数的算法族。算法族中的一个成员的收敛性意味着强逆指数的两个表达式的匹配。
2022-11-04 cs.IT math.IT
Polar Coding for the General Wiretap Channel
窃听信道的信息理论工作主要是基于随机编码方案。设计实用的编码方案以实现信息论安全是一个重要的问题。通过应用最近发展的两种极化码技术，我们提出了一种极化编码方案，以实现一般窃听信道的保密容量。
2014-10-14 cs.CR cs.IT math.IT
Graph Theory versus Minimum Rank for Index Coding
我们获得了新的索引编码方案，并证明了它们的性能优于迄今为止提出的所有已知的图论界。进一步，我们建立了一个相当强的否定结果：所有已知的图论界都在色数的对数因子之内。这与minrank形成了鲜明的对比，因为先前的工作表明，在某些情况下，它可以通过多项式因子超过色数。结论是所有已知的图论界都不比色数强多少。
2014-02-17 cs.IT math.IT
Rank-Modulation Rewrite Coding for Flash Memories
当前的闪存技术集中于其静态存储容量的成本最小化。然而，所得到的方法支持相对小数量的编程-擦除周期。该技术对于消费者设备（例如，智能手机和照相机），其中编程擦除周期的数量很小。但是，对于需要大量生命周期写入的企业存储系统来说，这并不经济。本文提出的方法，用于缓解这个问题包括两个关键思想的有效整合：（i）提高可靠性和耐久性表示的信息使用相对值通过秩调制方案和（ii）增加整体（寿命）容量的闪存设备通过重写代码，即，擦除前每个单元执行多次写入。本文提出了一种新的编码方案，结合秩调制和重写。新方案的主要优点包括：（i）每次写入时每个单元存储接近2位的能力，对存储器的寿命影响最小，以及（ii）利用最近提出的容量实现一次写入存储器（WOM）代码的高效编码和解码算法。
2014-12-31 cs.IT math.IT
Linear Network Error Correction Coding: A Revisit
我们考虑线性网络纠错（LNEC）编码时，可能会发生错误的通信网络的拓扑结构是已知的边缘。在本文中，我们首先回顾和探索的LNEC编码的框架，然后统一两个著名的LNEC编码方法。此外，通过开发LNEC编码框架的图论方法，我们从汇聚节点的最小距离方面获得了对LNEC码纠错能力的显着增强的表征。在LNEC编码中，LNEC码，特别是LNEC最大距离可分离（MDS）码（其是一类最重要的最优码）存在所需的最小字段大小是一个不仅具有理论兴趣而且具有实际重要性的公开问题，因为它在计算复杂性和存储要求方面与编码方案的实现密切相关。通过应用图论方法，我们得到了一个改进的上界的最小所需的字段大小。总体而言，与现有结果相比，改进是显着的。改进后的上界是图论的，只依赖于网络拓扑结构和纠错能力的要求，而不依赖于特定的码结构。然而，这个界限没有以明确的形式给出。因此，我们开发了一个有效的算法，可以计算的界限在线性时间。在发展的上限和有效的算法计算这个界限，各种图论的概念。这些概念似乎是图论中的根本利益，他们可能有进一步的应用在图论和超越。
2021-03-15 cs.IT math.IT
A Coding-Theoretic Application of Baranyai's Theorem
Baranyai定理是超图理论中的一个著名定理。该定理的推论是，可以将$n$ -元素集的所有$u$ -子集的族划分为${n-1\choose u-1}$子族，使得每个子族形成$n$ -元素集的划分，其中$n$可被$u$整除.在本文中，我们提出了一个编码理论的应用Baranyai的定理（或等价的推论）。更准确地说，我们提出了第一个纯组合建设的局部可解码的代码。局部可解码码是允许通过仅查看码字的几个比特来恢复任何消息比特的纠错码。近年来，此类守则引起了广泛关注。我们强调，我们的建设并没有改善已知的结构的参数。令人感兴趣的是潜在的组合技术及其在未来应用中的潜力。
2013-03-01 cs.IT math.IT
Constructive Approaches to Perception-Aware Lossy Source Coding: Information-Theoretic Guidelines
McMaster University（麦克马斯特大学）；Texas A&M University（德克萨斯农工大学）；University of Michigan（密歇根大学）
本文探讨了基于信息论原理的构造性方法，用于开发感知-aware的有损源编码，通过率-失真-感知理论指导设计可实现的编码方案，并通过实例说明关键概念和权衡。
2026-04-21 cs.IT math.IT
A coding theoretic study of homogeneous Markovian predictive games
本文研究齐次马尔可夫预测博弈，利用通用编码方案构建投注策略证明博弈论大数定律，并将结果应用于西拉德热力学思维实验。
2025-02-04 cs.GT cs.IT math.IT
A Non-Probabilistic Game-Theoretic Information Theory Which Subsumes Probabilistic Channel Coding
The Chinese University of Hong Kong（香港中文大学）
本文提出基于博弈论和动态对冲的非概率信息论，统一了概率信道编码和无损信源编码及对抗性信道。
2026-07-28 cs.GT cs.IT math.IT
Inter-Session Network Coding with Strategic Users: A Game-Theoretic Analysis of Network Coding
在现有的网络编码文献中，一个常见的假设是用户是合作和非自私的。然而，这一假设在实践中可能会被违反。在本文中，我们分析了会话间网络编码在有线网络中使用博弈论。我们假设自私的用户采取战略行动，以最大限度地提高自己的效用，导致用户之间的资源分配游戏。特别是，我们研究了著名的蝴蝶网络拓扑结构中的瓶颈链路共享的几个网络编码和路由流。我们证明了广泛的效用函数的纳什均衡的存在。我们表明，纳什均衡的数量可以很大（甚至无限）的系统参数的某些选择。这与传统分组转发的类似游戏设置形成鲜明对比，在传统分组转发中，纳什均衡总是唯一的。然后，我们描述了最坏情况下的效率界限，即，无政府状态价格（PoA），与最优合作网络设计相比。我们表明，通过使用一种新的歧视性定价方案，收费编码和转发的数据包不同，我们可以提高PoA。然而，无论使用何种歧视性定价方案，PoA仍然比不使用网络编码的情况更差。这意味着，虽然会话间网络编码可以提高性能相比，普通路由，它是显着更敏感的用户的策略行为。例如，在蝶形网络中，边链路的成本为零，效率可以低至25%。如果侧链的成本不为零，则效率可以进一步降低到只有20%。这些结果推广了众所周知的结果，保证67%的最坏情况下的效率为传统的数据包转发网络。
2009-04-19 cs.IT math.IT
Multi-Version Coding - An Information Theoretic Perspective of Consistent Distributed Storage
在分布式存储系统到分布式计算的应用和键值存储的实现中，以下属性（通常在计算机科学和工程中被称为一致性）是重要的要求：随着存储的数据改变，数据的最新版本必须可由连接到存储系统的客户端访问。为了研究一致性分布式存储系统的存储代价，本文引入了一种信息论的多版本编码方法。多版本编码的特征在于消息的ν个全序版本和具有n个服务器的存储系统。在每个服务器处，接收并编码对应于v个版本的任意子集的值。对于存储系统中的c服务器的任何子集，与c服务器中的最新公共版本或根据总排序的更高版本相对应的值需要是可解码的。通过线性编码和一个相反的结果，表明该结构是近似紧的，提供了一个可实现的多版本码的结构。相反的含义是，在存储成本方面，为了确保分布式存储系统的一致性，存在不可避免的代价。
2015-10-19 cs.IT math.IT
Information-Theoretic Caching: Sequential Coding for Computing
在缓存的范例下，部分数据在用户的实际请求被知道之前被传递。本文将该问题建模为带边信息的规范分布式信源编码问题，边信息代表用户的请求。对于单用户情况，建立了最优速率区域的单字母特征，对于几种重要的特殊情况，给出了封闭形式的解，包括用户请求均匀分布的情况.在这种情况下，它表明，最佳的缓存策略是密切相关的总相关性和Wyner的共同信息。使用从单用户的情况下获得的洞察力，三个两个用户的情况下承认单字母的特征，其中绘制连接到现有的信源编码的文献中的问题：灰色-Wyner系统和分布式连续细化。最后，Maddah-Ali和Niesen研究的模型被改写，以与所考虑的信息理论模型进行比较。虽然这两种缓存模型在单用户情况下具有类似的行为，但通过两个用户的示例显示，这两种缓存模型的行为通常不同。
2016-02-27 cs.IT math.IT
Distributed Space-Time Coding Based on Adjustable Code Matrices for Cooperative MIMO Relaying Systems
提出了一种适用于两跳协作MIMO网络的自适应分布式空时编码（DSTC）方案。线性最小均方误差（MMSE）接收滤波器和可调码矩阵被认为是受功率约束的放大转发（AF）合作策略。在所提出的自适应DSTC方案中，在中继节点处利用反馈信道获得的可调编码矩阵对空时编码矩阵进行变换。有限反馈和反馈误差的影响进行了评估。设计了线性MMSE表达式来计算可调码矩阵和线性接收滤波器的参数。随机梯度（SG）和最小二乘（LS）算法也降低了计算复杂性。上界的成对错误概率分析推导出，并表明在中继节点采用可调码矩阵的优势。另一种自适应DSTC方案的优化算法也得自，以消除对反馈的需要。该算法以最小化错误概率为目标，在中继节点上实现了一种全分布式的自适应DSTC。仿真结果表明，所提出的算法获得显着的性能增益相比，现有的DSTC计划。
2013-04-06 cs.IT math.IT
Alphabet Size Reduction for Secure Network Coding: A Graph Theoretic Approach
我们考虑一个通信网络中存在窃听器谁可以访问一个子集的通道，称为窃听集，这是从一个给定的收集窃听集选择。窃听集的收集可以是任意的。安全网络编码是为了防止源信息泄露给窃听者。在安全网络编码中，所需的字母表大小是一个开放的问题，不仅在理论上的兴趣，而且具有实际意义，因为它是密切相关的实施，这种编码方案的计算复杂性和存储要求。在本文中，我们开发了一个系统的图论方法，提高蔡和杨的下界所需的字母表大小的存在安全的网络代码。由此得到的新的下界，它只依赖于网络拓扑结构和收集的窃听集，可以显着小于蔡和杨的下界。一个多项式时间算法设计的新的下界的有效计算。
2016-11-28 cs.DM cs.IT math.CO
A Lagrange-Dual Lower Bound to the Error Exponent Function of the Typical Random Code
一个拉格朗日对偶（Gallager风格）下界推导出的典型随机码（TRC）的误差指数函数有关的i.i.d.随机编码集合和失配随机似然解码。而原来的表达式，来自类型的方法（Csiszar风格的表达式）涉及最小化定义的信道输入输出字母的概率分布，新的拉格朗日对偶公式涉及优化的五个参数，独立的字母大小。对于随机和确定性失配解码（包括最大似然解码作为一种特殊情况），我们提供了一个相当全面的讨论这个公式的各种成分背后的洞察力，并描述其行为如何变化的编码率用尽相关的范围。除其他外，它表明，该表达式同时概括了删除的错误指数函数（在零速率）和经典的随机编码指数函数在高速率，它也满足球-包装界。
2019-08-12 cs.IT math.IT
A Coding Theoretic Approach for Evaluating Accumulate Distribution on Minimum Cut Capacity of Weighted Random Graphs
有向网络的多播容量与$s$ - $t$最大流密切相关，由于最大流最小割定理，该最大流等于$s$ - $t$最小割容量。如果网络的拓扑结构（或链路容量）是动态变化的或具有随机性，那么预测最大流的统计特性就不是那么简单了。本文提出了一种计算加权随机图最小割容量的累积分布的编码理论方法。我们的方法的主要特点是利用一个图的割空间和一个二进制LDGM（低密度生成矩阵）代码与列重2之间的对应关系。本文所处理的图系综是Erdens-Rényi随机图系综的一个加权版本。本文的主要贡献是给出了最小割容量累积分布的一个组合下界。从计算机实验中可以看出，本文导出的下限反映了最小割集容量的实际统计特性。
2012-02-04 cs.IT math.IT
Universal Hashing for Information Theoretic Security
信息理论的安全方法需要利用自然界中存在的相关随机性来建立安全性。它使用信息论和编码工具，即使面对具有无限计算能力的对手，也能产生可证明的安全性。然而，这一方法在实践中的可行性取决于制定有效实施的计划。在这篇文章中，我们回顾了一类特殊的实用计划的信息理论安全，是基于2-泛散列族。秘密密钥协议和窃听编码的具体情况下被认为是，并确定一般的主题。窃听编码的方案是模块化的，可以很容易地实现，包括一个额外的预处理层在现有的传输代码。
2016-03-22 cs.IT math.IT
Coding-Theoretic Methods for Sparse Recovery
我们回顾了编码理论对象和稀疏学习问题之间的联系。特别是，我们展示了如何看似不同的组合对象，如纠错码，组合设计，球形码，压缩传感矩阵和组测试设计可以从彼此获得。减少使一个翻译的上限和下限的参数可达到的一个对象到另一个。我们调查了一些众所周知的减少在一个统一的介绍，并提请注意一些现有的差距。还介绍了新的减少，特别是，我们提出了最小的“L-明智的距离”的代码的概念，并表明这一概念密切捕捉RIP-2矩阵的组合结构。此外，我们展示了如何这种较弱的变化的最小距离是相关的组合列表解码性能的代码。
2012-02-09 cs.DM cs.IT math.IT
Uplink Multiuser Massive MIMO Systems with Low-Resolution ADCs: A Coding-Theoretic Approach
该文研究了一种采用低分辨率模数转换器（ADC）的上行链路多用户大规模多输入多输出（MIMO）系统，其中K个单天线用户与Nr个单天线基站（BS）通信。在这个系统中，我们提出了一个新的多用户MIMO检测框架，启发编码理论。所提出的框架的关键思想是在空间域上创建长度为2Nr的代码C。该代码由所谓的自动编码功能构成，该功能不可设计，但完全由ADC的通道变换和量化功能描述。从这个角度来看，我们转换成一个等效的信道编码问题，其中对应于用户的消息的码字C发送在2Nr个并行信道，每个具有不同的信道可靠性的多用户MIMO检测问题。对于由此产生的问题，我们提出了一种新的加权最小距离解码（wMDD），适当地利用不平等的信道可靠性。结果表明，建议的wMDD产生一个非平凡的增益超过传统的最小距离解码（MDD）。从编码理论的角度，我们发现，误码率（BER）指数下降的最小距离的代码C，这起着类似的作用，在传统的MIMO系统中的条件数。此外，我们开发的通信方法，使用的wMDD的实际情况下，BS没有知识的信道状态信息。最后，数值结果验证了所提出的方法的优越性。
2017-04-11 cs.IT math.IT
Network Coding in a Multicast Switch
研究了纵横交换机中组播流的服务问题。流内线性网络编码被示出实现比没有编码的情况下更大的速率区域。一个交通模式，这是实现编码，但需要一个开关加速时，编码是不允许的。编码的速率区域可以以简单的图论方式表征，根据“增强冲突图”的稳定集多面体。没有这样的图论表征是已知的扇出分裂的情况下，没有编码。编码实现100%吞吐量所需的最小加速比被证明是上界的增强冲突图的不完美率。当应用于仅具有单播和广播的KxN交换机时，这给出了关于加速的min{（2K-1）/K，2N/（N+1）}的界限。这表明，通常在硬件中实现的加速通常可以由可以在软件中完成的网络编码代替。计算离线时间表（使用流量的先验知识）减少到分数加权图着色。一个图论的在线调度算法（只使用队列占用信息）也提出了，稳定的速率区域内的所有速率的队列。
2008-10-09 cs.IT cs.NI math.IT
Covert Multi-bit LLM Watermarking: An Information Theory and Coding Approach
Georgia Institute of Technology（佐治亚理工学院）
本文提出基于信息论和编码的多比特大语言模型隐写方法，通过块自回归模型和极码算法实现高效隐写，实验显示在短词长下误码率低于10%。
2026-09-03 cs.IT math.IT
Information-Theoretic Bounds and Approximations in Neural Population Coding
Johns Hopkins University School of Medicine（约翰·霍普金斯大学医学院）；China Electronics Technology Group Corporation（中国电子科技集团公司）
虽然香农互信息在许多学科中有着广泛的应用，但在实际应用中，由于维数灾难的存在，高维变量的互信息往往很难精确计算。本文主要研究神经种群编码中互信息的有效近似估计方法。对于大但有限的神经种群，我们推导出几个信息理论的渐近界和近似公式，在高维空间中仍然有效。我们证明，优化人口密度分布的基础上，这些近似公式是一个凸优化问题，允许有效的数值解。数值模拟结果表明，我们的渐近公式是高度准确的近似互信息的大神经种群。在特殊情况下，近似公式恰好等于真实的互信息。我们还讨论了变量变换和降维技术，以方便计算的近似。
2017-11-07 cs.IT cs.LG math.IT
Coding Theoretic Construction of Quantum Ramp Secret Sharing
我们从一对嵌套的线性码构造了一个量子斜坡秘密共享方案。利用嵌套线性码的组合性质，给出了合格集和禁止集的充要条件。给出了量子秘密共享的代数几何构造。
2014-12-20 cs.IT math.AG math.CO
Information Leakage in Zero-Error Source Coding: A Graph-Theoretic Perspective
研究了零差错信源编码中对猜测对手的信息泄漏问题。信源编码问题是由一个混淆图来定义的，该图描述了信源符号之间的可混淆性。信息泄漏是衡量的比率的对手的成功猜测概率窃听前和窃听后的码字，最大化所有可能的源分布。在基本对抗模型下，对手进行单一猜测并且不允许其估计量与真实序列之间的失真，这种测量在文献中被称为最大最小熵泄漏或最大泄漏。我们开发了一个单字母的基本对抗模型下的最佳归一化泄漏的表征，以及最佳实现标量随机映射方案。一个有趣的观察是，最佳归一化泄漏等于固定长度源代码的最佳压缩率，这两者可以通过一些确定性编码方案同时实现。然后，我们将泄漏测量扩展到广义对抗模型，其中对手进行多次猜测，并允许一定程度的失真，我们推导出单字母的下限和上限。
2021-02-03 cs.CR cs.IT math.IT
Adaptive Coding and Channel Shaping Through Reconfigurable Intelligent Surfaces: An Information-Theoretic Analysis
研究了一种由可重构智能表面（RIS）辅助的通信链路，其中发射机可以通过有限速率控制链路来控制RIS的状态。信道状态信息（CSI）在接收机处基于导频辅助信道估计来获取，并且其可以与发射机共享或不共享。考虑准静态衰落信道与不完善的CSI，实现能力的信令示出实现联合编码的发送信号和响应的RIS。这证明了基于RIS的调制或“单RF MIMO”系统的信息理论最优性。此外，提出了一种新的信令策略，基于单独的分层编码，使实际的连续消除型解码在接收机。数值实验表明，固定的RIS的反射模式，无论传输的信息，以最大限度地提高可实现的速率是严格次优的传统计划，并优于所提出的自适应编码策略在所有实际的信噪比（SNR）水平。
2020-12-01 cs.IT eess.SP math.IT
SoftBinary Coding: A New Information-Theoretic Neural Compression Paradigm
Tandon School of Engineering, New York University（纽约大学坦顿工程学院）；Cornell University（康奈尔大学）
提出软二进制编码（SBC），通过随机二进制潜变量空间和快速二进制信道模拟，克服非线性变换编码的局限性，在信息论源上达到最优率失真界，并在独立同分布源的矢量量化上超越网格编码量化。
2026-06-28 cs.IT eess.SP math.IT
Linear Programming based Converses for Finite Blocklength Lossy Joint Source-Channel Coding
针对有限块长有损联合信源-信道编码问题，提出了一种基于线性规划的求解方法。该框架适用于任何损失标准，概括了某些以前已知的对话，并扩展到多终端设置。有限块长问题等价地作为一个非凸优化问题，并使用提升和投影的方法，一个封闭的，但听话的LP松弛这个问题。通过构造LP松弛对偶的可行点，得到了原问题的下界。这种方法的一个特殊应用导致新的逆，恢复和改进有限块长度有损联合信源-信道编码和有损信源编码的Kostina和Verdu的逆。对于有限块长度信道编码，LP松弛恢复了Polyanskiy，Poor和Verdu的逆，并导致了Wolfowitz逆的新改进，从而表明对于信道编码，无损信源编码和联合信源-信道编码，以过量失真概率作为损失准则，我们的LP松弛随着块长度的增加是渐近紧的。本文利用对偶理论，导出了一类信源信道对的有限块长联合信源信道编码的一个新逆。采用这种相反的，LP松弛也被证明是紧的所有块长度的预期平均符号的汉明失真的$q$ -ary均匀源的$q$-ary对称无记忆信道的任何$q \in N$的最小化。优化配方和升降机和项目的方法扩展到网络设置，并证明通过获得一个改进的周等人的逆。连续细化问题连续细化源失真测量三元组。
2017-05-03 cs.DM cs.IT math.IT
