Sequential Universal Modeling for Non-Binary Sequences with Constrained Distributions
顺序概率分配和通用压缩齐头并进。我们提出了顺序概率分配的非二进制（和大字母表）序列的经验分布，其参数是已知的有限区间内有界的。序列概率分配算法在许多需要快速准确地估计最大序列概率的应用中是必不可少的。这些应用包括学习、回归、信道估计和解码、预测和通用压缩。另一方面，约束分布引入有趣的理论扭曲，必须克服，以提出有效的顺序算法。在这里，我们专注于无记忆源的通用压缩，并提出了精确的分析最大极小极大和平均极小极大约束分布。我们表明，我们的顺序算法的基础上修改Krichevsky-Trofimov（KT）估计是渐近最优的$O(1)$的最大和平均冗余。本文遵循并解决了\cite{stw08}中提出的挑战，即“二进制情况下的结果为研究更大的字母表奠定了基础”。
2021-02-06 cs.IT math.IT
Estimating the Sizes of Binary Error-Correcting Constrained Codes
本文利用 Fourier 分析计算线性码约束子码大小，并扩展 Delsarte LP 给出可纠正固定错误或擦除的约束码最大容量上界，且数值优于既有广义球填充界。
2023-04-19 cs.IT math.IT
A Feedback Capacity-Achieving Coding Scheme for the $(d,\infty)$-RLL Input-Constrained Binary Erasure Channel
本文研究了无记忆输入受限二进制擦除信道（BEC）。信道输入约束是$(d,\infty)$ -游程长度受限（RLL）约束，其要求输入序列中的任何一对连续的$1$至少被$d$ $0$分开。我们考虑的情况下，有因果关系，从解码器的无噪声反馈。我们证明了一个简单的，基于标签的，零错误的反馈编码方案，我们证明是反馈能力的实现，并作为一个副产品，获得明确的表征的反馈能力。我们的证明是基于显示我们的反馈编码方案的速率等于使用Sabag等人的单字母边界技术导出的反馈容量的上限。此外，我们使用Thangaraj（2017）的工具注意到，至少对于$d=1,2$，$(d,\infty)$ -RLL输入约束BEC的反馈和非反馈能力之间存在差距。
2022-04-14 cs.IT math.IT
Coding for High-Density Recording on a 1-D Granular Magnetic Medium
在太比特密度磁记录中，几位数据可以被存储介质中相邻数据的值替换。因此，介质中的错误相互依赖，也依赖于写入的数据。我们考虑这种介质的一个简单的一维组合模型。在我们的模型中，我们假设一个设置，其中二进制数据顺序写入介质上，并且一个位可能错误地更改为前一个值。我们推导出几个属性的代码，纠正这种类型的错误，专注于他们的基数上的界限。我们还定义了一个概率有限状态信道模型的存储介质，并得出其容量的上下估计。通过评估信道的对称容量来导出下限，即，在信道的均匀输入分布的假设下的最大传输速率。一个上界发现，原来的通道是一个随机退化的另一个，相关的信道模型，其容量，我们可以明确计算。
2010-12-08 cs.IT math.IT
Dual Capacity Upper Bounds for Noisy Runlength Constrained Channels
二进制输入的游程长度约束输入的无记忆通道被认为是。这种嘈杂的游程长度受限的信道的容量的上限推导出使用双容量方法与马尔可夫测试分布满足Karush-Kuhn-Tucker（KKT）的能力实现输出分布的条件。给出了二进制擦除信道（BEC）和二进制对称信道（BSC）的界的简化代数刻画。这些上界非常接近可实现的速率，并改善了以前已知的基于反馈的边界的大范围的信道参数。对于二进制输入的加性高斯白噪声（AWGN）信道，上界被简化为一个小规模的数值优化问题。这些结果提供了一些最简单的上界的开放容量的问题，具有理论和实际意义。
2016-09-30 cs.IT math.IT
Entropy-Constrained Maximizing Mutual Information Quantization
本文研究了二进制输入离散无记忆信道的输出量化问题，即在输出量化熵受限的情况下，使输入与量化输出之间的互信息最大化.介绍了一种多项式时间算法，可以找到真正的全球最佳量化器。这些结果适用于具有任意数量的量化输出的二进制输入通道。最后，我们将这些结果扩展到二进制输入连续输出通道，并给出了一个充分条件，使得一个单一的阈值量化器是一个最佳的量化器。理论结果和数值结果证明我们的技术。
2020-01-07 cs.IT math.IT
Are RLL Codes Suitable for Simultaneous Energy and Information Transfer?
游程长度受限（RLL）码是一类被充分研究的约束码，其在诸如光和磁数据记录系统、基于DNA的存储和可见光通信的不同领域中具有应用。RLL码还被提出用于同时能量和信息传输的新兴领域，其中接收器使用接收到的信号来解码信息以及收集能量以运行其电路。在本文中，我们证明了RLL码不是同时进行能量和信息传输的最佳码，就避免能量中断的最大码字数而言，即，限制容量。具体来说，我们表明，滑动窗口约束（SWC）码和子块能量约束（SEC）码有显着更高的中断约束的能力比RLL码。
2018-07-24 cs.IT math.IT
Asymptotics of input-constrained binary symmetric channel capacity
本文研究了二进对称信道（BSC）中噪声约束容量的经典问题，即输入序列是从一个约束集合中选取的序列的BSC的容量问题。受Ordentlich和Weissman [In Proceedings of IEEE信息论Workshop（2004）117- 122]的结果的启发，我们推导出当马尔可夫链通过BSC时观察到的隐马尔可夫链的熵率的渐近公式（当噪声参数小时）。利用这一结果，我们建立了当噪声参数趋于零时，输入过程为不可约有限型约束的BSC的容量的渐近公式。
2009-08-10 cs.IT math.IT math.PR
The Secret Arithmetic of Patterns: A General Method for Designing Constrained Codes Based on Lexicographic Indexing
约束码用于防止在各种数据存储和数据传输系统中发生错误。它们可以帮助增加磁存储设备的存储密度，管理电子存储设备的寿命，以及增加通过导线的数据传输的可靠性。我们最近介绍了字典序约束（LOCO）代码的家庭。这些编码通过简单的编码和解码实现容量，并且它们易于重新配置。在本文中，我们概括了我们的工作LOCO代码提出了一个系统的方法，指导代码设计者建立任何约束代码的基础上字典索引一旦有限的数据模式禁止是已知的。特别是，我们直接连接到代码的基数和规则，发现与码字相关的索引的一组禁止模式。通过这样做，我们揭示了模式的秘密算法，并使代码设计显着容易。我们为新的二维磁记录（TDMR）技术设计了最优（速率方面）约束码。我们表现出显着的性能增益作为单独应用新的代码的结果。此外，我们将展示如何设计和使用近优约束码，以进一步降低复杂性。
2020-10-21 cs.IT eess.SP math.IT
Power Spectra of Constrained Codes with Level-Based Signaling: Overcoming Finite-Length Challenges
约束码被用来消除各种实际系统中的易出错模式。最近，我们引入了有效的二进制对称字典序约束（LOCO）码和非对称LOCO（A-LOCO）码，以增加磁记录系统的密度和闪存系统的寿命，通过消除相关的有害模式。由于其应用，LOCO和A-LOCO码与基于电平的信令相关联。研究具有一定性质的随机信号的功率谱是任何存储或传输系统的基本问题。在本文中，我们首先修改了一个框架，从文献中，以介绍一种方法来推导出一个序列的约束数据与基于电平的信令的功率谱。我们将我们的方法应用到满足对称和非对称约束的无限长序列。接下来，我们将展示如何推广该方法，使其适用于有限长度码字的流。我们使用推广的方法设计封闭形式的频谱有限长LOCO和A-LOCO码从他们的过渡图。我们的LOCO和A-LOCO频谱推导可以执行任何代码长度，并可以扩展到其他约束代码。我们绘制这些功率谱，并讨论了各种重要的频谱特性的LOCO和A-LOCO码。
2020-10-18 cs.IT eess.SP math.IT
Delivery Time Reduction for Order-Constrained Applications using Binary Network Codes
考虑一个无线接入网络，其中基站需要通过独立的擦除信道向一组用户传递一组顺序约束消息。本文研究了使用即时可解码网络编码（IDNC）减少传输时间的问题。受时间关键型和订单约束型应用程序的影响，在每次传输时，传递时间被定义为未传递消息的数量。交货时间最小化的问题是计算棘手的，大多数现有的文献IDNC提出次优的在线解决方案。本文提出了一种新的方法来解决这个问题，通过引入交货延迟作为一个距离最优的措施。导出了一个表达式，其特征在于使用交付延迟的交付时间，允许近似的交付时间最小化问题的优化问题，涉及交付延迟。这个问题，然后，制定为一个最大的重量集团选择问题的IDNC图，其中每个顶点的权重反映其相应的用户和消息的延迟。仿真结果表明，所提出的解决方案实现了较低的交付和完成时间相比，最知名的物流配送时间减少。
2016-01-08 cs.IT math.IT
Upper Bounds on the Size of Grain-Correcting Codes
在本文中，我们重新访问Mazumdar等人的组合误差模型。该模型在高密度磁记录中由于缺乏对记录介质中晶界的了解而引起的误差。我们提出了新的上界的基数/率的二进制分组码，纠正这个模型中的错误。
2013-06-19 cs.DM cs.IT math.IT
Two dimensional RC/Subarray Constrained Codes: Bounded Weight and Almost Balanced Weight
在这项工作中，我们研究了两种类型的二维二进制数组的约束。特别地，给定$p,ε>0$，我们研究了（i）$p$有界约束：一个大小为$m$的二进制向量被称为$p$有界的，如果它的权重至多为$pm$，以及（ii）$ε$平衡约束：一个大小为$m$的二进制向量被称为$ε$平衡的，如果它的权重在$[(0.5-ε)*m,(0.5+ε)*m]$之内.这种约束在一些数据存储系统中是至关重要的，这些数据存储系统将信息数据视为二维（2D）而不是一维（1D），诸如交叉电阻存储器阵列和全息数据存储。在这项工作中，有效的编码/解码算法的二进制阵列，使重量约束（无论是$p$ -有界约束或$ε$ -平衡约束）是强制执行的每一行和每一列，被视为二维行列（RC）约束码，或在每个子阵列，被视为二维子阵列约束码。虽然在文献中已经提出了低复杂度的设计，主要集中在二维RC约束码，其中$p = 1/2$和$ε= 0$，这项工作提供了有效的编码方法，工作的二维RC约束码和二维子阵列约束码，更重要的是，该方法适用于任意值的$p$和$ε$。此外，对于某些值的$p$和$ε$，我们表明，对于足够大的数组大小，存在线性时间编码/解码算法，招致最多一个冗余位。
2022-08-19 cs.IT math.IT
The New Multi-Edge Metric-Constrained PEG/QC-PEG Algorithms for Designing the Binary LDPC Codes With Better Cycle-Structures
低密度奇偶校验码（LDPC码）的设计中，如何获得更好的循环结构仍然是一个挑战。本文首先提出了两种度量标准，将渐进边增长（PEG）算法和近似循环外信息度（ACE）约束的PEG算法统一为一种集成算法，称为度量约束PEG算法（M-PEGA）。在此基础上，提出了多边尺度约束PEG算法（MM-PEGA）。具有边试验的MM-PEGA，例如正整数$r$，称为$r$ -边M-PEGA，其通过选择$r$ -边局部围长最优的校验节点来构造非准循环（non-QC）LDPC码图的每个边。此外，为了设计具有任意预定义有效设计参数的QC-LDPC码，以及检测甚至避免QC-PEG算法设计的QC-LDPC码中不可检测的环的产生，最后提出了多边缘度量约束的QC-PEG算法（MM-QC-PEGA）。仿真结果表明，增加MM-PEGA/MM-QC-PEGA的边试验次数，对MM-PEGA/MM-QC-PEGA设计的LDPC码的循环结构和误码性能有积极的影响。
2016-05-17 cs.IT math.IT
When Information Is Not Enough: Accuracy-Constrained Thermodynamic Costs of Binary Classification
Fudan University（复旦大学）
本文证明仅凭互信息阈值不足以确定物理分类代价，通过构造有界速率协议和传输边界，揭示精度约束下熵产生存在信息论无法捕捉的额外物理成本。
2026-10-02 cs.IT math.IT
Bounds on the Feedback Capacity of the $(d,\infty)$-RLL Input-Constrained Binary Erasure Channel
本文考虑输入受限的二进制擦除信道（BEC）与因果，无噪声反馈。信道输入序列遵守$(d,\infty)$ -游程长度受限（RLL）约束，即，任何一对连续的$1$必须至少被PDMATHABMOPDMATHABMP分隔开。我们推导出该信道的反馈容量的上界和下界，对于所有$d\geq 1$，由下式给出：$\max\limits_{δ\in [0,\frac{1}{d+1}]}R(δ) \leq C^{\text{fb}}_{(d\infty)}(ε) \leq \max\limits_{δ\in [0,\frac{1}{1+dε}]}R(δ)$，其中函数$R(δ) = \frac{h_b(δ)}{dδ+ \frac{1}{1-ε}}$，其中$ε\in [0,1]$表示信道擦除概率，并且$h_b(\cdot)$是二进制熵函数。我们注意到，对于$d=1$的情况，我们的边界是紧的（参见Sabag等人。（2016）），此外，我们证明了对于$d=2$的情况，反馈容量等于$ε\in [0,1-\frac{1}{2\log(3/2)}]$具有擦除的非因果知识的容量。对于$d>1$，我们的界限与Peled et al.（2019）中导出的非因果能力（作为反馈能力的上限）不同，只是在最大化的领域。本文中的方法遵循Sabag等人（2017），通过基于有限$Q$ -图上支持的输出分布导出反馈容量的单字母界限，$…
2021-02-18 cs.IT math.IT
On information rates over a binary input channel
我们研究了带限加性高斯白噪声（AWGN）信道中的通信系统，其中发射机输出被约束为对称二进制（双极性）。在这项工作中，我们改进了原来的Ozarov-Wyner-Ziv（OWZ）的容量下限，通过引入新的可扩展性计划，这是基于峰值功率约束脉冲幅度调制的研究OWZ计划的两个优点。我们的计划实现了适度提高的信息速率，这样做的二进制信号的符号转换少得多。基于双极性信号的频谱约束的已知上限和我们可实现的下限之间的差距被减小到0.93比特每奈奎斯特间隔在高信噪比。
2021-10-06 cs.IT math.IT
Asymmetric LOCO Codes: Constrained Codes for Flash Memories
在数据存储和数据传输中，某些模式在写入（传输）到介质上时更容易出错。在具有二进制数据和双极不归零信令的磁记录系统中，在连续转变之间具有不充分分离的模式加剧了符号间干扰。约束代码用于消除这种容易出错的模式。最近的一个例子是一个新的家庭的能力，实现约束代码，命名为字典序约束代码（LOCO代码）。LOCO码是对称的，即在取模式补时，禁止模式集是封闭的。LOCO码在用于采用块擦除的闪存设备中时，在速率方面是次优的，因为易错模式的互补在这些设备中是无害的。本文介绍了非对称LOCO码（A-LOCO码），这是字典顺序的约束代码，只禁止那些模式是不利于Flash的性能。A-LOCO码也是容量实现的，并且在有限长度下，它们提供比为相同目标设计的现有最先进的约束码更高的速率。A-LOCO码中索引与码字之间的映射-解映射允许比其LOCO对应物更简单的低复杂度编码和解码算法。
2020-02-23 cs.IT math.IT
Bounds on the Size and Asymptotic Rate of Subblock-Constrained Codes
由于子块约束码在不同领域的应用，其研究近年来得到了广泛的关注。我们提出了两类子块约束码的大小和渐近速度的界。第一类是二进制常数子块组合码（CSCC），其中每个码字被划分为大小相等的子块，并且每个子块具有相同的固定权重。第二类是二进制子块能量约束码（SECC），其中每个子块的重量超过给定的阈值。我们提出了新的上限和下限的代码大小和渐近速率的二进制CSCC和SECC。对于一个固定的子块长度和小的相对距离，我们证明了CSCC（分别）的渐近速率。SECC）严格低于恒定重量码（CWC）的相应速率（分别为重码（HWC））。此外，对于具有高权重和低相对距离的代码，我们证明了CSCC的渐近速率严格低于SECC的渐近速率，这与CWC的渐近速率等于HWC的渐近速率形成对比。我们还对Chee等人（2014）关于渐近CSCC率的早期结果进行了校正。此外，我们提出了几个数值例子比较率CSCC和SECC与那些恒重码和重量级码。
2017-01-18 cs.IT math.IT
Constrained Higher-Order Binary Optimization for Wireless Communications Systems Using Ising Machines
本文提出一种基于增广拉格朗日法和泰勒展开的迭代算法，利用Ising机器求解无线通信中带不等式约束的高阶二进制优化问题，并在可重构智能表面相位优化案例中验证其性能优于启发式基准。
2025-09-24 cs.IT math.IT
Generalized Sphere-Packing Bound for Subblock-Constrained Codes
我们将广义球填充界应用于两类子块约束码。A la Fazeli et al.（2015），我们利用自同构显著减少了相关线性规划问题中的变量数量。特别是，我们研究了二进制常数子块合成码（CSCC），其特征在于每个子块中的1的数量是恒定的，和二进制子块能量约束码（SECC），其特征在于每个子块中的1的数量超过一定的阈值的属性。对于CSCC，我们表明，优化问题相当于找到最小的$N$变量，其中$N$是独立的子块的数量。然后，我们提供了封闭形式的解决方案的广义球包装界的单，双纠错CSCC。对于SECC，我们提供了封闭形式的解决方案，在某些特殊情况下的广义球包装界的单一错误。我们还获得了改进的界限CSCC和SECC的最佳渐近速率，并提供数值例子来突出的改进。
2019-01-02 cs.IT math.IT
Constrained Optimal Querying: Huffman Coding and Beyond
众所周知，霍夫曼编码在某些决策问题中是有用的，这些决策问题涉及最小化（自由选择的）查询的平均数量以确定未知的随机变量。然而，在查询更受约束的问题中，原始的霍夫曼编码不再起作用。在本文中，我们提出了一个通用的模型来描述这些问题和两个编码方案：一个是基于霍夫曼，另一个称为GBSC（贪婪二进制分离编码）。我们证明了GBSC的最优性，通过归纳二进制决策树，告诉我们，GBSC是至少一样好的香农编码。然后，我们比较了基于这两个代码的两个算法，通过测试他们与两个问题：DNA检测和1-player战舰，并发现这两个都是体面的近似算法，与基于霍夫曼的算法给出了一个预期的长度的1.1倍，真正的最优DNA检测问题，和GBSC产生的平均查询次数的1.4倍，理论上的最优1-player战舰。
2022-10-08 cs.IT math.IT
Constant-Weight and Constant-Charge Binary Run-Length Limited Codes
介绍了具有零游程长度约束的常重常荷二元序列。对这类序列，求出了它们的权和电荷分布，进而得到了计算这类序列个数的递推公式和直接公式。将这些等重等荷RLL序列的个数作为收敛幂级数的系数，导出了生成函数。证明了计数常电荷RLL序列的母函数不具有封闭形式。实现的编码和解码过程中使用封面的枚举计划。在此基础上，给出了运行数字和（RDS）约束RLL序列的枚举和峰移控制能力等实例。
2009-06-24 cs.IT math.IT
A general method for the development of constrained codes
本文提出一种通用多项式复杂度方法，利用枚举式Cover码并即时计算参数，为局部约束、全局约束及其组合的约束码构建提供统一解决方案。
2024-05-23 cs.IT math.IT
Box constrained $\ell_1$ optimization in random linear systems -- finite dimensions
我们的同伴工作\cite{Stojnicl1BnBxasymldp}考虑随机欠定线性系与框约束稀疏的解决方案，并提供了一对夫妇的修改后的$\ell_1$算法调整处理这样的系统（我们指的是这些修改的标准$\ell_1$作为二进制和框$\ell_1$）的渐近分析。我们早期的工作\cite{StojnicISIT2010binary}确定了二元$\ell_1$确实表现出所谓的相变现象（基本上是通过早期的考虑而众所周知的相同现象，是标准$\ell_1$的关键特征，参见例如\cite{DonohoPol,DonohoUnsigned,StojnicCSetam09,StojnicUpper10}）。此外，在\cite{StojnicISIT2010binary}中，我们确定了所谓的相变（PT）曲线的精确位置。另一方面，在\cite{Stojnicl1BnBxasymldp}中，我们通过大偏差原理（LDP）类型的分析，提供了对PT的更深入的理解。在本文中，我们补充\cite{Stojnicl1BnBxasymldp}的结果离开自然假设的PT和LDP的考虑，而不是在有限维设置的渐近制度。沿着同样的路线，我们提供了两个，二进制和盒$\ell_1$，精确的有限维分析，并基本上确定其最终的统计性能表征。最重要的是，我们解释了如何在渐近设置中使用这里创建的结果，也在\cite{Stojnicl1BnBx…
2016-12-20 cs.IT math.IT math.OC
