首页/论文/1602.02648

arXiv 1602.026482016-02cs.ITmath.IT

在Kolmogorov复杂性框架下的分叉网络编码

Coding in the fork network in the framework of Kolmogorov complexity

Andrei Romashchenko

备注：: v2: fixed a mistake in the proof of theorem 4

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

经典信息论（香农熵理论）中的许多陈述在算法信息论（在柯尔莫哥洛夫复杂性的框架中）中有自然的对应物。在本文中，我们讨论了一个简单的例子之间的并行香农和Kolmogorov的理论：我们证明了在设置Kolmogorov复杂性的版本沃尔夫的表征可容许率的叉网络。

英文摘要：

Many statements from the classic information theory (the theory of Shannon's entropy) have natural counterparts in the algorithmic information theory (in the framework of Kolmogorov complexity). In this paper we discuss one simple instance of the parallelism between Shannon's and Kolmogorov's theories: we prove in the setting of Kolmogorov complexity a version of Wolf's characterization of admissible rates for the fork network.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

条件Kolmogorov复杂性与泛概率

Conditional Kolmogorov Complexity and Universal Probability

L.A.的编码定理Levin将无条件前缀Kolmogorov复杂度与离散普适分布联系起来。有条件的版本中提到的几个出版物，但尚未有书面证明英文。我们在这里提供这些证据。他们使用的定义与离散普遍分布的条件版本的标准定义不同。在条件概率的经典定义下，编码定理没有条件版本。

2013-01-22cs.ITmath.IT

Slepian-Wolf编码的Kolmogorov复杂度版本

Kolmogorov complexity version of Slepian-Wolf coding

Alice和Bob分别得到两个相关的n-位串x_1和x_2，他们希望将其丢失压缩并发送给Zack。他们可以通过共享字符串进行协作，也可以单独工作。我们表明，在第二种情况下没有缺点：爱丽丝和鲍勃，不知道对方的字符串，可以实现几乎最佳的压缩在柯尔莫哥洛夫复杂性的意义上。此外，压缩需要多项式时间，并且可以在满足某些必要条件（模加性多对数项）的任何长度组合下进行。更准确地说，存在概率算法E_1、E_2和确定性算法D，其中E_1和E_2在多项式时间内运行，具有以下行为：如果n_1、n_2是满足n_1 + n_2 \geq C（x_1，x_2）的两个整数，则n_1 \geq C（x_1| x_2），n_2 \geq C（x_2| x_1），则对于i \in {1，2}，输入x_i和n_i上的E_i输出长度为n_i + \polylog n的字符串，使得输入E_1（x_1）上的D，E_2（x_2）以高概率重构（x_1，x_2）（其中C（x）表示x的普通柯尔莫哥洛夫复杂度，C（x \mid y）是x的以y为条件的复杂度）。我们的主要结果是更一般的，因为它涉及的压缩任何常数相关字符串。它是经典的Slepian-Wolf定理的算法信息论框架中的模拟，Slepian-Wolf定理是网络信息论中的基本结果，其中x_1和x_2是通过从联合分布中独立抽取n次而形成的两个离散随机变量的实现。此外，在经典的结果中…

2017-02-12cs.ITmath.IT

Shannon信息与Kolmogorov复杂性

Shannon Information and Kolmogorov Complexity

我们比较了香农信息和Kolmogorov复杂性的基本理论，在何种程度上，他们有一个共同的目的，以及他们是根本不同的。我们讨论并联系这两种理论的基本概念：香农熵与柯尔莫哥洛夫复杂度，两者与通用编码的关系，香农互信息与柯尔莫哥洛夫（“算法”）互信息，概率充分统计与算法充分统计（与香农理论中的有损压缩相对于柯尔莫哥洛夫理论中的有意义信息有关），以及率失真理论与Kolmogorov结构函数。部分材料以前曾出现在印刷品中，分散在各种出版物中，但这是第一次全面系统的比较。最后提到的关系是新的。

2004-10-01cs.ITmath.IT

二维的Kolmogorov复杂度与编码定理方法的可压缩性验证

Two-Dimensional Kolmogorov Complexity and Validation of the Coding Theorem Method by Compressibility

我们提出了一个措施的基础上的基本理论概念，算法信息论，提供了一个自然的方法来评估$n$维复杂性的问题，通过使用一个$n$维确定性图灵机。该技术是有趣的，因为它提供了一个自然的算法过程，对称性破缺产生复杂的$n$维结构，从完全对称和完全确定性的计算规则产生的分布模式所描述的算法概率。数学概率还巧妙地将模式的出现频率与其算法复杂度联系起来，从而有效地提供对所生成模式的复杂度的估计。实验验证这些概念的基础上的算法复杂性的估计，表明该措施是稳定的，在面对计算形式主义的一些变化，结果是一致的，使用无损压缩算法时，这两种方法在其适用范围内重叠的结果。然后，我们使用的二维图灵机的集合的输出频率进行分类的基本细胞自动机的时空演化的算法复杂性。

2015-08-26cs.CCcs.ITmath.IT

一种用于逼近Kolmogorov前缀复杂度的加性最优解释器

An additively optimal interpreter for approximating Kolmogorov prefix complexity

研究使用IMP2语言逼近Kolmogorov前缀复杂度，证明其作为CTM参考机的解释器最优性，发现与低级模型相关性差异，但与复杂度上界强相关，支持CTM作为细粒度逼近方法的有效性。

2024-07-30cs.ITmath.IT

CAS I：一个几何编码定理

CAS I: A Geometric Coding Theorem

本文在对称群背景下建立经典编码定理类似物，通过定义对称先验，证明其为通用下半可计算半测度，建立伽罗瓦连接等，统一算法信息论与群论，为研究对称诱导复杂性度量提供框架。

2026-10-06cs.AIcs.ITmath.CT

更多相关论文收起更多论文

最优概率多项式时间压缩和Slepian-Wolf定理：更严格的版本和简单的证明

Optimal probabilistic polynomial time compression and the Slepian-Wolf theorem: tighter version and simple proofs

我们对Marius Zimand的论文“Kolmogorov complex version of Slepian-Wolf coding，proceedings of STOC 2017，p22 - 32”中的两个结果进行了简化证明。第一种是通用的多项式时间压缩算法：在输入$\varepsilon > 0$、数字$k$和字符串$x$上，它以概率$1-\varepsilon$在多项式时间中计算输出$x$并且具有长度$k + O(\log^2 (|x|/\varepsilon))$的程序，只要存在长度至多为$k$的这样的程序。第二个结果是一个分布式压缩算法，在这个算法中，几个参与方各自向一个公共接收方发送一些字符串。马里乌斯·齐曼德使用柯尔莫哥洛夫复杂性（而不是香农熵）证明了Slepian-Wolf定理的一个变体。通过简单的证明，改进了Zimand结果的参数.

2018-02-02cs.ITmath.IT

盲感知的确定性编码定理：最优测量率和分形维数

Deterministic coding theorems for blind sensing: optimal measurement rate and fractal dimension

完全盲感知是从测量中恢复带限信号的问题，除了频域中整个支持集的测量上界之外，没有任何频谱信息。确定重建所需和足够的测量数量一直是一个开放的问题，并且通常执行部分盲感测，假设具有一些部分光谱信息先验可用。在本文中，最小数量的测量，保证完美的恢复在没有测量误差的情况下，并在测量误差的存在下，鲁棒的恢复，确定在一个完全盲设置。结果表明，在测量率的两个因素是盲目付出的代价，重建与全光谱知识。测量的最小数量也与离散近似集的分形（Minkowski Bouligand）维数有关，定义在Kolmogorov $ε$ -熵方面。这些结果是类似于一个确定性的编码定理，在最小测量速率方面定义的操作量被证明是等于一个信息理论的。与压缩感知中的并行结果的比较示出，在随机设置中的相关维数的概念是信息（雷尼）维，定义在香农熵。

2017-08-18cs.ITmath.IT

将数据流压缩到其信息内容

Compression of data streams down to their information content

根据柯尔莫哥洛夫复杂性，每个有限二进制字符串都可以压缩为一个最短的代码-它的信息内容-从中可以有效地恢复。我们调查在何种程度上，这持有无限二进制序列（流）。我们设计了一种新的编码方法，该方法将每个流$X$均匀地编码成算法随机流$Y$，以这样的方式，$X$的第一$n$位可从$Y$的第一$I(X\upharpoonright_n)$位恢复，其中$I$是在$X$的所有前缀上定义的任何部分可计算信息内容度量，并且其中$X\upharpoonright_n$是长度为$n$的$X$的初始段。因此，如果$g$是$X$的初始段无前缀复杂度的任何可计算上限，则$X$可从算法上随机的$Y$计算，其中最多使用$g$。或者（不使用这种可计算的限定$g$），可以实现由$K(X\upharpoonright_n)+\log n$限定的预言机使用。这为算法信息论提供了香农信源编码定理的强模拟。

2019-01-22cs.ITmath.IT

将信息编码到稠密集的所有无限子集中

Coding information into all infinite subsets of a dense set

本文证明不可计算集合无法被正下密度集合的所有无限子集统一计算，并给出 PA 度类比及 Kolmogorov 复杂度定量版本，方法基于修改的 Mathias 力迫。

2023-08-11cs.ITmath.ITmath.LO

使用最大熵编码的分布外检测

Out-of-Distribution Detection using Maximum Entropy Coding

University of Hawaii at Manoa（夏威夷大学马诺阿分校）；John A. Burns School of Medicine, University of Hawaii（夏威夷大学约翰·A·伯恩斯医学院）

本文提出一种基于最大熵编码的分布外检测方法，通过统计量关联最大熵分布计算总码长，并结合双向生成网络在潜空间转换未知真实数据，在多数异常检测实验中表现优于其他生成神经网络方法。

2024-04-25cs.ITcs.LGmath.IT

资源有界概率中泛分布的类编码定理行为和涌现性

Coding-theorem Like Behaviour and Emergence of the Universal Distribution from Resource-bounded Algorithmic Probability

University of Oxford（牛津大学）；LABORES

由于其强大的特性及其作为归纳/推理问题的最佳解决方案的广泛应用，先前在科学文献中被称为“奇迹”，概率（AP）和相关的普遍分布（近似）在科学中是（或应该是）最重要的。在这里，我们调查的出现，出现和收敛的速度，和编码定理的行为，AP在图灵次通用模型的计算。我们调查的经验分布的计算模型在乔姆斯基层次。我们引入的措施，算法的概率和算法的复杂性的基础上资源有限的计算，在以前彻底调查的分布产生的输出分布的图灵机。这种方法允许在计算层次结构的每个级别上对基于算法（Kolmogorov-Chaitin）复杂性的估计进行数值近似。我们证明，所有这些估计是相关的排名，他们收敛的排名和值作为计算能力的函数，尽管计算模型之间的根本差异。在由于有限的资源和物理退化而在图灵普遍水平以下运行的自然过程的背景下，对算法规则产生的自然偏差的调查可能会揭示结果的分布。我们发现，高达60%的简单性/复杂性偏差的分布，即使是最弱的计算模型可以占的概率在其近似的普遍分布。

2018-04-13cs.AIcs.CCcs.IT

数学信息测度数值评价的对应性与独立性

Correspondence and Independence of Numerical Evaluations of Algorithmic Information Measures

我们表明，实值近似Kolmogorov-Chaitin（K_m）使用的算法编码定理计算的输出频率的一个大的一组小的确定性图灵机与多达5个状态（和2个符号），是在协议所使用的指令数的图灵机生产s，这是符合严格的整数值程序大小的复杂性。尽管如此，K_m被证明是一个更细粒度的测量和一个潜在的替代方法的无损压缩算法的小实体，压缩失败。我们还表明，K_m和所使用的指令数与Bennett的逻辑深度LD（s）没有任何相关性，而不是理论所预测的。理论和数值计算之间的协议表明，尽管这些理论措施的不可判定性，近似是稳定的和有意义的，即使是小程序和短字符串。我们还宣布了第一个测试版的在线数学复杂度计算器（OACC），基于理论概念的组合，作为编码定理方法的数值实现。

2013-02-13cs.CCcs.FLcs.IT

组织复杂性与语义信息论的统一范式

A Unified Paradigm of Organized Complexity and Semantic Information Theory

科学中最基本的问题之一是定量地定义{\it}有组织事物的复杂性，即，{\it有组织的复杂性}。虽然在过去的几十年里已经提出了许多措施来实现这一目标，但没有商定的定义。本文提出了一种新的组织复杂性的定量定义。这个定义{\it simultaneously}捕获了复杂性的三个主要特征：计算性（类似于逻辑深度）、分解性（类似于柯尔莫哥洛夫复杂性和有效复杂性）和分布性（类似于统计复杂性）。此外，所提出的定义是可计算的，可以以统一的方式测量对象的概率和确定性形式。提出的定义是基于电路，而不是图灵机和$ε$-机。我们给出了有组织的复杂性措施所需的几个标准，并表明，所提出的定义满足所有这些第一次。然后，我们应用这个定量的定义，制定了{\it语义信息论}。我们提出了第一个正式定义的{\it语义信息量}，这是语义信息论的核心概念，这是只基于具体定义的概念。以前的语义信息论定义了这个量下的一些先验信息，这是没有具体规定。然后，我们揭示了语义信息论中的几个基本性质，例如，语义信源编码定理、语义信道编码定理和有效性编码定理。虽然语义信息论的研究已经有60多年的历史了，但是还没有关于语义信息论与组织复杂性之间关系的研究。本文首次提出了组织复杂性和语义信息论的统一范式。

2016-07-29cs.ITmath.ITnlin.AO

GPS信息和速率容限-澄清速率失真和复杂度失真之间的关系

GPS Information and Rate Tolerance - Clarifying Relationship between Rate Distortion and Complexity Distortion

我在1993年出版的《广义信息论》一书中提出了率容限并讨论了它与率失真的关系。最近，我研究了基于Kolmogorov的复杂性理论的结构函数和复杂性失真。我现在的理解是，复杂失真只是速率容限的一个特例，而约束集从模糊集变成了清晰集，看起来像具有相同半径的球。复杂度理论研究者认为复杂度失真一般等同于率失真，这是不正确的。得出了率失真函数只能等价于率容限函数的结论，并且二者都可以用广义互信息公式来描述，其中P（Y| X）等于P（Y|公差）。本文以GPS为例，推导了广义信息量公式，并通过数学分析和编码实例证明了上述结论。GPS信息度量公式与率失真函数公式的相似性可以加深对广义信息测度的理解。

2012-04-17cs.CCcs.ITmath.IT