The Importance of the Algorithmic Information Theory to Construct a Possible Example Where NP # P - II: An Irreducible Sentence
在这篇简短的通讯中，讨论了解纠缠态和算法信息论之间的关系，旨在构建一个不可约的句子，其长度随着量子比特数的增加以非多项式的方式增加。
2006-12-01 cs.CC cs.IT math.IT
Continuously Ordered Hierarchies of Algorithmic Information in Digital Twinning and Signal Processing
本文以分数阶微积分和Wiener代数为实例，在周期函数空间与lp空间之间建立彼此对偶的算法信息连续有序层级，为数字孪生完整性提供形式化验证基础。
2025-05-03 cs.IT math.IT
Kolmogorov's Algorithmic Mutual Information Is Equivalent to Bayes' Law
给定两个事件$A$和$B$，贝叶斯定律基于以下论点：给定$B$，$A$的概率与给定$A$，$B$的概率成正比。当概率在贝叶斯意义上解释时，贝叶斯定律构成了一种学习算法，它显示了人们如何从新的观察中学习，以提高他们对与该观察一致的理论的信念。Kolmogorov的算法信息的概念是基于算法理论的，它提出了一个关于有限字符串中关于自身的信息量的客观度量，并得出结论：对于任何两个有限字符串$x$和$y$，$x$中关于$y$的信息量几乎等于$y$中关于$x$的信息量。我们把柯尔莫哥洛夫的这个结论看作是贝叶斯定律的算法信息版本。这可以很容易地证明，如果考虑工作的莱文前缀柯尔莫哥洛夫复杂性，然后表示数量的柯尔莫哥洛夫互信息之间的两个有限字符串使用所罗门诺夫的先验概率。
2019-06-29 cs.IT math.IT
Watts-per-Intelligence Part II: Algorithmic Catalysis
Centre for Quantum Software and Information（量子软件与信息中心）
本文基于每智能瓦特框架发展算法催化热力学理论，提出可重用的计算结构以减少任务类的不可逆操作，同时满足受限恢复和结构选择性约束。证明任务类特定速度提升上限由算法互信息决定，并通过兰道尔擦除最小热力学成本。结合结果得出耦合定理，下界限定算法催化部署时间范围。
2026-06-06 cs.AI cs.IT math.IT
Bounds for Algorithmic Mutual Information and a Unifilar Order Estimator
受Hilberg假设的启发，该假设指出自然语言块之间的互信息像幂律一样增长，我们寻求算法互信息的幂律增长率与单线阶的一些估计之间的联系，即，隐状态的数量在生成平稳遍历源在其最小单线隐马尔可夫表示。我们考虑一个顺序估计返回的最小顺序的最大似然大于一个弱惩罚的普遍概率。这种阶估计量是难以处理的，并且遵循Merhav，Gutman和Ziv（1989）以及Ziv和Merhav（1992）的思想，但尽管有一些很好的理论性质，但其精确形式似乎被忽视了。特别是，我们可以证明强一致性的顺序估计和算法的互信息的上界在it.Using这两个结果，我们表明，所有（也不可计算）源的有限unifilar为了表现出次幂律增长的算法互信息和unifilar顺序估计。相比之下，我们还展示了一个例子的单线过程的一个可数无限的顺序，确定性的下推自动机和算法随机预言机，其中提到的两个数量增长的幂律具有相同的指数。我们也将我们的研究结果与自然语言的研究。
2020-12-28 cs.IT math.IT
Algorithmic Information Dynamics of Cellular Automata
我们说明了应用程序的mathmic信息动力学的元胞自动机（CA）演示如何数字演算是能够量化离散动态系统的变化。我们证明了块分解方法对1D和2D CA的敏感性，包括康威的生命游戏，对统计性质的措施，如压缩（LZW）和香农熵在两个不同的情况下（1）扰动分析和（2）动态碰撞CA。该方法是有趣的，因为它分析了一个典型的对象本地软件空间（CA）在软件空间本身通过使用算法的信息动力学通过模型驱动的通用搜索，而不是传统的统计方法，如LZW压缩或香农熵。两个独立状态（如果不是三个，因为一个是调节碰撞本身）离散动力系统的碰撞的例子提供了一个潜在的概念证明的发展的多变量版本的AID演算。
2022-01-13 cs.IT math.IT
Algorithmic Information Theory: a brief non-technical guide to the field
本文是算法信息论（AIT）领域的简要指南，它的基本哲学和最重要的概念。AIT是通过混合信息论和计算理论来获得个体对象中客观和绝对的信息概念而产生的，这样做就产生了个体对象随机性的客观和鲁棒的概念。这与基于随机变量和通信的经典信息论形成对比，并且与单个对象的信息和随机性无关。在简要概述之后，介绍了该领域的主要子领域、应用、历史和地图。
2007-03-06 cs.CC cs.IT math.IT
Lecture Notes on Algorithmic Information Theory
本讲义基于2023年研究生课程，打破学科界限，系统介绍算法信息论，涵盖从可计算性理论到前缀复杂度及形式系统信息论极限等核心主题。
2025-04-22 cs.IT cs.LO math.IT
The Limits of AI Explainability: An Algorithmic Information Theory Approach
Shrisha Rao
本文基于算法信息论建立AI可解释性的理论基础，通过Kolmogorov复杂度量化近似误差与解释复杂度，证明复杂度差距定理、局部与全局可解释性差距及监管不可能定理，揭示可解释AI系统设计、评估与监督的关键考量。
2025-11-03 cs.AI cs.CY cs.IT
Is Consciousness Computable? Quantifying Integrated Information Using Algorithmic Information Theory
在这篇文章中，我们回顾了Tononi（2008）的意识作为整合信息的理论。我们认为，以前的形式化的综合信息（如格里菲斯，2014）取决于信息损失。由于有损集成将需要不断损害现有的记忆，我们建议它是更自然的框架意识作为一个无损的整合过程，并提供了一个形式化的这个想法使用算法信息论。我们证明，完全无损集成需要不可计算的功能。这一结果意味着，如果单一意识存在，它就无法通过计算建模。
2014-05-01 cs.IT math.IT q-bio.NC
Game arguments in computability theory and algorithmic information theory
我们提供了一些例子来说明如何将博弈论的论点用于可计算性理论和算法信息论：唯一编号定理（Friedberg），条件复杂性和总条件复杂性之间的差距，Epstein-Levin定理和Muchnik和Vyugin的一些（尚未发表的）结果
2012-09-10 cs.GT cs.IT math.IT
Justifying additive-noise-model based causal discovery via algorithmic information theory
最近的一种因果发现方法在许多情况下能够推断出X导致Y还是Y导致X，只有两个观察变量X和Y。它基于以下观察：存在（非高斯）联合分布P（X，Y），其中Y可以被写为X的函数，直到独立于X的加性噪声项，并且从Y到X不存在这样的模型。在这种情况下，人们倾向于因果模型X-> Y。在这里，我们证明了这种方法，表明因果假设Y--> X是不可能的，因为它需要在P（Y）和P（X）之间进行特定的调整|Y）以生成允许从X到Y的加性噪声模型的分布。为了量化所需的调整量，我们推导出P（Y）和P（X）共享的算法信息的下限|Y）。这样，我们的理由是一致的，最近的方法使用算法信息论的因果推理。我们将这一原理推广到P（X，Y）几乎包含加性噪声模型的情形。我们的结果表明，当P（Y）的复杂度较高时，上述结论更可靠。
2009-10-09 cs.IT math.IT
Contextual Information Retrieval based on Algorithmic Information Theory and Statistical Outlier Detection
本文的主要贡献是设计了一个信息检索（IR）技术的基础上，数学信息论（使用归一化压缩距离- NCD），统计技术（离群值），和新的数据库结构的组织。本文展示了如何将它们集成到通用数据库中，使用长（基于文本的）查询检索信息。文中分析了两个重要问题。一方面，当文档之间的距离很低并且存在实际相似性时，如何检测“误报”。另一方面，我们提出了一种方法来构建一个文档数据库，其中相似性距离估计依赖于所选文本的长度。最后，已经进行了研究以前的问题的实验评估。
2007-11-27 cs.IR cs.IT math.IT
Entropy Measures vs. Algorithmic Information
数学熵和香农熵是两种概念上不同的信息度量，前者基于程序的大小，后者基于概率分布。然而，众所周知，对于任何递归概率分布，算法熵的期望值等于其香农熵，直到一个仅取决于分布的常数。我们研究了$α$阶的Rényi和Tsallis熵是否存在类似的关系，表明它只适用于1阶的Rényi和Tsallis熵（即，Shannon entropy）。关于时间有界的模拟关系，我们表明，对于分布，使累积概率分布是可计算的时间$t(n)$，时间有界的算法熵（其中分配的时间是$nt(n)\log (nt(n))$）的预期值是在同一范围内的无界版本。因此，对于这些分布，香农熵捕获了计算可访问信息的概念。证明了对于普适时间有界分布$\m^t(x)$，Tsallis熵和Rényi熵收敛当且仅当$α$大于1.
2010-06-02 cs.CC cs.IT math.IT
An Algorithmic Information Distortion in Multidimensional Networks
网络复杂性、网络信息量分析以及图表示的无损压缩性在网络分析和网络建模中起着重要的作用。随着多维网络（如时变、多层或动态多层网络）在网络科学中获得更多的相关性，研究在哪些情况下基于应用于图的算法信息论的通用算法方法不能直接导入多维情况变得至关重要。在这个方向上，作为无损压缩性失真的最坏情况，随着不同维度的数量线性增加，本文提出了一个反直觉的现象，当处理非均匀和足够大的多维空间内的网络时。特别是，我们证明了，在一般情况下，对同构于可压缩单重网络的多维网络进行编码所需的算法信息可能会显示出指数级更大的失真。
2020-10-05 cs.DM cs.IT cs.SI
A statistical mechanical interpretation of algorithmic information theory
我们开发了一个统计力学的解释算法信息论通过引入热力学量的概念，如自由能，能量，统计力学熵，比热，到算法信息论。我们调查这些数量的属性，通过程序大小的复杂性，从算法的随机性的角度来看。然后发现，在解释中，温度起着所有这些热力学量的值的压缩率的作用，其中包括温度本身。反映这种自参考性质的压缩率的温度，我们得到不动点定理的压缩率。
2008-01-28 cs.CC cs.IT math.IT
Algorithmic Information Theory for Graph Edge Grouping and Substructure Analysis
College of Computer Studies/Human-X Interactions Lab, De La Salle University（德拉萨大学计算机科学与人类-X交互实验室）
本文利用算法信息理论中的块分解法和边扰动方法，研究图边分组与子结构分析，验证了该理论在测量和分析复杂性方面的可行性。
2026-01-18 cs.IT math.IT
The normalized algorithmic information distance can not be approximated
已知归一化算法信息距离$N$不可计算且不可半计算。我们表明，对于所有的$ε< 1/2$，有没有半可计算的功能，从$N$不同的最多~ $ε$。此外，对于任何可计算函数$f$使得$|\lim_t f(x,y,t) - N(x,y)| \le ε$和对于所有$n$，存在长度为$n$使得$\sum_t |f(x,y,t+1) - f(x,y,t)| \ge Ω(\log n)$的字符串$x,y$。这是最佳的常数因子。我们还证明了$N$的极限近似的最大振荡数是$Ω(n/\log n)$。这加强了来自[K]的$ω(1)$下界。Ambos-Spies，W. Merkle和S.A. Terwijn，2019，归一化信息距离和振荡层次，见arXiv：1708.03583。
2020-02-16 cs.CC cs.IT math.IT
An algorithmic information-theoretic approach to the behaviour of financial markets
使用频率分布的每日收盘价时间序列的几个金融市场指数，我们调查是否偏离等概率序列分布的数据中发现的算法信息理论预测，可能会占一些偏离的金融市场从对数正态分布，如果是这样的偏差，有多少说，在什么序列长度。我们这样做是通过比较分布的二进制序列从实际的时间序列的金融市场和系列建立从纯粹的算法手段。我们的讨论是一个起点，为进一步调查的市场作为一个基于规则的系统与'算法'的组成部分，尽管其明显的随机性，并使用算法概率理论与新的工具，可以应用到研究的市场价格现象。主要的讨论是根据经济学领域的共同假设来进行的，这些假设与市场的算法观点一致。
2010-08-15 cs.CE cs.IT math.IT
Properties of Algorithmic Information Distance
本文研究未归一化算法信息距离$d_K$的理论性质，证明其相关尺度嵌入特性、非欧氏距离属性，同时构建研究框架工具并提出开放问题。
2025-07-29 cs.IT math.IT math.MG
Precise Expression for the Algorithmic Information Distance
我们考虑Bennett、Gács、Li、Vitányi和Zurek在1998年提出的两个对象$x$和$y$之间的信息距离的概念，作为从$y$计算$x$以及从$x$计算$y$的程序的最小长度。本文证明了在加性对数项下距离等于$\max (K(x|y),K(y|x))$，并证明了这不能提高到$O(1)$精度。我们重新审视定义中的微妙问题，并证明了这个猜想。我们表明，如果距离至少是对数的长度，那么这个等式并不持有$O(1)$精度为字符串的长度相等。因此，对于这样的字符串，三角不等式和特征都以最佳精度成立。最后，我们将结果推广到有界大小的集合$S$。我们表明，对于每个常数~ $s$，打印$s$元素集$S \subseteq \{0,1\}^n$给定其任何元素的最短的程序，具有最多$\max_{w \in S} K(S|w) + O(1)$的长度，只要这个最大值至少是对数的~ $n$。
2020-08-30 cs.IT math.IT
Distributed compression through the lens of algorithmic information theory: a primer
分布式压缩是由多个参与方压缩相关数据的任务，每个参与方拥有一段数据并单独行动。经典的Slepian-Wolf定理（D. Slepian，J.K. Wolf，IEEE Transactions on Inf. Theory，1973）表明，如果数据是由来自联合分布的独立抽取生成的，即由无记忆随机过程生成的，则当各方一起行动时，分布式压缩可以实现与集中式压缩相同的压缩率。最近，作者（M。Zimand，STOC 2017）在数学信息论（也称为Kolmogorov复杂性）的框架中获得了Slepian-Wolf定理的模拟版本。与经典定理相比，AIT版本适用于单个字符串，没有任何关于生成过程的假设。唯一的要求是各方知道输入字符串的复杂性概况，这是数据相关性的简单定量度量。本文的目标是以一种可访问的形式呈现，省略了参考文献（M。Zimand，STOC 2017）。
2017-06-26 cs.CC cs.IT math.IT
Algorithmic information theory
CWI（荷兰国家数学与计算机科学研究所）
我们介绍算法信息论，也被称为柯尔莫哥洛夫复杂性理论。我们解释的主要概念，这种定量方法来定义“信息”。我们讨论在何种程度上柯尔莫哥洛夫和香农的信息论有一个共同的目的，以及他们根本不同。我们表明如何在理论的最新发展允许一个正式区分“结构”（有意义的）和“随机”的信息所测量的Kolmogorov结构函数，这导致奥卡姆剃刀在归纳推理的数学形式化。最后，我们讨论了该理论的一些哲学含义。
2008-09-17 cs.IT cs.LG math.IT
An algorithmic complexity interpretation of Lin's third law of information theory
代替静态熵，我们断言静态结构（如固体）的柯尔莫哥洛夫复杂性是无序（或混沌）的适当度量。在周围完全随机的宇宙中，一个静态结构充当了一个干扰实体，它在随机性中引入了局部破坏。这通过选择规则$R$来建模，该选择规则选择命中结构的随机输入序列的子序列。通过随机二元序列随机性和混沌性的不等式，我们认为Lin的稳定性概念对应于所选子序列中1的频率的稳定性。这就解释了为什么更复杂的静态结构更不稳定。林的第三定律被表述为静态结构朝着符合宇宙的完美随机性所经历的必然变化。
2008-03-16 cs.CC cs.IT math.IT
Information-theoretic and algorithmic thresholds for group testing
在群体测试问题中，我们的目标是在一个大的群体中识别出少数受感染的个体。我们利用一个程序，可以测试一组多个人，与测试结果出来积极的，如果至少有一个人在组中被感染。在所有测试同时进行的情况下，确定所有个体的状态所需的最少测试次数是多少？在最近的测试设计中[Aldridge et al. 2016]这些个体被随机分配到测试组，每个个体加入相同数量的组。我们精确地确定了这个随机设计中所需的测试数量的临界值，以便从信息理论上可以推断出每个人的感染状态。此外，我们分析了两个有效的推理算法。这些结果解决了[Aldridge et al.] 2014年，Johnson et al. 2019年]。
2020-09-30 cs.DM cs.IT math.IT
Algorithmic Networks: central time to trigger expected emergent open-endedness
本文研究了可以在网络上共享信息的复杂系统的涌现性和复杂性。为此，我们使用的理论方法，从信息论，可计算性理论和复杂网络。研究的一个关键问题是，当一群可计算系统联网时，与孤立时相比，会产生多少紧急复杂性（或信息）。首先，我们定义了一个网络化理论机器的一般模型，我们称之为算法网络。然后，我们缩小我们的范围来研究算法网络，优化节点的平均适应度，在这种情况下，每个节点模仿最适合的邻居和随机生成的人口是由一个随时间变化的图网络。我们表明，有图形拓扑条件，使这些算法网络有足够大的人口的预期紧急开放性的属性。换句话说，当种群规模趋于无穷大时，节点的期望涌现算法复杂度趋于无穷大。给定一个动态网络，我们表明，这些条件意味着存在一个中心时间触发预期的紧急开放。此外，我们表明，与网络大小相比，直径较小的网络满足这些条件。我们还讨论了未来的研究的基础上，我们的研究结果是如何相关的一些问题，在网络科学，信息论，可计算性理论，分布式计算，博弈论，进化生物学，在复杂系统中的协同作用。
2019-03-19 cs.IT math.CO math.IT
Parselets: An Abstraction for Fast, General-Purpose Algorithmic Information Calculus
本研究提出名为parselet的可编程递归数据结构，构建了可快速计算算法信息度量的理论框架，融入伊壁鸠鲁原则与最小变化原理生成数据最小充分模型，推导两种信息度量并验证了其实用性。
2025-02-23 cs.IT math.IT
Compression of data streams down to their information content
根据柯尔莫哥洛夫复杂性，每个有限二进制字符串都可以压缩为一个最短的代码-它的信息内容-从中可以有效地恢复。我们调查在何种程度上，这持有无限二进制序列（流）。我们设计了一种新的编码方法，该方法将每个流$X$均匀地编码成算法随机流$Y$，以这样的方式，$X$的第一$n$位可从$Y$的第一$I(X\upharpoonright_n)$位恢复，其中$I$是在$X$的所有前缀上定义的任何部分可计算信息内容度量，并且其中$X\upharpoonright_n$是长度为$n$的$X$的初始段。因此，如果$g$是$X$的初始段无前缀复杂度的任何可计算上限，则$X$可从算法上随机的$Y$计算，其中最多使用$g$。或者（不使用这种可计算的限定$g$），可以实现由$K(X\upharpoonright_n)+\log n$限定的预言机使用。这为算法信息论提供了香农信源编码定理的强模拟。
2019-01-22 cs.IT math.IT
Algebraic Barriers to Halving Algorithmic Information Quantities in Correlated Strings
本文通过有限射影平面构造显式反例，证明相关字符串三元组无法同时将条件Kolmogorov复杂度减半，并由此导出秘密密钥协商协议的通信复杂度下界。
2025-10-28 cs.DM cs.IT math.IT
Algorithmic statistics revisited
统计学的任务是为观测数据提供充分的统计假设（模型）。但是，什么是“适当”的模式呢？要回答这个问题，需要使用算法信息论的概念。事实证明，对于每个数据串$x$，人们可以自然地定义“随机性曲线”，这是一条曲线，代表了模型复杂性和适当性之间的权衡。这条曲线有四种不同的等价定义：（1）~随机性不足，（2）~最小描述长度，（3）~在简单字符串列表中的位置和（4）~Kolmogorov复杂度，解压缩时间以忙碌海狸函数为界。我们提出了一个调查的相应的定义和结果，它们相互关联。
2015-04-27 cs.IT math.IT
An operational characterization of mutual information in algorithmic information theory
我们表明，互信息，在柯尔莫哥洛夫复杂度的意义下，任何一对字符串$x$和$y$是相等的，达到对数精度，最长的秘密密钥的长度，双方，一个有$x$和对的复杂度配置文件，另一个有$y$和对的复杂度配置文件，可以通过概率协议与公共信道上的交互建立。对于$\ell > 2$，可以由$\ell$方从字符串$(x_1, \ldots , x_\ell)$的元组建立的最长共享秘密（每一方具有元组的一个分量和元组的复杂度简档）等于元组的复杂度减去将元组分发给所有方所需的最小通信，直到对数精度。对于具有公共随机性的秘密密钥协商协议，建立了产生最大长度的秘密密钥协商协议的通信复杂性.我们还表明，如果通信复杂性低于既定的阈值下降，那么只有很短的密钥可以得到。
2019-04-29 cs.CC cs.IT math.IT
Algorithmic Information Dynamics of Persistent Patterns and Colliding Particles in the Game of Life
在不损失对其他系统（包括可能的非确定性系统）的概括的情况下，我们展示了从算法信息动力学中提取的方法在康威的生命游戏（GoL）中对紧急和持续模式、图案和碰撞粒子的表征和分类的应用，一个元胞自动机作为一个案例研究，说明这种想法可以应用到一个典型的离散动力系统的方式。我们探讨了封闭系统的轨道可能会出现开放，因为无法访问的全球性规则，管理整个系统的本地观测的问题。我们还调查方面的对称性与复杂性的模式，发生在高频率的GoL（我们因此称之为图案）的分布，并分析这些图案的分布，以跟踪其算法概率随时间的变化。我们演示了如何引入的工具是一种替代其他可计算的措施，无法捕捉变化的新兴结构在不断发展的复杂系统，往往是太小或太微妙的方法，如无损压缩和香农熵的特点。
2018-04-05 cs.IT math.DS math.IT
Algorithmic statistics: forty years later
统计学有两种不同的（几乎是正交的）动机。从哲学的角度来看，它试图形式化统计如何工作，以及为什么一些统计模型比其他模型更好。在引入“好模型”的概念之后，一个自然的问题出现了：对于某些数据，可能没有好模型？如果是，这些坏的（“非随机”）数据“在现实生活中“出现的频率是多少？另一个更技术性的动机来自算法信息论。在这个理论中，引入了有限对象的复杂性（=这个对象中的信息量）的概念;它为每个对象分配了一些数字，称为其算法复杂性（或柯尔莫哥洛夫复杂性）。数学统计提供了一种更细粒度的分类：对于每个有限对象，定义了一些曲线来表征其行为。事实证明，几个不同的定义给出（近似）相同的曲线。在这个调查中，我们试图提供一个在该领域的主要成果（包括最重要的充分证明），以及一些历史评论的阐述。我们假设读者熟悉算法信息（Kolmogorov复杂度）理论的主要概念。
2017-03-07 cs.CC cs.IT math.IT
Algorithmically independent sequences
如果两个对象不相互影响，则它们是独立的。独立性在经典信息论中得到了很好的理解，但在算法信息论中却很少。本文在算法信息论的框架下，提出了任意无限二元序列的两种独立性，并研究了它们的性质。我们提出的两个独立性概念具有人们自然期望的一些直观性质。例如，对于每个序列$x$，与$x$无关（在两种意义中较弱的意义上）的序列集合具有测度1。对于这两个独立的概念，我们调查到什么程度的独立序列对，可以有效地通过图灵约简（从一个或多个输入序列）。在这方面，我们证明了几个不可能的结果。例如，研究表明，没有有效的方法可以从具有正构造性豪斯多夫维度的任意序列产生两个独立（即使是较弱类型的独立）且具有超对数复杂度的序列。最后，讨论了几个问题和开放的问题。
2008-02-04 cs.IT cs.SE math.AG
Correspondence and Independence of Numerical Evaluations of Algorithmic Information Measures
我们表明，实值近似Kolmogorov-Chaitin（K_m）使用的算法编码定理计算的输出频率的一个大的一组小的确定性图灵机与多达5个状态（和2个符号），是在协议所使用的指令数的图灵机生产s，这是符合严格的整数值程序大小的复杂性。尽管如此，K_m被证明是一个更细粒度的测量和一个潜在的替代方法的无损压缩算法的小实体，压缩失败。我们还表明，K_m和所使用的指令数与Bennett的逻辑深度LD（s）没有任何相关性，而不是理论所预测的。理论和数值计算之间的协议表明，尽管这些理论措施的不可判定性，近似是稳定的和有意义的，即使是小程序和短字符串。我们还宣布了第一个测试版的在线数学复杂度计算器（OACC），基于理论概念的组合，作为编码定理方法的数值实现。
2013-02-13 cs.CC cs.FL cs.IT
An Algorithmic Information Calculus for Causal Discovery and Reprogramming Systems
我们证明了系统的算法信息内容与其潜在动力学密切相关，从而为在信息理论空间中移动系统并在相空间中控制它们提供了一条途径。为此，我们进行了实验，并验证了（1）一个非常大的一组小图，（2）一些具有不同拓扑结构的大型网络，以及（3）来自广泛研究和验证的遗传网络的生物网络（大肠杆菌）以及来自高质量数据库的大量分化（Th 17）和分化的人细胞（Harvard's CellNet），其结果符合实验验证的生物学数据。基于这些结果，我们引入了一个概念框架，一个基于模型的干预演算和可重编程的措施，引导，操纵，并重建非线性动力系统的动力学从部分和无序的观察。该方法包括发现和应用一系列的控制干预的动态系统，以估计其算法的信息内容是如何影响时，它的每一个元素被扰动。该方法代表了一种替代数值模拟和统计方法推断因果机制/生成模型，并找到第一原则。我们通过重构一些离散动力系统（元胞自动机）的相空间作为案例研究和重构它们的生成规则来证明该框架的能力。因此，我们先进的工具重新编程人工和生命系统没有充分的知识或访问系统的实际动力学方程或概率分布产生一套通用的和无参数的算法的广泛适用性，从因果关系，降维，特征选择和模型生成。
2018-04-05 cs.IT math.IT q-bio.OT
Emergence and algorithmic information dynamics of systems and observers
以前的工作已经表明，在软件空间中的扰动分析可以产生候选的可计算生成模型，并从对象或系统的有限描述中发现可能的因果属性，量化其每个元素相对于整体的算法贡献。定义涌现的挑战之一是，一个观察者的先验知识可能会导致一种现象在这样的观察者看来是涌现的，而在另一个观察者看来是可还原的。通过形式化的行为，观察动力系统之间的相互扰动，我们表明，算法信息的出现依赖于观察员的正式知识，而强大的其他主观因素，特别是：选择的程序设计语言和测量方法;错误或失真的信息采集过程中;和信息处理成本。这就是所谓的依赖性涌现（ODE）。此外，我们证明了紧急算法信息的无界和快速增长意味着渐进的独立于竞争者的涌现（AOIE）。与ODE不同，AOIE是一种涌现类型，对于任何观察者可能设计的任何形式理论，涌现现象将仍然被认为是涌现的。我们证明了存在一个进化模型，显示AOIE的历时变化和网络模型，显示AOIE的整体变化。我们的研究结果表明，有限离散确定性动力系统，可计算系统，和不可约的信息内容的措施，AOIE是最强的形式出现，正式的理论可以达到的背景下。
2021-09-30 cs.FL cs.IT cs.MA
Information Theoretic Properties of Markov Random Fields, and their Algorithmic Applications
Massachusetts Institute of Technology（麻省理工学院）
马尔可夫随机场是高维概率分布的流行模型。多年来，人们对这类问题的数学、统计和算法等方面的问题进行了大量的研究.直到最近，唯一已知的可证明学习它们的算法依赖于穷举搜索，相关性衰减或各种不相干假设。Bresler给出了有界度图上一般Ising模型的学习算法。他的方法是基于伊辛模型中关于互信息的结构结果。在这里，我们采取一个更概念化的方法来证明下限的互信息，通过建立一个适当的零和游戏。我们的证明推广远远超出伊辛模型，任意马尔可夫随机场与高阶相互作用。作为应用，我们得到了学习马尔可夫随机场上的有界度图的$n$节点的$r$阶的相互作用在$n^r$时间和$\log n$样本复杂度的算法。样本复杂度是信息理论上最优的，直到最大程度的依赖。运行时间几乎是最佳的标准假设下的硬度学习奇偶噪声。
2017-05-31 cs.DS cs.IT cs.LG
Kolmogorov complexity in the USSR (1975--1982): isolation and its end
这些回忆是关于苏联算法信息论的“黑暗时代”。在1960年代和1970年代初对这一主题产生极大兴趣之后，苏联在这一领域工作的人数显着减少。当时洛杉矶莱文发表了一系列对现代算法信息论具有开创性意义的论文。然后他离开了苏联，新的兴趣浪潮是由A.N.的谈话引发的。Kolmogorov在莫斯科国立（罗蒙诺索夫）大学数学系（逻辑和算法司）研讨会由他组织;几个年轻的研究人员获得了一些新的成果，算法信息论。
2019-07-11 cs.GL cs.IT math.IT
Tighter Bounds for Algorithmic Complexity Estimation Using a Reusable Code-Based Block Decomposition Method
Algorithmic Dynamics Lab, Karolinska Institute & King’s College London（算法动力学实验室，卡罗林斯卡学院与伦敦国王学院）；School of Electrical and Computer Engineering, University of Campinas (UNICAMP)（坎皮纳斯大学电气与计算机工程学院）；Oxford Immune Algorithmics, Oxford University Innovation & London Institute for Healthcare Engineering（牛津免疫算法公司，牛津大学创新部与伦敦医疗工程研究所）；Centre for Logic, Epistemology and the History of Science, University of Campinas (UNICAMP)（坎皮纳斯大学逻辑、认识论与科学史中心）；DEXL, National Laboratory for Scientific Computing (LNCC)（DEXL，巴西国家科学计算实验室）；Departments of Biomedical Computing and Digital Twins, School of Biomedical Engineering and Medical Sciences, King’s Faculty of Life Sciences and Medicine, King’s College London（伦敦国王大学生物医学与医学科学学院生物医学计算与数字孪生系）；King’s Institute for Artificial Intelligence, King’s College London（伦敦国王学院人工智能研究所）
提出块分解方法（BDM）的改进版本，通过利用块间依赖和可重用代码减少描述长度，形式化为算法注意力，并证明其与算法互信息的关系。
2026-06-23 cs.CC cs.IT math.IT
Communication Complexity of the Secret Key Agreement in Algorithmic Information Theory
本文研究算法信息论中秘密密钥协商的最坏情况通信复杂度，揭示其随密钥长度变化的不同行为，并利用图谱、扩展器混合引理和信息论技术完成证明。
2024-05-09 cs.DM cs.IT math.IT
Computable Model Discovery and High-Level-Programming Approximations to Algorithmic Complexity
受算法信息论的启发，程序发现问题可以帮助发现自然和人工现象的潜在生成机制的候选者。然而，这样的反问题的不可计算性，显着限制了更广泛的应用穷举法。在这里，我们提出了一种基于IMP的方法的概念证明，IMP是一种高级命令式程序设计语言。它的主要优点是，概念上复杂的计算程序更简洁地表达，不像低级别的模型，如图灵机或细胞自动机。我们调查，如果一个更有表现力的高级程序设计语言可以更有效地产生近似算法的递归函数的复杂性，往往是特别的数学兴趣。
2021-12-22 cs.IT cs.LO math.IT
K-trivial, K-low and MLR-low sequences: a tutorial
算法随机性和算法信息论的一个显著成就是发现了K-平凡集、K-低集和马丁-洛夫-随机低集的概念：三个不同的定义由于非常重要的原因而被证明是等价的。本文根据作者之一（L.B.）在Poncelet实验室（CNRS，莫斯科）在2014年，提供了这种等价性的证明和一些相关结果的阐述。我们假设读者熟悉算法信息论的基本概念。
2015-10-01 cs.IT math.IT math.LO
Algorithmic Information Dynamics of Learning: A Certified, Differentiable Complexity Controller for Grokking
Oxford Immune Algorithmics（牛津免疫算法公司）；Oxford University Innovation（牛津大学创新公司）；London Institute for Healthcare Engineering（伦敦医疗工程研究所）
本文利用可微算法复杂性估计器作为控制器，在奥卡姆边界内加速grokking，通过复杂性门以更少干预拯救失败种子，并揭示时机而非归因是核心贡献。
2026-09-16 cs.IT cs.LG math.IT
Algorithmic Statistics
虽然柯尔莫哥洛夫复杂度是个体有限对象的信息内容的公认绝对度量，但是对于个体数据样本和汇总数据中的信息的个体模型之间的关系，需要类似的绝对概念，例如，数据样本通常来自的有限集（或概率分布）。基于个体对象之间的这种关系的统计理论可以被称为算法统计，与处理概率集合之间的关系的经典统计理论相反。我们发展了统计量、充分统计量和最小充分统计量的算法理论。该理论基于两部分代码，由统计代码（总结数据中规律性和有意义信息的模型）和模型到数据代码组成。与概率统计理论中的情况相反，（最小）充分性的算法关系是个体模型和个体数据样本之间的绝对关系。我们区分隐式和显式描述的模型。我们给出了所有数据样本的算法（Kolmogorov）最小充分统计量的两种描述模式的特征-在某些约束下的显式模式。我们还加强和阐述了“柯尔莫哥洛夫结构函数"和"绝对非随机对象”的早期结果-这些罕见的对象，其中最简单的模型，总结其相关信息（最小充分统计量）至少是复杂的对象本身。我们证明了概率概念和算法之间的密切关系。
2001-10-09 cs.IT cs.LG math.IT
Low complexity, low probability patterns and consequences for algorithmic probability applications
开发新的方法来估计概率可能对科学，统计学和工程学有价值。通过考虑不同的输出模式的信息内容，最近的工作调用算法信息论表明，先验概率预测模式的复杂性的基础上，可以在一个广泛的类的输入输出映射。这些算法概率预测不依赖于输出模式如何产生的详细知识或历史统计数据。虽然在数量上相当准确，但这些预测的主要缺点是它们是作为模式概率的上限给出的，但许多低复杂性，低概率模式发生，上限几乎没有预测价值。在这里，我们研究这种低复杂性，低概率的现象，通过查看示例地图，即有限状态转换器，自然时间序列数据，RNA分子结构和多项式曲线。一些机制导致低复杂性，低概率的行为被确定，我们认为这种行为应被假定为默认在现实世界中的算法概率研究。此外，我们还研究了算法概率的一些应用，并讨论了低复杂性，低概率模式的几个研究领域，包括简单的物理学和生物学，先验概率预测，所罗门诺夫归纳和奥卡姆剃刀，机器学习，和密码猜测的一些影响。
2022-07-06 cs.CC cs.IT math.IT
The 2026 Algorithmic Information Theory Data Compression Challenge
University of Aveiro（阿威罗大学）；IEETA - Institute of Electronics and Informatics Engineering of Aveiro（阿威罗电子与信息技术研究所）；LASI - Intelligent Systems Associate Laboratory（智能系统联合实验室）；DoV - Department of Virology, University of Helsinki（赫尔辛基大学生物病毒学系）
提出2026年算法信息论数据压缩挑战赛，通过公共训练和隐藏测试数据集评估117个通用无损压缩器，发现性能强烈依赖优化标准，并验证了概率建模、隐藏测试和外部数据集的重要性。
2026-06-17 cs.DS cs.IT math.IT
On the Algorithmic Nature of the World
我们提出了一个测试的基础上的理论算法的复杂性和实验评估莱文的普遍分布，以确定证据支持或违反声称，世界是算法的性质。为此，我们对来自物理来源的数据的频率分布进行了统计比较-信息储存库，如图像、存储在硬盘驱动器中的数据、计算机程序和DNA序列-和纯算法手段产生的频率分布-通过运行抽象计算设备，如图灵机、细胞自动机和PostTag系统。统计相关性被发现，并测量其显着性。
2010-08-11 cs.CC cs.IT math.IT
Strategic Decision-Making in the Presence of Information Asymmetry: Provably Efficient RL with Algorithmic Instruments
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）
我们研究离线强化学习下的一种新的模型称为战略MDP，它的特点是一个主要的和一个序列的近视代理与私人类型之间的战略相互作用。由于企业的双层结构和私有类型，战略MDP涉及到委托人和代理人之间的信息不对称。我们专注于离线RL问题，其目标是基于由历史交互组成的预先收集的数据集，学习主体关于目标代理群体的最优策略。未观察到的私有类型会混淆这样的数据集，因为它们会影响主体收到的奖励和观察。我们提出了一种新的算法，悲观策略学习与学习工具（Pessimic），它利用工具变量回归和悲观主义原则的思想，学习一个接近最优的校长的政策，在一般函数逼近的背景下。我们的算法是基于关键的观察，主要的行动作为有效的工具变量。特别是，在离线数据集上的部分覆盖假设下，我们证明了该算法输出一个$1 / \sqrt{K}$ -最优策略，其中$K$是收集到的轨迹的数量。我们进一步将我们的框架应用到一些特殊的策略MDP情况，包括策略回归，策略强盗和不遵守推荐系统。
2022-08-23 cs.IT cs.LG math.IT
Quantifying Loss of Information in Network-based Dimensionality Reduction Techniques
为了应对大型网络的复杂性，已经开发了许多图的降维技术。然而，在采用这些技术时，信息丢失或保存的程度尚不清楚。在这里，我们开发了一个框架，基于算法信息理论，量化的程度时，网络模体分析，图谱和光谱稀疏化方法被应用到超过20个不同的生物和人工网络的信息被保存。我们发现，频谱稀疏化是高度敏感的高数量的边缘删除，导致显着的不一致性，和图频谱方法是最不规则的，捕捉代数信息在一个浓缩的方式，但在很大程度上失去了大部分的原始网络的信息内容。然而，该方法表明，网络模体分析擅长于保留网络的相对算法信息内容，因此验证和推广了一个显著的事实，即尽管它们固有的组合可能性，但局部模体保留信息的程度使得基本属性在不同的网络中完全可恢复，以确定它们所属的家族组（例如遗传网络与社会网络）。因此，我们的算法信息方法提供了一个严格的框架，使不同的数据降维方法之间的基本评估和比较，从而促进识别和评估新旧方法的能力。
2015-08-27 cs.IT math.IT q-bio.MN
Algorithmic Data Analytics, Small Data Matters and Correlation versus Causation
这是一个方面的算法信息理论的审查，可能有助于制定有关复杂的高度不可预测的系统的问题的框架。我们首先对比香农熵和Kolmogorov-Chaitin复杂性，概括了相关性和因果关系之间的差异，然后从算法复杂性和算法概率出发，调查经典结果，突出它们与自动机频率分布研究的深刻联系。最后，我们展示了经济和生物系统的长期算法预测模型可能需要无限的计算，但局部近似的短期估计是可能的，从而展示了小数据如何能够为复杂的“大数据”的重要特征提供重要的见解。
2017-07-26 cs.CC cs.CE cs.IT
Algorithmic complexity of multiplex networks
多层网络保存了复杂系统各组成部分之间不同相互作用的全部信息，最近已被证明在建模交通网络、社交圈和人脑方面非常有用。一个基本的和仍然开放的问题是评估是否以及何时系统的多层表示提供了一个比经典的单层聚合网络质量更好的模型。在这里，我们从算法信息论的角度来解决这个问题。我们提出了一种直观的方式来编码一个多层网络成一个比特串，我们定义的多层网络的复杂性的比率的Kolmogorov复杂性的比特串相关联的多层和相应的聚合图。我们发现，存在一个最大量的额外的信息，多层模型可以编码相对于等效的单层图。我们展示了我们的复杂性测度如何用于获得多维系统的低维表示，将多层网络聚类为一小部分有意义的超家族，并检测不同时变多层图演化中的临界点。有趣的是，所提出的方法获得的低维多重网络也保留了原始系统的大部分动力学性质，例如，多重SIS模型中的流行病阈值的保留。这些结果表明，信息理论的方法可以有效地用于静态和时变多维复杂系统的更系统的分析。
2020-06-26 cond-mat.stat-mech cs.IT math.IT
