Low complexity, low probability patterns and consequences for algorithmic probability applications
开发新的方法来估计概率可能对科学,统计学和工程学有价值。通过考虑不同的输出模式的信息内容,最近的工作调用算法信息论表明,先验概率预测模式的复杂性的基础上,可以在一个广泛的类的输入输出映射。这些算法概率预测不依赖于输出模式如何产生的详细知识或历史统计数据。虽然在数量上相当准确,但这些预测的主要缺点是它们是作为模式概率的上限给出的,但许多低复杂性,低概率模式发生,上限几乎没有预测价值。在这里,我们研究这种低复杂性,低概率的现象,通过查看示例地图,即有限状态转换器,自然时间序列数据,RNA分子结构和多项式曲线。一些机制导致低复杂性,低概率的行为被确定,我们认为这种行为应被假定为默认在现实世界中的算法概率研究。此外,我们还研究了算法概率的一些应用,并讨论了低复杂性,低概率模式的几个研究领域,包括简单的物理学和生物学,先验概率预测,所罗门诺夫归纳和奥卡姆剃刀,机器学习,和密码猜测的一些影响。
2022-07-06 cs.CC cs.IT math.IT
The Thermodynamics of Network Coding, and an Algorithmic Refinement of the Principle of Maximum Entropy
最大熵原理(Maxent)通常用于获得先验概率分布,作为在某些限制下获得吉布斯测度的方法,给出系统与分布中其余元素相比处于某种状态的概率。由于经典的基于熵的Maxent崩溃的情况下混淆所有不同程度的随机性和伪随机性,在这里,我们考虑到系统的生成机制,在合奏中考虑到分离的对象,可能符合一些限制下的原则,其熵是最大的,但可以从那些实际上是算法随机递归生成提供一个细化经典Maxent。我们利用因果算法演算,根据重新编程计算机代码的难度,推导出类似于数学的结果。利用可计算随机性和算法随机性之间的区别,我们量化了与重编程相关的信息损失成本。为了说明这一点,我们应用算法的改进Maxent图,并介绍了一个最大随机优先附件(MARPA)算法,概括了以前的方法。我们讨论了网络随机性评估的实际意义。我们的分析提供了洞察力,可重编程性的不对称性似乎起源于一个非单调的关系,算法的概率。我们的分析激发了对上述不对称性、可重编程性和计算的起源和后果的进一步分析。
2019-06-06 cs.IT math.IT
Kolmogorov's Algorithmic Mutual Information Is Equivalent to Bayes' Law
给定两个事件$A$和$B$,贝叶斯定律基于以下论点:给定$B$,$A$的概率与给定$A$,$B$的概率成正比。当概率在贝叶斯意义上解释时,贝叶斯定律构成了一种学习算法,它显示了人们如何从新的观察中学习,以提高他们对与该观察一致的理论的信念。Kolmogorov的算法信息的概念是基于算法理论的,它提出了一个关于有限字符串中关于自身的信息量的客观度量,并得出结论:对于任何两个有限字符串$x$和$y$,$x$中关于$y$的信息量几乎等于$y$中关于$x$的信息量。我们把柯尔莫哥洛夫的这个结论看作是贝叶斯定律的算法信息版本。这可以很容易地证明,如果考虑工作的莱文前缀柯尔莫哥洛夫复杂性,然后表示数量的柯尔莫哥洛夫互信息之间的两个有限字符串使用所罗门诺夫的先验概率。
2019-06-29 cs.IT math.IT
Lecture Notes on Algorithmic Information Theory
本讲义基于2023年研究生课程,打破学科界限,系统介绍算法信息论,涵盖从可计算性理论到前缀复杂度及形式系统信息论极限等核心主题。
2025-04-22 cs.IT cs.LO math.IT
Coding-theorem Like Behaviour and Emergence of the Universal Distribution from Resource-bounded Algorithmic Probability
University of Oxford(牛津大学);LABORES
由于其强大的特性及其作为归纳/推理问题的最佳解决方案的广泛应用,先前在科学文献中被称为“奇迹”,概率(AP)和相关的普遍分布(近似)在科学中是(或应该是)最重要的。在这里,我们调查的出现,出现和收敛的速度,和编码定理的行为,AP在图灵次通用模型的计算。我们调查的经验分布的计算模型在乔姆斯基层次。我们引入的措施,算法的概率和算法的复杂性的基础上资源有限的计算,在以前彻底调查的分布产生的输出分布的图灵机。这种方法允许在计算层次结构的每个级别上对基于算法(Kolmogorov-Chaitin)复杂性的估计进行数值近似。我们证明,所有这些估计是相关的排名,他们收敛的排名和值作为计算能力的函数,尽管计算模型之间的根本差异。在由于有限的资源和物理退化而在图灵普遍水平以下运行的自然过程的背景下,对算法规则产生的自然偏差的调查可能会揭示结果的分布。我们发现,高达60%的简单性/复杂性偏差的分布,即使是最弱的计算模型可以占的概率在其近似的普遍分布。
2018-04-13 cs.AI cs.CC cs.IT
An Algorithmic Approach to Information and Meaning
我将调查一些相关的问题,以哲学讨论的信息,考虑到发展的算法信息论(AIT)。我将提出,意义在贝内特的逻辑深度的意义上是深的,算法概率可能提供一个强大的算法定义的意义所需的稳定性,一个考虑到解释和收件人自己的知识编码在故事附加到一个消息。
2011-09-30 cs.IT math.IT
Game arguments in computability theory and algorithmic information theory
我们提供了一些例子来说明如何将博弈论的论点用于可计算性理论和算法信息论:唯一编号定理(Friedberg),条件复杂性和总条件复杂性之间的差距,Epstein-Levin定理和Muchnik和Vyugin的一些(尚未发表的)结果
2012-09-10 cs.GT cs.IT math.IT
Entropy Measures vs. Algorithmic Information
数学熵和香农熵是两种概念上不同的信息度量,前者基于程序的大小,后者基于概率分布。然而,众所周知,对于任何递归概率分布,算法熵的期望值等于其香农熵,直到一个仅取决于分布的常数。我们研究了$α$阶的Rényi和Tsallis熵是否存在类似的关系,表明它只适用于1阶的Rényi和Tsallis熵(即,Shannon entropy)。关于时间有界的模拟关系,我们表明,对于分布,使累积概率分布是可计算的时间$t(n)$,时间有界的算法熵(其中分配的时间是$nt(n)\log (nt(n))$)的预期值是在同一范围内的无界版本。因此,对于这些分布,香农熵捕获了计算可访问信息的概念。证明了对于普适时间有界分布$\m^t(x)$,Tsallis熵和Rényi熵收敛当且仅当$α$大于1.
2010-06-02 cs.CC cs.IT math.IT
Stationary Algorithmic Probability
Kolmogorov复杂度和算法概率仅定义为可加性。乘法常数,因为它们的实际值取决于通用参考计算机的选择。在本文中,我们分析了一种自然的方法来消除这种机器依赖。我们的方法是将算法概率分配给不同的计算机本身,基于“非自然”计算机应该很难模仿的想法。因此,我们研究通用计算机随机相互仿真的马尔可夫过程。相应的平稳分布,如果存在的话,将在计算机上和二进制字符串上给出一个自然的、与机器无关的概率测度。不幸的是,我们表明,没有固定的分布存在于所有计算机的集合,因此,这种方法不能消除机器依赖。此外,我们证明了失败的原因有一个明确而有趣的物理解释,这表明,任何其他可以想象的试图摆脱这些附加常数的尝试在原则上也必须失败。然而,我们表明,限制到某些子类的计算机可能有助于摆脱一定数量的机器依赖在某些情况下,和由此产生的固定的计算机和字符串概率有美丽的属性。
2009-02-04 cs.CC cs.IT math.IT
Two-Dimensional Kolmogorov Complexity and Validation of the Coding Theorem Method by Compressibility
我们提出了一个措施的基础上的基本理论概念,算法信息论,提供了一个自然的方法来评估$n$维复杂性的问题,通过使用一个$n$维确定性图灵机。该技术是有趣的,因为它提供了一个自然的算法过程,对称性破缺产生复杂的$n$维结构,从完全对称和完全确定性的计算规则产生的分布模式所描述的算法概率。数学概率还巧妙地将模式的出现频率与其算法复杂度联系起来,从而有效地提供对所生成模式的复杂度的估计。实验验证这些概念的基础上的算法复杂性的估计,表明该措施是稳定的,在面对计算形式主义的一些变化,结果是一致的,使用无损压缩算法时,这两种方法在其适用范围内重叠的结果。然后,我们使用的二维图灵机的集合的输出频率进行分类的基本细胞自动机的时空演化的算法复杂性。
2015-08-26 cs.CC cs.IT math.IT
A Computable Measure of Algorithmic Probability by Finite Approximations with an Application to Integer Sequences
鉴于广泛使用的无损压缩算法近似算法(Kolmogorov-Chaitin)的复杂性,以及无损压缩算法在表征模式以外的统计模式没有不同的熵估计,在这里,我们探索一种替代和补充的方法。本文研究了由小型图灵机的输出分布计算的Levin测度$m$的形式性质。我们介绍和证明有限的近似$m_k$,已被用于在某些应用中作为替代无损压缩算法近似算法(柯尔莫哥洛夫-柴廷)的复杂性。我们提供的相关性质的$m$和$m_k$的证明,并比较他们莱文的普遍分布。给出了$m_k$相对于$m$的误差估计。最后,我们提出了一个应用程序的整数序列的在线百科全书的序列,这表明我们的AP为基础的措施可能会表征非统计模式,我们报告有趣的相关性与文字,功能和程序描述长度的序列。
2017-08-14 cs.CC cs.FL cs.IT
The computational inevitability of life: self-replication under resource-bounded nested algorithmic probability
Delft University of Technology(代尔夫特理工大学);Quantum Intelligence Alliance(量子智能联盟)
本文探讨了在资源受限条件下,自我复制在算法概率中的必然性,提出生命是受限计算中最简单的持久结构。
2026-01-25 cs.FL cs.IT cs.LO
The algorithmic randomness of quantum measurements
本文是对UlviYurtsever \cite{Yurtsever}的“量子力学与算法随机性”一文的评论,并简要说明了量子测量结果的算法随机性。概率源的可计算性(这意味着有一种算法可以定义随机过程或概率源生成数字的方式)和由源产生的序列或字符串的算法随机性之间存在差异。我们可能有一个没有可计算算法的源,但它可以产生可压缩或不可压缩的字符串。例如,到目前为止,还没有可计算的算法可以定义随机性的抽象含义,即使是最简单的一种,伯努利概率分布。从历史上看,许多科学家认为随机过程的算法的存在是一个矛盾,因为在他们看来,在随机变量的定义中,隐含地假设事件的发生是没有原因的,我们只是知道概率。然而,没有必要在这里讨论这个问题。正如在论文中提到的,所有模拟随机过程的算法都试图通过统计测试,并接近它的抽象意义。
2017-04-05 cs.IT math.IT quant-ph
Training-free Measures Based on Algorithmic Probability Identify High Nucleosome Occupancy in DNA Sequences
我们介绍并研究了一套适用于DNA序列的信息理论和算法复杂性性质的无训练方法,以确定其潜在的能力,以确定核小体结合位点。我们测试我们的措施,充分研究的基因组序列的不同大小来自不同的来源。这些措施揭示了已知的体内与体外预测的差异,并揭示了其潜在的精确定位(高)核小体占用。我们探讨了核小体长度内和核小体长度外不同的可能信号,发现复杂性指数是核小体占有率的信息。我们与金标准(卡普兰模型)进行比较,发现相似和互补的结果,主要区别在于我们的序列复杂性方法。例如,对于高占有率,基于复杂性的分数优于用于预测结合的Kaplan模型,这代表在预测遵循无训练方法的最高核小体占有率方面的显著进步。
2018-10-16 cs.IT math.IT q-bio.GN
Symmetry and Algorithmic Complexity of Polyominoes and Polyhedral Graphs
我们引入了算法对称性的定义,能够捕捉几何对称性的基本方面。我们回顾,研究和应用一种方法来近似算法的复杂性(也称为Kolmogorov-Chaitin复杂性)的图形和网络的基础上的概念的概率(AP)。AP是一个概念(和方法),能够递归枚举所有的可计算(因果)性质的统计性质之外。我们探索算法的复杂性-理论和数值-与几何属性主要是对称性和拓扑结构从(算法)信息理论的角度来看。我们表明,近似算法的复杂性,通过无损压缩和基于概率的方法可以表征性质的多项式,多面体,规则和准规则多面体以及多面体网络,从而证明其剖析能力。
2018-02-24 cs.CC cs.CG cs.DM
Smoothed Analysis of Sequential Probability Assignment
Caltech(加州理工学院);UC Berkeley(加州大学伯克利分校)
本文首先研究了带上下文的序贯概率分配问题的平滑分析。我们研究信息理论上的最优极大极小率以及涉及最大似然估计甲骨文算法减少的框架。我们的方法建立了一个通用的减少,从最小化最大率的顺序概率分配平滑的对手,最小化最大率的转导学习。这导致了参数类和有限VC维类的最佳(对数)快速速率。在算法方面,我们开发了一种算法,有效地挖掘到MLE甲骨文,一般类的功能。我们表明,在一般条件下,这种算法的方法产生次线性遗憾。
2023-03-08 cs.DS cs.IT cs.LG
Towards a Universal Theory of Artificial Intelligence based on Algorithmic Probability and Sequential Decision Theory
决策理论正式解决了不确定世界中理性主体的问题,如果真实的环境概率分布是已知的。Solomonoff的泛归纳理论形式化地解决了未知分布的序列预测问题。我们统一了这两种理论,并给出了强有力的论据,由此产生的通用AIXI模型在任何可计算的环境中表现最佳。AIXI模型的主要缺点是它是不可计算的。为了克服这个问题,我们构造了一个改进的算法AIXI^tl,它仍然优于任何其他时间t和空间l有界代理。AIXI^tl的计算时间为t x 2^l的数量级。
2000-12-16 cs.AI cs.CC cs.IT
Algorithmic Complexity and Reprogrammability of Chemical Structure Networks
在这里,我们解决的挑战,剖析因果属性和跟踪的化合物的转化从算法的角度来看。我们探讨了潜在的应用计算介入演算的基础上的原则,算法概率化学结构网络。我们分析了化学结构网络中的元素和共价键的敏感性算法,询问可重编程性是否提供了有关不同化合物类别转化中所涉及的热力学和化学过程的信息。我们到达数值结果表明一些物理,结构和功能特性之间的对应关系。我们的方法能够分离反映功能和自然差异的化学类别,而不考虑有关原子和分子性质的任何信息。我们的结论是,这些方法,其链接到化学信息学通过算法,概率为未来的研究。
2018-03-18 cs.CE cs.IT math.IT
Gacs Algorithmic Complexity on Hilbert Spaces and Some of its Applications
我们扩展的概念Gacs量子算法熵,最初制定了许多量子比特,无限维量子自旋链和调查的关系,这种扩展与两个量子动力学熵,近年来已经提出。进一步,我们证明了Brudno定理在具有位移动力学的量子自旋链中的推广。
2015-10-21 cs.IT math.IT quant-ph
Equivalences between learning of data and probability distributions, and their applications
数学学习理论传统上研究有效无限二进制序列(实数)的可学习性,而最近的工作[Vitanyi和Chater,2017]和[Bienvenu等人,2014]已经将该框架适用于研究来自随机数据的有效概率分布的可学习性。证明了对于实数参数化的某些概率测度族,概率测度子类的可学习性等价于相应实数参数类的可学习性.这种等价性允许将结果从经典算法理论转移到概率测度的学习理论。我们提出了许多这样的应用,提供了许多关于测量类别的EX和BC可学习性的新结果,从而在两种学习理论之间建立了相似之处。
2018-07-14 cs.IT math.IT math.LO
Distributed compression through the lens of algorithmic information theory: a primer
分布式压缩是由多个参与方压缩相关数据的任务,每个参与方拥有一段数据并单独行动。经典的Slepian-Wolf定理(D. Slepian,J.K. Wolf,IEEE Transactions on Inf. Theory,1973)表明,如果数据是由来自联合分布的独立抽取生成的,即由无记忆随机过程生成的,则当各方一起行动时,分布式压缩可以实现与集中式压缩相同的压缩率。最近,作者(M。Zimand,STOC 2017)在数学信息论(也称为Kolmogorov复杂性)的框架中获得了Slepian-Wolf定理的模拟版本。与经典定理相比,AIT版本适用于单个字符串,没有任何关于生成过程的假设。唯一的要求是各方知道输入字符串的复杂性概况,这是数据相关性的简单定量度量。本文的目标是以一种可访问的形式呈现,省略了参考文献(M。Zimand,STOC 2017)。
2017-06-26 cs.CC cs.IT math.IT
An information-theoretic proof of the Erdős-Kac theorem
本文利用算法信息论为Erdős-Kac定理提供了一个简洁的证明,该定理表明大整数的素因子个数趋于正态分布。
2024-05-30 cs.IT math.IT
Quantum Probability as an Application of Data Compression Principles
量子力学的现实主义的、非坍缩的解释,如埃弗雷特的,面临着概率问题:如何从波函数单独证明范数平方(玻恩)规则。虽然任何基无关的测度只能是范数平方(由于格里森-布施定理),但这一事实与各种流行的、非波函数为基础的现象学测度(如观察者、结果或世界计数)相冲突,这些测度经常被埃弗雷特学派要求。然而,这些替代方案与埃弗雷特的方法所依赖的波函数现实主义相冲突,这似乎需要一个客观的,仅基于波函数振幅的独立测量。然而,量子概率相互破坏性干扰的能力,使得我们很难看到概率如何以直观吸引人的方式仅从振幅导出。我认为使用算法概率可以解决这个问题,因为波函数现实主义所要求的客观的、单一情况的概率测度正是算法信息论的设计目的。其结果是一个直观的帐户的复值振幅,在一个最佳的有损数据压缩的系数,使算法的信息内容(熵增量)的变化与现象的转变。
2016-06-22 cs.IT math.IT quant-ph
Simplicity bias, algorithmic probability, and the random logistic map
本文研究随机逻辑斯蒂映射中的简单性偏差,发现其在特定参数和噪声范围内存在,并揭示更多一致趋势数据反而可能降低外推预测置信度的悖论,提出概率-复杂度视角可丰富动力系统序列预测理论。
2024-04-08 cs.IT math.DS math.IT
Algorithmic randomness and the weak merging of computable probability measures
University of California, Irvine(加州大学尔湾分校);University of California, Los Angeles(加州大学洛杉矶分校);Carnegie Mellon University(卡内基梅隆大学)
本文通过Kullback-Leibler散度定义算法随机性,探讨可计算概率测度的弱合并特性。
2026-03-07 cs.IT math.IT math.LO
Is Natural Language a Perigraphic Process? The Theorem about Facts and Words Revisited
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
正如我们所讨论的,一个平稳的随机过程是非遍历的,当一个随机的持久主题可以在从过程中采样的无限随机文本中检测到时,而我们称这个过程为强非遍历的,当一个无限序列的独立随机比特,称为概率事实,需要完全描述这个主题。替换概率事实与算法随机序列的位,称为算法的事实,我们适应这个属性回到遍历过程。随后,我们称一个进程为周图,如果可以从该进程中采样的有限文本中推断出的算法事实的数量像文本长度的幂一样增长。我们提出了这样一个过程的一个简单的例子。此外,我们证明了一个断言,我们称之为关于事实和文字的定理。这个命题指出,从一个过程中提取的文本中可以推断出的概率或算法事实的数量必须大致小于通过PPM压缩算法在该文本中检测到的不同单词状字符串的数量。我们还观察到,莎士比亚戏剧样本的单词字符串的数量遵循经验逐步幂律,与马尔可夫过程形成鲜明对比。因此,我们假设自然语言作为一个过程,不仅是非马尔可夫的,而且是循环的。
2017-11-21 cs.CL cs.IT math.IT
Algorithmic Aspects of Optimal Channel Coding
信息论中的一个中心问题是确定在噪声信道上发送固定数量的消息所能达到的最大成功概率。这是第一次研究的开创性工作香农谁建立了一个简单的表达式表征这个数量的限制多个独立使用的渠道。这里我们考虑仅使用一次通道的一般设置。我们观察到,最大成功概率可以表示为子模函数的最大值。利用这种联系,我们建立了以下结果:1。有一个简单的贪婪多项式时间算法,它计算一个代码,实现最大成功概率的(1-1/e)近似。此外,对于这个问题,它是NP-困难的,以获得一个近似比严格优于(1-1/e)。2.发送者和接收者之间的共享量子纠缠可以将成功概率提高至多1/(1-1/e)倍。此外,如果允许发送方和接收方之间存在任意的非信令盒,则该因子是紧的。3.我们给出了Polyanskiy-Poor-Verdu的元逆的一次性能的紧界。
2016-10-21 cs.DS cs.IT math.IT
Correspondence and Independence of Numerical Evaluations of Algorithmic Information Measures
我们表明,实值近似Kolmogorov-Chaitin(K_m)使用的算法编码定理计算的输出频率的一个大的一组小的确定性图灵机与多达5个状态(和2个符号),是在协议所使用的指令数的图灵机生产s,这是符合严格的整数值程序大小的复杂性。尽管如此,K_m被证明是一个更细粒度的测量和一个潜在的替代方法的无损压缩算法的小实体,压缩失败。我们还表明,K_m和所使用的指令数与Bennett的逻辑深度LD(s)没有任何相关性,而不是理论所预测的。理论和数值计算之间的协议表明,尽管这些理论措施的不可判定性,近似是稳定的和有意义的,即使是小程序和短字符串。我们还宣布了第一个测试版的在线数学复杂度计算器(OACC),基于理论概念的组合,作为编码定理方法的数值实现。
2013-02-13 cs.CC cs.FL cs.IT
A statistical mechanical interpretation of algorithmic information theory
我们开发了一个统计力学的解释算法信息论通过引入热力学量的概念,如自由能,能量,统计力学熵,比热,到算法信息论。我们调查这些数量的属性,通过程序大小的复杂性,从算法的随机性的角度来看。然后发现,在解释中,温度起着所有这些热力学量的值的压缩率的作用,其中包括温度本身。反映这种自参考性质的压缩率的温度,我们得到不动点定理的压缩率。
2008-01-28 cs.CC cs.IT math.IT
The Tsallis entropy and the Shannon entropy of a universal probability
从算法随机性的角度研究了Tsallis熵和Shannon熵的性质。在算法信息论中,有两种等价的方法来定义给定的有限二进制串s的程序大小复杂度K(s)。在标准方式中,K(s)被定义为通用自定界图灵机输出s的最短输入串的长度。另一种方法是先引入所谓的普适概率m,然后在不考虑程序大小的情况下定义K(s)为-log_2m(s)。在本文中,我们研究的香农熵,功率和,Tsallis熵的一个普遍的概率通过程序大小的复杂性的概念的性质。我们确定这三个量中的每一个的收敛或发散,并在收敛时评估其随机程度。
2008-05-01 cs.CC cs.IT math.IT
The Limits of AI Explainability: An Algorithmic Information Theory Approach
Shrisha Rao
本文基于算法信息论建立AI可解释性的理论基础,通过Kolmogorov复杂度量化近似误差与解释复杂度,证明复杂度差距定理、局部与全局可解释性差距及监管不可能定理,揭示可解释AI系统设计、评估与监督的关键考量。
2025-11-03 cs.AI cs.CY cs.IT
Watts-per-Intelligence Part II: Algorithmic Catalysis
Centre for Quantum Software and Information(量子软件与信息中心)
本文基于每智能瓦特框架发展算法催化热力学理论,提出可重用的计算结构以减少任务类的不可逆操作,同时满足受限恢复和结构选择性约束。证明任务类特定速度提升上限由算法互信息决定,并通过兰道尔擦除最小热力学成本。结合结果得出耦合定理,下界限定算法催化部署时间范围。
2026-06-06 cs.AI cs.IT math.IT
The Algorithmic Regulator
Neuroelectrics(神经电医学)
本文从算法信息论角度证明,最优调节器需降低世界输出的算法复杂度,复杂度差距越大,调节器越可能包含世界模型,并引出标量目标与规划器。
2025-10-15 cs.AI cs.CC cs.IT
Pointwise Complexity for Gaussian Fields: Upper Envelopes, Algorithmic Lower Bounds, and Separation
National University of Singapore(新加坡国立大学)
本文证明了一个方差感知的逐点主测度定理,为高斯过程提供高概率上包络,并通过贝叶斯算法下界和加权基示例,揭示了逐点复杂度与全局极小极大风险之间的分离。
2026-07-03 cond-mat.stat-mech cs.IT cs.LG