The Tsallis entropy and the Shannon entropy of a universal probability
从算法随机性的角度研究了Tsallis熵和Shannon熵的性质。在算法信息论中，有两种等价的方法来定义给定的有限二进制串s的程序大小复杂度K（s）。在标准方式中，K（s）被定义为通用自定界图灵机输出s的最短输入串的长度。另一种方法是先引入所谓的普适概率m，然后在不考虑程序大小的情况下定义K（s）为-log_2m（s）。在本文中，我们研究的香农熵，功率和，Tsallis熵的一个普遍的概率通过程序大小的复杂性的概念的性质。我们确定这三个量中的每一个的收敛或发散，并在收敛时评估其随机程度。
2008-05-01 cs.CC cs.IT math.IT
Ornstein Isomorphism and Algorithmic Randomness
1970年，Donald Ornstein证明了动力系统中的一个里程碑式的结果，即，具有相同熵的两个伯努利系统除了测度为0的集合之外是同构的。Keane和Smorodinsky给出了这个结果的有限性证明。他们还指出了如何将结果推广到混合马尔可夫移位。我们适应他们的建设表明，如果两个可计算的混合马尔可夫系统具有相同的熵，那么有一个分层的可计算同构定义在所有的马丁-洛夫随机点的系统。由于Martin-Lof随机点的集合构成一个测度为1的集合，它包含了这类系统的经典结果。这个结果使用了可计算分析和算法随机性的几个最新发展。在Braverman、Nandakumar、Hoyrup和Rojas的工作之后，他们将不连续函数引入到算法随机性的研究中。我们利用Hoyrup和Rojas的分层可计算函数的优雅概念来产生我们结果中的随机性测试。此外，我们使用最近的结果有效的Shannon-McMillan-Breiman定理，独立建立的Hochman和Hoyrup证明我们的建设的性质。我们表明，结果不能改进，包括所有点的系统-只有平凡的可计算同构系统之间存在相同的熵。
2016-03-04 cs.IT math.IT
Algorithmic Thermodynamics
热力学熵可以看作是统计力学中研究的熵的一种特殊情况。这种观点使我们能够将许多为热力学而开发的技术应用于算法信息论的主题。特别地，假设我们修复了一个通用的无前缀图灵机，并让X成为为这台机器停止的程序集。然后我们可以把X看作是一组“微观状态”，并把X上的任何函数都看作是一个“可观测的”。对于任何观测量的集合，我们可以研究吉布斯系综，最大化熵受这些观测量的期望值的约束。我们说明了这一点，采取日志运行时间，长度和输出的程序作为可观的类似的能量E，体积V和数量的分子在容器中的气体。这些观测量的共轭变量允许我们定义我们称之为“算法温度”T、“算法压力”P和算法势“μ的量，因为它们类似于温度、压力和化学势。本文导出了热力学基本关系式dE = TdS-PdV + mudN的一个类似式，并用它来研究类似于热机的热力学循环。我们还调查的T，P和μ值的配分函数收敛。在这个收敛域的边界上的某些点上，配分函数变得不可计算。事实上，在这些点上，配分函数本身具有非平凡的算法熵。
2013-02-25 cs.IT math-ph math.IT
Algorithmic Information Dynamics of Cellular Automata
我们说明了应用程序的mathmic信息动力学的元胞自动机（CA）演示如何数字演算是能够量化离散动态系统的变化。我们证明了块分解方法对1D和2D CA的敏感性，包括康威的生命游戏，对统计性质的措施，如压缩（LZW）和香农熵在两个不同的情况下（1）扰动分析和（2）动态碰撞CA。该方法是有趣的，因为它分析了一个典型的对象本地软件空间（CA）在软件空间本身通过使用算法的信息动力学通过模型驱动的通用搜索，而不是传统的统计方法，如LZW压缩或香农熵。两个独立状态（如果不是三个，因为一个是调节碰撞本身）离散动力系统的碰撞的例子提供了一个潜在的概念证明的发展的多变量版本的AID演算。
2022-01-13 cs.IT math.IT
A statistical mechanical interpretation of algorithmic information theory
我们开发了一个统计力学的解释算法信息论通过引入热力学量的概念，如自由能，能量，统计力学熵，比热，到算法信息论。我们调查这些数量的属性，通过程序大小的复杂性，从算法的随机性的角度来看。然后发现，在解释中，温度起着所有这些热力学量的值的压缩率的作用，其中包括温度本身。反映这种自参考性质的压缩率的温度，我们得到不动点定理的压缩率。
2008-01-28 cs.CC cs.IT math.IT
Von Neumann Entropy and Quantum Algorithmic Randomness
本文研究量子算法随机性与冯·诺依曼熵的关系，证明可计算量子Schnorr随机态的熵密度极限为1，定义量子s-测试并建立熵密度与覆盖s的关系，推导熵密度下界与强量子随机性的关联及量子Schnorr随机性的一致可积等价条件。
2024-12-24 cs.IT math.IT math.LO
An algorithmic complexity interpretation of Lin's third law of information theory
代替静态熵，我们断言静态结构（如固体）的柯尔莫哥洛夫复杂性是无序（或混沌）的适当度量。在周围完全随机的宇宙中，一个静态结构充当了一个干扰实体，它在随机性中引入了局部破坏。这通过选择规则$R$来建模，该选择规则选择命中结构的随机输入序列的子序列。通过随机二元序列随机性和混沌性的不等式，我们认为Lin的稳定性概念对应于所选子序列中1的频率的稳定性。这就解释了为什么更复杂的静态结构更不稳定。林的第三定律被表述为静态结构朝着符合宇宙的完美随机性所经历的必然变化。
2008-03-16 cs.CC cs.IT math.IT
Binarized Neural Networks Converge Toward Algorithmic Simplicity: Empirical Support for the Learning-as-Compression Hypothesis
本文以二值化神经网络为代理，利用算法概率和块分解方法度量训练中的算法复杂度变化，证明其比熵更能跟踪结构变化并与训练损失相关，从而为“学习即算法压缩”假设提供经验支持。
2025-09-18 cs.AI cs.IT cs.LG
A Computable Measure of Algorithmic Probability by Finite Approximations with an Application to Integer Sequences
鉴于广泛使用的无损压缩算法近似算法（Kolmogorov-Chaitin）的复杂性，以及无损压缩算法在表征模式以外的统计模式没有不同的熵估计，在这里，我们探索一种替代和补充的方法。本文研究了由小型图灵机的输出分布计算的Levin测度$m$的形式性质。我们介绍和证明有限的近似$m_k$，已被用于在某些应用中作为替代无损压缩算法近似算法（柯尔莫哥洛夫-柴廷）的复杂性。我们提供的相关性质的$m$和$m_k$的证明，并比较他们莱文的普遍分布。给出了$m_k$相对于$m$的误差估计。最后，我们提出了一个应用程序的整数序列的在线百科全书的序列，这表明我们的AP为基础的措施可能会表征非统计模式，我们报告有趣的相关性与文字，功能和程序描述长度的序列。
2017-08-14 cs.CC cs.FL cs.IT
Assembly Theory is an approximation to algorithmic complexity based on LZ compression that does not explain selection or evolution
本文证明装配理论等价于基于LZ压缩的香农熵近似，其装配指数可归入算法复杂度理论，且无法提供超越香农熵或经典信息论的选择与演化解释。
2024-04-01 cs.IT math.IT q-bio.BM
Excess entropy in natural language: present state and perspectives
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
本文综述了自然语言中互信息意义的研究进展。让我们将文本中的单词定义为足够频繁出现的字符串。在以前的几篇论文中，我们已经证明了这样定义的词的幂律分布（a.k.a.如果在长度增加的文本的相邻部分之间存在（算法）互信息的类似幂律增长，则遵守Herdan定律）。此外，如果文本按照类似的幂律分布，以高度重复的方式描述一个复杂的无限（算法上）随机对象，则信息的幂律增长也成立。所描述的对象可能是不可变的（如数学或物理常数），也可能随着时间的推移而缓慢演变（如文化遗产）。在这里，我们以一种不那么技术性的方式来反思各自的数学结果。我们还讨论了决定在何种程度上这些结果适用于实际的人类沟通的可行性。
2011-08-08 cs.CL cs.IT math.IT
Tighter Bounds for Algorithmic Complexity Estimation Using a Reusable Code-Based Block Decomposition Method
Algorithmic Dynamics Lab, Karolinska Institute & King’s College London（算法动力学实验室，卡罗林斯卡学院与伦敦国王学院）；School of Electrical and Computer Engineering, University of Campinas (UNICAMP)（坎皮纳斯大学电气与计算机工程学院）；Oxford Immune Algorithmics, Oxford University Innovation & London Institute for Healthcare Engineering（牛津免疫算法公司，牛津大学创新部与伦敦医疗工程研究所）；Centre for Logic, Epistemology and the History of Science, University of Campinas (UNICAMP)（坎皮纳斯大学逻辑、认识论与科学史中心）；DEXL, National Laboratory for Scientific Computing (LNCC)（DEXL，巴西国家科学计算实验室）；Departments of Biomedical Computing and Digital Twins, School of Biomedical Engineering and Medical Sciences, King’s Faculty of Life Sciences and Medicine, King’s College London（伦敦国王大学生物医学与医学科学学院生物医学计算与数字孪生系）；King’s Institute for Artificial Intelligence, King’s College London（伦敦国王学院人工智能研究所）
提出块分解方法（BDM）的改进版本，通过利用块间依赖和可重用代码减少描述长度，形式化为算法注意力，并证明其与算法互信息的关系。
2026-06-23 cs.CC cs.IT math.IT
Adjusted Kolmogorov Complexity of Binary Words with Empirical Entropy Normalization
Texas A&M University（德克萨斯农工大学）
本文提出了一种基于经验熵归一化的二进制词复杂性度量，以分离内在描述复杂性与符号不平衡的组合效应，并探讨其在随机性测试和结构数据分析中的应用。
2025-12-24 cs.CC cs.IT math.IT
Correspondence and Independence of Numerical Evaluations of Algorithmic Information Measures
我们表明，实值近似Kolmogorov-Chaitin（K_m）使用的算法编码定理计算的输出频率的一个大的一组小的确定性图灵机与多达5个状态（和2个符号），是在协议所使用的指令数的图灵机生产s，这是符合严格的整数值程序大小的复杂性。尽管如此，K_m被证明是一个更细粒度的测量和一个潜在的替代方法的无损压缩算法的小实体，压缩失败。我们还表明，K_m和所使用的指令数与Bennett的逻辑深度LD（s）没有任何相关性，而不是理论所预测的。理论和数值计算之间的协议表明，尽管这些理论措施的不可判定性，近似是稳定的和有意义的，即使是小程序和短字符串。我们还宣布了第一个测试版的在线数学复杂度计算器（OACC），基于理论概念的组合，作为编码定理方法的数值实现。
2013-02-13 cs.CC cs.FL cs.IT
Algorithmic tests and randomness with respect to a class of measures
本文考虑不同随机性概念的定量版本：算法测试测量非随机性的量（并且对于非随机序列是无限的）。我们从康托空间（和马丁-洛夫随机性）上的可计算测度开始，然后考虑一致随机性（测试是序列和测度的函数，不一定是可计算的）和任意构造性度量空间。我们还考虑测试类的措施，特别是伯努利措施康托空间，并显示它们是如何相关的统一测试和原始马丁-洛夫定义。我们表明，Hyppocratic（盲，预言）的随机性是等效的均匀随机性的措施，在一个有效的正交有效紧类。我们还考虑了稀疏集和在线随机性的概念，并展示了它们如何在我们的框架中表达。
2011-05-26 cs.IT math.IT math.LO
The algorithmic randomness of quantum measurements
本文是对UlviYurtsever \cite{Yurtsever}的“量子力学与算法随机性”一文的评论，并简要说明了量子测量结果的算法随机性。概率源的可计算性（这意味着有一种算法可以定义随机过程或概率源生成数字的方式）和由源产生的序列或字符串的算法随机性之间存在差异。我们可能有一个没有可计算算法的源，但它可以产生可压缩或不可压缩的字符串。例如，到目前为止，还没有可计算的算法可以定义随机性的抽象含义，即使是最简单的一种，伯努利概率分布。从历史上看，许多科学家认为随机过程的算法的存在是一个矛盾，因为在他们看来，在随机变量的定义中，隐含地假设事件的发生是没有原因的，我们只是知道概率。然而，没有必要在这里讨论这个问题。正如在论文中提到的，所有模拟随机过程的算法都试图通过统计测试，并接近它的抽象意义。
2017-04-05 cs.IT math.IT quant-ph
Algorithmic Information Dynamics of Persistent Patterns and Colliding Particles in the Game of Life
在不损失对其他系统（包括可能的非确定性系统）的概括的情况下，我们展示了从算法信息动力学中提取的方法在康威的生命游戏（GoL）中对紧急和持续模式、图案和碰撞粒子的表征和分类的应用，一个元胞自动机作为一个案例研究，说明这种想法可以应用到一个典型的离散动力系统的方式。我们探讨了封闭系统的轨道可能会出现开放，因为无法访问的全球性规则，管理整个系统的本地观测的问题。我们还调查方面的对称性与复杂性的模式，发生在高频率的GoL（我们因此称之为图案）的分布，并分析这些图案的分布，以跟踪其算法概率随时间的变化。我们演示了如何引入的工具是一种替代其他可计算的措施，无法捕捉变化的新兴结构在不断发展的复杂系统，往往是太小或太微妙的方法，如无损压缩和香农熵的特点。
2018-04-05 cs.IT math.DS math.IT
Stratified Multivariate Multiscale Dispersion Entropy for Physiological Signal Analysis
多变量熵量化算法正在成为从多通道生理时间序列中提取信息的重要工具。然而，在分析来自异质器官系统的生理信号时，某些通道可能会掩盖其他通道的模式，导致信息丢失。在这里，我们引入了分层熵的框架，以优先考虑每个通道的动态基于其分配到各自的层，从而导致更丰富的描述的多通道时间序列。作为该框架的一个实现，介绍了分层多变量多尺度弥散熵的三种算法变体。这些变化和原始算法被应用于合成时间序列、波形生理时间序列和衍生生理数据。基于合成的时间序列实验，成功的变化优先级通道后，他们的阶层分配，同时保持低计算时间的原始算法。在波形生理时间序列和衍生生理数据的实验中，注意到当以原始算法为基准时，在变化中的多个层分配的辨别能力增加。这表明通过变化改善了生理状态监测。此外，我们的变化可以修改，利用先验知识的分层通道。因此，我们的研究提供了一种新的方法，以前无法访问的信息从多通道的时间序列从异构系统中获取。
2023-01-17 cs.IT math.IT
Training-free Measures Based on Algorithmic Probability Identify High Nucleosome Occupancy in DNA Sequences
我们介绍并研究了一套适用于DNA序列的信息理论和算法复杂性性质的无训练方法，以确定其潜在的能力，以确定核小体结合位点。我们测试我们的措施，充分研究的基因组序列的不同大小来自不同的来源。这些措施揭示了已知的体内与体外预测的差异，并揭示了其潜在的精确定位（高）核小体占用。我们探讨了核小体长度内和核小体长度外不同的可能信号，发现复杂性指数是核小体占有率的信息。我们与金标准（卡普兰模型）进行比较，发现相似和互补的结果，主要区别在于我们的序列复杂性方法。例如，对于高占有率，基于复杂性的分数优于用于预测结合的Kaplan模型，这代表在预测遵循无训练方法的最高核小体占有率方面的显著进步。
2018-10-16 cs.IT math.IT q-bio.GN
Gibbs-Shannon Entropy and Related Measures: Tsallis Entropy
在这篇研究论文中，证明了吉布斯-香农熵测度的近似自然导致Tsallis熵的实参数q =2。基于离散无记忆信道的输入和输出给出了几种有趣的测度，并讨论了这些测度的一些性质。希望这些结果能对信息论的研究有所帮助。
2012-01-05 cs.IT math.IT
Rare dense solutions clusters in asymmetric binary perceptrons -- local entropy via fully lifted RDT
本研究通过完全提升随机对偶理论框架，分析非对称二元感知机的局部熵，发现其崩溃区间与算法可处理范围匹配，揭示计算间隙的根源。
2025-06-24 cond-mat.dis-nn cs.IT cs.LG
Maximum Entropy on the Mean and the Cramér Rate Function in Statistical Estimation and Inverse Problems: Properties, Models, and Algorithms
我们探索一种称为平均值（MEM）的最大熵的统计估计方法，该方法基于信息驱动的标准，该标准量化给定点与参考先验概率测量的符合性。这种方法的核心在于MEM函数，它是线性约束上的Kullback-Leibler发散的部分最小化。在许多情况下，已知该函数允许更简单的表示（称为Cramér率函数）。通过连接到指数族的概率分布，我们研究的一般条件下，这种表示。然后，我们解决相关的MEM估计如何产生广泛的一类基于MEM的正则化线性模型求解逆问题。最后，我们提出了一个算法框架，有效地解决这些问题的基础上Bregman近端梯度法，以及常用的参考分布的近端算子。本文是由一个软件包的补充实验和探索的MEM方法在应用中。
2022-12-17 cs.IT math.IT math.OC
