Symmetry and Algorithmic Complexity of Polyominoes and Polyhedral Graphs
我们引入了算法对称性的定义,能够捕捉几何对称性的基本方面。我们回顾,研究和应用一种方法来近似算法的复杂性(也称为Kolmogorov-Chaitin复杂性)的图形和网络的基础上的概念的概率(AP)。AP是一个概念(和方法),能够递归枚举所有的可计算(因果)性质的统计性质之外。我们探索算法的复杂性-理论和数值-与几何属性主要是对称性和拓扑结构从(算法)信息理论的角度来看。我们表明,近似算法的复杂性,通过无损压缩和基于概率的方法可以表征性质的多项式,多面体,规则和准规则多面体以及多面体网络,从而证明其剖析能力。
2018-02-24 cs.CC cs.CG cs.DM
Algorithmic randomness and monotone complexity on product space
研究了无穷二元序列集乘积的算法随机性和单调复杂性。我们探讨了以下问题:产品空间上的单调复杂性,相关概率的Lambalgen定理,随机集的分类似然比检验,分解的复杂性和独立性,贝叶斯统计的个人随机序列。以前的Lambalgen相关概率定理在[H.高桥通知。Comp. 2008]。在本文中,我们证明定理没有假设。
2010-06-28 cs.IT math.IT
Towards a Universal Theory of Artificial Intelligence based on Algorithmic Probability and Sequential Decision Theory
决策理论正式解决了不确定世界中理性主体的问题,如果真实的环境概率分布是已知的。Solomonoff的泛归纳理论形式化地解决了未知分布的序列预测问题。我们统一了这两种理论,并给出了强有力的论据,由此产生的通用AIXI模型在任何可计算的环境中表现最佳。AIXI模型的主要缺点是它是不可计算的。为了克服这个问题,我们构造了一个改进的算法AIXI^tl,它仍然优于任何其他时间t和空间l有界代理。AIXI^tl的计算时间为t x 2^l的数量级。
2000-12-16 cs.AI cs.CC cs.IT
Generalized Probability Smoothing
在这项工作中,我们考虑一个广义版本的概率平滑,核心基本模型的顺序预测的最先进的PAQ家庭的数据压缩算法。我们的主要贡献是一个码长分析,认为冗余的概率平滑相对于分段平稳源。该分析适用于一个有限的字母表,并表示冗余的分段平稳源的平稳分布的概率质量的总变化。通过适当地选择参数,概率平滑对于长度为$T$的序列相对于具有$S$段的分段平稳源具有冗余$O(S\cdot\sqrt{T\log T})$。
2018-01-10 cs.IT math.IT
The Thermodynamics of Network Coding, and an Algorithmic Refinement of the Principle of Maximum Entropy
最大熵原理(Maxent)通常用于获得先验概率分布,作为在某些限制下获得吉布斯测度的方法,给出系统与分布中其余元素相比处于某种状态的概率。由于经典的基于熵的Maxent崩溃的情况下混淆所有不同程度的随机性和伪随机性,在这里,我们考虑到系统的生成机制,在合奏中考虑到分离的对象,可能符合一些限制下的原则,其熵是最大的,但可以从那些实际上是算法随机递归生成提供一个细化经典Maxent。我们利用因果算法演算,根据重新编程计算机代码的难度,推导出类似于数学的结果。利用可计算随机性和算法随机性之间的区别,我们量化了与重编程相关的信息损失成本。为了说明这一点,我们应用算法的改进Maxent图,并介绍了一个最大随机优先附件(MARPA)算法,概括了以前的方法。我们讨论了网络随机性评估的实际意义。我们的分析提供了洞察力,可重编程性的不对称性似乎起源于一个非单调的关系,算法的概率。我们的分析激发了对上述不对称性、可重编程性和计算的起源和后果的进一步分析。
2019-06-06 cs.IT math.IT
Kolmogorov's Algorithmic Mutual Information Is Equivalent to Bayes' Law
给定两个事件$A$和$B$,贝叶斯定律基于以下论点:给定$B$,$A$的概率与给定$A$,$B$的概率成正比。当概率在贝叶斯意义上解释时,贝叶斯定律构成了一种学习算法,它显示了人们如何从新的观察中学习,以提高他们对与该观察一致的理论的信念。Kolmogorov的算法信息的概念是基于算法理论的,它提出了一个关于有限字符串中关于自身的信息量的客观度量,并得出结论:对于任何两个有限字符串$x$和$y$,$x$中关于$y$的信息量几乎等于$y$中关于$x$的信息量。我们把柯尔莫哥洛夫的这个结论看作是贝叶斯定律的算法信息版本。这可以很容易地证明,如果考虑工作的莱文前缀柯尔莫哥洛夫复杂性,然后表示数量的柯尔莫哥洛夫互信息之间的两个有限字符串使用所罗门诺夫的先验概率。
2019-06-29 cs.IT math.IT
The computational inevitability of life: self-replication under resource-bounded nested algorithmic probability
Delft University of Technology(代尔夫特理工大学);Quantum Intelligence Alliance(量子智能联盟)
本文探讨了在资源受限条件下,自我复制在算法概率中的必然性,提出生命是受限计算中最简单的持久结构。
2026-01-25 cs.FL cs.IT cs.LO
Smoothed Analysis of Sequential Probability Assignment
Caltech(加州理工学院);UC Berkeley(加州大学伯克利分校)
本文首先研究了带上下文的序贯概率分配问题的平滑分析。我们研究信息理论上的最优极大极小率以及涉及最大似然估计甲骨文算法减少的框架。我们的方法建立了一个通用的减少,从最小化最大率的顺序概率分配平滑的对手,最小化最大率的转导学习。这导致了参数类和有限VC维类的最佳(对数)快速速率。在算法方面,我们开发了一种算法,有效地挖掘到MLE甲骨文,一般类的功能。我们表明,在一般条件下,这种算法的方法产生次线性遗憾。
2023-03-08 cs.DS cs.IT cs.LG
Training-free Measures Based on Algorithmic Probability Identify High Nucleosome Occupancy in DNA Sequences
我们介绍并研究了一套适用于DNA序列的信息理论和算法复杂性性质的无训练方法,以确定其潜在的能力,以确定核小体结合位点。我们测试我们的措施,充分研究的基因组序列的不同大小来自不同的来源。这些措施揭示了已知的体内与体外预测的差异,并揭示了其潜在的精确定位(高)核小体占用。我们探讨了核小体长度内和核小体长度外不同的可能信号,发现复杂性指数是核小体占有率的信息。我们与金标准(卡普兰模型)进行比较,发现相似和互补的结果,主要区别在于我们的序列复杂性方法。例如,对于高占有率,基于复杂性的分数优于用于预测结合的Kaplan模型,这代表在预测遵循无训练方法的最高核小体占有率方面的显著进步。
2018-10-16 cs.IT math.IT q-bio.GN
Algorithmic Complexity and Reprogrammability of Chemical Structure Networks
在这里,我们解决的挑战,剖析因果属性和跟踪的化合物的转化从算法的角度来看。我们探讨了潜在的应用计算介入演算的基础上的原则,算法概率化学结构网络。我们分析了化学结构网络中的元素和共价键的敏感性算法,询问可重编程性是否提供了有关不同化合物类别转化中所涉及的热力学和化学过程的信息。我们到达数值结果表明一些物理,结构和功能特性之间的对应关系。我们的方法能够分离反映功能和自然差异的化学类别,而不考虑有关原子和分子性质的任何信息。我们的结论是,这些方法,其链接到化学信息学通过算法,概率为未来的研究。
2018-03-18 cs.CE cs.IT math.IT
The algorithmic randomness of quantum measurements
本文是对UlviYurtsever \cite{Yurtsever}的“量子力学与算法随机性”一文的评论,并简要说明了量子测量结果的算法随机性。概率源的可计算性(这意味着有一种算法可以定义随机过程或概率源生成数字的方式)和由源产生的序列或字符串的算法随机性之间存在差异。我们可能有一个没有可计算算法的源,但它可以产生可压缩或不可压缩的字符串。例如,到目前为止,还没有可计算的算法可以定义随机性的抽象含义,即使是最简单的一种,伯努利概率分布。从历史上看,许多科学家认为随机过程的算法的存在是一个矛盾,因为在他们看来,在随机变量的定义中,隐含地假设事件的发生是没有原因的,我们只是知道概率。然而,没有必要在这里讨论这个问题。正如在论文中提到的,所有模拟随机过程的算法都试图通过统计测试,并接近它的抽象意义。
2017-04-05 cs.IT math.IT quant-ph
An Algorithmic Approach to Information and Meaning
我将调查一些相关的问题,以哲学讨论的信息,考虑到发展的算法信息论(AIT)。我将提出,意义在贝内特的逻辑深度的意义上是深的,算法概率可能提供一个强大的算法定义的意义所需的稳定性,一个考虑到解释和收件人自己的知识编码在故事附加到一个消息。
2011-09-30 cs.IT math.IT
Numerical Evaluation of Algorithmic Complexity for Short Strings: A Glance into the Innermost Structure of Randomness
我们描述了一种替代方法(压缩),结合了几个理论和实验结果,以数值近似的算法(Kolmogorov-Chaitin)的复杂性的所有$\sum_{n=1}^82^n$位串长达8位,和一些之间的9和16位长。这是通过穷举执行所有确定性的2符号图灵机来完成的,最多有4个状态,由于忙海狸问题,停机时间是已知的,即11019960576台机器。然后计算输出频率分布,从该输出频率分布计算算法概率,并通过(Levin-Zvonkin-Chaitin)编码定理评估算法复杂度。
2011-10-05 cs.CC cs.IT math.IT
Simplicity bias, algorithmic probability, and the random logistic map
本文研究随机逻辑斯蒂映射中的简单性偏差,发现其在特定参数和噪声范围内存在,并揭示更多一致趋势数据反而可能降低外推预测置信度的悖论,提出概率-复杂度视角可丰富动力系统序列预测理论。
2024-04-08 cs.IT math.DS math.IT
Equivalences between learning of data and probability distributions, and their applications
数学学习理论传统上研究有效无限二进制序列(实数)的可学习性,而最近的工作[Vitanyi和Chater,2017]和[Bienvenu等人,2014]已经将该框架适用于研究来自随机数据的有效概率分布的可学习性。证明了对于实数参数化的某些概率测度族,概率测度子类的可学习性等价于相应实数参数类的可学习性.这种等价性允许将结果从经典算法理论转移到概率测度的学习理论。我们提出了许多这样的应用,提供了许多关于测量类别的EX和BC可学习性的新结果,从而在两种学习理论之间建立了相似之处。
2018-07-14 cs.IT math.IT math.LO
Nonparametric Estimation and On-Line Prediction for General Stationary Ergodic Sources
Osaka University(大阪大学)
本文提出了一种适用于一般平稳各态历经信源的非参数估计和在线预测的学习算法。我们准备直方图,每个直方图估计概率为有限分布,并将它们与权重混合以构建估计器。整个分析是以测度理论为基础的。无论源是离散的还是连续的,估计器都起作用。如果它是平稳遍历的,则理论上给出的Kullback-Leibler信息除以序列长度$n$的测度随着$n$趋于无穷大而收敛于零。特别地,对于连续源,该方法不需要存在概率密度函数。
2010-06-26 cs.AI cs.IT math.IT
Lecture Notes on Algorithmic Information Theory
本讲义基于2023年研究生课程,打破学科界限,系统介绍算法信息论,涵盖从可计算性理论到前缀复杂度及形式系统信息论极限等核心主题。
2025-04-22 cs.IT cs.LO math.IT
Quantum Probability as an Application of Data Compression Principles
量子力学的现实主义的、非坍缩的解释,如埃弗雷特的,面临着概率问题:如何从波函数单独证明范数平方(玻恩)规则。虽然任何基无关的测度只能是范数平方(由于格里森-布施定理),但这一事实与各种流行的、非波函数为基础的现象学测度(如观察者、结果或世界计数)相冲突,这些测度经常被埃弗雷特学派要求。然而,这些替代方案与埃弗雷特的方法所依赖的波函数现实主义相冲突,这似乎需要一个客观的,仅基于波函数振幅的独立测量。然而,量子概率相互破坏性干扰的能力,使得我们很难看到概率如何以直观吸引人的方式仅从振幅导出。我认为使用算法概率可以解决这个问题,因为波函数现实主义所要求的客观的、单一情况的概率测度正是算法信息论的设计目的。其结果是一个直观的帐户的复值振幅,在一个最佳的有损数据压缩的系数,使算法的信息内容(熵增量)的变化与现象的转变。
2016-06-22 cs.IT math.IT quant-ph
Algorithmic randomness and the weak merging of computable probability measures
University of California, Irvine(加州大学尔湾分校);University of California, Los Angeles(加州大学洛杉矶分校);Carnegie Mellon University(卡内基梅隆大学)
本文通过Kullback-Leibler散度定义算法随机性,探讨可计算概率测度的弱合并特性。
2026-03-07 cs.IT math.IT math.LO
On Minimax Detection of Gaussian Stochastic Sequences and Gaussian Stationary Signals
研究了协方差矩阵未知的高斯随机序列(信号)的Minimax检测问题。对于一个固定的虚警概率(第一类错误概率),极大极小检测的性能是由丢失概率(第二类错误概率)的最佳指数衰减率表征的,因为观测间隔的长度趋于无穷大.我们的目标是找到最大的一组协方差矩阵,使这组(复合假设)的极大极小稳健检验可以替换为测试只有一个特定的协方差矩阵(简单假设)没有任何损失的检测特性。在本文中,我们完全描述了这一最大的协方差矩阵集。一些推论解决了嵌入在高斯白噪声中的高斯随机信号的极小极大检测和高斯平稳信号的检测。
2021-04-13 cs.IT math.IT math.ST
Sequential Change Detection for Learning in Piecewise Stationary Bandit Environments
针对分段平稳老虎机场景下的有限时域最快变化检测问题,提出两种未知分布下的检验方法,证明其时域阶最优性且延迟特性契合老虎机遗憾分析需求,并用数值结果验证理论性能。
2025-06-17 cs.IT cs.SY eess.SY
Algorithmic Aspects of Optimal Channel Coding
信息论中的一个中心问题是确定在噪声信道上发送固定数量的消息所能达到的最大成功概率。这是第一次研究的开创性工作香农谁建立了一个简单的表达式表征这个数量的限制多个独立使用的渠道。这里我们考虑仅使用一次通道的一般设置。我们观察到,最大成功概率可以表示为子模函数的最大值。利用这种联系,我们建立了以下结果:1。有一个简单的贪婪多项式时间算法,它计算一个代码,实现最大成功概率的(1-1/e)近似。此外,对于这个问题,它是NP-困难的,以获得一个近似比严格优于(1-1/e)。2.发送者和接收者之间的共享量子纠缠可以将成功概率提高至多1/(1-1/e)倍。此外,如果允许发送方和接收方之间存在任意的非信令盒,则该因子是紧的。3.我们给出了Polyanskiy-Poor-Verdu的元逆的一次性能的紧界。
2016-10-21 cs.DS cs.IT math.IT
An Efficient Bayes Coding Algorithm for the Non-Stationary Source in Which Context Tree Model Varies from Interval to Interval
上下文树源是其中从有限过去序列确定符号的出现概率的源模型,并且是包括i.i.d.马尔可夫来源本文提出的源模型表示,在每一个时间间隔的子序列是从一个不同的上下文树模型生成。这种源的贝叶斯代码需要对上下文树源的变化模式和所有可能的上下文树模型的后验概率分布进行加权。因此,挑战在于如何降低该指数阶计算复杂性。本文假设了一类特殊的变化模式先验概率分布和上下文树模型,提出了一种计算复杂性为多项式阶的高效贝叶斯编码算法。
2021-05-13 cs.IT math.IT
Algorithmic Temperature Induced by Adopted Regular Universal Turing Machine
National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所)
该研究证明规则通用图灵机的算法结构可自然涌现有效温度,通过冗余增长产生玻尔兹曼加权,建立算法信息论与统计力学桥梁,并揭示温度作为观察者分辨率的认识论意义。
2025-10-16 cond-mat.stat-mech cs.IT math.IT