The Thermodynamics of Network Coding, and an Algorithmic Refinement of the Principle of Maximum Entropy
最大熵原理(Maxent)通常用于获得先验概率分布,作为在某些限制下获得吉布斯测度的方法,给出系统与分布中其余元素相比处于某种状态的概率。由于经典的基于熵的Maxent崩溃的情况下混淆所有不同程度的随机性和伪随机性,在这里,我们考虑到系统的生成机制,在合奏中考虑到分离的对象,可能符合一些限制下的原则,其熵是最大的,但可以从那些实际上是算法随机递归生成提供一个细化经典Maxent。我们利用因果算法演算,根据重新编程计算机代码的难度,推导出类似于数学的结果。利用可计算随机性和算法随机性之间的区别,我们量化了与重编程相关的信息损失成本。为了说明这一点,我们应用算法的改进Maxent图,并介绍了一个最大随机优先附件(MARPA)算法,概括了以前的方法。我们讨论了网络随机性评估的实际意义。我们的分析提供了洞察力,可重编程性的不对称性似乎起源于一个非单调的关系,算法的概率。我们的分析激发了对上述不对称性、可重编程性和计算的起源和后果的进一步分析。
2019-06-06 cs.IT math.IT
Algorithmic complexity and randomness in elastic solids
一个系统,包括一个弹性的固体和它的响应外部随机力序列的表现基于算法的复杂性和随机性理论的原则。固体以与其算法复杂性成比例的方式扭曲输入力序列的随机性。我们证明了这一点,通过数值分析的一维振动弹性固体(系统)上,我们施加一个最大的随机输入力。系统的复杂程度通过外部参数来控制。输出响应是在物体上的几个位置处观察到的位移场。算法的复杂性和随机性的输出位移序列的测量和比较对系统的复杂性。结果表明,系统复杂度越高,输出序列的随机性越差。这与[16]中介绍的理论一致,该理论指出,这样的物理系统表现为算法选择规则,作用于周围环境中的随机行为。
2008-11-04 cs.CC cs.IT math.IT
Algorithmic tests and randomness with respect to a class of measures
本文考虑不同随机性概念的定量版本:算法测试测量非随机性的量(并且对于非随机序列是无限的)。我们从康托空间(和马丁-洛夫随机性)上的可计算测度开始,然后考虑一致随机性(测试是序列和测度的函数,不一定是可计算的)和任意构造性度量空间。我们还考虑测试类的措施,特别是伯努利措施康托空间,并显示它们是如何相关的统一测试和原始马丁-洛夫定义。我们表明,Hyppocratic(盲,预言)的随机性是等效的均匀随机性的措施,在一个有效的正交有效紧类。我们还考虑了稀疏集和在线随机性的概念,并展示了它们如何在我们的框架中表达。
2011-05-26 cs.IT math.IT math.LO
The algorithmic randomness of quantum measurements
本文是对UlviYurtsever \cite{Yurtsever}的“量子力学与算法随机性”一文的评论,并简要说明了量子测量结果的算法随机性。概率源的可计算性(这意味着有一种算法可以定义随机过程或概率源生成数字的方式)和由源产生的序列或字符串的算法随机性之间存在差异。我们可能有一个没有可计算算法的源,但它可以产生可压缩或不可压缩的字符串。例如,到目前为止,还没有可计算的算法可以定义随机性的抽象含义,即使是最简单的一种,伯努利概率分布。从历史上看,许多科学家认为随机过程的算法的存在是一个矛盾,因为在他们看来,在随机变量的定义中,隐含地假设事件的发生是没有原因的,我们只是知道概率。然而,没有必要在这里讨论这个问题。正如在论文中提到的,所有模拟随机过程的算法都试图通过统计测试,并接近它的抽象意义。
2017-04-05 cs.IT math.IT quant-ph
Numerical Evaluation of Algorithmic Complexity for Short Strings: A Glance into the Innermost Structure of Randomness
我们描述了一种替代方法(压缩),结合了几个理论和实验结果,以数值近似的算法(Kolmogorov-Chaitin)的复杂性的所有$\sum_{n=1}^82^n$位串长达8位,和一些之间的9和16位长。这是通过穷举执行所有确定性的2符号图灵机来完成的,最多有4个状态,由于忙海狸问题,停机时间是已知的,即11019960576台机器。然后计算输出频率分布,从该输出频率分布计算算法概率,并通过(Levin-Zvonkin-Chaitin)编码定理评估算法复杂度。
2011-10-05 cs.CC cs.IT math.IT
Quantum algorithmic randomness
无限量子比特序列的量子马丁-洛夫随机性(Q-MLR)是由Nies和Scholz提出的。我们定义了量子Solovay随机性的概念,它相当于q-MLR。这一点的证明是通过一个关于用子空间逼近密度矩阵的纯线性代数结果得到的。然后,我们表明,随机状态形成一个凸集。Martin-Löf绝对连续性是q-MLR的一个特例。引入了量子Schnorr随机性。一个量子模拟的大数定律,以持有量子Schnorr随机状态。
2021-01-20 cs.IT cs.LO math.IT
Algorithmic randomness and the weak merging of computable probability measures
University of California, Irvine(加州大学尔湾分校);University of California, Los Angeles(加州大学洛杉矶分校);Carnegie Mellon University(卡内基梅隆大学)
本文通过Kullback-Leibler散度定义算法随机性,探讨可计算概率测度的弱合并特性。
2026-03-07 cs.IT math.IT math.LO
Algorithmic Randomness in Continuous-Time Markov Chains
University of Illinois Springfield(伊利诺伊大学斯普林菲尔德分校);Iowa State University(爱荷华州立大学);University of Notre Dame(圣母大学);Drake University(德雷克大学)
本文为连续时间马尔可夫链(CTMC)的单个轨迹定义了算法随机性,并通过鞅、算法测度论和Kolmogorov复杂度给出等价刻画,应用于随机化学反应网络证明有界分子数的随机轨迹具有非Zeno性质。
2026-07-03 cs.IT cs.LO math.IT
The Rate-Distortion-Perception Trade-Off with Algorithmic Realism
Imperial College London(帝国理工学院);Cornell University(康奈尔大学)
针对有损压缩中理论上公共随机性对真实性的价值与实践不符的问题,提出基于通用评判器的真实性约束,刻画了对应最优率-失真权衡并证明其无需公共随机性即可渐近实现。
2025-11-19 cs.IT math.IT
Lecture notes on descriptional complexity and randomness
数学信息论基础的教学调查。这些笔记是简短的动机,历史和背景,但介绍了该领域的一些主要技术和概念。这些年来,“手稿”一直在演变。请查看下面的“版本历史”,看看什么时候发生了变化。
2021-05-10 cs.IT math.IT
Algorithmic analogies to kamae-Weiss theorem on normal numbers
本文研究了随机数的连续性。Kamae(1973)研究了只依赖于坐标的选择函数,给出了选择函数的序列为正规数的充要条件。在van Lambalgen(1987)中,根据算法的随机性和Kolmogorov复杂性,对该定理进行了算法类比。在本文中,我们展示了不同的算法类比定理。
2012-02-14 cs.IT math.IT
Weak randomness and Kamae's theorem on normal numbers
从序列到它们的连续性的函数称为选择函数。一个选择函数被称为容许的(相对于正常数),如果对所有正常数,他们的连续性得到的选择函数是正常数。Kamae(1973)研究了不依赖于序列(只依赖于坐标)的选择函数,给出了它们可容许的充要条件。在本文中,我们引入了弱随机性的概念,并研究了算法类比的Kamae定理。
2011-02-16 cs.IT math.IT
Algorithmic Randomness and Kolmogorov Complexity for Qubits
Nies和Scholz定义了状态(无限量子位串)的量子马丁-洛夫随机性(q-MLR)。我们定义了一个概念的量子Solovay随机性,并表明它是等价的Q-MLR使用纯线性代数方法。量子Schnorr随机性,然后介绍。一个量子模拟的大数定律,以持有量子Schnorr随机状态。我们引入了量子K($QK$),它是利用经典无前缀图灵机对密度矩阵描述复杂性的一种度量,并证明了弱Solovay随机态和量子Schnorr随机态的初始段在$QK$意义下是不可压缩的. Solovay随机性和$K$之间的一些联系延续到弱Solovay随机性和$QK$之间的联系。然后,我们定义了$QK_C$,使用可计算的测量机,并将其连接到量子Schnorr随机性。然后,我们探讨一个概念的“测量”的状态。我们形式化如何“测量”的状态诱导无限位串的空间上的概率测度。一个状态是“测量随机”($mR$),如果由它引起的测量,在任何可计算的基础上,分配概率1给马丁-洛夫随机集。即,测量$mR$状态几乎肯定会产生Martin-Löf随机位串。当量子马丁-勒夫随机态是$mR$时,反之则不成立:有一个$mR$态,$ρ$不是量子马丁-勒夫随机态。事实上,更强大的东西是真的。虽然$ρ$是可计算的,并且可以很容易地构造,但是在任何可计算的基中测量它会产生概率为1的算术随机序列。因此,经典随机性可以从非量子随机的可计算状态产生。最后,我们研究…
2021-06-27 cs.IT cs.LO math.IT
Von Neumann Entropy and Quantum Algorithmic Randomness
本文研究量子算法随机性与冯·诺依曼熵的关系,证明可计算量子Schnorr随机态的熵密度极限为1,定义量子s-测试并建立熵密度与覆盖s的关系,推导熵密度下界与强量子随机性的关联及量子Schnorr随机性的一致可积等价条件。
2024-12-24 cs.IT math.IT math.LO
Around Kolmogorov complexity: basic notions and results
数学信息论研究描述的复杂性和随机性,现在是理论计算机科学和数理逻辑的一个众所周知的领域。有几本教科书和专着致力于这一理论,人们可以找到许多困难的结果以及历史参考的详细论述。然而,它似乎是一个简短的调查,其基本概念和主要结果,这些概念相互关联,是失踪。本报告试图填补这一空白,并涵盖了算法信息论的基本概念:柯尔莫哥洛夫复杂性(平原,条件,前缀),所罗门诺夫普遍先验概率,随机性的概念(马丁-洛夫随机性,米塞斯-丘奇随机性),有效豪斯多夫维数。我们证明了它们的基本性质(信息的对称性,先验概率与前缀复杂性的关系,用复杂性表示随机性的准则,有效维数的复杂性刻画),并给出了它们的一些应用(计算复杂性理论中的不可压缩性方法,不完备性定理).它是根据作者在乌普萨拉大学的一门课程的讲义。
2015-04-20 cs.IT math.IT math.LO
An algorithmic complexity interpretation of Lin's third law of information theory
代替静态熵,我们断言静态结构(如固体)的柯尔莫哥洛夫复杂性是无序(或混沌)的适当度量。在周围完全随机的宇宙中,一个静态结构充当了一个干扰实体,它在随机性中引入了局部破坏。这通过选择规则$R$来建模,该选择规则选择命中结构的随机输入序列的子序列。通过随机二元序列随机性和混沌性的不等式,我们认为Lin的稳定性概念对应于所选子序列中1的频率的稳定性。这就解释了为什么更复杂的静态结构更不稳定。林的第三定律被表述为静态结构朝着符合宇宙的完美随机性所经历的必然变化。
2008-03-16 cs.CC cs.IT math.IT
The Vernam cipher is robust to small deviations from randomness
Vernam密码(或一次一密)在密码学中起着重要的作用,因为它是一个完美的保密系统。例如,如果根据公式$Z_i = (X_i + Y_i) \mod 2 $对英语文本(以二进制表示)$X_1 X_2 ... $进行加密,其中$Y_1 Y_2 ...$是由伯努利源以相等的概率0和1生成的密钥序列,则知道$Z_1 Z_2 ... $的任何人在不知道密钥$Y_1 Y_2 ...$的情况下都没有关于$X_1 X_2 ... $的信息。(The最好的策略是猜测$X_1 X_2 ... $而不注意$Z_1 Z_2 ... $。)但是,如果密钥序列$Y_1 Y_2 ...$是由带有小偏差的伯努利源生成的,比如说$P(0) = 0.49, $ $ P(1) = 0.51$,那么对于类似方法的保密性应该怎么说呢?据我们所知,有没有这样一个系统的秘密,以及一般情况下,$X_1 X_2 ... $(明文)和密钥序列描述的平稳遍历过程的理论估计。我们考虑运行密钥密码,其中明文和密钥是由平稳遍历源产生的,并说明如何估计这样的系统的保密性。特别是,它表明,在一定意义上,Vernam密码是强大的随机性的小偏差。
2013-03-09 cs.CR cs.IT math.IT
Bayesian definition of random sequences with respect to conditional probabilities
本文研究贝叶斯模型中的条件随机性,证明条件盲随机性定义不当,并给出模型存在一致估计量的条件及后验弱收敛经典问题的算法等价刻画。
2023-04-20 cs.IT math.IT
Compression, Regularity, Randomness and Emergent Structure: Rethinking Physical Complexity in the Data-Driven Era
McGovern Institute for Brain Research(麦戈文脑科学研究所);MIT(麻省理工学院)
本文提出沿规律性、随机性和复杂性三轴统一组织统计、算法与动力学复杂性度量的框架,并阐明数据驱动方法如何作为经典复杂性理想的可计算近似。
2025-05-12 cond-mat.stat-mech cs.IT cs.LG
K-trivial, K-low and MLR-low sequences: a tutorial
算法随机性和算法信息论的一个显著成就是发现了K-平凡集、K-低集和马丁-洛夫-随机低集的概念:三个不同的定义由于非常重要的原因而被证明是等价的。本文根据作者之一(L.B.)在Poncelet实验室(CNRS,莫斯科)在2014年,提供了这种等价性的证明和一些相关结果的阐述。我们假设读者熟悉算法信息论的基本概念。
2015-10-01 cs.IT math.IT math.LO
On Resource-bounded versions of the van Lambalgen theorem
范兰巴根定理是算法信息论中关于相对随机性对称性的一个令人惊讶的结果。它建立了对于任何一对无限序列$A$和$B$,$B$是Martin-Löf随机的,并且$A$相对于$B$是Martin-Löf随机的当且仅当交织序列$A \uplus B$是Martin-Löf随机的。这意味着当且仅当$B$相对于$A$ \cite{vanLambalgen},\cite{Nies09},\cite{HirschfeldtBook}是随机的时,$A$相对于$B$是随机的。本文研究了这种现象的有效性不同的概念的时间有界的相对随机性。利用鞅和Kolmogorov压缩性证明了经典的van Lambalgen定理。我们建立了失败的相对随机性在这些设置中,时间有界鞅和时间有界Kolmogorov复杂性。我们适应我们的经典证明时,适用于时间有界的设置,并构造反例时,他们失败了。该定理的失效模式可能取决于时间有界随机性的概念。
2017-04-04 cs.CC cs.IT math.IT
Fixed point theorems on partial randomness
在我们以前的工作[K。Tadaki,Local Proceedings of CiE 2008,pp.425-434,2008],我们通过将温度T下的热力学量的概念(例如自由能F(T)、能量E(T)和统计机械熵S(T))引入到理论中,开发了算法信息论的统计机械解释。这些量是实变元T>0的实函数。然后,我们发现,在解释中,温度T等于所有这些热力学量的值的部分随机性,其中部分随机性的概念是通过程序大小复杂性来更强地表示压缩率。此外,我们还证明了这种情况对于作为热力学量的温度本身也成立。也就是说,配分函数Z(T)值的可计算性给出了T在(0,1)中是部分随机不动点的充分条件。本文证明了上述热力学量的可计算性也给出了充分条件。此外,我们证明了F(T)的可计算性给出了与Z(T)的可计算性完全不同的不动点。
2009-03-19 cs.CC cs.IT math.IT