Kolmogorov complexity as a language
柯尔莫哥洛夫复杂性(Kolmogorov complex)的概念(=生成某个对象的程序的最小长度)作为一种语言通常很有用,它允许我们重新表述一些概念,从而提供新的直觉。在本调查中,我们提供了(以最小的评论)许多不同的例子,其中涉及柯尔莫哥洛夫复杂性的概念和陈述与不涉及复杂性的概念和陈述进行了比较。
2011-02-26 cs.IT math.IT math.LO
On the Gaussianity of Kolmogorov Complexity of Mixing Sequences
令$ K(X_1, \ldots, X_n)$和$H(X_n | X_{n-1}, \ldots, X_1)$表示平稳遍历过程$\{X_i\}_{i=-\infty}^\infty$的Kolmogorov复杂度和Shannon熵率。已证明\[ \frac{K(X_1, \ldots, X_n)}{n} - H(X_n | X_{n-1}, \ldots, X_1) \rightarrow 0, \]几乎肯定。本文研究了这一渐近结果的收敛速度。特别是,我们表明,如果该过程满足一定的混合条件,则存在$σ<\infty$,使$$\sqrt{n}\left(\frac{K(X_{1:n})}{n}- H(X_0|X_1,\dots,X_{-\infty})\right) \rightarrow_d N(0,σ^2).$$此外,我们表明,在稍强的混合条件下,可以获得非渐近浓度边界的柯尔莫哥洛夫复杂性。
2017-02-04 cs.IT math.IT
27 Open Problems in Kolmogorov Complexity
本文提出了经典Kolmogorov复杂性的开放问题。每一个问题都有背景资料,因此本文也综述了该领域的一些最新研究。
2022-03-28 cs.CC cs.IT math.IT
Kolmogorov complexity and entropy of amenable group actions
Brudno证明了动力系统的熵与Kolmogorov复杂性是紧密相关的。我们推广他的结果的情况下,任意可计算的顺从的群体行动。也就是说,对于遍历移位作用,典型点的渐近Kolmogorov复杂度等于作用的Kolmogorov-Sinai熵。对于拓扑移位作用,每个点的渐近Komogorov复杂性由拓扑熵自上而下有界,并且有一个点达到这个界。
2020-04-27 cs.IT math.DS math.IT
All Kolmogorov complexity functions are optimal, but are some more optimal?
本文探讨Kolmogorov复杂度定义中编程语言选择问题,分析最优性要求及更强的普适性条件,证明后者在许多情况下不改变复杂度函数集合。
2025-06-19 cs.IT math.IT
Kolmogorov complexity and computably enumerable sets
我们研究的可计算可列集方面:(a)Kolmogorov复杂性的初始段;(b)Kolmogorov复杂性的有限程序时,他们被用作神谕。我们提出了一个扩展的讨论现有的研究就这一主题,随着最近的事态发展和开放的问题。除了这个调查,我们的主要原始结果是以下特征的可计算的集合与平凡的初始段前缀自由的复杂性。一个可计算可积集$A$是$K$ -平凡的当且仅当复杂度以$A$的复杂度为界的集合族是由停机问题一致可计算的。
2013-11-27 cs.IT math.IT math.LO
A look at the Kolmogorov complexity of finite groupoids and algebras
本文利用不可压缩性方法探讨有限广群与代数的 Kolmogorov 复杂度,发现几乎所有广群均非对称且简单,仅存在平凡或常值同态,而高度随机的广群则通过子广群限制揭示内在结构性质,并进一步探讨了允许随机性的等式恒等式。
2024-07-23 cs.IT math.IT
Rate Distortion and Denoising of Individual Data Using Kolmogorov complexity
我们从Kolmogorov复杂性的角度研究了畸变球家族的结构。特别注意的是,返回的最小Kolmogorov复杂性的所有失真球包含一个词的约束,其基数的源字的典型率失真函数。该规范率失真函数与针对给定失真度量的更标准算法率失真函数相关。例如列表失真,汉明失真和欧几里德失真。算法率失真函数可以表现得与香农的率失真函数不同。为此,我们表明,典型的率失真函数可以,并承担了广泛的一类形状(不像香农的);我们将低算法互信息与低Kolmogorov复杂度联系起来(并因此表明香农率失真函数的互信息公式的某些方面与使用算法互信息的类似公式表现不同);我们探讨了包含给定单词的低Kolmogorov复杂度失真球捕获该单词的有趣特性的概念(这在香农理论中很难形式化),这提出了一种去噪方法;最后,我们表明,在对源字进行平均之后,各个源字的率失真曲线的不同行为在一定程度上消失。
2009-11-26 cs.IT math.IT
Kolmogorov Complexity and Information Content
在本文中,我们重新审视柯尔莫哥洛夫复杂性的一个中心概念,其中一个等同于程序大小的复杂性与信息内容。尽管柯尔莫哥洛夫复杂度已经被广泛接受为字符串信息量的客观度量,但它一直是许多批评的主题,包括逻辑学家和哲学家对信息的统计和语义理论的基本批评,这是关于混淆对象及其名称。在本文中,我们澄清了一些微妙的问题,在这场辩论的中心。
2017-09-17 cs.CC cs.IT math.IT
Kolmogorov Complexity and the Garden of Eden Theorem
假设$τ$是服从群和有限字母表上的元胞自动机。著名的伊甸园定理指出,$τ$的预内射性等价于伊甸园配置的不存在。在本文中,我们将证明,施加一些温和的限制,我们可以添加另一个等价的断言:伊甸园配置的不存在等价于渐近Kolmogorov复杂性的保存下的元胞自动机的行动。它产生的元胞自动机,保持渐近Kolmogorov复杂性的一个特征。
2012-12-09 cs.IT math.IT nlin.CG
Kolmogorov complexity in perspective
我们调查的信息内容的概念的不同方法:从香农熵Kolmogorov复杂性。Kolmogorov复杂性的主要应用,即随机性的数学概念(可以追溯到60年代的Martin-Lof,Schnorr,Chaitin,Levin的工作)和分类,这是Vitanyi和Cilibrasi最近提出的一个具有挑衅性的想法。
2008-01-02 cs.CC cs.IT math.IT
An additively optimal interpreter for approximating Kolmogorov prefix complexity
研究使用IMP2语言逼近Kolmogorov前缀复杂度,证明其作为CTM参考机的解释器最优性,发现与低级模型相关性差异,但与复杂度上界强相关,支持CTM作为细粒度逼近方法的有效性。
2024-07-30 cs.IT math.IT
Topological arguments for Kolmogorov complexity
我们提出了几个应用程序的简单拓扑参数的问题的柯尔莫哥洛夫复杂性。基本上,我们使用拓扑中的标准事实,即磁盘是简单连接的。它被证明足以构造具有一些非平凡算法性质的字符串。
2015-01-26 cs.CC cs.DM cs.IT
Kolmogorov Complexity in perspective. Part I: Information Theory and Randomnes
我们调查不同的方法来的信息的概念:从香农熵Kolmogorov复杂性。Kolmogorov复杂性的两个主要应用:随机性和分类。该调查在同一卷中分为两个部分。第一部分致力于信息论和数学形式化的随机性的基础上柯尔莫哥洛夫复杂性。最后一个应用可以追溯到60年代和70年代的马丁-洛夫,施诺尔,柴廷,莱文的工作,并在过去几年中获得了新的动力。
2010-10-15 cs.CC cs.IT cs.LO
Prefix and plain Kolmogorov complexity characterizations of 2-randomness: simple proofs
Joseph Miller [16]和Andre Nies,Frank Stephan和Repubtiaan Terwijn [18]独立地给出了2-随机序列的复杂性特征,即简单的Kolmogorov复杂度C:它们是具有无限多个初始段的序列,具有O(1)-最大简单复杂度(在相同长度的字符串中)。后来Miller [17]表明前缀复杂度K也可以以类似的方式使用:一个序列是2-随机的当且仅当它有无穷多个初始段,其最大前缀复杂度为O(1)(对于长度为n的字符串,其复杂度为n + K(n))。这些结果的已知证明是相当复杂的,在本文中,我们提供了简单的直接证明。在[16]中,Miller也给出了第一个结果的定量版本:序列ω的0 '-随机性亏损等于lim inf [n-C(ω1 . . .ωn)] + O(1). (Our也可以使用简化的证明来证明这一点。我们证明(这似乎是一个新的结果),一个类似的定量结果也适用于前缀复杂性:0 '-随机性不足等于lim inf [n + K(n)-- K(ω1 . . .ωn)] + O(1).
2013-10-19 cs.IT math.IT
Kolmogorov complexity as a combinatorial tool
本研究提出Kolmogorov复杂度可作为精妙的组合工具,给出了用其证明自然组合博弈必胜策略存在性的意外示例,补充了该复杂度理论在组合领域的应用场景。
2024-05-15 cs.DM cs.IT math.CO
Kolmogorov complexity and the asymptotic bound for error-correcting codes
在具有$q$字母的固定字母表上的所有纠错分组码的集合确定具有坐标$(R,δ)$:=(相对传输速率,相对最小距离)的单位正方形中的有理点的递归可重复集合。这个集合的极限点形成一个闭子集,定义为$R\le α_q(δ)$,其中$α_q(δ)$是一个连续递减函数,称为渐近界。它的存在被证明的第一-命名的作者在1981年([曼1]),但没有办法计算这个功能是已知的,在[曼5],它甚至建议,这个功能可能是不可计算的意义上的建设性分析。在本说明中,我们表明,渐近界成为可计算的协助下,一个神谕生产代码的顺序,其不断增长的柯尔莫哥洛夫复杂性。此外,一个自然的分区函数,涉及复杂性,使我们能够解释的渐近界作为一条曲线划分两个不同的热力学阶段的代码。
2012-12-17 cs.IT math.IT
Random noise increases Kolmogorov complexity and Hausdorff dimension
考虑长度为$n$的二进制串$x$,其柯尔莫哥洛夫复杂度对于某些$α<1$是$αn$。我们希望通过更改$x$中的一小部分位来增加$x$的复杂性。这总是可能的:Buhrman、Fortnow、Newman和Vereshchagin(2005)表明,对于大的$n$,增加可以至少是$δn$(其中$δ$是取决于$α$和允许的改变位的分数的某个正数)。我们考虑一个相关的问题:当我们随机改变一小部分比特(以一定的概率$τ$独立地改变每个比特)时,$x$的复杂性会发生什么?事实证明,复杂性的线性增加发生的概率很高,但这种增加比任意变化的情况下要小。我们注意到,增加的量取决于$x$(相同复杂度的字符串可能表现不同),并给出了此增加的精确下限和上限(具有$o(n)$精度)。证明使用了组合和概率技术,可以追溯到Ahlswede,Gács和Körner(1976)。为了读者的方便(也因为我们需要一个稍微强有力的声明),我们提供了一个简化的说明这种技术,所以这篇论文是自成一体的。
2019-01-16 cs.IT math.IT
On the Kolmogorov-Chaitin Complexity for short sequences
Kolmogorov-Chaitin复杂度(K)作为从s到产生s的最短程序的函数的缺点是它的不可计算性,这限制了它的适用范围。此外,当字符串很短时,K对特定通用图灵机U的依赖性可以是任意的。在实践中,可以通过可计算的压缩方法来近似它。但是,这种压缩方法并不总是提供有意义的近似值--例如,对于比典型编译器长度更短的字符串。在本文中,我们提出了一个经验的方法来克服这个困难,并获得一个稳定的定义短序列的Kolmogorov-Chaitin复杂性。此外,分布频率方面的相关性被发现在两个模型的抽象机器,即一维元胞自动机和确定性图灵机的输出。
2010-12-17 cs.CC cs.IT math.IT
Inequalities for space-bounded Kolmogorov complexity
Shannon信息论和算法信息论之间存在一种平行性。特别地,相同的线性不等式对于随机变量的元组的香农熵和字符串的元组的柯尔莫哥洛夫复杂度是成立的(Hammer等人,1997),以及子群的大小和集合的投影(Chan,Yeung,Romashchenko,Shen,Vereshchagin,1998- 2002)。这种并行性始于Kolmogorov-Levin公式(1968),用于对数精度的字符串对的复杂性。Longpré(1986)证明了这个公式在空间有界复杂性中的一个版本。本文利用Sipser技巧证明了Longpré结果的一个改进版本,使其具有更紧的空间界.然后,使用这个空间界,我们表明,每个线性不等式是真实的复杂性或熵,也是真实的空间有界的柯尔莫哥洛夫复杂性与多项式空间开销。
2022-09-09 cs.IT math.IT math.LO
Two sources are better than one for increasing the Kolmogorov complexity of infinite sequences
一个无限二进制序列的随机率由Kolmogorov复杂度与序列初始段长度之比的序列来表征。已知没有统一有效的方法将一个输入序列转换成另一个具有更高随机率的序列。相比之下,我们展示了这样一个统一的有效的程序,作为输入两个独立的序列,积极的,但任意小的恒定随机率。此外,该变换是一个真值表约简,输出具有任意接近1的随机率。
2007-12-11 cs.CC cs.IT math.IT
Adjusted Kolmogorov Complexity of Binary Words with Empirical Entropy Normalization
Texas A&M University(德克萨斯农工大学)
本文提出了一种基于经验熵归一化的二进制词复杂性度量,以分离内在描述复杂性与符号不平衡的组合效应,并探讨其在随机性测试和结构数据分析中的应用。
2025-12-24 cs.CC cs.IT math.IT
Space-bounded online Kolmogorov complexity is additive
本文证明了具有空间界 $s + 6n + O(1)$ 的有界空间对话复杂度至多为 $\mathrm C^{s}(x) + O(\log (sn))$,表明有界空间的在线柯尔莫哥洛夫复杂度具有可加性。
2025-07-14 cs.CC cs.IT math.IT
Game interpretation of Kolmogorov complexity
柯尔莫哥洛夫复杂性函数K可以用任何预言机A相对化,并且K的大多数性质对于相对化的版本仍然成立。在第1节中,我们通过给出博弈论解释来解释这一观察结果,并表明所有“自然”属性要么对所有足够强大的神谕都是真的,要么对所有足够强大的神谕都是假的。这个结果是马丁决定性定理的一个简单推论,但它的证明是有指导意义的:它展示了如何通过构造一个特殊的博弈和这个博弈中的获胜策略来证明关于柯尔莫哥洛夫复杂性的陈述。这种技术通过几个例子(总条件复杂度,双射复杂度,随机性提取,对比平原和前缀复杂度)来说明。
2010-03-24 cs.GT cs.IT math.IT
Causal Inference via Conditional Kolmogorov Complexity using MDL Binning
Northeastern University(东北大学);GE Global Research(通用电气全球研究中心)
最近的发展已经将因果推理与数学信息论联系起来,并且已经开发了利用条件柯尔莫哥洛夫复杂性来确定两个随机变量之间的因果关系的方法。我们提出了一种方法来推断因果方向之间的连续变量使用MDL装箱技术的数据离散化和复杂性计算。我们的方法捕获数据的形状,并使用它来确定哪个变量具有更多关于另一个变量的信息。它的高预测性能和鲁棒性在几个真实世界的用例中得到了证明。
2019-11-06 cs.IT cs.LG math.IT
Around Kolmogorov complexity: basic notions and results
数学信息论研究描述的复杂性和随机性,现在是理论计算机科学和数理逻辑的一个众所周知的领域。有几本教科书和专着致力于这一理论,人们可以找到许多困难的结果以及历史参考的详细论述。然而,它似乎是一个简短的调查,其基本概念和主要结果,这些概念相互关联,是失踪。本报告试图填补这一空白,并涵盖了算法信息论的基本概念:柯尔莫哥洛夫复杂性(平原,条件,前缀),所罗门诺夫普遍先验概率,随机性的概念(马丁-洛夫随机性,米塞斯-丘奇随机性),有效豪斯多夫维数。我们证明了它们的基本性质(信息的对称性,先验概率与前缀复杂性的关系,用复杂性表示随机性的准则,有效维数的复杂性刻画),并给出了它们的一些应用(计算复杂性理论中的不可压缩性方法,不完备性定理).它是根据作者在乌普萨拉大学的一门课程的讲义。
2015-04-20 cs.IT math.IT math.LO
On a conditional inequality in Kolmogorov complexity and its applications in communication complexity
Romashchenko和Zimand~ \cite{rom-zim:c:mutualinfo}已经证明,如果我们将$n$位串的$(x,y)$对的集合划分为组合矩形,则$I(x:y) \geq I(x:y \mid t(x,y)) - O(\log n)$,其中$I$表示Kolmogorov复杂度意义上的互信息,并且$t(x,y)$是包含$(x,y)$的矩形。我们观察到,这个不等式可以扩展到覆盖与矩形可能重叠。新的不等式本质上指出,在覆盖与组合矩形,$I(x:y) \geq I(x:y \mid t(x,y)) - \log ρ- O(\log n)$的情况下,其中$t(x,y)$是任何矩形包含$(x,y)$和$ρ$是覆盖的厚度,这是矩形重叠的最大数量。我们讨论的应用程序的通信复杂性的协议是不确定的,或随机的,或亚瑟-梅林,以及交互式协议的信息复杂性。
2019-05-01 cs.CC cs.IT math.IT
Quantum Kolmogorov Complexity Based on Classical Descriptions
我们发展了一个理论的算法信息位包含在一个单独的纯量子态。这将经典的柯尔莫哥洛夫复杂性扩展到量子域,保留经典的描述。量子Kolmogorov复杂性与经典域上的经典Kolmogorov复杂性一致。量子柯尔莫哥洛夫复杂度是有上限的,并且在一定条件下可以有效地从上面近似。量子物体很有可能是不可压缩的。导出了单个纯量子态的多个拷贝的量子复杂度的上、下界,并对量子态的不可克隆性提供了一些启示。在量子情形中,复杂性不是次加性的。我们讨论了与"不可克隆“和"近似克隆”性质的一些关系。
2001-10-09 cs.CC cs.IT math.IT
Kolmogorov Complexity in perspective. Part II: Classification, Information Processing and Duality
我们调查不同的方法来的信息的概念:从香农熵Kolmogorov复杂性。Kolmogorov复杂性的两个主要应用:随机性和分类。该调查分为两部分,在同一卷中出版。第二部分致力于逻辑和信息系统之间的关系,在柯尔莫哥洛夫算法信息论的范围内。我们提出了一个最近的应用程序Kolmogorov复杂性:分类使用压缩,一个想法与挑衅性的实现作者,如贝内特,Vitanyi和Cilibrasi。这强调了柯尔莫哥洛夫复杂性除了是随机性的基础之外,还与分类有关。还考虑了另一种分类方法:所谓的“谷歌分类”。它使用了另一个原始的和有吸引力的想法,这是连接到使用压缩分类和柯尔莫哥洛夫复杂性从概念的角度来看。我们提出并统一这些不同的方法来分类自下而上与自上而下的操作模式,我们指出的基本原则和潜在的二元性。我们看看这两种双重模式是如何在不同的方法中使用的信息系统,特别是关系模型的数据库介绍了Codd在70年代。这允许指出一个基本的二元性的不同形式。这些操作模式也重新解释的背景下的理解模式的公理集合论ZF。这使我们发展如何Kolmogorov的复杂性与内涵,抽象,分类和信息系统。
2010-10-13 cs.CC cs.IT cs.LO
Kolmogorov Complexity and Solovay Functions
Solovay证明了无前缀Kolmogorov复杂度函数K存在一个可计算的上界f,使得对于无穷多个x,f(x)= K(x)。本文考虑一类可计算函数f,使得对所有x,K(x)≤ f(x)+O(1),对无穷多个x,f(x)≤ K(x)+ O(1),我们称之为Solovay函数.我们发现,Solovay函数提出有趣的连接与随机性的概念,如马丁-洛夫随机性和K-平凡。
2009-02-06 cs.CC cs.IT math.IT
Automatic Kolmogorov complexity, normality and finite state dimension revisited
众所周知,正规性可以通过有限自动机描述为不可压缩性。Becher和Heiber(2013)在“无损有限状态压缩器”方面给出的这个结果的陈述和证明仍然不遵循柯尔莫哥洛夫复杂度定义的标准方案(自动机用于压缩,而不是解压缩)。我们修改这种方法,使其更类似于传统的Kolmogorov复杂性理论(和更简单),明确定义的概念,自动Kolmogorov复杂性,并使用其简单的属性。利用这一特征和一个充分条件的正常的Kolmogorov复杂性从它派生,我们提供了简单的证明经典结果正常序列(Champernown,墙,Piatetski-Shapiro,Besicovitch,Copeland,Erdos等)。然后,我们将这种方法推广到有限状态维。我们表明,块熵定义的有限状态维保持不变,如果使用非对齐块。然后给出了自动复杂性、Kolmogorov复杂性的超可加界、校正超可加函数和有限状态先验概率等概念的等价定义,并利用它们对已知的关于有限状态维数的结果、Agafonov关于自动选择规则保持正态性的结果以及Schnorr和Stimm关于有限状态鞅正态性的结果给出了简单的证明.本文的一些结果已在2017年和2019年的计算理论基础会议上发表。这篇论文的初步版本(没有提到有限状态维度)于2017年发表在arxiv上(见本论文的前一个版本)。
2020-08-24 cs.FL cs.IT math.IT
Kolmogorov complexity in the USSR (1975--1982): isolation and its end
这些回忆是关于苏联算法信息论的“黑暗时代”。在1960年代和1970年代初对这一主题产生极大兴趣之后,苏联在这一领域工作的人数显着减少。当时洛杉矶莱文发表了一系列对现代算法信息论具有开创性意义的论文。然后他离开了苏联,新的兴趣浪潮是由A.N.的谈话引发的。Kolmogorov在莫斯科国立(罗蒙诺索夫)大学数学系(逻辑和算法司)研讨会由他组织;几个年轻的研究人员获得了一些新的成果,算法信息论。
2019-07-11 cs.GL cs.IT math.IT
Entropy and Quantum Kolmogorov Complexity: A Quantum Brudno's Theorem
在经典信息论中,熵率和每个符号的Kolmogorov复杂度通过Brudno定理联系在一起。在本文中,我们证明了这个定理的量子版本,连接冯诺伊曼熵率和量子柯尔莫哥洛夫复杂性的两个概念,都基于量子比特串的最短量子比特描述,由通用量子图灵机运行,将它们作为输出。
2006-10-17 cs.IT math-ph math.DS
Extracting the Kolmogorov Complexity of Strings and Sequences from Sources with Limited Independence
一个无限二进制序列的随机率至少为$σ$,如果对于几乎每个$n$,其长度为$n$的前缀的柯尔莫哥洛夫复杂度至少为$σn$。已知对于每个有理$σ\in (0,1)$,一方面存在随机率为$σ$的序列不能有效地变换为随机率高于$σ$的序列,另一方面任意两个随机率为$σ$的独立序列都可以变换为随机率高于$σ$的序列。我们表明,后者的结果,即使两个输入序列具有线性依赖性(这,非正式地说,意味着所有前缀的长度$n$的两个序列有共同的一个常数部分的信息)。研究了有限弦的类似问题。它表明,从任何两个字符串具有足够大的柯尔莫哥洛夫复杂性和足够小的依赖性,可以有效地构建一个字符串是随机的,甚至由任何一个输入字符串的条件。
2009-02-12 cs.CC cs.IT math.IT
Kakeya Conjecture and Conditional Kolmogorov Complexity
Booth School of Business, University of Chicago(芝加哥大学布斯商学院);Muma College of Business, University of South Florida(南佛罗里达大学穆马商学院)
本文提出一个信息论框架,探讨在纤维化几何集中标注信息对残余描述长度的压缩影响,通过算法维度和Lutz点到集原理,证明点的复杂性可分解为纤维标签和沿纤维残余复杂性之和,解决Kakeya猜想在高维空间中的挑战。
2026-03-26 cs.IT math.CA math.IT
Towards an axiomatic system for Kolmogorov complexity
在[She82]中,证明了四个基本的函数性质足以表征简单的Kolmogorov复杂性,从而获得了这个概念的公理化表征。在本文中,我们试图扩展这项工作,无论是通过寻找替代公理系统的平原复杂性,并考虑潜在的公理系统的其他类型的复杂性。首先,我们表明,公理系统沈不能削弱(至少在任何自然的方式)。然后,我们给一个类似的沈的公理系统的条件复杂性。本文的第二部分研究了无前缀复杂性,并试图建立一个无前缀复杂性的公理系统,但我们发现,沈从文的公理系统的自然类似物不能刻画无前缀复杂性。
2011-03-31 cs.CC cs.IT cs.LO
List approximation for increasing Kolmogorov complexity
不可能有效地修改字符串以增加其柯尔莫哥洛夫复杂度。但是,是否有可能构造一些不长于输入字符串的字符串,使它们中的大多数具有更大的复杂性?我们证明答案是肯定的。我们提出了一个算法,输入一个字符串$x$的长度$n$返回一个列表与$O(n^2)$许多字符串,所有的长度$n$,使99\%的人是更复杂的比$x$,提供的复杂性$x$小于$n - \log \log n - O(1)$。我们得到类似的结果,其他参数,包括多项式时间的建设。
2017-02-06 cs.CC cs.IT math.IT
Low Complexity Kolmogorov-Smirnov Modulation Classification
Institute of Network Coding, CUHK(香港中文大学网络编码研究所);State Key Laboratory of Rail Traffic Control and Safety, BJTU(北京交通大学轨道交通控制与安全国家重点实验室)
本文将一种非参数的拟合优度检验方法Kolmogorov-Smirnov(K-S)检验应用于自动调制分类(AMC)。基本过程包括计算从接收信号导出的一些决策统计的经验累积分布函数(ECDF),并将其与每个候选调制格式下的信号的CDF进行比较。首先针对AWGN信道设计了基于K-S的调制分类器,然后将其应用于OFDM-SDMA系统中消除多用户干扰。针对K-S调制分类算法的复杂度问题,提出了一种基于K-S分类器鲁棒性的低复杂度方法。大量的仿真结果表明,与传统的基于累积量的分类器相比,所提出的K-S分类器提供了优越的分类性能,并需要较少的信号样本数(因此是快速的)。
2011-03-03 cs.IT cs.LG math.IT
Towards a stable definition of Kolmogorov-Chaitin complexity
虽然信息内容在加法常数之前是不变的,但适用于程序设计语言的可能加法常数的范围是如此之大,以至于在实际计算K(s)时,它起着重要的作用,K(s)是字符串s的Kolmogorov-Chaitin复杂度。人们曾试图通过诉诸语言的“自然性”来达到一个足够稳定的框架,以给出K的具体定义,而不依赖于程序设计语言下的任何常数。本文的目的是提出一种方法来克服这个问题,通过寻找一组模型的计算收敛在输出概率分布,这样,“自然性”可以推断,从而提供了一个框架下的收敛模型的计算K的稳定定义。
2010-06-01 cs.CC cs.IT math.IT
Kolmogorov Complexity of Categories
Kolmogorov复杂性理论用于判断字符串的算法信息内容是什么。它被定义为描述字符串的最短程序的长度。我们提出了一种编程语言,可用于描述类别,函子,和自然变换。有了这个在手,我们定义这些分类结构的信息内容作为描述这种结构的最短程序。我们的定义的一些基本后果,包括事实上,等价类别具有相等的柯尔莫哥洛夫复杂性。我们还证明了不同的定理,什么可以和不能描述我们的编程语言。
2013-06-11 cs.IT cs.LO cs.PL
Recommendation via matrix completion using Kolmogorov complexity
一种常用的方法来模拟推荐系统是作为一个矩阵完成问题。有几种矩阵补全方法,通常使用优化方法或协同过滤。大多数方法假设矩阵是低秩的,或者有少量的隐变量编码整个问题。在这里,我们提出了一种新的推荐系统的矩阵完成算法,没有任何假设的秩,这是无模型的,即,不假定条目是某些潜在变量的函数。相反,我们使用一种类似于信息论的技术。我们的方法进行混合邻域为基础的协同过滤使用柯尔莫哥洛夫复杂性。它将矩阵完备化问题转化为每个用户的向量完备化问题。因此,对一个用户的推荐独立于对其他用户的推荐。这使得算法具有可扩展性,因为计算是高度并行化的。我们的结果与合成和真实世界数据集基准的最先进方法相比具有竞争力。
2017-07-19 cs.IR cs.IT math.IT
Neural Weight Norm = Kolmogorov Complexity
ETH Zürich(苏黎世联邦理工学院)
论文证明在固定精度下,循环神经网络输出二进制字符串的最小权值范数等于该字符串的柯尔莫戈洛夫复杂度,揭示了权值衰减与 Solomonoff 先验的联系。
2026-05-11 cs.IT cs.LG math.IT
Maximal Kolmogorov Complexity in a Hamming Ball
Centro Nacional de Inteligencia Artificial (CENIA)(智利国家人工智能中心);Moscow State University(莫斯科国立大学);HSE University(高等经济大学);Yandex
本文研究汉明球内字符串的最大Kolmogorov复杂度,刻画其取值区间并建立函数性质,揭示与等周不等式和纠错码的关联。
2026-09-11 cs.IT math.IT
From Gauss to Kolmogorov: Localized Measures of Complexity for Ellipses
高斯宽度是概率论、统计学和几何学中的一个基本量,已知是估计和假设检验的内在困难的基础。在这项工作中,我们将展示如何高斯宽度,当本地化到任何给定的点的椭圆,可以控制的Kolmogorov宽度的一组类似本地化。这种连接导致一个明确的特征的最小二乘回归的估计误差作为一个函数的真实回归向量内的椭圆。误差衰减的速率随位置的变化而变化:作为一个具体的例子,在光滑度$α$的Sobolev椭圆中,我们展示了从对应于经典全局速率的$(σ^2)^{\frac{2 α}{2 α+ 1}}$到更快速率$(σ^2)^{\frac{4 α}{4 α+ 1}}$的速率。我们还展示了如何本地Kolmogorov宽度可以与本地度量熵。
2018-03-21 cs.IT math.IT math.ST
Kolmogorov complexity version of Slepian-Wolf coding
Alice和Bob分别得到两个相关的n-位串x_1和x_2,他们希望将其丢失压缩并发送给Zack。他们可以通过共享字符串进行协作,也可以单独工作。我们表明,在第二种情况下没有缺点:爱丽丝和鲍勃,不知道对方的字符串,可以实现几乎最佳的压缩在柯尔莫哥洛夫复杂性的意义上。此外,压缩需要多项式时间,并且可以在满足某些必要条件(模加性多对数项)的任何长度组合下进行。更准确地说,存在概率算法E_1、E_2和确定性算法D,其中E_1和E_2在多项式时间内运行,具有以下行为:如果n_1、n_2是满足n_1 + n_2 \geq C(x_1,x_2)的两个整数,则n_1 \geq C(x_1| x_2),n_2 \geq C(x_2| x_1),则对于i \in {1,2},输入x_i和n_i上的E_i输出长度为n_i + \polylog n的字符串,使得输入E_1(x_1)上的D,E_2(x_2)以高概率重构(x_1,x_2)(其中C(x)表示x的普通柯尔莫哥洛夫复杂度,C(x \mid y)是x的以y为条件的复杂度)。我们的主要结果是更一般的,因为它涉及的压缩任何常数相关字符串。它是经典的Slepian-Wolf定理的算法信息论框架中的模拟,Slepian-Wolf定理是网络信息论中的基本结果,其中x_1和x_2是通过从联合分布中独立抽取n次而形成的两个离散随机变量的实现。此外,在经典的结果中…
2017-02-12 cs.IT math.IT
Relating and contrasting plain and prefix Kolmogorov complexity
在[3]中给出了一个简短的证明,证明了某些字符串具有最大的简单Kolmogorov复杂度,但不具有最大的无前缀复杂度。证明使用了Levin的信息对称性,Levin的公式与简单和前缀复杂度有关,以及Gacs的定理,即给定字符串的复杂度可以很高。我们认为,证明技术和上述结果是有用的,以简化现有的证明和解决开放的问题。我们给出了Solovay的结果[21]的一个简短证明,该结果与普通复杂度和前缀复杂度有关:$K (x) = C (x) + CC (x) + O(CCC (x))$和$C (x) = K (x) - KK (x) + O(KKK (x))$(这里$CC(x)$表示$C(C(x))$等)。我们证明了存在$ω$使得$\liminf C(ω_1\dots ω_n) - C(n)$是无限的,而$\liminf K(ω_1\dots ω_n) - K(n)$是有限的,即无穷常C-平凡实数与无穷常K-平凡实数不相同(即[1,问题1]). Solovay表明,对于无穷多个$x$,我们有$|x| - C (x) \le O(1)$和$|x| + K (|x|) - K (x) \ge \log^{(2)} |x| - O(\log^{(3)} |x|)$,(这里$|x|$表示$x$和$\log^{(2)} = \log\log$的长度,等等)。我们证明了这一结果适用于某些2-随机序列的前缀…
2014-05-07 cs.CC cs.IT math.IT
The entropy functional, the information path functional's essentials and their connections to Kolmogorov's entropy, complexity and physics
本文介绍受控扩散过程轨迹上的熵泛函和信息路径泛函的最新结果,分析它们与柯尔莫哥洛夫熵、复杂性和李雅普诺夫特征的关系,并研究IPF极值方程的奇异性及生成的不变关系。
2011-07-08 cs.IT cs.SY eess.SY
The Kolmogorov Complexity of Irish traditional dance music
University of Galway(戈尔韦大学);Dundalk Institute of Technology(邓多克理工学院)
本文用Lempel-Ziv压缩估计爱尔兰传统舞曲旋律的柯尔莫哥洛夫复杂度,以区分简单与困难曲调,并比较里尔舞曲和吉格舞曲的复杂度差异。
2024-06-14 cs.CL cs.CV cs.IR
Two-Dimensional Kolmogorov Complexity and Validation of the Coding Theorem Method by Compressibility
我们提出了一个措施的基础上的基本理论概念,算法信息论,提供了一个自然的方法来评估$n$维复杂性的问题,通过使用一个$n$维确定性图灵机。该技术是有趣的,因为它提供了一个自然的算法过程,对称性破缺产生复杂的$n$维结构,从完全对称和完全确定性的计算规则产生的分布模式所描述的算法概率。数学概率还巧妙地将模式的出现频率与其算法复杂度联系起来,从而有效地提供对所生成模式的复杂度的估计。实验验证这些概念的基础上的算法复杂性的估计,表明该措施是稳定的,在面对计算形式主义的一些变化,结果是一致的,使用无损压缩算法时,这两种方法在其适用范围内重叠的结果。然后,我们使用的二维图灵机的集合的输出频率进行分类的基本细胞自动机的时空演化的算法复杂性。
2015-08-26 cs.CC cs.IT math.IT
The Simplest Solution to an Underdetermined System of Linear Equations
考虑一个d*n矩阵A,其中d<n。在y=Ax中求解x的问题是欠定的,并且有无穷多个解(如果有的话)。给定y,输入x的最小柯尔莫哥洛夫复杂度解(MKCS)被定义为具有满足y=Az的最小柯尔莫哥洛夫复杂度的输入z(在许多输入中)。如果实际输入足够简单,那么MKCS将准确地恢复输入。本文提出了一个初步的研究的复杂性水平的存在和价值,这种基于复杂性的恢复是可能的。结果表明,对于所有d*n个二进制矩阵(元素为0或1,且d<n)的集合,只要输入的Kolmogorov复杂度为O(d),MKCS就能精确地恢复绝大多数矩阵的输入.一个弱的逆,是松散的log n因子也建立了这种情况下。最后,我们调查的困难,找到一个矩阵,具有恢复输入的复杂性为O(d)使用MKCS的属性。
2007-02-19 cs.IT math.IT
On Algorithmic Statistics for space-bounded algorithms
数学统计学研究对观测数据的解释,这些解释在算法意义上是好的:解释应该是简单的,即应该具有小的柯尔莫哥洛夫复杂度,并捕获数据中所有算法可解释的参数。然而,这个想法不能在实践中使用,因为Kolmogorov复杂性是不可计算的。在本文中,我们开发的算法统计使用空间有界Kolmogorov复杂性。我们证明了一个模拟的主要结果之一的“经典”算法统计(最优性和随机性之间的连接缺陷)。我们证明的主要工具是Nisan-Wigderson生成器。
2017-07-13 cs.CC cs.IT math.IT
Correlation of Automorphism Group Size and Topological Properties with Program-size Complexity Evaluations of Graphs and Complex Networks
我们表明,应用于图邻接矩阵的Kolmogorov复杂性(K)的数值近似捕捉到了从代谢网络到社交网络的图和经验网络的一些群论和拓扑性质。K和图的自同构群的大小是相关的,这为计算几何中的问题开辟了有趣的联系,从而将复杂性科学中的几个度量和概念联系起来。我们表明,K的合成和自然网络的生成机制的近似,分配较低的算法随机性复杂的网络模型(Watts-Strogatz和Barabasi-Albert网络)和高Kolmogorov复杂性(随机)Erdos-Renyi图。我们通过两种不同的Kolmogorov复杂性近似方法应用于图和网络的邻接矩阵得到这些结果。所使用的方法是传统的无损压缩方法的柯尔莫哥洛夫复杂性,和一个规范化版本的块分解方法(BDM)的措施,基于算法概率论。
2014-02-23 cs.CC cs.CG cs.IT
Time Series Correlations and Kolmogorov Complexity: A Hausdorff Dimension Perspective
本文从豪斯多夫维度角度探讨时间序列相关性,指出科莫哥洛夫复杂性能有效避免虚假正相关,通过耦合逻辑映射和多变量分数布朗运动模型验证低复杂度序列更易产生虚假正相关。
2026-04-01 cs.CC cs.IT math.DS
Strongly Universal Quantum Turing Machines and Invariance of Kolmogorov Complexity
我们证明了存在一个通用的量子图灵机(UQTM),它可以模拟每一个其他的QTM,直到其他QTM已经停止,然后以概率1停止自己。这扩展了Bernstein和Vazirani的工作,他们已经证明存在一个UQTM,可以模拟任意但预先分配的时间步长的每一个其他QTM。作为这个结果的推论,我们给出了严格的证明,量子Kolmogorov复杂性定义的Berthiaume等人。是不变的,即取决于选择的UQTM只有一个附加常数。我们的证明是基于一个新的数学框架QTM,包括彻底分析其停机行为。我们引入相互正交的停顿空间的概念,并表明,在输入量子比特串编码的信息总是可以有效地分解成一个经典的和量子的一部分。
2007-08-11 cs.IT math-ph math.IT