Algorithmic List Decoding of Reed-Solomon Codes up to Capacity
University of California, Berkeley（加州大学伯克利分校）；Department of EECS, University of Michigan, Ann Arbor（密歇根大学安娜堡分校电气与计算机工程系）；Harvard University, Cambridge, Massachusetts（哈佛大学）；Simons Institute for the Theory of Computing, Berkeley and Institute for Advanced Study, Princeton（加州大学伯克利分校西蒙斯理论计算研究所和普林斯顿高等研究院）
提出确定性多项式时间列表解码算法，用于素数域Reed-Solomon码，接近列表解码容量，适用于任意评估集和常数速率。
2026-09-09 cs.CC cs.IT math.IT
Algorithmic randomness and monotone complexity on product space
研究了无穷二元序列集乘积的算法随机性和单调复杂性。我们探讨了以下问题：产品空间上的单调复杂性，相关概率的Lambalgen定理，随机集的分类似然比检验，分解的复杂性和独立性，贝叶斯统计的个人随机序列。以前的Lambalgen相关概率定理在[H.高桥通知。Comp. 2008]。在本文中，我们证明定理没有假设。
2010-06-28 cs.IT math.IT
Algorithmic complexity of $β$-expansions and application to A/D conversion
本文建立二进制展开与$\eta$-展开的算法复杂度关系，提出并解决A/D转换中生成序列的可压缩性问题。
2025-05-27 cs.IT math.IT
Algorithmic Problem Complexity
人们解决不同的问题，并知道其中有些是简单的，有些是复杂的，有些是无法解决的。这项工作的主要目标是发展一个数学理论的算法复杂性的问题。该理论旨在确定计算机解决不同问题的能力，并估计计算机需要做的资源。在这里，我们建立了这个理论的一部分，与算法的静态措施。首先，我们考虑有限字的问题，并研究这类问题的算法复杂性，建立最佳的复杂性措施。然后，我们考虑的问题，这样的无限对象的功能和研究这些问题的算法复杂性，并建立最佳的复杂性措施。在第二部分的工作，算法问题的复杂性，如停机问题的图灵机，是衡量类的自动机是必要的，以解决这个问题。为了根据问题的复杂性对不同的问题进行分类，使用了归纳图灵机，它扩展了图灵机的可能性。归纳图灵机的层次结构生成算法问题的归纳层次结构。在这里，我们特别考虑与图灵机和归纳图灵机相关的算法问题，并在算法问题的归纳层次中找到这些问题的位置。
2008-07-04 cs.CC cs.IT math.IT
Information Geometric Superactivation of Asymptotic Quantum Capacity and Classical Zero-Error Capacity of Zero-Capacity Quantum Channels
零容量量子信道的超激活使得在输出端使用具有正联合容量的两个零容量量子信道成为可能。目前，我们没有理论背景来描述超活跃零容量信道的所有可能组合;因此，可能存在许多其他可能的组合。在这篇博士论文中，我提供了一个超激活问题的算法解决方案，并证明了超激活效应的根源是信息几何问题。
2013-03-05 cs.IT math.IT quant-ph
Characterization of the Arithmetic Complexity of the Secrecy Capacity of Fast-Fading Gaussian Channels
本文从算法视角证明快衰落高斯窃听信道的保密容量在某些可计算分布下不可计算，并揭示其算术层级分类中缺乏可计算可达性与逆界。
2025-01-20 cs.IT math.IT
Algorithmic complexity and randomness in elastic solids
一个系统，包括一个弹性的固体和它的响应外部随机力序列的表现基于算法的复杂性和随机性理论的原则。固体以与其算法复杂性成比例的方式扭曲输入力序列的随机性。我们证明了这一点，通过数值分析的一维振动弹性固体（系统）上，我们施加一个最大的随机输入力。系统的复杂程度通过外部参数来控制。输出响应是在物体上的几个位置处观察到的位移场。算法的复杂性和随机性的输出位移序列的测量和比较对系统的复杂性。结果表明，系统复杂度越高，输出序列的随机性越差。这与[16]中介绍的理论一致，该理论指出，这样的物理系统表现为算法选择规则，作用于周围环境中的随机行为。
2008-11-04 cs.CC cs.IT math.IT
Symmetry and Algorithmic Complexity of Polyominoes and Polyhedral Graphs
我们引入了算法对称性的定义，能够捕捉几何对称性的基本方面。我们回顾，研究和应用一种方法来近似算法的复杂性（也称为Kolmogorov-Chaitin复杂性）的图形和网络的基础上的概念的概率（AP）。AP是一个概念（和方法），能够递归枚举所有的可计算（因果）性质的统计性质之外。我们探索算法的复杂性-理论和数值-与几何属性主要是对称性和拓扑结构从（算法）信息理论的角度来看。我们表明，近似算法的复杂性，通过无损压缩和基于概率的方法可以表征性质的多项式，多面体，规则和准规则多面体以及多面体网络，从而证明其剖析能力。
2018-02-24 cs.CC cs.CG cs.DM
SALZA: Soft algorithmic complexity estimates for clustering and causality inference
给出了条件复杂度、简单复杂度和联合复杂度的一套完整的实用估计，并由此导出了一个半度量。此外，提出了新的有向信息估计，适用于因果关系推断的有向无环图。这些估计的性能进行了研究，并显示比较以及相对于国家的最先进的归一化压缩距离（NCD）。
2016-07-18 cs.IT math.IT
Numerical Evaluation of Algorithmic Complexity for Short Strings: A Glance into the Innermost Structure of Randomness
我们描述了一种替代方法（压缩），结合了几个理论和实验结果，以数值近似的算法（Kolmogorov-Chaitin）的复杂性的所有$\sum_{n=1}^82^n$位串长达8位，和一些之间的9和16位长。这是通过穷举执行所有确定性的2符号图灵机来完成的，最多有4个状态，由于忙海狸问题，停机时间是已知的，即11019960576台机器。然后计算输出频率分布，从该输出频率分布计算算法概率，并通过（Levin-Zvonkin-Chaitin）编码定理评估算法复杂度。
2011-10-05 cs.CC cs.IT math.IT
Foundations of algorithmic thermodynamics
该研究基于Gács粗粒度算法熵，证明了保测动力系统中若干涨落不等式（含Jarzynski等式等的算法版本），揭示其能确定单个状态做功的实际能力，优于吉布斯-香农熵的系综平均能力。
2024-12-01 cond-mat.stat-mech cs.IT math.IT
On Algorithmic Statistics for space-bounded algorithms
数学统计学研究对观测数据的解释，这些解释在算法意义上是好的：解释应该是简单的，即应该具有小的柯尔莫哥洛夫复杂度，并捕获数据中所有算法可解释的参数。然而，这个想法不能在实践中使用，因为Kolmogorov复杂性是不可计算的。在本文中，我们开发的算法统计使用空间有界Kolmogorov复杂性。我们证明了一个模拟的主要结果之一的“经典”算法统计（最优性和随机性之间的连接缺陷）。我们证明的主要工具是Nisan-Wigderson生成器。
2017-07-13 cs.CC cs.IT math.IT
Algorithmic Complexity Bounds on Future Prediction Errors
当在线预测任何（可计算的）随机序列时，我们限制了未来的损失。Solomonoff通过$mu$的算法复杂度限制了他的通用预测器$M$与真实分布$mu$的总偏差。在这里，我们假设我们在一个时间$t>1$和已经观察到$x=x_1...x_t$。我们通过给定$x$的$mu$的算法复杂度的新变体，加上$x$的随机性缺陷的复杂度，来约束$x_{t+1}x_{t+2}...$的未来预测性能。新的复杂性在其条件下是单调的，在这个意义上，这个复杂性只能减少，如果条件延长。我们还简要讨论了潜在的概括贝叶斯模型类和分类问题。
2007-01-19 cs.AI cs.IT cs.LG
Computable Model Discovery and High-Level-Programming Approximations to Algorithmic Complexity
受算法信息论的启发，程序发现问题可以帮助发现自然和人工现象的潜在生成机制的候选者。然而，这样的反问题的不可计算性，显着限制了更广泛的应用穷举法。在这里，我们提出了一种基于IMP的方法的概念证明，IMP是一种高级命令式程序设计语言。它的主要优点是，概念上复杂的计算程序更简洁地表达，不像低级别的模型，如图灵机或细胞自动机。我们调查，如果一个更有表现力的高级程序设计语言可以更有效地产生近似算法的递归函数的复杂性，往往是特别的数学兴趣。
2021-12-22 cs.IT cs.LO math.IT
A Review of Methods for Estimating Algorithmic Complexity: Options, Challenges, and New Directions
一些已建立的算法（Kolmogorov）的复杂性的应用领域，也是新的技术目前共存的第一次，在这里进行审查，从占主导地位的，如统计无损压缩到新的方法，先进的，补充，也提出了新的挑战，并可能表现出自己的局限性。证据表明，这些不同的方法相互补充，不同的制度，尽管他们的许多挑战，其中一些方法可以更好地激励和更好地扎根于算法信息论的原则。我们将解释不同的算法复杂性方法如何在追求数值适用性的过程中探索放松不同的必要和充分条件，其中一些方法比其他方法带来更大的风险，以换取更大的相关性。最后，我们讨论了可能或应该考虑的可能方向，以推动该领域的发展，鼓励方法创新，但更重要的是，有助于科学发现。本文还反驳了另一位作者在先前发表的迷你评论中提出的主张，并提供了另一种解释。
2020-05-27 cs.IT math.IT
A Decomposition Method for Global Evaluation of Shannon Entropy and Local Estimations of Algorithmic Complexity
我们调查的块分解方法（BDM），它扩展了权力的编码定理方法（CTM），近似本地估计的算法复杂性的基础上Solomonoff-Levin的算法概率理论，提供了一个更紧密的连接到算法的复杂性比以前的尝试，基于统计分析，例如，发现一些流行的无损压缩计划的基础上。BDM背后的策略是找到小的计算机程序，这些程序可以产生更大的分解对象的组件。然后，可以将短计算机程序的集合巧妙地按顺序排列，以便产生原始对象并估计产生所述原始对象的最短计算机程序的长度的上限。我们表明，该方法提供了有效的估计算法的复杂性，但它像香农熵时，它失去了准确性。我们估计误差，并研究不同边界条件下的BDM的行为，所有这些都进行了详细的比较和评估。该度量可以适于与比字符串更多的多维对象、诸如数组和张量的对象一起使用。为了测试的措施，我们证明了CTM的权力低算法随机性对象被分配最大熵（例如$π$），但其数值近似值更接近理论上的低算法随机性的期望。我们还测试了更大的对象，包括对偶，同构和共谱图，我们知道，算法的随机性是低的措施。我们还发布了大多数主要程序设计语言中的方法实现-Wolfram语言（Mathematica），Matlab，R，Perl，Python，Pascal，C++和Haskell--以及免费的在线算法复杂度计算器。
2018-06-18 cs.CC cs.IT math.IT
Two-Dimensional Kolmogorov Complexity and Validation of the Coding Theorem Method by Compressibility
我们提出了一个措施的基础上的基本理论概念，算法信息论，提供了一个自然的方法来评估$n$维复杂性的问题，通过使用一个$n$维确定性图灵机。该技术是有趣的，因为它提供了一个自然的算法过程，对称性破缺产生复杂的$n$维结构，从完全对称和完全确定性的计算规则产生的分布模式所描述的算法概率。数学概率还巧妙地将模式的出现频率与其算法复杂度联系起来，从而有效地提供对所生成模式的复杂度的估计。实验验证这些概念的基础上的算法复杂性的估计，表明该措施是稳定的，在面对计算形式主义的一些变化，结果是一致的，使用无损压缩算法时，这两种方法在其适用范围内重叠的结果。然后，我们使用的二维图灵机的集合的输出频率进行分类的基本细胞自动机的时空演化的算法复杂性。
2015-08-26 cs.CC cs.IT math.IT
Approximations of Algorithmic and Structural Complexity Validate Cognitive-behavioural Experimental Results
能够客观地分析人类或动物决策所产生的行为模式的内在复杂性，是去卷积认知和设计自主人工智能系统的基础。然而，复杂性在实践中是困难的，特别是当字符串很短时。通过数值逼近算法（Kolmogorov）复杂性（K），我们建立了一个客观的工具来衡量行为的复杂性。接下来，我们近似结构（贝内特的逻辑深度）复杂度（LD），以评估生成行为字符串所需的计算量。我们将我们的工具箱应用于三个具有里程碑意义的动物行为研究，这些研究越来越复杂，环境影响程度越来越大，包括蚂蚁的觅食通信研究，果蝇的飞行模式，以及战术欺骗和竞争（例如，捕食者-猎物）策略。我们发现，蚂蚁利用其内部决策过程中的环境条件，相应地调节其行为的复杂性。我们对飞行（果蝇）的分析否定了一个常见的假设，即在没有刺激的环境中航行的动物采取随机策略。暴露在无特征环境中的果蝇与利维飞行的偏离最大，这表明它们试图设计有用的（导航）策略时存在算法偏见。同样，对老鼠的逻辑深度分析显示，老鼠的结构复杂性最终总是与竞争对手的结构复杂性相匹配，老鼠的行为模拟算法随机性。最后，我们讨论了人类如何感知随机性的实验表明，在我们的推理和决策过程中存在算法偏见，这与我们对动物实验的分析一致。
2022-12-20 cs.CC cs.IT math.IT
Low complexity, low probability patterns and consequences for algorithmic probability applications
开发新的方法来估计概率可能对科学，统计学和工程学有价值。通过考虑不同的输出模式的信息内容，最近的工作调用算法信息论表明，先验概率预测模式的复杂性的基础上，可以在一个广泛的类的输入输出映射。这些算法概率预测不依赖于输出模式如何产生的详细知识或历史统计数据。虽然在数量上相当准确，但这些预测的主要缺点是它们是作为模式概率的上限给出的，但许多低复杂性，低概率模式发生，上限几乎没有预测价值。在这里，我们研究这种低复杂性，低概率的现象，通过查看示例地图，即有限状态转换器，自然时间序列数据，RNA分子结构和多项式曲线。一些机制导致低复杂性，低概率的行为被确定，我们认为这种行为应被假定为默认在现实世界中的算法概率研究。此外，我们还研究了算法概率的一些应用，并讨论了低复杂性，低概率模式的几个研究领域，包括简单的物理学和生物学，先验概率预测，所罗门诺夫归纳和奥卡姆剃刀，机器学习，和密码猜测的一些影响。
2022-07-06 cs.CC cs.IT math.IT
Nonlinearity of Boolean functions: an algorithmic approach based on multivariate polynomials
本文用Groebner基方法计算布尔函数的非线性度，给出了二进制域上和有理数域上的两种算法。我们还估计了它们的复杂性。然后，我们展示了如何改进我们的理性算法，在最坏情况下的复杂度达到$O(n2^n)$操作的整数，即，和double。这样，通过不同的方法，我们达到了与已建立的算法相同的复杂度，例如基于快速Walsh变换的算法。
2014-04-10 cs.IT math.IT
Algorithmic randomness and stochastic selection function
我们显示算法的随机性版本的两个经典定理正常数的连续性。一个是关于正规数的Kamae-Weiss定理（Kamae 1973），它描述了保持正规数的选择函数。另一个是关于正规数的Steinhaus（1922）定理，它从正规数的连续性来刻画正规性。在van Lambalgen（1987）中，从算法的随机性和复杂性的角度对Kamae-Weiss定理进行了算法类比。本文考虑两类算法随机序列：一类是ML-随机序列，另一类是具有最大复杂度的序列集。然后，我们显示相应的定理，上述经典结果的算法随机性版本。
2015-12-31 cs.IT math.IT
Algorithmic Complexity and Reprogrammability of Chemical Structure Networks
在这里，我们解决的挑战，剖析因果属性和跟踪的化合物的转化从算法的角度来看。我们探讨了潜在的应用计算介入演算的基础上的原则，算法概率化学结构网络。我们分析了化学结构网络中的元素和共价键的敏感性算法，询问可重编程性是否提供了有关不同化合物类别转化中所涉及的热力学和化学过程的信息。我们到达数值结果表明一些物理，结构和功能特性之间的对应关系。我们的方法能够分离反映功能和自然差异的化学类别，而不考虑有关原子和分子性质的任何信息。我们的结论是，这些方法，其链接到化学信息学通过算法，概率为未来的研究。
2018-03-18 cs.CE cs.IT math.IT
A Low-Complexity Algorithmic Framework for Large-Scale IRS-Assisted Wireless Systems
智能反射面（IRSs）是下一代无线通信网络的革命性推动者，具有自定义无线电传播环境的能力。为了充分利用IRS辅助的无线系统的潜力，反射元件必须与传统的通信技术联合优化。然而，由此产生的优化问题提出了重大的算法挑战，主要是由于大规模的非凸约束引起的被动硬件实现。在本文中，我们提出了一个低复杂度的算法框架，结合交替优化和基于梯度的方法，大规模的IRS辅助无线系统。该算法可证明收敛到一个稳定点的优化问题。大量的仿真结果表明，该框架提供了显着的加速比与现有的算法相比，同时实现了可比的或更好的性能。
2020-10-09 cs.IT eess.SP math.IT
Capacity-Achieving Ensembles of Accumulate-Repeat-Accumulate Codes for the Erasure Channel with Bounded Complexity
本文介绍了累积-重复-累积（ARA）码系综，它在二进制擦除信道（BEC）上以{ \em有界复杂度}渐近地达到每个信息比特的编解码容量。它还介绍了对称性发挥核心作用的建设能力实现合奏BEC有限的复杂性。这里的结果改善了性能和复杂性之间的权衡，由以前的建设能力实现合奏的代码定义在图上。ARA码的优越性与中等到大的块长度的例证计算机模拟，比较它们的性能与以前报道的容量实现的集合的LDPC和IRA码。ARA码还具有系统性的优点。
2005-12-01 cs.IT math.IT
Tighter Bounds for Algorithmic Complexity Estimation Using a Reusable Code-Based Block Decomposition Method
Algorithmic Dynamics Lab, Karolinska Institute & King’s College London（算法动力学实验室，卡罗林斯卡学院与伦敦国王学院）；School of Electrical and Computer Engineering, University of Campinas (UNICAMP)（坎皮纳斯大学电气与计算机工程学院）；Oxford Immune Algorithmics, Oxford University Innovation & London Institute for Healthcare Engineering（牛津免疫算法公司，牛津大学创新部与伦敦医疗工程研究所）；Centre for Logic, Epistemology and the History of Science, University of Campinas (UNICAMP)（坎皮纳斯大学逻辑、认识论与科学史中心）；DEXL, National Laboratory for Scientific Computing (LNCC)（DEXL，巴西国家科学计算实验室）；Departments of Biomedical Computing and Digital Twins, School of Biomedical Engineering and Medical Sciences, King’s Faculty of Life Sciences and Medicine, King’s College London（伦敦国王大学生物医学与医学科学学院生物医学计算与数字孪生系）；King’s Institute for Artificial Intelligence, King’s College London（伦敦国王学院人工智能研究所）
提出块分解方法（BDM）的改进版本，通过利用块间依赖和可重用代码减少描述长度，形式化为算法注意力，并证明其与算法互信息的关系。
2026-06-23 cs.CC cs.IT math.IT
Capacity-achieving ensembles for the binary erasure channel with bounded complexity
我们提出了两个序列的合奏的非系统的不规则重复累积码渐近（因为它们的块长度趋于无穷大）实现容量的二进制擦除信道（BEC）的有限的复杂性，每个信息位。这是在对比所有以前的建设能力，实现序列的合奏，其复杂性增长至少像对数的倒数差距（率）的能力。新的有界复杂度的结果是通过打孔比特，并以这种方式允许足够数量的状态节点在坦纳图表示的代码。我们还推导出一个信息理论上的图上的随机打孔码的解码复杂度的下界。该界适用于每个无记忆二进制输入输出对称信道，并对BEC进行了改进。
2004-09-13 cs.IT math.IT
Lecture Notes on Algorithmic Information Theory
本讲义基于2023年研究生课程，打破学科界限，系统介绍算法信息论，涵盖从可计算性理论到前缀复杂度及形式系统信息论极限等核心主题。
2025-04-22 cs.IT cs.LO math.IT
Algorithmic Information Theory for Graph Edge Grouping and Substructure Analysis
College of Computer Studies/Human-X Interactions Lab, De La Salle University（德拉萨大学计算机科学与人类-X交互实验室）
本文利用算法信息理论中的块分解法和边扰动方法，研究图边分组与子结构分析，验证了该理论在测量和分析复杂性方面的可行性。
2026-01-18 cs.IT math.IT
An algorithmic complexity interpretation of Lin's third law of information theory
代替静态熵，我们断言静态结构（如固体）的柯尔莫哥洛夫复杂性是无序（或混沌）的适当度量。在周围完全随机的宇宙中，一个静态结构充当了一个干扰实体，它在随机性中引入了局部破坏。这通过选择规则$R$来建模，该选择规则选择命中结构的随机输入序列的子序列。通过随机二元序列随机性和混沌性的不等式，我们认为Lin的稳定性概念对应于所选子序列中1的频率的稳定性。这就解释了为什么更复杂的静态结构更不稳定。林的第三定律被表述为静态结构朝着符合宇宙的完美随机性所经历的必然变化。
2008-03-16 cs.CC cs.IT math.IT
Game arguments in computability theory and algorithmic information theory
我们提供了一些例子来说明如何将博弈论的论点用于可计算性理论和算法信息论：唯一编号定理（Friedberg），条件复杂性和总条件复杂性之间的差距，Epstein-Levin定理和Muchnik和Vyugin的一些（尚未发表的）结果
2012-09-10 cs.GT cs.IT math.IT
Algorithmic Polarization for Hidden Markov Models
使用极化码的温和变体，我们设计了压缩隐马尔可夫源的线性压缩方案（其中源是马尔可夫链，但其状态不一定可以从其输出中观察到），并从隐马尔可夫信道解码（其中信道具有状态并且引入的错误取决于状态）。我们给出了第一个多项式时间算法，该算法能够在马尔可夫链的容量间隙和混合时间中以多项式$\it{both}$的输入长度进行压缩和解码（或编码和解码）。先前的工作实现容量仅在大长度的限制下渐近，并且多项式界限对于容量间隙或混合时间不可用。我们的结果在源（或通道）为$\it{known}$的设置中运行。如果源是$\it{unknown}$，那么在如此短的长度压缩将导致有效的算法与噪声学习奇偶校验-因此，我们的结果是第一个建议分离的复杂性的问题时，源是已知的，当它是未知的。
2018-10-03 cs.CC cs.IT math.IT
Highly-sensitive measure of complexity captures boolean networks regimes and temporal order more optimally
本文通过时间演化图和状态转移图分析随机布尔网络，发现算法复杂度能更灵敏地揭示混沌区间转变及状态顺序关系，为布尔网络和调控网络建模引入算法复杂度与扰动分析。
2024-08-31 cs.IT math.IT
Algorithmic statistics revisited
统计学的任务是为观测数据提供充分的统计假设（模型）。但是，什么是“适当”的模式呢？要回答这个问题，需要使用算法信息论的概念。事实证明，对于每个数据串$x$，人们可以自然地定义“随机性曲线”，这是一条曲线，代表了模型复杂性和适当性之间的权衡。这条曲线有四种不同的等价定义：（1）~随机性不足，（2）~最小描述长度，（3）~在简单字符串列表中的位置和（4）~Kolmogorov复杂度，解压缩时间以忙碌海狸函数为界。我们提出了一个调查的相应的定义和结果，它们相互关联。
2015-04-27 cs.IT math.IT
Capacity of Complexity-Constrained Noise-Free CDMA
介绍了一种在接收机复杂度约束下工作的干扰受限无噪声CDMA下行信道。根据该范例，通过直接对信道的匹配滤波器输出执行硬判决而获得的检测比特必须与传输的二进制输入相同。这种允许使用最简单的接收机方案的信道设置似乎毫无价值，无论如何都不可能进行可靠的通信。我们证明，通过采用统计力学的概念，在大系统的限制，这样一个复杂度受限的CDMA信道产生了一个非平凡的香农理论容量，严格分析和证实使用有限大小的信道模拟。
2005-09-16 cs.IT math.IT
Sequential Predictions based on Algorithmic Complexity
本文研究了基于单调Kolmogorov复杂度Km=-logm的序列预测问题，即基于泛确定性/单部分MDL的序列预测问题。m是非常接近Solomonoff的普遍先验M，后者是一个很好的预测，在确定性以及概率环境中，性能是衡量收敛的后验或损失。尽管如此接近M，但很难评估m的预测质量，因为对它们的后验的接近程度知之甚少，这是预测的重要量。我们表明，对于确定性的可计算环境，“后验”和损失的m收敛，但快速收敛只能显示在序列上，序列外的收敛速度可能很慢。在概率环境中，一般来说，后验和损失都不会收敛。
2005-08-05 cs.IT cs.LG math.IT
Complexity and capacity bounds for quantum channels
我们推广了一些著名的图形参数的运营商系统，考虑其潜在的量子信道。特别地，我们引入量子复杂度作为量子信道需要实现给定的算子系统作为其非交换混淆图的最小共域希尔伯特空间的维度。我们将量子复杂性描述为广义最小半定秩，在图算子系统的情况下，描述为量子交叉数。量子复杂性和一个密切相关的量子版本的正交秩原来是上界的香农零错误容量的量子信道，我们构建的例子，这些边界击败了最好的先前已知的一般上限的容量的量子信道，给出了量子Lovász θ数。
2017-10-17 cs.IT math.CO math.IT
Algorithmic analogies to kamae-Weiss theorem on normal numbers
本文研究了随机数的连续性。Kamae（1973）研究了只依赖于坐标的选择函数，给出了选择函数的序列为正规数的充要条件。在van Lambalgen（1987）中，根据算法的随机性和Kolmogorov复杂性，对该定理进行了算法类比。在本文中，我们展示了不同的算法类比定理。
2012-02-14 cs.IT math.IT
Accumulate-Repeat-Accumulate Codes: Systematic Codes Achieving the Binary Erasure Channel Capacity with Bounded Complexity
本文介绍了累积-重复-累积（ARA）码的集合，它在二进制擦除信道（BEC）上以每信息比特{ \em有界复杂度}渐近地达到容量。它还介绍了对称性的建设中发挥核心作用的能力实现合奏的BEC。这里的结果改善性能和复杂性之间的权衡提供的第一个容量实现合奏的不规则重复累积（IRA）代码与有限的复杂性，每个信息位，这些IRA合奏是由Pfister，Sason和Urbanke先前构建。ARA码的优越性与中等到大的块长度的例证计算机模拟，比较它们的性能与以前报道的容量实现的集合的LDPC和IRA码。ARA码还具有系统性的优点。
2005-09-15 cs.IT math.IT
Algorithmic statistics: forty years later
统计学有两种不同的（几乎是正交的）动机。从哲学的角度来看，它试图形式化统计如何工作，以及为什么一些统计模型比其他模型更好。在引入“好模型”的概念之后，一个自然的问题出现了：对于某些数据，可能没有好模型？如果是，这些坏的（“非随机”）数据“在现实生活中“出现的频率是多少？另一个更技术性的动机来自算法信息论。在这个理论中，引入了有限对象的复杂性（=这个对象中的信息量）的概念;它为每个对象分配了一些数字，称为其算法复杂性（或柯尔莫哥洛夫复杂性）。数学统计提供了一种更细粒度的分类：对于每个有限对象，定义了一些曲线来表征其行为。事实证明，几个不同的定义给出（近似）相同的曲线。在这个调查中，我们试图提供一个在该领域的主要成果（包括最重要的充分证明），以及一些历史评论的阐述。我们假设读者熟悉算法信息（Kolmogorov复杂度）理论的主要概念。
2017-03-07 cs.CC cs.IT math.IT
Rate Distortion and Denoising of Individual Data Using Kolmogorov complexity
我们从Kolmogorov复杂性的角度研究了畸变球家族的结构。特别注意的是，返回的最小Kolmogorov复杂性的所有失真球包含一个词的约束，其基数的源字的典型率失真函数。该规范率失真函数与针对给定失真度量的更标准算法率失真函数相关。例如列表失真，汉明失真和欧几里德失真。算法率失真函数可以表现得与香农的率失真函数不同。为此，我们表明，典型的率失真函数可以，并承担了广泛的一类形状（不像香农的）;我们将低算法互信息与低Kolmogorov复杂度联系起来（并因此表明香农率失真函数的互信息公式的某些方面与使用算法互信息的类似公式表现不同）;我们探讨了包含给定单词的低Kolmogorov复杂度失真球捕获该单词的有趣特性的概念（这在香农理论中很难形式化），这提出了一种去噪方法;最后，我们表明，在对源字进行平均之后，各个源字的率失真曲线的不同行为在一定程度上消失。
2009-11-26 cs.IT math.IT
Capacity Bounds and Low-Complexity Constellation Shaping under Mixed Gaussian-Impulsive Noise
National Key Laboratory on Wireless Communications, University of Electronic Science and Technology of China（电子科技大学无线通信国家重点实验室）
本文提出了一种在混合高斯-冲击噪声环境下，通过熵功率不等式推导信道容量界限，并设计低复杂度星座塑形方法，实现高互信息传输。
2025-12-03 cs.IT eess.SP math.IT
Causal inference using the algorithmic Markov condition
推断连接n个可观测量的因果结构通常基于检测统计依赖性和选择使联合测量马尔可夫的单图。在这里，我们将讨论为什么因果推理也是可能的，当只有单一的观察。我们开发了一个理论，如何生成因果图解释单个对象之间的相似性。为此，我们取代的概念，条件随机独立的因果马尔可夫条件的条件算法互信息的消失，并描述了相应的因果推理规则。我们解释了为什么一个一致的重新制定的因果推理算法的复杂性意味着一个新的推理原则，也考虑到条件概率密度的复杂性，使它能够选择马尔可夫等价因果图。这一见解提供了一个理论基础的启发式原则提出了早期的工作。我们还讨论了如何用可判定的复杂性准则代替Kolmogorov复杂性。这可以被看作是一种算法模拟，用基于潜在分布的隐式或显式假设的实际独立性测试来取代统计独立性的经验不可判定问题。
2008-04-23 cs.IT math.IT math.ST
Low-complexity Approaches for MIMO Capacity with Per-antenna Power Constraint
提出了两种计算单用户多输入多输出信道容量的低复杂度迭代算法。第一种方法的结果从操纵所考虑的问题的最优性条件和应用不动点迭代。在第二种方法中，我们考虑的问题转化为一个极大极小优化程序使用著名的MAC- BC对偶，然后解决它的一个新的交替优化方法。在这两种迭代法中，每次迭代都涉及一个优化问题，该问题可以通过注水算法有效地解决。所提出的迭代法是可证明收敛的。复杂性分析和广泛的数值实验进行了证明所提出的算法优于现有的方法称为模式丢弃算法的性能。
2017-05-17 cs.IT math.IT
Training-free Measures Based on Algorithmic Probability Identify High Nucleosome Occupancy in DNA Sequences
我们介绍并研究了一套适用于DNA序列的信息理论和算法复杂性性质的无训练方法，以确定其潜在的能力，以确定核小体结合位点。我们测试我们的措施，充分研究的基因组序列的不同大小来自不同的来源。这些措施揭示了已知的体内与体外预测的差异，并揭示了其潜在的精确定位（高）核小体占用。我们探讨了核小体长度内和核小体长度外不同的可能信号，发现复杂性指数是核小体占有率的信息。我们与金标准（卡普兰模型）进行比较，发现相似和互补的结果，主要区别在于我们的序列复杂性方法。例如，对于高占有率，基于复杂性的分数优于用于预测结合的Kaplan模型，这代表在预测遵循无训练方法的最高核小体占有率方面的显著进步。
2018-10-16 cs.IT math.IT q-bio.GN
A Capacity Achieving and Low Complexity Multilevel Coding Scheme for ISI Channels
我们提出了一种计算效率高的多级编码方案，以实现使用二进制输入层的ISI信道的容量。发射机采用具有线性映射的多级编码。接收器使用多级解码，其中每一级执行单独的线性最小均方误差（LMMSE）均衡和解码。该方案的最优性是由于当信噪比足够低时，LMMSE均衡器在ISI信道中是信息无损的。计算复杂性低，并且与信道脉冲响应的长度和层的数量成线性比例。每层的解码器都会看到等效的AWGN信道，这使得编码变得简单。
2005-11-08 cs.IT math.IT
Practical MIMO-NOMA: Low Complexity & Capacity-Approaching Solution
MIMO-NOMA结合了多输入多输出（MIMO）和非正交多址（NOMA），可以解决异构挑战，如大规模连接，低延迟和高可靠性。本文提出了一种实用的编码MIMO-NOMA系统，该系统性能接近容量，实现复杂度低。具体而言，所采用的接收机由一个多用户线性最小均方误差（LMMSE）检测器和一个银行的单用户消息传递解码器，分解成分布式的低复杂度的计算的整体信号恢复。提出了一种渐进外信息传递分析方法来估计迭代接收机的性能，其中构造了在迭代译码角度与LMMSE检测器相匹配的实际信道码。因此，建议的编码MIMO-NOMA系统实现渐近性能在0.2 dB的理论容量。仿真结果验证了所提出的系统在实际环境中的可靠性和鲁棒性，包括各种系统负载，迭代次数，码长和信道条件。
2018-07-18 cs.IT math.IT
Binarized Neural Networks Converge Toward Algorithmic Simplicity: Empirical Support for the Learning-as-Compression Hypothesis
本文以二值化神经网络为代理，利用算法概率和块分解方法度量训练中的算法复杂度变化，证明其比熵更能跟踪结构变化并与训练损失相关，从而为“学习即算法压缩”假设提供经验支持。
2025-09-18 cs.AI cs.IT cs.LG
The communication complexity of achieving SK capacity in a class of PIN models
在Csisz $á$ r和Narayan的多终端源模型中，秘密密钥（SK）容量的通信复杂性是产生最大速率SK所需的公共通信的最小速率。众所周知，全知通信的最小速率（用$R_{\text{CO}}$表示）是通信复杂性（用$R_{\text{SK}}$表示）的上界。这个上界是紧的源模型称为$R_{\text{SK}}$ -极大。本文给出了定义在超图上的两两独立网络（PIN）模型的$R_{\text{SK}}$ -极大性的一个充分条件。这使我们能够计算$R_{\text{SK}}$正好在类的PIN模型满足这个条件。另一方面，我们还提供了一个反例，表明我们的条件一般不保证$R_{\text{SK}}$ -极大的来源超出PIN模型。
2015-04-03 cs.IT math.IT
An operational characterization of mutual information in algorithmic information theory
我们表明，互信息，在柯尔莫哥洛夫复杂度的意义下，任何一对字符串$x$和$y$是相等的，达到对数精度，最长的秘密密钥的长度，双方，一个有$x$和对的复杂度配置文件，另一个有$y$和对的复杂度配置文件，可以通过概率协议与公共信道上的交互建立。对于$\ell > 2$，可以由$\ell$方从字符串$(x_1, \ldots , x_\ell)$的元组建立的最长共享秘密（每一方具有元组的一个分量和元组的复杂度简档）等于元组的复杂度减去将元组分发给所有方所需的最小通信，直到对数精度。对于具有公共随机性的秘密密钥协商协议，建立了产生最大长度的秘密密钥协商协议的通信复杂性.我们还表明，如果通信复杂性低于既定的阈值下降，那么只有很短的密钥可以得到。
2019-04-29 cs.CC cs.IT math.IT
Geno-Weaving: Low-Complexity Capacity-Achieving DNA Storage
本文提出Geno-Weaving编码方案，通过沿DNA链使用无速率码编码索引并在所有链相同位置使用可达容量分组码保护数据，以低复杂度实现DNA存储容量。
2024-09-02 cs.IT math.IT
Kolmogorov complexity in the USSR (1975--1982): isolation and its end
这些回忆是关于苏联算法信息论的“黑暗时代”。在1960年代和1970年代初对这一主题产生极大兴趣之后，苏联在这一领域工作的人数显着减少。当时洛杉矶莱文发表了一系列对现代算法信息论具有开创性意义的论文。然后他离开了苏联，新的兴趣浪潮是由A.N.的谈话引发的。Kolmogorov在莫斯科国立（罗蒙诺索夫）大学数学系（逻辑和算法司）研讨会由他组织;几个年轻的研究人员获得了一些新的成果，算法信息论。
2019-07-11 cs.GL cs.IT math.IT
Assembly Theory is an approximation to algorithmic complexity based on LZ compression that does not explain selection or evolution
本文证明装配理论等价于基于LZ压缩的香农熵近似，其装配指数可归入算法复杂度理论，且无法提供超越香农熵或经典信息论的选择与演化解释。
2024-04-01 cs.IT math.IT q-bio.BM
Algorithmic Information Dynamics of Learning: A Certified, Differentiable Complexity Controller for Grokking
Oxford Immune Algorithmics（牛津免疫算法公司）；Oxford University Innovation（牛津大学创新公司）；London Institute for Healthcare Engineering（伦敦医疗工程研究所）
本文利用可微算法复杂性估计器作为控制器，在奥卡姆边界内加速grokking，通过复杂性门以更少干预拯救失败种子，并揭示时机而非归因是核心贡献。
2026-09-16 cs.IT cs.LG math.IT
Low-Complexity Sum-Capacity Maximization for Intelligent Reflecting Surface-Aided MIMO Systems
降低计算复杂性在优化智能反射表面（IRS）系统的相移中是至关重要的，因为IRS辅助的通信系统通常部署有大量的反射元件（RE）。这封信提出了一种低复杂度算法，称为维度正弦最大化（DSM），以获得最佳IRS相移，从而最大化MIMO网络的总容量。该算法利用的事实，优化问题的目标函数是正弦w.r.t.每个RE的相移。数值结果表明，DSM获得了接近最大的和率和更快的收敛速度比其他两个基准方法。
2022-04-11 cs.IT eess.SP math.IT
