Characterization of the Arithmetic Complexity of the Secrecy Capacity of Fast-Fading Gaussian Channels
本文从算法视角证明快衰落高斯窃听信道的保密容量在某些可计算分布下不可计算，并揭示其算术层级分类中缺乏可计算可达性与逆界。
2025-01-20 cs.IT math.IT
Foundations of algorithmic thermodynamics
该研究基于Gács粗粒度算法熵，证明了保测动力系统中若干涨落不等式（含Jarzynski等式等的算法版本），揭示其能确定单个状态做功的实际能力，优于吉布斯-香农熵的系综平均能力。
2024-12-01 cond-mat.stat-mech cs.IT math.IT
Information Geometric Superactivation of Asymptotic Quantum Capacity and Classical Zero-Error Capacity of Zero-Capacity Quantum Channels
零容量量子信道的超激活使得在输出端使用具有正联合容量的两个零容量量子信道成为可能。目前，我们没有理论背景来描述超活跃零容量信道的所有可能组合;因此，可能存在许多其他可能的组合。在这篇博士论文中，我提供了一个超激活问题的算法解决方案，并证明了超激活效应的根源是信息几何问题。
2013-03-05 cs.IT math.IT quant-ph
Shannon Meets Turing: Non-Computability and Non-Approximability of the Finite State Channel Capacity
有限状态信道（FSC）的容量已被确定为仅多字母表达式序列的极限，尽管付出了巨大的努力，但迄今为止，相应的有限字母表征仍然未知。本文从基本的算法角度分析了FSC的容量，研究了相应的可扩展性和容量的逆界是否可以用算法计算。为此，使用图灵机的概念，它提供了数字计算机的基本性能极限。为此，研究了可计算连续函数，并确定了此类函数的可计算序列的性质。结果表明，FSC的容量是不可计算的，这是可计算性的最弱形式。这意味着没有算法（或图灵机）可以计算给定FSC的容量。作为一个结果，它然后表明，无论是可拓性或逆必须产生一个界，是不是巴拿赫-马祖尔可计算的。这也意味着存在FSC，其可计算的下限和上限永远不会是紧的。为此，它进一步表明，FSC的能力是不可近似的，这是一个比不可计算性更严格的要求。这意味着，它是不可能找到一个有限字母的熵表征的能力一般FSC。所有的结果保持甚至有限的输入和输出字母表和有限的状态集。最后，有效分析理论的连接进行了讨论。在这里，结果只允许以建设性的方式证明，而存在性结果，例如，基于选择公理的证明是被禁止的。
2020-09-28 cs.IT math.IT
Algorithmic Polarization for Hidden Markov Models
使用极化码的温和变体，我们设计了压缩隐马尔可夫源的线性压缩方案（其中源是马尔可夫链，但其状态不一定可以从其输出中观察到），并从隐马尔可夫信道解码（其中信道具有状态并且引入的错误取决于状态）。我们给出了第一个多项式时间算法，该算法能够在马尔可夫链的容量间隙和混合时间中以多项式$\it{both}$的输入长度进行压缩和解码（或编码和解码）。先前的工作实现容量仅在大长度的限制下渐近，并且多项式界限对于容量间隙或混合时间不可用。我们的结果在源（或通道）为$\it{known}$的设置中运行。如果源是$\it{unknown}$，那么在如此短的长度压缩将导致有效的算法与噪声学习奇偶校验-因此，我们的结果是第一个建议分离的复杂性的问题时，源是已知的，当它是未知的。
2018-10-03 cs.CC cs.IT math.IT
Algorithmic List Decoding at Capacity and Optimal Proximity Gaps for Reed-Solomon Codes
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出统一隐藏导数框架，实现 Reed-Solomon 码在容量下的确定性列表译码，并证明最优接近间隙，同时给出与域大小无关的列表界和精确支持 MCA 结果。
2026-09-09 cs.IT math.IT
Broadcast Channel Coding: Algorithmic Aspects and Non-Signaling Assistance
本文研究经典广播信道编码，给出确定性广播信道的多项式时间 (1-e^{-1})^2-近似算法，证明其非信号辅助容量区域不变，并建立一般情形的值查询下界。
2024-12-07 cs.CC cs.IT math.IT
Computability of the Zero-Error capacity with Kolmogorov Oracle
离散经典信道的零差错容量首先由香农定义为以零差错概率传输信息的速率的最小上界。找到零差错容量$C_0$的问题（其将容量分配给每个信道作为函数）根据图论被重新表述为函数$Θ$，其将值分配给每个简单图。本文研究了零误差容量的可计算性。对于可计算性，使用了图灵机和Kolmogorov预言机的概念。不知道零错误容量是否一般可计算。我们表明，在一般的零误差容量是半可计算的帮助下，一个Kolmogorov甲骨文。进一步证明了$C_0$和$Θ$是可计算函数当且仅当存在一个上界可计算函数的可计算序列，即在信息论意义下存在逆，它逐点收敛于$C_0$或$Θ$ .最后，我们研究Zuiddam的表征$C_0$和$Θ$的算法可计算性。
2020-09-23 cs.IT math.IT
Information-theoretic Capacity of Clustered Random Networks
我们分析了集群Ad Hoc网络的容量缩放定律，其中节点分布根据一个双随机散粒噪声Cox过程。我们确定了五种不同的操作制度，并为每一个制度，我们设计了一个通信策略，允许实现的吞吐量在一个多对数因子（节点数）的最大理论容量。
2010-06-08 cs.IT math.IT
Computability of the Zero-Error Capacity of Noisy Channels
本文证明噪声信道零错误容量既非 Banach-Mazur 可计算也非 Borel-Turing 可计算，并揭示其与图 Shannon 容量及 Ahlswede 刻画在半可判定性问题上的等价性。
2024-05-19 cs.IT math.IT
Information Theoretic Exemplification of the Impact of Transmitter-Receiver Cognition on the Channel Capacity
在本文中，我们研究，信息理论，发射机和/或接收机的认知信道容量的影响。认知可以用状态信息来描述，取决于信道噪声和/或输入。具体地说，作为一种新的思想，我们认为接收机的认知作为一个依赖于噪声的状态信息，我们推导出一个容量定理的基础上的高斯版本的覆盖-蒋容量定理的双边状态信息信道。正如直观地预期的那样，接收机认知增加了信道容量，并且我们的定理定量地显示了这种增加。此外，我们的容量定理包括著名的科斯塔定理作为其特殊情况。
2011-11-19 cs.IT math.IT
Ideal-theoretic Explanation of Capacity-achieving Decoding
本研究提出代数纠错码的理想论抽象框架，从线性算子视角分析列表译码性能，衍生出仿射折叠里德-所罗门码，统一解释了多类码的可达容量译码结果并推广了已有码类。
2023-12-20 cs.IT math.IT
Control Theoretic Formulation of Capacity of Dynamic Electro Magnetic Channels
本文采用非齐次确定性和随机性麦克斯韦方程组严格地计算了波导（空腔、同轴电缆等）等电磁信道的容量。分布式，但本地化，和狄利克雷边界数据被认为是潜在的输入源。我们证明了存在的源措施，满足一定的二阶约束（相当于功率约束），在该信道容量达到。进一步给出了最优性的充分必要条件。
2008-10-21 cs.IT math.IT
A Coding Theoretic Approach for Evaluating Accumulate Distribution on Minimum Cut Capacity of Weighted Random Graphs
有向网络的多播容量与$s$ - $t$最大流密切相关，由于最大流最小割定理，该最大流等于$s$ - $t$最小割容量。如果网络的拓扑结构（或链路容量）是动态变化的或具有随机性，那么预测最大流的统计特性就不是那么简单了。本文提出了一种计算加权随机图最小割容量的累积分布的编码理论方法。我们的方法的主要特点是利用一个图的割空间和一个二进制LDGM（低密度生成矩阵）代码与列重2之间的对应关系。本文所处理的图系综是Erdens-Rényi随机图系综的一个加权版本。本文的主要贡献是给出了最小割容量累积分布的一个组合下界。从计算机实验中可以看出，本文导出的下限反映了最小割集容量的实际统计特性。
2012-02-04 cs.IT math.IT
Universal Sparse Superposition Codes with Spatial Coupling and GAMP Decoding
稀疏叠加码，或稀疏回归码，构成了一类新的代码，它首先被引入到加性高斯白噪声（AWGN）信道上的通信。它已被证明，这样的代码是最佳的最大似然解码以及各种高效的迭代解码方案配备功率分配或空间耦合结构下的AWGN信道的容量实现。在这里，我们将这些代码的分析推广到更广泛的设置，包括所有无记忆通道。我们表明，对于一个大类的无记忆通道，空间耦合允许一个有效的解码器，基于广义近似消息传递（GAMP）算法，达到潜在的（或贝叶斯最优）阈值的基础（或解耦）代码合奏。此外，我们认为，空间耦合稀疏叠加码普遍实现GAMP解码下的容量显示，通过分析计算，错误地板消失和潜在的阈值趋于容量的代码参数之一趋于无穷大。此外，我们提供了一个封闭的形式公式的底层代码集成的算法阈值的Fisher信息。将算法阈值与Fisher信息联系起来具有重要的理论和实际意义。我们的证明依赖于状态演化分析，并使用低密度奇偶校验（LDPC）码和压缩感知理论中开发的潜在方法。
2018-11-08 cs.IT math.IT
A Method Beyond Channel Capacity in the Low SNR Regime: Theoretical Proof and Numerical Confirmation
提出了一种称为鸡尾酒BPSK的方法，该方法使用两个独立的BPSK流分层通过加性白高斯信道进行并行传输。该方法的关键点是将两个分层符号之间的干扰转化为一个符号具有两个可能的幅度的问题，由此我们发现第一层的可实现数据率（ADR）等于零信噪比限制下的信道容量。通过将第二层的贡献相加，我们发现两层的总ADR可以大于信道容量。基于互信息理论进行了理论证明，并给出了数值结果进行验证。
2019-03-01 cs.IT math.IT
Message Transmission over Classical Quantum Channels with a Jammer with Side Information: Correlation as Resource, Common Randomness Generation
在本文中，我们分析了任意变化的经典量子信道（AVCQC）的发送者和接收者使用相关性作为资源的一般模型的容量。在这个通用模型中，干扰机具有关于信道输入的边信息。我们确定了一个单字母公式的相关辅助能力。作为我们的主要结果的一个应用，我们确定了相关辅助的共同随机生成能力。在这种情况下，两个信道用户可以访问相关性作为资源，并进一步使用具有通知的干扰机的AVCQC进行额外的讨论。目标是在两个通道用户之间创建共同的随机性。我们还分析了这些容量公式时，只有少量的相关信号。对于相关性辅助的公共随机生成能力，我们显示了一个额外的有趣的属性：对于足够量的“公共通信”，公共随机生成能力是图灵可计算的，但是如果没有这个公共通信约束，相关性辅助的公共随机生成能力一般来说不是图灵可计算的。此外，我们表明，即使不知道使用最大误差准则的确定性容量的容量公式，我们可以表明，它是不可能的，以评估性能的算法在任何当前或未来的数字计算机。
2020-06-10 cs.IT math.IT
An Algorithmic Information-Theoretic Perspective on the Symbol Grounding Problem
Zhangchi Liu（刘志强）
本文从算法信息论视角统一符号接地问题，证明意义接地受信息论极限约束，并指出意义是系统不断克服自身极限的开放过程。
2025-10-02 cs.AI cs.IT math.IT
Information theoretic limits of state-dependent networks
本文研究了两类状态依赖模型的信息论极限。这些模型捕捉了广泛的无线通信场景，其中发射机之间存在干扰认知。因此，这些模型的信息理论研究提供了有用的指导原则，设计新的干扰消除方案在实际的无线网络。特别是，我们首先研究了两个用户的状态相关的高斯多址接入信道（MAC）的助手。首先推导出容量域的内界和外界，改进了文献中给出的最新界。这些界限的进一步比较，通过考虑信道参数的各种制度，产生在容量区域边界上的区段或全容量区域。然后，我们研究了两用户高斯状态相关的Z-IC和状态相关的IC。三种干扰制度进行了研究，并在各种信道参数下的容量区域或总容量边界的全部或部分的特点。通过数值分析，论证了状态相关性对状态和干扰消除的影响以及容量的可扩展性。数值研究表明，对于规则IC，状态间的相关性对信道容量可扩展性的影响与Z-IC不同。
2018-07-25 cs.IT math.IT
Information-theoretic and algorithmic thresholds for group testing
在群体测试问题中，我们的目标是在一个大的群体中识别出少数受感染的个体。我们利用一个程序，可以测试一组多个人，与测试结果出来积极的，如果至少有一个人在组中被感染。在所有测试同时进行的情况下，确定所有个体的状态所需的最少测试次数是多少？在最近的测试设计中[Aldridge et al. 2016]这些个体被随机分配到测试组，每个个体加入相同数量的组。我们精确地确定了这个随机设计中所需的测试数量的临界值，以便从信息理论上可以推断出每个人的感染状态。此外，我们分析了两个有效的推理算法。这些结果解决了[Aldridge et al.] 2014年，Johnson et al. 2019年]。
2020-09-30 cs.DM cs.IT math.IT
An algorithmic information-theoretic approach to the behaviour of financial markets
使用频率分布的每日收盘价时间序列的几个金融市场指数，我们调查是否偏离等概率序列分布的数据中发现的算法信息理论预测，可能会占一些偏离的金融市场从对数正态分布，如果是这样的偏差，有多少说，在什么序列长度。我们这样做是通过比较分布的二进制序列从实际的时间序列的金融市场和系列建立从纯粹的算法手段。我们的讨论是一个起点，为进一步调查的市场作为一个基于规则的系统与'算法'的组成部分，尽管其明显的随机性，并使用算法概率理论与新的工具，可以应用到研究的市场价格现象。主要的讨论是根据经济学领域的共同假设来进行的，这些假设与市场的算法观点一致。
2010-08-15 cs.CE cs.IT math.IT
User Capacity of Wireless Physical-layer Identification: An Information-theoretic Perspective
无线物理层识别（WPLI）系统旨在基于在物理层从其射频信号中提取的唯一射频指纹（RFF）来识别或分类授权设备。WPLI目前的工作集中在证明系统的可行性的基础上，实验误差性能的WPLI与固定数量的用户。而一个重要的问题仍然有待回答：什么是用户数量的WPLI可以容纳使用不同的RFF和接收设备。WPLI的用户容量可以是实际系统设计者的主要关注点，并且也可以是评估WPLI分类性能的关键度量。在这项工作中，我们建立了一个理论上的理解WPLI的用户容量的信息理论的角度来看。我们应用信息论建模的RFF功能的WPLI。基于RFF和用户身份之间的互信息，提出了一种信息论方法来表征WPLI的用户容量。基于这个理论工具，WPLI的可实现的用户容量的特点下，现成的接收设备的实际约束。分类错误性能的现场实验进行了验证的信息理论的用户容量表征。
2016-03-02 cs.CR cs.IT math.IT
Information Capacity of EEG: Theoretical and Computational Limits of Recoverable Neural Information
该研究结合信息论与合成正向建模量化头皮EEG的互信息，揭示电极数、SNR与解码器性能的根本限制。
2025-10-09 cs.IT math.IT q-bio.NC
Symmetry and Algorithmic Complexity of Polyominoes and Polyhedral Graphs
我们引入了算法对称性的定义，能够捕捉几何对称性的基本方面。我们回顾，研究和应用一种方法来近似算法的复杂性（也称为Kolmogorov-Chaitin复杂性）的图形和网络的基础上的概念的概率（AP）。AP是一个概念（和方法），能够递归枚举所有的可计算（因果）性质的统计性质之外。我们探索算法的复杂性-理论和数值-与几何属性主要是对称性和拓扑结构从（算法）信息理论的角度来看。我们表明，近似算法的复杂性，通过无损压缩和基于概率的方法可以表征性质的多项式，多面体，规则和准规则多面体以及多面体网络，从而证明其剖析能力。
2018-02-24 cs.CC cs.CG cs.DM
Storage Capacity as an Information-Theoretic Vertex Cover and the Index Coding Rate
受分布式存储应用的启发，最近将图的存储容量定义为跨图的顶点可以存储的最大信息量，使得任何顶点处的信息可以从存储在相邻顶点处的信息中恢复。计算存储容量是网络编码中的一个基本问题，与一些研究得很好的问题，如带边信息的索引编码和广义猜测游戏相关或等价。在本文中，我们认为存储容量作为一个自然的信息理论模拟的最小顶点覆盖的图。事实上，虽然它是已知的，存储容量的上限由最小顶点覆盖，我们表明，通过这样对待它，我们可以得到一个3/2的近似平面图，和一个4/3的近似无三角平面图。由于存储容量与索引编码率密切相关，我们得到了平面图的索引编码率的2近似值和无三角形平面图的3/2近似值。当字母表大小恒定时，我们还给出了索引编码速率的多项式时间逼近方案。然后，我们开发了一个通用的方法“小工具覆盖”的上限的存储容量的平均值的一组顶点覆盖。这种方法是直观的，并导致各种家庭的图的存储容量的准确表征。作为一个说明性的例子，我们使用这种方法来获得确切的存储容量的圈与弦，一个家庭的图形相关的外平面图。最后，我们概括的存储容量的概念，包括从部分节点故障的分布式存储恢复。我们展示了紧的上限和下限上的部分恢复能力，很好地扩展在一个顶点的故障的分数。
2018-12-18 cs.IT math.IT
On Secure Capacity of Multiple Unicast Traffic over Separable Networks
本文研究了当源有私有消息要发送到$m$目的地时，在存在一个窃听未知$k$边集的被动敌手的情况下的信息论安全通信问题.在单位边容量可分网络上，当$k=1$和$m$是任意的，或$m=3$和$k$是任意的情况下，导出了信息论安全容量.这是通过首先表明，存在一个安全的多项式时间代码的建设，匹配外边界在两层网络，其次是确定性的映射之间的两层和任意可分离的网络。
2019-04-10 cs.IT math.IT
Information-Theoretic Limits of Integrated Sensing and Communication with Finite Learning Capacity
本文提出了一种信息论框架，研究有限学习能力对集成感知与通信性能的影响，并建立了学习-信息权衡定律，为下一代 ISAC 系统设计提供理论指导。
2025-12-15 cs.IT math.IT
A Note on the Equivalence of Gibbs Free Energy and Information Theoretic Capacity
吉布斯自由能的最小化是基于在物理或化学系统中发生的功和自由能的变化。基于与通信系统相关联的边际概率和条件熵来确定噪声信道的互信息（容量）的最大化。尽管程序最初看起来可能不同，但通过探索简单的“双重用途”伊辛模型，可以看出这两个概念实际上是相同的。特别地，详细计算了二进制对称信道的情况。
2008-09-22 cond-mat.stat-mech cs.IT math.IT
The theoretical capacity of the Parity Source Coder
奇偶校验源编码器是一种用于数据压缩的协议，其基于在稀疏随机网络中组织的一组奇偶校验。我们认为在这里的情况下，无记忆无偏二进制源。我们证明了理论容量在大K时饱和香农极限。我们还发现，第一次修正的领先的行为是指数小，使有限K的行为是非常接近的最佳之一。
2005-09-14 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Information Theoretic Properties of Markov Random Fields, and their Algorithmic Applications
Massachusetts Institute of Technology（麻省理工学院）
马尔可夫随机场是高维概率分布的流行模型。多年来，人们对这类问题的数学、统计和算法等方面的问题进行了大量的研究.直到最近，唯一已知的可证明学习它们的算法依赖于穷举搜索，相关性衰减或各种不相干假设。Bresler给出了有界度图上一般Ising模型的学习算法。他的方法是基于伊辛模型中关于互信息的结构结果。在这里，我们采取一个更概念化的方法来证明下限的互信息，通过建立一个适当的零和游戏。我们的证明推广远远超出伊辛模型，任意马尔可夫随机场与高阶相互作用。作为应用，我们得到了学习马尔可夫随机场上的有界度图的$n$节点的$r$阶的相互作用在$n^r$时间和$\log n$样本复杂度的算法。样本复杂度是信息理论上最优的，直到最大程度的依赖。运行时间几乎是最佳的标准假设下的硬度学习奇偶噪声。
2017-05-31 cs.DS cs.IT cs.LG
Information Theoretic Cut-set Bounds on the Capacity of Poisson Wireless Networks
本文提出了一种随机几何模型的基本信息理论在无线网络中的局限性的调查。我们得到了一个新的统一的多参数割集上的容量的任意泊松节点密度，大小，功率和带宽的网络，在快速衰落下，在丰富的散射环境。换句话说，我们上限的最佳性能方面的总通信速率，在任何方案下，可以实现网络节点的子集（由切割定义）与所有剩余的节点之间。此外，我们确定了四种不同的操作制度，这取决于远程和短程信噪比的大小。因此，我们确认了先前已知的缩放定律（例如，在带宽和/或功率受限的无线网络中），并且我们用特定的界限来扩展它们。最后，我们使用我们的结果提供具体的数值例子。
2013-04-30 cs.IT cs.NI math.IT
Numerical Evaluation of Algorithmic Complexity for Short Strings: A Glance into the Innermost Structure of Randomness
我们描述了一种替代方法（压缩），结合了几个理论和实验结果，以数值近似的算法（Kolmogorov-Chaitin）的复杂性的所有$\sum_{n=1}^82^n$位串长达8位，和一些之间的9和16位长。这是通过穷举执行所有确定性的2符号图灵机来完成的，最多有4个状态，由于忙海狸问题，停机时间是已知的，即11019960576台机器。然后计算输出频率分布，从该输出频率分布计算算法概率，并通过（Levin-Zvonkin-Chaitin）编码定理评估算法复杂度。
2011-10-05 cs.CC cs.IT math.IT
Polar Codes: Speed of polarization and polynomial gap to capacity
我们证明了，对于所有二进制输入对称无记忆信道，极化码使可靠的通信速率在$ε> 0$的香农容量与块长度，构造复杂度，和解码复杂度都有界的{ \em多项式}在$1/ε$。极化编码给出了{ \em第一已知显式构造}，其具有所有这些性质的严格证明;除了擦除信道之外，不知道先前的构造以小于$\exp(1/ε)$解码复杂度来实现容量。我们建立了容量实现性质的极化码通过直接分析的基础鞅的条件熵，而不依赖于鞅收敛定理。这一步给出了粗略的极化（“好”信道的噪声电平$\approx ε$），然后可以通过跟踪信道Bhattacharyya参数的衰减来充分放大。我们的有效界限意味着极化码可以具有由$1/ε$中的多项式限制的块长度（和编码/解码复杂度）。这种极化码的生成器矩阵可以通过在算法上计算极化过程的适当近似而在多项式时间中构造。
2013-11-18 cs.DS cs.IT math.IT
On the Computability of Finding Capacity-Achieving Codes
本文从算法角度证明存在图灵机可通过穷举搜索和递归函数理论构造达到容量的块码，并指出该可计算性假设无法进一步放宽。
2025-11-05 cs.IT math.IT math.LO
Architecture-Algorithmic Trade-offs in Multi-path Channel Estimation for mmWAVE Systems
5G毫米波大规模MIMO系统可能部署在密集的城市场景中，其中增加网络容量是主要目标。毫米波收发器设计中的一个关键组件是信道估计，由于非常大的信号带宽（GHz量级）意味着显著的分辨空间多径，加上大规模MIMO的Tx/Rx天线数量大，信道估计是具有挑战性的。这导致显著增加的训练开销，这又导致不可接受的高计算复杂性和功率成本。因此，我们的工作突出了收发器架构和接收器信号处理算法选择的相互作用，从根本上解决（移动）手机功耗，性能下降最小。我们调查的权衡，使混合波束成形毫米波接收机和信道估计算法，利用可用的稀疏性，在这样的宽带场景的结合。探索用于稀疏信道估计的压缩感知（CS）框架--二进制迭代硬阈值（BIHT）\cite{jacques2013robust}，然后是具有不同量化（ADC）级别的线性重建方法--以比较比特深度和采样率之间的权衡对于给定的ADC功率预算。BIHT+线性重构方法的性能分析通过对5G指定多径信道模型的仿真研究进行，并与Oracle辅助的边界进行比较以进行验证。
2022-09-07 cs.IT eess.SP math.IT
No-Signalling Assisted Zero-Error Capacity of Quantum Channels and an Information Theoretic Interpretation of the Lovasz Number
研究了无信号关联辅助下的量子信道的单次零差错经典容量，以及用无噪声经典信道精确模拟指定信道的逆问题.量子无信号相关性被视为两个输入和两个输出完全正的和保迹映射，具有强制设备不能发出信号的线性约束。这两个问题导致简单的半定方案（SDP），只依赖于克劳斯运营商空间的通道。特别是，我们证明了零误差经典模拟成本正是给定信道的Choi-Jamiolkowski矩阵的条件最小熵。零误差经典容量由一个看起来相似但不同的SDP给出;渐近零误差经典容量是这个SDP的正则化，一般来说我们不知道任何简单的形式。然而有趣的是，对于经典量子信道的类，我们表明，渐近容量是由一个更简单的SDP，这与阿拉姆哈罗提出的分数包装数的半定推广相一致。这最终导致著名的洛瓦兹$\vartheta$函数的操作解释的图形作为零错误的经典容量的图辅助量子无信号相关性，洛瓦兹数的第一个信息论解释。
2015-12-09 cs.IT math.CO math.IT
A Simplicity Bubble Problem in Formal-Theoretic Learning Systems
University of Campinas (UNICAMP)（坎皮纳斯大学）；National Laboratory for Scientific Computing (LNCC)（国家科学计算实验室）；Laboratoire de Recherche Scientifique (LABORES) for the Natural and Digital Sciences（自然与数字科学科学研究实验室（LABORES））；The University of Cambridge（剑桥大学）；Oxford Immune Algorithmics（牛津免疫算法公司）；Karolinska Institute（卡罗林斯卡学院）
本文证明任何学习算法在足够大的数据集上都可能被不可预测的复杂样本骗入“简单性泡沫”，误把局部低复杂度解当作全局最优，并提出需借助算法信息论与可计算性理论构建更强的机器学习框架。
2023-04-25 cs.AI cs.IT cs.LG
An Information-Theoretic Perspective on Overfitting and Underfitting
Harvey Mudd College（哈维穆德学院）
我们提出了一个信息理论的框架来理解机器学习中的过拟合和欠拟合，并证明了确定任意分类算法是否会过拟合数据集的形式不可判定性。通过从数据集传输到模型的信息来测量算法能力，我们考虑算法能力和数据集之间的不匹配，以提供模型何时过拟合或欠拟合数据集的签名。我们目前的结果上限算法的能力，建立其关系的数量在机器学习的算法搜索框架，并与我们的工作，最近的信息理论方法的推广。
2020-11-06 cs.AI cs.IT cs.LG
