Multi-Party Protocols, Information Complexity and Privacy
我们引入了一个新的信息理论的措施，我们称之为公共信息复杂性（PIC），作为一种工具，用于研究多方计算协议，以及数量，如他们的通信复杂性，或随机性，他们需要在信息理论的私人计算的上下文中。我们能够直接在自然异步消息传递对等模型中使用该度量，并展示了我们的新概念的一些有趣的性质和应用：公共信息复杂性是通信复杂性的下限和信息复杂性的上限;公共信息复杂度和信息复杂度之间的差异提供了协议中使用的随机性量的下限;任何通信协议都可以被压缩到其公共信息成本; $k$方的零错误公共信息复杂度的显式计算，$n$位奇偶校验函数，其中播放器输出输入的逐位奇偶校验。后一个结果还确定了计算该函数的私有协议所需的随机量是$Ω(n)$。
2018-12-17 cs.CC cs.CR cs.IT
GPS Information and Rate Tolerance - Clarifying Relationship between Rate Distortion and Complexity Distortion
我在1993年出版的《广义信息论》一书中提出了率容限并讨论了它与率失真的关系。最近，我研究了基于Kolmogorov的复杂性理论的结构函数和复杂性失真。我现在的理解是，复杂失真只是速率容限的一个特例，而约束集从模糊集变成了清晰集，看起来像具有相同半径的球。复杂度理论研究者认为复杂度失真一般等同于率失真，这是不正确的。得出了率失真函数只能等价于率容限函数的结论，并且二者都可以用广义互信息公式来描述，其中P（Y| X）等于P（Y|公差）。本文以GPS为例，推导了广义信息量公式，并通过数学分析和编码实例证明了上述结论。GPS信息度量公式与率失真函数公式的相似性可以加深对广义信息测度的理解。
2012-04-17 cs.CC cs.IT math.IT
Tension Bounds for Information Complexity
这项工作的主要贡献是将信息复杂性与“张力”联系起来[Prabhakaran and Prabhakaran，2014] --一个与协议无关的信息理论量--并说明它允许推导出信息复杂性的强下界。特别是，我们使用这种联系的一个非常特殊的情况，在信息复杂性和差异之间给出了一个比Braverman和Weinstein（2012）的工作（尽管仅限于独立输入）更紧密的定量联系。此外，由于张力实际上是一个多维概念，因此它使我们能够绑定表示2方协议中两个方向上的通信量之间的权衡的2维区域。这项工作也是为了强调张力作为一对随机变量之间的相关性的基本措施，与计算机科学和信息论中的各种问题有着丰富的联系。
2014-08-27 cs.CC cs.IT math.IT
New Separations Results for External Information
我们得到了布尔函数两方外部信息复杂性的新的分离结果。函数$f(x,y)$的外部信息复杂度是两方协议计算$f$必须向外部观察者揭示的关于输入的最小信息量。我们得到以下结果：1.我们证明了外部和内部信息复杂性之间的指数分离，这是最好的可能，以前没有分离是已知的。2.我们证明了一个近二次分离摊销零错误通信复杂性和外部信息复杂性的总功能，反驳了\cite{Bravermansurvey}的猜想。3.我们证明了一个匹配的上限表明我们的分离结果是紧的。
2021-03-06 cs.CC cs.IT math.IT
Fully explicit large deviation inequalities for empirical processes with applications to information-based complexity
University Linz（林茨大学）
本文推导了经验过程的大偏差不等式，应用于信息基础复杂性理论，揭示了此类结果的重要性。
2015-04-01 cs.CC cs.IT cs.NA
On the complexity of graphs (networks) by information content, and conditional (mutual) information given other graphs
该报告涉及图的信息内容，可选地以一个或多个背景、“公知”图为条件。它描述了一种算法来估计这一信息的内容，并包括一些基于化合物的例子。
2020-08-04 cs.IT math.IT
Kolmogorov Complexity in perspective. Part I: Information Theory and Randomnes
我们调查不同的方法来的信息的概念：从香农熵Kolmogorov复杂性。Kolmogorov复杂性的两个主要应用：随机性和分类。该调查在同一卷中分为两个部分。第一部分致力于信息论和数学形式化的随机性的基础上柯尔莫哥洛夫复杂性。最后一个应用可以追溯到60年代和70年代的马丁-洛夫，施诺尔，柴廷，莱文的工作，并在过去几年中获得了新的动力。
2010-10-15 cs.CC cs.IT cs.LO
Convergence and Density Evolution of a Low-Complexity MIMO Detector based on Forward-Backward Recursion over a Ring
研究了一种基于环型成对图的低复杂度迭代MIMO检测算法的收敛性和密度演化。要考虑的检测算法实际上是前向-后向递归，并且最初在[13]中提出，其中分析了高斯输入的链路级性能和收敛性。本文给出了离散字母表的收敛性证明和二进制输入的密度演化框架，以给出在没有信道编码的情况下的平均SINR和出错率（BER）的渐近性能。通过密度演化得到的误码率曲线与仿真结果吻合较好，验证了密度演化分析的有效性和检测算法的性能。
2016-01-28 cs.IT math.IT
Zero-error information equals amortized communication complexity
IQC, University of Waterloo（滑铁卢大学量子计算研究所）
本文解决随机通信复杂度中直积猜想的核心形式，证明任意函数的摊销期望随机通信复杂度等于其零错误信息复杂度，还将该结果应用于集合不交性问题并反驳了DFHL18的相关猜想。
2026-08-06 cs.CC cs.IT math.IT
Finite Littlestone Dimension Implies Finite Information Complexity
EPFL（洛桑联邦理工学院）
我们证明了Littlestone维数为$d$的函数的每一个在线学习类都有一个有限信息复杂度的学习算法。为此，我们使用全局稳定算法的概念。一般来说，这种全局稳定算法的信息复杂度是大而有限的，在$d$中大致是指数的。我们还表明，有改进的余地，对于一个规范的在线学习类，指标功能的仿射子空间的尺寸$d$，信息的复杂性可以上界数学$d$。
2022-06-27 cs.IT cs.LG math.IT
Describing the complexity of systems: multi-variable "set complexity" and the information basis of systems biology
上下文依赖性是描述复杂性的核心。关键的“集复杂性”的成对定义，我们使用信息论的方法来制定系统复杂性的一般措施。我们研究多变量依赖的属性开始与交互信息的概念。然后，我们提出了一个新的措施，无偏检测多变量的依赖关系，“差分交互信息。两个变量的这个数量减少到以前提出的成对“集合复杂性”，作为生物系统中信息的上下文相关度量。我们在这里将其推广到任意数量的变量。“微分相互作用信息”的临界极限性质是推广的关键。这种测量扩展了以前关于生物信息的想法，并为复杂性的研究提供了更复杂的基础。“微分交互作用信息”的性质也为数据分析提供了新的途径。给定系统测量的数据集，差分交互信息可以提供集体依赖性的度量，其可以用描述复杂系统交互模式的超图来表示。我们调查这种分析使用模拟数据集。广义集的复杂性度量，多变量依赖分析，超图的结合是我们的中心结果。虽然我们的重点是复杂的生物系统，但我们的结果适用于任何复杂的系统。
2013-08-19 cs.IT math.IT q-bio.QM
An operational characterization of mutual information in algorithmic information theory
我们表明，互信息，在柯尔莫哥洛夫复杂度的意义下，任何一对字符串$x$和$y$是相等的，达到对数精度，最长的秘密密钥的长度，双方，一个有$x$和对的复杂度配置文件，另一个有$y$和对的复杂度配置文件，可以通过概率协议与公共信道上的交互建立。对于$\ell > 2$，可以由$\ell$方从字符串$(x_1, \ldots , x_\ell)$的元组建立的最长共享秘密（每一方具有元组的一个分量和元组的复杂度简档）等于元组的复杂度减去将元组分发给所有方所需的最小通信，直到对数精度。对于具有公共随机性的秘密密钥协商协议，建立了产生最大长度的秘密密钥协商协议的通信复杂性.我们还表明，如果通信复杂性低于既定的阈值下降，那么只有很短的密钥可以得到。
2019-04-29 cs.CC cs.IT math.IT
Lower Bounds on the Oracle Complexity of Nonsmooth Convex Optimization via Information Theory
本文利用信息论方法，以字符串猜测为统一困难来源，为非光滑黑箱凸优化建立了与最坏情况上界匹配的分布谕示复杂度下界，并推广到高概率和有界误差情形。
2023-07-07 cs.CC cs.IT math.IT
Exponential Separation of Quantum Communication and Classical Information
我们展示了一个布尔函数，其量子通信复杂度比经典信息复杂度呈指数级增长。另一个方向的指数分离已经从克伦特的工作中得知。[SICOMP 44，pp. 1550-1572]，因此我们的工作意味着这两个复杂性度量是不可比较的。由于经典信息复杂度是量子信息复杂度的上界，而量子信息复杂度又等于分摊量子通信复杂度，因此我们的工作意味着分布式量子通信复杂度的紧直和结果不成立.我们用来表示这种分离的函数是Rao和Sinha [ECCC TR 15 -057]引入的对称k元指针跳跃函数，其经典通信复杂度指数地大于其经典信息复杂度。在本文中，我们证明了该函数的量子通信复杂度是多项式等价于它的经典通信复杂度。我们的证明背后的高层次思想可以说是迄今为止最简单的信息和通信之间的指数分离，由一系列的舍入消除参数驱动，使我们能够进一步简化Rao和Sinha的方法。作为我们开发的技术的另一个应用，我们给出了一个简单的证明，在计算n位的相关大于函数时，Alice和Bob的通信之间的最佳权衡：假设Bob通信至多b位，那么Alice必须发送n/exp（O（b））位给Bob。即使在允许预共享纠缠时也是如此。我们还提出了一个经典的协议实现这一界限。
2016-11-28 cs.CC cs.IT math.IT
Direct Sum Theorem for Bounded Round Quantum Communication Complexity
我们证明了一个有界圆纠缠辅助量子通信复杂度的直和定理。为了做到这一点，我们使用了我们最近引入的信息成本和复杂性的完全量子定义，并使用了信息是通信的下限这一事实，以及直接和属性适用于量子信息复杂性这一事实。然后，我们给出了一个协议，用于压缩一个单一的副本的协议，其量子信息成本，取决于轮数和允许的错误增加的条款。推导该协议的两个重要工具是一次量子态再分配协议的光滑条件最小熵界，以及Jain，Radhakrishnan和Sen（FOCS'02）的量子子态定理将该界转换为von Neumann条件熵界。这一结果进一步确立了新引入的量子信息成本和复杂性的概念，作为标准通信复杂性设置中经典概念的正确量子概括。找到这样一个信息复杂性的量子泛化是Braverman最近提出的开放问题之一（STOC'12）。
2020-12-31 cs.CC cs.IT math.IT
Information-related complexity: a problem-oriented approach
提出了一个适用于自然和人造系统的信息相关复杂性的一般概念。总体方法是明确考虑一个理性主体以可量化的成功程度执行某项任务。复杂度被定义为在给定范围内完成任务所需的最小（准）信息量-通过相应的损失来衡量。这样定义的复杂性，以推广现有的统计复杂性的概念时，所讨论的系统可以描述的离散时间随机过程。建议的定义也适用于，特别是，在不确定性的优化和决策问题，在这种情况下，它给代理一个有用的措施的问题的“敏感性”的额外信息，并允许估计的潜在价值，后者。
2013-01-17 cs.IT math.IT physics.data-an
Set-based complexity and biological information
在生命系统的分子和结构中存在的所有潜在信息中，哪一部分对系统是重要的或有意义的，这一点并不明显。例如，随机序列或相同重复序列的集合将被期望对细胞贡献很少或没有有用的信息。这个问题的定量信息是重要的，因为潮起潮落的生物学意义的信息是必不可少的，我们的定量了解生物功能和进化。具体由这些问题的生物信息的动机，我们在这里提出了一类措施，以量化的上下文性质的信息集的对象，基于柯尔莫哥洛夫的内在复杂性。这种措施折扣随机和冗余信息，是固有的，因为它们不需要一个定义的状态空间来量化的信息。这个新的措施，它可以制定在通用信息距离方面的最大化，似乎有几个有用的和有趣的属性，其中一些我们举例说明。
2008-01-25 cs.CC cs.IT math.IT
Kolmogorov Complexity in perspective. Part II: Classification, Information Processing and Duality
我们调查不同的方法来的信息的概念：从香农熵Kolmogorov复杂性。Kolmogorov复杂性的两个主要应用：随机性和分类。该调查分为两部分，在同一卷中出版。第二部分致力于逻辑和信息系统之间的关系，在柯尔莫哥洛夫算法信息论的范围内。我们提出了一个最近的应用程序Kolmogorov复杂性：分类使用压缩，一个想法与挑衅性的实现作者，如贝内特，Vitanyi和Cilibrasi。这强调了柯尔莫哥洛夫复杂性除了是随机性的基础之外，还与分类有关。还考虑了另一种分类方法：所谓的“谷歌分类”。它使用了另一个原始的和有吸引力的想法，这是连接到使用压缩分类和柯尔莫哥洛夫复杂性从概念的角度来看。我们提出并统一这些不同的方法来分类自下而上与自上而下的操作模式，我们指出的基本原则和潜在的二元性。我们看看这两种双重模式是如何在不同的方法中使用的信息系统，特别是关系模型的数据库介绍了Codd在70年代。这允许指出一个基本的二元性的不同形式。这些操作模式也重新解释的背景下的理解模式的公理集合论ZF。这使我们发展如何Kolmogorov的复杂性与内涵，抽象，分类和信息系统。
2010-10-13 cs.CC cs.IT cs.LO
Shannon Information and Kolmogorov Complexity
我们比较了香农信息和Kolmogorov复杂性的基本理论，在何种程度上，他们有一个共同的目的，以及他们是根本不同的。我们讨论并联系这两种理论的基本概念：香农熵与柯尔莫哥洛夫复杂度，两者与通用编码的关系，香农互信息与柯尔莫哥洛夫（“算法”）互信息，概率充分统计与算法充分统计（与香农理论中的有损压缩相对于柯尔莫哥洛夫理论中的有意义信息有关），以及率失真理论与Kolmogorov结构函数。部分材料以前曾出现在印刷品中，分散在各种出版物中，但这是第一次全面系统的比较。最后提到的关系是新的。
2004-10-01 cs.IT math.IT
A Unified Paradigm of Organized Complexity and Semantic Information Theory
科学中最基本的问题之一是定量地定义{\it}有组织事物的复杂性，即，{\it有组织的复杂性}。虽然在过去的几十年里已经提出了许多措施来实现这一目标，但没有商定的定义。本文提出了一种新的组织复杂性的定量定义。这个定义{\it simultaneously}捕获了复杂性的三个主要特征：计算性（类似于逻辑深度）、分解性（类似于柯尔莫哥洛夫复杂性和有效复杂性）和分布性（类似于统计复杂性）。此外，所提出的定义是可计算的，可以以统一的方式测量对象的概率和确定性形式。提出的定义是基于电路，而不是图灵机和$ε$-机。我们给出了有组织的复杂性措施所需的几个标准，并表明，所提出的定义满足所有这些第一次。然后，我们应用这个定量的定义，制定了{\it语义信息论}。我们提出了第一个正式定义的{\it语义信息量}，这是语义信息论的核心概念，这是只基于具体定义的概念。以前的语义信息论定义了这个量下的一些先验信息，这是没有具体规定。然后，我们揭示了语义信息论中的几个基本性质，例如，语义信源编码定理、语义信道编码定理和有效性编码定理。虽然语义信息论的研究已经有60多年的历史了，但是还没有关于语义信息论与组织复杂性之间关系的研究。本文首次提出了组织复杂性和语义信息论的统一范式。
2016-07-29 cs.IT math.IT nlin.AO
Quantum Information Complexity and Amortized Communication
我们定义了量子协议的信息代价和相应的二分量子信道的量子信息复杂度，并研究了这些量的性质.这些是最近发现了许多应用的二分经典函数的类似量的完全量子推广，特别是用于证明通信复杂性下界。我们的定义与量子态再分配任务密切相关。以前的尝试已经为量子协议定义了这样一个量，考虑到特定的应用;我们的概念在许多方面与这些不同。首先，它直接提供了量子通信成本的下限，与底层协议的轮数无关。其次，我们对量子信息复杂度给出了一个操作解释：我们证明了它完全等于给定状态下二分信道的分摊量子通信复杂度。这将Braverman和Rao的一个结果推广到了量子协议，甚至加强了经典结果在有界圆形场景中的作用。此外，这为交互式量子协议提供了Schumacher源压缩定理的模拟，并回答了Braverman提出的问题。我们还讨论了一些潜在的应用，量子通信复杂性的下限，专门为经典函数和输入的定义。在Jain、Radhakrishnan和Sen工作的基础上，我们提供了新的证据，表明对于M-消息协议，不相交函数的有界圆量子通信复杂度是Ω（n/M + M）。这将与最著名的上限相匹配。
2014-04-14 cs.CC cs.IT math.IT
A measure of statistical complexity based on predictive information
我们介绍了一个信息理论的统计结构，称为“绑定信息”，为随机变量集的措施，并比较它与以前提出的措施，包括过剩熵，Bialek等人。的预测信息和多元信息。我们推导出的绑定信息的一些属性，特别是在有关的多信息，并表明，对于有限组的二进制随机变量，最大化绑定信息的过程是“奇偶校验”的过程。最后，我们讨论了一些的影响，这对于使用的绑定信息的复杂性的措施。
2010-12-08 cs.IT math.IT math.ST
Performance versus Complexity Per Iteration for Low-Density Parity-Check Codes: An Information-Theoretic Approach
本文重点讨论了LDPC码的性能和每次迭代的译码复杂度之间的权衡，在他们的差距（率）容量。这种权衡的研究是通过信息理论的界限，这也使得能够得到一个指示的次优的消息传递迭代解码算法（相比，最佳ML解码）。的界限是广义的并行信道，并适用于故意和随机打孔解决的打孔LDPC码的合奏。这项工作表明，以前由Burshtein等人以及Sason和Urbanke推导的一些信息理论界限的紧密性得到了改进。
2005-12-18 cs.IT math.IT
Information Measures of Complexity, Emergence, Self-organization, Homeostasis, and Autopoiesis
本章回顾了基于信息论的涌现、自组织、复杂性、内稳态和自我创造的测量方法。这些措施来自拟议的公理和测试中的两个案例研究：随机布尔网络和北极湖泊生态系统。涌现被定义为系统或过程产生的信息。自组织被定义为涌现的对立面，而复杂性被定义为涌现和自组织之间的平衡。稳态反映了系统的稳定性。自创生被定义为系统的复杂性与其环境的复杂性之间的比率。所提出的措施可以应用于不同的尺度，这可以与多尺度剖面进行研究。
2013-07-31 cs.IT math.IT nlin.AO
A Direct Sum Result for the Information Complexity of Learning
Technion-IIT（以色列理工学院）；University of California, Berkeley（加州大学伯克利分校）
PAC学习VC维$d$的一类假设需要多少比特的信息？我们遵循的数学设置是Basily等人（2018）的数学设置，其中感兴趣的值是输入样本$S$和学习算法$A$输出的假设之间的互信息$\mathrm{I}(S;A(S))$。本文在定义域$\mathcal{X}$上引入了一类VC维$d$函数，它的信息复杂度至少为$Ω\left(d\log \log \frac{|\mathcal{X}|}{d}\right)$ bits，对于任意的相容的和适当的算法（确定的或随机的）. Basily等人证明了$d=1$情况下的类似（但定量上较弱）结果。上述结果实际上是我们所探讨的一个更普遍现象的一个特例。我们定义了一类给定函数的信息复杂性的概念$\mathcal{H}$。直观地说，它是$\mathcal{H}$算法必须保留的关于其输入的最小信息量，以确保一致性和正确性。在这种情况下，我们证明了信息复杂性的直接和结果，粗略地说，当结合几个类的信息复杂性总和。
2018-04-16 cs.IT cs.LG math.IT
Information disclosure in the framework of Kolmogorov complexity
我们考虑由两个开放信道$1\rightarrow 2$和$1\rightarrow 3$连接的三个节点$1, 2, 3$组成的网络。存在于节点1中的信息由四个字符串$x,y,z,w$组成。节点$2, 3$分别知道$x,w$和需要知道$y,z$。我们希望在信道上安排信息的传输，使得节点$2$和$3$都知道它们需要什么，并且信息的公开尽可能少。信息泄露是指通过信道传输的字符串中关于$x,y,z,w$（或关于$x,w$）的信息量。我们还感兴趣的是，是否有可能最大限度地减少信息的披露，同时最大限度地减少通过渠道传输的单词的长度。
2021-08-05 cs.IT math.IT
Information-Theoretic Free Energy as Emotion Potential: Emotional Valence as a Function of Complexity and Novelty
The University of Tokyo（东京大学）
这项研究扩展了我们之前提出的情绪维度的数学模型（Yanagisawa等人，2019，Front Comput Neurosci），将感知的复杂性和新颖性作为唤醒潜力的来源。假设唤醒电位的Berlyne享乐函数（或倒U形曲线，所谓的冯特曲线）。我们将唤醒电位建模为感觉刺激被感知（或识别）后在大脑中处理的信息内容，我们称之为感觉刺激。我们在数学上证明了感觉刺激代表自由能，它相当于信息增益（或来自新奇的信息）和感知复杂性（或来自复杂性的信息）的总和，它们是形成唤醒电位的比较变量。我们证明了经验证据与视觉刺激（蝴蝶的轮廓形状）支持的假设，即感知的新颖性和复杂性的总和形状的倒U形的美丽功能。我们讨论了自由能作为解释情绪引发器的数学原理的潜力。
2020-03-23 cs.AI cs.IT math.IT
Near-optimal bounds on bounded-round quantum communication complexity of disjointness
我们证明了一个接近最佳的轮通信的折衷双方量子通信复杂性的不相交性。对于协议与$r$轮，我们证明了一个下界的$\tildeΩ(n/r + r)$计算不相交的输入大小$n$，这是最佳的对数因子所需的通信。由于Jain、Radhakrishnan和Sen [JRS 03]，之前的最佳下限为$Ω(n/r^2 + r)$。在此过程中，我们开发了几种量子信息复杂性的工具，其中之一是量子信息复杂性的广义差异方法的下限。作为推论，我们得到了任意布尔函数$f$的量子通信复杂性至多为$2^{O(QIC(f))}$，其中$QIC(f)$是$f$的无先验量子信息复杂性（有错误$1/3$）.
2015-05-12 cs.CC cs.IT math.IT
Complexity in atoms: an approach with a new analytical density
在这项工作中，计算复杂性的原子系统被认为是。为了揭示相对论效应导致的统计量随原子序数的增加而增加的现象，最近在[A. Borgoo，F. De Proft，P. Geerlings，K.D. Sen，Chem. Phys. Lett.，444（2007）186]，提出了一种新的描述中性原子的解析密度。这个密度是受Tietz势模型的启发。该密度的参数由归一化条件和能量的变分计算确定，能量是密度的函数。密度在原点是非奇异的，并且其特定形式被选择为适合来自非相对论性Hartree-Fock计算的结果。能量泛函的主要成分是非相对论性动能、核-电子吸引能和电子排斥的经典项。对动能和Weizsacker项的相对论修正也被考虑在内。狄拉克和相关项被证明是不太重要的比其他条款，他们已被丢弃在这项研究中。当用该模型导出的解析密度在位置空间中计算复杂性的统计测度时，还发现复杂性的大小随原子序数的增加而增加的趋势。
2008-06-11 cs.IT math.IT nlin.CD
Comparing Information-Theoretic Measures of Complexity in Boltzmann Machines
在过去的三十年里，许多复杂性的理论度量被提出来帮助理解复杂系统。在这项工作中，我们第一次将这些措施放在一个公平的竞争环境中，探讨它们之间的质的相似性和差异，以及它们的缺点。具体来说，使用具有均匀分布权重的玻尔兹曼机架构（一种完全连接的递归神经网络）作为我们的研究模型，我们在数值上测量复杂性如何随网络动态和网络参数而变化。我们应用这样一个信息理论的复杂性措施的扩展，以了解增量赫布学习Hopfield网络，一个完全经常性的自联想记忆的架构模型。在赫布学习过程中，随着网络试图学习越来越多的模式，总的信息流反映了复杂性的自然上升趋势。
2017-07-30 cs.IT cs.NE math.IT
A Compression-Complexity Measure of Integrated Information
量化整合信息是建立意识基础理论的主要方法。集成信息论（IIT）由于其理论上的强大框架而在这方面受到关注。然而，它面临着一些限制，如当前状态依赖，计算昂贵，无法应用于真实的大脑数据。另一方面，扰动复杂性指数（PCI）是区分不同意识水平的临床指标。虽然PCI声称捕捉脑网络中的功能分化和整合（类似于IIT），但它与整合信息论的联系相当薄弱。受这两种方法的启发，我们提出了一种新的措施- $Φ^C$使用一种新的压缩复杂度的角度，作为两者之间的桥梁，第一次。$Φ^C$是建立在无损数据压缩的原则，基于复杂性的措施，其特征的动态复杂性的大脑网络。$Φ^{C}$表现出以下突出的创新：（i）数学上有界的，（ii）可忽略的当前状态的依赖性，不像$Φ$，（iii）集成的信息作为压缩复杂性，而不是作为一个信息理论的量，（iv）更快的计算，因为原子二分区的数量与网络的节点数成线性比例，从而避免组合爆炸。我们的计算机模拟表明，$Φ^C$有类似的层次结构，$<Φ>$的几个多节点网络，它展示了丰富的分化，集成和网络的节点熵之间的相互作用。$Φ^C$是一种很有前途的启发式度量，可以表征像人脑这样的大型网络中集成信息的数量（因此是意识数量的度量），并提供了一个机会来测试对真实神经数据的大脑复杂性的预测。
2016-12-13 cs.IT math.IT q-bio.NC
High-Rate Short-Block LDPC Codes for Iterative Decoding with Applications to High-Density Magnetic Recording Channels
本文研究了一类新的高码率低复杂度LDPC码--三角形单奇偶检验（T/SPC）码。T/SPC是一种规则的、可软解码的、线性时间可编码/可解码的代码。与先前的高速率和低复杂度LDPC码（诸如众所周知的Turbo乘积码/单奇偶检验（TPC/SPC））相比，T/SPC提供更高的码率、更短的码字和更低的复杂度。这使得T/SPC在集成电路上的实际实现非常有吸引力。此外，我们分析了基于软输入软输出（SISO）均衡器的迭代解码器在高密度垂直磁记录通道上使用T/SPC的性能。计算机模拟表明，该方案是能够实现高达0.3 dB的TPC/SPC码的增益与实现复杂度显着降低。
2011-04-07 cs.IT math.IT
Shannon information, LMC complexity and Renyi entropies: a straightforward approach
的LMC复杂性，基于概率描述的复杂性指标，被重新审视。一个简单的方法，使我们能够建立在近平衡的情况下，这个指标的时间演变，并为我们提供了一个新的见解，解释LMC的复杂性一般非平衡系统。并解释了它与Renyi熵的关系。这一指标的优点之一是，在许多物理和生物方面的情况下，其计算不需要大量的计算工作。
2003-12-22 cond-mat.stat-mech cs.IT math.IT
Symmetry of Information: A Closer Look
信息的对称性建立了x关于y的信息（记为I（x：y））和y关于x的信息（记为I（y：x））之间的关系。在经典的信息论中，这两者是完全相等的，但在算法的信息论中，有一个小的多余的信息量，区分这两个术语，造成的必要性包装信息的方式，使其能够访问算法。[Zim 11]中表明，在具有简单复杂性的字符串的情况下（即其Kolmogorov复杂性很小），相关信息可以以非常经济的方式包装，这导致I（x：y）和I（y：x）之间的关系比Kolmogorov和Levin的经典信息对称定理中提供的关系更紧密。我们在这里给这个结果的一个简单的证明，使用亚历山大沉的建议。这个结果暗示了有限弦和简单复杂度的范·兰巴尔根型定理：如果x是c-随机的，y相对于x是c-随机的，那么xy是O（c）-随机的。我们发现，一个类似的结果持有无前缀的复杂性和弱K-随机性。
2012-06-22 cs.IT math.IT
Information Complexity and Estimation
我们考虑一个输入$x$所产生的一个未知的平稳遍历源$X$进入信号处理系统$J$，导致在$w=J(x)$。我们通过一个有噪声的通道$y=z(w)$观察$w$;我们的目标是从$y$、$J$和$f_{Y|W}$的知识中估计x。这是通用估计，因为$f_X$是未知的。我们提供了一个公式，描述了信息复杂性和噪声之间的权衡。最初的理论，算法和实验证据支持我们的方法。
2011-08-04 cs.IT math.IT
Is star complexity a proxy for information based complexity of graphs?
High Performance Coders（高性能编码者）
本文研究了星复杂性与图信息基于复杂性之间的关系，通过构造特定图并比较两种复杂性度量，发现星复杂性与信息基于复杂性存在强相关性。
2025-10-09 cs.IT math.IT
Complexity and Information: Measuring Emergence, Self-organization, and Homeostasis at Multiple Scales
在复杂系统的科学研究中使用的概念已经变得如此普遍，以至于它们的使用和滥用导致了它们含义的模糊和混乱。在本文中，我们使用信息论来提供抽象和简洁的措施的复杂性，涌现，自组织和稳态。目的是借助拟议的正式措施澄清这些概念的含义。在一个简化版本的措施（侧重于系统产生的信息），涌现成为自组织的对立面，而复杂性代表他们的平衡。动态平衡可以被看作是系统稳定性的一种度量。我们使用随机布尔网络和初等细胞自动机的计算实验来说明我们的措施在多个尺度。
2012-08-10 cs.IT math.IT nlin.AO
The Information Complexity of Learning Tasks, their Structure and their Distance
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Scuola Normale Superiore（比萨高等师范学校）；Scuola Internazionale di Studi Superiori Avanzati（国际高等研究院）；Istituto Nazionale di Fisica Nucleare（国家核物理研究所）
我们在学习任务的空间中引入了一个不对称的距离，以及一个计算其复杂性的框架。这些概念是迁移学习实践的基础，通过迁移学习，参数模型针对一项任务进行预训练，然后针对另一项任务进行微调。我们开发的框架是非渐近的，捕获了训练数据集的有限性，并允许区分学习和记忆。作为特例，它包含了Kolmogorov复杂性、Shannon和Fisher信息等经典概念。然而，与其中一些框架不同的是，它可以应用于大规模模型和真实世界的数据集。我们的框架是第一个以考虑优化方案效果的方式来衡量复杂性的框架，这在深度学习中至关重要。
2020-07-14 cs.IT cs.LG math.IT
On the Relevance-Complexity Region of Scalable Information Bottleneck
Sharif University of Technology（谢里夫理工大学）；Technical University of Munich（慕尼黑工业大学）；Universite Paris-Est（巴黎东部大学）
信息瓶颈方法是一种学习技术，通过在压缩复杂度（由最小描述长度测量）和对数损失度量下评估的失真之间进行适当的权衡，在准确性和泛化能力之间寻求正确的平衡。在本文中，我们研究的问题，称为可扩展的信息瓶颈，编码器输出多个描述的观察越来越丰富的功能。手头的问题是由一些应用场景引起的，这些应用场景需要根据所允许的泛化级别而改变准确度级别。首先，我们建立明确的（分析）的相关性复杂度区域的无记忆高斯源和无记忆二进制源的特征。然后，我们推导出一个Blahut-Arimoto型算法，使我们能够计算（近似）的一般离散源的区域。最后，在模式分类问题的应用实例提供了数值结果。
2020-11-02 cs.IT cs.LG math.IT
Fundamental Limits on Data Acquisition: Trade-offs between Sample Complexity and Query Difficulty
我们考虑基于查询的数据采集和相应的信息恢复问题，其中的目标是恢复$k$二进制变量（信息位）从奇偶校验测量这些变量。利用喷泉码的编码规则设计了查询和相应的奇偶性度量。通过使用喷泉码，我们可以设计潜在的无限数量的查询和相应的奇偶校验测量，并保证原始$k$信息比特可以以高概率从任何足够大的大小为$n$的测量集合中恢复。在查询设计中，与一个奇偶校验测量相关联的信息比特的平均数目被称为查询难度（$\bar{d}$），并且对于固定的$\bar{d}$恢复$k$信息比特所需的最小测量数目被称为样本复杂度（$n$）。我们分析了查询难度和样本复杂度之间的基本权衡，并表明，对于一些恒定的$c>0$，$n=c\max\{k,(k\log k)/\bar{d}\}$的样本复杂度是必要的，并且足以以高概率恢复$k$信息比特为$k\to\infty$。
2018-01-02 cs.IT eess.SP math.IT
Coordination Complexity: Small Information Coordinating Large Populations
我们开始研究一个量，我们称之为协调复杂性。在分布式优化问题中，定义问题实例的信息分布在$n$各方之间，各方需要各自选择一个动作，该动作将共同形成优化问题的解决方案。协调复杂度表示具有问题实例的全部知识的集中式协调器为了协调$n$各方以发挥接近最优的解决方案而需要广播的最小信息量。我们发现，上界的协调问题的复杂性意味着存在良好的联合差分私人算法来解决这个问题，这反过来又被称为上限的无政府代价价格在某些游戏中的动态变化的人口。我们展示了几个结果。通过给出几乎匹配的上下界，我们充分刻画了二部图中多对一匹配问题的协调复杂性，我们的上界实际上可以推广到求解线性可分凸规划的问题.我们还给出了一个不同的上限技术，我们用它来约束协调的路由游戏中的纳什均衡的协调复杂性，并计算一个稳定的匹配。
2016-01-05 cs.DS cs.GT cs.IT
Statistical Complexity and Fisher-Shannon Information. Applications
本章介绍了复杂性的统计度量和Fisher-Shannon信息积，并讨论了它们的性质。这些措施是基于香农信息之间的相互作用，或它的一个功能，和一个系统的可访问状态的集合从等概率分布的分离，即不平衡或费舍尔信息，分别。在离散和连续系统中的不同应用。其中一些与量子系统有关，从原型系统如H原子，谐振子和方阱到其他系统如He类离子，胡克原子或只是周期表。在所有这些，这些统计指标显示出一个有趣的行为，能够辨别和突出这些系统的一些构象特性。
2012-01-12 cs.IT math.IT nlin.CD
Communication Complexity of the Secret Key Agreement in Algorithmic Information Theory
本文研究算法信息论中秘密密钥协商的最坏情况通信复杂度，揭示其随密钥长度变化的不同行为，并利用图谱、扩展器混合引理和信息论技术完成证明。
2024-05-09 cs.DM cs.IT math.IT
Average-Case Information Complexity of Learning
Technion-IIT（以色列理工学院）
VC维$d$概念类的学习算法能揭示多少比特信息？以前的工作表明，即使对于$d=1$的信息量可能是无限的（往往$\infty$与宇宙的大小）。会不会是课程中的所有概念都需要泄露大量信息？我们表明，通常的概念不需要泄漏。存在一种适当的学习算法，它可以为类中的大多数概念揭示$O(d)$位信息。这个结果是我们所探讨的一个更普遍现象的特例。如果当算法{ \em知道}输入上的底层分布时存在低信息学习器，则存在揭示关于平均概念的很少信息的学习器{ \em不知道}输入上的分布。
2018-11-25 cs.IT cs.LG math.IT
Complexity as Causal Information Integration
在意识的整合信息论的背景下，复杂性测量试图量化不同神经元之间因果联系的强度。这是通过最小化一个完整的系统和一个没有因果关系的系统之间的KL发散来完成的。在这种情况下，已经提出了各种措施，并进行了比较。我们将讨论一类旨在评估系统中内在因果影响的信息几何度量。这些措施的一个有前途的候选人，表示为$Φ_{CIS}$，是基于条件独立性声明，并满足所有的属性，已被假定为理想的。不幸的是，它没有图形表示，这使得它不那么直观，难以分析。我们提出了一种替代方法，使用一个潜在的变量模型一个共同的外部影响。这导致了一个度量$Φ_{CII}$，因果信息整合，它满足所有的必要条件。我们的测量可以使用迭代信息几何算法（em算法）来计算。因此，我们能够将其行为与现有的综合信息措施进行比较。
2021-02-08 cs.IT math.IT stat.ME
Network Complexity of Foodwebs
在以前的工作中，我已经开发了一个信息理论的网络复杂性措施。当应用于几个真实世界的食物网时，真实食物网和通过洗牌网络链接获得的随机控制网络之间的复杂性存在明显差异。一种假设是，这种复杂性盈余代表了生成网络的进化过程所捕获的信息。在本文中，我测试这个想法，通过应用相同的复杂性措施，几个著名的人工生命模型，表现出生态网络：Tierra，EcoLab和Webworld。与在真实网络中发现的相反，人工生命生成的食物网本身与随机洗牌的版本之间几乎没有信息差异。
2010-08-23 cs.IT cs.SI math.IT
The Global Dynamical Complexity of the Human Brain Network
大型大脑网络作为一个整体整合了多少信息？这种网络的动态复杂性能否以信息论的方式进行全局量化，并与大脑功能进行有意义的耦合？最近，已经提出了动态复杂性的措施，如集成信息。然而，与这些措施相关的分区的标准化和贝尔数相关的问题使得这些方法在计算上对于大规模大脑网络是不可行的。我们这项工作的目标就是解决这个问题。我们制定的网络集成信息是基于网络状态集上的多变量分布与其部分上的相应因子分解分布之间的Kullback-Leibler分歧。我们发现，实现最大信息分区优化计算。这些方法非常适合于具有线性随机动态的大型网络。我们计算的综合信息，系统的吸引子状态，以及网络的非平稳动态状态。然后，我们将这种形式主义应用于大脑网络，以计算人脑连接体的整合信息。与随机重新布线的网络相比，我们发现大脑的特定拓扑结构产生更大的信息复杂性。
2016-12-21 cs.IT math.DS math.IT
The optimal information complexity of VC learning
Purdue University（普渡大学）
该研究针对VC学习的信息复杂度问题，基于CMI框架分析eCMI，构造出eCMI为O(d)的随机化5基学习器多数投票算法，成功恢复VC类的最优PAC保证。
2026-11-10 cs.IT cs.LG math.IT
Spectral Simplicity of Apparent Complexity, Part II: Exact Complexities and Complexity Spectra
在第一部分中发展的亚纯泛函演算克服了线性算子的非对角化问题，这种问题经常出现在复杂系统的时间演化中，并且对于预测其行为的元代数学是通用的。使用由此产生的谱分解，我们推导出封闭形式的表达式关联函数，有限长度香农熵率近似，渐近熵率，过剩熵，瞬态信息，瞬态和渐近状态不确定性，和同步信息的有限状态隐马尔可夫模型产生的随机过程。这介绍了分析易处理调查信息处理的离散事件随机过程，符号动力学和混沌动力系统。比较揭示了数学的复杂性措施之间的相似性，最初认为捕捉不同的信息和计算属性。我们还介绍了一种新的光谱分析，通过日冕光谱图和过去-未来互信息的频率相关光谱。我们分析了一些例子来说明的方法，强调过程中的多变量依赖性超越两两相关。附录给出了一个例子的频谱分解计算的全部细节。
2017-06-03 cond-mat.stat-mech cs.IT math.DS
A Measure of the Complexity of Neural Representations based on Partial Information Decomposition
University of Goettingen（哥廷根大学）；Max Planck Institute for Dynamics and Self-Organization（马克斯·普朗克动力学与自组织研究所）
本文利用偏信息分解（PID）区分神经元的独特、冗余与协同信息，提出可计算并可通过子采样、粗粒化估计界的“表示复杂度”，实验表明其随网络层加深和训练推进而降低。
2023-05-17 cs.AI cs.IT cs.LG
The entropy functional, the information path functional's essentials and their connections to Kolmogorov's entropy, complexity and physics
本文介绍受控扩散过程轨迹上的熵泛函和信息路径泛函的最新结果，分析它们与柯尔莫哥洛夫熵、复杂性和李雅普诺夫特征的关系，并研究IPF极值方程的奇异性及生成的不变关系。
2011-07-08 cs.IT cs.SY eess.SY
The Sample Complexity of Distributed Simple Binary Hypothesis Testing under Information Constraints
该研究解决了信息约束下分布式简单二元假设检验样本复杂度的两个公开问题，证明序贯交互不降低样本复杂度，推导了通信约束下的最优紧界，并提出三项关键技术贡献。
2025-06-16 cs.IT math.IT math.ST
Configurational Information Measures, Phase Transitions, and an Upper Bound on Complexity
本文研究了位形熵和位形复杂度在2D和3D格点Ising模型中的行为，通过标度分析支持了位形信息测度能检测场论稳定性的猜想，并推导出依赖模型的CC-CE关系及与模型无关的CC上界。
2025-03-04 cond-mat.stat-mech cs.IT math-ph
