Relating Granger causality to directed information theory for networks of stochastic processes
本文讨论了多个随机过程之间的信息循环的推断问题。我们讨论了两种可能的框架，在其中可以研究的问题：有向信息论和格兰杰因果关系。本文的主要目的是研究这两个框架之间的联系。在有向信息论的情况下，我们强调克莱默的因果条件反射的重要性。这种类型的条件不仅在有向信息的定义中是必要的，而且在处理因果边信息时也是必要的。我们还展示了如何有向信息分解成两个措施的总和，第一个相关的施赖伯的转移熵量化的动态方面的因果关系，而第二个，称为瞬时信息交换，量化的瞬时方面的因果关系。在回顾了格兰杰因果关系的定义之后，我们建立了它与有向信息论的联系。特别是在高斯的情况下，研究表明，Geweke的措施格兰杰因果关系对应的传递熵和瞬时信息交换。这允许提出一个信息理论的格兰杰因果关系的制定。
2011-11-01 cs.IT math.IT
Fundamental Inequalities and Identities Involving Mutual and Directed Informations in Closed-Loop Systems
给出了反馈系统中互信息和有向信息的几个新的恒等式和不等式。这种系统的内部块仅限于因果映射，但允许是非线性的，随机的和时变的。此外，所涉及的信号可以任意分布。利用反馈环内外信号间的互信息来约束反馈环内信号间的有向信息。这个基本结果有一个有趣的解释，作为信息流守恒定律。在此基础上，我们得到了一些新的身份和不等式，这使我们能够证明一些现有的信息不平等的限制性较低的假设。最后，我们建立了新的嵌套有向信息之间的关系内的反馈回路。这产生了一个新的和一般的数据处理不等式系统的反馈。
2013-01-28 cs.IT math.IT
The relation between Granger causality and directed information theory: a review
本报告回顾了格兰杰因果关系和有向信息论之间的概念和理论联系。我们首先对格兰杰因果关系作一个简短的历史回顾，集中讨论它与信息论的密切关系。回顾了基于预测的Granger因果关系的定义，讨论了观测集的重要性。我们提出了基于条件独立性的定义。瞬时耦合的概念包括在定义中。讨论了Granger因果图的概念。从随机过程间因果关系研究的角度提出了有向信息论。因果制约似乎是信息论和格兰杰因果关系之间关系的基石。在双变量的情况下，基本的措施是有向信息，它分解为转移熵和一项量化瞬时耦合的总和。我们显示的互信息分解成的转移熵和瞬时耦合措施，线性高斯情况下已知的关系的总和。我们研究了多变量的情况下，有用的分解是模糊的瞬时耦合。进一步发展的联系，研究如何直接信息论的基础上的措施自然出现从格兰杰因果关系推理框架的假设检验。
2012-11-14 cs.IT math.IT
Variational Equalities of Directed Information and Applications
本文引入了两个有向信息的变分等式，它们类似于Blahut-Arimoto算法（BAA）中的互信息的变分等式。随后，我们引入了非预期的率失真函数（RDF）${R}^{na}_{0,n}(D)$定义通过在[1]中引入的有向信息，我们建立了它的等价性Gorbunov-Pinsker的非预期的$ε$-熵$R^{\varepsilon}_{0,n}(D)$。通过引用某些结果，我们首先建立了${R}^{na}_{0,n}(D)$的无穷再生分布的存在性，然后给出了它在平稳情形下的隐式形式.最后，利用变分不等式和最优再生分布的封闭形式给出了计算${R}^{na}_{0,n}(D)$的算法.
2013-05-16 cs.IT math.IT
Extension of the Blahut-Arimoto algorithm for maximizing directed information
我们扩展了Blahut-Arimoto算法最大化梅西的有向信息。该算法可用于估计具有延迟反馈的信道的容量，其中反馈是输出的确定性函数。为了做到这一点，我们应用来自常规Blahut-Arimoto算法的思想，即，交替最大化程序，解决我们的新问题。我们提供了收敛到最优值的上界和下界序列。我们在本文中的主要见解是，为了找到因果条件概率质量函数（PMF）上的有向信息的最大值，可以使用反向索引时间最大化与交替最大化过程相结合。我们给出了一个详细的描述的算法，它的复杂性，所需的内存，和几个数值例子。
2010-12-27 cs.IT math.IT
More Interactions Make Communications More Efficient: A Directed Information Bottleneck Approach to Task-Oriented Communication
City University of Hong Kong（香港城市大学）；Lingnan University（岭南大学）；National Taiwan University（台湾大学）
该研究针对面向任务通信的冗余问题，提出VDIB-JSCC框架，通过定向信息瓶颈压缩冗余信息，在CIFAR视频流实验中以更少传输信息实现更高分类准确率，提升了通信效率。
2026-10-14 cs.IT math.IT
Feedback-Capacity of Degraded Gaussian Vector BC using Directed Information and Concave Envelopes
已知的是，两个用户物理降级的离散无记忆（DM）广播信道（BC）的容量区域不被反馈扩大。一个相同的结果适用于一个物理退化的高斯BC，后来建立使用的熵功率不等式（EPI）的变体。在本文中，我们将后者的结果扩展到物理退化的高斯矢量BC（PD-GVBC）。然而，扩展是不是EPI的基础上，但采用了最近的结果的因式分解的凹信封。虽然现有的凹包络因式分解的结果不存在反馈，我们表明，因式分解相应的有向信息量足以达到PD-GVBC的反馈容量区域。我们的工作表明，因式分解有向信息的凹包络可以处理涉及反馈的情况。我们进一步表明，一个离散的无记忆的物理退化BC的容量区域不扩大反馈。
2017-04-18 cs.IT math.IT
Information Gradient for Directed Acyclic Graphs: A Score-based Framework for End-to-End Mutual Information Maximization
Nagoya Institute of Technology（名古屋工业大学）
本文提出了一种基于分数的框架，用于端到端互信息最大化，并扩展到数字双胞胎校准的无监督范式。
2026-01-05 cs.IT math.IT
Testing for directed information graphs
在本文中，我们研究了一个假设检验，以确定在网络中的节点，其中的节点表示随机过程和链接的方向表示所述过程之间的因果关系的底层有向图结构。具体地说，一个k阶马尔可夫结构被认为是他们，和选择的度量，以确定节点之间的连接是有向信息。假设检验是基于经验计算的转移概率，用于估计有向信息。对于一个单一的边缘，它被证明是可以任意选择的检测概率接近1，而虚警概率仍然可以忽略不计。当测试是在整个图上进行，我们推导出的虚警和检测概率，这表明，通过适当地设置阈值测试和使用大量的样本的测试是渐近最优的界限。此外，我们研究了测度的收敛如何依赖于真实图中链接的存在。
2021-08-25 cs.IT math.IT
Capacity Achieving Distributions & Information Lossless Randomized Strategies for Feedback Channels with Memory: The LQG Theory of Directed Information-Part II
针对具有记忆和反馈的信道，提出了一种利用信息无损随机化策略实现有限时域有向信息最大化的最优信道输入条件分布的方法。该方法适用于一般的时变多输入多输出（MIMO）高斯线性信道模型（G-LCM）的记忆，受到平均传输成本的二次型约束。随机化策略的最优分布的实现表现出分解成一个确定性的部分和一个随机的部分。分解揭示了随机策略的双重作用，控制信道输出过程和在信道上传输新信息。此外，分离原则之间的最佳确定性部分和随机化策略的随机部分的计算。随机策略的双重作用将线性二次高斯（LQG）随机最优控制理论推广到有向信息支付。反馈容量的特征是从有限时域有向信息的单位时间限制中得到的，而不需要先验假设，如信道模型的稳定性或信道输入输出过程的遍历性.对于具有记忆的时不变MIMO G-LCM系统，通过求解Riccati矩阵方程，证明了反馈是否增加容量与信道参数和传输代价函数直接相关;对于不稳定信道，只要功率超过某一临界值，反馈容量不为零。
2016-04-04 cs.IT math.IT
Directed Redundancy in Time Series
本文研究时间序列中多个相关源过程向目标过程传递的冗余信息量化问题，提出隐藏冗余过程概念，并给出冗余的有向信息论下界。
2024-05-01 cs.IT math.IT
$k$-NN Estimation of Directed Information
本文基于$k$ -最近邻（$k$ -NN）估计框架，研究了两个{em离散时间和连续振幅}随机过程之间的有向信息（DI）测度的数据驱动估计。详细推导了两个$k$ -NN估计。这两个估计器的不同之处在于，基于其最近邻被发现的metric。为了便于估计的DI measure，它被假定为（联合）马尔可夫顺序$m$。由于$m$通常是未知的，因此提出了一种用于从观察到的序列估计$m$的数据驱动方法（也是基于$k$ -NN原理）。一个详尽的数值研究表明，讨论的$k$ -NN估计执行良好，即使是相对较小的样本数（几千）。此外，它表明，所讨论的估计能够准确地检测线性以及非线性因果相互作用。
2017-11-22 cs.IT math.IT
Neural Estimation and Optimization of Directed Information over Continuous Spaces
本文提出了一种估计和优化两个联合平稳遍历随机过程间有向信息率的新方法。基于机器学习的最新进展，我们提出了一种基于递归神经网络（RNN）的估计器，该估计器通过RNN参数的梯度上升进行优化。该估计不需要先验知识的联合和边际分布。该估计器也很容易在由深度生成模型实现的连续输入过程中进行优化。我们证明了所提出的估计和优化方法的一致性，并将它们结合起来，以获得端到端的性能保证。应用程序的信道容量估计的连续信道与内存进行了探讨，并提供实证结果证明我们的方法的可扩展性和准确性。当通道是无记忆的，我们调查的映射学习的优化输入发生器。
2022-03-28 cs.IT math.IT
Universal Estimation of Directed Information
基于普适概率分配，提出了一对联合平稳遍历有限字母表过程间有向信息率的四种估计。第一个是Shannon-McMillan-Breiman型估计量，类似于Verdú（2005）和Cai，Kulkarni和Verdú（2006）用于估计其他信息度量的估计量。我们证明了几乎必然和$L_1$收敛性质的估计任何潜在的普遍概率分配。其他三个估计映射普遍的概率分配到不同的泛函，每一个表现出相对的优点，如平滑，非负性和有界性。我们建立了这些估计的一致性几乎肯定和$L_1$的意义上，并推导出近最优的收敛速度在极小极大意义下，在温和的条件。这些估计结转直接估计平稳遍历有限字母表过程的其他信息措施，如熵率和互信息率，接近最优的性能，并提供替代经典的方法在现有文献中。这些理论结果的指导下，建议的估计实现使用上下文树加权算法作为普遍的概率分配。合成和真实数据上的实验，展示了潜在的所提出的计划在实践中和实用的有向信息估计检测和测量因果关系的影响和延迟。
2013-05-30 cs.IT math.IT
A Directed Information Learning Framework for Event-Driven M2M Traffic Prediction
在机器类型通信（MTC）中，由事件驱动的业务引起的传输突发会导致随机接入资源的拥塞、分组冲突和长延迟。在本文中，有向信息（DI）的学习框架，提出了在事件驱动的MTC预测的源流量。通过由二进制随机变量序列捕获过去事件期间的传输历史，计算不同机器类型设备（MTD）之间的DI，并将其用于预测可能报告事件的可能MTD的集合。分析和仿真结果表明，所提出的DI学习方法可以揭示从不同的MTD，报告相同的事件，以及它们发送数据的顺序之间的相关性。所提出的算法和给出的结果表明，DI可以用来实现有效的预测资源分配的事件驱动的MTC。
2018-08-27 cs.IT math.IT
Probability Mass Exclusions and the Directed Components of Pointwise Mutual Information
本文研究了如何从一个随机变量的事件提供逐点互信息从另一个变量通过概率质量排除事件。我们首先介绍概率质量图，它提供了一个直观的表示如何通过排除将先验分布转换为后验分布。借助这些图表，我们确定了两种不同类型的概率质量排除-即信息和错误信息排除。然后，由Fano的推导逐点互信息的动机，我们提出了四个假设，旨在将逐点互信息分解成两个独立的信息成分：一个非负项与信息排除和一个非正项与错误信息排除。这产生了一个新的衍生物的逐点互信息到熵分量的熟悉的分解。最后，我们讨论的相关性，考虑信息的概率质量排除正在进行的努力分解多元信息。
2018-04-10 cs.IT math.IT
EEG Spatial Decoding and Classification with Logit Shrinkage Regularized Directed Information Assessment (L-SODA)
人们对研究认知脑活动模式背后的神经相互作用机制越来越感兴趣。本文提出了一种新的方法来推断这样的相互作用机制，从脑电图（EEG）数据使用一种新的估计有向信息（DI）称为logit收缩优化有向信息评估（L-SODA）。与以前应用于神经解码的有向信息度量不同，L-SODA在多项逻辑回归上使用收缩正则化来处理多通道EEG信号的高维性和许多真实世界数据集的小尺寸。它被设计为很少的先验假设，可以处理电极之间的非线性和非高斯流。我们的L-SODA估计的DI是伴随着强大的统计置信区间的真实DI，使其特别适合于假设检验的信息流模式。我们评估我们的工作中的两个不同的问题，其中相互作用的本地化是用来确定高度互动的EEG信号的空间和时间的领域。首先，通过将具有高DI的区域映射到Brodmann区域，我们确定具有高DI的区域与运动相关功能相关。我们证明，L-SODA提供了更好的准确性，神经解码的EEG信号相比，几个国家的最先进的方法对脑机接口（BCI）EEG运动活动数据集。其次，建议的L-SODA估计CHB-MIT头皮EEG数据库上进行评估。我们证明，相比国家的最先进的方法，所提出的方法提供了更好的性能在检测癫痫发作。
2014-04-01 cs.IT math.IT
Directed Data-Processing Inequalities for Systems with Feedback
我们提出了新的数据处理不等式的互信息和有向信息的反馈系统。这种系统的内部块仅限于因果映射，但允许是非线性的，随机的和时变的。这些块可以例如表示源编码器、解码器或甚至通信信道。此外，所涉及的信号可以任意分布。我们的第一个主要结果涉及相互和定向信息，可以解释为信息流守恒定律。我们的第二个主要结果是一对数据处理不等式（一个是另一个的条件版本）之间的嵌套对完全在闭环随机序列。我们的第三个主要结果是介绍和表征的概念，在环（ITL）传输速率的信道编码的情况下，消息是内部的循环。有趣的是，在这种情况下，与消息的熵相关联的传输速率和基于最大化消息和输出之间的互信息的信道容量的传统概念被证明是不够的。相反，如我们所示，ITL传输速率是唯一的速率概念，当且仅当这样的ITL速率不超过从消息到解码消息的相应的定向信息速率时，信道码达到零错误概率。我们应用我们的数据处理不等式表明，可实现的（在通常的信道编码意义上）ITL传输速率的上确界的上确界的有向信息速率在整个通信信道。此外，我们提出了一个例子，在这个上限达到。最后...
2021-03-25 cs.IT math.IT
Directed Information on Abstract spaces: Properties and Extremum Problems
本文描述了一个框架，其中有向信息定义在抽象空间。利用Polish空间上概率测度的弱收敛拓扑，得到了有向信息的凸性、弱连续性、下连续性等性质。分析了与有记忆反馈信道容量有关的有向信息和非预期序列率失真的两个极值问题，分别给出了最大和最小分布的存在性。
2012-05-19 cs.IT math.FA math.IT
The Information Flow and Capacity of Channels with Noisy Feedback
在本文中，我们考虑了一些长期存在的问题，在通信系统中访问噪声反馈。我们引入了一个新的概念，剩余有向信息，以捕获有效的信息流（即互信息之间的消息和信道输出）在前向信道。根据这个新的概念，我们调查离散无记忆信道（DMC）与噪声反馈，并证明了噪声反馈能力是无法实现的，通过使用任何典型的闭环编码器（非平凡的反馈信息产生信道输入）。然后，我们表明，剩余的有向信息可以用来表征信道的容量与噪声反馈。最后，我们提供了有噪反馈能力的可计算界限，其特征在于因果条件定向信息。
2011-12-02 cs.IT math.IT
Characterising directed and undirected metrics of high-order interdependence
本文研究高阶相互依赖的有向 RSI 与无向 O-information 度量之间的关系，揭示二者紧密关联，并从假设检验的似然比和信息几何投影角度加以解释。
2024-04-10 cs.IT math.IT
Information-Directed Random Walk for Rare Event Detection in Hierarchical Processes
研究了在大量数据流中检测少数异常过程的问题。在每个时间，可以从所选择的过程子集中获取聚合的观察结果，其中所选择的子集符合给定的树结构。随机观测是从一般分布中提取的，该一般分布可能取决于所选子集的大小和子集中异常过程的数量。我们提出了一个顺序的搜索策略，通过设计一个信息导向的随机游走（IRW）的树结构的观察层次。受可靠性约束，所提出的政策是渐近最优的检测精度。此外，它实现了最佳的搜索空间的大小，提供了聚合的意见，在存在和不存在异常过程之间的Kullback-Leibler分歧有界远离零的树结构的所有级别的搜索空间的大小接近无穷大的搜索空间的大小。的衰减率的聚合观察到纯噪声的充分条件下，保留的搜索空间的大小的次线性缩放也确定为伯努利的情况下。
2018-08-16 cs.IT math.IT
Causal conditioning and instantaneous coupling in causality graphs
本文研究格兰杰因果图最近正式的Eichler和有向信息论的Massey和Kramer之间的联系。我们特别坚持认为，在物理系统中可能发生的因果关系的两个概念的含义。人们普遍认为，动力学因果关系是由条件转移熵来评估的，条件转移熵是一种自然出现的有向信息的一部分。令人惊讶的是，瞬时因果关系的概念经常被忽视，即使它在早期的作品中被清楚地理解。在双变量的情况下，瞬时耦合充分测量的瞬时信息交换，一种措施，补充了转移熵的分解有向信息。本文重点研究了多变量情况和条件图建模问题。在这个框架中，我们表明，分解的有向信息的转移熵和信息交换的总和不再成立。然而，讨论允许提出的两个措施作为支柱的因果关系图的推理。我们说明这两个合成的例子，使我们不仅讨论理论概念，但也实际估计问题。
2012-03-26 cs.IT math.IT
Directed Information on Abstract Spaces: Properties and Variational Equalities
有向信息或其变体被广泛用于表征具有记忆和反馈的信道的容量、非预期的有损数据压缩以及它们对网络的推广。本文利用概率测度的弱收敛拓扑，得到了一般抽象字母表（完备可分度量空间）的有向信息的几个泛函和拓扑性质。这些问题包括一致分布集的凸性，一致分布集唯一定义了因果条件分布，一致分布集的有向信息的凸性和非凸性，这些分布集的弱紧性，它们的联合分布及其边缘。此外，我们还证明了有向信息的下连续性，并在一定条件下建立了有向信息的连续性。最后，我们推导出变分等式的有向信息，包括顺序版本。这些可以被看作是互信息的变分等式（用于Blahut-Arimoto算法）的模拟。总之，我们将互信息的基本泛函和拓扑性质推广到有向信息。这些属性的背景下讨论的极值问题的有向信息。
2015-12-22 cs.IT math.FA math.IT
Discrete Dynamic Causal Modeling and Its Relationship with Directed Information
本文探讨了离散动态因果模型（DDCM）及其与有向信息（DI）的关系。我们证明了DDCM和DI在表征两个脑区之间的因果关系方面的条件等价性。理论结果表明，使用fMRI数据下得到的静息状态和刺激为基础的状态。我们的数值分析与之前研究中报道的结果一致。
2017-09-18 cs.IT math.IT q-bio.NC
Directed Information as Privacy Measure in Cloud-based Control
我们考虑基于云的控制场景，其中具有本地控制任务的客户端将其计算或物理职责外包给云服务提供商。为了解决隐私问题，在这样的控制架构，我们首先调查的问题，找到一个适当的隐私措施，为客户端谁希望保持本地状态信息尽可能私人的控制操作过程中。具体来说，我们证明使用克莱默的概念因果条件定向信息作为一个公理的论点的基础上的隐私损失的措施。然后，我们提出了一种方法来设计一个最佳的“隐私过滤器”，最大限度地减少隐私损失，同时保证一定水平的控制性能。我们特别表明，基于云的线性二次高斯（LQG）控制的最佳隐私过滤器可以通过线性矩阵不等式（LMI）算法合成。通过数值例子说明了设计中的权衡。
2017-05-08 cs.IT math.IT math.OC
Directed Cycles as Higher-Order Units of Information Processing in Complex Networks
本研究探讨了前馈和反馈两类有向环作为高阶结构在稀疏随机网络中促进信息流动与整合的作用，揭示了网络规模、稀疏性和相对方向性对其信息处理能力的影响，并证明了引入反馈环能增加网络活动模式的多样性。
2025-08-13 cond-mat.stat-mech cs.IT math.DS
LQG Control with Minimum Directed Information: Semidefinite Programming Approach
我们考虑一个离散时间线性二次高斯（LQG）控制问题，在该控制问题中，从观测到的输出到控制输入的Massey的直接信息被最小化，而所需的控制性能是可达到的。这个问题出现在几个不同的情况下，包括联合编码器和控制器设计的数据速率最小化网络控制系统。证明了该最优控制律是线性高斯随机策略。我们还确定了最优策略的状态空间实现，它可以通过基于半定规划的有效算法来合成。我们的结构性结果表明，高斯-马尔可夫信源的LQG控制理论中的滤波器-控制器分离原理和零延迟率失真理论中的传感器-滤波器分离原理在所考虑的问题中同时成立。一个连接到数据率定理的均方稳定性的奈尔和埃文斯也成立。
2017-06-10 cs.IT math.IT math.OC
Transfer Entropy and Directed Information in Gaussian diffusion processes
传递熵和有向信息是随机过程之间方向依赖性的信息论度量。根据Schreiber和Massey在离散时间中的定义，我们定义并评估了多维高斯扩散过程分量的这些测度。当组件联合马尔可夫，转移熵和有向信息都是影响的措施，根据一个简单的物理原理。更一般地，必须考虑其他组件的影响，并且这可以以多种方式实现。我们提出了两个定义，其中之一保留了联合马尔可夫情况下的影响的属性。转移熵和有向信息用矩阵Riccati方程的解表示，便于计算。我们提出的连续时间有向信息的定义不同于以前出现在文献中。我们认为，后者不是严格的方向。
2016-04-07 cs.IT math-ph math.IT
Non-Asymptotic Error Bounds for Causally Conditioned Directed Information Rates of Gaussian Sequences
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
本文研究了高斯序列的因果条件定向信息率，提出基于最优预测的显式公式，并给出误差界为O(N^{-1/2}log(N))的估计器。
2026-05-15 cs.IT math.IT math.ST
Directed Information Graphs
University of Illinois（伊利诺伊大学）；Purdue University（普渡大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们提出了一个图形模型表示网络的随机过程，最小生成模型图。它基于联合分布随时间的简化因子分解。我们表明，在适当的条件下，它是唯一的和一致的另一种类型的图形模型，有向信息图，这是基于一个推广的格兰杰因果关系。我们演示了如何有向信息量化格兰杰因果关系在一个特定的顺序预测设置。我们还开发了有效的方法来估计的拓扑结构的数据，估计联合统计。一种算法假设度的上界，并使用必要的最小维统计。在上界无效的情况下，所得到的图仍然是最佳近似。另一种算法使用接近最小维统计时，没有边界是已知的，但分布满足一定的标准。类似于无向图模型的结构学习算法如何使用互信息估计，这些算法使用有向信息估计。我们刻画了两个插入式有向信息估计量的样本复杂性，并得到了置信区间。对于点估计不可靠的情况，我们提出了一种算法，它使用置信区间来确定对估计误差具有鲁棒性的最佳近似。最后，我们通过对Twitter网络的合成数据和真实数据的分析，证明了所提出的算法的有效性。在后一种情况下，我们仅通过分析推文次数来确定哪些新闻来源影响网络中的用户。
2015-03-11 cs.AI cs.IT math.IT
Directed information and Pearl's causal calculus
Duke University（杜克大学）
本文探讨Pearl因果形式化与信息论中因果性及反馈概念之间的联系，并展示条件有向信息如何用于发展Pearl后门准则的信息论版本。
2011-10-04 cs.IT cs.LG cs.SY
Information-directed sampling for bandits: a primer
Institute of Physics, School of Basic Sciences, École Polytechnique Fédérale de Lausanne - EPFL, Lausanne, Switzerland；Quantitative Life Sciences section, The Abdus Salam International Center for Theoretical Physics (ICTP), Trieste, Italy；Department of Oncology, Universit\`a degli Studi di Torino, Italy
本文介绍信息导向采样策略在老虎机问题中的应用，通过分析对称老虎机和一枚公平硬币场景，展示IDS在不同设定下的性能表现。
2025-12-23 cs.IT cs.LG math.IT
Estimating the Directed Information and Testing for Causality
考虑了两个离散过程$\{X_n\}$和$\{Y_n\}$之间的有向信息率的估计问题。当联合过程$\{(X_n,Y_n)\}$是一个马尔可夫链的一个给定的内存长度，插件估计被证明是渐近高斯和收敛在最佳速率$O(1/\sqrt{n})$在适当的条件下，这是第一个估计已被证明达到这个速度。一个重要的连接之间的问题，估计有向信息率和进行假设检验的存在下，两个过程之间的因果关系的影响。在相当一般的条件下，对应于不存在因果影响的零假设等价于定向信息率等于零的要求。在这种情况下，建立了更精细的结果，表明插件以更快的速率$O(1/n)$收敛，并且它是渐进$χ^2$分布的。证明了这一点，表明该估计量等于（标量倍数）的经典似然比统计上述假设检验。最后，值得注意的是，这些结果有助于设计一个实际的似然比检验的存在或不存在的因果关系的影响。
2016-03-31 cs.IT math.IT math.ST
Data-Driven Optimization of Directed Information over Discrete Alphabets
Ben Gurion University of the Negev（内盖夫本·古里安大学）；Cornell University（康奈尔大学）
有向信息（DI）是研究和分析序列随机模型的基本度量。特别是，当在输入分布上进行优化时，它表征了一般通信信道的容量。然而，DI的解析计算通常是棘手的，并且现有的离散输入字母表上的优化技术需要信道模型的知识，这使得它们在只有样本可用时不适用。为了克服这些限制，我们提出了一种新的估计优化框架，在离散输入空间的DI。我们将DI优化公式化为马尔可夫决策过程，并利用强化学习技术来优化输入过程概率质量函数（PMF）的深度生成模型。将此优化器与最近开发的DI神经估计器相结合，我们得到了一个端到端的估计优化算法，该算法适用于估计各种离散信道的（前馈和反馈）容量与记忆。此外，我们演示了如何使用优化的PMF模型（i）获得单线有限状态信道的反馈容量的理论界;（ii）在峰值功率受限的加性高斯白噪声信道中进行星座的概率成形。
2023-01-02 cs.IT cs.LG math.IT
Multi-agent Coordination in Directed Moving Neighborhood Random Networks
在本文中，我们考虑的一致性问题的动态多个代理商，通过一个有向移动邻域随机网络进行通信。每个智能体在一个加权有向网络上进行随机游走。当代理在给定时刻在底层网络中重合时，它们通过随机的单向信息流相互交互。对于这样一个框架，我们提出了几乎必然渐近共识的充分条件。一些现有的共识方案被证明是当前模型的简化版本。
2009-09-18 cs.IT cs.MA math.IT
Directed Information $γ$-covering: An Information-Theoretic Framework for Context Engineering
Atlassian（Atlassian公司）
该研究提出有向信息$\gamma$-覆盖这一具备冗余感知的上下文工程框架，将上下文选择建模为$\gamma$-覆盖问题并给出有理论保证的贪心算法，其查询无关可离线计算，在HotpotQA上优于BM25基线，为LLM流水线提供了有理论依据的自组织基础。
2025-09-30 cs.IT cs.LG math.IT
Identifying Seizure Onset Zone from the Causal Connectivity Inferred Using Directed Information
在本文中，我们开发了一个基于模型和数据驱动的估计有向信息（DI）推断的因果连接图记录从大脑皮层电图（ECoG）信号和识别癫痫患者的发作区（SOZ）。有向信息是一种信息论量，是一种推断时间序列之间因果连通性的通用度量，与基于格兰杰因果关系或传递熵的流行度量不同，它不限于特定类别的模型。所提出的估计是几乎必然收敛的。在五个癫痫患者的ECoG电极之间的因果连接推断使用建议的DI估计，验证其性能的模拟数据后。然后，我们提出了一个基于模型的和数据驱动的SOZ识别算法来识别SOZ的因果连接推断使用基于模型的和数据驱动的DI估计。当以神经科医生的视觉分析为基准时，数据驱动的SOZ识别优于基于模型的SOZ识别算法，视觉分析是当前的临床金标准。这里提出的因果关系分析是开发新的非手术治疗癫痫的第一步。
2016-08-16 cs.IT math.IT q-bio.NC
Capacity of Continuous Channels with Memory via Directed Information Neural Estimator
Ben Gurion University（本·古里安大学）；Cornell University（康奈尔大学）
计算具有记忆和连续字母表的通道的容量（有或没有反馈）是一项具有挑战性的任务。它需要在所有信道输入分布上优化有向信息（DI）速率。目标是一个多字母的表达式，其解析解仅在少数特定情况下已知。当没有解析解或信道模型未知时，没有统一的框架来计算甚至近似容量。这项工作提出了一种新的容量估计算法，把信道作为一个“黑盒子”，无论是当反馈或不存在。该算法有两个主要成分：（i）神经分布Transformer（NDT）模型，它将噪声变量整形为信道输入分布，我们能够对其进行采样，以及（ii）DI神经估计器（DINE），它估计当前NDT模型的通信速率。这些模型通过交替最大化过程来训练，以估计信道容量并获得最佳输入分布的NDT。该方法被证明在移动平均加性高斯噪声信道，其中它示出的容量和反馈容量估计没有知识的信道过渡内核。建议的估计框架打开了大门，无数的容量近似结果连续字母表通道，到现在为止是无法访问的。
2020-05-16 cs.IT cs.LG math.IT
Action-Directed Information for Distributed Control and Agentic Interaction
University of California San Diego（加州大学圣地亚哥分校）
本文提出一种在消息改变接收动作的界面处测量信息的方法，以研究分布式控制系统，并在DI-Walker中验证，发现同伴传感器在复合故障下具有优势，揭示了中间控制动作信息的隐藏效应。
2026-09-24 cs.IT cs.RO cs.SY
Regret Bounds for Information-Directed Reinforcement Learning
Deepmind（深度思维）
信息定向采样（IDS）作为一种数据高效的强化学习（RL）算法，已显示出其潜力。然而，对马尔可夫决策过程（MDP）的入侵检测系统的理论认识仍然有限。我们开发了新的信息理论工具来约束学习目标的信息比和累积信息增益。我们的理论结果揭示了选择学习目标的重要性，这样的从业者可以平衡的计算和遗憾的界限。因此，我们推导出无先验贝叶斯遗憾界香草IDS学习整个环境下的表格有限地平线MDPs。此外，我们提出了一个计算效率高的正则化IDS，最大化的加法形式，而不是比率形式，并表明它享有相同的遗憾界香草IDS。在率失真理论的帮助下，我们通过学习一个替代的、信息量较少的环境来提高遗憾边界。此外，我们将我们的分析扩展到线性MDP，并证明了类似的遗憾界汤普森采样作为一个副产品。
2022-11-24 cs.IT cs.LG math.IT
Neuromorphic Wireless Device-Edge Co-Inference via the Directed Information Bottleneck
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technical University of Berlin（柏林工业大学）
本文提出神经形态无线设备-边缘协同推理系统，设备端用神经形态硬件高效完成感知、处理与通信，并通过有向信息瓶颈准则减少通信开销，同时保留端到端语义任务所需的关键信息，实验验证了该架构的有效性。
2024-04-02 cs.IT cs.LG cs.NE
