本文受 Pearl 的 do-演算启发,引入新的 do-运算,首次给出满足 Williams-Beer 公理的部分信息分解显式公式,解决了该领域长期未决的公开问题。
摘要:
两个随机变量之间的互信息是一个已被充分研究的概念,其理解相当完整。然而,一个随机变量与另外两个随机变量之间的互信息则是一个远为复杂的概念。具体而言,香农互信息无法刻画这三个变量之间的细粒度交互,导致对复杂系统的洞察有限。为了刻画这些细粒度交互,Williams 和 Beer 于 2010 年提出将该互信息分解为信息原子,即唯一信息、冗余信息和协同信息,并提出这些原子必须满足的若干操作性公理。尽管已有大量努力,但迄今仍未找到一个满足这些公理的通用公式。受 Judea Pearl 的 do-演算启发,我们通过引入 do-运算来解决这一公开问题。do-运算是在变量系统上的一种操作,它将某个边际分布设定为期望值,这与任何现有方法都不同。利用该运算,我们给出了第一个显式公式来计算信息原子,从而满足 Williams 和 Beer 的公理,以及该领域后续研究中提出的附加性质。
英文摘要:
Mutual information between two random variables is a well-studied notion, whose understanding is fairly complete. Mutual information between one random variable and a pair of other random variables, however, is a far more involved notion. Specifically, Shannon's mutual information does not capture fine-grained interactions between those three variables, resulting in limited insights in complex systems. To capture these fine-grained interactions, in 2010 Williams and Beer proposed to decompose this mutual information to information atoms, called unique, redundant, and synergistic, and proposed several operational axioms that these atoms must satisfy. In spite of numerous efforts, a general formula which satisfies these axioms has yet to be found. Inspired by Judea Pearl's do-calculus, we resolve this open problem by introducing the do-operation, an operation over the variable system which sets a certain marginal to a desired value, which is distinct from any existing approaches. Using this operation, we provide the first explicit formula for calculating the information atoms so that Williams and Beer's axioms are satisfied, as well as additional properties from subsequent studies in the field.
The Partial Entropy Decomposition: Decomposing multivariate entropy and mutual information via pointwise common surprisal
在多元系统中获得有意义的统计依赖性的定量描述是一个困难的开放性问题。部分信息分解(Partial Information Decomposition,PID)是将目标变量的互信息(Mutual Information,MI)分解为预测变量的不同子集中冗余、唯一和协同的分量。在这里,我们建议将PID的优雅形式主义应用于多变量熵,从而产生部分熵分解(PED)。我们实现了PED的熵冗余度测量的基础上逐点常见的代数,一个自然的定义,这是密切相关的MI的定义。我们展示了这种方法可以揭示二元与三元生成结构的多变量系统是无法区分的经典香农措施。熵的观点还表明,错误信息是协同熵,因此,MI本身包括冗余和协同效应。我们在两个预测PED和MI之间的关系,并推导出两种替代的信息分解,我们说明了几个示例系统。这表明,在熵方面,单变量预测MI是不是一个适当的子集的联合MI,我们建议这个以前未认识到的事实部分解释了为什么获得一致的PID已被证明是困难的。PED还允许单独量化机械冗余(与系统功能相关)与源冗余(由输入之间的依赖关系引起);这是一个现有方法无法解决的重要区别。PED提供的新视角有助于澄清PID方法遇到的一些困难,由此产生的分解为广泛的应用领域的实际数据分析提供了有用的工具。