The Partial Entropy Decomposition: Decomposing multivariate entropy and mutual information via pointwise common surprisal
在多元系统中获得有意义的统计依赖性的定量描述是一个困难的开放性问题。部分信息分解(Partial Information Decomposition,PID)是将目标变量的互信息(Mutual Information,MI)分解为预测变量的不同子集中冗余、唯一和协同的分量。在这里,我们建议将PID的优雅形式主义应用于多变量熵,从而产生部分熵分解(PED)。我们实现了PED的熵冗余度测量的基础上逐点常见的代数,一个自然的定义,这是密切相关的MI的定义。我们展示了这种方法可以揭示二元与三元生成结构的多变量系统是无法区分的经典香农措施。熵的观点还表明,错误信息是协同熵,因此,MI本身包括冗余和协同效应。我们在两个预测PED和MI之间的关系,并推导出两种替代的信息分解,我们说明了几个示例系统。这表明,在熵方面,单变量预测MI是不是一个适当的子集的联合MI,我们建议这个以前未认识到的事实部分解释了为什么获得一致的PID已被证明是困难的。PED还允许单独量化机械冗余(与系统功能相关)与源冗余(由输入之间的依赖关系引起);这是一个现有方法无法解决的重要区别。PED提供的新视角有助于澄清PID方法遇到的一些困难,由此产生的分解为广泛的应用领域的实际数据分析提供了有用的工具。
2017-02-20 cs.IT math.IT math.ST
Quantifying Morphological Computation based on an Information Decomposition of the Sensorimotor Loop
Leibniz Universität Hannover(莱布尼茨汉诺威大学)
近年来,代理人如何受到其体现的影响的问题引起了越来越多的关注。一个新的人工智能领域已经出现,它基于这样一种观点:如果不考虑具体化,就不能理解智能。我们相信,一个正式的方法来量化的具体化的代理的行为的影响是有益的人工生命和人工智能领域。代理人的身体和环境对其行为的贡献也被称为形态计算。因此,在这项工作中,我们提出了一个量化的形态计算,这是基于一个信息分解的感觉运动回路共享,独特和协同的信息。在数值模拟的基础上正式表示的感觉运动回路,我们表明,独特的信息的身体和环境是一个很好的测量形态计算。结果进行比较,我们以前派生的量化形态计算。
2015-03-17 cs.AI cs.IT math.IT
Emergence as the conversion of information: A unifying theory
还原总是一个好的科学策略吗?它总是导致信息的增益吗?先前的研究表明,降维(宏观尺度)可以增加系统元素之间的依赖性(一种称为“因果涌现”的现象)。然而,这只表现在有效信息或综合信息等具体措施上。在这里,我们提供了一个伞形数学框架的基础上出现的信息转换。具体来说,我们的证据表明,宏观尺度可以有更多的某种类型的信息比其底层的微观尺度。这是因为宏尺度可以将信息从一种类型转换为另一种类型。在这种情况下,缩小到微观尺度意味着这种类型的信息的丢失。我们证明了这一点,使用很好理解的互信息措施适用于布尔网络。通过部分信息分解,可以将互信息分解为冗余的、唯一的和协同的信息原子。然后,通过引入一种新的措施,一个给定的分解的协同偏差,我们能够证明,协同组件的布尔网络的互信息可以增加在宏观尺度上。即使在宏观尺度和其底层微观尺度之间的总互信息没有差异时,也会发生这种情况,从而证明了信息转换。我们将这个广泛的框架与以前的工作联系起来,将其与其他理论进行比较,并认为它使科学中普遍减少的任何概念复杂化,因为这种减少可能会导致科学模型中协同信息的丢失。
2021-04-27 cs.IT math.IT
Computing Unique Information for Poisson and Multinomial Systems
本文针对泊松和多项系统,给出计算双变量部分信息分解的充分条件,证明独特信息项为零,从而利用边际和联合互信息轻松计算PID。
2023-05-11 cs.IT math.IT
A Bivariate Measure of Redundant Information
我们定义了一个测量的冗余信息的基础上的概率分布的空间中的投影。随机变量之间的冗余信息是这些变量之间共享的信息。但与互信息相反,冗余信息表示关于第三变量的结果的共享信息。形式化这个概念,并能够测量它,需要非负分解的互信息为冗余和协同信息。以前的尝试,形式化冗余或协同信息的斗争,以捕捉一些所需的属性。我们引入了一个新的形式主义的冗余信息,并证明它满足所有的属性,在早期的工作,以及一个额外的标准,我们建议是必要的捕获冗余。我们还证明了这种新的措施的几个例子的行为,比较它与以前的措施,并将其应用到转移熵的分解。
2012-07-20 cs.IT math.IT physics.data-an
Synergy, Redundancy and Common Information
我们考虑的问题,总的互信息传递的一对预测随机变量的目标随机变量分解成冗余,唯一和协同的贡献。我们专注于“冗余信息”和更熟悉的信息理论概念“公共信息”之间的关系。我们的主要贡献是一个不可能的结果。我们发现,对于独立的预测随机变量,任何共同的信息为基础的措施的冗余不能导致非负分解的总互信息。有趣的是,这意味着任何合理的测量冗余信息不能通过优化一个单一的随机变量。
2015-09-12 cs.IT math.IT
Exploration of synergistic and redundant information sharing in static and dynamical Gaussian systems
为了充分描述两个“源”变量携带第三个“目标”变量的信息,必须将全部信息分解为冗余、独特和协同的组成部分,即获得部分信息分解。然而,香农的信息理论并没有提供公式来完全确定这些数量。最近的几项研究已经开始解决这个问题。提出了PID量的几种可能的定义,并对离散变量组成的系统进行了分析。在这里,我们提出了第一次深入分析的PID高斯系统,静态和动态。我们表明,对于广泛的一类高斯系统,之前提出的PID公式意味着:(i)冗余度减少到任何源变量提供的最小信息,因此与源之间的相关性无关;(ii)协同作用是较弱的源贡献的额外信息当较强的源已知时,并且可以随着源之间的相关性而增加或减少。我们发现高斯系统经常表现出净协同效应,即两个源联合携带的信息大于每个源单独携带的信息之和。从几个明确的例子中,我们讨论了这些发现的信息传递和信息为基础的措施的复杂性,一般和神经科学设置的影响。重要的是,通过提供适用于连续时间序列数据的协同和冗余的独立公式,我们开辟了一种新的方法来表征和量化复杂系统变量之间的信息共享。
2015-04-30 cs.IT math.IT q-bio.NC
Considering dynamical synergy and integrated information; the unusual case of minimum mutual information
本文研究了二元动态过程中时间协同与整合信息的估计问题,揭示了基于最小互信息的协同估计量存在无法区分真正整合系统与一阶自相关非整合系统等数学局限性,并推导了整合信息减少而协同性增加的条件及其对神经科学等领域的影响。
2024-07-23 cs.IT math.IT q-bio.NC
Multivariate Partial Information Decomposition: Constructions, Inconsistencies, and Alternative Measures
Washington University in St. Louis(华盛顿大学圣路易斯分校)
本文提出新的多变量信息分解方法,解决PID框架在多源情况下的不一致问题,提供鲁棒的理论解释和实验验证。
2026-02-11 cs.IT math.IT
Quantifying Causal Coupling Strength: A Lag-specific Measure For Multivariate Time Series Related To Transfer Entropy
虽然识别多变量时间序列的两个组成部分之间存在因果关系是一个重要的问题,Runge et al.(2012)中讨论了这一主题,但更重要的是以有意义的方式评估其关联的强度。本文着重讨论了如何用信息论测度定义一个有意义的耦合强度的问题,并论证了著名的互信息和传递熵的不足。相反,我们提出了一定的时间延迟的条件互信息,瞬时信息传递(MIT),作为一种措施的关联,是一般的,因果关系和滞后的具体,反映了一个很好的解释概念的耦合强度,实际上是可计算的。MIT是基于源熵的基本概念,我们利用它来产生耦合强度的概念,与互信息和传递熵相比,它可以很好地解释,因为在许多情况下,它只取决于两个组件在一定滞后下的相互作用。特别是,麻省理工学院因此在许多情况下,能够排除在一个过程中的信息理论的方式自依赖的误导性影响。我们形式化和证明这一想法的分析和数值计算的一般类的非线性随机过程,并说明气候数据的潜力麻省理工学院。
2012-11-21 cs.IT math.IT physics.data-an
Identifying statistical dependence in genomic sequences via mutual information estimates
理解和量化生物体中信息的表示和数量的问题已成为生物学研究的核心部分,因为它们可能是根本性进步的关键。在本文中,我们展示了使用信息理论工具的任务,确定部分的生物分子(DNA或RNA)的统计相关。我们开发了一种精确可靠的方法,基于互信息的概念,用于查找和提取统计和结构依赖关系。定义了一个简单的阈值函数,并探讨了其在量化生物片段之间的依赖关系的显着性水平中的应用。这些工具用于两个特定的应用程序。首先,鉴定玉米zmSRp32基因不同部分之间的相关性。在那里,我们发现zmSRp32中的5 '非翻译区与其可变剪接外显子之间存在显著的依赖性。这一观察结果可能表明存在至今未知的可变剪接机制或结构支架。其次,使用联邦调查局的联合DNA索引系统(CODIS)的数据,我们证明了我们的方法是特别适合的问题,发现短串联重复序列,在遗传分析的重要应用。
2007-10-26 cs.IT math.IT q-bio.GN
Quantifying the predictability of visual scanpaths using active information storage
基于熵的测量方法是研究不同条件下人类注视行为的重要工具。特别地,注视转变熵(GTE)是量化注视转变的可预测性的流行方法。然而,GTE不占时间依赖性超过两个连续的固定,因此可能低估了扫描路径的实际可预测性。相反,我们建议量化扫描路径的可预测性估计的主动信息存储(AIS),它可以占多个固定的依赖关系。AIS被计算为过程的多变量过去状态和它的下一个值之间的互信息。因此,它能够测量过去的注视序列提供了多少关于下一个注视的信息,因此覆盖了更长的时间范围。应用所提出的方法,我们能够区分基于估计AIS的诱导观测器状态,提供了第一个证据,AIS可以用于推断用户状态,以改善人机交互。
2020-12-21 cs.CE cs.IT math.IT
Disentangled Representations via Synergy Minimization
University of Southern California, Information Sciences Institute(南加州大学信息科学研究所);Yerevan State University(埃里温国立大学)
科学家经常寻求复杂系统的简化表示,以促进预测和理解。如果组成表征的因素允许我们对系统做出准确的预测,但模糊任何一个因素子集都会破坏我们做出预测的能力,我们就说表征表现出信息协同作用。我们认为,协同作用是一个不受欢迎的功能,在学习表示,明确减少协同作用,可以帮助解开真正的因素变化的基础数据。我们探讨了不同的方式量化协同作用,在某些情况下获得新的封闭形式的表达式,然后展示了如何修改学习,以产生最低限度的协同表示。我们引入了一个基准任务,从单词的图像中分离出单独的字符。我们证明了最小协同(MinSyn)表示正确地解开字符,而依赖于统计独立性的方法失败。
2017-10-10 cs.IT cs.LG math.IT
Quantifying information stored in synaptic connections rather than in firing activities of neural networks
The Solomon H. Snyder Department of Neuroscience, Johns Hopkins University(约翰斯·霍普金斯大学索伦·H·斯奈德神经科学系);Department of Psychological and Brain Sciences, Johns Hopkins University(约翰斯·霍普金斯大学心理与脑科学系);Kavli Neuroscience Discovery Institute, Johns Hopkins University(约翰斯·霍普金斯大学卡弗里神经科学发现研究所)
本文提出了一种理论框架,用于量化神经网络突触连接分布中存储的信息,通过Hebbian网络和对数正态分布建模,揭示突触间协同作用及信息存储的双重性。
2026-04-28 cs.IT math.IT physics.bio-ph
ITENE: Intrinsic Transfer Entropy Neural Estimator
量化信息流的方向性有助于理解并可能控制许多复杂系统的运行,如交通、社会、神经或基因调控网络。标准传递熵(TE)度量通过测量源信号$X$的过去状态与目标信号$Y$的未来状态之间的互信息(MI)同时以$Y$的过去状态为条件来遵循格兰杰因果关系原理。因此,当除了$Y$的过去之外,还具有来自$X$的可用的过去样本时,TE量化可以累积的靶序列$Y$的预测中的改善,如通过对数损失测量的。然而,通过以$Y$的过去为条件,TE还测量可以通过观察$X$和$Y$的过去而不仅仅是$X$的过去来协同提取的信息。建立在私钥协议公式上,内在TE(ITE)旨在对这种协同信息进行折扣,以量化$X$在多大程度上是\emph{individually}对$Y$的预测,而与$Y$的过去无关。在本文中,ITE的估计提出了最近提出的互信息神经估计(MINE)的启发。该估计是基于KL散度的变分界,双样本神经网络分类器,和Monte Carlo梯度的路径估计。
2020-01-08 cs.IT cs.LG math.IT
Quantifying synergy and redundancy in multiplex networks
本文提出一个基于最短路径分解的框架,将两个同节点网络间的关系量化为唯一贡献、冗余和协同,并在哺乳动物脑网络与交通系统中验证其广泛适用性。
2023-08-08 cs.IT cs.SI math.IT
Quantifying the Information Leakage in Timing Side Channels in Deterministic Work-Conserving Schedulers
当多个作业进程由一个调度器服务时,一个进程的等待延迟通常会受到其他进程的影响,从而导致定时侧信道将一个进程的到达模式泄漏给其他进程。在这项工作中,我们研究了这样一个定时边通道之间的一个普通用户和一个恶意的攻击者。利用Shannon的互信息作为用户和攻击者之间的信息泄漏的度量,我们分析了常见的工作保护的隐私保护行为。我们发现,攻击者总是可以完美地学习用户的到达过程中的最长队列优先(LQF)调度。当用户的作业到达率非常低(接近零)时,先来先服务(FCFS)和循环调度器都完全揭示了用户的到达模式。在低速率的交通区域的近完整的信息泄漏被证明是减少了一半的工作保存版本的TDMA(WC-TDMA)调度器,这原来是隐私最优的类的确定性工作保存(det-WC)调度器,根据一个通用的下界信息泄漏,我们推导出所有det-WC调度器。
2014-05-15 cs.IT math.IT
Computing the Unique Information
给定一对预测变量和一个响应变量,预测变量有多少关于响应的信息,这些信息如何分布在独特的、冗余的和协同的分量之间?最近的工作已经提出了量化的分解的唯一组件的最小值的条件互信息在一组约束的信息通道。我们提出了一个有效的迭代发散最小化算法来解决这个优化问题的收敛保证,并评估其性能对其他技术。
2018-05-29 cs.IT math.IT
Sensing Mutual Information for Communication Signal with Deterministic Pilots and Random Data Payloads
School of Cyber Science and Engineering, Southeast University(东南大学网络空间安全学院);School of Information Science and Engineering, Southeast University(东南大学信息科学与工程学院);School of Electrical, Computer, and Telecommunications Engineering, University of Wollongong(伍伦贡大学电气、计算机和电信工程学院);Division of Integrative Systems and Design and the Department of Electronic and Computer Engineering, the Hong Kong University of Science and Technology(香港科技大学集成系统与设计分部及电子与计算机工程系)
本文研究了在确定性导频和随机数据载荷共同存在的通信信号中,通过随机矩阵理论推导感知互信息并设计预编码方案,以提高ISAC系统的感知性能。
2026-01-16 cs.IT math.IT
Mutual Information and Conditional Mean Prediction Error
互信息对于测量变量之间的统计相关性以及对于通过信令和通信机制来量化信息传递是根本重要的。然而,评估这种机制的物理模型并根据数据进行可靠的估计可能具有挑战性。此外,它与更广为人知的统计程序的关系仍然知之甚少。在这里,我们探索新的连接之间的互信息和基于回归的依赖措施,$ν^{-1}$,利用的条件均值预测误差的二阶矩矩阵的行列式。我们研究$ν\rightarrow0$的收敛性,并建立了$\mathrm{log}(ν^{-1/2})$形式的互信息和容量的下界。该界限比基于Pearson相关性的下限和使用平均均方-出错率失真参数导出的下限更严格。此外,他们的估计是可行的,使用非参数回归技术。作为一个例子,我们提供了自举置信区间的下限,通过使用一个复合估计,大大提高了互信息的基础上$k$ -最近邻估计单独的推断。
2014-07-26 cs.IT math.IT math.PR
Dependence and Uncertainty: Information Measures using Tsallis Entropy
本文基于 Tsallis 熵扩展累积 copula 信息测度,提出累积 copula Tsallis 熵与 CMI,并给出非参数估计、独立性检验及金融应用。
2025-02-18 cs.IT math.IT stat.ME
Explicit Formula for Partial Information Decomposition
本文受 Pearl 的 do-演算启发,引入新的 do-运算,首次给出满足 Williams-Beer 公理的部分信息分解显式公式,解决了该领域长期未决的公开问题。
2024-05-07 cs.IT math.IT math.PR
Modelling and Quantifying Membership Information Leakage in Machine Learning
University of Melbourne(墨尔本大学);Macquarie University(麦考瑞大学)
机器学习模型已被证明易受成员推断攻击的攻击,即,推断个人数据是否被用于训练模型。缺乏对这些攻击成功的因素的理解激发了使用信息理论对成员信息泄漏进行建模以及调查可以减少成员信息泄漏的机器学习模型和训练算法的属性的需要。我们使用条件互信息泄漏来测量训练机器学习模型中关于训练数据集中个体存在的信息泄漏量。我们设计了一个上限,这种措施的信息泄漏使用Kullback-Leibler分歧,更适合于数值计算。我们证明了Kullback-Leibler成员信息泄漏和假设测试对手检查特定数据记录是否属于机器学习模型的训练数据集的成功概率之间的直接关系。我们证明了互信息泄漏是训练数据集大小和正则化权重的递减函数。我们还证明,如果机器学习模型(定义在相对于模型参数的适应度的导数方面)的灵敏度高,则可能泄漏更多的成员信息。这表明,与具有较少自由度的简单模型相比,复杂模型(如深度神经网络)更容易受到成员推断攻击的影响。我们发现,当使用高斯$(ε,δ)$-差分私有加性噪声时,通过$\mathcal{O}(\log^{1/2}(δ^{-1})ε^{-1})$减少了成员信息泄漏量。
2020-04-28 cs.CR cs.IT cs.LG
Improving Numerical Stability of Normalized Mutual Information Estimator on High Dimensions
Nokia Networks(诺基亚网络);University of Eastern Finland(东芬兰大学);School of Computing(计算学院)
针对高维数据中基于k-NN的归一化互信息估计因半径计算溢出而失效的问题,提出对数变换技术,在避免溢出的同时保持精度、不增偏差与计算开销,并维持估计器方差。
2025-07-07 cs.IT cs.LG math.IT
TCMI: a non-parametric mutual-dependence estimator for multivariate continuous distributions
Fritz Haber Institute of the Max Planck Society(马克斯·普朗克学会弗里茨·哈伯研究所);Humboldt-Universität zu Berlin(柏林洪堡大学)
相关特征的识别,即,决定过程或系统属性的驱动变量是分析具有大量变量的数据集的重要部分。量化这些特征的相关性的数学严格方法是互信息。互信息根据特征与感兴趣的属性的联合相互依赖性来确定特征的相关性。然而,互信息需要概率分布作为输入,这不能从连续分布(诸如像长度或能量的物理量)可靠地估计。在这里,我们介绍了总累积互信息(TCMI),相互依赖的相关性,扩展互信息的连续分布的基础上累积概率分布的随机变量的措施。TCMI是一种非参数的、鲁棒的和确定性的度量,其促进具有不同基数的特征集之间的比较和排名。TCMI诱导的排名允许特征选择,即,识别与感兴趣的属性在统计上非线性相关的变量集,考虑数据样本的数量以及变量集的基数。我们评估我们的措施与模拟数据的性能,比较其性能与类似的多变量依赖措施,并证明了我们的功能选择方法的有效性的一组标准数据集和材料科学中的一个典型场景。
2022-07-30 cs.IT cs.LG math.IT
Quantifying how much sensory information in a neural code is relevant for behavior
确定神经代码携带的感觉信息中有多少有助于行为表现,是理解感觉功能和神经信息流的关键。然而,目前还没有分析工具来计算这些位于感觉编码和行为读出之间的信息。在这里,我们开发了一种新的措施,被称为信息理论的交叉信息$I_{II}(S;R;C)$,量化多少的感觉信息进行的神经反应R是用于在知觉的歧视任务的行为。在部分信息分解框架的基础上,我们将$I_{II}(S;R;C)$定义为刺激S和反应R之间的互信息的一部分,该互信息也通知了随后的行为选择C。我们计算$I_{II}(S;R;C)$在两个实验皮层数据集的分析,显示这种措施可以用来定量比较的贡献,尖峰时间和尖峰率的任务性能,并确定大脑区域或神经元群体,专门将感官信息转化为选择。
2017-12-06 cs.IT math.IT physics.data-an
Information-Theoretic Progress Measures reveal Grokking is an Emergent Phase Transition
Ghent University(根特大学);University of Bari(巴里大学)
该研究聚焦神经网络grokking现象,利用高阶互信息分析神经元协同与冗余,识别出grokking前的不同阶段以预测其发生,证实其为神经元协同引发的涌现相变,且权重衰减和初始化可增强该阶段。
2024-08-16 cs.IT cs.LG math.IT
Max-Sliced Mutual Information
Ben-Gurion University(本-古里安大学);Cornell University(康奈尔大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文提出最大切片互信息(mSMI),通过最大化高维变量低维投影间的互信息推广 CCA,并给出神经估计器、非渐近误差界及多任务实验验证。
2023-09-28 cs.IT cs.LG math.IT
Estimating measures of information processing during cognitive tasks using functional magnetic resonance imaging
The University of Sydney(悉尼大学)
本文提出利用fMRI估计认知任务中信息处理的度量,包括主动信息存储、转移熵和净协同作用,以量化信息存储和传输。
2026-02-03 cs.IT math.IT q-bio.NC
Quantifying Multivariate Graph Dependencies: Theory and Estimation for Multiplex Graphs
本文针对多层图提出多元信息测度理论,包括图on互信息、交互信息及O-信息,首次量化图协同与冗余,并给出非参数估计器及收敛速率,经模拟和实际数据验证,为复杂网络分析奠基。
2024-05-23 cs.IT math.CO math.IT
Quantifying Emergent Behavior of Autonomous Robots
IST Austria(奥地利科学技术研究所);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学研究所)
从任务无关的目标函数中自动生成的机器人行为的量化是客观比较算法和动物运动的重要前提。这种行为的时间序列可以被认为是一个时间序列,因此为时间序列开发的复杂性度量是其量化的自然候选者。预测信息和超额熵就是这样的复杂性度量。它们测量过去包含的关于未来的信息量,从而量化时间序列中的非随机结构。然而,当使用这些措施的系统与连续状态的一个必须处理的事实,他们的价值将取决于分辨率与系统状态的观察。对于确定性系统,这两种测量将随着分辨率的增加而发散。因此,我们提出了一个新的分解的过剩熵的分辨率依赖和分辨率独立的部分,并讨论它们如何依赖于动力学,相关性和噪声水平的维数。对于实际估计,我们建议使用基于相关积分的估计,而不是使用Kraskov等人(2004)的算法的互信息的直接估计,该算法基于下一个邻居统计,因为后者允许对尺度依赖性的较少控制。使用我们的算法,我们能够展示自主学习如何随着学习时间的增加而产生越来越复杂的行为。
2015-10-06 cs.IT cs.LG cs.RO
A scalable, synergy-first backbone decomposition of higher-order structures in complex systems
提出一种可扩展的协同优先分解方法,通过最小侵入性扰动定义协同并构建偏协同原子骨架,有效克服了偏信息分解扩展性差的问题,并适用于信息理论及复杂网络高阶交互分析。
2024-02-13 cs.IT math.IT stat.OT
Using Information Theory to Measure Psychophysical Performance
大多数心理物理学实验会丢弃一半收集到的数据。具体而言,实验丢弃反应时间数据,并使用二进制响应(例如是/否)来测量性能。在这里,香农的信息理论被用来定义香农能力$s'$,这取决于刺激强度(如亮度)和反应时间和二进制响应的组合之间的互信息。互信息是响应的联合分布的熵减去模型已拟合到这些响应之后的剩余熵。在这里,该模型被实例化为比例速率扩散模型,具有考虑响应的完整协方差结构的额外创新。结果表明,与反应时间相关的信息是独立的(即额外的)与二进制响应相关的信息,反应时间和二进制响应一起提供的远远超过其各自贡献的总和(即它们协同作用)。因此,由反应时间提供的额外信息表明,使用组合的反应时间和二进制响应需要更少的刺激呈现,而不会损失心理物理参数的精度。最后,因为s'考虑了反应时间和二进制响应,(与d'相反)$s'$不受速度-精度权衡的影响,这在观察者和实验设计之间是不同的。
2021-12-11 cs.IT math.IT q-bio.NC
How do correlations shape the landscape of information?
本文利用代数几何方法分析香农互信息在固定边际分布下的模型,将概率单纯形划分为环面腔室并计算体积,同时建立级数展开与部分信息分解间的联系,以促进数学与理论神经科学的交流。
2024-05-24 cs.IT math.AG math.IT
Toward Optimal ANC: Establishing Mutual Information Lower Bound
School of Electrical and Computer Engineering(电气与计算机工程系);Ben-Gurion University of the Negev(内盖夫本· Gurion大学);Blavatnik School of Computer Science(Blavatnik计算机科学学院);Tel Aviv University(特拉维夫大学)
该研究为主动噪声控制算法推导了一个由信息论和支撑集两部分组成的统一下界,建立了归一化均方误差的理论上限,并在NOISEX数据集上验证了其紧致性。
2025-05-23 cs.AI cs.IT cs.LG
Hybrid Statistical Estimation of Mutual Information and its Application to Information Flow
本文提出结合精确与统计分析的混合方法,用于估计互信息、Shannon熵和条件熵及置信区间,并通过HyLeak工具和案例研究证明其在信息泄漏量化上优于现有方法。
2018-09-08 cs.CR cs.IT cs.PL
A partial information decomposition for discrete and continuous variables
从概念上讲,部分信息分解(PID)涉及通过将相应的联合互信息分解为诸如协同、冗余或唯一信息的贡献来分离多个源所持有的关于某个目标的信息贡献。尽管PID在概念上可以定义为任意类型的随机变量,但到目前为止,PID只能量化为离散系统的联合互信息。最近,引入了两个或三个源变量的连续设置中的PID的量化。尽管如此,还没有一个分析师能够同时量化超过三个变量的PID,并涵盖一般的测量理论随机变量,如混合离散-连续或连续随机变量。在这项工作中,我们将提出一个信息量,定义PID的条款,这是明确定义的任何数量或类型的源或目标随机变量。这个建议的数量是紧密相关的,最近开发的本地共享信息量的离散随机变量的基础上共享排除的想法。此外,我们证明了这个新提出的信息措施满足各种理想的属性,如满足一组本地PID公理,可逆变换下的不变性,可微性相对于底层的概率密度,并承认一个目标链规则。
2021-06-24 cs.IT math.IT math.LO
Information-theoretic causality and applications to turbulence: energy cascade and inner/outer layer interactions
本文提出信息论因果性方法 IT-causality,通过过去-未来事件对量化混沌系统中的冗余、独特和协同因果贡献,并应用于湍流研究,揭示了能量级串从大尺度到小尺度的顺序因果传递以及壁面湍流中从外层向内层的单向因果流动,且因果性主要与高速条带相关。
2023-10-31 cs.IT math.IT nlin.CD