Quantifying the Loss of Information from Binning List-Mode Data
列表模式数据越来越多地用于SPECT和PET成像以及其他成像模式。然而,仍然有许多成像设计在执行图像重建或其他估计任务之前有效地对列表模式数据前像进行分箱。直觉上,合并操作应该会导致信息丢失。在这项工作中,我们表明,这是真实的Fisher信息,并提供了一个计算方法,量化的信息损失。最后,我们发现信息损失取决于三个因素。第一个因素与列表模式数据的平均数据函数的平滑度有关。第二个因素是被成像的实际物体。最后,第三个因素是与其他两个因素有关的分箱方案。
2019-02-12 cs.IT math.IT physics.data-an
Quantifying Morphological Computation based on an Information Decomposition of the Sensorimotor Loop
Leibniz Universität Hannover(莱布尼茨汉诺威大学)
近年来,代理人如何受到其体现的影响的问题引起了越来越多的关注。一个新的人工智能领域已经出现,它基于这样一种观点:如果不考虑具体化,就不能理解智能。我们相信,一个正式的方法来量化的具体化的代理的行为的影响是有益的人工生命和人工智能领域。代理人的身体和环境对其行为的贡献也被称为形态计算。因此,在这项工作中,我们提出了一个量化的形态计算,这是基于一个信息分解的感觉运动回路共享,独特和协同的信息。在数值模拟的基础上正式表示的感觉运动回路,我们表明,独特的信息的身体和环境是一个很好的测量形态计算。结果进行比较,我们以前派生的量化形态计算。
2015-03-17 cs.AI cs.IT math.IT
Quantifying Membership Privacy via Information Leakage
已知机器学习模型记忆训练集中各个数据点的独特属性。几种类型的攻击可以利用这种记忆能力来推断关于训练数据的信息,最明显的是成员推断攻击。在本文中,我们提出了一种基于信息泄漏的方法来保证成员的隐私。具体来说,我们建议使用最大泄漏概念的条件形式来量化数据集中关于个体数据录入的信息泄漏,即,入口信息泄漏。我们将我们的隐私分析的教师合奏(PATE)框架的隐私保护分类的敏感数据的私人聚合,并证明其聚合机制的入口信息泄漏是舒尔凹时,注入的噪声具有对数凹概率密度。这种泄漏的Schur-Schurt意味着教师在标记查询时增加共识会降低其相关的隐私成本。最后,我们推导出上界的条目信息泄漏时,聚合机制使用拉普拉斯分布噪声。
2021-04-15 cs.IT math.IT
Quantifying coherence in terms of Fisher information
本文提出一种基于后选择非幺正参数化过程中Fisher信息的相干性度量,建立了相干性与参数估计精度的操作联系,并给出量子比特态的解析表达式。
2022-12-14 cs.IT math.IT quant-ph
Quantifying imperfect cognition via achieved information gain
本文提出信念更新的已实现信息增益(AIG),用于量化资源受限下的不完美认知,并据此定义认知保真度与认知效率。
2025-06-10 cs.IT math.IT
Is Consciousness Computable? Quantifying Integrated Information Using Algorithmic Information Theory
在这篇文章中,我们回顾了Tononi(2008)的意识作为整合信息的理论。我们认为,以前的形式化的综合信息(如格里菲斯,2014)取决于信息损失。由于有损集成将需要不断损害现有的记忆,我们建议它是更自然的框架意识作为一个无损的整合过程,并提供了一个形式化的这个想法使用算法信息论。我们证明,完全无损集成需要不可计算的功能。这一结果意味着,如果单一意识存在,它就无法通过计算建模。
2014-05-01 cs.IT math.IT q-bio.NC
Quantifying Spacetime Integration across a Partition with Synergy
Georgetown University(乔治城大学)
本文基于部分信息分解框架提出四个整合度量,用于验证IIT理论的应用性,并探讨其在离散动力系统中的复杂性测量潜力。
2026-06-13 cs.IT math.IT
Quantifying the Information Leakage in Timing Side Channels in Deterministic Work-Conserving Schedulers
当多个作业进程由一个调度器服务时,一个进程的等待延迟通常会受到其他进程的影响,从而导致定时侧信道将一个进程的到达模式泄漏给其他进程。在这项工作中,我们研究了这样一个定时边通道之间的一个普通用户和一个恶意的攻击者。利用Shannon的互信息作为用户和攻击者之间的信息泄漏的度量,我们分析了常见的工作保护的隐私保护行为。我们发现,攻击者总是可以完美地学习用户的到达过程中的最长队列优先(LQF)调度。当用户的作业到达率非常低(接近零)时,先来先服务(FCFS)和循环调度器都完全揭示了用户的到达模式。在低速率的交通区域的近完整的信息泄漏被证明是减少了一半的工作保存版本的TDMA(WC-TDMA)调度器,这原来是隐私最优的类的确定性工作保存(det-WC)调度器,根据一个通用的下界信息泄漏,我们推导出所有det-WC调度器。
2014-05-15 cs.IT math.IT
Quantifying High-order Interdependencies via Multivariate Extensions of the Mutual Information
本文介绍了一种模型不可知论的方法来研究统计协同效应,这是一种涌现形式,其中大尺度的模式无法从较低尺度追溯。我们的框架利用香农的互信息的各种多元扩展,并引入O-信息作为一个度量能够表征协同和冗余主导的系统。我们开发的O-信息的关键分析属性,并研究它如何涉及到其他指标的高阶相互作用的统计力学和神经科学文献。最后,作为一个概念的证明,我们使用建议的框架,探索巴洛克音乐乐谱统计协同的相关性。
2019-02-28 cs.IT math.IT q-bio.NC
Quantifying Information Leakage in Finite Order Deterministic Programs
信息流分析是一种功能强大的技术,用于推理程序执行过程中暴露的敏感信息。虽然过去的工作已经提出了信息理论度量(例如,香农熵、最小熵、猜测熵等)为了量化这样的信息泄漏,我们认为,这些措施中的一些不仅会导致违反直觉的泄漏措施,而且在比较两个程序P1和P2时固有地倾向于冲突-比如香农熵预测程序P1的泄漏更高,而猜测熵预测程序P2的泄漏更高。本文提出了第一次尝试解决这种冲突,并推导出解决方案的有限阶确定性程序的无冲突比较。
2010-09-20 cs.CR cs.IT math.IT
Quantifying Privacy via Information Density
本文通过信息密度上下界约束,建立了局部信息隐私、非对称局部信息隐私、逐点最大泄漏与局部差分隐私之间的新关系,并证明信息密度下界与风险规避型对手在猜测框架和代价函数框架下的等价性,为隐私机制设计提供理论依据。
2024-02-20 cs.CR cs.IT math.IT
Quantifying information stored in synaptic connections rather than in firing activities of neural networks
The Solomon H. Snyder Department of Neuroscience, Johns Hopkins University(约翰斯·霍普金斯大学索伦·H·斯奈德神经科学系);Department of Psychological and Brain Sciences, Johns Hopkins University(约翰斯·霍普金斯大学心理与脑科学系);Kavli Neuroscience Discovery Institute, Johns Hopkins University(约翰斯·霍普金斯大学卡弗里神经科学发现研究所)
本文提出了一种理论框架,用于量化神经网络突触连接分布中存储的信息,通过Hebbian网络和对数正态分布建模,揭示突触间协同作用及信息存储的双重性。
2026-04-28 cs.IT math.IT physics.bio-ph
Quantifying the perceptual value of lexical and non-lexical channels in speech
Centre for Speech Technology Research, University of Edinburgh(语音技术研究中心,爱丁堡大学)
本文提出了一种通用范式,用于量化语音中非词义信息对对话期望的感知价值,通过准确性和熵减少评估,揭示非词义信息在提升对话预期一致性方面的贡献。
2023-07-07 cs.CL cs.IT math.IT
Progressive Interpretation Synthesis: Interpreting Task Solving by Quantifying Previously Used and Unused Information
RIKEN Center for Brain Science(理化学研究所脑科学中心);the University of Tokyo(东京大学)
深度神经网络是一个很好的任务解决器,但很难理解它的操作。如何形成对其运作的解释,人们众说纷纭。我们从一个新的角度来看待这个问题,其中任务解决的解释是通过量化除了用于解决以前的任务的信息之外,还有多少以前未使用的信息被利用来合成的。首先,在学习多个任务后,网络获取与每个任务相关的多个信息分区。然后,我们建议网络学习最小信息分区,以补充先前学习的信息分区,从而更准确地表示输入。这个额外的分区与在先前的任务中未使用的未概念化的信息相关联。我们设法识别使用了哪些非概念化信息并量化其数量。为了解释网络如何解决新任务,我们将每个分区中提取的信息量量化为元信息。我们实现了这个框架的变分信息瓶颈技术。我们用MNIST和CLEVR数据集测试了这个框架。该框架被证明是能够组成的信息分区和合成的元信息的形式依赖于经验的解释。该系统通过将一部分未概念化的信息分区转换为任务相关的分区,逐步提高了对新经验的解释分辨率。它还可以通过对解决新任务所需的先前未概念化信息的一部分进行成像来提供视觉解释。
2022-08-12 cs.AI cs.IT math.IT
Quantifying information flow in interactive systems
我们考虑的问题,量化的信息流在交互式系统中,建模为有限状态传感器的风格Goguen和Meseguer。我们的主要结果是,如果系统是确定性的,那么信息流是对数或线性的,有一个多项式时间算法来区分这两种情况下,并计算对数流的速率。为了实现这一点,我们首先通过渠道的信息泄漏的理论扩展到交互系统的情况下,并建立了一些结果,大大简化了计算。然后,我们表明,对于确定性系统的信息流对应于一定的正则语言,称为语言的宽度属性内的反链的增长率。在一个同伴的工作,我们已经表明,有一个二分法之间的多项式和指数反链增长,和一个多项式时间算法来区分这两种情况下,并计算多项式增长的顺序。我们观察到这两种情况分别对应于对数和线性信息流。最后,我们制定了几个有吸引力的开放问题,包括概率系统的情况下,系统有两个以上的用户和非确定性系统的非确定性被认为是无辜的,而不是恶魔。
2019-05-10 cs.CR cs.IT cs.LO
Quantifying the predictability of visual scanpaths using active information storage
基于熵的测量方法是研究不同条件下人类注视行为的重要工具。特别地,注视转变熵(GTE)是量化注视转变的可预测性的流行方法。然而,GTE不占时间依赖性超过两个连续的固定,因此可能低估了扫描路径的实际可预测性。相反,我们建议量化扫描路径的可预测性估计的主动信息存储(AIS),它可以占多个固定的依赖关系。AIS被计算为过程的多变量过去状态和它的下一个值之间的互信息。因此,它能够测量过去的注视序列提供了多少关于下一个注视的信息,因此覆盖了更长的时间范围。应用所提出的方法,我们能够区分基于估计AIS的诱导观测器状态,提供了第一个证据,AIS可以用于推断用户状态,以改善人机交互。
2020-12-21 cs.CE cs.IT math.IT
Quantifying how much sensory information in a neural code is relevant for behavior
确定神经代码携带的感觉信息中有多少有助于行为表现,是理解感觉功能和神经信息流的关键。然而,目前还没有分析工具来计算这些位于感觉编码和行为读出之间的信息。在这里,我们开发了一种新的措施,被称为信息理论的交叉信息$I_{II}(S;R;C)$,量化多少的感觉信息进行的神经反应R是用于在知觉的歧视任务的行为。在部分信息分解框架的基础上,我们将$I_{II}(S;R;C)$定义为刺激S和反应R之间的互信息的一部分,该互信息也通知了随后的行为选择C。我们计算$I_{II}(S;R;C)$在两个实验皮层数据集的分析,显示这种措施可以用来定量比较的贡献,尖峰时间和尖峰率的任务性能,并确定大脑区域或神经元群体,专门将感官信息转化为选择。
2017-12-06 cs.IT math.IT physics.data-an
Quantifying Loss of Information in Network-based Dimensionality Reduction Techniques
为了应对大型网络的复杂性,已经开发了许多图的降维技术。然而,在采用这些技术时,信息丢失或保存的程度尚不清楚。在这里,我们开发了一个框架,基于算法信息理论,量化的程度时,网络模体分析,图谱和光谱稀疏化方法被应用到超过20个不同的生物和人工网络的信息被保存。我们发现,频谱稀疏化是高度敏感的高数量的边缘删除,导致显着的不一致性,和图频谱方法是最不规则的,捕捉代数信息在一个浓缩的方式,但在很大程度上失去了大部分的原始网络的信息内容。然而,该方法表明,网络模体分析擅长于保留网络的相对算法信息内容,因此验证和推广了一个显著的事实,即尽管它们固有的组合可能性,但局部模体保留信息的程度使得基本属性在不同的网络中完全可恢复,以确定它们所属的家族组(例如遗传网络与社会网络)。因此,我们的算法信息方法提供了一个严格的框架,使不同的数据降维方法之间的基本评估和比较,从而促进识别和评估新旧方法的能力。
2015-08-27 cs.IT math.IT q-bio.MN
Quantifying the redundancy between prosody and text
ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学);MIT(麻省理工学院)
本文利用大语言模型和英语有声书语料库量化了韵律与文本之间的信息冗余,发现词语信息与韵律特征高度冗余但韵律仍含有文本之外的额外信息,并发布了通用分析流程。
2023-11-28 cs.AI cs.CL cs.IT
Quantifying Multivariate Graph Dependencies: Theory and Estimation for Multiplex Graphs
本文针对多层图提出多元信息测度理论,包括图on互信息、交互信息及O-信息,首次量化图协同与冗余,并给出非参数估计器及收敛速率,经模拟和实际数据验证,为复杂网络分析奠基。
2024-05-23 cs.IT math.CO math.IT
Quantifying synergy and redundancy in multiplex networks
本文提出一个基于最短路径分解的框架,将两个同节点网络间的关系量化为唯一贡献、冗余和协同,并在哺乳动物脑网络与交通系统中验证其广泛适用性。
2023-08-08 cs.IT cs.SI math.IT
Quantifying the information lost in optimal covariance matrix cleaning
本研究通过推导旋转不变协方差估计量的KL散度解析式,利用遗传编程与人类直觉,证明Frobenius距离是KL散度的一阶展开项,从而建立两种度量间的明确联系。
2024-11-08 cs.IT cs.SC math.IT
Information Criteria for quantifying loss of reversibility in parallelized KMC
University of Massachusetts(马萨诸塞大学)
本文提出基于熵产率的信息标准,用于量化并行KMC中可逆性损失,通过后验估计器分析并行方案的性能与可逆性控制。
2016-10-17 cs.IT cs.NA math.IT
Quantifying Knowledge Distillation Using Partial Information Decomposition
University of Maryland(马里兰大学);Princeton University(普林斯顿大学);Google Research(谷歌研究院)
本文利用偏信息分解量化知识转移,提出冗余信息蒸馏(RID)框架,通过多级优化将冗余信息作为正则化项,在干扰教师下实现更有效且具弹性的蒸馏。
2025-04-04 cs.CV cs.IT cs.LG
Quantifying & Modeling Multimodal Interactions: An Information Decomposition Framework
CMU(卡内基梅隆大学);Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学);Harvard Medical School(哈佛医学院);Brigham and Women’s Hospital(布莱根妇女医院);University of Pennsylvania(宾夕法尼亚大学);University of Oregon(俄勒冈大学)
本文提出基于信息论的 PID 框架,量化多模态输入与任务间的冗余、独特和协同信息,并通过可扩展估计器、基准实验及真实案例支持数据集分析、模型交互度量与模型选择。
2023-12-10 cs.AI cs.CL cs.CV
Modelling and Quantifying Membership Information Leakage in Machine Learning
University of Melbourne(墨尔本大学);Macquarie University(麦考瑞大学)
机器学习模型已被证明易受成员推断攻击的攻击,即,推断个人数据是否被用于训练模型。缺乏对这些攻击成功的因素的理解激发了使用信息理论对成员信息泄漏进行建模以及调查可以减少成员信息泄漏的机器学习模型和训练算法的属性的需要。我们使用条件互信息泄漏来测量训练机器学习模型中关于训练数据集中个体存在的信息泄漏量。我们设计了一个上限,这种措施的信息泄漏使用Kullback-Leibler分歧,更适合于数值计算。我们证明了Kullback-Leibler成员信息泄漏和假设测试对手检查特定数据记录是否属于机器学习模型的训练数据集的成功概率之间的直接关系。我们证明了互信息泄漏是训练数据集大小和正则化权重的递减函数。我们还证明,如果机器学习模型(定义在相对于模型参数的适应度的导数方面)的灵敏度高,则可能泄漏更多的成员信息。这表明,与具有较少自由度的简单模型相比,复杂模型(如深度神经网络)更容易受到成员推断攻击的影响。我们发现,当使用高斯$(ε,δ)$-差分私有加性噪声时,通过$\mathcal{O}(\log^{1/2}(δ^{-1})ε^{-1})$减少了成员信息泄漏量。
2020-04-28 cs.CR cs.IT cs.LG
Quantifying Feature Contributions to Overall Disparity Using Information Theory
Carnegie Mellon University(卡内基梅隆大学);JP Morgan AI Research(摩根大通人工智能研究院);Allen Institute(艾伦研究所);University of Washington(华盛顿大学)
当机器学习算法做出有偏见的决策时,了解差异的来源有助于解释为什么存在偏见。为此,我们研究的问题,量化的每个单独的功能所观察到的差距的贡献。如果我们可以访问决策模型,一种潜在的方法(灵感来自可解释性文献中基于干预的方法)是改变每个个体特征(同时保持其他特征不变),并使用由此产生的差异变化来量化其贡献。然而,我们可能无法访问模型或能够测试/审计其输出的个别变化特征。此外,决策可能不总是输入特征的确定性函数(例如,人在回路中(human-in-the-loop)。对于这些情况,我们可能需要使用纯分配(即,观察性技术,而不是干预性技术。我们提出这样一个问题:当无法使用确切的决策机制时,每个特征对所观察到的决策差异的“潜在”贡献是什么?我们首先提供了典型的例子(思想实验),帮助说明分配和干预方法之间的差异,以解释贡献,当两者都更适合。当无法干预的输入,我们量化的“冗余”的统计依赖性的保护属性,是目前在最终的决定和个人的功能,利用身体的工作在信息论称为部分信息分解。我们还进行了一个简单的案例研究,以展示如何将这种技术应用于量化贡献。
2022-06-16 cs.AI cs.CY cs.IT