A Variational Characterization of $H$-Mutual Information and its Application to Computing $H$-Capacity
该研究提出$H$-互信息的变分表征,并基于此设计交替优化算法以计算$H$-容量,拓展了这类广义信息泄露度量的计算方法。
2024-06-20 cs.IT math.IT
Capturing and Interpreting Unique Information
部分信息分解(PID),量化的信息之间的相互作用的唯一性,冗余和协同作用的三个或更多的变量,在许多应用领域获得牵引力。然而,我们对PID的操作解释的理解对于许多流行的PID定义仍然是不完整的。在本文中,我们讨论了独特的信息,通过镜头的两个著名的PID定义的操作解释。我们重新审视的解释,从统计决策理论显示如何独特的信息上限的决策问题的风险。然后,我们探讨了两个PID之间的新的连接,这使我们能够开发一个非正式的,但有吸引力的解释,并推广PID定义使用一个共同的拉格朗日公式。最后,我们提供了一个新的PID定义,它能够捕获唯一的信息。我们还表明,它有一个简单的解释,并检查其属性。
2023-02-23 cs.IT math.IT
Age of Information of Multi-user Mobile Edge Computing Systems
在本文中,我们分析了平均年龄的信息(AoI)和平均峰值AoI(PAoI)的多用户移动边缘计算(MEC)系统中,基站(BS)生成并发送计算密集型数据包的用户设备(UE)。在该MEC系统中,我们关注三种计算方案:(i)本地计算方案,其中所有计算任务由UE处的本地服务器计算,(ii)边缘计算方案,其中所有计算任务由BS处的边缘服务器计算,以及(iii)部分计算方案,其中计算任务部分地在边缘服务器处分配,其余的由本地服务器计算。考虑到指数分布的传输时间和计算时间,并采用先来先服务(FCFS)排队策略,我们推导出封闭形式的平均AoI和平均PAoI的表达式。为了解决平均AoI表达式的复杂性,我们推导出简单的平均AoI的上限和下限,这使我们能够明确地检查MEC系统参数上的最佳卸载决策的依赖性。仿真结果的帮助下,我们验证了我们的分析,并说明了系统参数对AoI性能的影响。
2022-11-02 cs.IT math.IT
Some Notes on Quantum Information Theory and Emerging Computing Technologies
它被认为是量子计算理论和一些未来信息技术的相互依赖。一些说明性和有用的例子进行了讨论。可逆计算从一开始就对量子计算机的设计产生了严重的影响,本文首先回顾了可逆计算。三值电路的一些应用也是很有启发性的,它可能在量子信息论中是有用的。
2015-03-24 cs.IT math.IT quant-ph
Distributed Computing of Functions of Structured Sources with Helper Side Information
本文提出一种利用信源联合分布、边信息及函数对称性的编码方案,在混合模型下大幅降低分布式计算通信成本,并将解码复杂度从指数降为线性。
2023-07-26 cs.IT math.IT
Optimizing Peak Age of Information in MEC Systems: Computing Preemption and Non-preemption
本文研究MEC系统中最小化平均峰值信息年龄的问题,在抢占与非抢占两种计算模式下分别证明了固定阈值策略和传输感知阈值策略的最优性,并通过仿真揭示了抢占并非总是优于非抢占以及阈值随传输与计算时间比变化的规律。
2024-04-03 cs.IT math.IT
Reconsidering unique information: Towards a multivariate information decomposition
两个随机变量$Y$、$Z$包含关于第三随机变量$X$的信息可以具有共享信息(包含在$Y$和$Z$两者中)、互补信息(仅从$(Y,Z)$一起可用)和唯一信息(排他地包含在$Y$或$Z$中)的方面。在这里,我们研究由Bertschinger等人引入的共享、$\widetilde{UI}$唯一和$\widetilde{CI}$互补信息的测量$\widetilde{SI}$,这是从决策理论的角度出发的。我们发现,在大多数情况下,直观的规则,更多的变量包含更多的信息适用,除了$\widetilde{SI}$和$\widetilde{CI}$信息不是单调的目标变量$X$。此外,我们表明,这是不可能的二元信息分解为$\widetilde{SI}$,$\widetilde{UI}$和$\widetilde{CI}$的Williams和Beer的部分信息格上的非负分解。然而,即使在多变量环境中,$\widetilde{UI}$、$\widetilde{SI}$和$\widetilde{CI}$的量也有明确的解释。
2014-04-11 cs.IT math.IT
An Algorithm for Computing the Capacity of Symmetrized KL Information for Discrete Channels
针对固定离散信道,提出对称化KL信息容量计算算法,通过对称化KL散度矩阵并迭代更新求解非凹优化,在二元对称和二项信道验证,并应用于Gibbs信道寻找最坏数据分布。
2024-07-18 cs.IT math.IT
Individual Confidential Computing of Polynomials over Non-Uniform Information
针对非均匀分布数据的安全分布式计算问题,提出基于完美子集隐私与线性哈希的隐私保护方案,实现多项式计算的信息论安全,并证明对不可信服务提供商的信息泄漏可忽略。
2025-01-26 cs.IT math.IT
Computing Information Agreement
一致性测量对于比较相同诊断结果的不同评价和验证新的评级系统或设备都是有用的。信息一致性(IA)是一种基于信息理论的一致性度量,旨在克服科恩Kappa的所有局限性和所谓的陷阱。然而,它只能处理值为正自然数的一致矩阵。这项工作扩展IA承认也0作为一个可能的值的协议矩阵单元。
2020-08-26 cs.IR cs.IT math.IT
Optimizing Information Freshness in Computing enabled IoT Networks
物联网(IoT)已成为下一代无线网络的关键功能之一,其中及时交付状态更新数据包对于许多实时IoT应用至关重要。为了向用户提供上下文感知的服务并减轻传输负担,原始数据在传输到目的地之前通常需要进行预处理。然而,计算对整体信息新鲜度的影响还没有得到很好的理解。在这项工作中,我们首先开发了一个分析框架,以研究具有多个传感器的计算支持的物联网系统的信息新鲜度,即信息的峰值年龄(PAoI)。具体地说,我们将计算和传输过程建模为串联队列,并推导出不同传感器的平均PAoI的解析表达式。基于理论结果,我们制定了一个最小最大优化问题,以最大限度地减少不同传感器的最大平均PAoI。我们进一步设计了一个无导数的算法来寻找最佳的更新频率,与该算法的复杂性检查制定的问题的凸性或获得的目标函数的导数可以大大降低。大量的仿真结果验证了我们的分析和所提出的算法的有效性的准确性。
2019-10-12 cs.IT cs.NI math.IT
Unique Informations and Deficiencies
给定两个通道,传达关于同一随机变量的信息,我们引入两个措施的唯一信息的一个通道相对于其他。这两个量是基于广义加权Le Cam缺陷的概念,并且在一个通道是否可以通过在其输入或输出处的随机化来近似另一个通道上有所不同。我们建议的数量与现有的措施,我们称之为最小协同独特的信息。我们给后者的操作解释的上界的秘密密钥速率和讨论的作用的唯一信息的上下文中的非负互信息分解成唯一的,冗余的和协同的组件。
2019-12-09 cs.CR cs.IT math.IT
Applications of Common Information to Computing Functions
我们设计了一个低复杂度的分布式压缩方案,用于计算离散字母源的任意函数。我们使用一个基于助手的方法,扩展的定义的G{á}cs-K{<$}rner-Witsenhausen(GKW)的公共信息的功能性公共信息。该辅助器通过将联合源分布划分为由函数施加的嵌套来放松GKW的组合结构,这确保了源之间的分层合作,以有效地进行分布式计算。通过对比我们的方法的性能与现有的高效技术,我们证明了恢复功能和源数据的速率节省。置换不变函数广泛应用于学习和组合优化领域,最近被应用于图神经网络。我们考虑了在两个源和一个解码器的网络中计算置换不变函数的有效压缩。我们使用二分图表示,其中两个不相交的顶点集(部分)表示各个源图,边权重捕获联合源分布。我们通过创建由函数的分布确定的连接组件,考虑边缘对称性,并消除低概率边缘来压缩二分图。我们分别对这些边缘进行编码,并将其作为细化发送。我们的方法可以取代高复杂度的联合解码技术,并通知神经网络,以减少计算时间,降低复杂度。
2021-03-30 cs.IT cs.NI math.IT
Computing in Additive Networks with Bounded-Information Codes
研究了加性无线网络模型的理论,将接收信号抽象为发射信号的加和。我们的中心观察是,在这个模型中计算的关键挑战是不高的竞争,如前所述,而是保证有界量的\emph{information}在每个邻域每轮,一个属性,我们表明是可以实现的使用一种新的随机编码技术。从技术上讲,我们为加法网络中的基本分布式任务提供了有效的算法,例如解决各种对称性破缺问题,近似网络参数,以及解决\emph{asymmetry revealing}问题,例如计算最大输入。所使用的关键方法是一种新的随机编码技术,只要它不包含太多不同的值,该技术就允许节点成功地解码接收到的信息。然后,我们设计我们的算法,以在每个邻域中产生有限的信息,以便利用我们丰富的工具箱来计算加法网络。
2015-08-14 cs.DC cs.IT cs.NI
Linear Convergence in Hilbert's Projective Metric for Computing Augustin Information and a Rényi Information Measure
本文利用 Hilbert 投影度量,证明了计算 Augustin 信息和一种 Rényi 信息测度的两种迭代算法在特定阶数下的线性收敛性,突破了此前仅知其渐近收敛的局限。
2024-09-27 cs.IT math.IT math.OC
Information and Set Algebras: Interpretation and Uniqueness of Conditional Independence
给出了信息代数的一个新的似弱公理化形式。它示出了如何这样的信息代数可以嵌入到集(信息)代数。在集合代数中,划分之间存在条件独立的自然关系。通过信息代数的嵌入,这种关系可以推广到信息代数。因此,新的公理化公式被证明与arXiv:1701.02658中给出的公式是等价的。这样,信息代数中条件独立性的抽象概念就可以用集合论关系得到具体的解释。
2018-04-09 cs.IT cs.LO math.IT
Exploiting Non-Causal CPU-State Information for Energy-Efficient Mobile Cooperative Computing
在数量庞大的移动设备上清理空闲的计算资源可以为本地移动云计算提供强大的平台。这一愿景可以通过边缘设备之间的点对点协作计算(称为协同计算)来实现。本文考虑了一个协同计算系统,其中用户将输入数据的计算卸载到助手。帮助者基于预测的帮助者的CPU空闲简档来控制卸载过程,以最小化用户的能量消耗,该预测的帮助者的CPU空闲简档指定用于协同计算的可用计算资源的量。考虑这样一种情况:用户有一次输入数据到达,帮助程序缓冲卸载的位。将节能协同计算问题分解为两个子问题:自适应卸载的从问题和数据划分的主问题。给定固定的卸载数据大小,自适应卸载的目的是通过在截止期限和缓冲区约束下控制卸载速率来最小化用于卸载的能量消耗。通过推导最优解的充分必要条件,我们描述了最优策略的结构,并提出了计算策略的算法。此外,我们表明,最佳的数据分区卸载和本地计算在用户的问题是凸的,承认一个简单的解决方案,使用次梯度法。最后,开发的协同计算的设计方法扩展到突发数据到达用户帐户的数据因果关系约束的情况下。仿真结果验证了所提算法的有效性。
2017-09-04 cs.IT cs.NI math.IT
Unique Information and Secret Key Decompositions
唯一信息($UI$)是量化与Blackwell顺序的偏差的信息度量。我们最近证明了这个量是单向秘密密钥速率的上界。本文证明了$UI$的一个三角不等式,它意味着$UI$永远不大于双向秘密密钥速率的一个已知上界.我们猜想,$UI$下界的双向速率和讨论的影响。
2019-01-23 cs.CR cs.IT math.IT
Estimating the Unique Information of Continuous Variables
从多个源到多个目标的信息的整合和传递是神经系统的核心动机。部分信息分解(PID)的新兴领域提供了一个新的信息理论镜头到这些机制,通过识别协同,冗余和独特的贡献之间的互信息的一个和几个变量。虽然许多作品已经研究了高斯和离散分布的PID方面,一般连续分布的情况下仍然是未知的领域。在这项工作中,我们提出了一种方法来估计的唯一信息在连续分布的情况下,一个与两个变量。我们的方法解决了相关的优化问题,通过结合copula分解和技术开发的优化变分自编码器的分布空间与固定的二元边际。我们获得了良好的协议与已知的高斯分析结果,并说明了我们的新方法在几个大脑启发的神经模型的力量。我们的方法是能够恢复率神经元的混沌网络的有效连接,并揭示了一个复杂的权衡冗余,协同作用和独特的信息在经常性的网络训练,以解决广义XOR任务。
2021-10-27 cs.IT math.IT stat.CO
List-Decodable Coded Computing: Breaking the Adversarial Toleration Barrier
University of Michigan(密歇根大学);University of Southern California(南加州大学)
我们考虑编码计算的问题,其中计算任务在对抗性工人存在的情况下以分布式方式执行。我们提出了一些技术来打破以前在编码计算中已知的对抗性容忍阈值障碍。更具体地说,我们利用列表解码技术折叠里德-所罗门码,并提出了新的算法来恢复正确的码字使用边信息。在编码计算设置中,我们展示了主节点如何执行某些精心设计的额外计算以获得边信息。与每个工作人员完成的计算相比,计算这些辅助信息的工作量可以忽略不计。然后利用该边信息来修剪列表解码器的输出,并唯一地恢复真实结果。我们进一步提出了折叠拉格朗日编码计算(FLCC),将开发的技术到一个特定的编码计算设置。我们的研究结果表明,FLCC优于LCC,打破了可以容忍的对手数量的障碍。特别地,FLCC中的相应阈值与LCC相比渐进地提高了两倍。
2021-08-19 cs.DC cs.IT cs.LG
Strong XOR Lemma for Information Complexity
本文研究双方随机通信中的信息复杂度,证明强 XOR 引理,说明 n 重 XOR 的朴素协议在信息成本与误差权衡上均渐近最优。
2025-06-16 cs.CC cs.IT math.IT
Asymptotic evaluation of the information processing capacity in reservoir computing
Kyutech(京都科技大学)
本文提出了一种基于渐近展开和加权最小二乘拟合的方法,用于评估回声状态计算中无限长数据的信息处理能力,以更准确地评估其性能。
2025-11-21 cs.IT cs.LG eess.SP
Computational Polarization: An Information-theoretic Method for Resilient Computing
我们引入了一个错误弹性的分布式计算方法的基础上扩展的信道极化现象的分布式算法。该方法利用将两个相同的计算节点转换为慢速和快速工作者的算法分裂操作,这与极化码中的信道分裂操作并行。这种操作保持了平均运行时间,类似于信道极化中香农容量的守恒。通过利用与快速傅立叶变换类似的递归构造,该方法合成了具有分散返回时间分布的虚拟计算节点,我们称之为计算极化。我们证明了运行时分布形成一个功能鞅过程,确定其极限分布的封闭形式的表达式与非渐近收敛速度,并证明强收敛结果在Banach空间。我们提供了一个信息理论的下限上的任何编码的计算方法的整体运行时间,并表明计算极化方法渐近实现计算线性函数的最佳运行时间。一个重要的优点是接近线性时间解码过程,这比最大距离可分离码便宜得多。
2021-09-08 cs.DC cs.IT math.IT