A Variational Characterization of $H$-Mutual Information and its Application to Computing $H$-Capacity
该研究提出$H$-互信息的变分表征,并基于此设计交替优化算法以计算$H$-容量,拓展了这类广义信息泄露度量的计算方法。
2024-06-20 cs.IT math.IT
Age of Information of Multi-user Mobile Edge Computing Systems
在本文中,我们分析了平均年龄的信息(AoI)和平均峰值AoI(PAoI)的多用户移动边缘计算(MEC)系统中,基站(BS)生成并发送计算密集型数据包的用户设备(UE)。在该MEC系统中,我们关注三种计算方案:(i)本地计算方案,其中所有计算任务由UE处的本地服务器计算,(ii)边缘计算方案,其中所有计算任务由BS处的边缘服务器计算,以及(iii)部分计算方案,其中计算任务部分地在边缘服务器处分配,其余的由本地服务器计算。考虑到指数分布的传输时间和计算时间,并采用先来先服务(FCFS)排队策略,我们推导出封闭形式的平均AoI和平均PAoI的表达式。为了解决平均AoI表达式的复杂性,我们推导出简单的平均AoI的上限和下限,这使我们能够明确地检查MEC系统参数上的最佳卸载决策的依赖性。仿真结果的帮助下,我们验证了我们的分析,并说明了系统参数对AoI性能的影响。
2022-11-02 cs.IT math.IT
Computing Unique Information for Poisson and Multinomial Systems
本文针对泊松和多项系统,给出计算双变量部分信息分解的充分条件,证明独特信息项为零,从而利用边际和联合互信息轻松计算PID。
2023-05-11 cs.IT math.IT
Distributed Computing of Functions of Structured Sources with Helper Side Information
本文提出一种利用信源联合分布、边信息及函数对称性的编码方案,在混合模型下大幅降低分布式计算通信成本,并将解码复杂度从指数降为线性。
2023-07-26 cs.IT math.IT
Optimizing Peak Age of Information in MEC Systems: Computing Preemption and Non-preemption
本文研究MEC系统中最小化平均峰值信息年龄的问题,在抢占与非抢占两种计算模式下分别证明了固定阈值策略和传输感知阈值策略的最优性,并通过仿真揭示了抢占并非总是优于非抢占以及阈值随传输与计算时间比变化的规律。
2024-04-03 cs.IT math.IT
An Algorithm for Computing the Capacity of Symmetrized KL Information for Discrete Channels
针对固定离散信道,提出对称化KL信息容量计算算法,通过对称化KL散度矩阵并迭代更新求解非凹优化,在二元对称和二项信道验证,并应用于Gibbs信道寻找最坏数据分布。
2024-07-18 cs.IT math.IT
Compressed Secret Key Agreement: Maximizing Multivariate Mutual Information Per Bit
通过公开讨论的多终端秘密密钥协议问题制定了一个额外的源压缩步骤,在公开讨论阶段之前,用户独立地压缩他们的私人源,以过滤出强相关的组件,用于生成一个共同的秘密密钥。目标是最大化可实现的密钥速率作为压缩源的联合熵的函数。由于最大可实现的密钥速率捕获与压缩源相互的信息的总量,所以最优压缩方案本质上使私有源的每比特随机性的多变量互信息最大化,并且因此可以更一般地被视为降维技术。单字母的最大可实现的密钥速率的上下限推导出一般源模型,和一个显式的多项式时间的可计算公式得到的两两独立的网络模型。特别地,利用速率限制的讨论,得到了相关秘密密钥协商问题的逆结果和上界。一个精确的对偶性示出了两个用户的情况下,单向的讨论,并将这种对偶性扩展到多用户的情况下,以获得所需的逆结果。压缩秘密密钥协商问题除了在信息处理和降维方面提出新的挑战外,通过提供一种更结构化的实现方案和一些更简单的证明方法,为解决速率受限的秘密密钥协商难题提供了新的思路。
2017-10-02 cs.IT math.IT
A Perspective on Unique Information: Directionality, Intuitions, and Secret Key Agreement
最近,部分信息分解成为一个有前途的框架,用于识别联合分布中包含的信息的有意义的成分。然而,由于缺乏一种普遍接受的量化其成分的方法,它的采用和实际应用一直受到阻碍。在这里,我们简要地讨论了双变量(两个源)部分信息分解和两个隐含的方向性解释,用于直观地激励替代组件的定义。平行秘密密钥协议率从信息理论密码学,我们表明,这些直觉是互不相容的,并建议,这是持久的竞争的定义和解释的基础。在强调了这一迄今未被承认的问题之后,我们概述了几种可能的解决方案。
2018-08-26 cs.CR cs.IT math.IT
Computing in Additive Networks with Bounded-Information Codes
研究了加性无线网络模型的理论,将接收信号抽象为发射信号的加和。我们的中心观察是,在这个模型中计算的关键挑战是不高的竞争,如前所述,而是保证有界量的\emph{information}在每个邻域每轮,一个属性,我们表明是可以实现的使用一种新的随机编码技术。从技术上讲,我们为加法网络中的基本分布式任务提供了有效的算法,例如解决各种对称性破缺问题,近似网络参数,以及解决\emph{asymmetry revealing}问题,例如计算最大输入。所使用的关键方法是一种新的随机编码技术,只要它不包含太多不同的值,该技术就允许节点成功地解码接收到的信息。然后,我们设计我们的算法,以在每个邻域中产生有限的信息,以便利用我们丰富的工具箱来计算加法网络。
2015-08-14 cs.DC cs.IT cs.NI
Individual Confidential Computing of Polynomials over Non-Uniform Information
针对非均匀分布数据的安全分布式计算问题,提出基于完美子集隐私与线性哈希的隐私保护方案,实现多项式计算的信息论安全,并证明对不可信服务提供商的信息泄漏可忽略。
2025-01-26 cs.IT math.IT
Optimizing Information Freshness in Computing enabled IoT Networks
物联网(IoT)已成为下一代无线网络的关键功能之一,其中及时交付状态更新数据包对于许多实时IoT应用至关重要。为了向用户提供上下文感知的服务并减轻传输负担,原始数据在传输到目的地之前通常需要进行预处理。然而,计算对整体信息新鲜度的影响还没有得到很好的理解。在这项工作中,我们首先开发了一个分析框架,以研究具有多个传感器的计算支持的物联网系统的信息新鲜度,即信息的峰值年龄(PAoI)。具体地说,我们将计算和传输过程建模为串联队列,并推导出不同传感器的平均PAoI的解析表达式。基于理论结果,我们制定了一个最小最大优化问题,以最大限度地减少不同传感器的最大平均PAoI。我们进一步设计了一个无导数的算法来寻找最佳的更新频率,与该算法的复杂性检查制定的问题的凸性或获得的目标函数的导数可以大大降低。大量的仿真结果验证了我们的分析和所提出的算法的有效性的准确性。
2019-10-12 cs.IT cs.NI math.IT
Applications of Common Information to Computing Functions
我们设计了一个低复杂度的分布式压缩方案,用于计算离散字母源的任意函数。我们使用一个基于助手的方法,扩展的定义的G{á}cs-K{<$}rner-Witsenhausen(GKW)的公共信息的功能性公共信息。该辅助器通过将联合源分布划分为由函数施加的嵌套来放松GKW的组合结构,这确保了源之间的分层合作,以有效地进行分布式计算。通过对比我们的方法的性能与现有的高效技术,我们证明了恢复功能和源数据的速率节省。置换不变函数广泛应用于学习和组合优化领域,最近被应用于图神经网络。我们考虑了在两个源和一个解码器的网络中计算置换不变函数的有效压缩。我们使用二分图表示,其中两个不相交的顶点集(部分)表示各个源图,边权重捕获联合源分布。我们通过创建由函数的分布确定的连接组件,考虑边缘对称性,并消除低概率边缘来压缩二分图。我们分别对这些边缘进行编码,并将其作为细化发送。我们的方法可以取代高复杂度的联合解码技术,并通知神经网络,以减少计算时间,降低复杂度。
2021-03-30 cs.IT cs.NI math.IT
Linear Convergence in Hilbert's Projective Metric for Computing Augustin Information and a Rényi Information Measure
本文利用 Hilbert 投影度量,证明了计算 Augustin 信息和一种 Rényi 信息测度的两种迭代算法在特定阶数下的线性收敛性,突破了此前仅知其渐近收敛的局限。
2024-09-27 cs.IT math.IT math.OC
Computing Lower Bounds on the Information Rate of Intersymbol Interference Channels
可证明的下界的信息率I(X; X+S+N),其中X是从一个固定的,有限大小的字母,S离散值的随机变量(RV)和N高斯RV的符号。信息速率I(X; X+S+N)用作被高斯噪声破坏的码间干扰(ISI)信道的容量的严格下限。新的边界可以计算出一个合理的计算负荷,并提供了一个类似的水平的紧密性作为众所周知的固定下限的Shamai和Laroia的一个很好的范围有限ISI信道的实际利益。所提出的界限的计算需要评估的幅度总和的前体ISI条款,以及其中的主要条款的识别看到在输出的最小均方误差(MMSE)的判决反馈均衡器(DFE)。
2011-10-03 cs.IT math.IT
Exploiting Non-Causal CPU-State Information for Energy-Efficient Mobile Cooperative Computing
在数量庞大的移动设备上清理空闲的计算资源可以为本地移动云计算提供强大的平台。这一愿景可以通过边缘设备之间的点对点协作计算(称为协同计算)来实现。本文考虑了一个协同计算系统,其中用户将输入数据的计算卸载到助手。帮助者基于预测的帮助者的CPU空闲简档来控制卸载过程,以最小化用户的能量消耗,该预测的帮助者的CPU空闲简档指定用于协同计算的可用计算资源的量。考虑这样一种情况:用户有一次输入数据到达,帮助程序缓冲卸载的位。将节能协同计算问题分解为两个子问题:自适应卸载的从问题和数据划分的主问题。给定固定的卸载数据大小,自适应卸载的目的是通过在截止期限和缓冲区约束下控制卸载速率来最小化用于卸载的能量消耗。通过推导最优解的充分必要条件,我们描述了最优策略的结构,并提出了计算策略的算法。此外,我们表明,最佳的数据分区卸载和本地计算在用户的问题是凸的,承认一个简单的解决方案,使用次梯度法。最后,开发的协同计算的设计方法扩展到突发数据到达用户帐户的数据因果关系约束的情况下。仿真结果验证了所提算法的有效性。
2017-09-04 cs.IT cs.NI math.IT
List-Decodable Coded Computing: Breaking the Adversarial Toleration Barrier
University of Michigan(密歇根大学);University of Southern California(南加州大学)
我们考虑编码计算的问题,其中计算任务在对抗性工人存在的情况下以分布式方式执行。我们提出了一些技术来打破以前在编码计算中已知的对抗性容忍阈值障碍。更具体地说,我们利用列表解码技术折叠里德-所罗门码,并提出了新的算法来恢复正确的码字使用边信息。在编码计算设置中,我们展示了主节点如何执行某些精心设计的额外计算以获得边信息。与每个工作人员完成的计算相比,计算这些辅助信息的工作量可以忽略不计。然后利用该边信息来修剪列表解码器的输出,并唯一地恢复真实结果。我们进一步提出了折叠拉格朗日编码计算(FLCC),将开发的技术到一个特定的编码计算设置。我们的研究结果表明,FLCC优于LCC,打破了可以容忍的对手数量的障碍。特别地,FLCC中的相应阈值与LCC相比渐进地提高了两倍。
2021-08-19 cs.DC cs.IT cs.LG
Security Formalizations and Their Relationships for Encryption and Key Agreement in Information-Theoretic Cryptography
本文回顾了密码学中非常基本的原始密钥加密和密钥协商协议的信息论安全的形式化。一般来说,我们可以通过各种方式形式化信息理论安全:其中一些可以通过扩展(或放松)香农的完美保密性或其他方式(如语义安全)形式化为独立安全;其中一些可以基于组合安全。那么,关于这一点的一个自然问题是:形式化之间的差距是什么?为了回答这个问题,我们调查的几个形式化的信息理论安全的密钥加密和密钥协商协议之间的关系。具体而言,对于在一般设置,包括存在解密错误的情况下的密钥加密协议,我们处理以下形式化的安全性:形式化扩展(或放松)从香农的完美保密使用互信息和统计距离;信息理论的类似物的不可否认性和语义安全的Goldwasser和Micali;和组合安全的Maurer等。然后,我们显式地证明了这些形式化之间的等价性和不等价性。在该模型下,我们还推导出了对手的(或对手的)优势的下界和所有上述形式化下所需的密钥的大小。虽然其中一些可能是已知的,但我们可以通过形式化之间的关系一次显式地导出它们。此外,我们简要地观察不可能的结果,很容易遵循的下限。在一般情况下,包括协议中存在一致性错误的情况下,对密钥协商协议也得到了类似的结果。
2014-10-05 cs.CR cs.IT math.IT
Asymptotic evaluation of the information processing capacity in reservoir computing
Kyutech(京都科技大学)
本文提出了一种基于渐近展开和加权最小二乘拟合的方法,用于评估回声状态计算中无限长数据的信息处理能力,以更准确地评估其性能。
2025-11-21 cs.IT cs.LG eess.SP
Strong XOR Lemma for Information Complexity
本文研究双方随机通信中的信息复杂度,证明强 XOR 引理,说明 n 重 XOR 的朴素协议在信息成本与误差权衡上均渐近最优。
2025-06-16 cs.CC cs.IT math.IT
Computational Polarization: An Information-theoretic Method for Resilient Computing
我们引入了一个错误弹性的分布式计算方法的基础上扩展的信道极化现象的分布式算法。该方法利用将两个相同的计算节点转换为慢速和快速工作者的算法分裂操作,这与极化码中的信道分裂操作并行。这种操作保持了平均运行时间,类似于信道极化中香农容量的守恒。通过利用与快速傅立叶变换类似的递归构造,该方法合成了具有分散返回时间分布的虚拟计算节点,我们称之为计算极化。我们证明了运行时分布形成一个功能鞅过程,确定其极限分布的封闭形式的表达式与非渐近收敛速度,并证明强收敛结果在Banach空间。我们提供了一个信息理论的下限上的任何编码的计算方法的整体运行时间,并表明计算极化方法渐近实现计算线性函数的最佳运行时间。一个重要的优点是接近线性时间解码过程,这比最大距离可分离码便宜得多。
2021-09-08 cs.DC cs.IT math.IT
Computing Augustin Information via Hybrid Geodesically Convex Optimization
针对任意正阶 Augustin 信息计算,本文提出 Poincaré 度量下的黎曼梯度下降算法,并借助混合测地凸与测地光滑分析给出 O(1/T) 非渐近收敛保证。
2024-05-09 cs.IT math.IT math.OC
Unique Information and Secret Key Agreement
部分信息分解(PID)是一种很有前途的框架,用于将联合随机变量分解为每个源变量Xi相对于其他源对目标变量Y的影响量。对于两个来源,影响力分解为X 0和X1与Y冗余共享的信息,X 0与Y唯一共享的信息,X1与Y唯一共享的信息,以及X 0和X1与Y协同共享的信息。不幸的是,在如何量化这四个组成部分的问题上出现了相当大的分歧。借鉴密码学,我们认为秘密密钥协议率作为量化唯一信息的一种操作方法。秘密密钥协议速率有几种形式,取决于允许哪些方通信。我们证明了这四种形式中的三种与PID不一致。剩下的形式意味着某些解释,以PID的意义-解释不存在于PID的定义,但我们认为,需要明确。这揭示了三阶连接信息、双向秘密密钥一致率和协同性之间的不一致性。类似的困难出现在一个流行的PID措施在光的结果在这里,以及从最大熵的观点。最后,我们回顾了PID面临的挑战。
2018-11-01 cond-mat.stat-mech cs.IT math.IT
On Model Coding for Distributed Inference and Transmission in Mobile Edge Computing Systems
考虑移动边缘计算系统,其中用户希望获得对本地测量的输入数据的线性推断操作的结果。与卸载的输入数据不同,模型权重矩阵分布在无线边缘节点(EN)上。EN具有不确定的计算时间,并且它们可以协作地将任何共享的计算输出传输回用户。这封信研究了在EN存储之前对模型信息进行编码所获得的潜在优势。通过信息理论的分析,它的结论是,虽然一般限制合作的机会,编码是有助于减少整体计算加通信延迟。
2019-04-11 cs.IT eess.SP math.IT
Algorithms for Computing the Petz-Augustin Capacity
National Taiwan University(国立台湾大学);Center for Quantum Science and Engineering, National Taiwan University(国立台湾大学量子科学与工程中心)
本文提出计算Petz-Augustin容量的算法,通过两层方法结合熵镜像下降和固定点算法,实现非渐近收敛保证。
2026-01-10 cs.IT math.IT math.OC