Computing the Unique Information
给定一对预测变量和一个响应变量,预测变量有多少关于响应的信息,这些信息如何分布在独特的、冗余的和协同的分量之间?最近的工作已经提出了量化的分解的唯一组件的最小值的条件互信息在一组约束的信息通道。我们提出了一个有效的迭代发散最小化算法来解决这个优化问题的收敛保证,并评估其性能对其他技术。
2018-05-29 cs.IT math.IT
Alternating Optimization Approach for Computing $α$-Mutual Information and $α$-Capacity
本研究基于反向信道的变分表征,提出了计算 $α$-互信息和 $α$-容量的交替优化算法,并证明了基于 Sibson MI 表征的算法收敛速度最快。
2025-04-30 cs.IT math.IT
A Variational Characterization of $H$-Mutual Information and its Application to Computing $H$-Capacity
该研究提出$H$-互信息的变分表征,并基于此设计交替优化算法以计算$H$-容量,拓展了这类广义信息泄露度量的计算方法。
2024-06-20 cs.IT math.IT
Computing Information Agreement
一致性测量对于比较相同诊断结果的不同评价和验证新的评级系统或设备都是有用的。信息一致性(IA)是一种基于信息理论的一致性度量,旨在克服科恩Kappa的所有局限性和所谓的陷阱。然而,它只能处理值为正自然数的一致矩阵。这项工作扩展IA承认也0作为一个可能的值的协议矩阵单元。
2020-08-26 cs.IR cs.IT math.IT
Age of Information of Multi-user Mobile Edge Computing Systems
在本文中,我们分析了平均年龄的信息(AoI)和平均峰值AoI(PAoI)的多用户移动边缘计算(MEC)系统中,基站(BS)生成并发送计算密集型数据包的用户设备(UE)。在该MEC系统中,我们关注三种计算方案:(i)本地计算方案,其中所有计算任务由UE处的本地服务器计算,(ii)边缘计算方案,其中所有计算任务由BS处的边缘服务器计算,以及(iii)部分计算方案,其中计算任务部分地在边缘服务器处分配,其余的由本地服务器计算。考虑到指数分布的传输时间和计算时间,并采用先来先服务(FCFS)排队策略,我们推导出封闭形式的平均AoI和平均PAoI的表达式。为了解决平均AoI表达式的复杂性,我们推导出简单的平均AoI的上限和下限,这使我们能够明确地检查MEC系统参数上的最佳卸载决策的依赖性。仿真结果的帮助下,我们验证了我们的分析,并说明了系统参数对AoI性能的影响。
2022-11-02 cs.IT math.IT
Computing Unique Information for Poisson and Multinomial Systems
本文针对泊松和多项系统,给出计算双变量部分信息分解的充分条件,证明独特信息项为零,从而利用边际和联合互信息轻松计算PID。
2023-05-11 cs.IT math.IT
Distributed Computing of Functions of Structured Sources with Helper Side Information
本文提出一种利用信源联合分布、边信息及函数对称性的编码方案,在混合模型下大幅降低分布式计算通信成本,并将解码复杂度从指数降为线性。
2023-07-26 cs.IT math.IT
Optimizing Peak Age of Information in MEC Systems: Computing Preemption and Non-preemption
本文研究MEC系统中最小化平均峰值信息年龄的问题,在抢占与非抢占两种计算模式下分别证明了固定阈值策略和传输感知阈值策略的最优性,并通过仿真揭示了抢占并非总是优于非抢占以及阈值随传输与计算时间比变化的规律。
2024-04-03 cs.IT math.IT
An Algorithm for Computing the Capacity of Symmetrized KL Information for Discrete Channels
针对固定离散信道,提出对称化KL信息容量计算算法,通过对称化KL散度矩阵并迭代更新求解非凹优化,在二元对称和二项信道验证,并应用于Gibbs信道寻找最坏数据分布。
2024-07-18 cs.IT math.IT
Individual Confidential Computing of Polynomials over Non-Uniform Information
针对非均匀分布数据的安全分布式计算问题,提出基于完美子集隐私与线性哈希的隐私保护方案,实现多项式计算的信息论安全,并证明对不可信服务提供商的信息泄漏可忽略。
2025-01-26 cs.IT math.IT
Price-Based Distributed Offloading for Mobile-Edge Computing with Computation Capacity Constraints
移动边缘计算(MEC)通过将计算任务从无线设备卸载到网络边缘来实现实时信息传输和计算,是一种很有前途的技术。
2017-12-02 cs.IT math.IT
Linear Convergence in Hilbert's Projective Metric for Computing Augustin Information and a Rényi Information Measure
本文利用 Hilbert 投影度量,证明了计算 Augustin 信息和一种 Rényi 信息测度的两种迭代算法在特定阶数下的线性收敛性,突破了此前仅知其渐近收敛的局限。
2024-09-27 cs.IT math.IT math.OC
Computing Lower Bounds on the Information Rate of Intersymbol Interference Channels
可证明的下界的信息率I(X; X+S+N),其中X是从一个固定的,有限大小的字母,S离散值的随机变量(RV)和N高斯RV的符号。信息速率I(X; X+S+N)用作被高斯噪声破坏的码间干扰(ISI)信道的容量的严格下限。新的边界可以计算出一个合理的计算负荷,并提供了一个类似的水平的紧密性作为众所周知的固定下限的Shamai和Laroia的一个很好的范围有限ISI信道的实际利益。所提出的界限的计算需要评估的幅度总和的前体ISI条款,以及其中的主要条款的识别看到在输出的最小均方误差(MMSE)的判决反馈均衡器(DFE)。
2011-10-03 cs.IT math.IT
Robust Design of AC Computing-Enabled Receiver Architecture for SWIPT Networks
受直接使用交流电(AC)进行计算的启发,我们提出了一种新型的集成信息和能量接收器架构,用于同时无线信息和功率传输(SWIPT)网络。在这种情况下,AC计算方法,其中无线收集的AC能量被直接用于供应接收器的计算块,不仅增强了计算能力,而且比传统的直流(DC)方法提高了能量效率。此外,我们的目标是管理信息解码(ID)和能量收集(EH)之间的权衡,同时考虑到不完美的信道估计。这导致在EH要求、供应AC计算逻辑所需的能量和发射功率预算的约束下最大化数据率的最坏情况优化问题。然后,我们提出了一种方法来获得封闭形式的最优解。数值结果表明,所提出的架构与AC计算显着改善率能量区域。
2019-01-17 cs.IT math.IT
Optimal Zero-Error Coding for Computing under Pairwise Shared Side Information
研究了具有边信息(SI)$g(Y)$的编码器将信源符号$X$发送到解码器的零差错信源编码问题。解码器具有SI $Y$并且想要恢复$f(X,Y)$,其中$f,g$是确定性的。我们展示了一个条件的源分布和$g$,我们称之为“成对共享的边信息”,这样的最佳速率有一个单字母的表达式。如果每对源符号“共享”$g$的所有输出的至少一个SI符号,则满足该条件。它具有实际的解释,因为$Y$对编码器在图像$X$上做出的请求进行建模,并且$g(Y)$对应于请求的类型。它也有一个图形理论的解释:在“成对共享边信息”下,特征图可以写为OR产品的不相交并集。在源分布是完全支持的情况下,我们提供了一个解析表达式的最佳速率。我们在“成对共享辅助信息”下开发了一个示例,并表明最佳编码方案优于文献中的几种策略。
2022-12-16 cs.IT math.IT
List-Decodable Coded Computing: Breaking the Adversarial Toleration Barrier
University of Michigan(密歇根大学);University of Southern California(南加州大学)
我们考虑编码计算的问题,其中计算任务在对抗性工人存在的情况下以分布式方式执行。我们提出了一些技术来打破以前在编码计算中已知的对抗性容忍阈值障碍。更具体地说,我们利用列表解码技术折叠里德-所罗门码,并提出了新的算法来恢复正确的码字使用边信息。在编码计算设置中,我们展示了主节点如何执行某些精心设计的额外计算以获得边信息。与每个工作人员完成的计算相比,计算这些辅助信息的工作量可以忽略不计。然后利用该边信息来修剪列表解码器的输出,并唯一地恢复真实结果。我们进一步提出了折叠拉格朗日编码计算(FLCC),将开发的技术到一个特定的编码计算设置。我们的研究结果表明,FLCC优于LCC,打破了可以容忍的对手数量的障碍。特别地,FLCC中的相应阈值与LCC相比渐进地提高了两倍。
2021-08-19 cs.DC cs.IT cs.LG
Analysis on Computation-Intensive Status Update in Mobile Edge Computing
在状态更新场景中,信息的新鲜度是根据信息年龄(AoI)来测量的,AoI本质上反映了实时应用向远程控制器发送状态更新消息的及时性。对于某些应用,要显示消息的状态信息,计算昂贵且耗时的数据处理是不可避免的。移动边缘服务器配备了足够的计算资源,并且它们被放置在用户附近。因此,移动边缘计算(MEC)可能是一种有前途的技术,可以减少计算密集型消息的AoI。在本文中,我们研究了具有MEC的计算密集型消息的AoI,并考虑了三种计算方案:本地计算,MEC服务器上的远程计算和部分计算,即,一部分计算任务在本地执行,其余部分在MEC服务器上执行。三种方案均采用零等待策略。具体而言,在本地计算中,在通过计算揭示前一个消息之后立即生成新的消息。而在远程计算和部分计算中,一旦远程MEC服务器接收到前一个消息,就生成新的消息。在队列长度为无穷大、传输时间为指数分布的情况下,推导出了三种计算方案在计算时间为指数分布式计算时的平均AoI的封闭形式。对于确定性的计算时间,平均AoI进行了数值分析。仿真结果表明,通过仔细划分计算任务,部分计算的平均AoI是最小的本地计算和远程计算相比。结果还表明,数值上的条件下,远程计算达到较小的平均AoI相比,本地计算。
2020-02-15 cs.IT eess.SP math.IT
Asymptotic evaluation of the information processing capacity in reservoir computing
Kyutech(京都科技大学)
本文提出了一种基于渐近展开和加权最小二乘拟合的方法,用于评估回声状态计算中无限长数据的信息处理能力,以更准确地评估其性能。
2025-11-21 cs.IT cs.LG eess.SP
Algorithm Families for Computing Information-Theoretic Forms of Strong Converse Exponents in Channel Coding and Lossy Source Coding
离散无记忆信道的误差指数用两种形式表示。一个是Gallager的表达与一个积极的斜率参数和其他Csiszar和Korner的信息理论表示使用的互信息和相对熵。它们在外观上不同,现有的方法来证明他们的协议是不基本的,因为它们需要评估的KKT条件,最佳分配必须满足。类似地,强逆指数有两种类型的表达式。它们分别是具有负斜率参数的Arimoto表达式和Dueck和Korner的信息论表达式。本文的目的是澄清两种表示指数的方法之间的关系,即,表示使用斜率参数和那些使用信息理论量,从算法的角度计算指数。Arimoto的算法是基于斜率参数的表达式,而作者的算法和Tridenski和Zamir的算法是基于Dueck和Korner的信息论表达式。最近提出了一个算法族,其中包括上述两个算法的特殊情况。本文阐明了Tridenski和Zamir算法的收敛性证明了Arimoto和Dueck及Korner指数的匹配。我们讨论了另一个家庭的算法,并使用其中使用的代理目标函数,证明了两个表达式的误差指数相吻合。在此证明中不需要评估KKT条件。然后讨论了有损信源编码中错误和正确译码概率指数的计算。定义了一种新的计算信源编码强逆指数的算法族。算法族中的一个成员的收敛性意味着强逆指数的两个表达式的匹配。
2022-11-04 cs.IT math.IT
Information-Theoretic Caching: Sequential Coding for Computing
在缓存的范例下,部分数据在用户的实际请求被知道之前被传递。本文将该问题建模为带边信息的规范分布式信源编码问题,边信息代表用户的请求。对于单用户情况,建立了最优速率区域的单字母特征,对于几种重要的特殊情况,给出了封闭形式的解,包括用户请求均匀分布的情况.在这种情况下,它表明,最佳的缓存策略是密切相关的总相关性和Wyner的共同信息。使用从单用户的情况下获得的洞察力,三个两个用户的情况下承认单字母的特征,其中绘制连接到现有的信源编码的文献中的问题:灰色-Wyner系统和分布式连续细化。最后,Maddah-Ali和Niesen研究的模型被改写,以与所考虑的信息理论模型进行比较。虽然这两种缓存模型在单用户情况下具有类似的行为,但通过两个用户的示例显示,这两种缓存模型的行为通常不同。
2016-02-27 cs.IT math.IT
Strong XOR Lemma for Information Complexity
本文研究双方随机通信中的信息复杂度,证明强 XOR 引理,说明 n 重 XOR 的朴素协议在信息成本与误差权衡上均渐近最优。
2025-06-16 cs.CC cs.IT math.IT
Computational Polarization: An Information-theoretic Method for Resilient Computing
我们引入了一个错误弹性的分布式计算方法的基础上扩展的信道极化现象的分布式算法。该方法利用将两个相同的计算节点转换为慢速和快速工作者的算法分裂操作,这与极化码中的信道分裂操作并行。这种操作保持了平均运行时间,类似于信道极化中香农容量的守恒。通过利用与快速傅立叶变换类似的递归构造,该方法合成了具有分散返回时间分布的虚拟计算节点,我们称之为计算极化。我们证明了运行时分布形成一个功能鞅过程,确定其极限分布的封闭形式的表达式与非渐近收敛速度,并证明强收敛结果在Banach空间。我们提供了一个信息理论的下限上的任何编码的计算方法的整体运行时间,并表明计算极化方法渐近实现计算线性函数的最佳运行时间。一个重要的优点是接近线性时间解码过程,这比最大距离可分离码便宜得多。
2021-09-08 cs.DC cs.IT math.IT
Computing Augustin Information via Hybrid Geodesically Convex Optimization
针对任意正阶 Augustin 信息计算,本文提出 Poincaré 度量下的黎曼梯度下降算法,并借助混合测地凸与测地光滑分析给出 O(1/T) 非渐近收敛保证。
2024-05-09 cs.IT math.IT math.OC
Uniquely-Decodable Coding for Zero-Error Network Function Computation
研究零误差网络函数计算的唯一可解码编码,通过团熵替换引理推导适用于任意网络的下界并细化概率分布改进之,证明其计算容量优于定长编码。
2025-09-13 cs.IT math.IT
On Model Coding for Distributed Inference and Transmission in Mobile Edge Computing Systems
考虑移动边缘计算系统,其中用户希望获得对本地测量的输入数据的线性推断操作的结果。与卸载的输入数据不同,模型权重矩阵分布在无线边缘节点(EN)上。EN具有不确定的计算时间,并且它们可以协作地将任何共享的计算输出传输回用户。这封信研究了在EN存储之前对模型信息进行编码所获得的潜在优势。通过信息理论的分析,它的结论是,虽然一般限制合作的机会,编码是有助于减少整体计算加通信延迟。
2019-04-11 cs.IT eess.SP math.IT
Joint Transmission and Computing Scheduling for Status Update with Mobile Edge Computing
信息年龄(AoI)定义为自生成最新接收到的更新以来经过的时间,是一种很有前途的性能指标,用于测量实时状态监控的数据新鲜度。在许多应用中,需要通过计算来提取状态信息,这些信息可以在由移动边缘计算(MEC)启用的边缘服务器上进行处理。在本文中,我们的目标是最小化的平均AOI在给定的最后期限内,通过联合调度的传输和计算的一系列更新数据包具有确定性的传输和计算时间。主要分析结果总结如下。首先给出了保证所有数据包成功传输和计算的最小截止时间。其次,提出了一种直观地获得最小AoI的\emph{no-wait computing}策略,并推导了该策略的可行性条件。最后,在截止期超过一定阈值的条件下,得到了一个封闭形式的最优调度策略。数值结果表明,在不同的截止期值的最优传输和计算策略的行为,这验证了分析结果。
2020-02-22 cs.IT eess.SP math.IT
Algorithms for Computing the Petz-Augustin Capacity
National Taiwan University(国立台湾大学);Center for Quantum Science and Engineering, National Taiwan University(国立台湾大学量子科学与工程中心)
本文提出计算Petz-Augustin容量的算法,通过两层方法结合熵镜像下降和固定点算法,实现非渐近收敛保证。
2026-01-10 cs.IT math.IT math.OC
An Extension to Basis-Hypervectors for Learning from Circular Data in Hyperdimensional Computing
University of California, Irvine(加州大学欧文分校)
超维计算(HDC)是一种基于高维随机空间性质的计算框架。它对于资源受限环境中的机器学习特别有用,例如嵌入式系统和物联网,因为它在准确性,效率和鲁棒性之间实现了良好的平衡。信息到超空间的映射,称为编码,是HDC中最重要的阶段。其核心是基础超向量,负责表示有意义信息的最小单元。在这项工作中,我们提出了一个详细的研究基础超向量集,这导致实际的贡献HDC一般:1)我们提出了一个改进的水平超向量,用于编码实数; 2)我们介绍了一种方法来学习循环数据,一个重要的信息类型从来没有在机器学习与HDC。实证结果表明,这些贡献导致更准确的分类和回归模型与循环数据。
2022-05-16 cs.IT cs.LG math.IT
Linear Codes, Target Function Classes, and Network Computing Capacity
我们研究了使用线性码的网络计算在单接收器网络与各类目标函数的源消息。这类函数包括有限域上的可约、内射、半内射和线性目标函数。计算能力的界限和可扩展性相对于这些目标函数类的网络代码,使用路由,线性编码,或非线性编码。
2011-05-07 cs.DC cs.IT math.CO