Characterizing Dependence of Samples along the Langevin Dynamics and Algorithms via Contraction of $Φ$-Mutual Information
本文研究了连续空间采样马尔可夫链中样本间依赖性的衰减速度，通过证明沿整个轨迹成立强数据处理不等式，得出在强对数凹目标分布下样本间 $Φ$-互信息呈指数级收缩至零的结论。
2025-06-26 cs.IT math.IT math.ST
Markov Chain Order estimation with Conditional Mutual Information
我们引入条件互信息（CMI）的马尔可夫链的顺序估计。对于一个马尔可夫链的$K$符号，我们定义CMI的顺序$m$，$I_c(m)$，作为两个变量的互信息链中的$m$时间步长分开，条件链的中间变量。基于CMI的估计偏差，我们找到了近似的解析显著性限，并给出了$I_c(m)$的随机化显著性检验，其中随机化符号序列由原始符号序列的分量随机排列而成.应用显著性检验以增加$m$，并通过拒绝零假设的最后一个阶来估计马尔可夫链阶。我们提出了适当的CMI测试蒙特卡罗模拟和比较赤池和贝叶斯信息准则，最大波动方法（佩雷斯-希尔兹估计）和似然比检验增加订单使用$ϕ$ -发散。CMI检验的顺序准则对于大于1的顺序是优越的，但其对于大顺序的有效性取决于数据的可用性。根据模拟的结果，我们用CMI检验和其他关于基因和DNA链的基因间区的准则解释了估计的阶数。
2013-01-01 cs.IT math.IT physics.data-an
Markov chain order estimation with parametric significance tests of conditional mutual information
除了文献中提出的不同方法之外，从给定的符号序列精确估计马尔可夫链的阶数是一个公开的问题，特别是当阶数是中等大的时候。这里，对符号序列上的递增阶数$m$、$I_c(m)$的条件互信息（CMI）的参数显著性检验针对递增阶数$m$进行，以便估计底层马尔可夫链的真实阶数$L$。$m$阶的CMI是马尔可夫链中相隔$m$时间步的两个变量的互信息，条件是链的中间变量。CMI的零分布近似为正态分布和Γ分布，Γ分布由正态分布的均值和方差导出其参数的解析表达式。阶估计的准确性进行了评估与三个参数的测试，并进行了比较，随机化的显着性检验和其他已知的阶估计标准使用蒙特卡罗模拟的马尔可夫链与不同的顺序$L$，符号序列的长度$N$和符号数$K$。使用Γ分布（直接定义参数）的参数检验始终优于其他两种参数检验，并且与随机化检验的性能匹配良好。测试应用于基因和基因间区域的DNA序列，并解释了估计的订单鉴于从模拟研究的结果。该应用程序显示了长符号序列的随机化测试变得非常慢，计算的参数伽玛测试的有用性。
2015-11-07 cs.IT math.IT physics.data-an
Abstract Markov Random Fields
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）；Institute for Theoretical Physics, University of Amsterdam（阿姆斯特丹大学理论物理研究所）；Korteweg-de Vries Institute for Mathematics, University of Amsterdam（阿姆斯特丹大学科特韦格-德弗里斯数学研究所）
本文研究了基于F函数的马尔可夫随机场，定义了F独立性和F马尔可夫随机场，并探讨了其在信息函数中的应用。
2026-03-19 cs.IT math.IT
Permutation Excess Entropy and Mutual Information between the Past and Future
我们解决过剩熵，这是平稳时间序列的复杂性的措施，从有序的角度来看。证明了有限状态平稳遍历马氏过程序空间中两个相邻半无限块之间的置换过剩熵等于互信息。这一结果可能为复杂性和预期之间的关系提供新的线索。
2011-12-12 cs.IT math.IT nlin.CD
Reed-Muller codes polarize
Reed-Muller（RM）码和极化码由相同的矩阵$G_m= \bigl[\begin{smallmatrix}1 & 0 \\ 1 & 1 \\ \end{smallmatrix}\bigr]^{\otimes m}$生成，但是使用不同的行子集。RM码简单地选择具有最大权重的行。相反，极化码选择具有最大条件互信息的行，在$G_m$中从上到下进行;虽然这是更精细且依赖于信道的规则，但从上到下的排序具有使条件互信息更精细的优点，从而在任何二进制无记忆对称信道（BMSC）上直接给出容量实现码。RM码具有这样的性质还有待证明。在本文中，我们重新RM码极化理论。结果表明，在RM码排序，即，不是从上到下，而是从$G_m$中最轻的行到最重的行，条件互信息再次极化。我们进一步证明了它比极化码更快。这意味着$G_m$包含不同于极化码的另一个码，并且在这里被称为孪生码，其在任何BMSC上可证明是容量实现的。这证明了RM码在BMSC上实现容量的必要条件。它进一步给出了条件互信息最大的行对应于最重的行的充分条件，即，如果孪生码是RM码。我们在这里表明，这两个代码裸露彼此的相似性，并提供进一步的证据，他们可能是相同的。
2019-01-31 cs.IT math.IT
Shared Information for a Markov Chain on a Tree
针对树上马尔可夫链，研究利用基于图分离的全局马尔可夫性质重新证明共享信息的显式刻画，并在联合分布未知时提出多臂老虎机估计算法且分析误差。
2024-01-22 cs.IT math.IT
An axiomatic characterization of mutual information
我们的特点互信息作为唯一的映射顺序对随机变量满足一组公理类似的法捷耶夫的香农熵的表征。然而，在我们的表征中有一个新的公理，它没有香农熵的类似物，基于马尔可夫三角形的概念，它可以被认为是条件熵起作用的通信信道的组成。我们的证明是坐标自由的，在这个意义上，没有出现在我们的计算中。
2022-11-29 cs.IT math.IT math.PR
Information Aging through Queues: A Mutual Information Perspective
在本文中，我们提出了一种新的措施的新鲜度的信息，它使用之间的互信息的实时源值和交付的样本在接收端量化的新鲜度的信息中包含的样本。因此，接收信息的“老化”可以被解释为上述互信息随着年龄增长而减少的过程。此外，我们考虑一个抽样问题，在马尔可夫源的样本，并通过一个队列发送到接收器。为了优化信息的新鲜度，我们研究了最大化时间平均期望互信息的最优采样策略。证明了最优抽样策略是阈值策略，并准确地找到了最优阈值。具体地，一旦条件互信息项减小到阈值，则获取新的样本，并且该阈值等于正被最大化的时间平均期望互信息的最优值。数值结果比较不同的抽样政策。
2018-06-16 cs.IT math.IT
Confounding Ghost Channels and Causality: A New Approach to Causal Information Flows
信息论提供了一个基本的框架，通过渠道，正式马尔可夫核信息流的量化。然而，诸如互信息和条件互信息的量不一定反映这种流的因果性质。我们认为，这往往是条件的基础上，不与给定的渠道西格玛代数的结果。我们提出了一个版本的（有条件的）互信息的基础上的家庭的西格玛代数耦合的基础通道。这导致过滤，使我们能够证明相应的因果链规则作为一个基本要求内所提出的方法。
2020-07-06 cs.IT math.IT
EXIT Chart Analysis of Block Markov Superposition Transmission of Short Codes
本文提出了一种改进的外信息传输（EXIT）图分析法，它考虑了互信息（MI）与误码率（BER）之间的关系，用于研究短码（简称基本码）的分组马尔可夫叠加传输（BMST）的收敛性。我们表明，BMST码的阈值曲线，使用迭代滑动窗口解码算法与固定的解码延迟达到一个下界在高信噪比（SNR）区域，而在低信噪比区域，由于错误传播，BMST码的阈值变得略差的编码内存的增加。我们还证明了阈值结果与有限长度的性能模拟是一致的。
2015-01-31 cs.IT math.IT
Hybrid Beamformer Codebook Design and Ordering for Compressive mmWave Channel Estimation
在毫米波（mmWave）通信系统中，利用大型天线阵列的波束成形对于克服高路径损耗至关重要。将全数字波束成形分为模拟和数字阶段可以提供实际实现所需的功耗的大幅降低和频谱效率的小幅损失。由于模拟级中的额外自由度及其伴随的硬件约束，开发具有这种有利权衡的算法是具有挑战性的。例如，在混合波束成形系统中，信道估计算法不直接观察信道，面对高信道计数，并且在发射-接收波束对准之前在低SNR下操作。由于毫米波信道在时域和波束域中是稀疏的，因此已经开发了许多压缩感知（CS）信道估计算法，其随机配置模拟波束形成器、数字波束形成器和/或导频符号。在本文中，我们提出设计确定性波束形成器和导频符号的开环信道估计。我们使用CS方法，依赖于低相干性的恢复保证，因此寻求最小化的压缩传感矩阵的相互相干性。我们还提出了一个预编码器列排序设计的导频符号。仿真结果表明，我们的波束形成器的设计减少了竞争方法的信道估计误差。
2019-09-21 cs.IT math.IT
Information Theoretic Properties of Markov Random Fields, and their Algorithmic Applications
Massachusetts Institute of Technology（麻省理工学院）
马尔可夫随机场是高维概率分布的流行模型。多年来，人们对这类问题的数学、统计和算法等方面的问题进行了大量的研究.直到最近，唯一已知的可证明学习它们的算法依赖于穷举搜索，相关性衰减或各种不相干假设。Bresler给出了有界度图上一般Ising模型的学习算法。他的方法是基于伊辛模型中关于互信息的结构结果。在这里，我们采取一个更概念化的方法来证明下限的互信息，通过建立一个适当的零和游戏。我们的证明推广远远超出伊辛模型，任意马尔可夫随机场与高阶相互作用。作为应用，我们得到了学习马尔可夫随机场上的有界度图的$n$节点的$r$阶的相互作用在$n^r$时间和$\log n$样本复杂度的算法。样本复杂度是信息理论上最优的，直到最大程度的依赖。运行时间几乎是最佳的标准假设下的硬度学习奇偶噪声。
2017-05-31 cs.DS cs.IT cs.LG
Bounds for Algorithmic Mutual Information and a Unifilar Order Estimator
受Hilberg假设的启发，该假设指出自然语言块之间的互信息像幂律一样增长，我们寻求算法互信息的幂律增长率与单线阶的一些估计之间的联系，即，隐状态的数量在生成平稳遍历源在其最小单线隐马尔可夫表示。我们考虑一个顺序估计返回的最小顺序的最大似然大于一个弱惩罚的普遍概率。这种阶估计量是难以处理的，并且遵循Merhav，Gutman和Ziv（1989）以及Ziv和Merhav（1992）的思想，但尽管有一些很好的理论性质，但其精确形式似乎被忽视了。特别是，我们可以证明强一致性的顺序估计和算法的互信息的上界在it.Using这两个结果，我们表明，所有（也不可计算）源的有限unifilar为了表现出次幂律增长的算法互信息和unifilar顺序估计。相比之下，我们还展示了一个例子的单线过程的一个可数无限的顺序，确定性的下推自动机和算法随机预言机，其中提到的两个数量增长的幂律具有相同的指数。我们也将我们的研究结果与自然语言的研究。
2020-12-28 cs.IT math.IT
Learning Discrete Structured Representations by Adversarially Maximizing Mutual Information
Rutgers University（罗格斯大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们提出了学习离散结构化表示从未标记的数据最大化之间的互信息的结构化的潜在变量和目标变量。在这种情况下，计算互信息是困难的。我们的关键技术贡献是一个对抗性的目标，可用于可追踪地估计互信息，假设只有交叉熵计算的可行性。我们开发了一个具体的实现，这个一般配方与马尔可夫分布的二进制编码。我们报告的关键和意想不到的结果，如变分先验的选择的目标的实际方面。我们将我们的模型应用于文档散列，并表明它优于基于离散和矢量量化变分自编码器的当前最佳基线。它还产生高度压缩的可解释表示。
2020-07-15 cs.IT cs.LG math.IT
Optimal Sensor Design and Zero-Delay Source Coding for Continuous-Time Vector Gauss-Markov Processes
我们考虑的情况下，连续时间向量高斯-马尔可夫过程是通过一个矢量高斯信道（传感器）观察和估计的卡尔曼-布西滤波器。与标准滤波问题中的传感器模型是先验给定的不同，我们关注的是最优传感器设计，其中（i）源随机过程和再现（估计）过程之间的互信息最小化，以及（ii）最小均方估计误差满足给定的失真约束。我们表明，这样的传感器设计问题是听话的半定规划。零延迟源编码的连接也进行了讨论。
2017-09-10 cs.IT math.IT math.OC
Markov Categories and Entropy
本研究将马尔可夫范畴框架与信息论定量概念结合，通过增广马尔可夫范畴刻画信息论定量特性，基于范畴的确定性概念定义熵，可复原多种经典熵并给出广义熵的概念性定义。
2023-10-25 cs.IT cs.LO math.CT
An Information-Theoretic Approach for Automatically Determining the Number of States when Aggregating Markov Chains
Naval Surface Warfare Center—Panama City（海军水面作战中心巴拿马城分部）；University of Florida（佛罗里达大学）
聚合马尔可夫链时的一个基本问题是状态组的数量的规范。太少的状态组可能无法充分捕获原始高阶马尔可夫链的相关动态。太多的状态组可能会导致一个非简约的，降阶马尔可夫链的复杂性的竞争对手的原始。在本文中，我们表明，一个增强的价值的信息为基础的方法，以聚集马尔可夫链，便于确定的状态组的数量。最佳状态组计数与降阶链的复杂性与原始和降阶链动态之间的相互依赖性相平衡的情况相吻合。
2021-07-05 cs.IT cs.LG math.IT
Universal recovery map for approximate Markov chains
量子信息理论中的一个中心问题是确定如何很好地重建丢失的信息。至关重要的是，相应的恢复操作应该在不知道要重建的信息的情况下执行良好。在这项工作中，我们表明，量子条件互信息措施的性能，这样的恢复操作。更准确地说，我们证明了条件互信息$I(A:C|B)$的一个三方量子态$ρ_{ABC}$可以有界的距离从下到最近的恢复状态$\mathcal{R}_{B \to BC}(ρ_{AB})$，其中的$C$ -部分是重建的$B$ -部分只和恢复地图$\mathcal{R}_{B \to BC}$只依赖于$ρ_{BC}$。这个结果的一个特殊应用意味着两种不同的方法来定义量子系统中的拓扑序之间的等价性。
2015-09-23 cs.IT math-ph math.IT
Optimal measures and Markov transition kernels
研究测度的抽象最优化问题的最优解，这是信息论和统计物理中经典变分问题的推广.在经典问题中，信息和相对熵是使用Kullback-Leibler分歧定义的，因此最佳度量属于单参数指数族。这样一个族中的测度具有相互绝对连续的性质。在这里，我们表明，这一性质的特点是其他家庭的最佳积极措施，如果一个功能表示的信息有一个严格凸的对偶。最优概率测度的相互绝对连续性使我们能够严格区分确定性和非确定性马尔可夫转移核，它们在决策、估计、控制、通信和计算理论中起着重要作用。我们表明，确定性的过渡是严格的次优，除非信息资源与严格凸的对偶是无约束的。为了说明，我们构造了一个例子，与非确定性不同，任何确定性内核都具有负无限的预期效用（无限的预期误差）或传递无限的信息。
2012-09-05 cs.CC cs.IT math-ph
Permutation Complexity via Duality between Values and Orderings
基于值与值之间的序的对偶性，研究了有限状态平稳随机过程的置换复杂性。首先，我们建立了一个固定长度的所有单词的集合和相同长度的所有排列的集合之间的对偶。其次，在此基础上，给出了有限态平稳随机过程的置换熵率与熵率相等的初等证明，[Amigo，J.M.，Kennel，M. B、科卡列夫湖，2005. Physica D 210，77-95]。第三，我们表明，进一步的信息之间的关系的结构的价值观和结构的有序的有限状态平稳随机过程超出熵率可以从建立的对偶。特别是，我们证明了置换过剩熵等于过剩熵，这是一个衡量的整体相关性存在于一个平稳的随机过程，有限状态平稳遍历马尔可夫过程。
2011-12-12 cs.IT math.IT nlin.CD
Information-Theoretic Analysis of Next-Token Prediction under Markovian Data
Huawei Paris Research Center（华为巴黎研究中心）；Université Gustave Eiffel（古斯塔夫·埃菲尔大学）
本文提出信息论框架分析时间相关数据下下一词预测的泛化界，揭示上下文长度、模型复杂度与时序混合的作用，并通过实验表明长上下文扩大泛化差距且存在约24小时的有效记忆尺度。
2026-09-29 cs.IT cs.LG math.IT
Replica Analysis of the Linear Model with Markov or Hidden Markov Signal Priors
University of Cambridge（剑桥大学）
本文采用统计物理中的复本方法，估计了信源为马尔可夫链或隐马尔可夫模型的线性模型的自由能、平均互信息与MMSE，证明其可解耦为带状态信息的单输入AWGN信道，且数值结果与现有算法结果高度吻合。
2023-07-25 cs.IT cs.LG math.IT
Quantum Markov chains, sufficiency of quantum channels, and Renyi information measures
短量子马尔可夫链是三重态$ρ_{ABC}$，使得系统$A$可以通过作用于约化态$ρ_{BC}$的系统$C$而完全恢复。这些状态具有等于零的条件互信息$I(A;B|C)$，并且是具有该属性的唯一状态。如果存在一个恢复通道，使用该恢复通道可以从$\mathcal{N}(ρ)$完美地恢复$ρ$，从$\mathcal{N}(σ)$完美地恢复$σ$，则量子通道$\mathcal{N}$对于两个状态$ρ$和$σ$是足够的。相对熵差$D(ρ\Vertσ)-D(\mathcal{N}(ρ)\Vert\mathcal{N}(σ))$等于零当且仅当$\mathcal{N}$对于$ρ$和$σ$是足够的。在本文中，我们证明了这些性质扩展到这些信息测度的Renyi推广[Berta et al.，J.Math.Phys.56，022205，（2015）]和[Seshadreesan等人，J. Phys. A 48，395303，（2015）]，从而提供了短量子马尔可夫链和足够的量子信道的替代表征。这些结果进一步支持这些数量是合法的Renyi推广的条件互信息和相对熵差。一路上，我们解决了一些开放的问题Ruskai和张，关于跟踪特定的矩阵中出现的单调性的量子操作下的相对熵和强次加性的冯诺依曼熵的研究。
2015-10-04 cs.IT math-ph math.IT
