Majorization and Rényi Entropy Inequalities via Sperner Theory
阐述了优序集和强Sperner偏序集概念之间的自然联系。然后,它被用来获得各种后果,包括新的雷尼熵不等式的独立,整数值随机变量的总和。
2018-11-13 cs.IT math.CO math.IT
Entropies, cross-entropies and Rényi divergence: sharp three-term inequalities for probability density functions
Universidad Rey Juan Carlos(雷乌斯·胡安·卡洛斯大学);Data, Complex Networks and Cybersecurity Research Institute, Universidad Rey Juan Carlos(数据、复杂网络与网络安全研究所,雷乌斯·胡安·卡洛斯大学)
本文推导了概率密度函数的尖锐三项不等式,涉及雷尼熵、散度和交叉熵,并展示了其在信息功能界中的应用。
2026-03-09 cs.IT math.IT
Results on the solutions of maximum weighted Renyi entropy problems
在本文中,遵循标准的论点,最大Renyi熵问题的加权情况下进行了分析。证明了在一定的权函数约束下,Student-r和Student-t分布使加权Renyi熵最大化.进一步,导出了Hadamard不等式的一个推广形式.
2015-10-26 cs.IT math.IT math.PR
Rényi Entropy Power Inequalities via Normal Transport and Rotation
在最近证明香农熵幂不等式(EPI)之后,提出了一个用于推导雷尼熵的各种EPI的综合框架,该框架使用正常密度的传输参数和旋转变量的变化。简单的参数给出恢复以前已知的Rényi EPIs和导出新的,通过统一的乘法形式与常数c和以前的作品与指数α的修改。特别是,对数凹密度,我们得到了一个简单的运输证明的一个尖锐的熵界。
2018-08-22 cs.IT math.IT
Bernoulli sums and Rényi entropy inequalities
本文通过傅里叶方法研究整数值随机变量独立和的 Rényi 熵,给出方差与熵的尖锐比较,证明离散最小熵幂的超可加性,并改进 Littlewood-Offord 问题的熵界限。
2024-03-15 cs.IT math.CO math.IT
Rényi divergence inequalities via interpolation, with applications to generalised entropic uncertainty relations
我们研究量子雷尼熵量,特别是那些来自“三明治”的分歧。这种发散是雷尼提出的量子相对熵的几种概括之一。我们可以根据这种分歧定义量子条件熵和互信息的雷尼推广,它们继承了许多理想的性质。然而,这些量缺乏香农和冯诺依曼对应量的一些方便结构。我们试图弥合这一差距,建立发散不等式的有效组合Rényi秩序复制链和分解规则的香农和冯诺伊曼熵。虽然弱一般,这些不等式恢复等价时,雷尼参数趋于一。为此,我们提出了Rényi互信息分解规则,Rényi条件熵三方链规则和更一般的二分比较的一种新方法。这些结果的推导依赖于一个新的复杂的插值方法一般空间的线性算子。这些新的比较使我们能够使用到目前为止只适用于香农和冯诺伊曼熵熵的技术。因此,我们可以直接应用它们来推导雷尼熵的不确定关系。因此,我们建立了一个家庭的Rényi信息排斥关系,并提供进一步的推广和改进,这个和其他已知的关系,包括Rényi二分不确定性关系。
2021-06-19 cs.IT math.IT quant-ph
Weighted Approach to Rényi Entropy
α阶Rényi熵是熵的一般度量。在本文中,我们推导出估计的Rényi熵的混合源的熵的单源。这些关系允许计算任意阶混合测度的雷尼熵维数。获得这些结果的关键是我们的加权Rényi熵的新定义。证明了加权熵与经典Rényi熵是等价的。
2012-04-12 cs.IT math.IT
Remarks on the Rényi Entropy of a sum of IID random variables
本文研究了Madiman和Wang的一个猜想,该猜想预言广义高斯分布使独立随机变量和的Rényi熵最小.通过变分分析,我们表明,广义高斯未能成为一个最小的问题。
2019-12-10 cs.IT math.IT math.PR
Rényi entropy and variance comparison for symmetric log-concave random variables
我们证明了对于任何$α>0$,在所有具有固定方差的对称对数凹随机变量中,无论是均匀分布还是双边指数分布,$α$阶的Rényi熵都是最小的.第一种情况发生在$α\in (0,α^*]$,第二种情况发生在$α\in [α^*,\infty)$,其中$α^*$满足等式$\frac{1}{α^*-1}\log α^*= \frac12 \log 6$,即$α^* \approx 1.241$。利用这些结果,我们证明了单侧指数分布在所有具有固定方差的对数凹随机变量中最小化$α\geq 2$阶Rényi熵.
2021-10-01 cs.IT math.IT math.PR
Rényi Cross-Entropy Measures for Common Distributions and Processes with Memory
香农交叉熵的两种Rényi型推广,Rényi交叉熵和Natural Rényi交叉熵,最近被用作深度学习生成对抗网络改进设计的损失函数。在这项工作中,我们在[1]中的结果的基础上,通过推导属于指数族的广泛一类常见连续分布的Rényi和Natural Rényi微分交叉熵测度的封闭形式,并将结果列表以便于参考。我们还总结了平稳高斯过程之间和有限字母表时不变马尔可夫源之间的Rény型交叉熵率。
2022-08-19 cs.IT math.IT
Shannon and Rényi entropy rates of stationary vector valued Gaussian random processes
利用Szegö定理的分块矩阵形式,我们导出了平稳向量值高斯随机过程的Shannon熵率和Rényi熵率的表达式.
2018-07-12 cs.IT math.IT
Uniform continuity bound for sandwiched Rényi conditional entropy
我们证明了$α\in [1/2, 1) \cup (1, \infty]$的夹层Rényi条件熵的一个简单的一致连续界,它与条件系统的维数无关。
2022-05-19 cs.IT math.IT math.PR
Two-Moment Inequalities for Rényi Entropy and Mutual Information
本文讨论了一个关于函数$r$次幂积分的二阶矩不等式的一些应用,其中$0 < r< 1$ .第一个贡献是随机向量的Rényi熵在两个不同的时刻的上界。当其中一个时刻是零阶矩时,这些边界恢复了以前基于最大熵分布的结果。更一般地说,用两个精心选择的非零矩来评估边界可以导致显着的改进,同时适度增加复杂性。第二个贡献是上界互信息的方法在某些积分相对于方差的条件密度。边界有许多有用的属性产生的方差分解的连接。
2017-02-23 cs.IT math.IT
Uniqueness of Nonextensive entropy under Renyi's Recipe
通过用Kolmogorov-Nagumo平均(KN-平均)或拟线性平均代替香农熵中的线性平均,并进一步施加可加性约束,雷尼提出了香农熵的第一个正式推广。使用雷尼的方法,我们只能准备两个信息测度:香农熵和雷尼熵。事实上,雷尼使用这种形式主义,用拟线性平均公理来刻画这些加性熵。由于可加性是香农熵的特征性质,所以形式为$x \oplus_{q} y = x + y + (1-q)x y$的伪可加性是非广延(或Tsallis)熵的特征性质。在非广延情况下,我们可以应用雷尼的方法,用KN-平均代替察利斯熵中的线性平均,从而施加伪可加性的约束。本文证明了非广延熵在Rényi公式下是唯一的,并由此给出了一个刻画。
2005-11-21 cs.IT math.IT
The case for shifting the Renyi Entropy
我们引入了雷尼熵定义的一个变体,使其与著名的霍德尔平均一致:在新的公式中,r阶雷尼熵是r阶霍德尔平均的倒数的对数。这为雷尼熵与接近它的量的关系带来了新的见解,如信息势和统计力学的配分函数。我们还提供了表达式,使我们能够从香农交叉熵和护送概率计算雷尼熵。最后,我们讨论了为什么移动的雷尼熵是富有成效的在某些应用中。
2018-11-14 cs.IT math.IT
Renyi Entropy Rate of Stationary Ergodic Processes
本文研究了平稳遍历过程的Renyi熵率。对于一类特殊的平稳遍历过程,证明了Renyi熵率总是存在的,并且可以用它的定义序列多项式逼近;此外,利用马尔可夫逼近方法,证明了当马尔可夫阶趋于无穷大时,Renyi熵率可以用马尔可夫逼近序列指数逼近.对于一般情形,通过构造一个反例,证明了一般平稳遍历过程的Renyi熵率在α趋于1时总是收敛于其Shannon熵率的猜想.
2022-07-15 cs.IT math.IT
New sharp inequalities involving non-relative, relative and cross informational functionals with some remarkable minimizers of generalized Gaussian and Beta types
Universidad Rey Juan Carlos(雷乌斯·胡安·卡洛斯国王大学);Data, Complex Networks and Cybersecurity Research Institute, Universidad Rey Juan Carlos(雷乌斯·胡安·卡洛斯国王大学数据、复杂网络与网络安全研究所)
该研究通过特定不等式推导出几个新的尖锐信息不等式,包括连接雷尼熵幂等的类似斯坦姆不等式等,这些不等式均尖锐,类似斯坦姆不等式极小值有时是高斯等概率密度对,类矩不等式极小值是广义贝塔分布概率密度。
2026-07-10 cs.IT math.IT
Conditional Rényi entropy and the relationships between Rényi capacities
Arimoto的条件Rényi熵和Rényi互信息的定义的类似物探索抽象字母。这些量,虽然依赖于参考措施,有一些有用的属性类似于那些已知的离散设置。除了列出一些这样的基本性质和雷尼分歧的关系,由Sibson,Augustin-Csiszár和Lapidoth-Pfister定义的互信息族之间的关系,以及相应的能力,进行了探索。
2020-05-02 cs.IT math.IT
A Coding Theorem Characterizing Renyi's Entropy through Variable-to-Fixed Length Codes
这篇论文已经被撤回了
2006-10-28 cs.IT math.IT
Rényi entropy power inequality and a reverse
本文件具有双重意义。在第一部分中,我们给出了最近在\cite{BM16}中得到的Rényi熵幂不等式(EPI)的一个改进。证明很大程度上遵循\cite{DCT91}中采用具有尖锐常数的杨氏卷积不等式的方法。在第二部分中,我们研究了Rényi EPI的可逆性,并在两种情况下证实了\cite{BNT15, MMX16}中的一个猜想。各种$p$次平均机构凸几何的连接也进行了探讨。
2017-08-05 cs.IT math.FA math.IT
Maximum Rényi Entropy Rate
研究了Rényi熵率的两个最大化问题:边缘值满足线性约束的随机过程的最大化问题和自协方差函数以某个给定值开始的随机过程的Burg-like最大化问题.这些解与类似的香农熵率最大化问题的解有关。
2015-01-03 cs.IT math.IT
Deviation Inequalities for Rényi Divergence Estimators via Variational Expression
本文通过经验过程理论,为Rényi散度的平滑插入估计器和神经估计器建立指数偏差不等式,无需紧支撑假设,并应用于物理层安全与Rényi差分隐私审计。
2025-09-10 cs.IT math.IT
Rényi entropy and pattern matching for run-length encoded sequences
本文研究了游程编码序列的最长公共子串长度的渐近性质。当原始序列是由具有指数衰减的$α$ -混合过程(或具有多项式衰减的$ψ$ -混合过程)生成时,我们证明了该长度随依赖于前推测度的Rényi熵的系数而几何地增长。对于Bernoulli过程和马尔可夫链,这个系数是显式计算的。
2020-12-11 cs.IT math.DS math.IT
An Exact Upper Bound on the $L^p$ Lebesgue Constant and The $\infty$-Rényi Entropy Power Inequality for Integer Valued Random Variables
本文证明了$p\ge 2$的$L^p$勒贝格常数(即Dirichlet核的$L^p$范数)的一个精确渐近上界.作为应用,我们还证明了一个新的整数值随机变量的$\infty $熵幂不等式的意义.
2018-08-23 cs.IT math.FA math.IT
On the Smooth Renyi Entropy and Variable-Length Source Coding Allowing Errors
本文研究了可变长信源编码允许差错的问题。在非渐近制度和渐近制度的码字长度的指数矩进行了分析。我们的研究结果表明,光滑Renyi熵表征码字长度的最佳指数矩。
2015-12-21 cs.IT math.IT
A Generalization of the Concavity of Rényi Entropy Powe
最近,Savaré-Toscani证明了在$\mathbb{R}^n$中求解$p$ -非线性热方程的一般概率密度的Rényi熵幂总是时间的凹函数,从而将Costa关于Shannon熵幂的不等式推广到Rényi熵.本文推广了Savaré-Toscani的结果,给出了Rényi熵幂的估计仍然成立的参数的一类充分条件.这些条件非常普遍,并且包括萨瓦雷-托斯卡尼给出的参数范围作为特殊情况。同时,用系统的方法得到了这些条件。
2021-03-11 cs.IT math.IT
An Information Bottleneck Problem with Rényi's Entropy
本文考虑了一个信息瓶颈问题,其目标是在Rényi熵复杂性约束下获得隐藏特征的最具信息量的表示。定义了相关性(通过Shannon的互信息测量)和Rényi熵代价之间的最佳瓶颈权衡,并提供了一种寻找近似解的迭代算法。我们还得到了一个操作特性的最佳权衡证明,最佳的雷尼熵相关性权衡是可以实现的一个简单的分时标量编码方案,没有编码方案可以提供更好的性能。进一步给出了两个例子,其中最佳的香农熵相关性权衡可以准确地确定。
2021-01-29 cs.IT math.IT
On the Polarization of Rényi Entropy
现有的极化理论主要关注Shannon信息测度,如Shannon熵和互信息,以及一些相关的测度,如Bhattacharyya参数。在这项工作中,我们将极化理论扩展到更一般的信息测度,即雷尼熵。我们的研究表明,在不同阶数的条件Rényi熵下,同一个合成子信道可能呈现相反的极值状态。这一结果揭示了更多的微观尺度上的极化现象(概率对),而不是在平均尺度上的见解。
2019-07-15 cs.IT math.IT
Smooth Rényi Entropy of Ergodic Quantum Information Sources
我们证明了平均光滑Renyi熵率将接近平稳、遍历信源的熵率,它等于经典信源的Shannon熵率和量子信息信源的冯诺伊曼熵率。
2007-04-26 cs.IT math.IT quant-ph
Entropy Density and Mismatch in High-Rate Scalar Quantization with Renyi Entropy Constraint
研究了具有$r$次幂失真和$α\in (0,1)$阶约束Rényi熵的标量量化的性质.对于一个渐进(高速率)的最佳序列的量化器,由于在一个固定的时间间隔内的源值的雷尼熵的贡献被确定在量化器序列的“熵密度”。这扩展了与最佳固定速率量化中的众所周知的点密度概念相关的结果。熵密度结果的对偶量化给定区间对总体失真的失真贡献。失真损失所造成的源密度不匹配的渐近最优序列的量化器的设计也被确定。这将Bucklew的固定速率($α=0$)和Gray \emph{et al.}的可变速率($α=1$)失配结果扩展到熵序参数$α$的一般值。
2012-03-23 cs.IT math.IT
The concavity of Rènyi entropy power
我们与p阶Rényi熵的熵功率的定义,这是香农熵功率的自然扩展,并表现出良好的行为沿解的p-非线性热方程$R^n$。我们证明了求解这类方程的一般概率密度的Rényi熵幂总是时间的凹函数,而它对应于Barenblatt源型解具有线性行为。然后我们证明了p阶非线性扩散的概率密度的p阶Rényi熵幂是时间的凹函数。这一结果将Costa的香农熵幂不等式推广到了Rényi熵。
2012-08-05 cs.IT math.FA math.IT
Relating different quantum generalizations of the conditional Renyi entropy
最近,Renyi发散和相应的条件Renyi熵的一个新的量子推广被提出。在这里,我们报告一个令人惊讶的关系条件Renyi熵的基础上,这个新的推广和条件Renyi熵的基础上,在以前的文献中使用的量子相对Renyi熵。我们的结果推广了著名的对偶关系H(A| B)+ H(A)|C)= 0的条件冯诺伊曼熵的三重纯态到两种不同类型的Renyi熵。作为一个直接的应用,我们证明了一系列的不等式,涉及不同的条件Renyi熵,并得出一个新的熵的不确定性关系。
2014-08-15 cs.IT math.IT quant-ph
Rényi Entropy Power and Normal Transport
利用线性化和Dembo、Cover和Thomas的不等式,给出了一个推导Rényi熵幂不等式的框架.简单的参数给出恢复以前已知的Rényi EPIs和导出新的,通过统一的乘法形式与常数c和修改与以前的作品的指数$α$。基于Rényi条件熵和相对熵的性质,并使用高斯密度的运输参数,提供了Dembo-Cover-Thomas不等式的信息论证明--等价于具有最佳常数的Young卷积不等式。对于对数凹密度,给出了一个锐变熵界的输运证明。
2020-04-06 cs.IT math.IT
The structure of Renyi entropic inequalities
研究了多体量子态边缘的α-Renyi熵的普遍不等式。这与香农熵和冯诺伊曼熵(α =1)的问题类似,后者已知满足几个非平凡不等式,如强次可加性。令人有些惊讶的是,我们发现,当0<alpha<1时,唯一的不等式是非负性:换句话说,任何分配给n个非空子集的非负数集合都可以被量子态的2^n-1个边缘的alpha熵任意地很好地近似。对于alpha>1,我们类似地证明不存在非平凡的齐次(特别是不存在线性)不等式。另一方面,已知存在进一步的非线性且实际上非均匀的不等式来界定一般量子态的α熵。最后,我们还处理的情况下,Renyi熵限制在经典状态(即概率分布),除了非负性也受到单调性。对于不同于0和1的α,我们证明这是唯一的另一个齐次关系。
2012-12-07 cs.IT math-ph math.IT
On the Conditional Smooth Renyi Entropy and its Applications in Guessing and Source Coding
引入了一种不同于Renner和Wolf的条件光滑Renyi熵的新定义。结果表明,我们的定义的条件光滑Renyi熵是适当的,给出上下界的最佳猜测时刻的猜测问题中,猜测者被允许停止猜测,并宣布错误。进一步给出了最优猜测指数的一般公式。特别地,i.i.d.来源获得。另一个应用程序中的问题,信源编码与共同的边信息可在编码器和解码器也被证明。
2019-01-24 cs.IT math.IT
Rényi Divergence and Majorization
雷尼发散与雷尼熵有关,就像信息发散(也称为Kullback-Leibler发散或相对熵)与香农熵有关一样,并且在许多情况下都会出现。它是由Rényi引入的,作为一种信息度量,满足与信息发散几乎相同的公理。我们回顾了Rényi散度的重要性质,包括它与其他距离的关系。我们展示了如何雷尼分歧出现时,控制理论是广义的从有限的连续设置。最后,雷尼发散在分析猜测随机变量序列的值所需的二进制问题的数量方面发挥了作用。
2010-05-27 cs.IT math.IT
Arimoto-Rényi Conditional Entropy and Bayesian $M$-ary Hypothesis Testing
利用任意阶$α$的Arimoto-Rényi条件熵,给出了贝叶斯$M$ -元假设检验的最小错误概率的上下界.证明了这些界限的改进的紧密性与香农条件熵($α=1$)的专门版本。特别是,在$M$是有限的情况下,我们展示了如何推广Fano的不等式下的常规和列表决策设置。作为一个对应的广义Fano不等式,允许$M$是无限的,Arimoto-Rényi条件熵的下界导出作为最小错误概率的函数。明确的上界和下界的最小错误概率作为一个函数的Arimoto-Rényi条件熵的积极和消极的$α$。此外,我们给出了上界的最小错误概率作为函数的Rényi分歧。在离散无记忆信道的设置中,我们分析了在随机编码集合上平均时给定信道输出的传输码字的Arimoto-Rényi条件熵的指数消失衰减。
2017-12-05 cs.IT math.IT math.PR
Non-Asymptotic Analysis of Privacy Amplification via Renyi Entropy and Inf-Spectral Entropy
本文研究了隐私放大问题,并比较了现有的两个界:由作者之一导出的指数界和Renner导出的最小熵界。事实证明,指数界是优于最小熵界时,安全参数是相当小的块长度,和最小熵界是优于指数界时,安全参数是相当大的块长度。此外,我们提出了另一个界,插值的指数界和最小熵界的混合使用的Renyi熵和inf-spectral熵。
2012-11-22 cs.CR cs.IT math.IT
Shannon and Renyi Entropy of Wavelets
本文报道了一种新的阅读小波,这是基于经典的“德布罗意”原则。波粒二象性原理适用于小波。每个连续的基本小波都与一个适当的概率密度相关联,允许定义小波的香农熵。进一步熵的定义被认为是,如Jumarie或Renyi熵的小波。证明了同一族的任意小波都具有相同的母小波的Shannon熵。最后,确定了几个标准小波族的Shannon熵。
2015-04-04 cs.IT math.CA math.IT
Monotonicity of a relative Rényi entropy
我们证明了最近定义的相对Rényi熵是单调的完全正,保迹映射。这证明了Müller-Lennert等人最近的一个猜想。
2013-10-01 cs.IT math-ph math.FA
On the Rényi Cross-Entropy
Queen’s University(女王大学)
两个分布之间的Rényi交叉熵度量是香农交叉熵的推广,最近被用作深度学习生成对抗网络改进设计的损失函数。在这项工作中,我们研究这种措施的性质,并推导出封闭形式的表达式时,其中一个分布是固定的,当两个分布属于指数家庭。我们还分析确定一个公式的交叉熵率平稳高斯过程和有限字母马尔可夫源。
2022-08-06 cs.IT cs.LG math.IT
On some entropy functionals derived from Rényi information divergence
我们考虑了与Rényi $Q$ -熵相关的极大熵问题,其期望值受到两种约束.所考虑的约束是对标准期望的约束,以及对非广延统计中遇到的广义期望的约束。最佳的最大熵概率分布,它可以表现出幂律的行为,推导和表征。最优分布的雷尼熵可以看作是约束的函数。这在可能的期望值空间中定义了两个熵泛函族。这些泛函的一般性质,包括非负性,最小值,凸性,文件。它们之间的关系以及数值方面也进行了讨论。最后,我们给出了参考测度$Q(x)$的一些特殊情况,并在极限情况下恢复了一些著名的熵。
2008-05-01 cond-mat.other cs.IT math.IT
Feature selection in machine learning: Rényi min-entropy vs Shannon entropy
Inria(法国国家信息与自动化研究所);École Polytechnique(巴黎综合理工学院);Università di Siena(锡耶纳大学)
在机器学习的上下文中,特征选择是将高度预测的特征与那些可能不相关或冗余的特征分离的过程。信息论已经被认为是用于该任务的有用概念,因为预测能力源于相关性,即,特征和标签之间的互信息。许多文献中的特征选择算法都采用了基于Shannon熵的互信息。在本文中,我们探讨了使用Rényi最小熵代替的可能性。特别是,我们提出了一个算法的基础上的概念,最近已通过在安全和隐私领域的条件Rényi最小熵,这是严格相关的贝叶斯错误。我们证明,在一般情况下,这两种方法是不可比的,在这个意义上,我们表明,我们可以构建数据集上的Rényi算法比相应的Shannon算法的性能更好,和数据集上的情况是相反的。然而,在实践中,当考虑真实数据的数据集时,似乎基于Rényi的算法往往优于另一种算法。我们已经在BASEHOCK,SEMEION和GISETTE数据集上进行了几次实验,在所有这些实验中,我们确实观察到基于Rényi的算法给出了更好的结果。
2020-01-27 cs.IT cs.LG math.IT
Source coding with escort distributions and Renyi entropy bounds
我们讨论了护送分布和雷尼熵的信源编码的上下文中的利益。我们首先回顾坎贝尔的信源编码定理,该定理将广义长度度量与雷尼-察利斯熵联系起来。我们表明,相关的最佳代码可以得到使用护送分布的考虑。我们提出了一个新的家庭的措施长度涉及护送分布,我们表明,这些广义长度也有界以下的Rényi熵。此外,我们得到的标准香农码的长度是最佳的新的广义长度措施,无论熵指数。最后,我们表明,在这种情况下存在着标准和护送分布之间的相互作用。
2011-09-15 cond-mat.stat-mech cs.IT math-ph
Swiveled Rényi entropies
本文介绍了“旋转Renyi熵”作为[Berta et al.,A 91,022333(2015)]。旋转的Renyi熵与Berta等人先前的提议的区别在于,它有一个额外的自由度:相对于特定固定基(旋转体)的酉旋转的优化。这个额外的自由度的结果是旋转的Renyi熵是有序的,这是Renyi熵族的一个重要性质。然而,旋转的Renyi熵在$α=1$处通常是不连续的,并且不收敛到作为$α\rightarrow1$的极限中的基于冯诺伊曼熵的度量,而是从上方和下方将它们界定。特定的变体简化为已知的Renyi熵,例如Renyi相对熵或夹层Renyi相对熵,但也导致有序Renyi条件互信息和相对熵差的有序Renyi推广。熵不等式的改进,如量子相对熵的单调性和强次可加性,作为旋转Renyi熵的上述性质的结果。由于在$α=1$缺乏收敛性,目前还不清楚旋转Renyi熵在单次信息理论中是否有用,因此目前的贡献代表了朝着这一目标的部分进展。
2016-02-18 cond-mat.stat-mech cs.IT hep-th
Causal inference in time series in terms of Rényi transfer entropy
从观测数据中发现因果相关性是非线性时间序列分析的最大挑战之一。在本文中,我们讨论了这个问题的帮助下,信息理论的概念称为雷尼信息测度。特别是,我们解决了二元时间序列之间的方向性信息流的Rényi转移熵。我们表明,通过适当地选择雷尼$α$参数,我们可以控制信息,只在选定的部分之间的基础分布。这反过来又为量化时间序列中的因果相互依存关系提供了特别有力的工具,其中对“黑天鹅”事件(如尖峰或突然跳跃)的了解至关重要。在这方面,我们首先证明了对于高斯变量,格兰杰因果关系和雷尼转移熵是完全等价的。此外,我们还将此结果部分推广到重尾$α$ -高斯变量。这些结果允许建立自回归和雷尼熵基于信息理论的方法之间的联系,以数据驱动的因果推理。为了帮助我们的直觉,我们采用Leonenko等人。熵估计和分析Rényi信息流之间的二维时间序列产生的两个单向耦合的罗斯勒系统。值得注意的是,我们发现,雷尼转移熵不仅使我们能够检测到的同步阈值,但它也提供了一个非平凡的洞察到一个瞬态制度的结构之间存在的区域的混沌相关性和同步阈值。此外,从雷尼转移熵我们可以可靠地推断耦合的方向--从而推断因果关系,只有当耦合强度小于瞬态状态的起始值时,即当两个罗斯勒系统耦合,但还没有进入同步时。
2022-03-22 cs.IT math-ph math.IT