Infinite Excess Entropy Processes with Countable-State Generators
我们提出了两个例子，有限字母表，无限的过剩熵过程产生的不变的隐马尔可夫模型（HALTH）与可数状态集。第一个简单的例子不是遍历的，但第二个是。这似乎是这种类型的过程的第一个结构。以前的例子中，无限的过剩熵过程在有限的字母承认只有不变的HMM表示与不可数的状态集。
2011-11-14 cond-mat.stat-mech cs.IT math.IT
Universal Coding on Infinite Alphabets: Exponentially Decreasing Envelopes
本文研究可数无限字母表上的通用无损编码问题。它侧重于一些类的源定义的包络条件的边缘分布，即指数下降包络类的指数$α$。证明了指数递减包络类的极大极小冗余等价于$\frac{1}{4 α\log e} \log^2 n$.然后提出了一种编码策略，贝叶斯冗余等价于最大最小冗余。最后给出了一种自适应算法，其冗余度等价于极小极大冗余度
2010-05-31 cs.IT math.IT
Smoothing Brascamp-Lieb Inequalities and Strong Converses for Common Randomness Generation
本文研究了乘积分布邻域内辅助测度上的一类函数不等式Brascamp-Lieb不等式中最佳常数的下确界。在有限字母表和高斯情况下，这样的下确界收敛到互信息不等式中的最佳常数。讨论了两个常见随机性（CR）生成问题的强逆性质的含义。特别是，我们证明了在离散和高斯的情况下，全知的帮助CR生成问题的率区域的强逆属性。后一种情况可能是第一个实例的强逆连续源时，率区域涉及辅助随机变量。
2016-02-06 cs.IT math.IT
About Adaptive Coding on Countable Alphabets: Max-Stable Envelope Classes
本文研究可数无限字母表上平稳无记忆信源的无损通用信源编码问题。如果不限制希望具有普遍性的源的类别，这项任务通常是无法实现的。在我们以前的工作的基础上，我们提出了一个共同的主导信封的特点是自然家庭的来源。我们特别强调了自适应性的概念，这是一种能力，以及一个先知知道信封，而不是实际上知道它。这是密切相关的概念，分层通用信源编码，但重要的区别是，家庭的信封类不是离散索引，不一定嵌套。我们的贡献是扩展类的信封，自适应通用信源编码是可能的，即包括最大稳定（重尾）信封，这是优秀的模型，在许多应用中，如自然语言建模。我们推导出一个极大极小下界的冗余任何代码上的信封类，包括一个甲骨文知道信封。然后，我们提出了一个建设性的代码，不使用知识的信封。该代码计算效率高，并被构造为使用{E}扩展{T}阈值进行{A}uto-{C}ensoring，因此我们称之为\textsc{ETAC} -代码。我们证明了\textsc{ETAC} -代码实现的最小最大冗余度的下界内的一个因素对数的序列长度，因此可以作为一个近自适应代码的重尾信封的家庭。对于有限和轻尾包络的惩罚甚至更少，相同的代码密切遵循以前的结果，明确提出了轻尾假设。我们的技术成果是建立在规则变分理论和测量集中的方法之上的。
2015-04-17 cs.IT math.IT math.ST
Shannon Entropy Estimation in $\infty$-Alphabets from Convergence Results
Department of Electrical Engineering（电气工程系）；Information and Decision System Group（信息与决策系统小组）；University of Chile（智利大学）
在可数无限字母表中的Shannon熵估计问题是从熵泛函的收敛结果的研究和使用中解决的，这是已知的是不连续的总变异距离在$\infty$ -字母表。熵的收敛的充分条件，包括与分布上的无限和无限支持的假设的情况。从这个新的角度来看，四个插件直方图为基础的估计进行了研究表明，收敛结果是有助于获得新的强一致性和收敛速度的结果。在估计量和底层分布上使用不同的场景和条件，例如考虑有限和未知的支持假设以及可求和的尾有界条件。
2018-04-02 cs.IT cs.LG math.IT
Asymptotic Normality for Plug-in Estimators of Generalized Shannon's Entropy
香农熵是信息论的基石之一，也是机器学习方法的一个重要方面（例如，随机森林）。然而，它仅被定义为可数字母表上具有快速衰减尾部的分布。香农熵在字母表上所有分布的一般类上的无界性阻止了其潜在的效用被完全实现。为了填补信息论基础的空白，Zhang（2020）提出了广义香农熵，它在任何地方都是严格定义的。几乎所有基于熵的ML方法包都采用了插件估计器，这是估计香农熵的最流行方法之一。已有文献对Shannon熵插入估计量的渐近分布进行了深入研究。本文研究可数字母表上广义Shannon熵的插入式估计的渐近性质。开发的渐近性质不需要对原始分布的假设。所提出的渐近性质允许区间估计和广义香农熵的统计检验。
2022-05-02 cs.IT math.IT math.ST
How Many Queries Will Resolve Common Randomness?
一组m个终端，观察相关的信号，交互式通信，以产生共同的随机性为一个给定的子集。只知道通信，有多少直接查询的价值共同的随机性将解决它？一个一般的上限，有效的任意信号字母表，开发了这样的查询的数量，通过使用查询策略，适用于所有常见的随机性和相关的通信。当底层信号是m个相关随机变量的独立且同分布的重复时，查询的数量可以是信号长度的指数。对于这种情况下，所提到的上限是紧的，并导致一个单字母的公式的最大查询指数，这与相应的多终端源模型的秘密密钥容量相一致。事实上，该上界构成了最优查询指数的强逆，并且还隐含了秘密密钥容量的新的强逆。一个关键的工具，估计一个大的概率集的Renyi熵的大小，单独解释，也作为一个无损块编码的结果，一般的来源。作为特例，它给出了离散无记忆源的经典结果。
2013-05-07 cs.CR cs.IT math.IT
A Divergence Formula for Randomness and Dimension (Short Version)
如果$S$是有限字母表$Σ$上的无限序列，$β$是$Σ$上的概率测度，则$ S$关于$β$的{ \it维数}，写作$\dim^β(S)$，是比林斯利维数的构造性版本，当$β$是一致概率测度时，它与（构造性Hausdorff）维数$\dim(S)$一致。本文证明了$\dim^β(S)$及其对偶$\Dim^β(S)$，即$S$关于$β$的{ \it强维数}，可以与随机性结合使用来度量$Σ$上的两个概率测度$α$和$β$的相似性。具体地说，我们证明了{ \it发散公式} $$\dim^β(R) = \Dim^β(R) =\CH(α) / (\CH(α) + \D(α|| β))$$持有$α$和$β$是可计算的，积极的概率措施$Σ$和$R \in Σ^\infty$是随机的$α$。在这个公式中，$\CH(α)$是$α$的香农熵，而$\D(α||β)$是$α$和$β$之间的Kullback-Leibler散度。
2009-06-23 cs.CC cs.IT math.IT
Optimal Prefix Codes for Infinite Alphabets with Nonlinear Costs
设$P = \{p(i)\}$是非负整数集上严格正概率的测度。虽然输入的可计数数目阻止了霍夫曼算法的使用，但是存在非平凡的$P$，对于这些非平凡的$P$，已知方法找到在最小化期望码字长度的意义上最优的源代码。然而，对于某些应用，源代码应该改为最小化非线性目标函数族中的一个，$β$ -指数平均值，形式为$\log_a \sum_i p(i) a^{n(i)}$的那些，其中$n(i)$是第$i$码字的长度，并且$a$是正常数。这种最小化的应用包括使单次通信（$a<1$）中消息接收的机会最大化的新问题和使缓冲器溢出的机会最小化的先前已知的问题（$a>1$）。本文介绍的方法，寻找最佳的指数平均值的代码。一种方法适用于几何分布，而另一种方法适用于尾部较轻的分布。后者的算法适用于泊松分布，都扩展到字母码，以及最大限度地减少逐点冗余。还考虑了最小化缓冲区溢出机会的上述应用。
2007-11-26 cs.DS cs.IT math.IT
Infinite-Alphabet Prefix Codes Optimal for $β$-Exponential Penalties
设$P = \{p(i)\}$是非负整数集上严格正概率的测度。虽然输入的可计数数目阻止了霍夫曼算法的使用，但是存在非平凡的$P$，对于这些非平凡的$P$，已知方法找到在最小化期望码字长度的意义上最优的源代码。然而，对于某些应用，源代码应该改为最小化非线性目标函数族中的一个，$β$ -指数平均值，形式为$\log_a \sum_i p(i) a^{n(i)}$的那些，其中$n(i)$是第$i$码字的长度，并且$a$是正常数。这种最小化的应用包括最大化单次通信（$a<1$）中消息接收的机会的问题和最小化嵌入系统（$a>1$）中缓冲器溢出的机会的问题。本文介绍的方法，寻找最佳的指数平均值的代码。一种方法适用于几何分布，而另一种方法适用于尾部较轻的分布。后一种算法适用于泊松分布。两者都被扩展到最大限度地减少逐点冗余。
2007-04-17 cs.DS cs.IT math.IT
A Divergence Formula for Randomness and Dimension
如果$S$是有限字母表$Σ$上的无限序列，$β$是$Σ$上的概率测度，则$ S$关于$β$的{ \it维数}，写作$\dim^β(S)$，是比林斯利维数的构造版本，当$β$是一致概率测度时，它与（构造Hausdorff）维数$\dim(S)$一致。本文证明了$\dim^β(S)$及其对偶$\Dim^β(S)$，即$S$关于$β$的{ \it强维数}，可以与随机性一起用来度量$S$上的两个概率测度$α$和$β$的相似性.具体地说，我们证明了{ \it发散公式} \[ \dim^β(R) = \Dim^β(R) =\frac{\CH(α)}{\CH(α) + \D(α|| β)} \]持有$α$和$β$是可计算的，积极的概率措施$Σ$和$R \in Σ^\infty$是随机的$α$。在这个公式中，$\CH(α)$是$α$的香农熵，$\D(α||β)$是$α$和$β$之间的Kullback-Leibler散度。我们还表明，上述公式适用于所有序列$R$是$α$ -正常的（在Borel的意义上）时，$\dim^β(R)$和$\Dim^β(R)$取代更有效的有限状态尺寸$\dimfs^β(R)$和$\Dimfs^β(R)$。在证明这一点的过程中，我们还证明了有限状态压缩特性的$\dimfs^β(S)$和$\Dimfs^β(S)$。
2008-11-12 cs.CC cs.IT math.IT
Invariance: a Theoretical Approach for Coding Sets of Words Modulo Literal (Anti)Morphisms
令$A$为有限或可数字母表，且令$θ$为到$A^*$上的文字（反）态射（根据定义，此对应性由字母表的置换确定）。本文研究了在$θ$下不变的集合（简称$θ$ -不变），建立了著名的亏损定理的一个推广.此外，我们证明了对于所谓的薄$θ$不变码，极大性和完备性是两个等价的概念。我们证明了一个类似的属性持有的框架中的一些特殊的家庭的$θ$不变的代码，如前缀（bifix）码，代码具有有限的解密延迟，一致同步码和循环码。对于一类特殊的对合反态，我们证明了任何正则$θ$不变码都可以嵌入到一个完备码中。
2017-07-27 cs.DM cs.IT math.CO
Universal Densities Exist for Every Finite Reference Measure
本文将通用编码推广为可数生成可测空间上的通用密度问题，证明有限参考测度下存在能一致估计微分熵率的通用密度，通过改进NPD熵率估计器构建实例，并导出通用预测器及无限参考测度下的一致估计充分条件。
2023-03-14 cs.IT math.IT math.ST
Rényi divergence-based uniformity guarantees for $k$-universal hash functions
University of Maryland, College Park（马里兰大学帕克分校）；Georgia Institute of Technology（佐治亚理工学院）
本文基于Rényi散度，研究了k-通用哈希函数的均匀性保证，证明了通过α-Rényi散度度量的随机性转换和提取方法。
2025-10-07 cs.CR cs.IT math.IT
