首页/论文/1302.2856

arXiv 1302.28562013-02-12cs.ITmath.IT

用于数据压缩的组合非平稳预测、优化和混合

Combining non-stationary prediction, optimization and mixing for data compression

Christopher Mattern

备注：: International Conference on Data Compression, Communication and Processing (CCP) 2011
DOI：: 10.1109/CCP.2011.22

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

本文提出了一种非平稳二元序列的建模方法，预测即将到来的符号的概率。在研究了预测模型之后，我们在两个非人工测试案例中评估了其性能。首先，该模型进行了比较，拉普拉斯和Krichevsky-Trofimov估计。其次，提出了一种压缩Burrows-Wheeler变换输出的统计集成模型，并对其进行了评价。提出了一种系统的个体模式和集合模式参数优化方法。

英文摘要：

In this paper an approach to modelling nonstationary binary sequences, i.e., predicting the probability of upcoming symbols, is presented. After studying the prediction model we evaluate its performance in two non-artificial test cases. First the model is compared to the Laplace and Krichevsky-Trofimov estimators. Secondly a statistical ensemble model for compressing Burrows-Wheeler-Transform output is worked out and evaluated. A systematic approach to the parameter optimization of an individual model and the ensemble model is stated.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

数据压缩中的混合策略

Mixing Strategies in Data Compression

我们提出几何加权作为一种在数据压缩中组合多个模型的新方法。我们的研究结果揭示了PAQ加权背后的基本原理，并将其推广到非二进制字母表。基于类似的技术，我们提出了一个新的，通用的线性混合技术。所有新的混合技术都依赖于给定的权重向量。我们考虑的问题，找到最佳的权重和重量优化导致一个严格凸（因此，良好的性质）的优化问题。最后，实验评估比较了两个提出的混合技术的二进制字母表。结果表明，几何加权法优于线性加权法。

2013-02-12cs.ITmath.IT

分层黑盒、行为互连观点及其在保真度准则通信问题中的应用，第II部分：满足混合准则的平稳源

Layered black-box, behavioral interconnection perspective and applications to the problem of communication with fidelity criteria, Part II: stationary sources satisfying ψ-mixing criterion

本文将第一部分中的定理推广到非线性混合源.应用到马尔可夫链和阶m马尔可夫链。主要结果是第一部分定理1的推广。

2018-03-23cs.ITmath.IT

带边信息的最优通用无损压缩

Optimal Universal Lossless Compression with Side Information

本文提出了Lempel-Ziv（LZ）算法的条件版本的压缩器和解压缩器可以访问相同的边信息的设置。我们提出了一个固定长度的解析LZ算法的边信息，Willems算法的动机，并证明了任何平稳过程的最优性。此外，我们还提出了降低数据压缩率的改进策略。提出了一种带边信息的变长解析LZ算法的改进，并证明了该算法对任何平稳遍历过程都是渐近最优的。

2017-07-18cs.ITmath.IT

平稳混合源的联合通用有损编码与识别

Joint universal lossy coding and identification of stationary mixing sources

Beckman Institute（贝克曼研究所）；University of Illinois（伊利诺伊大学）

联合通用信源编码和建模的问题，在无损编码的上下文中处理的Rissanen，最近被推广到固定速率的有损编码的连续字母表i.i.d.源我们将这些结果扩展到可变速率的有损块编码的平稳遍历源，并表明，有界度量失真措施，满足适当的混合，平滑度和Vapnik-Chervonenkis学习条件的平稳源的任何一个参数化家庭承认联合有损信源编码和识别的通用计划。我们还给出了几个明确的例子参数源满足正则性条件。

2007-04-20cs.ITcs.LGmath.IT

度量平均维数与模拟压缩

Metric mean dimension and analog compression

Wu和Verdú开发了一种几乎无损的模拟压缩理论，其中一个对压缩器和解压缩器施加各种规则性条件，输入信号由（通常是无限熵）平稳随机过程建模。在这项工作中，我们考虑所有平稳随机过程的轨迹在一个规定的（双）无穷序列，并找到统一的下限和上界的某些压缩率的度量平均维数和平均盒维数。一个重要的工具是最近的Lindenstrauss-Tsukamoto变分原理表示度量平均维数的率失真函数。我们还获得了一个固定的平稳过程的率失真维数率的压缩率的下界，并研究了几个例子。

2020-05-01cs.ITmath.DSmath.IT

MIMO系统信号检测的优化马尔可夫链蒙特卡罗方法：平稳分布和混合时间分析

Optimized Markov Chain Monte Carlo for Signal Detection in MIMO Systems: an Analysis of Stationary Distribution and Mixing Time

在本文中，我们介绍了一种优化的马尔可夫链蒙特卡罗（MCMC）技术解决整数最小二乘（ILS）问题，其中包括最大似然（ML）检测多输入多输出（MIMO）系统。两个因素有助于MCMC检测器找到最优解的速度：最优解在平稳分布中的概率，以及MCMC检测器的混合时间。首先，我们计算“温度”参数的最佳值，在这个意义上，温度具有理想的属性，一旦马尔可夫链混合到其平稳分布，有多项式小概率（$1/\mbox{poly}(N)$，而不是指数小）遇到最优解。该温度被证明至多为$O(\sqrt{SNR}/\ln(N))$，其中$SNR$是信噪比，$N$是问题维数。其次，我们研究了所提出的MCMC检测器的底层马尔可夫链的混合时间。我们发现，MCMC的混合时间与ILS问题的格子结构中是否存在局部极小值密切相关。对于一些没有局部极小值的格，马尔可夫链的混合时间与$SNR$无关，并且在问题维度上多项式增长;对于具有局部极小值的格，当温度被设置为噪声的标准差时，混合时间随着$SNR$的增长而无界增长。我们的研究结果表明，为了确保快速混合的固定尺寸的$N$，MCMC的温度，而不是设置为$Ω(\sqrt{SNR})$一般。仿真结果表明，优化MCMC检测器有效地实现了MIMO系统中具有巨大数量的发送和接收维度的近似ML检测。

2013-10-28cs.ITmath.IT

更多相关论文收起更多论文

慢混合长记忆马尔可夫过程的平稳和转移概率

Stationary and Transition Probabilities in Slow Mixing, Long Memory Markov Processes

我们观察到一个长度为$n$的样本，它是由一个未知的平稳遍历马尔可夫过程（\emph{model}）在有限字母表$\mathcal{A}$上生成的.给定来自$\mathcal{A}$的符号的任何字符串$\bf{w}$，我们想要估计跟随$\bf{w}$的符号的条件概率分布，以及$\bf{w}$的平稳概率。在此设置中使估计复杂化的两个不同问题是（i）长存储器，以及（ii）甚至仅用一位存储器也可能发生的\emph{slow mixing}。在这种情况下，任何一致估计只能在所有遍历马尔可夫模型的类上逐点收敛。也就是说，给定任何估计量和任何样本大小$n$，基础模型可能使得估计量在具有高概率的大小为$n$的样本上表现不佳。但是我们能不能看一个长度$n$样本，并确定\emph{if}的估计可能是准确的？由于内存是未知的\emph{a-priori}，因此自然的方法是估计具有内存$k_n=\mathcal{O}(\log n)$的可能更粗糙的模型。随着$n$的增长，只要$k_n$的标度在$n$中不是超对数的，那么最终几乎肯定成立的逐点一致估计（eas）是已知的。在这里，我们不希望得到简单的收敛结果，而是希望得到长度为$n$的样本的最佳答案。将泛压缩的结果与Aldous的耦合参数相结合，我们得到了长度- $n$样本（即使是慢混合模型）的充分条件，以确定何时朴素（i）条件概率的估计和（ii）与平稳概率相…

2014-06-09cs.ITmath.IT

时间序列的非参数密度估计、在线预测、回归和分类的压缩方法

Compression-based methods for nonparametric density estimation, on-line prediction, regression and classification for time series

我们解决平稳和遍历时间序列的特征的非参数估计问题。我们考虑有限字母表时间序列和实值时间序列以及以下四个问题：i）（极限）概率的估计（或实值时间序列密度的估计），ii）在线预测，iii）回归和iv）分类（或所谓的边信息问题）。我们表明，所谓的存档（或数据压缩器）可以用作解决这些问题的工具。特别是，首先，它被证明，任何所谓的通用代码（或通用数据压缩器）可以被用来作为一个基础，为上述问题构造渐近最优方法。(By定义，通用码可以渐近地“压缩”由平稳和遍历源生成的任何序列，直到源的香农熵。其次，我们通过实验表明，基于实际使用的数据压缩方法的估计具有合理的精度。

2007-11-01cs.ITmath.IT

几乎无损模拟压缩的新一致界

New Uniform Bounds for Almost Lossless Analog Compression

Wu和Verdú开发了一种几乎无损的模拟压缩理论，其中一个对压缩器和解压缩器施加各种规则性条件，输入信号由（通常是无限熵）平稳随机过程建模。在这项工作中，我们考虑所有平稳随机过程的轨迹在一个规定的一组$\mathcal{S} \subset [0,1]^\mathbb{Z}$的（双）无穷序列，并找到统一的下限和上界的某些压缩率的度量平均维数和平均盒维数。一个重要的工具是最近的Lindenstrauss-Tsukamoto变分原理表示度量平均维数的率失真函数。

2019-06-18cs.ITmath.DSmath.IT

通用字母表平稳混合源的联合通用有损编码与识别

Joint universal lossy coding and identification of stationary mixing sources with general alphabets

Beckman Institute for Advanced Science and Technology, University of Illinois（伊利诺伊大学贝克曼先进科学技术研究所）；Duke University（杜克大学）

我们考虑的问题，联合通用可变速率有损编码和识别的参数类的固定$β$混合源一般（波兰）字母。压缩性能是衡量的拉格朗日，而识别性能是衡量的变化之间的距离真实源和估计源。假设源以足够快的速率混合并满足一定的平滑性和Vapnik-Chervonenkis可学习性条件，则对于有界度量失真，存在用于联合有损压缩和识别的通用方案，其拉格朗日冗余收敛到零，如块长度$n$趋于无穷大时的$\sqrt{V_n \log n /n}$，其中$V_n$是由源的$n$维边缘分布定义的某类决策区域的Vapnik-Chervonenkis维数;此外，对于每个$n$，解码器可以识别活动源的$n$维边缘，直到在变距离中的半径为$O(\sqrt{V_n\log n/n})$的球，最终概率为1。结果补充了几个例子的参数源满足正则性条件。

2009-01-13cs.ITcs.LGmath.IT

图形数据的通用无损压缩

Universal Lossless Compression of Graphical Data

图形数据由在其边和顶点上具有标记的图组成。该标记指示与相应边或顶点相关联的某些属性的值。这种数据的例子出现在社交网络、分子和系统生物学、网络图以及其他几个应用领域。我们的目标是设计方案，可以有效地压缩这种图形数据，而不对它的随机特性的假设。也就是说，我们希望开发一个通用的压缩算法的图形数据源。为了形式化这一目标，我们采用的框架，局部弱收敛，也被称为客观的方法，它提供了一种技术，认为一个标记图作为一种平稳的随机过程，相对于图的顶点之间的运动是平稳的。在最近的工作中，我们已经推广了熵的概念，在这个框架中，由于Bordenave和Caputo，标记图的情况下，未标记的图形。我们使用这个概念来评估压缩方案的效率。我们提出的无损压缩方案，在本文中，然后被证明是普遍最优的，在一个精确的技术意义。它还能够以压缩形式执行本地数据查询。

2019-09-21cs.ITmath.ITmath.PR

零熵序列的匹配律及滑动窗口Lempel-Ziv算法的渐近性

On Match Lengths and the Asymptotic Behavior of Sliding Window Lempel-Ziv Algorithm for Zero Entropy Sequences

滑动窗口Lempel-Ziv（SWLZ）算法在信息论文献中已经从各种角度进行了研究。本文给出了平稳和遍历零熵过程匹配长度渐近性的一般规律。此外，我们还利用这一规律来选择文献中给出的固定移位Lempel-Ziv算法（FSLZ）和SWLZ算法的几乎必然最优性证明中的匹配长度$L_o$。首先，通过一个由无理旋转产生的平稳和遍历过程的例子，我们建立了对于$n_w$的窗口大小，由$O(\frac{\log n_w}{{n_w}^a})$给出的压缩比，其中$a$任意接近于1，并且$0 < a < 1$，在FSLZ和SWLZ算法的应用下获得。进一步，我们给出了一类平稳且完全遍历的零熵过程的压缩比的一般表达式。

2013-05-18cs.ITmath.IT

广义概率平滑

Generalized Probability Smoothing

在这项工作中，我们考虑一个广义版本的概率平滑，核心基本模型的顺序预测的最先进的PAQ家庭的数据压缩算法。我们的主要贡献是一个码长分析，认为冗余的概率平滑相对于分段平稳源。该分析适用于一个有限的字母表，并表示冗余的分段平稳源的平稳分布的概率质量的总变化。通过适当地选择参数，概率平滑对于长度为$T$的序列相对于具有$S$段的分段平稳源具有冗余$O(S\cdot\sqrt{T\log T})$。

2018-01-10cs.ITmath.IT

有限块长度的无损数据压缩

Lossless Data Compression at Finite Blocklengths

本文对变长无损压缩中的最佳可达速率（以及其他相关的基本限制）的行为进行了广泛的研究。在非渐近制度中，固定到变量的无损压缩与前缀的约束和没有的基本限制被证明是紧密耦合。几个精确的，定量的界限推导出，连接的最佳codelestrant的源信息谱的分布，并给出了任意源的最佳可实现的速率的精确分析。精细的渐近结果证明任意（不一定前缀）压缩一般混合源。非渐近的，明确的高斯近似界建立的最佳可达速率的马尔可夫源。定义并表征了源色散和源变熵率。与熵率一起，变熵率用于紧密地近似固定到可变压缩的基本非渐近极限，除了非常小的块长度。

2012-12-11cs.ITmath.ITmath.PR

用于数据压缩的快速自相关上下文模型

Fast Autocorrelated Context Models for Data Compression

提出了一种通过计算数据的自相关函数自动生成数据上下文模型的方法。自相关函数的最大值出现在比特流中的偏移或滞后处，其倾向于与任何特定位置最高度相关。这些偏移对于在预测编码中使用是理想的，诸如用于数据压缩的预测部分匹配（PPM）或上下文混合算法，通过减少或消除对基于特定类型的数据的自组织模型的需要，使得这样的算法更有效且更通用。它没有使用自相关函数的定义，因为它考虑了数据的成对相关性，需要O（n^2）时间，而是应用了Weiner-Khinchin定理，在O（n log n）时间内快速获得自相关性作为数据功率谱的快速傅立叶逆变换，使该技术适用于压缩大数据对象。所示的方法，以产生最高水平的性能，迄今为止获得的无损图像压缩基准。

2013-06-10cs.ITcs.MMmath.IT

平稳遍历时间序列的多变化点估计

Multiple Change Point Estimation in Stationary Ergodic Time Series

给定一个异质时间序列样本，目标是找到生成数据的概率分布发生变化的时间点（称为变化点）。数据被假定为已产生的任意未知的平稳遍历分布。没有建模、独立性或混合假设。提出了一种新的，计算效率高，非参数的方法，并证明是渐近一致的，在这个一般的框架。理论结果与实验评价的补充。

2015-05-11cs.ITmath.ITmath.ST

逐频率估计平稳质量

Estimating stationary mass, frequency by frequency

H. Milton Stewart School of Industrial and Systems Engineering（H. Milton Stewart工业与系统工程学院）；School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）

本文研究指数α-混合随机过程中按观测频率估计平稳分布概率质量的问题，提出结合插件估计器与WingIt的线性时间方法，证明全变差距离下的一致相合性，并建立新的性能界与自归一化集中不等式。

2025-06-06cs.ITcs.LGmath.IT