arXiv 1202.39132012-02cs.ITmath.IT

信号加噪声模型中的贪婪自适应压缩

Greedy Adaptive Compression in Signal-Plus-Noise Models

Entao Liu, Edwin K. P. Chong, Louis L. Scharf

摘要：

本文的目的是研究贪婪的自适应测量政策的上下文中的线性高斯测量模型的优化标准的基础上的信息增益。在连续标量测量的特殊情况下，我们提供了充分的条件下，贪婪的政策实际上是最佳的意义上最大化的净信息增益。在一般情况下，我们还讨论了贪婪策略不是最优的情况。

英文摘要：

The purpose of this article is to examine the greedy adaptive measurement policy in the context of a linear Guassian measurement model with an optimization criterion based on information gain. In the special case of sequential scalar measurements, we provide sufficient conditions under which the greedy policy actually is optimal in the sense of maximizing the net information gain. In the general setting, we also discuss cases where the greedy policy is not optimal.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

最优分布逼近的贪心算法

Greedy Algorithms for Optimal Distribution Approximation

考虑离散概率分布$\mathbf{t}$用$M$型分布$\mathbf{p}$的逼近.近似误差由信息偏差$\mathbb{D}(\mathbf{t}\Vert\mathbf{p})$来测量，这是一个适当的测量，例如，在数据压缩的上下文中。性质的最佳逼近推导和界的逼近误差，这是渐近紧的。它表明，$M$型近似，最大限度地减少$\mathbb{D}(\mathbf{t}\Vert\mathbf{p})$，或$\mathbb{D}(\mathbf{p}\Vert\mathbf{t})$，或变分距离$\Vert\mathbf{p}-\mathbf{t}\Vert_1$都可以通过使用相同的一般贪心算法的特定实例。

2016-01-22cs.ITmath.IT

使用贪婪拒绝编码实现更快的相对熵编码

Faster Relative Entropy Coding with Greedy Rejection Coding

本文提出贪婪拒绝编码 GRC 及其变体 GRCS、GRCD，将拒绝式 REC 推广到任意概率空间，并从理论和实验上证明其运行时间与码长优势。

2023-09-27cs.ITmath.IT

低秩加压缩稀疏矩阵的恢复及其在流量异常揭示中的应用

Recovery of Low-Rank Plus Compressed Sparse Matrices with Application to Unveiling Traffic Anomalies

给定一个低秩矩阵的叠加加上一个已知的脂肪压缩矩阵乘以稀疏矩阵的产品，本文的目标是建立确定性的条件下，精确恢复的低秩和稀疏的组件成为可能。这一基本的可识别性问题与骨干网络中的流量异常检测有关，并包含压缩感知以及矩阵分解问题中遇到的及时低秩稀疏矩阵恢复任务。利用$\ell_1$ -和核范数恢复稀疏和低秩矩阵的能力，制定了一个凸规划来估计未知数。分析和仿真证实，所述凸程序可以恢复足够低的秩和足够稀疏的分量的未知数，随着压缩矩阵具有等距属性时，限制操作稀疏向量。当低秩、稀疏和压缩矩阵是从某些随机集合中提取时，可以确定精确的恢复是可能的，具有很高的概率。一阶算法被开发来解决具有可证明的迭代复杂性保证的非光滑凸优化问题。对合成和真实网络数据的深入测试证实了这种新方法在揭示流量和时间异常方面的有效性，以及其优于现有替代方案的能力。

2012-04-30cs.ITcs.NImath.IT

联合稀疏恢复的贪婪子空间追踪算法

Greedy Subspace Pursuit for Joint Sparse Recovery

在本文中，我们解决稀疏多测量向量（MMV）的问题，其目标是恢复一组稀疏的非零行向量或指数的信号矩阵不完整的测量。理想情况下，不管信号矩阵中的列数如何，稀疏度（k）加一个测量值对于几乎所有信号的信号向量的均匀恢复是足够的，即，不包括勒贝格测度为零的集合。为了在信号矩阵秩小于k的情况下仍能以较高的计算效率逼近“k+1”下界，本文提出了一种称为两阶段正交子空间匹配追踪（TSMP）的贪心算法，其理论结果比正交子空间匹配追踪（OSMP）和子空间增强多信号分类（SA-MUSIC）算法在更少的限制条件下逼近下界.我们提供非渐近的OSMP和TSMP的性能保证，覆盖无噪声和噪声的情况下。约束等距属性和互相关的变体被用来提高性能保证。数值模拟表明，该方案具有较低的复杂度，并优于大多数现有的贪婪方法。这表明，随着信号矩阵列数的增加，TSMP成功的最小测量次数比现有方法更快地收敛到下界。

2016-01-26cs.ITmath.IT

基于MF的波前约束分布式MIMO C-RAN降维信号压缩

MF-based Dimension Reduction Signal Compression for Fronthaul-Constrained Distributed MIMO C-RAN

在这项工作中，我们提出了一个前传压缩方案的分布式MIMO系统与多天线接收机，其中，在信号量化之前，在每个接收机进行降维匹配滤波接收到的信号与一个子集的本地用户信道向量。通过基于全局信道信息来选择这些匹配滤波器向量，可以通过少量信号分量来捕获高比例的潜在容量，然后可以使用局部信号压缩来有效地压缩这些信号分量。我们概述了一个贪心算法为每个接收器选择匹配的滤波矢量，和一个本地变换编码的方法来量化它们，给出表达式所得到的系统和用户容量。然后，我们表明，该计划很容易修改，以占不完美的CSI在接收机。数值结果表明，在低信号维数下，该方案能够在非常接近于切集界的情况下工作，并且在所有工作点，特别是在高信噪比下，与局部压缩相比，该方案在速率容量权衡方面都有显着的改善。

2020-05-27cs.ITmath.IT

对称相关高斯信源的鲁棒分布式压缩

Robust Distributed Compression of Symmetrically Correlated Gaussian Sources

考虑具有$\ell$分布式编码器和集中式解码器的有损压缩系统。每个编码器压缩其观测源，并将压缩数据转发到解码器，用于在均方误差失真约束下联合重建目标信号。假设观测源可以表示为目标信号和破坏性噪声之和，这两个破坏性噪声独立地产生于两个对称的多元高斯分布。取决于这样的分布的参数，该系统的率失真极限的特征在于完全或至少足够低的失真。结果被进一步扩展到鲁棒分布式压缩设置，其中编码器的子集的输出也可以用于产生对应的目标信号的非平凡重构。特别是，我们在高-当所有$\ell$编码器中的每个$k$共同以相同模式操作时，基于$k+1$或更多编码器的输出的最小可实现重构失真的精确表征，该模式在最小化由相应$k$目标信号的重构引起的失真相对于这些目标信号的平均速率的意义上是贪婪的$k$编码器。

2018-07-18cs.ITmath.IT

更多相关论文收起更多论文

图信号的贪婪采样

Greedy Sampling of Graph Signals

采样是图形信号处理中的一个基本主题，在估计、聚类和视频压缩中有应用。与传统的信号处理相比，信号域的不规则性使得采样集的选择变得不平凡并且难以分析。实际上，尽管存在从无噪声样本的图形信号插值的条件，但它们不会导致唯一的采样集。噪声的存在使得在这些采样集之间进行选择成为一个困难的组合问题。虽然贪婪采样方案在实践中被广泛使用，但它们没有性能保证。这项工作采取了双重办法来解决这个问题。首先，从噪声样本的图形信号的贝叶斯估计的通用性能界。与当前可用的界限相比，它们不限于特定的采样方案，并且适用于任何采样集。其次，本文通过引入近似子模度的概念和更新经典的贪婪界，为贪婪采样提供了近最优的保证。然后，它提供了明确的界限上的近似supermodularity的插值均方误差表明，它可以优化与最坏情况下的保证，使用贪婪搜索，即使它不是supermodular的。仿真说明了不同的图形模型的推导范围，并显示了图形信号采样的应用，以减少核主成分分析的复杂性。

2017-09-12cs.ITcs.SImath.IT

论知觉有损压缩：知觉重建的代价和最佳训练框架

On Perceptual Lossy Compression: The Cost of Perceptual Reconstruction and An Optimal Training Framework

Shanghai Jiao Tong University（上海交通大学）

有损压缩算法通常被设计成在给定比特率下实现最低可能失真。然而，最近的研究表明，追求高感知质量将导致最低可实现失真的增加（例如，MSE）。本文从理论上提供了重要的结果，揭示了，\textit{1}）实现完美感知质量的成本恰好是最低可实现MSE失真的两倍，\textit{2}）对于“经典”率失真问题的最佳编码器也是最佳的感知压缩问题，\textit{3}）失真损失对于训练感知解码器是不必要的。此外，我们提出了一种新的训练框架，以实现最低的MSE失真在完美的感知约束下，在给定的比特率。该框架使用了一个GAN，其具有以MSE优化编码器为条件的SNR，这优于使用失真加对抗性损失的传统框架。实验结果验证了理论分析的正确性，并证明了该训练框架的优越性。

2021-06-05cs.AIcs.ITmath.IT

波束空间海量MIMO信号的最优离散空域压缩

Optimal Discrete Spatial Compression for Beamspace Massive MIMO Signals

在基站侧部署大量天线可以显著提高蜂窝系统的性能。然而，同时，它涉及显著附加的射频（RF）前端复杂性、硬件成本和功耗。为了解决这个问题，基于波束空间多输入多输出（波束空间MIMO）的方法被认为是一个有前途的解决方案。在本文中，我们首先表明，传统的波束空间MIMO遭受空间功率泄漏和不完善的信道统计估计。因此，提出了一种波束组合模块，该模块在波束空间变换之后由少量（与天线元件的数量相比）低分辨率（可能是一位）数字（离散）移相器组成，以进一步压缩波束空间信号维度，使得RF链的数量可以减少到波束空间变换和波束选择之外。基于分支定界（BB）方法获得上行链路的最佳离散波束组合权重。基于BB的解决方案的关键是解决具体的子问题，其解决方案是在一个封闭的形式。在此基础上，提出了一种具有线性复杂度（w.r.t.）波束空间中的波束数量）。基于实际信道模型和长期演进（LTE）参数的链路级仿真结果表明，所提出的方案可以在1比特数字移相器网络的情况下将RF链路的数量减少到$25\%$。

2017-12-20cs.ITmath.IT

LZ惩罚：一种用于自回归语言模型的信息论重复惩罚项

LZ Penalty: An information-theoretic repetition penalty for autoregressive language models

Salesforce AI Research（Salesforce人工智能研究）

本文提出LZ惩罚，基于LZ77压缩算法，可让开源推理模型用贪婪解码时无退化重复，优于现有频率、重复惩罚。

2026-08-19cs.AIcs.ITcs.LG

单文本压缩的最佳字母表

Optimal alphabet for single text compression

Alikhanyan National Laboratory (Yerevan Physics Institute)（阿里哈尼扬国家实验室（埃里温物理研究所））；Envoy Media Group（Envoy传媒集团）

使用来自给定字母表的符号书写的文本可以使用霍夫曼代码压缩，这最小化了编码文本的长度。然而，有必要采用文本特定的码本，即符号-码字字典来解码原始文本。因此，压缩性能应该通过完整的码长来评估，即编码文本的长度加上码本的长度。我们研究了几种用于压缩文本的字母表--字母、字母的n-gram、音节、单词和短语。如果只保留足够短的文本，则字母表或两克字母是最佳的。对于大多数古腾堡计划文本，最佳字母表（最小化完整代码长度的字母表）由音节或单词给出，这取决于码本的表示。字母3和4-gram的平均长度与音节/单词相当，表现明显不如音节或单词。单词2-grams也从来都不是最好的字母表，因为它有一个非常大的密码本。我们还表明，码本表示是重要的-从一个天真的表示切换到一个紧凑的显着改善了大量的符号，最显着的话，字母表的事项。因此，语言中表达意义的元素（音节或单词）提供了最好的压缩字母表。

2022-07-31cs.CLcs.ITmath.IT

论经验熵

On Empirical Entropy

University of Amsterdam（阿姆斯特丹大学）

我们提出了一个基于压缩的版本的经验熵的有限字符串在有限的字母表。而以前考虑裸熵（可能更高阶）马尔可夫过程，我们考虑的总和的描述的随机变量加上熵，它诱导。我们仅假设所涉及的分布是可计算的。为了测试新的概念，我们比较了归一化信息距离（相似性度量）与香农框架中基于互信息的相关度量。这样，后两个概念的相似性和差异就暴露出来了。

2011-03-30cs.ITcs.LGmath.IT