Tight bounds for minimum l1-norm interpolation of noisy data
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
我们提供了匹配的上界和下界的顺序$σ^2/\log(d/n)$的预测误差的最小$\ell_1$ -范数的预测误差，a.k.a.基础追求我们的结果是紧到可以忽略不计的条款时，$d \gg n$，是第一个暗示渐近一致性的各向同性功能和稀疏地面真理的噪声最小范数插值。我们的工作补充了文献“良性过拟合”的最小$\ell_2$ -范数插值，只有当功能是有效的低维，可以实现渐近一致性。
2022-03-07 cs.IT cs.LG math.IT
An Estimation Theoretic Approach for Sparsity Pattern Recovery in the Noisy Setting
压缩感知处理稀疏信号的重建，使用少量的线性测量。压缩感知的主要挑战之一是找到稀疏信号的支持。在文献中，成功的支持恢复的测量的数量的缩放定律的几个界限已被导出，其中主要的焦点是随机高斯测量矩阵。在本文中，我们调查的噪声支持恢复问题，从估计理论的角度来看，没有具体的假设是对底层的测量矩阵。线性测量受到加性高斯白噪声的干扰。我们将支持度估计器的输出定义为一组按递增顺序排列的位置值。我们将真实支持度和估计支持度之间的误差设置为它们之差的$\ell_2$ -范数。一方面，这种选择允许我们使用$\ell_2$ -范数误差度量背后的机制，另一方面，将支持恢复转换为更直观的几何问题。首先，通过使用Hammersley-Chapman-Robbins（HCR）界，我们得到了一个基本的下界的性能的任何\emph{unbiased}估计的支持集。这个下限为我们提供了必要的条件，可靠的$\ell_2$范数支持恢复，我们专门评估均匀高斯测量矩阵的测量数量。然后，我们分析了最大似然估计和推导条件下，HCR界是可实现的。这导致我们的最佳解码器，这是足够的可靠的$\ell_2$范数支持恢复的测量的数量。使用这个框架，我们专门评估均匀高斯测量矩阵的充分条件。
2009-11-25 cs.IT math.IT
Extremal Relations Between Shannon Entropy and $\ell_α$-Norm
本文研究了$n$元概率向量$n \ge 2$的香农熵和$\ell_α$范数之间的关系.更准确地说，我们调查的紧界的$\ell_α$ -范数与一个固定的香农熵，反之亦然。作为结果的应用，我们得到了Shannon熵与由$\ell_α$ -范数确定的几个信息测度之间的紧界，例如，Rényi熵、Tsallis熵、$R$ -范数信息和一些多样性指数。此外，我们将这些结果应用于均匀聚焦通道。然后，我们证明了在均匀输入分布下具有固定互信息的Gallager $E_{0}$函数的紧界。
2016-01-28 cs.IT math.IT
Relations Between Conditional Shannon Entropy and Expectation of $\ell_α$-Norm
本文研究了条件Shannon熵和联合概率分布的$\ell_α$ -范数期望之间的关系。更准确地说，我们研究了$\ell_α$ -范数的期望与一个固定的条件香农熵的紧界，反之亦然。作为结果的应用，我们得到了条件Shannon熵与由$\ell_α$ -范数的期望所确定的几种信息测度之间的紧界，例如，条件Rényi熵和条件$R$ -范数信息。此外，我们将这些结果应用到离散无记忆信道下的均匀输入分布。然后，我们证明了在均匀输入分布下具有固定互信息的Gallager $E_{0}$函数的紧界。
2016-02-15 cs.IT math.IT
Graph Fourier Transform Based on $\ell_1$ Norm Variation Minimization
图形傅里叶变换的定义是图形信号处理中的一个基本问题。传统的图形傅立叶变换是通过图形拉普拉斯矩阵的特征向量来定义的，其最小化$\ell_2$范数信号变化。然而，当图很大时，拉普拉斯特征向量的计算是昂贵的。在本文中，我们提出了另一种定义的图形傅立叶变换的基础上$\ell_1$范数变化最小化。给出了$\ell_1$ Fourier基满足的一个必要条件，并给出了逼近$\ell_1$ Fourier基的快速贪心算法.数值实验表明了贪心算法的有效性。此外，贪婪基下的傅里叶变换表现出类似的衰减速率的拉普拉斯基的模拟或真实信号。
2019-08-19 cs.IT math.IT
On the $\ell_1$-Norm Invariant Convex k-Sparse Decomposition of Signals
受Cai和Zhang的一个有趣思想的启发，我们给出并证明了关于$\ell_1$范数不变的向量的凸$k$ -稀疏分解。这个结果很适合在RIP下讨论压缩感知问题，但我们相信它也有独立的利益。作为应用，给出了RIP恢复条件$δ_k+θ_{k,k} < 1$的简单推导。
2013-11-11 cs.IT math.IT
Alternating Direction Method of Multipliers Based on $\ell_{2,0}$-norm for Multiple Measurement Vector Problem
本文提出基于$\ell_{2,0}$-范数约束的ADMM优化算法求解MMV问题，证明了行支撑集稀疏性与$\ell_{2,0}$-范数的等价性，并基于KL性质证明了算法的全局收敛性。
2023-04-10 cs.IT math.IT
$\ell^p\!-\!\ell^q$-Norm Minimization for Joint Precoding and Peak-to-Average-Power Ratio Reduction
依赖于正交频分复用（OFDM）的无线通信系统遭受高峰均（功率）比（PAR），这使得功率低效的射频（RF）链成为必要，以避免误差向量幅度（EVM）和带外（OOB）发射的增加。这种情况在需要数百个线性RF链的大规模多用户（MU）多输入多输出（MIMO）系统中进一步恶化。在本文中，我们提出了一种新的方法，联合预编码和PAR降低，建立在一个新的$\ell^p\!-\!\ell^q$规范制定，这是能够找到最小PAR的解决方案，同时抑制MU干扰。我们提供了一个理论基础，我们的方法，并提供了一个大规模的MU-MIMO-OFDM系统，表现出显着降低PAR在低复杂度的仿真结果，而不会导致EVM或OOB排放的增加。
2021-07-14 cs.IT eess.SP math.IT
Constrained Optimization Involving Nonconvex $\ell_p$ Norms: Optimality Conditions, Algorithm and Convergence
ShanghaiTech University（上海科技大学）；University of Washington（华盛顿大学）；Beihang University（北京航空航天大学）
本文研究了含有变量的$0<p<1$范数（$\ell_p$ norm）的约束最优化问题的局部极小值的最优性条件，该范数既可以出现在目标中，也可以出现在约束中.由于$\ell_p$范数通常能促进稀疏解的产生，这类问题具有很强的适用性。然而，$\ell_p$范数的非光滑性和非Lipschtiz性往往导致这些问题难以分析和解决。我们提供了计算的次梯度的$\ell_p$规范和正规锥的$\ell_p$球。对于这两个问题，在各种约束规格下，我们导出了一阶必要条件。我们还推导了这两个问题的序列最优性条件，并研究了这些条件隐含的一阶必要条件的条件。我们指出，序列最优性条件可以很容易地满足迭代重加权算法，并表明，整体收敛可以很容易地推导出使用序列最优性条件。
2022-02-15 cs.IT cs.LG math.IT
A framework to characterize performance of LASSO algorithms
本文考虑求解具有稀疏解的\emph{noisy}欠定线性方程组。一个无噪声的等价物吸引了巨大的关注，在最近几年，首先，由于工作的\cite{CRT,CanRomTao06,DonohoPol}，它被证明在一个统计和大的维度的背景下，一个稀疏的未知向量（稀疏成比例的向量的长度）可以恢复从一个欠定系统通过一个简单的多项式$\ell_1$优化算法。\cite{CanRomTao06}进一步确定，即使当方程是\emph{noisy}时，也可以通过$\ell_1$的SOCP噪声等价物获得近似解，该近似解（在$\ell_2$范数意义上）不超过来自稀疏未知向量的噪声的常数倍。在我们最近的作品\cite{StojnicCSetam09,StojnicUpper10}中，我们创建了一个强大的机制，帮助我们准确地描述了$\ell_1$优化在无噪声情况下的性能（如\cite{StojnicEquiv10}所示，如果数学公理设置良好，则必须如此，\cite{StojnicCSetam09,StojnicUpper10}的结果与\cite{DonohoPol}的相应精确结果绝对一致）。在本文中，我们设计了一个机制，强大的那些从\cite{StojnicCSetam09,StojnicUpper10}，可以处理分析的LASSO类型的算法（和许多其他），可以（或通常是）用于“解决”噪声欠定系统。然后，使用该机制…
2013-03-29 cs.IT math.IT math.OC
Subspace Estimation from Unbalanced and Incomplete Data Matrices: $\ell_{2,\infty}$ Statistical Guarantees
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了未知低秩矩阵$\boldsymbol{A}^{\star}\in\mathbb{R}^{d_{1}\times d_{2}}$的列空间的估计问题，给出了其元素的噪声和部分观测值。在很多情况下，观测值（虽然噪声太大，无法支持整个矩阵的忠实恢复）仍然传达了足够的信息，以实现对感兴趣的列空间的可靠估计。这对于列维度$d_{2}$远远超过行维度$d_{1}$的高度不平衡的情况是特别明显和关键的，这是当前论文的焦点。本文研究了一种有效的谱方法，它对样本Gram矩阵进行对角删除。虽然这种算法的想法已经研究过了，我们建立了新的统计保证，这种方法的$\ell_{2}$和$\ell_{2,\infty}$估计精度，提高以前的结果，如果$d_{2}$是大大大于$d_{1}$。为了说明我们的研究结果的有效性，我们得到匹配的最小最大下界相对于噪声水平，并发展我们的一般理论的后果，为三个应用的实际重要性：（1）张量完成从噪声数据，（2）协方差估计/主成分分析与缺失数据，（3）社区恢复二部图。我们的理论导致所有三种情况下的性能保证的改善。
2020-11-15 cs.IT cs.LG math.IT
Simple Error Bounds for Regularized Noisy Linear Inverse Problems
考虑通过求解套索算法的变型：$\hat{\mathbf{x}}=\arg\min_\mathbf{x}\{ \|\mathbf{y}-\mathbf{A}\mathbf{x}\|_2+λf(\mathbf{x})\}$，从线性、欠定和噪声测量$\mathbf{y}=\mathbf{A}\mathbf{x}_0+\mathbf{z}$估计结构化信号$\mathbf{x}_0$。这里，$f$是旨在提升$\mathbf{x}_0$的结构的凸函数，例如提升稀疏性的$\ell_1$ -范数或提升低秩性的核范数。我们假设$\mathbf{A}$的条目是独立的并且是正态分布的，并且对噪声向量$\mathbf{z}$不做任何假设，除了它独立于$\mathbf{A}$之外。在这种通用的设置下，我们推导出一个一般的，非渐近的和相当紧的估计误差$\|\hat{\mathbf{x}}-\mathbf{x}_0\|_2$的$\ell_2$ -范数上界。我们的界限本质上是几何的，并且遵循一个简单的公式; $λ$、$f$和$\mathbf{x}_0$的作用都由单个汇总参数$δ(λ\partial((f(\mathbf{x}_0)))$捕获，该参数称为到缩放次微分的高斯平方距离。我们将我们的结果连接到文献，并通过模拟验证其有效性。
2014-01-25 cs.IT math.IT math.OC
Simple Bounds for Noisy Linear Inverse Problems with Exact Side Information
本文考虑线性逆问题，我们希望估计一个结构化的信号$x$从其损坏的意见。当问题是不适定的，它是自然的，利用凸函数$f(\cdot)$，利用信号的结构。例如，$\ell_1$范数可用于稀疏信号。为了进行估计，我们考虑两个著名的凸规划：1）二阶锥规划（SOCP），和2）Lasso。假设高斯测量，我们表明，如果精确的信息值$f(x)$或$\ell_2$ -规范的噪声是可用的，可以做一个特别好的工作估计。特别地，重构误差变得与信号的“稀疏性”成比例，而不是与噪声向量的环境维度成比例。我们将我们的结果连接到现有的作品，并提供了一个讨论我们的结果与标准的最小二乘问题的关系。我们的误差界是非渐近的和尖锐的，他们适用于任意凸函数，不假设任何分布的噪声。
2013-12-05 cs.IT math.IT math.OC
Minimum $\ell_{1}$-norm interpolators: Precise asymptotics and multiple descent
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
一系列不断发展的机器学习工作观察到的经验证据表明，插值估计器-实现零训练误差的估计器-可能不一定是有害的。本文追求理论上的理解的一个重要类型的插值器：最小$\ell_{1}$ -范数的插值器，这是出于观察，几个学习算法有利于低$\ell_1$ -范数的解决方案在过参数化制度。具体而言，我们考虑高斯设计下的噪声稀疏回归模型，重点是线性稀疏性和高维渐近性（以便特征的数量和稀疏水平与样本量成比例）。我们观察到，并提供严格的理论依据，一个奇怪的多下降现象，也就是说，泛化风险的最小$\ell_1$ -norm numerals经历多个（可能超过两个）阶段的下降和上升，因为一个增加的模型容量。这一现象源于最小$\ell_1$ -范数范数的特殊结构以及过参数化比率和稀疏性之间的微妙相互作用，从而揭示了与最小$\ell_2$ -范数范数的几何上的根本区别。我们的发现是建立在一个精确的特征的风险行为，这是由一个系统的两个非线性方程两个未知数。
2021-10-18 cs.IT cs.LG eess.SP
