Upper-bounding $\ell_1$-optimization weak thresholds
在我们最近的工作\cite{StojnicCSetam09}中,我们考虑了求解具有稀疏解的欠定线性方程组。在一个大的维度和统计的背景下,我们证明了,如果在系统中的方程的数量是成比例的未知向量的长度,然后有一个稀疏性(未知向量的非零元素的数量)也成比例的未知向量的长度,这样的多项式$\ell_1$ -优化技术成功地解决了系统。我们提供了一个坚实的数值协议,可以通过数值实验观察到的比例常数的下限。在这里,我们创建了一个机制,可以用来推导比例常数的上限。此外,通过这样的机制获得的上限匹配的下限从\cite{StojnicCSetam09},并最终使后者的最佳。
2013-03-29 cs.IT math.IT math.OC
Optimality of $\ell_2/\ell_1$-optimization block-length dependent thresholds
\cite{CRT,DonohoPol}最近的工作严格证明了(在一个大的维度和统计背景下),如果方程的数量(压缩感知术语中的测量)与未知向量的长度成比例,则存在稀疏性(未知向量的非零元素的数目)也与未知向量的长度成比例,使得$\ell_1$ -优化算法成功地解决了系统。在最近的论文\cite{StojnicCSetamBlock09,StojnicICASSP09block,StojnicJSTSP09}中,我们考虑了欠定系统的所谓\textbf{block} -稀疏解。在一个大的维度和统计的背景下,在\cite{StojnicCSetamBlock09},我们确定了下限值的允许稀疏性为任何给定数量(比例的未知向量的长度)的方程,使$\ell_2/\ell_1$优化算法成功地解决了系统。这些下限恰好与人们通过数值实验所观察到的数值一致。在这里,我们推导出相应的上界。此外,我们在本文中获得的上限匹配的下限从\cite{StojnicCSetamBlock09},并最终使他们最优。
2013-03-29 cs.IT math.IT math.OC
Neural Network-Based Dynamic Threshold Detection for Non-Volatile Memories
Singapore University of Technology and Design(新加坡科技设计大学)
存储器物理引起的通道未知偏移是许多非易失性存储器(NVM)要解决的关键和困难的问题。在本文中,我们首先提出了新的神经网络(NN)检测器,通过使用多层感知器(MLP)网络和递归神经网络(RNN),它可以有效地解决未知的信道偏移。然而,与传统的阈值检测器相比,NN检测器将招致显著的读取延迟和更多的功耗。因此,我们进一步提出了一种新的动态阈值检测器(DTD),其检测阈值可以根据建议的NN检测器的输出。以这种方式,基于NN的检测仅需要在纠错码(ECC)解码器故障时被调用,或者当系统处于空闲状态时周期性地被调用。此后,仍将通过使用基于NN检测器的输出导出的经调整的检测阈值来采用阈值检测器,直到需要进一步调整检测阈值。仿真结果表明,在不需要信道先验知识的情况下,基于RNN检测的DTD可以达到最优检测器的误码性能。
2019-02-17 cs.IT cs.LG math.IT
Robust Instance-Optimal Recovery of Sparse Signals at Unknown Noise Levels
我们考虑从噪声测量中恢复稀疏信号的问题。许多常用的恢复方法依赖于某种调谐,这取决于噪声或信号参数。如果对它们中的任何一个都没有估计,则噪声恢复问题明显更难。已知平方根LASSO和最小绝对偏差LASSO是噪声盲的,因为调谐参数可以独立于噪声和信号来选择。我们将这些恢复方法推广到\hrlone{},并在调整参数超过阈值时提供恢复保证。此外,我们分析了一个坏的选择调谐参数失谐的影响在理论上的水平,并证明了我们的恢复保证的最优性。进一步,对于高斯矩阵,我们给出了调整参数的阈值的精细分析,并证明了一个新的关系的调整参数的维数。实际上,对于一定量的测量,调谐参数变得与稀疏性无关。最后,我们验证了最小绝对偏差LASSO可以用于随机一致随机选择左正则偶图的随机游动矩阵。
2020-10-17 cs.IT math.IT
Improved Sparse Recovery Thresholds with Two-Step Reweighted $\ell_1$ Minimization
众所周知,$\ell_1$最小化可以用于从压缩的线性测量恢复足够稀疏的未知信号。事实上,已经计算了作为系统维度之间的比率的函数的关于稀疏性的精确阈值,使得几乎所有稀疏信号都可以以高概率从iid高斯测量中恢复,并且被称为“弱阈值”\cite{D}。在本文中,我们介绍了一个重新加权的$\ell_1$恢复算法组成的两个步骤:一个标准的$\ell_1$最小化步骤,以确定一组条目的信号可能驻留,和一个加权的$\ell_1$最小化步骤,这组以外的条目被处罚。对于非稀疏分量具有iid高斯条目的信号,我们证明了弱恢复阈值的“严格”改进。模拟表明,改进可以是相当令人印象深刻的-在我们考虑的例子中超过20%。
2010-04-02 cs.IT math.IT
Super-Resolution of Complex Exponentials from Modulations with Unknown Waveforms
超分辨率通常被称为从粗糙信息恢复精细细节的任务。受单分子成像、雷达成像等应用的启发,我们考虑从具有未知波形的复指数的调制中对复指数进行参数估计,从而允许非平稳盲超分辨率。然而,这个问题是不适定的,因为与复指数和调制波形相关联的参数都是未知的。为了缓解这一点,我们假设未知的波形生活在一个共同的低维子空间。使用提升技巧,我们重铸盲超分辨率问题作为一个结构化的低秩矩阵恢复问题。原子范数最小化,然后用来执行结构化的低秩,并重新制定为一个半定的计划,是在多项式时间可解。我们表明,缩放模糊度,精确恢复的复指数参数和未知波形是可能的,当波形子空间是随机的,测量的数量是成比例的自由度的问题。数值模拟支持我们的理论研究结果,表明非平稳盲超分辨率使用原子范数最小化是可能的。
2016-08-08 cs.IT math.IT
Sampling of the Wiener Process for Remote Estimation over a Channel with Unknown Delay Statistics
本文研究了Wiener过程的在线采样问题。目标是在传输时延分布未知的情况下,在采样频率约束下,最小化远程估计器的均方误差。将采样问题转化为一个可选停止问题,提出了一种在线采样算法,该算法通过随机逼近自适应学习最优停止阈值。我们证明了累积的MSE后悔增长率$\mathcal{O}(\ln k)$,其中$k$是样本的数量。通过Le Cam的两点方法,证明了任何在线抽样算法的最坏情况下的累积均方误差遗憾值的下界为$Ω(\ln k)$ .因此,所提出的在线采样算法是极小极大阶最优的。最后,我们通过数值模拟验证了所提出的算法的性能。
2022-12-24 cs.IT math.IT
Reconstruction of signals with unknown spectra in information field theory with parameter uncertainty
宇宙度规扰动和其他信号的最佳重建需要知道它们的功率谱和其他参数。如果这些不是先验已知的,则必须从用于信号重建的相同数据同时测量它们。在信息场论的框架内,我们制定了存在未知参数的信号推理的一般问题。我们开发了一个通用的参数不确定性重整化估计(PURE)技术,并解决了重建高斯信号与未知功率谱的问题,有五种不同的方法:(i)单独的最大后验功率谱测量和随后的重构,(ii)具有边缘化功率谱的最大后验功率重构,(iii)最大化信号和谱的联合后验,(iv)从维纳滤波器映射中的方差猜测频谱,以及(v)提供PURE滤波器的场论问题的重整化流分析。在所有情况下,重建可以被描述或近似为维纳滤波器操作,其中假定的信号频谱根据相同的配方从数据导出,但具有不同的系数。所有这些过滤器,除了重整化的一个,表现出感知阈值的情况下,Jeffreys之前的未知光谱。方差低于该阈值的数据模式根本不影响信号重构。过滤器(iv)似乎是类似于所谓的Karhune-Loeve和Feldman-Kaiser-Peacock估计的星系功率谱在宇宙学中使用,因此也应该表现出一个边际感知阈值,如果正确实施。我们提出了统计性能测试,并表明,纯过滤器是优于其他。
2011-05-10 astro-ph.CO astro-ph.IM cs.IT
Sampling for Remote Estimation of an Ornstein-Uhlenbeck Process through Channel with Unknown Delay Statistics
针对延迟统计未知的OU过程远程估计采样问题,将其转化为最优停止问题,提出结合随机逼近与虚拟队列的在线采样算法,理论上证明其MSE收敛于已知延迟统计时的最优值且满足采样频率约束,仿真验证了性能。
2023-08-29 cs.IT cs.NI math.IT
SUPER: Sparse signals with Unknown Phases Efficiently Recovered
假设${\bf x}$是$\mathbb{C}^{n}$中的任意精确$k$ -稀疏向量.我们提出了一类相位测量矩阵$A$在$\mathbb{C}^{m\times n}$,和一个相应的算法,称为SUPER,可以解决${\bf x}$的全球相位从强度测量$|A{\bf x}|$与高概率超过$A$。这里,$|A{\bf x}|$是$A{\bf x}$的分量幅度的矢量。SUPER算法是第一个同时具有以下特性的算法:(a)它只需要${\cal O}(k)$(阶最优)测量,(b)解码的计算复杂度是${\cal O}(k\log k)$(近阶最优)算术运算。
2014-01-25 cs.IT math.IT
Improving the Thresholds of Sparse Recovery: An Analysis of a Two-Step Reweighted Basis Pursuit Algorithm
众所周知,$\ell_1$最小化可以用于从压缩的线性测量恢复足够稀疏的未知信号。事实上,作为系统维度之间的比率的函数,稀疏性的精确阈值使得几乎所有稀疏信号都可以以高概率从i.i.d.高斯测量值,并被称为“弱阈值”\cite{D}。在本文中,我们介绍了一个重新加权的$\ell_1$恢复算法组成的两个步骤:一个标准的$\ell_1$最小化步骤,以确定一组条目的信号可能驻留,和一个加权的$\ell_1$最小化步骤,这组以外的条目被处罚。对于非稀疏分量条目独立且相同地从某些类分布(包括最著名的连续分布)中提取的信号,我们证明了弱恢复阈值的\emph{strict}改进。我们的分析表明,弱阈值的改善程度取决于原点分布的行为。数值模拟很好地验证了阈值改善的分布依赖性,并表明在i.i.d.高斯非零项,改进可以是相当令人印象深刻的-在我们考虑的例子中超过20%。
2011-11-06 cs.IT math.IT
Neighborhood Selection for Thresholding-based Subspace Clustering
子空间聚类是指将高维数据点聚类到一个低维线性子空间的并集中的问题,其中子空间的数量,它们的维度和方向都是未知的。在本文中,我们提出了一个变化,最近推出的基于阈值的子空间聚类(TSC)算法,它适用于谱聚类的邻接矩阵构造从最近的邻居的每个数据点相对于球面距离测量。新元素驻留在最近邻居数量的单个数据驱动选择中。以前的性能结果TSC,以及其他子空间聚类算法的基础上,谱聚类,来在一个中间的性能指标,这并不直接解决聚类错误。我们的主要分析贡献是一个性能分析的修改TSC算法(以及原TSC算法)的聚类误差直接。
2014-03-13 cs.IT math.IT stat.ML
A Greedy Blind Calibration Method for Compressed Sensing with Unknown Sensor Gains
基于压缩感测原理的感测模态的实现通常受到其感测算子的数学模型(这在信号恢复期间是必要的)与其实际物理实现之间的差异的阻碍,实际物理实现可能与假设的模型有很大不同。在本文中,我们解决了双线性逆问题的恢复稀疏的输入信号和一些未知的,非结构化的乘法因素影响的传感器捕获每个压缩测量。我们的方法依赖于收集几个快照下的新绘制的传感算子,并应用一个贪心算法的基础上投影梯度下降和迭代硬阈值的原则。我们探索经验的样本复杂性的要求,该算法通过测试其相变,并显示在一个实际相关的情况下,这个问题的压缩成像,可以得到精确的解决方案,只有几个快照。
2018-02-20 cs.IT math.IT math.OC
Age Optimal Sampling for Unreliable Channels under Unknown Channel Statistics
Tsinghua University(清华大学);Yale University(耶鲁大学);Meta Platforms, Inc.(元平台公司);Zhejiang University(浙江大学)
本文针对信道统计未知的不可靠信道,提出基于Robbins-Monro的在线采样算法,最小化信息年龄,实现极小极大阶最优,并提升稳定性。
2025-02-24 cs.IT cs.LG math.IT
Subspace Clustering via Thresholding and Spectral Clustering
ETH Zurich(苏黎世联邦理工学院)
我们考虑的问题,聚类一组高维数据点到低维线性子空间的集合。子空间的数量、维度和方向都是未知的。我们提出了一个简单的和低复杂度的聚类算法的基础上阈值的数据点之间的相关性,其次是谱聚类。概率性能分析表明,该算法成功,即使当子空间相交时,当子空间的维度在环境维度中线性缩放(最多为对数因子)时。此外,我们证明了该算法也成功的数据点,受到擦除的擦除缩放(最多的对数因子)的数量在环境维度的线性。最后,我们提出了一个简单的方案,可证明检测离群值。
2013-03-15 cs.IT cs.LG math.IT
The Algebraic Approach to Phase Retrieval and Explicit Inversion at the Identifiability Threshold
University College London(伦敦大学学院);University of Vienna(维也纳大学)
我们研究相位恢复从一个未知信号的幅度测量作为一个代数估计问题。实际上,从秩一和更一般的线性测量的相位恢复可以以代数方式处理。验证了一定数量的通用秩一或通用线性测量足以实现通用信号的信号重构,并且稍微更通用的测量产生所有信号的可重构性。我们的研究结果解决了一些开放的问题,在最近的文献中。此外,我们展示了如何代数估计问题可以解决的封闭形式的代数估计技术,称为理想回归,提供非渐近的成功保证。
2014-02-17 cs.CV cs.IT math.AG