Generalization Error Bounds for Iterative Recovery Algorithms Unfolded as Neural Networks
RWTH Aachen University(亚琛工业大学)
受学习迭代软阈值算法(LISTA)的启发,我们引入了一个通用的神经网络,适用于稀疏重建从几个线性测量。通过允许层之间的权重共享程度的变化,我们可以对非常不同的神经网络类型进行统一分析,从递归网络到更类似于标准前馈神经网络的网络。基于训练样本,通过经验风险最小化,我们的目标是学习最佳网络参数,从而从低维线性测量中重建信号的最佳网络。我们通过分析由这种深度网络组成的假设类的Rademacher复杂性来推导泛化边界,该复杂性还考虑了阈值参数。我们得到的样本的复杂性,基本上只依赖于线性的参数的数量和深度的估计。我们应用我们的主要结果来获得几个实际例子,包括不同的算法(隐式)字典学习,和卷积神经网络的具体推广界限。
2022-01-17 cs.LG eess.SP stat.ML
NOODL: Provable Online Dictionary Learning and Sparse Coding
University of Minnesota – Twin Cities(明尼苏达大学双城分校);Princeton University(普林斯顿大学)
我们考虑字典学习问题,其目的是将给定数据建模为称为字典的矩阵的几列的线性组合,其中形成线性组合的稀疏权重称为系数。由于字典和系数,参数化的线性模型是未知的,相应的优化是固有的非凸。这是一个重大的挑战,直到最近,当字典学习的可证明算法被提出。然而,这些仅提供对字典的恢复的保证,而没有对系数的显式恢复保证。此外,字典中的任何估计误差不利地影响成功定位和估计系数的能力。这潜在地限制了现有可证明字典学习方法在系数恢复感兴趣的应用中的效用。为此,我们开发NOODL:一个简单的神经合理的交替基于优化的在线字典学习算法,恢复字典和系数正好在几何速率,当适当初始化。我们的算法,NOODL,也是可扩展的,适合大规模分布式实现的神经架构,我们的意思是,它只涉及简单的线性和非线性操作。最后,我们证实了这些理论结果,通过实验评估所提出的算法与目前最先进的技术。保留字:字典学习、可证明字典学习、在线字典学习、非凸、稀疏编码、支持恢复、迭代硬阈值、矩阵分解、神经架构、神经网络、noodl、稀疏表示、稀疏信号处理。
2019-08-27 cs.LG cs.NE stat.ML
Manifold Proximal Point Algorithms for Dual Principal Component Pursuit and Orthogonal Dictionary Learning
Texas A&M University(德克萨斯A&M大学);Cainiao Network(菜鸟网络);University of California, Davis(加州大学戴维斯分校);The Chinese University of Hong Kong(香港中文大学)
我们考虑的问题,最大化的线性映射的$\ell_1$范数的球,这出现在各种机器学习应用,如正交字典学习(ODL)和鲁棒子空间恢复(RSR)。该问题是数值上的挑战,由于其非光滑的目标和非凸约束,其算法方面还没有得到很好的探索。在本文中,我们将展示如何利用球的流形结构来设计快速算法来解决这个问题。具体而言,我们的贡献是三方面的。首先,我们提出了一个流形邻近点法(ManPPA)的问题,并表明它以次线性速度收敛。此外,我们表明,ManPPA可以实现平方收敛速率时,适用于ODL和RSR问题。其次,我们提出了一种称为StManPPA,这是非常适合于大规模计算的ManPPA的随机变体,并建立其次线性收敛速度。ManPPA和StManPPA都具有比现有的子梯度型方法更快的收敛速度。第三,使用ManPPA作为构建块,我们提出了一种新的方法来解决矩阵模拟的问题,其中球被替换为Stiefel流形。通过对ODL和RSR问题的大量数值实验,验证了所提方法的有效性。
2021-07-21 cs.CV cs.LG eess.SP
Recovery of Coherent Data via Low-Rank Dictionary Pursuit
Cornell University(康奈尔大学);Rutgers University(罗格斯大学)
最近建立的RPCA方法为我们提供了一个方便的方法来恢复低秩矩阵从严重损坏的观察。虽然RPCA在理论上很优雅,在现实中很强大,但它可能不是低秩矩阵恢复问题的最终解决方案。事实上,即使数据是严格低秩的,它的性能也可能不完美。这是因为传统的RPCA忽略了在现代应用中普遍存在的数据的聚类结构。随着聚类数目的增加,数据的一致性不断增强,RPCA的恢复性能随之下降。我们表明,连贯数据(即,具有高一致性的数据)可以通过低秩表示(LRR)来缓解,只要LRR中的字典被适当地配置。更确切地说,我们从数学上证明,如果字典本身是低秩的,那么LRR是免疫的相干参数,增加了底层的集群数量。这为处理相干数据提供了一个基本原则。随后,我们设计了一个实用的算法,以获得适当的字典在无监督的环境。我们对随机生成矩阵的大量实验验证了我们的说法。
2014-07-16 cs.IT cs.LG math.IT
Exact Recovery of Sparsely-Used Dictionaries
Yale University(耶鲁大学);Columbia University(哥伦比亚大学)
我们考虑学习稀疏使用的字典与任意平方字典和随机,稀疏系数矩阵的问题。我们证明了$O (n \log n)$样本是足够的唯一确定的系数矩阵。在此基础上,我们设计了一个多项式时间的稀疏字典精确恢复算法(ER-SpUD),并证明了当系数矩阵足够稀疏时,该算法可以恢复字典和系数矩阵。仿真结果表明,ER-SpUD揭示了真正的字典以及系数的概率高于许多国家的最先进的算法。
2012-06-26 cs.IT cs.LG math.IT
Basis Pursuit and Orthogonal Matching Pursuit for Subspace-preserving Recovery: Theoretical Analysis
Lehigh University(利哈伊大学);The Johns Hopkins University(约翰斯·霍普金斯大学)
给定一个过完备字典$A$和一个信号$b = Ac^*$,其中某个稀疏向量$c^*$的非零元素对应于$A$的线性无关列,经典稀疏信号恢复理论考虑$c^*$是否可以恢复为$b = A c$的唯一稀疏解的问题.现在很好地理解,当字典$A$是不相干的或受限制的等距的时,这种恢复通过实用算法是可能的。在本文中,我们考虑更一般的情况下,$b$位于一个子空间$\mathcal{S}_0$由一个子集的线性相关列的$A$,其余列的子空间之外。在这种情况下,稀疏表示可能不是唯一的,并且字典可能不是不连贯的或受限制的等距的。目标是使表示$c$正确地标识子空间,即,$c$的非零条目应当对应于子空间$\mathcal{S}_0$中的$A$的列。这种表示$c$被称为子空间保持,这是一个关键概念,在高维数据中学习低维结构时有重要应用。我们提出了各种几何条件,保证子空间保持恢复。其中,覆盖半径和角距离分别刻画了子空间中点的分布以及子空间中点与子空间外点的相似性.重要的是,这些条件并不要求字典是不连贯的或受限制的等距。通过建立子空间保持恢复问题和经典的稀疏信号恢复问题在后者的共同假设下是等价的,我们证明了我们提出的几个条件是稀疏信号恢复文献中一些众所周知的条件的推广。
2019-12-30 cs.CV cs.LG stat.ML
Dictionary Learning with BLOTLESS Update
National University of Defense Technology(中国人民解放军国防科技大学);Imperial College London(帝国理工学院);King’s College London(伦敦国王学院)
用于学习字典以稀疏地表示给定数据集的算法通常在稀疏编码和字典更新阶段之间交替。用于字典更新的方法旨在通过在稀疏编码阶段中获得的非零系数的给定模式下更新字典向量和扩展系数来最小化扩展误差。我们提出了一个块总最小二乘(BLOTLESS)算法的字典更新。BLOTLESS同时更新字典元素块和相应的稀疏系数。在无误差的情况下,确定了三个必要条件,精确恢复。训练数据的数量上的下限被建立,使得必要条件以高概率保持。数值模拟结果表明,该界近似准确的字典恢复所需的训练数据的数量。数值实验进一步证明了与最先进的算法相比,使用BLOTLESS更新的字典学习的几个好处,特别是当训练数据量很小时。
2020-02-01 cs.LG eess.SP
Joint Subspace Recovery and Enhanced Locality Driven Robust Flexible Discriminative Dictionary Learning
Hefei University of Technology(合肥工业大学);Soochow University(苏州大学);Harbin Institute of Technology(哈尔滨工业大学);University of Queensland(昆士兰大学)
我们提出了一种基于子空间恢复和增强局部性的鲁棒柔性标签一致性字典学习方法,称为鲁棒柔性判别字典学习(RFOLD)。该算法主要通过增强对稀疏错误的鲁棒性,对局部性、重构错误和标签一致性进行更精确的编码,来提高数据的表示和分类能力。首先,为了对数据和原子中的噪声和稀疏错误具有鲁棒性,RFRST旨在联合恢复底层的干净数据和干净原子子空间,然后在恢复的子空间中执行DL并编码局部性。其次,为了使从非线性流形采样的数据能够潜在地处理,并通过避免过拟合来获得准确的重建,RFFLOW以灵活的方式最小化重建误差。第三,为了对标签一致性进行准确编码,RFRST涉及有区别的灵活稀疏码错误以鼓励系数变软。第四,为了更好地编码局部性,RFFNN定义了恢复原子上的拉普拉斯矩阵,包括原子在类内紧凑性和类间分离方面的标签信息,并与组稀疏码和分类器相关联,以获得准确的区分性局部约束系数和分类器。在公共数据库上的大量结果表明了我们的RFESTs的有效性。
2019-06-11 cs.CV cs.LG
Exploring the Effect of Sparse Recovery on the Quality of Image Superresolution
Fresno City College(弗雷斯诺城市学院)
本文研究稀疏恢复算法选择对基于耦合字典的图像超分辨率重建质量的影响,并通过实验寻找最佳稀疏恢复算法。
2023-08-04 cs.CV cs.LG eess.IV
Dictionary learning -- from local towards global and adaptive
University of Innsbruck(因斯布鲁克大学)
本文研究了基于迭代保持和K-残差均值(ITKrM)算法的字典学习的收敛性。一方面,它证明了ITKrM是一个收缩下更宽松的条件比以前必要的。另一方面,它表明,似乎存在稳定的不动点,不对应于生成的字典,这可以被描述为非常连贯的。基于使用这些坏字典的残差的分析,提出用精心设计的替换候选者替换相干原子。在对合成数据的实验中,这优于随机或无替换,并且总是导致完整的字典恢复。最后,如何学习字典没有正确的字典大小和稀疏水平的知识的问题得到解决。将相干或未使用的原子的替换策略解耦为修剪和添加,并缓慢地小心地增加稀疏度,从而产生ITKrM的自适应版本。在几个实验中,这种自适应字典学习算法被证明可以从合成数据上的各种大小的随机初始化字典中恢复生成字典,并学习图像数据上有意义的字典。
2021-04-21 cs.LG stat.ML
Compressed Dictionary Learning
University of Innsbruck(因斯布鲁克大学)
在本文中,我们表明,使用基于Johnson-Lindenstrauss引理的降维技术,可以显着降低字典学习的迭代保持和K-residual-Means(ITKrM)算法的计算复杂度。利用快速傅立叶变换有效地进行了降维。介绍了一种快速字典学习的迭代压缩保持和K均值算法(IctKM),并研究了其收敛性。我们表明,IcTKM可以本地恢复一个不相干的,过完备的生成字典的$K$原子从训练信号的稀疏水平$S$与高概率。通过将训练数据和字典嵌入到$m < d$维度中来实现快速字典学习,并且恢复被证明是局部稳定的,嵌入维度低至$m = O(S \log^4 S \log^3 K)$。压缩有效地打破了ITKrM的计算成本中的数据维度瓶颈,将其减少了$O(m/d)$的一个因子。我们的理论结果与数值模拟的补充表明,IcTKM是一个强大的,低成本的算法从高维数据集的字典学习。
2020-02-22 cs.LG stat.ML
Complete Dictionary Recovery over the Sphere
Columbia University(哥伦比亚大学)
我们考虑恢复完整的(即,平方和可逆的)矩阵$\mathbf A_0$,由$\mathbf Y \in \mathbb R^{n \times p}$和$\mathbf Y = \mathbf A_0 \mathbf X_0$构成,条件是$\mathbf X_0$足够稀疏。这个恢复问题是字典学习的理论理解的核心,字典学习寻求输入信号集合的稀疏表示,并在现代信号处理和机器学习中找到许多应用。我们给出了第一个有效的算法,可证明恢复$\mathbf A_0$时,$\mathbf X_0$有$O(n)$非零每列,在适当的概率模型$\mathbf X_0$。相比之下,以前的结果的基础上有效的算法提供恢复保证时,$\mathbf X_0$只有$O(n^{1-δ})$非零每列的任何常数$δ\in (0, 1)$。我们的算法流水线围绕解决具有球形约束的特定非凸优化问题,因此自然地用流形优化的语言来表达。为了表明这个显然很难的问题是易于处理的,我们首先提供了一个几何表征的高维客观景观,这表明,有很高的概率没有“虚假”的局部极小值。这种特殊的几何结构,使我们能够设计一个黎曼信赖域算法在球证明收敛到一个局部极小与任意初始化,尽管存在鞍点。我们在这里开发的几何方法也可能揭示了结构化信号的非凸恢复所产生的其他问题。
2015-11-17 cs.CV cs.IT cs.LG
On the Computational Intractability of Exact and Approximate Dictionary Learning
TU Darmstadt(达姆施塔特工业大学)
在过去的十年中,通过线性观测的信号向量的有效稀疏编码和重构受到了极大的关注。在这种情况下,从用于稀疏表示的某些信号类别的训练数据集合中自动学习合适的基或过完备字典已经证明对于实际信号处理应用特别重要。大多数流行的字典学习算法在每次迭代中都涉及NP难稀疏恢复问题,这可能会给出一些关于字典学习复杂性的指示,但并不构成计算困难性的实际证明。在这篇技术笔记中,我们证明了学习一个字典,用它可以尽可能稀疏地表示一组给定的训练信号确实是NP困难的。此外,我们还建立了近似的解决方案的最佳稀疏水平的大因素内的硬度。此外,我们给出了NP-硬度和非近似性的结果,最近的字典学习变化称为传感器排列问题。在此过程中,我们还获得了一个新的非近似性结果的经典稀疏恢复问题的压缩感知。
2014-08-03 cs.IT cs.LG math.IT
Dictionary-based Manifold Learning
University of Washington(华盛顿大学)
我们提出了一种用于科学数据分析的可解释流形学习的范例,从而我们从科学家提供的有意义的域相关函数字典中使用$d$平滑函数对流形进行参数化。当这样的参数化存在时,我们提供了一种算法,用于基于流形切丛中的稀疏非线性回归来找到它,绕过了更标准的流形学习算法。我们还讨论了存在的条件,这样的参数化在函数空间中,并成功地从有限的样本恢复。我们证明了我们的方法从一个真正的科学领域的实验结果。
2023-02-04 cs.LG
Compressed Sensing with Probability-based Prior Information
Zhejiang University of Technology(浙江工业大学);Johns Hopkins University(约翰斯·霍普金斯大学);Hangzhou Normal University(杭州师范大学);University of York(约克大学);PUC-Rio(里约热内卢天主教大学)
针对压缩感知系统,利用基于概率的先验信息设计了一种感知矩阵,并给出了一种稀疏恢复算法。利用字典中每个原子被使用的概率,得到一个对角加权矩阵,然后通过最小化一个加权函数来设计传感矩阵,使得等价字典的Gram尽可能接近字典的Gram.推导了相应传感矩阵的解析解,从而降低了计算复杂性。我们还利用这一先验信息,通过稀疏恢复阶段,并提出了一个概率驱动的正交匹配追踪算法,提高了恢复的准确性。通过对合成数据和监控视频应用场景的仿真,比较了所提方法与现有算法的性能。结果表明,建议CS系统优于现有的CS系统。
2019-10-27 cs.LG eess.SP stat.ML
Hybrid-Field Sparse Channel Representation and Recovery for XL-RIS-Assisted mmWave MIMO Systems
Beijing University of Posts and Telecommunications(北京邮电大学);Peng Cheng Laboratory(鹏城实验室);ZGC Institute of Ubiquitous-X Innovation and Applications(中关村泛在X创新与应用研究院)
针对XL-RIS辅助毫米波MIMO系统混合场信道估计的高维挑战,提出双时间尺度信道估计框架,结合DK-ODC方案与SI-VBL算法,实现了估计精度、复杂度与存储开销的良好权衡。
2026-08-04 cs.LG eess.SP
Online Learning Sensing Matrix and Sparsifying Dictionary Simultaneously for Compressive Sensing
Technion - Israel Institute of Technology(以色列理工学院);Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究了在大规模训练数据集上同时学习感知矩阵和稀疏化字典的问题。为了解决制定的联合学习问题,我们提出了一个在线算法,包括一个封闭的形式的解决方案,用于优化传感矩阵与固定的稀疏化字典和随机方法学习稀疏化字典的大数据集时,传感矩阵给定的传感矩阵。受益于在大数据集上的训练,通过所提出的算法获得的压缩感知(CS)系统在信号恢复精度方面比现有的系统产生更好的性能。对自然图像的仿真结果表明,与现有的方法相比,所提出的在线算法是有效的。
2018-06-02 cs.LG
Monocular 3D Pose Recovery via Nonconvex Sparsity with Theoretical Analysis
University of Pennsylvania(宾夕法尼亚大学);CUHK(香港中文大学);University of Rochester(罗切斯特大学)
为了从2D图像恢复3D对象姿态,普遍的方法是预训练3D基本姿态的过完备字典$\mathcal D=\{B_i\}_i^D$。在测试期间,通过估计旋转$R_i$、投影$Π$和稀疏组合系数$c \in \mathbb R_{+}^D$,检测到的2D姿态$Y$通过$Y \approx \sum_i M_i B_i$与字典匹配,其中$\{M_i\}_i^D=\{c_i ΠR_i\}$。在本文中,我们提出了非凸正则化$H(c)$学习系数$c$,包括新的漏帽$\ell_1$ -范数正则化(LCNR),\begin{align*} H(c)=α\sum_{i } \min(|c_i|,τ)+ β\sum_{i } \max(| c_i|,τ), \end{align*},其中$0\leq β\leq α$和$0<τ$是一个特定的阈值,所以小于$τ$的无效成分与较大的正则化和其他有效成分与较小的正则化。我们提出了一个多阶段优化凸松弛和ADMM。我们证明了估计误差$\mathcal L(l)$随时间衰减。阶段$l$、\begin{align*} Pr\left(\mathcal L(l) < ρ^{l-1} \mathcal L(0) + δ\right) \geq 1- ε, \end{align*},其中$0< ρ<1, 0<δ, 0<ε\ll 1$ .在H36 M等大型3D人体数据集上进行了实…
2018-12-29 cs.CV cs.LG stat.ML
Quantum Sparse Recovery and Quantum Orthogonal Matching Pursuit
Munich Center for Quantum Science and Technology (MCQST)(慕尼黑量子科学与技术中心)
针对非正交过完备字典中的量子稀疏恢复问题,提出量子正交匹配追踪算法,在多项式时间内恢复K-稀疏状态,并应用于稀疏量子层析成像,实现查询复杂度加速。
2025-10-08 cs.DS cs.LG quant-ph
Physically constrained unfolded multi-dimensional OMP for large MIMO systems
Univ Rennes(雷恩大学);INSA Rennes(雷恩国立应用科学学院);CNRS(法国国家科学研究中心);CentraleSupelec(中央理工-高等电力学院)
本文提出MOMPnet,一种结合深度展开和数据驱动字典学习的多维正交匹配追踪框架,用于提升大规模MIMO系统中稀疏恢复的可靠性与效率。
2026-01-15 cs.LG eess.SP
DOLPHIn - Dictionary Learning for Phase Retrieval
TU Darmstadt(达姆施塔特工业大学);Technion – Israel Institute of Technology(以色列理工学院);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
我们提出了一种新的算法来学习字典重建和稀疏编码信号的测量没有相位。具体而言,我们认为,估计一个二维图像的任务,从平方幅度测量的复值线性变换的原始图像。几个最近的相位恢复算法利用潜在的稀疏性的未知信号,以提高恢复性能。在这项工作中,我们认为这样一个稀疏的信号相位恢复的背景下,事先不知道的稀疏字典。我们的算法联合重建未知信号-可能被噪声破坏-并学习字典,使得估计图像的每个补丁可以稀疏表示。数值实验表明,我们的方法可以获得显着更好的重建相位恢复问题的噪声比方法,不能利用这种“隐藏”稀疏。此外,在理论方面,我们提供了我们的方法的收敛结果。
2016-08-03 cs.IT cs.LG math.IT
A Dictionary-Based Generalization of Robust PCA Part II: Applications to Hyperspectral Demixing
University of Minnesota(明尼苏达大学);Princeton University(普林斯顿大学)
我们考虑的任务定位的高光谱(HS)图像的基础上,他们的光谱签名(S)的目标,通过提出两个不同的凸去混任务的问题。在从遥感到监视的各种应用中,目标探测任务利用了每种材料/物体根据其组成具有其自身特征光谱响应的事实。然而,由于不同材料的$\textit{signatures}$通常是相关的,因此基于匹配滤波的方法在这里可能不适用。为此,我们建模HS图像作为低秩分量和字典稀疏分量的叠加,其中字典由我们希望本地化的目标的$\textit{a priori}$已知特征光谱响应组成,并开发用于两种不同稀疏结构的技术,由不同的模型假设产生。我们还提出了相应的恢复保证,利用我们最近的理论结果从一个配套文件。最后,我们分析了所提出的方法的性能,通过实验评估真实HS数据集的分类任务,并比较其性能与相关技术。
2019-02-26 cs.CV cs.LG stat.ML
Inference and learning in sparse autoencoders as natural gradient flow
Astera Institute(Astera研究所);UC Berkeley(加州大学伯克利分校);UCL(伦敦大学学院);Goodfire AI(Goodfire AI公司);CSHL(冷泉港实验室)
本文提出BeFOND,一种无编码器的稀疏编码模型,将推理与字典学习统一为自然梯度流,通过循环解释消除和Fisher预条件减少特征干扰并加速稀有特征学习,在合成数据和语言模型激活上显著提升字典恢复、稀有特征检测及概念干预效果。
2026-10-07 cs.AI cs.LG
$\ell_1$-K-SVD: A Robust Dictionary Learning Algorithm With Simultaneous Update
Indian Institute of Science(印度科学学院)
我们开发了一个字典学习算法,通过最小化的$\ell_1$失真度量的数据项,这是已知的非高斯噪声污染的鲁棒性。该算法利用加权$\ell_2$误差迭代最小化的思想。我们把这种算法称为$\ell_1$ -K-SVD,其中字典原子和相应的稀疏系数同时更新,以最小化$\ell_1$目标,从而产生噪声鲁棒性。通过实验证明,与K-SVD和鲁棒字典学习(RDL)算法相比,$\ell_1$ -K-SVD算法具有更高的原子恢复率,在高斯和非高斯噪声条件下。我们还表明,对于固定值的稀疏性,字典原子数,和数据维数,$\ell_1$ -K-SVD算法优于K-SVD和RDL算法时,可用的训练集是小的。我们应用所提出的算法去噪自然图像损坏的加性高斯和拉普拉斯噪声。使用$\ell_1$ -K-SVD去噪的图像被观察到对于拉普拉斯噪声具有比K-SVD略高的峰值信噪比(PSNR),但是对于较低的输入PSNR值,结构相似性指数(SSIM)的改善是显著的(近似$0.1$),指示$\ell_1$度量的功效。
2015-03-03 cs.CV cs.LG
A Dominant Diffuse Phase in the Sparse Autoencoder Phase Diagram
本研究通过MAIS-O43协议实验发现,稀疏自编码器训练收敛于弥散相而非字典恢复或特征合并,表明训练模型的相图与目标最优解存在根本差异。
2026-09-10 cs.LG
Efficient Matrix Factorization Via Householder Reflections
Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校)
本文针对正交字典学习问题,提出基于Householder矩阵与二值矩阵乘积的矩阵分解方法,并分别给出精确恢复与多项式时间近似恢复的列数条件和复杂度保证。
2024-10-04 cs.LG eess.SP
Cloud K-SVD for Image Denoising
Aarhus University(奥胡斯大学)
云K-SVD是一种字典学习算法,它可以在多个节点上进行训练,从而产生一个共同的字典来表示图像数据中的低维几何结构。我们提出了一种新的应用程序的算法,因为我们用它来恢复无噪和嘈杂的图像重叠补丁。我们使用Docker容器在Kubernetes中实现了一个节点网络,以促进Cloud K-SVD。实验结果表明,云K-SVD算法可以近似地恢复图像,并在不牺牲恢复精度的前提下,从基准灰度图像中去除可量化的噪声;我们实现了0.88,0.91和0.95之间的干净和恢复图像的噪声水平的SSIM指数($μ$ = 0,$σ^{2}$ = 0.01,0.005,0.001),这与现场的SOTA类似。Cloud K-SVD显然能够学习跨多个节点的互字典,并从图像中去除AWGN。互字典可用于在网络中的任何节点处恢复特定图像。
2023-03-01 cs.AI cs.CV cs.DC
Dictionary Learning in Fourier Transform Scanning Tunneling Spectroscopy
Columbia University(哥伦比亚大学)
现代高分辨率显微镜,如扫描隧道显微镜,通常用于研究具有密集和非周期性空间结构的标本。从这种显微镜获得的图像中提取有意义的信息仍然是一个艰巨的挑战。傅立叶分析通常用于分析图像中存在的基本图案的底层结构。然而,傅里叶变换从根本上遭受严重的相位噪声时,应用于非周期性的图像。在这里,我们报告了一个新的算法的发展,基于非凸优化,适用于任何显微镜模式,直接揭示的基本图案存在于一个真实的空间图像。除了在定量上优于传统的傅立叶分析,我们表明,这种新的算法还揭示了相位敏感信息的基本图案结构。我们通过研究Co掺杂的铁砷化物超导体的扫描隧道显微镜图像证明了它的实用性,并证明了该算法的应用允许在这种材料中的准粒子干扰的完全恢复。我们的相敏准粒子干涉成像结果表明,在最佳掺杂的NaFeAs的配对对称性是一致的符号变化的s+-序参量。
2018-07-19 cond-mat.dis-nn cs.LG eess.SP
An improved analysis of the ER-SpUD dictionary learning algorithm
Harvard University(哈佛大学)
在“字典学习”中,我们观察到一些$Y\in\mathbb{R}^{n\times p}$、$A \in\mathbb{R}^{m\times n}$和$X\in\mathbb{R}^{m\times p}$的$Y = AX + E$。观察到基质$Y$,$A, X, E$未知。这里$E$是小范数的“噪声”,$X$是列稀疏的。矩阵$A$被称为{ \em字典},其列被称为{ \em原子}。然后,给定一些少量的样本$p$,即\列的$Y$,目标是学习字典$A$,最多可以小错误,以及$X$。其动机是,在许多应用程序中,当数据由“正确”字典$A$中的原子表示时,预计数据是稀疏的(例如,\ Haar小波基中的图像),目标是从数据中学习$A$,然后将其用于其他应用程序。最近,[SWW 12]提出了字典学习算法ER-SpUD,当$E = 0$和$m = n$时具有可证明的保证。他们表明,如果$X$具有独立的条目,对于$1 \lesssim s \lesssim \sqrt{n}$,每列预期$s$为非零,并且非零条目为亚高斯,则对于$p\gtrsim n^2\log^2 n$,具有高概率的ER-SpUD输出矩阵$A', X'$,其等于$A, X$直到排列和缩放列(分别为\行)的$A$(分别为\ $X$)。他们证明了$p\gtrsim n\log n$足够,他们表明,当$s \simeq 1$时,这是{ …
2016-02-18 cs.DS cs.IT cs.LG
Orthogonally weighted $\ell_{2,1}$ regularization for rank-aware joint sparse recovery: algorithm and analysis
Georgia Institute of Technology(佐治亚理工学院);Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出一种名为正交加权 $\ell_{2,1}$ 的正则化方法解决联合稀疏恢复问题,该方法具备秩感知特性,能利用解矩阵的满秩特征,并提供了理论证明与高效收敛算法,数值实验验证了其有效性。
2023-11-21 cs.LG cs.NA math.NA