Compressed Sensing with Probability-based Prior Information
Zhejiang University of Technology（浙江工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Hangzhou Normal University（杭州师范大学）；University of York（约克大学）；PUC-Rio（里约热内卢天主教大学）
针对压缩感知系统，利用基于概率的先验信息设计了一种感知矩阵，并给出了一种稀疏恢复算法。利用字典中每个原子被使用的概率，得到一个对角加权矩阵，然后通过最小化一个加权函数来设计传感矩阵，使得等价字典的Gram尽可能接近字典的Gram.推导了相应传感矩阵的解析解，从而降低了计算复杂性。我们还利用这一先验信息，通过稀疏恢复阶段，并提出了一个概率驱动的正交匹配追踪算法，提高了恢复的准确性。通过对合成数据和监控视频应用场景的仿真，比较了所提方法与现有算法的性能。结果表明，建议CS系统优于现有的CS系统。
2019-10-27 cs.LG eess.SP stat.ML
Learning Dictionaries with Bounded Self-Coherence
Swiss Federal Office of Meteorology and Climatology (MeteoSwiss)（瑞士联邦气象与气候办公室（MeteoSwiss））；ETH Zurich（苏黎世联邦理工学院）
学习字典中的稀疏编码已经被建立为信号去噪、源分离和一般逆问题求解的成功方法。一种字典学习方法，通过迭代地计算训练数据矩阵到字典和稀疏编码矩阵的近似因式分解，使初始字典适应于特定信号类别。学习字典的特征在于两个属性：字典对信号类的观测的相干性，以及字典原子的自相干性。信号类的高相干性使得信号观测的稀疏编码具有小的近似误差，而原子的低自相干性保证了原子恢复和稀疏编码算法的更快的残差衰减率。高信号相干性和低自相干性这两个目标通常是冲突的，因此人们根据应用寻求它们之间的折衷。我们提出了一种字典学习方法，有效地控制训练字典的自相干性，从而在最大化编码的稀疏性和近似等角紧框架之间进行权衡。
2012-10-17 cs.LG stat.ML
Learning Simple Thresholded Features with Sparse Support Recovery
University of Maryland（马里兰大学）；Texas A&M University（得克萨斯农工大学）；University of Rochester（罗切斯特大学）；Beckman Institute, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）
阈值功能最近出现了一个非常有效的，但粗糙的经验近似，耗时的稀疏编码推理过程。这种近似尚未被严格检查，并且标准字典在用于计算阈值特征时通常导致非最佳性能。在本文中，我们首先提出了两个理论上的恢复保证的阈值功能，以准确地恢复稀疏码的非零支持。受其启发，我们制定了字典学习的特征（DLTF）模型，它学习一个优化的字典应用阈值功能。特别地，对于所涉及的$(k, 2)$范数，导出了具有对数线性时间复杂度$O(m\log m)$的新的邻近算子。我们评估了DLTF在各种合成和真实数据任务上的性能，DLTF在所有实验中表现出显着的效率，有效性和鲁棒性。此外，我们还简要讨论了DLTF和深度学习构建块之间的潜在联系。
2019-02-18 cs.CV cs.LG stat.ML
Signal Recovery in Uncorrelated and Correlated Dictionaries Using Orthogonal Least Squares
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
本文研究了正交最小二乘法在压缩测量信号恢复中的性能，证明其在不相关和相关字典中具有竞争力，优于OMP等贪心算法，尤其在相关字典中表现更优。
2016-07-29 cs.IT cs.NA math.IT
Fast Structured Orthogonal Dictionary Learning using Householder Reflections
Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）
针对结构化正交字典学习问题，提出基于Householder矩阵及少量Householder矩阵乘积的算法，理论上保证l∞范数近似恢复且计算复杂度最优，样本受限场景下性能优于现有方法且计算效率更高。
2025-01-07 cs.LG eess.SP
Dictionary LASSO: Guaranteed Sparse Recovery under Linear Transformation
我们考虑以下信号恢复问题：给定测量矩阵$Φ\in \mathbb{R}^{n\times p}$和由$c = Φθ^* + ε$构造的噪声观测向量$c\in \mathbb{R}^{n}$，其中$ε\in \mathbb{R}^{n}$是其条目遵循i.i.d.如果$Dθ^*$是稀疏的，如何恢复信号$θ^*$ {线性变换下的\rca} $D\in\mathbb{R}^{m\times p}$？一个自然的方法，使用凸优化是解决以下问题：$$\min_θ {1\over 2}\|Φθ- c\|^2 + λ\|Dθ\|_1.$$本文提供了一个上限的估计误差，并显示了一致性的性质，这种方法假设设计矩阵$Φ$是一个高斯随机矩阵。具体地说，我们证明了：1）在无噪声情况下，如果$D$的条件数有界，并且测量数$n\geq Ω(s\log(p))$（其中$s$是稀疏数），则真解可以以高概率恢复;以及2）在有噪声的情况下，如果$D$的条件数有界并且测量比$s\log(p)$增加得快，即，$s\log(p)=o(n)$，当$p$和$s$趋于无穷大时，估计误差以概率1收敛到零。我们的结果是一致的特殊情况$D=\bold{I}_{p\times p}$（相当于LASSO）和改善现有的分析。$D$的条件数在我们的分析中起着关键作用。我们考虑了两种情况下的条件数，包括融合LASSO和随机图：融合LASSO情况下的…
2013-07-20 stat.ML
Conditioning of Random Block Subdictionaries with Applications to Block-Sparse Recovery and Regression
线性模型是统计学和信号处理文献的主要内容，在线性模型中，一组观测值被假定为由矩阵的列的线性组合给出。在线性模型下进行推理的一个特殊挑战是理解字典上的条件，在这些条件下可靠的推理是可能的。近年来，由于许多现代推理问题涉及“欠定”设置，其中观察的数量比字典中的列数要小于得多，因此这一挑战重新引起了人们的关注。本文作出了几个贡献，这种设置时，一组的意见是由一个线性组合的一小部分列的字典，被称为“块稀疏”的情况下。首先，它指定字典上的条件，在该条件下，大多数块子字典是良态的。这个结果从根本上不同于先前关于块稀疏推理的工作，因为（i）它提供了可以在多项式时间内显式计算的条件，（ii）给定的条件转化为块子字典的列数的接近最优的缩放，作为大类字典的观察数的函数，以及（iii）它表明字典的谱范数和二次平均块相干性（而不是最坏情况的相干性）从根本上限制了条件良好的块子字典的维度的缩放。其次，本文研究了欠定背景下的块稀疏恢复和块稀疏回归问题。只要字典满足容易计算的条件，并且描述列组的线性组合的系数可以通过温和的统计先验来建模，则对于某些字典，接近最优的块稀疏恢复和回归是可能的。
2016-08-28 cs.IT math.IT math.ST
New Algorithms for Learning Incoherent and Overcomplete Dictionaries
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）；Institute for Advanced Study（高等研究院）
在稀疏恢复中，我们给出一个矩阵$A$（字典）和一个形式为$A X$的向量，其中$X$是稀疏的，目标是恢复$X$。这是信号处理、统计学和机器学习的核心概念。但在稀疏编码、边缘检测、压缩和超分辨率等应用中，字典$A$是未知的，必须从$Y = AX$形式的随机示例中学习，其中$X$是从适当的分布中提取的--这就是字典学习问题。在大多数设置中，$A$是过度完成的：它的列数多于行数。本文提出了一种用于学习过完备字典的多项式时间算法;之前已知的唯一具有可证明保证的算法是Spielman、Wang和Wright最近的工作，他们给出了满秩情况的算法，但在应用中很少出现这种情况。我们的算法适用于不连贯的字典，一直是一个中心的研究对象，因为他们介绍了Donoho和霍的开创性工作。特别地，如果每对列的内积至多为$μ/ \sqrt{n}$，则字典是$μ$ -不相干的。该算法对未知稀疏向量$X$进行自然随机假设，该未知稀疏向量$X$可以包含$k \leq c \min(\sqrt{n}/μ\log n, m^{1/2 -η})$非零条目（对于任何$η> 0$）。这接近于最佳稀疏恢复算法所允许的最佳$k$，即使人们确切地知道字典$A$。此外，运行时间和样本复杂度都取决于$\log 1/ε$，其中$ε$是目标精度，因此我们的算法非常快地收敛到真正的字典。我们的算法还可以容忍大量的噪声，只要它相对于字典是不相干的…
2014-05-26 cs.DS cs.LG stat.ML
Low-rank and Adaptive Sparse Signal (LASSI) Models for Highly Accelerated Dynamic Imaging
University of Michigan（密歇根大学）
基于稀疏性的方法在图像处理和成像的许多应用中已经流行。压缩感知利用变换域或字典中图像的稀疏性来改善欠采样测量的图像恢复。在动态成像逆问题的背景下，最近的研究已经证明了稀疏性和低秩技术的承诺。例如，底层数据的补丁在自适应字典域中被建模为稀疏的，并且从欠采样测量得到的图像和字典估计被称为字典盲压缩感测，或者动态图像序列被建模为从有限的测量估计的低秩和稀疏（在某些变换域中）分量的和（L+S模型）。在这项工作中，我们调查的L+S模型的数据自适应扩展，被称为LASSI，其中的时间图像序列被分解成一个低秩组件和组件的时空（3D）补丁稀疏在一些自适应字典域。我们调查各种配方和有效的方法，共同估计潜在的动态信号分量和时空字典从有限的测量。我们还获得了有效的稀疏惩罚字典盲压缩感知方法的特殊情况下，我们的LASSI方法。我们的数值实验表明，有前途的性能LASSI计划的动态磁共振图像重建从有限的k-t空间数据相比，最近的方法，如k-t SLR和L+S，并相比，建议的字典盲压缩感知方法。
2017-01-09 cs.LG stat.ML
uGLAD: Sparse graph recovery by optimizing deep unrolled networks
Microsoft Research（微软研究院）；Georgia Institute of Technology（佐治亚理工学院）
概率图模型（ProbabilityGraphicalModels，PGMs）是复杂系统的生成模型。它们依赖于变量之间的条件独立假设来学习稀疏表示，这些表示可以以图形的形式可视化。这些模型用于在不太了解的领域中进行领域探索和结构发现。这项工作介绍了一种新的技术，通过优化深度展开网络来执行稀疏图恢复。假设输入数据$X\in\mathbb{R}^{M\times D}$来自底层多元高斯分布，我们在$X$上应用深度模型，该模型输出精度矩阵$\hatΘ$，该精度矩阵也可以被解释为邻接矩阵。我们的模型uGLAD建立在最先进的模型GLAD的基础上，并将其扩展到无监督环境。我们的模型的主要优点是（1）uGLAD自动优化稀疏相关的正则化参数，导致比现有算法更好的性能。(2)我们引入了基于多任务学习的“共识”策略，用于在无监督环境中对缺失数据进行鲁棒处理。我们评估了合成高斯数据，基因调控网络生成的非高斯数据的模型结果，并提出了厌氧消化的案例研究。
2022-10-12 cs.LG stat.ML
A Dictionary-Based Generalization of Robust PCA Part II: Applications to Hyperspectral Demixing
University of Minnesota（明尼苏达大学）；Princeton University（普林斯顿大学）
我们考虑的任务定位的高光谱（HS）图像的基础上，他们的光谱签名（S）的目标，通过提出两个不同的凸去混任务的问题。在从遥感到监视的各种应用中，目标探测任务利用了每种材料/物体根据其组成具有其自身特征光谱响应的事实。然而，由于不同材料的$\textit{signatures}$通常是相关的，因此基于匹配滤波的方法在这里可能不适用。为此，我们建模HS图像作为低秩分量和字典稀疏分量的叠加，其中字典由我们希望本地化的目标的$\textit{a priori}$已知特征光谱响应组成，并开发用于两种不同稀疏结构的技术，由不同的模型假设产生。我们还提出了相应的恢复保证，利用我们最近的理论结果从一个配套文件。最后，我们分析了所提出的方法的性能，通过实验评估真实HS数据集的分类任务，并比较其性能与相关技术。
2019-02-26 cs.CV cs.LG stat.ML
Efficient Sparse Coding using Hierarchical Riemannian Pursuit
Hong Kong University of Science and Technology（香港科技大学）
稀疏编码是一类无监督的方法，用于以字典和稀疏码的线性组合的形式学习输入数据的稀疏表示。这种学习框架在各种图像和视频处理任务中取得了最先进的成果。然而，经典的方法学习字典和稀疏代码的基础上交替优化，通常没有理论保证的最优性或收敛性，由于非凸性的问题。最近的工作稀疏编码与一个完整的字典提供了强有力的理论保证，由于非凸优化的发展。然而，初始非凸方法在稀疏编码问题中以原子接原子的方式顺序地学习字典，这导致了很长的执行时间。最近的作品寻求直接学习整个字典一次，这大大减少了执行时间。然而，相关联的恢复性能随着有限数量的数据样本而降低。在本文中，我们提出了一个有效的稀疏编码方案与两个阶段的优化。该方案利用了两阶段优化问题的全局和局部黎曼几何，并通过有限数量的样本实现了出色的字典恢复性能，而无需逐个原子计算。我们进一步证明，以高概率，所提出的计划可以准确地恢复任何原子在目标字典与有限数量的样本，如果采用恢复字典的一个原子。最后给出了该算法在无线传感器数据压缩中的应用。仿真和真实数据实验验证了该方法的有效性。
2021-07-20 cs.IT cs.LG eess.SP
Self-Dictionary Sparse Regression for Hyperspectral Unmixing: Greedy Pursuit and Pure Pixel Search are Related
本文考虑了最近出现的高光谱解混配方的基础上稀疏回归的自字典多测量向量（SD-MMV）模型，其中测量的高光谱像素被用作字典。在纯像素假设下操作，这种SD-MMV形式主义是特殊的，因为它允许同时识别端元光谱特征和端元的数量。以前的SD-MMV研究主要集中在凸松弛。在这项研究中，我们探讨了贪婪追求的替代方案，它通常提供了高效和简单的算法。特别是，我们设计了一个贪婪的SD-MMV算法使用同时正交匹配追踪。有趣的是，所提出的贪婪算法被证明是密切相关的一些现有的纯像素搜索算法，特别是，连续投影算法（SPA）。因此，SD-MMV和纯像素搜索之间的联系被揭示出来。然后，我们进行精确的恢复分析，并证明所提出的贪婪算法是强大的噪声-包括其识别的（未知）数量的端元-在一个足够低的噪声水平。通过仿真实验和实际数据实验验证了该算法的辨识性能。
2015-03-03 cs.IT math.IT math.OC
Multi-task additive models with shared transfer functions based on dictionary learning
Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）；IBM Research（IBM研究院）
加法模型是一类广泛流行的回归模型，它将协变量和响应变量之间的关系表示为低维传递函数之和。除了灵活性和准确性之外，这些模型的一个主要优点是它们的可解释性：传递函数提供了检查模型和识别输入和输出之间特定领域关系的可视化手段。然而，在涉及许多相关任务预测的大规模问题中，独立学习加性模型会导致模型可解释性的丧失，并且在训练数据稀缺时可能导致过拟合。我们介绍了一种新的多任务学习方法，该方法为大量相关的预测任务提供了准确和可解释的添加剂模型。我们的核心思想是在模型之间共享传递函数，以降低模型的复杂性和简化语料库的探索。我们建立了与稀疏字典学习的连接，并提出了一种新的高效拟合算法，该算法在稀疏编码和传递函数更新之间交替进行。前一步是解决通过正交匹配追踪，其性质进行了分析，使用一种新的恢复条件，扩展现有的文献中的结果的扩展。后一步使用传统的字典更新规则来解决。在真实数据上的实验表明，我们的方法与基线方法相比毫不逊色，同时产生了可解释的模型语料库，揭示了各个任务之间的结构，并且在训练数据稀缺时更加鲁棒。因此，我们的框架将添加剂模型的众所周知的好处扩展到可能涉及数千个任务的常见回归设置。
2015-05-19 cs.LG stat.ML
Interpretable Recurrent Neural Networks Using Sequential Sparse Recovery
University of Washington（华盛顿大学）
循环神经网络（RNN）是处理连续数据的强大而有效的方法。然而，RNN通常被认为是“黑箱”模型，其内部结构和学习参数是不可解释的。在本文中，我们提出了一个可解释的RNN的顺序迭代软阈值算法（SISTA）的基础上解决顺序稀疏恢复问题，该模型与稀疏的潜在向量序列的相关观测序列。由此产生的SISTA-RNN的架构是由SISTA的计算结构隐式定义的，这导致了一种新的堆叠RNN架构。此外，SISTA-RNN的权重完全可以解释为原则性统计模型的参数，在这种情况下，包括稀疏化字典，迭代步长和正则化参数。此外，在特定的顺序压缩感知任务中，SISTA-RNN比传统的最先进的黑盒RNN（包括长短期记忆（LSTM）RNN）训练得更快，性能更好。
2016-11-22 cs.LG stat.ML
Manifold Proximal Point Algorithms for Dual Principal Component Pursuit and Orthogonal Dictionary Learning
Texas A&M University（德克萨斯A&M大学）；Cainiao Network（菜鸟网络）；University of California, Davis（加州大学戴维斯分校）；The Chinese University of Hong Kong（香港中文大学）
我们考虑的问题，最大化的线性映射的$\ell_1$范数的球，这出现在各种机器学习应用，如正交字典学习（ODL）和鲁棒子空间恢复（RSR）。该问题是数值上的挑战，由于其非光滑的目标和非凸约束，其算法方面还没有得到很好的探索。在本文中，我们将展示如何利用球的流形结构来设计快速算法来解决这个问题。具体而言，我们的贡献是三方面的。首先，我们提出了一个流形邻近点法（ManPPA）的问题，并表明它以次线性速度收敛。此外，我们表明，ManPPA可以实现平方收敛速率时，适用于ODL和RSR问题。其次，我们提出了一种称为StManPPA，这是非常适合于大规模计算的ManPPA的随机变体，并建立其次线性收敛速度。ManPPA和StManPPA都具有比现有的子梯度型方法更快的收敛速度。第三，使用ManPPA作为构建块，我们提出了一种新的方法来解决矩阵模拟的问题，其中球被替换为Stiefel流形。通过对ODL和RSR问题的大量数值实验，验证了所提方法的有效性。
2021-07-21 cs.CV cs.LG eess.SP
Subspace-Sparse Representation
给定过完备字典$A$和作为$A$的几个线性独立列的线性组合的信号$b$，经典稀疏恢复理论处理恢复唯一稀疏表示$x$使得$b = A x$的问题。已知在一定条件下，$A$上的$x$可以通过基追踪（BP）和正交匹配追踪（OMP）算法恢复。在这项工作中，我们考虑更一般的情况下，$b$在于一个低维子空间跨越的$A$，这可能是线性相关的一些列。在这种情况下，稀疏解$x$一般是不唯一的，我们研究的问题，表示$x$确定的子空间，即非零条目的$x$对应的字典原子的子空间。这样的表示$x$称为子空间稀疏。我们提出了保证子空间稀疏恢复的充分条件，这些条件具有清晰的几何解释，并解释了子空间稀疏恢复的性质。我们还证明了在随机化模型下，充分条件可以满足。我们的结果是适用于传统的稀疏恢复问题，我们得到的条件稀疏恢复的限制比规范的相互相干条件。我们还利用这些结果对基于稀疏表示的分类方法进行了分析，得到了证明其正确性的条件。
2015-07-06 cs.IT math.IT stat.ML
Geometric Sparse Coding in Wasserstein Space
Tufts University（塔夫茨大学）
Wasserstein字典学习是一种无监督的方法，用于学习概率分布的集合，这些概率分布生成观察到的分布作为Wasserstein重心组合。用于Wasserstein字典学习的现有方法优化了一个目标，该目标通过重心插值来寻找具有足够表示能力的字典以近似观察到的训练数据，但不对与字典相关联的系数施加额外的结构属性。这导致字典密集地表示观察到的数据，这使得系数的解释具有挑战性，并且当在下游任务中使用学习的系数时，也可能导致经验性能差。相反，在欧氏空间中的稀疏字典学习的动机，我们提出了一个几何稀疏正则化的Wasserstein空间，促进表示的数据点只使用附近的字典元素。我们表明，这种方法导致稀疏表示在Wasserstein空间和地址的重心表示的非唯一性的问题。此外，当数据被生成为固定分布的Wasserstein重心时，该正则化器有助于在非正则化Wasserstein字典学习不适定的情况下恢复生成分布。通过对合成数据和真实数据的实验，我们证明了我们的几何正则化方法在Wasserstein空间中产生了更稀疏和更可解释的字典，在下游应用中表现更好。
2022-10-21 cs.CV cs.LG eess.SP
On Optimality Conditions for Auto-Encoder Signal Recovery
SUNY Buffalo（纽约州立大学布法罗分校）；Salesforce Research（Salesforce研究院）；LogicBlox
自动编码器是无监督模型，旨在通过最小化重建成本从观察到的数据中学习模式。学习到的有用表示通常是稀疏和分布的。另一方面，压缩感知和稀疏编码假设一个数据生成过程，其中观测数据是从一些真实的潜在信号源生成的，并试图从测量中恢复相应的信号。从这个\textit{signal recovery perspective}看自动编码器使我们能够对这些技术有一个更一致的看法。在本文中，特别是，我们表明，\textit{true}隐藏表示可以近似恢复，如果权重矩阵是高度不相干的单位$ \ell^{2} $行长度和偏置向量采取的值（近似）等于数据均值的负值。恢复也变得越来越准确，在隐藏信号的稀疏性增加。此外，我们的经验表明，自动编码器能够恢复的数据生成字典时，只有数据样本。
2017-07-13 cs.LG cs.NE stat.ML
Approximate Subspace-Sparse Recovery with Corrupted Data via Constrained $\ell_1$-Minimization
高维数据通常位于与它们所属的不同类相对应的低维子空间中。在使用数据集合构建的字典中查找数据点的稀疏表示有助于发现低维子空间并解决聚类、分类、子集选择等问题。在本文中，我们解决的问题，恢复稀疏表示的噪声数据点的字典中的列对应于损坏的数据躺在靠近一个联盟的子空间。我们考虑一个约束$\ell_1$ -最小化和研究条件下，所提出的优化的解决方案满足近似子空间稀疏恢复条件。更具体地说，我们表明，每个嘈杂的数据点，扰动从一个子空间的$\varepsilon$的幅度的噪声，将使用数据点从同一子空间重建的顺序与小误差的$O(\varepsilon)$和对应于其他子空间中的数据点的系数将是足够小的，\ie的顺序为$O(\varepsilon)$。我们不对子空间的排列或每个子空间中数据点的分布施加任何随机性假设。我们的框架是基于一个新的推广的零空间属性的设置，其中数据位于多个子空间，在每个子空间中的数据点的数量超过了子空间的维度，所有的数据点被噪声破坏。此外，假设一个广义过程的数据点，我们进一步表明，从所需的支持系数不仅重建一个给定的点具有高精度，但也有足够大的值，\ie，顺序为$O(1)$。
2016-02-13 stat.ML
Deep Unrolled Recovery in Sparse Biological Imaging
Weizmann Institute of Science（魏茨曼科学研究所）；Broad Institute of MIT and Harvard（麻省理工学院和哈佛大学布罗德研究所）
深度算法展开已经成为一种强大的基于模型的方法，用于开发深度架构，将迭代算法的可解释性与监督深度学习的性能增益相结合，特别是在稀疏优化的情况下。该框架非常适合于生物成像中的应用，其中存在基于物理的模型来描述测量过程，并且要恢复的信息通常是高度结构化的。在这里，我们回顾了深度展开的方法，并展示了它如何在几种生物成像设置中提高源定位。
2021-09-28 cs.CV cs.IT cs.LG
An MDL framework for sparse coding and dictionary learning
从信号处理到统计推断和机器学习，稀疏信号建模与学习过完备字典的能力已经在各种应用和领域中得到了证明。然而，这些模型的统计特性，如欠拟合或过拟合给定的数据集，仍然没有很好地表征在文献中。因此，稀疏建模的成功取决于为每个数据和应用程序手动调整关键参数。这项工作的目的是解决这一问题，通过提供一个实际和客观的表征稀疏模型的最小描述长度（MDL）的原则-一个完善的信息理论的方法来选择模型的统计推断。由此产生的框架派生出一个家庭的有效稀疏编码和字典学习算法，凭借MDL原则，是完全无参数。此外，这种框架允许将额外的先验信息纳入现有模型，例如马尔可夫依赖关系，或者以自然的方式定义全新的问题公式，包括矩阵分析领域。这些优点将被证明与经典的图像去噪和分类问题的无参数算法，并在视频应用中的低秩矩阵恢复。
2011-10-11 cs.IT math.IT stat.ML
Decentralized Statistical Inference with Unrolled Graph Neural Networks
ShanghaiTech University（上海科技大学）；The Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）；The Hong Kong Polytechnic University（香港理工大学）
在本文中，我们研究了分散的统计推断问题，其中代理网络合作恢复（结构化）向量从私人噪声样本没有集中协调。现有的基于优化的算法存在模型失配和收敛速度慢的问题，在通信轮数受限的情况下，其性能会下降。这促使我们提出了一个基于学习的框架，它展开了著名的分散优化算法（例如，Prox-DGD和PG-EXTRA）转化为图神经网络（GNNs）。通过端到端训练最大限度地减少恢复误差，这种基于学习的框架解决了模型不匹配问题。我们的收敛性分析（以PG-EXTRA为基础算法）表明，学习的模型参数可以加速收敛，并在很大程度上减少恢复误差。仿真结果表明，提出的基于GNN的学习方法显着优于几个国家的最先进的基于优化的算法在收敛速度和恢复误差。
2021-04-04 cs.LG math.OC
CDLNet: Robust and Interpretable Denoising Through Deep Convolutional Dictionary Learning
New York University（纽约大学）
基于深度学习的方法在图像去噪方面拥有最先进的结果，但由于它们是从不太了解的构建块（如批量归一化，残差学习和特征域处理）构建的，因此仍然难以解释。展开优化网络提出了一种可解释的替代方案，通过从经典的迭代优化方法中导出其架构来构建深度神经网络，而不使用标准深度学习工具箱中的技巧。到目前为止，这些方法已经证明了性能接近最先进的模型，同时使用其可解释的结构来实现低学习参数计数。在这项工作中，我们提出了一个展开的卷积字典学习网络（CDLNet），并在低参数和高参数计数机制中展示了其具有竞争力的去噪性能。具体来说，我们表明，该模型优于国家的最先进的去噪模型时，缩放到类似的参数计数。此外，我们利用模型的可解释结构来增强网络的阈值，从而实现最先进的盲去噪性能，并对训练期间看不到的噪声水平进行近乎完美的泛化。
2021-03-05 cs.LG eess.IV
Unrolled Compressed Blind-Deconvolution
Harvard University（哈佛大学）；Indian Institute of Technology (IIT) Bombay（印度理工学院孟买分校）；Weizmann Institute of Science（魏茨曼科学研究所）
针对稀疏多通道盲反卷积问题，提出一种数据驱动的展开学习框架，通过滤波与子采样压缩信号并学习压缩滤波器，实现比优化方法更鲁棒的恢复性能及少样本下更强的泛化能力。
2023-05-18 cs.LG eess.SP
STARK: Structured Dictionary Learning Through Rank-one Tensor Recovery
Rutgers University（罗格斯大学）
近年来，已经提出了一类用于多维（张量）数据表示的字典，其通过在数据底层的字典上施加克罗内克结构来利用张量数据的结构。在这项工作中，一种新的算法称为“STARK”的学习克罗内克结构字典，可以表示任何顺序的张量。通过建立任何数量的矩阵的克罗内克积可以重新排列，以形成一个秩1张量，我们表明，克罗内克结构可以通过解决秩1张量恢复问题的字典。由于秩-1张量恢复是一个具有挑战性的非凸问题，我们求助于解决这个问题的凸松弛。对合成数据和真实数据的实验结果表明，我们所提出的算法是有前途的。
2017-11-13 cs.LG stat.ML
Clustering Inductive Biases with Unrolled Networks
Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；Tufts University（塔夫茨大学）
针对经典稀疏编码过度预测V1简单细胞感受野的问题，提出自编码器架构WLSC，通过二部图拉普拉斯二次型实现结构化稀疏与谱聚类，统一了稀疏与平滑编码，成功匹配灵长类V1数据并揭示了空间正则化对特征解耦的必要性。
2023-11-30 cs.AI cs.LG q-bio.NC
Self-STORM: Deep Unrolled Self-Supervised Learning for Super-Resolution Microscopy
Weizmann Institute of Science（魏茨曼科学研究所）
本文提出深度展开自监督学习方法，通过仅从测量数据训练的模型自编码器消除对标注数据的依赖，在超分辨率显微镜中实现优于监督方法的鲁棒动态成像，并可泛化至任意稀疏恢复框架。
2024-03-25 cs.CV cs.LG eess.IV
Complete Dictionary Recovery over the Sphere
Columbia University（哥伦比亚大学）
我们考虑恢复完整的（即，平方和可逆的）矩阵$\mathbf A_0$，由$\mathbf Y \in \mathbb R^{n \times p}$和$\mathbf Y = \mathbf A_0 \mathbf X_0$构成，条件是$\mathbf X_0$足够稀疏。这个恢复问题是字典学习的理论理解的核心，字典学习寻求输入信号集合的稀疏表示，并在现代信号处理和机器学习中找到许多应用。我们给出了第一个有效的算法，可证明恢复$\mathbf A_0$时，$\mathbf X_0$有$O(n)$非零每列，在适当的概率模型$\mathbf X_0$。相比之下，以前的结果的基础上有效的算法提供恢复保证时，$\mathbf X_0$只有$O(n^{1-δ})$非零每列的任何常数$δ\in (0, 1)$。我们的算法流水线围绕解决具有球形约束的特定非凸优化问题，因此自然地用流形优化的语言来表达。为了表明这个显然很难的问题是易于处理的，我们首先提供了一个几何表征的高维客观景观，这表明，有很高的概率没有“虚假”的局部极小值。这种特殊的几何结构，使我们能够设计一个黎曼信赖域算法在球证明收敛到一个局部极小与任意初始化，尽管存在鞍点。我们在这里开发的几何方法也可能揭示了结构化信号的非凸恢复所产生的其他问题。
2015-11-17 cs.CV cs.IT cs.LG
Exact Recovery of Sparsely-Used Dictionaries
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）
我们考虑学习稀疏使用的字典与任意平方字典和随机，稀疏系数矩阵的问题。我们证明了$O (n \log n)$样本是足够的唯一确定的系数矩阵。在此基础上，我们设计了一个多项式时间的稀疏字典精确恢复算法（ER-SpUD），并证明了当系数矩阵足够稀疏时，该算法可以恢复字典和系数矩阵。仿真结果表明，ER-SpUD揭示了真正的字典以及系数的概率高于许多国家的最先进的算法。
2012-06-26 cs.IT cs.LG math.IT
Basis Pursuit and Orthogonal Matching Pursuit for Subspace-preserving Recovery: Theoretical Analysis
Lehigh University（利哈伊大学）；The Johns Hopkins University（约翰斯·霍普金斯大学）
给定一个过完备字典$A$和一个信号$b = Ac^*$，其中某个稀疏向量$c^*$的非零元素对应于$A$的线性无关列，经典稀疏信号恢复理论考虑$c^*$是否可以恢复为$b = A c$的唯一稀疏解的问题.现在很好地理解，当字典$A$是不相干的或受限制的等距的时，这种恢复通过实用算法是可能的。在本文中，我们考虑更一般的情况下，$b$位于一个子空间$\mathcal{S}_0$由一个子集的线性相关列的$A$，其余列的子空间之外。在这种情况下，稀疏表示可能不是唯一的，并且字典可能不是不连贯的或受限制的等距的。目标是使表示$c$正确地标识子空间，即，$c$的非零条目应当对应于子空间$\mathcal{S}_0$中的$A$的列。这种表示$c$被称为子空间保持，这是一个关键概念，在高维数据中学习低维结构时有重要应用。我们提出了各种几何条件，保证子空间保持恢复。其中，覆盖半径和角距离分别刻画了子空间中点的分布以及子空间中点与子空间外点的相似性.重要的是，这些条件并不要求字典是不连贯的或受限制的等距。通过建立子空间保持恢复问题和经典的稀疏信号恢复问题在后者的共同假设下是等价的，我们证明了我们提出的几个条件是稀疏信号恢复文献中一些众所周知的条件的推广。
2019-12-30 cs.CV cs.LG stat.ML
Dictionary Learning with BLOTLESS Update
National University of Defense Technology（中国人民解放军国防科技大学）；Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）
用于学习字典以稀疏地表示给定数据集的算法通常在稀疏编码和字典更新阶段之间交替。用于字典更新的方法旨在通过在稀疏编码阶段中获得的非零系数的给定模式下更新字典向量和扩展系数来最小化扩展误差。我们提出了一个块总最小二乘（BLOTLESS）算法的字典更新。BLOTLESS同时更新字典元素块和相应的稀疏系数。在无误差的情况下，确定了三个必要条件，精确恢复。训练数据的数量上的下限被建立，使得必要条件以高概率保持。数值模拟结果表明，该界近似准确的字典恢复所需的训练数据的数量。数值实验进一步证明了与最先进的算法相比，使用BLOTLESS更新的字典学习的几个好处，特别是当训练数据量很小时。
2020-02-01 cs.LG eess.SP
Joint Subspace Recovery and Enhanced Locality Driven Robust Flexible Discriminative Dictionary Learning
Hefei University of Technology（合肥工业大学）；Soochow University（苏州大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Queensland（昆士兰大学）
我们提出了一种基于子空间恢复和增强局部性的鲁棒柔性标签一致性字典学习方法，称为鲁棒柔性判别字典学习（RFOLD）。该算法主要通过增强对稀疏错误的鲁棒性，对局部性、重构错误和标签一致性进行更精确的编码，来提高数据的表示和分类能力。首先，为了对数据和原子中的噪声和稀疏错误具有鲁棒性，RFRST旨在联合恢复底层的干净数据和干净原子子空间，然后在恢复的子空间中执行DL并编码局部性。其次，为了使从非线性流形采样的数据能够潜在地处理，并通过避免过拟合来获得准确的重建，RFFLOW以灵活的方式最小化重建误差。第三，为了对标签一致性进行准确编码，RFRST涉及有区别的灵活稀疏码错误以鼓励系数变软。第四，为了更好地编码局部性，RFFNN定义了恢复原子上的拉普拉斯矩阵，包括原子在类内紧凑性和类间分离方面的标签信息，并与组稀疏码和分类器相关联，以获得准确的区分性局部约束系数和分类器。在公共数据库上的大量结果表明了我们的RFESTs的有效性。
2019-06-11 cs.CV cs.LG
Exploring the Effect of Sparse Recovery on the Quality of Image Superresolution
Fresno City College（弗雷斯诺城市学院）
本文研究稀疏恢复算法选择对基于耦合字典的图像超分辨率重建质量的影响，并通过实验寻找最佳稀疏恢复算法。
2023-08-04 cs.CV cs.LG eess.IV
Dictionary Learning with Almost Sure Error Constraints
字典是标准向量的数据库，因此其他向量/信号被表示为字典向量的线性组合，并且针对给定数据学习字典的任务是找到好的字典，使得数据点的表示具有期望的特征。字典学习和相关的矩阵分解方法已经获得了显着的突出最近由于它们的应用在各种各样的领域，如机器学习，信号处理，统计等。在这篇文章中，我们研究的字典学习问题，以实现所需的功能，在表示一个给定的数据几乎肯定的恢复约束。我们施加的约束，每个样本被正确地重建到预定义的阈值内。这个问题的公式化比传统的字典学习更具挑战性，后者是通过最小化正则化的成本函数来完成的。我们利用线性反问题的对偶结果，得到一个等价的形式的凸-凹极小-极大问题。然后使用类似于梯度下降-上升的算法来解决由此产生的最小-最大问题。
2020-07-07 cs.IT cs.LG math.IT
Dictionary learning -- from local towards global and adaptive
University of Innsbruck（因斯布鲁克大学）
本文研究了基于迭代保持和K-残差均值（ITKrM）算法的字典学习的收敛性。一方面，它证明了ITKrM是一个收缩下更宽松的条件比以前必要的。另一方面，它表明，似乎存在稳定的不动点，不对应于生成的字典，这可以被描述为非常连贯的。基于使用这些坏字典的残差的分析，提出用精心设计的替换候选者替换相干原子。在对合成数据的实验中，这优于随机或无替换，并且总是导致完整的字典恢复。最后，如何学习字典没有正确的字典大小和稀疏水平的知识的问题得到解决。将相干或未使用的原子的替换策略解耦为修剪和添加，并缓慢地小心地增加稀疏度，从而产生ITKrM的自适应版本。在几个实验中，这种自适应字典学习算法被证明可以从合成数据上的各种大小的随机初始化字典中恢复生成字典，并学习图像数据上有意义的字典。
2021-04-21 cs.LG stat.ML
Compressed Dictionary Learning
University of Innsbruck（因斯布鲁克大学）
在本文中，我们表明，使用基于Johnson-Lindenstrauss引理的降维技术，可以显着降低字典学习的迭代保持和K-residual-Means（ITKrM）算法的计算复杂度。利用快速傅立叶变换有效地进行了降维。介绍了一种快速字典学习的迭代压缩保持和K均值算法（IctKM），并研究了其收敛性。我们表明，IcTKM可以本地恢复一个不相干的，过完备的生成字典的$K$原子从训练信号的稀疏水平$S$与高概率。通过将训练数据和字典嵌入到$m < d$维度中来实现快速字典学习，并且恢复被证明是局部稳定的，嵌入维度低至$m = O(S \log^4 S \log^3 K)$。压缩有效地打破了ITKrM的计算成本中的数据维度瓶颈，将其减少了$O(m/d)$的一个因子。我们的理论结果与数值模拟的补充表明，IcTKM是一个强大的，低成本的算法从高维数据集的字典学习。
2020-02-22 cs.LG stat.ML
On the Computational Intractability of Exact and Approximate Dictionary Learning
TU Darmstadt（达姆施塔特工业大学）
在过去的十年中，通过线性观测的信号向量的有效稀疏编码和重构受到了极大的关注。在这种情况下，从用于稀疏表示的某些信号类别的训练数据集合中自动学习合适的基或过完备字典已经证明对于实际信号处理应用特别重要。大多数流行的字典学习算法在每次迭代中都涉及NP难稀疏恢复问题，这可能会给出一些关于字典学习复杂性的指示，但并不构成计算困难性的实际证明。在这篇技术笔记中，我们证明了学习一个字典，用它可以尽可能稀疏地表示一组给定的训练信号确实是NP困难的。此外，我们还建立了近似的解决方案的最佳稀疏水平的大因素内的硬度。此外，我们给出了NP-硬度和非近似性的结果，最近的字典学习变化称为传感器排列问题。在此过程中，我们还获得了一个新的非近似性结果的经典稀疏恢复问题的压缩感知。
2014-08-03 cs.IT cs.LG math.IT
Unique Sharp Local Minimum in $\ell_1$-minimization Complete Dictionary Learning
University of California, Berkeley（加利福尼亚大学伯克利分校）；Citadel Securities（城堡证券）
我们研究了通过$\ell_1$ -最小化从一组信号中全局恢复字典的问题。我们假设信号是以独立同分布的形式产生的。来自完整参考字典$D^*\in \mathbb R^{K\times K}$的$K$原子的随机线性组合，其中线性组合系数来自伯努利型模型或精确稀疏模型。首先，我们得到了一个充分必要的规范条件的参考字典$D^*$是一个尖锐的局部极小的预期$\ell_1$目标函数。我们的结果大大扩展了Wu和Yu（2015）的结果，并允许组合系数为非负。其次，我们得到了一个明确的范围内的参考字典的目标值是最小的区域。第三，我们证明了参考字典是唯一的尖锐的局部最小值，从而建立了$\ell_1$ -最小化字典学习的第一个已知的全局性质。出于理论结果，我们引入了一个扰动为基础的测试，以确定是否字典是一个尖锐的局部最小的目标函数。此外，我们还提出了一种新的基于块坐标下降的字典学习算法，称为DL-BCD，它保证具有单调收敛性。仿真研究表明，DL-BCD具有竞争力的性能恢复率相比，许多国家的最先进的字典学习算法。
2019-02-22 cs.LG stat.ML
Hybrid-Field Sparse Channel Representation and Recovery for XL-RIS-Assisted mmWave MIMO Systems
Beijing University of Posts and Telecommunications（北京邮电大学）；Peng Cheng Laboratory（鹏城实验室）；ZGC Institute of Ubiquitous-X Innovation and Applications（中关村泛在X创新与应用研究院）
针对XL-RIS辅助毫米波MIMO系统混合场信道估计的高维挑战，提出双时间尺度信道估计框架，结合DK-ODC方案与SI-VBL算法，实现了估计精度、复杂度与存储开销的良好权衡。
2026-08-04 cs.LG eess.SP
Dictionary-based Manifold Learning
University of Washington（华盛顿大学）
我们提出了一种用于科学数据分析的可解释流形学习的范例，从而我们从科学家提供的有意义的域相关函数字典中使用$d$平滑函数对流形进行参数化。当这样的参数化存在时，我们提供了一种算法，用于基于流形切丛中的稀疏非线性回归来找到它，绕过了更标准的流形学习算法。我们还讨论了存在的条件，这样的参数化在函数空间中，并成功地从有限的样本恢复。我们证明了我们的方法从一个真正的科学领域的实验结果。
2023-02-04 cs.LG
Dictionary Learning with Convex Update (ROMD)
Imperial College London（帝国理工学院）
字典学习的目的是找到一个字典，在这个字典下训练数据可以被稀疏地表示，它通常通过迭代地应用两个阶段来实现：稀疏编码和字典更新。字典更新的典型方法是利用稀疏编码阶段得到的稀疏模式来细化字典原子及其相应的稀疏系数，因此它是一个非凸双线性逆问题。在本文中，我们提出了一个秩一矩阵分解（ROMD）算法，通过解决这两个变量到一组秩一矩阵重铸这个挑战成一个凸问题。与文献中的方法不同，ROMD使用凸规划一次更新整个字典。因此，优点包括字典更新的收敛保证和整个字典学习的更快收敛。ROMD的性能与其他基准字典学习算法进行了比较。结果表明，ROMD在恢复精度上有明显的提高，特别是在稀疏度较高和观测数据较少的情况下。
2021-10-25 cs.LG eess.SP
Sparse, Geometric Autoencoder Models of V1
Harvard University（哈佛大学）；Tufts University（塔夫茨大学）
经典的稀疏编码模型将视觉刺激表示为少数学习的基函数的线性组合，这些基函数在自然图像数据上训练时是类似于Gabor的。然而，通过经典稀疏编码学习的Gabor样滤波器远远高估了调谐良好的简单细胞感受野（SCRF）配置文件。许多后续模型要么完全放弃了稀疏字典学习框架，要么尚未利用展开的神经字典学习架构的激增。这些更新中缺少的一个关键主题是更强的\emph{structured sparsity}概念。我们提出了一个自动编码器架构，其潜在的表示是隐式的，局部组织的谱聚类，这会产生人工神经元更好地匹配观察到的灵长类动物数据。自动编码器目标函数中的加权$\ell_1$（WL）约束保持了稀疏编码框架的核心思想，但也提供了一个有前途的路径来描述在未来工作中的判别层次的感受野的分化。
2023-02-22 cs.AI cs.LG
Monocular 3D Pose Recovery via Nonconvex Sparsity with Theoretical Analysis
University of Pennsylvania（宾夕法尼亚大学）；CUHK（香港中文大学）；University of Rochester（罗切斯特大学）
为了从2D图像恢复3D对象姿态，普遍的方法是预训练3D基本姿态的过完备字典$\mathcal D=\{B_i\}_i^D$。在测试期间，通过估计旋转$R_i$、投影$Π$和稀疏组合系数$c \in \mathbb R_{+}^D$，检测到的2D姿态$Y$通过$Y \approx \sum_i M_i B_i$与字典匹配，其中$\{M_i\}_i^D=\{c_i ΠR_i\}$。在本文中，我们提出了非凸正则化$H(c)$学习系数$c$，包括新的漏帽$\ell_1$ -范数正则化（LCNR），\begin{align*} H(c)=α\sum_{i } \min(|c_i|,τ)+ β\sum_{i } \max(| c_i|,τ), \end{align*}，其中$0\leq β\leq α$和$0<τ$是一个特定的阈值，所以小于$τ$的无效成分与较大的正则化和其他有效成分与较小的正则化。我们提出了一个多阶段优化凸松弛和ADMM。我们证明了估计误差$\mathcal L(l)$随时间衰减。阶段$l$、\begin{align*} Pr\left(\mathcal L(l) < ρ^{l-1} \mathcal L(0) + δ\right) \geq 1- ε, \end{align*}，其中$0< ρ<1, 0<δ, 0<ε\ll 1$ .在H36 M等大型3D人体数据集上进行了实…
2018-12-29 cs.CV cs.LG stat.ML
Quantum Sparse Recovery and Quantum Orthogonal Matching Pursuit
Munich Center for Quantum Science and Technology (MCQST)（慕尼黑量子科学与技术中心）
针对非正交过完备字典中的量子稀疏恢复问题，提出量子正交匹配追踪算法，在多项式时间内恢复K-稀疏状态，并应用于稀疏量子层析成像，实现查询复杂度加速。
2025-10-08 cs.DS cs.LG quant-ph
Physically constrained unfolded multi-dimensional OMP for large MIMO systems
Univ Rennes（雷恩大学）；INSA Rennes（雷恩国立应用科学学院）；CNRS（法国国家科学研究中心）；CentraleSupelec（中央理工-高等电力学院）
本文提出MOMPnet，一种结合深度展开和数据驱动字典学习的多维正交匹配追踪框架，用于提升大规模MIMO系统中稀疏恢复的可靠性与效率。
2026-01-15 cs.LG eess.SP
Dictionary Learning: The Complexity of Learning Sparse Superposed Features with Feedback
Department of Computer Science \& Engineering, University of California, San Diego, USA
通过反馈机制，研究在稀疏设置下学习字典特征的复杂性，并验证了理论结果在特征恢复和字典提取中的有效性。
2025-12-28 cs.AI cs.LG stat.ML
Inference and learning in sparse autoencoders as natural gradient flow
Astera Institute（Astera研究所）；UC Berkeley（加州大学伯克利分校）；UCL（伦敦大学学院）；Goodfire AI（Goodfire AI公司）；CSHL（冷泉港实验室）
本文提出BeFOND，一种无编码器的稀疏编码模型，将推理与字典学习统一为自然梯度流，通过循环解释消除和Fisher预条件减少特征干扰并加速稀有特征学习，在合成数据和语言模型激活上显著提升字典恢复、稀有特征检测及概念干预效果。
2026-10-07 cs.AI cs.LG
Gradient-Based Learning of Discrete Structured Measurement Operators for Signal Recovery
EPFL（洛桑联邦理工学院）；Helmholtz-Zentrum Berlin（柏林亥姆霍兹中心）；Technische Universität Berlin（柏林工业大学）
提出GLODISMO方法，结合展开优化与Gumbel重参数化，解决离散结构化测量算子的基于梯度学习问题，在信号恢复应用中表现优于传统设计。
2022-11-10 cs.LG eess.SP
Unrolling PALM for sparse semi-blind source separation
Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院电信巴黎）；CEA Saclay（法国原子能和替代能源委员会萨克莱研究中心）
稀疏盲源分离（BSS）已成为一个成熟的工具，用于广泛的应用-例如，在天体物理学和遥感。经典的稀疏BSS方法，如近端交替线性化最小化（PALM）算法，然而，经常遭受困难的超参数选择，这破坏了他们的结果。为了绕过这个陷阱，我们建议在这项工作中建立在蓬勃发展的算法展开/展开领域。展开PALM能够通过学习PALM超参数和变量来利用来自现实模拟或地面实况数据的数据驱动知识。与大多数现有的展开算法不同，这些算法在训练和测试阶段假设一个固定的已知字典，本文进一步强调了处理可变混合矩阵（也称为混合矩阵）的能力。字典）。因此，所提出的学习PALM（LPALM）算法能够执行半盲源分离，这是提高学习模型在现实世界应用中的泛化能力的关键。我们说明了LPALM在天体物理多光谱成像中的相关性：该算法不仅需要比PALM少$10^4-10^5$倍的迭代次数，而且提高了分离质量，同时避免了PALM繁琐的超参数和初始化选择。我们进一步表明，LPALM优于其他展开的源分离方法在半盲设置。
2022-03-07 astro-ph.IM cs.LG eess.IV
Hiding Data Helps: On the Benefits of Masking for Sparse Coding
Duke University（杜克大学）；Brown University（布朗大学）
本文研究过实现字典在噪声下难以恢复真实字典的问题，提出受自监督学习启发的掩码目标，证明其恢复最优性并通过实验验证优于标准重建目标。
2023-06-01 cs.AI cs.LG
A Dominant Diffuse Phase in the Sparse Autoencoder Phase Diagram
本研究通过MAIS-O43协议实验发现，稀疏自编码器训练收敛于弥散相而非字典恢复或特征合并，表明训练模型的相图与目标最优解存在根本差异。
2026-09-10 cs.LG
SC-MIL: Sparsely Coded Multiple Instance Learning for Whole Slide Image Classification
Mallinckrodt Institute of Radiology, Washington University School of Medicine（华盛顿大学医学院马林克罗特放射学研究所）；School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）；Institute for Informatics, Data Science and Biostatistics, Washington University School of Medicine（华盛顿大学医学院信息学、数据科学与生物统计学研究所）
本文提出SC-MIL方法，通过深度展开稀疏字典学习同时优化实例特征嵌入与相关性建模，以即插即用模块显著提升现有MIL方法在全切片图像分类中的性能。
2024-08-01 cs.AI cs.CV cs.LG
Efficient Matrix Factorization Via Householder Reflections
Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）
本文针对正交字典学习问题，提出基于Householder矩阵与二值矩阵乘积的矩阵分解方法，并分别给出精确恢复与多项式时间近似恢复的列数条件和复杂度保证。
2024-10-04 cs.LG eess.SP
