Sparse Coding Approach for Multi-Frame Image Super Resolution
Waseda University（早稻田大学）；University of Tsukuba（筑波大学）
提出了一种基于低分辨率图像多次观测的图像超分辨率方法。该方法是基于亚像素精度块匹配估计观测图像的相对位移，和稀疏信号表示估计相应的高分辨率图像。观测到的低分辨率图像的小补丁的相对位移准确估计的计算效率块匹配方法。由于估计的位移也被视为图像退化过程中的变形分量，匹配结果直接用于生成稀疏图像表示的低分辨率字典。利用块匹配的匹配分数选择低分辨率图像块的子集来重建高分辨率图像块，即实现了信息量大的低分辨率图像的自适应选择。当只有一幅低分辨率图像时，该方法可以作为单帧超分辨率方法。通过使用各种真实世界数据集的实验，所提出的方法表现出与传统的单帧和多帧超分辨率方法相当或更好。
2014-02-17 cs.CV
Face Hallucination using Linear Models of Coupled Sparse Support
University of Malta（马耳他大学）；Institut National de Recherche en Informatique et en Automatique（法国国家信息与自动化研究所）
大多数人脸超分辨率方法假设低分辨率流形和高分辨率流形具有相似的局部几何结构，因此在低分辨率流形上学习局部模型（例如稀疏或局部线性嵌入模型），然后将其应用于高分辨率流形。然而，低分辨率流形被低分辨率和高分辨率补丁之间的一对多关系所扭曲。本文提出了一种基于高分辨率流形而不是低分辨率流形上的局部几何结构学习线性模型的方法。为此，在第一步骤中，使用低分辨率块来导出高分辨率块的全局最优估计。近似的解决方案被证明是接近在欧几里得空间的地面真相，但通常是光滑的，缺乏纹理的细节所需要的国家的最先进的人脸识别器。第一次估计使我们能够使用稀疏编码（SC）找到高分辨率流形的支持，然后使用稀疏编码（SC）作为支持，用于使用多元岭回归（MRR）学习低分辨率和高分辨率流形之间的局部投影（或放大）模型。实验结果表明，该方法在识别率和图像质量方面均优于六种人脸超分辨率方法。这些结果还表明，识别和质量受到用于将所有超分辨率补丁拼接在一起的方法的显著影响，其中发现绗缝可以更好地保留纹理细节，这有助于实现更高的识别率。
2015-12-18 cs.CV
Image Deblurring and Super-resolution by Adaptive Sparse Domain Selection and Adaptive Regularization
Xidian University（西安电子科技大学）；The Hong Kong Polytechnic University（香港理工大学）；McMaster University（麦克马斯特大学）
稀疏表示作为一种强有力的统计图像建模技术，已成功地应用于各种图像复原应用中。稀疏表示的成功归功于l1范数优化技术的发展，以及自然图像在某些领域具有内在稀疏性的事实。图像复原的质量在很大程度上取决于所采用的稀疏域是否能很好地代表底层图像。考虑到不同图像或单个图像中不同块的内容可能会有很大差异，我们建议从预先收集的示例图像块数据集中学习不同的基集，然后对于待处理的给定块，自适应地选择一组基来表征局部稀疏域。我们进一步引入两个自适应正则化项到稀疏表示框架中。首先，从示例图像块的数据集学习一组自回归（AR）模型。自适应地选择最适合给定块的AR模型来正则化图像局部结构。其次，引入图像的非局部自相似性作为正则化项。此外，稀疏正则化参数自适应估计更好的图像复原性能。大量的图像去模糊和超分辨率实验表明，该方法通过自适应稀疏域选择和自适应正则化，在峰值信噪比（PSNR）和视觉感知方面都比现有算法有更好的效果。
2010-12-06 cs.CV cs.MM
VSpSR: Explorable Super-Resolution via Variational Sparse Representation
Fudan University（复旦大学）
超分辨率（SR）是一个不适定问题，它意味着无穷多幅高分辨率（HR）图像可以退化为同一幅低分辨率（LR）图像。为了研究一对多随机SR映射，我们隐式地表示自然图像的非局部自相似性，并通过神经网络开发了一个变分稀疏超分辨率（VSpSR）框架。由于HR图像的每个小块都可以很好地近似于过完备字典中原子的稀疏表示，因此我们设计了一个两分支模块，即，VSPM，探索SR空间。具体地说，VSpM的一个分支提取块水平的基础从LR输入，和其他分支推断像素的变分分布相对于稀疏系数。通过对系数的重复采样，我们可以获得无限的稀疏表示，从而生成多样化的HR图像。根据NTIRE 2021学习SR空间挑战赛的初步结果，我们团队（复旦Zmic21）发布的成绩排名第7。VSpSR的实现在https://zmiclab.github.io/上发布。
2021-04-17 cs.CV
Correlation Preserving Sparse Coding Over Multi-level Dictionaries for Image Denoising
National Engineering Laboratory for Video Technology, Peking University（北京大学视频技术国家工程实验室）
本文提出了一种基于相关保持稀疏编码的图像去噪方法。由于基集之间的不稳定和不可靠的相关性会限制字典驱动去噪方法的性能，因此在编码过程中采用了两种有效的正则化策略。具体地说，基于图的正则化器是建立在保持全局相似性相关，它可以自适应地捕获的几何结构和区别性特征的纹理补丁。特别地，图中的边权重通过寻求非负低秩构造来获得。此外，鲁棒的局部约束编码不仅可以自动保持空间邻域信息，而且可以在学习过完备字典时保持噪声块中存在的内部一致性。实验结果表明，我们提出的方法达到了最先进的去噪性能的PSNR和主观视觉质量。
2016-12-23 cs.CV
Learning of Patch-Based Smooth-Plus-Sparse Models for Image Reconstruction
École polytechnique fédérale de Lausanne（洛桑联邦理工学院）；Technische Universität Chemnitz（开姆尼茨工业大学）
本文提出一种基于图像块的平滑加稀疏表示双层优化模型，通过监督学习与隐式微分学习字典和正则化参数，在去噪、超分辨率和压缩感知MRI中优于经典方法，部分场景超过深度学习方法。
2025-03-17 cs.CV cs.LG eess.IV
Non-Convex Weighted Lp Minimization based Group Sparse Representation Framework for Image Denoising
Nanjing University（南京大学）；Southeast University（东南大学）
非局部图像表示或组稀疏性在各种低级视觉任务中引起了相当大的兴趣，并导致了几种最先进的图像去噪技术，如BM 3D，LSSC。在过去，凸优化与稀疏促进凸正则化通常被认为是一个标准的计划，估计稀疏信号在噪声中。然而，在一些实际问题中，包括图像反问题，使用凸正则化仍然不能得到正确的稀疏解。在本文中，我们提出了一个非凸加权$\ell_p$最小化为基础的组稀疏表示（GSR）的图像去噪框架。为了使所提出的方案易于处理和鲁棒性，采用广义软阈值（GST）算法来解决非凸$\ell_p$最小化问题。此外，为了提高非局部相似块选择的准确性，提出了一种自适应块搜索（APS）方法。实验结果表明，该方法不仅优于许多国家的最先进的去噪方法，如BM3D和WNNM，但也导致在竞争的速度。
2017-05-23 cs.CV
The Power of Complementary Regularizers: Image Recovery via Transform Learning and Low-Rank Modeling
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
自适应稀疏和低秩信号建模的最新工作已经证明了它们在各种图像/视频处理应用中的有用性。基于补丁的方法利用局部补丁稀疏性，而其他作品应用分组补丁的低秩利用图像的非局部结构。然而，单独使用任一方法通常限制图像重建或恢复应用中的性能。在这项工作中，我们提出了一个同时稀疏和低秩模型，被称为STROLLR，以更好地表示自然图像。为了充分利用局部和非局部图像属性，我们开发了一个图像复原框架，使用联合低秩正则化的变换学习方案。该方法的计算效率和良好的性能归功于使用变换学习的自适应稀疏表示，而不是流行的综合字典学习算法，其中涉及近似NP难稀疏编码和昂贵的学习步骤。我们展示了所提出的框架在各种应用程序中的图像去噪，修复和压缩感知的磁共振成像。结果表明，有前途的性能相比，国家的最先进的竞争方法。
2018-08-03 cs.CV
Kernel based low-rank sparse model for single image super-resolution
Xi'an Jiaotong University（西安交通大学）
自相似性学习是近年来被认为是一种很有前途的单图像超分辨率（SR）生成高分辨率（HR）图像的方法。然而，基于学习的SR重建的性能在很大程度上取决于学习的表示系数。由于输入图像的退化，传统的稀疏编码容易产生不忠实的表示系数。为此，我们提出了一种新的基于核的低秩稀疏模型与自相似性学习的单张图像SR，它采用nonlocalsimilarity之前，强制执行类似的补丁具有类似的代表权。我们执行一个渐进的放大方案，使用从退化的输入图像和放大的版本中提取的自示例。为了利用非局部相似性，我们将矢量化的输入补丁和它在不同位置的非局部邻居连接成一个由相似组件组成的数据矩阵。然后利用核方法将非局部数据矩阵映射到高维特征空间，以捕捉其非线性结构。在核空间中非局部数据的稀疏系数为低秩的假设下，对稀疏编码施加低秩约束，以共享表示系数之间的相似性并去除离群值，从而获得稳定的SR重构权值.实验结果表明，我们提出的方法在视觉质量和重建误差的优势。
2018-09-27 cs.CV
Group Sparsity Residual Constraint for Image Denoising
Nanjing University（南京大学）；Southeast University（东南大学）；University of Oulu（奥卢大学）
基于组的稀疏表示在图像去噪中显示出巨大的潜力。然而，大多数现有的方法只考虑噪声输入图像的非局部自相似性（NSS）先验。也就是说，仅从退化输入中收集相似块，这使得图像去噪的质量在很大程度上取决于输入本身。然而，这样的方法经常遭受一个共同的缺点，即去噪性能可能会随着噪声水平的增加而迅速下降。在本文中，我们提出了一种新的先验模型，称为组稀疏残差约束（GSRC）。与传统的基于组的稀疏表示去噪方法不同，GSRC中使用了两种先验，即噪声和预滤波图像的NSS先验。特别地，我们通过稀疏残差机制将这两个NSS先验信息整合在一起，从而将图像去噪的任务转化为减少组稀疏残差的问题。为此，我们首先通过预滤波得到原始图像的组稀疏系数的良好估计，然后用含噪图像的组稀疏系数来近似这个估计。为了提高非局部相似块选择的准确性，设计了一种自适应块搜索方案。此外，为了更好地融合这两个NSS先验，一个有效的迭代收缩算法来解决所提出的GSRC模型。实验结果表明，所提出的GSRC建模优于许多国家的最先进的去噪方法的客观和感知指标。
2017-07-31 cs.CV
Group Sparse Coding for Image Denoising
The Australian National University（澳大利亚国立大学）
GSR [3]中的组稀疏表示在图像去模糊和图像修补方面取得了很好的效果，其成功的主要原因是利用了自然图像块之间的稀疏性和非局部自相似性（NSS），并解决了正则化优化问题。然而，直接自适应GSR[3]的图像去噪方法效果不稳定且不令人满意，为了克服这些问题，本文提出了一种渐进式的自适应GSR [3]模型的图像去噪算法，实验表明该算法的性能优于一些现有的方法。
2022-12-22 cs.CV
A note on patch-based low-rank minimization for fast image denoising
Northeastern University at Qinhuangdao（东北大学秦皇岛分校）；Univ Bretagne-Sud（南布列塔尼大学）
基于块的低秩最小化方法在图像处理中的应用近年来受到广泛关注。矩阵秩的最小化与Frobenius范数数据保真度耦合可以通过具有主成分分析（PCA）或奇异值分解（SVD）的硬阈值滤波器来解决。基于这一思想，我们提出了一种基于块的低秩最小化图像去噪方法。主要的去噪过程被描述为三种等价的方法：PCA，SVD和低秩最小化。实验结果表明，与现有的基于块的稀疏表示方法相比，该方法速度快，对各种自然灰度图像和彩色图像，特别是图像中的纹理部分都有效。并对该方法进行了进一步的改进。此外，由于该方法的简单性，我们可以提供一个解释的阈值参数的选择，估计的PSNR值，并给出其他见解，这种方法。
2018-02-21 cs.CV
A Local Block Coordinate Descent Algorithm for the Convolutional Sparse Coding Model
Johns Hopkins University（约翰斯·霍普金斯大学）；Technion Israel Institute of Technology（以色列理工学院）
卷积稀疏编码（CSC）模型最近在信号和图像处理界获得了相当大的吸引力。通过提供一个全球性的，但易于处理的模型，对整个图像进行操作，CSC被证明可以克服基于补丁的稀疏模型的几个限制，同时在各种应用中实现卓越的性能。为了卷积的计算方便，用于追踪和学习CSC字典的当代方法通常依赖于傅立叶域中的交替方向乘法（ADMM），而忽略了图像的局部特征。Papyan等人最近的一项工作提出了用于CSC的SBDL算法，同时在图像块上局部操作。SBDL表现出更好的性能相比，基于傅立叶的方法，虽然仍然依赖于ADMM。在这项工作中，我们保持了SBDL的本地化策略，同时提出了一种新的，更简单的方法，基于块坐标下降算法-这种方法被称为本地块坐标下降（LoBCoD）。此外，我们引入了一种新的随机梯度下降版本的LoBCoD用于训练卷积滤波器。随机LoBCoD利用了在线学习的优势，同时适用于单个训练图像。我们证明了所提出的算法的优点，图像修补和多聚焦图像融合，达到国家的最先进的结果。
2018-11-01 cs.CV
Adaptive Patch Exiting for Scalable Single Image Super-Resolution
Beijing University of Posts and Telecommunications（北京邮电大学）；Peking University（北京大学）；OPPO Research Institute（OPPO研究院）；Intel Labs China（英特尔中国研究院）
由于未来的计算是异构的，可扩展性是一个关键问题，为单图像超分辨率。最近的工作试图训练一个网络，它可以部署在具有不同容量的平台上。然而，它们依赖于逐像素稀疏卷积，这不是硬件友好的，并且实现了有限的实际加速。由于图像可以被划分为多个小块，这些小块具有不同的恢复难度，因此我们提出了一种基于自适应小块退出（APE）的可扩展方法，以实现更实用的加速比。具体来说，我们建议训练回归预测的每一层的补丁的增量容量。一旦增量容量低于阈值，补丁就可以在特定层退出。我们的方法可以很容易地调整性能和效率之间的权衡，通过改变增量容量的阈值。此外，我们提出了一种新的策略，使我们的方法的网络训练。我们在各种主干、数据集和缩放因子上进行了广泛的实验，以证明我们方法的优势。代码可在https://github.com/littlepure2333/APE上获得
2022-07-21 cs.CV
CLEAR: Conflict-aware Learning via Evidence-guided Adaptive Routing for Unified Sparse-View 3D Gaussian Super-Resolution
针对稀疏视图三维高斯超分辨率的误差累积问题，提出首个统一单阶段框架CLEAR，通过冲突感知优化、证据引导路由等技术，在4×超分辨率基准上实现了最优渲染质量与几何保真度。
2026-08-04 cs.CV
Color Image and Multispectral Image Denoising Using Block Diagonal Representation
South China University of Technology（华南理工大学）
过滤多于一个通道的图像在效率和有效性方面都具有挑战性。通过对相似块进行分组，利用自然图像的自相似性和稀疏线性近似，最近的非局部和变换域方法已被广泛用于彩色和多光谱图像（MSI）去噪。许多相关的方法集中在组水平的相关性建模，以提高稀疏性，这往往是一个递归的策略，大量的相似补丁。补丁级表示的重要性被低估了。在本文中，我们主要研究的影响和潜力的表示在补丁水平，考虑一个一般的公式与块对角矩阵。我们进一步表明，通过训练一个适当的全球补丁的基础上，随着当地的主成分分析变换的分组维，一个简单的变换阈值逆方法可以产生非常有竞争力的结果。快速实现也被开发以减少计算复杂性。在模拟数据集和真实数据集上的大量实验证明了该算法的鲁棒性、有效性和高效性。
2019-02-11 cs.CV
Implementation of the VBM3D Video Denoising Method and Some Variants
CMLA；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Université Paris-Saclay（巴黎萨克雷大学）
VBM3D是众所周知的图像去噪算法BM3D对视频的扩展，其利用了变换域中的类似块的堆叠的稀疏表示。该扩展相当简单：从包括相邻帧的时空邻域中获取相似的2D补丁。尽管算法简单，但在去噪性能和计算复杂性之间提供了良好的折衷。在这项工作中，我们重新审视这种方法，提供一个开源的C++实现再现的结果。给出了详细的描述，并深入讨论了参数的选择。此外，我们还讨论了原算法的几个扩展：（1）多尺度实现，（2）使用3D补丁，（3）使用光流来指导补丁搜索。这些扩展允许获得甚至与最新技术水平竞争的结果。
2020-01-06 cs.CV
Fast Sublinear Sparse Representation using Shallow Tree Matching Pursuit
Rice University（莱斯大学）
使用高度过完备字典的稀疏近似是许多成像应用的最先进工具，包括去噪、超分辨率、压缩传感、光场分析和对象识别。不幸的是，这种方法的适用性是严重阻碍了稀疏近似的计算负担：这些算法是线性或超线性的数据维数和字典的大小。我们提出了一个框架，学习的层次结构的过完备字典，使稀疏表示的快速计算。我们的方法建立在基于树的最近邻匹配策略，并提出了特定领域的增强，是非常有效的图像补丁的分析。与大多数构建空间数据结构的流行方法相反，我们的方法依赖于层相对较少的浅平衡树。我们在几个应用程序上进行了大量的实验，例如图像去噪/超分辨率，压缩视频/光场传感，我们实际上实现了100- 1000倍的加速（准确度损失小于1dB）。
2014-12-01 cs.CV
Sparse Over-complete Patch Matching
Queensland University of Technology（昆士兰科技大学）
图像块匹配是识别图像上的对应块的过程，其已经被用作许多计算机视觉和图像处理任务的子例程。现有技术的块匹配技术将图像块作为卷积神经网络的输入，以提取块特征并评估它们的相似性。在本文中，我们的目的是通过观察这样一个事实，即一个稀疏的过完备表示的图像隐藏的自然视觉场景，可以利用补丁匹配的统计特性，以改善最先进的补丁匹配技术。我们提出了一个新的范例，编码图像补丁的细节，通过编码补丁，随后使用这种稀疏表示作为输入到神经网络比较补丁。由于稀疏编码基于自然图像块的生成模型，因此它可以根据组成它的基本视觉组件来表示块，从而导致从相似组件构建的块的相似稀疏代码。一旦稀疏编码的特征被提取，我们采用一个完全连接的神经网络，它捕捉特征之间的非线性关系，进行比较。我们使用流行的UBC补丁数据集的Liberty和Notredame子集评估了我们的方法，并为这些数据集设置了一个新的基准，优于所有最先进的补丁匹配技术。
2018-11-08 cs.CV
Weighted Encoding Based Image Interpolation With Nonlocal Linear Regression Model
Central South University（中南大学）
图像插值是图像超分辨率的一种特殊情况，其中低分辨率图像直接从其高分辨率对应图像进行下采样，而没有模糊和噪声。因此，超分辨率模型中采用的假设对于图像插值是无效的。为了解决这个问题，我们提出了一种新的图像插值模型的基础上稀疏表示。利用稀疏性和非局部自相似性作为正则化项，提高了插值模型的稳定性。同时，我们将非局部线性回归引入到该模型中，因为非局部相似补丁可以提供对给定补丁的更好近似。此外，我们提出了一种新的方法来学习自适应子字典在线，而不是聚类。对于每个补丁，相似的补丁被分组以学习自适应子字典，生成更稀疏和准确的表示。最后，引入加权编码以抑制拟合残差的拖尾，从而提高数据的保真度。大量的实验结果表明，我们提出的方法优于几个国家的最先进的方法在定量措施和视觉质量。
2020-03-04 cs.CV cs.LG eess.IV
A fast patch-dictionary method for whole image recovery
Rice University（莱斯大学）；University of California（加利福尼亚大学）
已经提出了用于字典学习的各种算法。在那些用于图像处理的方法中，许多使用图像块来形成字典。本文主要研究从受损的线性测量中恢复整幅图像。我们解决了一个开放的问题，表示图像重叠补丁：重叠导致过多的字典系数来确定。除了极少数例外，这个问题限制了图像补丁方法的应用程序的本地类型的任务，如去噪，修复，卡通纹理分解，超分辨率和图像去模糊，其中一个可以处理几个补丁的时间。我们的重点是全局成像任务，如压缩感知和医学图像恢复，其中整个图像被编码在一起，使得一次更新几个补丁变得不可能或非常无效。我们的策略是将稀疏恢复划分为多个子问题，每个子问题处理一个不重叠的补丁的子集，然后将子问题的结果平均以产生最终的恢复。这个简单的策略在质量和速度方面都非常有效。此外，我们加速计算的学习字典应用最近的块近似梯度方法，它不仅具有较低的每次迭代的复杂性，但也需要较少的迭代收敛，相比目前的最先进的。我们还建立了我们的算法全局收敛到一个稳定点。在合成数据上的数值实验结果表明，该算法比现有的两种方法能够恢复出更忠实的字典。结合我们的整体图像恢复和字典学习的方法，我们数值模拟图像修补，压缩感知恢复，去模糊。我们的恢复比全变分方法和基于重叠补丁的方法更忠实。
2014-08-16 cs.CV math.OC
Patchwise Joint Sparse Tracking with Occlusion Detection
Sharif University of Technology（谢里夫理工大学）
本文提出了一种鲁棒的跟踪方法来处理的挑战，如遮挡和外观变化。在这里，目标被划分为多个补丁。然后，使用由先前帧中的对应目标补丁组成的字典来对每个补丁的外观进行建模。在每一帧中，通过似然测度，在由粒子滤波器生成的一组候选者中找到目标，该似然测度被示出为与每个候选者的块重构误差的总和成比例。由于目标的外观往往在视频序列中变化缓慢，因此假设当前帧中的目标和少量先前帧的最佳候选者属于公共子空间。这是使用联合稀疏表示来强制目标和先前的最佳候选者具有共同的稀疏模式。此外，提出了一种遮挡检测方案，使用补丁重建误差和先验概率的遮挡，从自适应马尔可夫链中提取，计算每个补丁的遮挡概率。在每一帧中，当更新字典时，被遮挡的补丁被排除。在几个具有挑战性的序列上的大量实验结果表明，该方法优于最先进的跟踪器。
2014-02-05 cs.CV
Sparse Local Patch Transformer for Robust Face Alignment and Landmarks Inherent Relation Learning
University of Technology Sydney（悉尼科技大学）；Southern University of Technology and Science（南方科技大学）；CalmCar（天瞳威视）
近年来，热图回归方法在人脸配准领域占据主导地位，但它们忽略了不同特征点之间的内在联系。在本文中，我们提出了一个稀疏局部补丁Transformer（SLPT）的学习的内在关系。SLPT从局部块中生成每个单个地标的表示，并基于注意力机制通过自适应的内在关系聚合它们。基于聚合特征独立地预测每个地标的子像素坐标。此外，还引入了一个由粗到细的框架与SLPT相结合，这使得初始地标逐渐收敛到目标面部地标使用细粒度的功能，从动态调整大小的局部补丁。实验结果表明，该方法通过学习人脸特征点之间的内在联系，以较低的计算复杂性达到了最新水平。该代码可在项目网站上获得。
2022-03-26 cs.CV
Block Compressive Sensing of Image and Video with Nonlocal Lagrangian Multiplier and Patch-based Sparse Representation
Sungkyunkwan University（成均馆大学）；Linköping University（林雪平大学）；University of Münster（明斯特大学）
虽然块压缩感知（BCS）使其易于感知大尺寸的图像和视频，其恢复性能尚未显着提高，因为其恢复的图像或视频通常遭受模糊的边缘，细节丢失，和高频振荡伪影，特别是在低子速率。本文通过设计一种改进的全变分技术来解决这些问题，该技术采用多块梯度处理，去噪拉格朗日乘子和基于补丁的稀疏表示。在视频的情况下，所提出的恢复方法是能够利用空间和时间的相似性。仿真结果证实了所提出的方法的压缩感知的图像和视频的客观和主观质量方面的改进性能。
2017-03-15 cs.CV
Shapelet-based Sparse Representation for Landcover Classification of Hyperspectral Images
Institute of Geographical Sciences, Remote Sensing and Geoinformatics, Freie Universität Berlin（柏林自由大学地理科学、遥感与地理信息研究所）
本文提出了一种基于稀疏表示的分类方法与一种新的字典的建设过程。通过使用所构造的字典，可以集成关于图像的空间性质的复杂先验知识。该方法是基于这样的假设，即每个图像补丁可以分解成特征空间模式，也称为shapestra，和补丁特定的光谱信息。该方法以无监督的方式学习一组形状信息，并通过训练样本来体现光谱信息。形状和光谱信息的组合表示在一个欠完备的空间-光谱字典为每个单独的补丁，其中字典的元素被线性组合到补丁的稀疏表示。基于块的分类是通过表示误差得到的。在三个著名的高光谱图像数据集上进行了实验。他们说明，我们提出的方法显示出优越的结果相比，稀疏表示为基础的分类器，只使用有限的空间信息和行为的竞争力或优于国家的最先进的分类器，利用空间信息和核稀疏表示为基础的分类器。
2017-08-20 cs.CV
Sparse patches adversarial attacks via extrapolating point-wise information
Technion – Israel Institute of Technology（以色列理工学院）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文提出通过逐点修剪密集对抗扰动的方法，实现多个稀疏补丁位置与扰动的同时优化，并在稀疏对抗攻击多个设置中显著超越现有最先进水平。
2024-11-25 cs.CV cs.LG
Patch-Based Sparse Representation For Bacterial Detection
Heriot-Watt University（赫瑞-瓦特大学）；The University of Edinburgh（爱丁堡大学）；The Queen's Medical Research Institute（女王医学研究所）
在本文中，我们提出了一种无监督的方法，用于光学显微内镜图像中的细菌检测。这种方法将每个图像分成一组重叠的补丁，并假设观察到的强度是与背景图像结构相关的实际强度值的线性组合，被加性高斯噪声破坏，并可能被稀疏离群值项建模异常（被认为是候选细菌）。代表背景结构的实际强度项被建模为从字典中提取的几个原子的线性组合，该字典是从无细菌数据中学习的，然后在分析新图像时固定。将细菌检测问题转化为一个最小化问题，然后采用交替方向乘法（ADMM）估计未知参数。使用两个离体肺数据集进行的模拟显示出由训练有素的临床医生鉴定的细菌计数与所提出的方法的细菌计数之间的良好检测和相关性能。
2019-01-24 cs.CV
Revisiting Token Compression for Accelerating ViT-based Sparse Multi-View 3D Object Detectors
PCA Lab, School of Computer Science and Engineering, Nanjing University of Science and Technology（计算机科学与工程学院，南京理工大学PCA实验室）；PCA Lab, School of Intelligence Science and Technology, Nanjing University（智能科学与技术学院，南京大学PCA实验室）
本文提出SEPatch3D框架，通过动态调整拼接块大小和改进特征增强方法，提升基于ViT的稀疏多视角3D目标检测器的推理速度和效率，实验显示其比基线模型快57%且比当前最优方法更高效。
2026-04-16 cs.CV
Global hard thresholding algorithms for joint sparse image representation and denoising
传统上，图像的稀疏编码是通过将它们切割成小块并在给定用于每个块的预定数量的非零系数的情况下在某个字典上单独表示每个块来完成的。在缺乏一种方法来有效地分布在所有补丁的非零系数的总数（或全球预算），目前的稀疏恢复算法分布的全球预算，平等地跨越所有补丁，尽管它们之间的结构复杂性的广泛的差异。在这项工作中，我们提出了一个新的框架联合稀疏表示和恢复的所有图像补丁同时进行。我们还提出了两种新的全局硬阈值算法，基于变量分裂的概念，解决联合稀疏模型。使用合成和真实数据的实验表明，该框架的有效性稀疏图像表示和去噪任务。此外，对所提出算法的时间复杂度分析表明，这两种算法具有很高的可扩展性，有利于在大百万像素图像上使用。
2017-05-27 cs.CV cs.LG
PE-CSNet: An equivariant network architecture with learnable patch-based sparse representation
The Hong Kong Polytechnic University（香港理工大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
针对压缩感知中稀疏变换与优化设计的难题，提出PE-CSNet等变深度展开架构，结合可学习稀疏性与随机等变训练，在CS-MRI等任务上性能优于传统及现有深度展开方法
2026-08-18 cs.CV
Beyond Sparse Captions: Aligning Slide-Level Text and Patch-Level Vision in Pathology
MIT（麻省理工学院）；MGB AI Institute（MGB人工智能研究所）；Harvard University（哈佛大学）；University of Augsburg（奥格斯堡大学）
本研究针对计算病理学中视觉-语言预训练依赖稀疏描述数据集的问题，提出LIMIT方法，构建CONCH-Z模型对齐文本编码器与临床报告，在22项任务上实现零样本性能最优并缩小与大型基础模型的差距。
2026-10-16 cs.CV
Convolutional Dictionary Learning via Local Processing
Technion - Israel Institute of Technology（以色列理工学院）
卷积稀疏编码（Convolutional Sparse Coding，CSC）是信号和图像处理领域中越来越流行的模型，它解决了传统的基于块的稀疏表示的一些局限性。虽然有几个作品已经解决了这个模型下的字典学习问题，这些依赖于ADMM制定在傅立叶域中，失去了地方感和传统的基于补丁的稀疏追求的关系。最近的一项工作提出了一种新的理论分析这个全球模型，提供保证，依赖于本地化的稀疏性措施。在这里，我们扩展了这种局部-全局关系，展示了如何有效地解决卷积稀疏追踪问题和训练所涉及的滤波器，同时在图像补丁上进行局部操作。我们的方法提供了一个直观的算法，可以利用标准的稀疏表示领域的技术。所提出的方法是快速训练，简单的实施，并足够灵活，它可以很容易地部署在各种应用。我们证明了所提出的训练计划的图像修补和图像分离，同时达到国家的最先进的结果。
2017-05-09 cs.CV
High-Fidelity Point Cloud Completion with Low-Resolution Recovery and Noise-Aware Upsampling
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent America（腾讯美国）
完成无序的部分点云是一项具有挑战性的任务。现有的方法依赖于解码潜在特征来恢复完整的形状，通常会导致完成的点云过度平滑，丢失细节和噪声。我们建议先解码和细化低分辨率（低分辨率）点云，而不是解码整个形状，然后执行逐块噪声感知上采样，而不是一次内插整个稀疏点云，这往往会丢失细节。关于缺乏最初解码的低分辨率点云的细节的可能性，我们提出了一个迭代的改进，以恢复几何细节和对称化过程，以保持从输入的部分点云的可信信息。在获得稀疏完整的点云后，我们提出了一种分片上采样策略。与解码整个形状不同，基于块的上采样允许更好地恢复精细细节，然而，现有的上采样方法由于数据差异（即，这里输入稀疏数据不是来自地面实况）。因此，我们提出了一种补丁提取方法来生成训练补丁之间的稀疏和地面实况点云，和一个离群点去除步骤，以抑制噪声点从稀疏点云。结合低分辨率的恢复，我们的整个方法能够实现高保真的点云完成。提供了全面的评价，以证明所提出的方法及其各个组成部分的有效性。
2021-12-22 cs.CV
Sparse-View CT Reconstruction via Convolutional Sparse Coding
Sichuan University（四川大学）
传统的基于字典学习的CT重建方法是基于块的，并且用这些方法学习的特征通常包含相同特征的移位版本。为了解决这些问题，卷积稀疏编码（CSC）已被提出并引入各种应用。受CSC在信号处理领域的成功应用的启发，本文提出了一种基于CSC的稀疏CT重建方法。该方法直接对整幅图像进行处理，不需要像基于字典学习的方法那样将图像分割成重叠的小块，能够保持更多的细节信息，避免小块聚集带来的伪影。实验结果表明，该方法在定性和定量方面都优于现有的几种算法。
2018-10-15 cs.CV physics.med-ph
MonoPatchNeRF: Improving Neural Radiance Fields with Patch-based Monocular Guidance
Amazon Inc.（亚马逊公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出MonoPatchNeRF，通过采样图块结合单目深度与法线估计及光度一致性约束，在保持视图合成质量的同时显著提升大规模稀疏视图场景的几何精度并降低时间开销。
2024-08-22 cs.CV
Learning Bijective Surface Parameterization for Inferring Signed Distance Functions from Sparse Point Clouds with Grid Deformation
School of Software, Tsinghua University, Beijing, China（清华大学软件学院，北京，中国）；Department of Computer Science, Wayne State University, Detroit, USA（韦恩州立大学计算机科学系，底特律，美国）
提出一种动态变形网络结合双射曲面参数化和网格变形优化的方法，从稀疏点云端到端预测符号距离函数，显著优于现有方法。
2026-05-24 cs.CV
Advanced Pixel Diffusion Model with Guided Sparse Global Refinement
University of Electronic Science and Technology of China（电子科技大学）
针对现有像素扩散模型的缺陷，提出 PixSGR 框架，通过引导式稀疏全局细化实现高效高质量图像生成，在 ImageNet 上 256×256 分辨率 FID 达 1.51，512×512 分辨率达 1.60。
2026-09-02 cs.CV
Attention-Guided Patch-Wise Sparse Adversarial Attacks on Vision-Language-Action Models
Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（清华大学深圳国际研究生院）；Huazhong University of Science and Technology, Wuhan, China（华中科技大学）；Ping An Technology, Shenzhen, China（平安科技）
ADVLA通过注意力引导实现低振幅、稀疏的对抗攻击，有效削弱VLA模型的下游动作预测。
2025-11-26 cs.AI cs.CV
Sparse and redundant signal representations for x-ray computed tomography
图像模型是所有图像处理任务的核心。如果没有强大的模型，数字图像处理的巨大进步是不可能实现的，这些模型本身也随着时间的推移而发展。在过去的十年中，基于块的模型已经成为最有效的自然图像模型之一。基于块的方法在许多图像处理任务中优于其他竞争方法。这些发展是在强大的计算资源的更大可用性和对电离辐射的健康风险的日益关注鼓励对用于计算机断层摄影（CT）的图像处理算法的研究的时候出现的。本文的目的是解释补丁为基础的方法的原则，并回顾了一些最近在CT中的应用。我们回顾了基于块的图像处理的中心概念，并解释了一些最先进的算法，重点放在与CT更相关的方面。然后，我们回顾了一些最近的应用补丁为基础的方法在CT。
2019-12-06 cs.CV eess.IV
Hyper-FSAD: Training-Free and Language-Free Few-Shot Anomaly Detection via Sparse Hyper Matching
Nankai University（南开大学）；Tianjin University of Technology（天津工业大学）；Tsinghua University（清华大学）
本文提出HyperFSAD框架，通过超图推理机制实现无训练和无语言的少样本异常检测，利用稀疏超匹配和双分支图像评分提升鲁棒性，无需手工艺文本提示，在多个工业和医疗数据集上取得最佳性能。
2026-08-13 cs.CV
ScaleCert: Scalable Certified Defense against Adversarial Patches with Sparse Superficial Layers
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Cambricon Technologies（寒武纪科技）；UC Santa Barbara（加州大学圣巴巴拉分校）；Northeastern University（东北大学）；Drexel University（德雷塞尔大学）
对抗性的补丁攻击，工艺的像素在一个有限的区域的输入图像显示其强大的攻击效果，即使在物理环境中的噪声或变形。针对对抗性补丁攻击的现有认证防御在MNIST和CIFAR-10数据集等小图像上运行良好，但在ImageNet等高分辨率图像上的认证准确性非常差。迫切需要设计强大而有效的防御措施，以抵御行业级大图像中这种实际而有害的攻击。在这项工作中，我们提出了认证的防御方法，实现了高分辨率图像的高可证明的鲁棒性，并大大提高了认证防御的实际应用。我们工作的基本见解是，对抗补丁打算利用局部的表面重要神经元（SIN）来操纵预测结果。因此，我们利用基于SIN的DNN压缩技术，通过减少对抗性区域搜索开销和过滤预测噪声来显着提高认证的准确性。我们的实验结果表明，在ImageNet数据集上，认证准确率从36.3%（最先进的认证检测）提高到60.4%，这在很大程度上推动了认证防御的实际应用。
2021-11-04 cs.CR cs.CV cs.LG
Convolutional Sparse Coding for Compressed Sensing CT Reconstruction
College of Computer Science, Sichuan University（四川大学计算机学院）；Key Laboratory of High Confidence Software Technologies, Ministry of Education, Beijing, China and the School of Electronics Engineering and Computer Science, Peking University, China（北京大学电子工程与计算机科学学院）；Shanghai First-imaging Information Technology co. LTD（上海第一影像信息技术有限公司）；school of Mathematics and Computer Science, Gannan Normal University（赣南师范大学数学与计算机科学学院）；Rutgers, the State University of New Jersey（罗格斯大学（新泽西州立大学））；Department of Radiology, West China Hospital of Sichuan University（四川大学华西医院放射科）
在过去的几年中，基于字典学习（DL）的方法已成功地用于各种图像重建问题。然而，传统的基于DL的计算机断层成像（CT）重建方法是基于块的，并且忽略了重叠块中像素的一致性。此外，通过这些方法学习的特征总是包含相同特征的移位版本。近年来，卷积稀疏编码（CSC）已被开发来解决这些问题。在本文中，受CSC在信号处理领域的几个成功应用的启发，我们探讨了CSC在稀疏视图CT重建中的潜力。该方法直接对整幅图像进行处理，无需将图像分割为多个重叠的图像块，从而保持了更多的细节，避免了图像块聚集所带来的伪影。通过预先确定的滤波器，开发了一种交替方案来优化目标函数。仿真和真实CT数据进行了大量的实验，以验证所提出的方法的有效性。定性和定量的结果表明，所提出的方法实现了更好的性能比现有的几个国家的最先进的方法。
2019-03-20 cs.CV physics.med-ph
Learning a sparse database for patch-based medical image segmentation
Philips Healthcare（飞利浦医疗）；Philips Research（飞利浦研究院）；Semmelweis University（塞梅尔魏斯大学）；Queen’s University（女王大学）；South Eastern Health and Social Care Trust（东南健康与社会护理信托基金）
我们介绍了一个功能的学习最佳数据库的补丁为基础的图像分割与应用冠状动脉管腔分割冠状动脉计算机断层扫描血管造影（CCTA）数据。建议的功能包括保真度，稀疏性和鲁棒性的小变化项及其相关的权重。现有的工作通过原型选择来解决数据库优化，其旨在通过根据一组预定义的规则添加或移除原型来优化数据库。相比之下，我们将数据库优化任务制定为可以使用标准数值工具解决的能量最小化问题。我们提出的数据库优化功能的任务，优化数据库的补丁为基础的冠状动脉管腔分割。我们使用公开可用的MICCAI 2012冠状动脉管腔分割挑战数据进行的实验表明，使用所提出的方法优化数据库可将数据库大小减少96%，同时保持相同水平的管腔分割准确度。此外，我们使用132处（76处阻塞性）冠状动脉病变的训练集（以侵入性测量的血流储备分数作为参考），证明优化数据库可提高基于CCTA的血流储备分数的特异性（所有病变为0.73 vs 0.7，阻塞性病变为0.68 vs 0.65）。
2019-06-25 cs.CV cs.LG eess.IV
Co-Sparse Textural Similarity for Image Segmentation
Technische Universität München（慕尼黑工业大学）
我们提出了一种基于纹理和颜色信息的自然图像分割算法，该算法利用了凸多标签优化框架内的图像分割的共稀疏分析模型。作为该方法的一个关键组成部分，我们引入了一种新的纹理相似性度量，它建立在图像补丁的共同稀疏表示。我们提出了一种贝叶斯方法来合并纹理相似性与颜色和位置的信息。结合最近开发的凸多标签优化方法，这导致一个有效的算法，监督和无监督分割，这是很容易并行化的图形硬件。该方法在无监督分割中提供了有竞争力的结果，并在格拉茨基准上优于最先进的交互式分割方法。
2013-12-17 cs.CV
What Memory Composition Does Not Tell Us About Anomaly Detection
RatelSoft；Guangdong Provincial Laboratory of Traditional Chinese Medicine（广东省中医药实验室）
该研究针对基于记忆的异常检测器，对比不同覆盖选择器，提出CLEANCON方法可降低记忆污染并提升P-AP，还发现记忆污染程度与P-AP排序无对应关系。
2026-08-25 cs.CV
Sparse Generative Adversarial Network
North Carolina State University（北卡罗来纳州立大学）
我们提出了一种新的生成对抗网络（GANs）方法，以提高性能，并对其所谓的和公认的模式坍塌具有额外的鲁棒性。我们首先将所需数据映射到基于帧的空间以进行稀疏表示，以在学习结构之前消除对小支持特征的任何限制。为此，我们首先将图像划分为多个补丁，并修改生成网络的角色，从一次生成整个图像，到为每个图像补丁创建稀疏表示向量。我们通过将生成的稀疏表示乘以预先训练的字典并组装生成的补丁来合成整个图像。这种方法将生成器的输出限制为特定的结构，通过将子空间联合（UoS）模型施加到原始训练数据来获得，从而产生更逼真的图像，同时保持期望的多样性。为了进一步规范GANs生成高质量图像并避免臭名昭著的模式崩溃问题，我们在GANs中引入了第三个参与者，称为重建器。该播放器利用自动编码方案来确保：首先，生成器中的输入-输出关系是单射的，其次，每个真实图像对应于一些输入噪声。我们提出了一些实验，其中所提出的算法显示出显着更高的初始分数相比，等效的传统GANs。
2019-08-20 cs.CV cs.LG eess.IV
Patch Rebirth: Fast and Transferable Model Inversion of Vision Transformers
Inha University（inha大学）
针对ViT模型反演计算昂贵且SMI过早丢弃补丁损害知识迁移的问题，本文提出PRI，通过增量分离重要补丁并让其余补丁持续演化，实现最高10倍加速并保持DMI性能。
2026-10-01 cs.AI cs.CV
SASFormer: Transformers for Sparsely Annotated Semantic Segmentation
Zhejiang Lab（之江实验室）；Zhejiang University（浙江大学）
近年来，基于稀疏标注的语义分割得到了发展。它只标记图像中每个对象的一部分，其余部分未标记。大多数现有的方法都很耗时，往往需要多阶段的培训战略。在这项工作中，我们提出了一个简单而有效的稀疏注释的语义分割框架的基础上segformer，称为SASFormer，取得了显着的性能。具体来说，该框架首先生成分层补丁注意力图，然后将其乘以网络预测，以产生由有效标签分隔的相关区域。此外，我们还引入了亲和力损失，以确保相关结果和网络预测之间的特征之间的一致性。大量的实验表明，我们提出的方法优于现有的方法，并实现了尖端的性能。源代码可从\url{https://github.com/su-hui-zz/SASFormer}获得。
2023-02-25 cs.CV
Fast Inference in Sparse Coding Algorithms with Applications to Object Recognition
Courant Institute of Mathematical Sciences（柯朗数学科学研究所）；New York University（纽约大学）
自适应稀疏编码方法学习一组可能过完备的基函数，从而可以通过线性组合这些基函数的一个小子集来重建自然图像块。由于计算稀疏表示所需的优化算法的高昂成本，这些方法对视觉对象识别任务的适用性受到限制。在这项工作中，我们提出了一个简单而有效的算法来学习基函数。经过训练后，该模型还提供了一个快速平滑的近似器来实现最佳表示，在视觉对象识别任务中实现了比精确稀疏编码算法更好的准确性。
2010-10-18 cs.CV cs.LG
RaP: Redundancy-aware Video-language Pre-training for Text-Video Retrieval
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
视频语言预训练方法主要采用稀疏采样技术来减轻视频的时间冗余。稀疏采样虽然有效，但仍然存在模态间冗余：视觉冗余和文本冗余。与高度概括的文本相比，稀疏采样帧通常包含与文本无关的部分，称为视觉冗余。稀疏采样也可能错过与某些文本部分相对应的重要帧，从而导致文本冗余。模态间冗余导致视频和文本信息的不匹配，阻碍了模型更好地学习跨模态的共享语义。为了缓解这一问题，我们提出了冗余感知的视频语言预训练。通过计算跨模态最小相异度，设计了视频补丁和文本标记的冗余度量。然后，我们惩罚高冗余的视频补丁和文本令牌，通过一个建议的冗余意识对比学习。我们在四个基准数据集MSRVTT，MSVD，DiDeMo和LSMDC上评估了我们的方法，与以前的最先进的结果相比，取得了显着的改进。我们的代码可从https://github.com/caskcsg/VLP/tree/main/RaP获得。
2022-10-13 cs.AI cs.CV
Rethinking the CSC Model for Natural Images
Technion（以色列理工学院）
当正则化信号和图像处理中的逆问题时，经常使用相对于过完备字典的稀疏表示。近年来，卷积稀疏编码（CSC）模型，其中的字典由移位不变的过滤器，得到了新的兴趣。虽然该模型已成功地应用于一些图像处理问题，但在去噪等简单任务上仍落后于传统的基于块的方法。在这项工作中，我们提供了新的见解CSC模型和它的能力，以代表自然图像，并建议贝叶斯连接这个模型和它的补丁为基础的祖先。有了这些观察，我们提出了一种新的前馈网络，遵循MMSE近似过程的CSC模型，使用跨步卷积。这种监督架构的性能被证明是与最先进的方法，同时使用少得多的参数。
2019-09-12 cs.CV eess.IV
ParFormer: A Vision Transformer with Parallel Mixer and Sparse Channel Attention Patch Embedding
National Formosa University（国立虎尾科技大学）；National Taipei University（国立台北大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；National Taiwan University of Science and Technology（台湾科技大学）；University of Muhammadiyah Malang（玛琅穆罕默德大学）
本文提出 ParFormer 视觉 Transformer，利用 Parallel Mixer 与 SCAPE 降低计算冗余，在 ImageNet-1K、COCO 及边缘设备上实现高准确率、高吞吐和可扩展部署。
2024-10-02 cs.CV cs.LG
Fast Rotational Sparse Coding
Michigan State University（密歇根州立大学）；EPFL（洛桑联邦理工学院）；University of Applied Sciences Western Switzerland (HES-SO)（瑞士西部应用科学大学）
我们提出了一种旋转稀疏编码算法，以及一个有效的实现，使用可操纵性。稀疏编码（也称为字典学习）是图像处理中的一种重要技术，在逆问题、压缩和分析中很有用;然而，通常的公式未能捕获图像结构的一个重要方面：图像由构建块形成，例如，出现在不同位置、方向和比例上的边、线或点。稀疏编码问题可以重新表述，以显式地考虑这些变换，但代价是增加计算。在这项工作中，我们提出了一种算法的旋转版本的稀疏编码，是基于K-SVD与额外的旋转操作。然后，我们提出了一种方法来加速这些旋转通过学习字典在一个可操纵的基础。我们的实验上的补丁编码和纹理分类表明，所提出的算法是足够快的实际使用和媲美标准稀疏编码。
2020-01-29 cs.CV eess.IV
Convolution-Free Medical Image Segmentation using Transformers
Harvard Medical School（哈佛医学院）
与计算机视觉中的其他应用一样，医学图像分割是使用依赖卷积运算作为主要构建块的深度学习模型最成功地解决的。卷积具有重要的性质，如稀疏交互，权重共享和平移等方差。这些属性为卷积神经网络（CNN）提供了一个强大而有用的视觉任务归纳偏差。在这项工作中，我们证明了一种不同的方法，完全基于相邻图像块之间的自我注意力，没有任何卷积运算，可以实现竞争力或更好的结果。给定一个3D图像块，我们的网络将其划分为$n^3$ 3D补丁，其中$n=3 \text{ or } 5$并为每个补丁计算1D嵌入。该网络基于这些块嵌入之间的自关注来预测块的中心块的分割图。我们表明，所提出的模型可以在三个数据集上实现比最先进的CNN更好的分割精度。我们还提出了在大型未标记图像语料库上预训练该模型的方法。我们的实验表明，通过预训练，当标记的训练数据很小时，我们提出的网络相对于CNN的优势可能很明显。
2022-04-03 cs.CV eess.IV
