Sparse Coding on Symmetric Positive Definite Manifolds using Bregman Divergences
College of Engineering and Computer Science, Australian National University（澳大利亚国立大学工程与计算机科学学院）；NICTA（澳大利亚国家信息与通信技术研究院）；University of Queensland（昆士兰大学）；Queensland University of Technology（昆士兰科技大学）
介绍了对称正定矩阵的稀疏编码和字典学习，这两种方法在机器学习、计算机视觉等领域有着广泛的应用。与传统的稀疏编码方案，工作在向量空间中，在本文中，我们讨论如何SPD矩阵可以描述的字典原子，其中的原子也是SPD矩阵的稀疏组合。我们建议通过两种类型的Bregman矩阵发散将SPD矩阵的空间嵌入到Hilbert空间中来寻求稀疏编码。这不仅导致执行稀疏编码的有效方式，而且还导致用于字典学习的在线和迭代方案。我们将所提出的方法应用到几个计算机视觉任务中，图像由区域协方差矩阵表示。我们提出的算法优于国家的最先进的方法在广泛的分类任务，包括人脸识别，动作识别，材料分类和纹理分类。
2014-08-30 cs.CV
A Benchmark for Sparse Coding: When Group Sparsity Meets Rank Minimization
University of Electronic Science and Technology of China（电子科技大学）；Nokia Bell Labs（诺基亚贝尔实验室）；Nanyang Technological University（南洋理工大学）；University of Macau（澳门大学）；Nanjing Institute of Technology（南京工程学院）
稀疏编码在各种图像处理任务中取得了巨大的成功。然而，由于稀疏编码本质上是一个NP难问题，因此缺少一个衡量图像块/组稀疏性的基准。这项工作试图从秩最小化的角度来填补这一空白。更多详情请看稿件...
2020-02-05 cs.CV
Supervised Deep Sparse Coding Networks
The Johns Hopkins University（约翰霍普金斯大学）；West Virginia University（西弗吉尼亚大学）
在本文中，我们描述了深度稀疏编码网络（SCN），这是一种新型的深度网络，它使用非负稀疏编码对中间表示进行编码。SCN建立在多个级联瓶颈模块上，其中每个模块由两个稀疏编码层组成，所述两个稀疏编码层具有相对宽和窄的字典，所述字典分别专门用于产生用于聚类的高维判别特征和低维表示。在训练过程中，使用基于多级优化的端到端监督学习算法优化字典和正则化参数。在几个流行的基准测试数据集上验证了具有七个瓶颈模块的SCN的有效性。值得注意的是，我们的SCN在CIFAR-10和CIFAR-100上分别达到了5.81%和19.93%的分类出错率。
2017-05-23 cs.CV
Supervised Convolutional Sparse Coding
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
卷积稀疏编码（CSC）是一种成熟的图像表示模型，特别适用于图像复原任务。在这项工作中，我们通过提出一种有监督的卷积稀疏编码方法来扩展该模型的适用性，该方法旨在学习判别字典而不是纯粹的重建字典。我们将监督正则化项纳入传统的无监督CSC目标，以鼓励最终的字典元素是有区别的。实验结果表明，使用监督卷积学习有两个关键优势。首先，我们在字典中学习更多语义相关的过滤器，其次，我们在看不见的数据上实现了改进的图像重建。
2018-04-08 cs.CV
Optimization Methods for Convolutional Sparse Coding
The Queensland University of Technology（昆士兰科技大学）；Carnegie Mellon University（卡内基梅隆大学）
稀疏和卷积约束形成了物理过程中产生的许多优化问题的自然先验。检测语音和音乐段落中的主题，超分辨率图像，压缩视频和重建谐波运动都可以利用卷积引入的冗余。然而，解决涉及稀疏和卷积约束的问题仍然是一个困难的计算问题。在本文中，我们提出了一个一致的框架中的卷积稀疏编码的概述。该目标涉及迭代优化基函数的卷积最小二乘项，然后是稀疏系数的L1正则化最小二乘项。我们讨论了一系列用于解决卷积稀疏编码目标的优化方法，以及使每种方法适用于不同应用的属性。特别是，我们集中在计算复杂性，速度ε收敛，内存使用，和隐含的边界条件的影响。我们提出了一系列涵盖不同信号和应用领域的示例，以说明卷积稀疏编码的普遍适用性以及可用优化方法的有效性。
2014-06-10 cs.CV
Sturm: Sparse Tubal-Regularized Multilinear Regression for fMRI
University of Sheffield（谢菲尔德大学）；Hong Kong Baptist University（香港浸会大学）
虽然功能磁共振成像（fMRI）是重要的医疗保健/神经科学应用，它是具有挑战性的分类或解释，由于其多维结构，高维度，和少量的样本。最近的稀疏多元线性回归方法的基础上张量是新兴的有前途的解决方案，功能磁共振成像，但现有的作品依赖于展开/折叠操作和张量秩松弛有限的紧密性。新提出的张量奇异值分解（t-SVD）揭示了新的方向。在这项工作中，我们研究了稀疏多元线性回归的t-SVD，并提出了一个稀疏管正则化多元线性回归（Sturm）方法的功能磁共振成像。具体来说，Sturm模型使用两个正则化项执行多元线性回归：基于t-SVD的tubal张量核范数和标准L1范数。在乘子框架的交替方向法下，我们进一步推导了该算法。我们进行了四个分类问题的实验，包括疾病诊断和基于任务的功能磁共振成像的神经解码的静息状态的功能磁共振成像。结果表明，在分类功能磁共振成像中，Sturm仅使用少量的体素的优越性能。
2018-12-04 cs.CV
Image Compression: Sparse Coding vs. Bottleneck Autoencoders
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；New Mexico Consortium（新墨西哥联盟）；Southern Illinois University Carbondale（南伊利诺伊大学卡本代尔分校）
瓶颈自动编码器作为图像压缩任务的解决方案已经被积极研究。然而，我们观察到瓶颈自动编码器产生主观低质量的重建图像。在这项工作中，我们探讨了稀疏编码的能力，以提高重建图像的质量相同程度的压缩。我们观察到，稀疏图像压缩产生视觉上优越的重建图像，并产生更高的值的像素重建质量的措施（PSNR和SSIM）相比，瓶颈自动编码器。此外，我们发现，使用与人类感知更好相关的替代度量，例如特征感知损失和分类准确性，稀疏图像压缩分数分别比瓶颈自动编码器高出18.06%和2.7%。虽然计算更密集，我们发现，稀疏编码是优于瓶颈自动编码器相同程度的压缩。
2018-01-23 cs.CV
PolSAR Image Classification based on Polarimetric Scattering Coding and Sparse Support Matrix Machine
Xidian University（西安电子科技大学）
POLSAR图像比光学图像具有优势，因为它可以独立于云层覆盖和太阳光照获得。极化SAR图像分类是极化SAR图像解译的一个热点和有价值的研究课题。提出了一种基于极化散射编码和稀疏支持矩阵机的POLSAR图像分类方法。首先对原始极化SAR数据进行极化散射编码，得到一个实值矩阵，称为极化散射矩阵，它是一个稀疏矩阵。其次，利用稀疏支持矩阵机对稀疏极化散射矩阵进行分类，得到分类图。这两个步骤的结合充分考虑了POLSAR的特点。实验结果表明，该方法能取得较好的分类效果，是一种有效的分类方法。
2019-06-17 cs.CV
SAHDL: Sparse Attention Hypergraph Regularized Dictionary Learning
China University of Petroleum (East China)（中国石油大学（华东））
近年来，注意力机制对基于超图的神经网络有着重要的贡献。然而，这些方法随着网络传播而更新注意力权重。也就是说，这种类型的注意力机制只适用于基于深度学习的方法，而不适用于传统的机器学习方法。本文提出了一种基于超图的稀疏注意力机制来解决这个问题，并将其嵌入到字典学习中。更具体地说，我们首先构建一个稀疏的注意力超图，资产注意力权重的样本采用$\ell_1$ -范数稀疏正则化挖掘样本特征之间的高阶关系。然后，我们引入了超图拉普拉斯算子来保持字典学习中子空间变换的局部结构。此外，我们将判别信息融入到超图中，作为样本聚集的指导。与以前的工作不同，我们的方法独立更新注意力权重，不依赖于深度网络。我们证明了我们的方法在四个基准数据集上的有效性。
2020-10-23 cs.CV
Riemannian Dictionary Learning and Sparse Coding for Positive Definite Matrices
ARC Centre of Excellence for Robotic Vision, Australian National University（澳大利亚国立大学ARC机器人视觉卓越中心）；Massachusetts Institute of Technology（麻省理工学院）
编码为对称正定（SPD）矩阵的数据经常出现在计算机视觉和机器学习的许多领域。虽然这些矩阵形成了对称矩阵的欧几里得空间的一个开子集，但通过非欧几里得黎曼几何的镜头来观察它们往往更适合于捕捉几个理想的数据属性。然而，在这样的几何结构内制定经典的机器学习算法通常是不平凡的并且计算上昂贵。受字典学习和向量值数据稀疏编码的巨大成功的启发，本文的目标是通过黎曼几何方法将SPD矩阵形式的数据表示为来自学习字典的SPD原子的稀疏圆锥组合。为此，我们制定了一个新的黎曼优化目标的字典学习和稀疏编码的表示损失的特点是通过仿射不变黎曼度量。我们还提出了一个计算简单的算法来优化我们的模型。几个计算机视觉数据集上的实验表明，使用我们的方法相比，稀疏编码通过替代非黎曼公式具有优异的分类和检索性能。
2015-12-17 cs.CV
Fast Convolutional Sparse Coding in the Dual Domain
King Abdullah University of Science and Technology (KAUST)（沙特国王 Abdullah 科技大学（KAUST））
卷积稀疏编码（CSC）是从图像和视频压缩到深度学习的许多计算机视觉应用的重要构建块。我们提出了两个贡献的国家的最先进的CSC。首先，我们提出了一个新的优化框架，在对偶域中解决问题，从而大大加快了计算速度。其次，我们将原始公式扩展到更高的维度，以便处理更广泛的输入，例如RGB图像和视频。我们的研究结果显示，与当前最先进的CSC求解器相比，速度提高了20倍。
2018-04-08 cs.CV
Restoring STM images via Sparse Coding: noise and artifact removal
在这篇文章中，我们提出了一种去噪算法，以提高扫描隧道显微镜（STM）图像的解释和质量。鉴于STM图像的高水平的自相似性，我们提出了一个去噪算法，通过重新制定的真实估计问题作为一个稀疏回归，通常被称为稀疏编码。我们引入修改的算法，以应付存在的文物，主要是辍学，出现在一个结构化的方式作为连续的线段上的扫描方向。由此产生的算法将伪影视为缺失数据，并且估计值优于通过局部滤波来替换离群值的那些算法。我们提供Matlab和Gwendion的代码实现。
2016-10-11 cs.CV
Efficient Two-Dimensional Sparse Coding Using Tensor-Linear Combination
Shanghai Jiao Tong University（上海交通大学）；Columbia University（哥伦比亚大学）
稀疏编码（SC）是一种自动特征提取和选择技术，广泛应用于无监督学习。然而，传统的SC矢量化的输入图像，这打破了局部邻近的像素和破坏的基本对象结构的图像。在本文中，我们提出了一种新的二维的【形】稀疏编码（2DSC）计划，表示输入图像的张量线性组合下的一种新的代数框架。2DSC学习更简洁的字典，因为它使用循环卷积算子，因为传统SC学习的原子的移位版本被视为相同的版本。我们应用2DSC自然图像，并证明2DSC返回有意义的字典大补丁。此外，对于多光谱图像去噪，所提出的2DSC降低了计算成本，与最先进的算法相比，具有竞争力的性能。
2017-03-28 cs.CV
A Two-Layer Local Constrained Sparse Coding Method for Fine-Grained Visual Categorization
South China University of Technology（华南理工大学）
细粒度类别由于类间的相似性和类内的多样性，比一般类别更难区分。因此，细粒度视觉分类（FGVC）被认为是计算机视觉的挑战性问题之一。本文提出了一种新的基于两层局部约束稀疏编码结构的特征学习框架。该算法采用两层结构学习中间层特征，并引入局部约束项保证编码系数的局部光滑性。为了提取更多的鉴别信息，局部方向直方图代替原始像素作为稀疏编码的输入。此外，一个快速的字典更新过程，推导出进一步提高训练速度。两个实验结果表明，我们的方法达到85.29%的准确率在牛津102花数据集和67.8%的准确率在CUB-200-2011鸟数据集，我们的框架的性能是具有很强的竞争力，与现有的文献。
2015-05-11 cs.CV
Two-layer Lossless HDR Coding considering Histogram Sparseness with Backward Compatibility to JPEG
Takushoku University（拓殖大学）；Tokyo Metropolitan College of Industrial Technology（东京都立产业技术高等专门学校）；Tokyo Metropolitan University（东京都立大学）
本文提出了一种基于直方图打包技术的两层编码方法，该方法具有对传统JPEG的向后兼容性。作为HDR图像压缩的国际标准，JPEG XT采用两层编码方案，以向后兼容传统JPEG。然而，这种两层编码结构并没有给出比其他现有的用于HDR图像的单层编码方法更好的无损性能。此外，JPEG XT在无损编码参数的确定上存在问题;找到适当的参数值组合对于实现良好的无损性能是必要的。讨论了HDR图像的直方图稀疏性，指出考虑直方图稀疏性的直方图填充技术能够提高HDR图像的无损压缩性能，并提出了一种新的基于直方图填充技术的两层编码方法。实验结果表明，该方法不仅具有比JPEG XT更好的无损压缩性能，而且不需要确定与图像相关的参数值，具有与传统JPEG标准的向后兼容性。
2018-06-28 cs.CV
Correlation Preserving Sparse Coding Over Multi-level Dictionaries for Image Denoising
National Engineering Laboratory for Video Technology, Peking University（北京大学视频技术国家工程实验室）
本文提出了一种基于相关保持稀疏编码的图像去噪方法。由于基集之间的不稳定和不可靠的相关性会限制字典驱动去噪方法的性能，因此在编码过程中采用了两种有效的正则化策略。具体地说，基于图的正则化器是建立在保持全局相似性相关，它可以自适应地捕获的几何结构和区别性特征的纹理补丁。特别地，图中的边权重通过寻求非负低秩构造来获得。此外，鲁棒的局部约束编码不仅可以自动保持空间邻域信息，而且可以在学习过完备字典时保持噪声块中存在的内部一致性。实验结果表明，我们提出的方法达到了最先进的去噪性能的PSNR和主观视觉质量。
2016-12-23 cs.CV
Group Sparse Coding for Image Denoising
The Australian National University（澳大利亚国立大学）
GSR [3]中的组稀疏表示在图像去模糊和图像修补方面取得了很好的效果，其成功的主要原因是利用了自然图像块之间的稀疏性和非局部自相似性（NSS），并解决了正则化优化问题。然而，直接自适应GSR[3]的图像去噪方法效果不稳定且不令人满意，为了克服这些问题，本文提出了一种渐进式的自适应GSR [3]模型的图像去噪算法，实验表明该算法的性能优于一些现有的方法。
2022-12-22 cs.CV
Joint group and residual sparse coding for image compressive sensing
Xidian University（西安电子科技大学）
非局部自相似性和群稀疏性在图像压缩感知中得到了广泛的应用。然而，当采样率较低时，退化图像的内部先验信息可能不足以进行精确恢复，导致图像边缘和细节的丢失。本文提出了一种用于压缩感知图像恢复的联合分组和残差稀疏编码方法（JGRSC-CS）。在JGRSC-CS算法中，将面片组作为稀疏编码的基本单元，同时使用两个字典（即内部字典和外部字典）对每个面片组进行稀疏表示。内部自适应字典用于去除伪影，外部高斯混合模型（GMM）字典，从干净的训练图像中学习，用于增强细节和纹理。为了提高算法的有效性和鲁棒性，采用分裂Bregman方法重建整幅图像。实验结果表明，JGRSC-CS算法在峰值信噪比（PSNR）和视觉质量上都优于现有的最先进的方法。
2019-01-23 cs.CV
From biological vision to unsupervised hierarchical sparse coding
Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Inst Neurosci Timone（蒂莫内神经科学研究所）；ISM（马赛运动科学研究所）
神经细胞之间连接的形成基本上是从无监督学习过程中出现的。例如，在哺乳动物初级视觉皮层（V1）的发育过程中，我们观察到对局部和定向特征有选择性的细胞的出现。这导致区域V1中视网膜图像的基于粗略轮廓的表示的发展。我们提出了一个生物模型的形成沿丘脑-皮质通路的这种表示。为了实现这一目标，我们复制了由Michael Elad小组开发的多层卷积稀疏编码（ML-CSC）算法。
2018-12-04 cs.CV
Sparse Coding with Fast Image Alignment via Large Displacement Optical Flow
Johns Hopkins University（约翰斯·霍普金斯大学）；West Virginia University（西弗吉尼亚大学）
基于稀疏表示的分类器在图像分类任务中表现出出色的准确性和鲁棒性，即使存在强烈的噪声和遮挡。然而，已经发现，当测试图像不与字典原子对齐或字典原子本身不彼此对齐时，性能显著降低，在这种情况下，稀疏线性表示假设失败。在本文中，有训练和测试图像错位，我们引入了一种新的稀疏编码框架，能够有效地适应字典原子的测试图像通过大位移光流。在该算法中，每个字典原子自动对齐输入图像，然后使用自适应字典原子恢复稀疏代码。一个相应的监督字典学习算法也提出了框架。数字识别实验结果验证了该算法的有效性和鲁棒性。
2015-12-21 cs.CV
Dictionary Learning and Sparse Coding for Third-order Super-symmetric Tensors
Inria（法国国家信息与自动化研究所）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Australian National University（澳大利亚国立大学）
超对称张量--散布矩阵的高阶扩展--在机器学习和计算机视觉中越来越受欢迎，用于建模数据统计、同现，甚至作为视觉描述符。然而，这些张量的大小在数据维度上是指数级的，这是一个值得关注的问题。本文在字典学习和稀疏编码的背景下研究了三阶超对称张量描述子。我们的目标是近似这些张量作为稀疏圆锥组合的原子从一个学习的字典，其中每个原子是一个对称的半正定矩阵。除了这个框架提供的张量压缩的显着好处，我们的实验表明，该方案产生的稀疏系数导致更好的高维数据的聚合，并展示了两个常见的计算机视觉任务相比，最先进的优越性能。
2015-09-09 cs.CV
Robust Scene Text Recognition Using Sparse Coding based Features
Xiamen University（厦门大学）；University of Waterloo（滑铁卢大学）；The Hong Kong Polytechnic University（香港理工大学）
在本文中，我们提出了一种有效的场景文本识别方法，使用稀疏编码的基础上的功能，称为稀疏编码直方图（HSC）功能。对于字符检测，我们使用的HSC功能，而不是使用直方图的方向一致性（HOG）功能。HSC特征是通过使用K-SVD从数据中学习的字典计算稀疏代码，并聚合每个像素的稀疏代码以形成局部直方图来提取的。对于单词识别，我们整合了多个线索，包括字符检测分数和几何背景中的目标函数。通过搜索目标函数最大值所对应的词来获得最终的识别结果。目标函数中的参数使用最小分类误差（MCE）训练方法来学习。在几个具有挑战性的数据集上的实验表明，所提出的基于HSC的场景文本识别方法明显优于基于HOG的方法，并且优于大多数最先进的方法。
2015-12-29 cs.CV
Scalable Online Convolutional Sparse Coding
Hong Kong University of Science and Technology（香港科技大学）；University of Macau（澳门大学）
卷积稀疏编码（CSC）通过从数据中学习平移不变字典来改进稀疏编码。然而，现有的CSC算法在批处理模式下操作，并且在大型数据集上在空间和时间方面都是昂贵的。在本文中，我们通过使用在线学习来缓解这些问题。关键是重新制定的CSC目标，使卷积可以很容易地处理在频域和更小的历史矩阵是必要的。我们使用交替方向的乘法器（ADMM）来解决由此产生的优化问题和ADMM子问题有效率的封闭形式的解决方案。理论分析表明，学习字典收敛到一个稳定点的优化问题。大量的实验表明，该方法收敛速度快，重建效果好。此外，虽然现有的CSC算法只能在少量图像上运行，但所提出的方法可以处理至少十倍以上的图像。
2017-11-02 cs.CV
Image Super-Resolution via RL-CSC: When Residual Learning Meets Convolutional Sparse Coding
School of Electronic and Information, Wuhan University（武汉大学电子信息学院）
结合残差学习和卷积稀疏编码的优点，提出了一种简单有效的单幅图像超分辨率（SISR）模型。我们的模型的灵感来自学习迭代收缩阈值算法（LISTA）。我们将LISTA扩展到其卷积版本，并通过严格遵循卷积形式构建模型的主要部分，这提高了网络的可解释性。具体而言，输入特征图的卷积稀疏编码以递归方式学习，并且可以从这些CSC中恢复高频信息。更重要的是，当网络深入时，应用残差学习来减轻训练难度。在基准数据集上进行的大量实验证明了我们方法的有效性。RL-CSC（30层）优于几种最新的最先进技术，例如，DRRN（52层）和MemNet（80层）在准确性和视觉质量方面都有很大的提高。代码和更多结果可在https://github.com/axzml/RL-CSC上获得。
2018-12-31 cs.CV
Fast approximations to structured sparse coding and applications to object classification
我们描述了一种快速近似稀疏编码的方法。输入空间被二进制决策树细分，并且我们同时学习字典并为树的每个叶子分配允许的字典元素。我们存储一个查找表，其中包含每个节点的赋值和伪逆，允许非常快速的推理。本文给出了一个学习树、字典和字典元素赋值的算法，并在描述这个算法的过程中，讨论了群结构稀疏建模中更一般的群学习问题。我们表明，我们的方法通过在\cite{lazebnik06,yang-cvpr-09}的对象识别框架中使用它来创建良好的稀疏表示。实现我们自己的SIFT描述符的快速版本，整个系统在具有四核CPU的笔记本电脑上以每秒20帧的速度运行$321 \times 481$大小的图像，同时在加州理工学院101和15场景基准测试中牺牲很少的准确性。
2012-02-28 cs.CV
Linear Spatial Pyramid Matching Using Non-convex and non-negative Sparse Coding for Image Classification
Center for Information in BioMedicine（生物医学信息中心）；China Center for Applied Mathematics（中国应用数学中心）
近年来，稀疏编码在图像分类中取得了巨大的成功，这主要是由于它能够结合图像表示的稀疏性。本文提出了一种基于线性空间金字塔匹配（SPM）和尺度不变特征变换（SIFT）描述子的稀疏编码模型。新颖之处在于同时将非凸和非负特征加入到稀疏编码模型中。我们的数值实验表明，使用非凸和非负稀疏编码的改进方法优于原始的ScSPM[1]在几个典型的数据库。
2015-04-27 cs.CV cs.LG
Non-negative sparse coding
非负稀疏编码是一种将多变量数据分解为非负稀疏分量的方法。在本文中，我们简要地描述了这种类型的数据表示背后的动机及其与标准稀疏编码和非负矩阵分解的关系。然后，我们给出了一个简单而有效的乘法算法找到最佳值的隐藏组件。此外，我们还展示了如何从观测数据中学习基向量。仿真结果表明了该方法的有效性。
2002-02-11 cs.CV cs.NE
Efficient ADMM-based Algorithms for Convolutional Sparse Coding
Aalto University（阿尔托大学）
卷积稀疏编码通过引入全局平移不变模型来改进标准稀疏近似。最有效的卷积稀疏编码方法是基于乘法器的交替方向方法和卷积定理。这些方法之间唯一的主要区别是它们如何处理卷积最小二乘拟合子问题。这封信提出了一个解决这个子问题，提高了效率的国家的最先进的算法。我们还使用相同的方法来开发一种有效的卷积字典学习方法。此外，我们提出了一种新的卷积稀疏编码算法的近似误差的约束。
2021-09-07 cs.CV cs.LG
Tree structured sparse coding on cubes
City College of New York（纽约城市学院）
二进制立方体上的树结构稀疏编码的简要描述。
2013-01-16 cs.CV cs.IT math.IT
Cross-Domain Sparse Coding
University at Buffalo, The State University of New York（纽约州立大学布法罗分校）；Nanjing University（南京大学）
稀疏编码作为一种有效的数据表示方法已经显示出其强大的功能。然而，到目前为止，所有的稀疏编码方法都局限于单域学习问题。本文将稀疏编码扩展到跨域学习问题，试图从一个源域学习到一个分布显著不同的目标域。我们采用最大平均离散度（MMD）准则来减少稀疏码的跨域分布差异，并通过来自两个域的样本的类标签来正则化稀疏码，以增加区分能力。在照片和油画领域的图像分类和多用户垃圾邮件检测这两个具有挑战性的任务上，所提出的跨域稀疏编码算法取得了令人鼓舞的实验结果，显示了该方法相对于其他跨域数据表示方法的优势。
2013-11-27 cs.CV stat.ML
Fast Rotational Sparse Coding
Michigan State University（密歇根州立大学）；EPFL（洛桑联邦理工学院）；University of Applied Sciences Western Switzerland (HES-SO)（瑞士西部应用科学大学）
我们提出了一种旋转稀疏编码算法，以及一个有效的实现，使用可操纵性。稀疏编码（也称为字典学习）是图像处理中的一种重要技术，在逆问题、压缩和分析中很有用;然而，通常的公式未能捕获图像结构的一个重要方面：图像由构建块形成，例如，出现在不同位置、方向和比例上的边、线或点。稀疏编码问题可以重新表述，以显式地考虑这些变换，但代价是增加计算。在这项工作中，我们提出了一种算法的旋转版本的稀疏编码，是基于K-SVD与额外的旋转操作。然后，我们提出了一种方法来加速这些旋转通过学习字典在一个可操纵的基础。我们的实验上的补丁编码和纹理分类表明，所提出的算法是足够快的实际使用和媲美标准稀疏编码。
2020-01-29 cs.CV eess.IV
Inference via Sparse Coding in a Hierarchical Vision Model
University of Miami（迈阿密大学）；University of Kentucky（肯塔基大学）
稀疏编码由于其计算优势和与生物学的联系而被纳入视觉皮层模型。但是稀疏度水平如何有助于视觉任务的性能还没有得到很好的理解。在这项工作中，稀疏编码已被集成到现有的分层V2模型中（Hosoya和Hyvärinen，2015），但用显式稀疏编码取代其独立分量分析（ICA），其中稀疏度可以控制。经过训练后，具有较高稀疏度的稀疏编码基函数类似于不同的结构，如曲线和角点。通过图像分类任务评估模型的贡献，特别是与中级视觉相关的任务，包括图形-背景分类、纹理分类和两条线刺激之间的角度预测。此外，与已经在V2中报道的纹理敏感性测量（Freeman等人，2013），以及删除区域推断任务。实验结果表明，虽然稀疏编码在图像分类方面的表现不如ICA，但只有稀疏编码能够更好地匹配V2的纹理敏感度水平并推断删除的图像区域，这两者都是通过增加稀疏编码中的稀疏度来实现的。更高程度的稀疏性允许在更大的删除图像区域上进行推断。这里描述了在稀疏编码中允许这种推理能力的机制。
2022-01-16 cs.CV cs.LG
Exploitation of Image Statistics with Sparse Coding in the Case of Stereo Vision
University of Tübingen（图宾根大学）；Mercedes-Benz AG（梅赛德斯-奔驰股份公司）
稀疏编码算法已被用作哺乳动物视觉早期处理的模型。它已被假设，大脑使用稀疏编码，以利用感官流的统计特性。我们假设稀疏编码从数据集中发现模式，其可用于通过简单读出来估计一组刺激参数。在这项研究中，我们选择了一个立体视觉模型来验证我们的假设。我们使用局部竞争算法（LCA），然后使用朴素贝叶斯分类器来推断立体视差。从结果中，我们报告了三个观察结果。首先，视差推理是成功的，这种自然主义的处理管道。其次，需要一个扩展的，高度冗余的表示来鲁棒地识别输入模式。第三，可以从LCA表示中的有效系数的数量预测推断误差。我们的结论是，稀疏编码可以产生一个合适的一般表示为后续的推理任务。关键词：稀疏编码;局部竞争算法;高效编码;紧凑编码;概率推理;立体视觉
2021-01-26 cs.CV q-bio.NC
Robust Sparse Coding via Self-Paced Learning
University of Electronic Science and Technology of China（电子科技大学）
稀疏编码由于其广泛的理论研究和在许多信号处理应用中的优异性能而受到越来越多的关注。然而，大多数现有的稀疏编码算法是非凸的，因此容易陷入坏的局部极小值，特别是当有离群值和噪声数据。为了提高学习的鲁棒性，本文提出了一个统一的框架称为自步调稀疏编码（SPSC），它逐渐包括矩阵元素到SC学习从简单到复杂。我们还将自定进度学习图式分别概括为样本、特征和元素的不同层次的动态选择。在真实数据集上的实验结果表明了该算法的有效性。
2017-09-10 cs.CV cs.LG
The Statistical Inefficiency of Sparse Coding for Images (or, One Gabor to Rule them All)
稀疏编码是学习图像的紧凑表示的一个行之有效的原则。然而，稀疏编码本身往往会导致非常冗余的字典。对于图像，这通常采取类似的边缘检测器的形式，其在不同的位置、尺度和方向上被多次复制。这种观察的直接后果是，字典组件的估计在统计上是不有效的。我们提出了一个因子化模型，其中的变化因素（如位置，规模和方向）从底层的Gabor样过滤器解开。自然图像的稀疏编码中有太多的冗余，以至于我们的模型只需要一个字典元素（类似于Gabor的边缘检测器）就可以优于标准稀疏编码。我们的模型可以自然地扩展到任意大小的图像，同时在学习过程中实现更高的统计效率。我们验证了这一说法与一些实验显示，在一定程度上，优秀的压缩样本外的数据使用稀疏编码字典学习，只有一个单一的图像。
2011-09-30 cs.AI cs.CV
Fast Inference in Sparse Coding Algorithms with Applications to Object Recognition
Courant Institute of Mathematical Sciences（柯朗数学科学研究所）；New York University（纽约大学）
自适应稀疏编码方法学习一组可能过完备的基函数，从而可以通过线性组合这些基函数的一个小子集来重建自然图像块。由于计算稀疏表示所需的优化算法的高昂成本，这些方法对视觉对象识别任务的适用性受到限制。在这项工作中，我们提出了一个简单而有效的算法来学习基函数。经过训练后，该模型还提供了一个快速平滑的近似器来实现最佳表示，在视觉对象识别任务中实现了比精确稀疏编码算法更好的准确性。
2010-10-18 cs.CV cs.LG
Frequency-regularized Neural Representation Method for Sparse-view Tomographic Reconstruction
School of Computer Science Guangdong University of Technology Guangzhou, China
针对稀疏视图层析重建中过度关注高频信息导致过拟合的问题，提出频率正则化神经衰减/活度场（Freq-NAF），通过控制神经网络输入可见频带平衡高低频信息，在CBCT和SPECT数据集上实现了最先进的重建精度。
2024-09-22 cs.CV eess.IV
MLF-SC: Incorporating multi-layer features to sparse coding for anomaly detection
LeapMind Inc.（LeapMind公司）
图像中的异常发生在各种尺度上，从地毯上的一个小洞到一个大污点。然而，基于稀疏编码的异常检测是广泛使用的异常检测方法之一，在处理超出用于稀疏表示图像的补丁大小的异常时存在问题。如果在小尺度下观察到大的异常，则可以认为是正常的，但是不容易确定适用于所有图像的单个尺度（斑块大小）。然后，我们提出将多尺度特征结合到稀疏编码中，提高异常检测的性能。多层特征稀疏编码（MLF-SC）方法采用神经网络进行特征提取，并对网络中间层的特征图进行稀疏编码，而标准的基于稀疏编码的异常检测方法直接对给定图像进行检测。我们表明，MLF-SC优于最先进的异常检测方法，包括采用深度学习的方法。我们的目标数据是MVTec异常检测（MVTec AD）数据集的纹理类别，该数据集是由来自真实世界的图像组成的现代基准数据集。我们的想法可以是处理实际数据的简单而实用的选择。
2021-04-09 cs.CV cs.LG
Convolutional Sparse Coding: Boundary Handling Revisited
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Pontificia Universidad Católica del Perú（秘鲁天主教大学）
最近已经提出了两种不同的方法用于卷积稀疏表示中的边界处理，通过将空间掩码引入卷积稀疏编码问题中来避免由使用频域解算方法所隐含的圆形边界条件引起的潜在边界伪影。在本文中，我们表明，在某些情况下，这些方法失败的设计目标，避免边界文物。这种失败的原因进行了讨论，提出了一种解决方案，并说明了在图像去模糊问题的实际影响。
2017-07-20 cs.CV eess.IV
Discriminative Sparse Coding on Multi-Manifold for Data Representation and Classification
稀疏编码作为一种有效的数据表示方法在计算机视觉、医学成像和生物信息学等领域得到了广泛的应用。然而，传统的稀疏编码算法及其多种正则化变体（图稀疏编码和拉普拉斯稀疏编码）都是以无监督的方式学习码书和编码，忽略了训练集中可用的类信息。为了解决这个问题，本文提出了一种新的歧视性稀疏编码方法的基础上多流形，通过学习歧视性的类条件码书和稀疏码的数据特征空间和类标签。首先，根据类标签将整个训练集划分为多个流形。然后，我们将稀疏编码公式化为流形-流形匹配问题，并学习类条件码本和代码，以最大化不同类的流形边缘。最后，我们提出了一个基于数据点流形匹配误差的策略来分类未标记的数据点。体细胞突变识别和乳腺肿瘤超声图像分类任务的实验结果表明，所提出的数据表示分类方法的有效性。
2013-04-03 cs.CV cs.LG stat.ML
The Interpretable Dictionary in Sparse Coding
Drexel University（德雷塞尔大学）；University of Delaware（特拉华大学）
人工神经网络（ANN），特别是深度学习网络，由于数据的内部表示不容易解释，因此经常被标记为黑盒。在我们的工作中，我们说明了在特定稀疏约束下使用稀疏编码训练的ANN，产生了比标准深度学习模型更可解释的模型。通过稀疏编码学习的字典可以更容易理解，并且这些元素的激活创建了选择性特征输出。我们将稀疏编码模型与在相同数据上训练的等效前馈卷积自动编码器进行比较和对比。我们的研究结果表明，定性和定量的好处，在解释学习稀疏编码字典以及内部激活表示。
2020-11-24 cs.AI cs.CV cs.LG
Sparse-View CT Reconstruction via Convolutional Sparse Coding
Sichuan University（四川大学）
传统的基于字典学习的CT重建方法是基于块的，并且用这些方法学习的特征通常包含相同特征的移位版本。为了解决这些问题，卷积稀疏编码（CSC）已被提出并引入各种应用。受CSC在信号处理领域的成功应用的启发，本文提出了一种基于CSC的稀疏CT重建方法。该方法直接对整幅图像进行处理，不需要像基于字典学习的方法那样将图像分割成重叠的小块，能够保持更多的细节信息，避免小块聚集带来的伪影。实验结果表明，该方法在定性和定量方面都优于现有的几种算法。
2018-10-15 cs.CV physics.med-ph
HSR: L1/2 Regularized Sparse Representation for Fast Face Recognition using Hierarchical Feature Selection
Ocean University of China（中国海洋大学）；The University of Iowa（爱荷华大学）
在本文中，我们提出了一种新的方法，用于快速人脸识别称为L1/2正则稀疏表示使用分层特征选择（HSR）。通过采用分层特征选择，可以压缩全局字典的规模和维数，这直接有助于减少稀疏表示的计算开销，而稀疏表示正是本文方法的基础。它由Gabor小波和极端学习机自动编码器（ELM-AE）分层。对于Gabor小波部分，可以在多个尺度和方向上提取局部特征，形成基于Gabor特征的图像，从而提高识别率。此外，当人脸图像被遮挡时，基于Gabor特征的遮挡字典存在冗余，可以相应地压缩全局字典的规模。对于ELM-AE部分，基于Gabor特征的全局字典的维数可以被压缩，因为高维的人脸图像可以被快速地表示为低维的特征。通过引入L1/2正则化，我们的方法可以产生更稀疏和更强大的表示相比，正则化稀疏表示基于分类（SRC），这也有助于减少稀疏表示的计算成本。在多种人脸数据库上的实验结果表明，与SRC和基于Gabor特征的SRC（GSRC）等相关工作相比，该方法在计算量方面具有很大的优势。此外，我们还实现了近似甚至更好的识别率。
2014-09-23 cs.CV cs.LG
Co-regularized Multi-view Sparse Reconstruction Embedding for Dimension Reduction
Dalian Maritime University（大连海事大学）
随着信息技术的发展，我们已经进入了一个数据爆炸的时代，产生了大量的、充满冗余信息的数据。由于降维是将高维数据嵌入到低维子空间中以避免冗余信息的重要工具，因此引起了国内外研究者的兴趣。然而，面对多视图特征，大多数降维方法难以充分理解多视图特征，并结合这些特征的兼容性和互补性信息直接构造低维子空间。此外，大多数多视图降维方法不能处理来自高维非线性空间的特征。因此，如何构造一种能够处理高维非线性空间中多视点特征的多视点降维方法具有重要意义和挑战性。为了解决这一问题，本文提出了一种新的多视点稀疏重构嵌入方法（CMSRE）。CMSRE利用多视图稀疏重构的相关性，能够从多视图中学习非线性流形的局部稀疏结构，并为它们构造有意义的低维表示.由于所提出的共正则化方案，从多个视图的稀疏重建的相关性被CMSRE尽可能多地保留。此外，稀疏表示在每个视图的特征之间产生更有意义的相关性，这有助于CMSRE获得更好的性能。基于文档分类、人脸识别和图像检索等应用的各种评价表明了该方法在多视图降维方面的有效性。
2019-04-01 cs.AI cs.CV
Robust Compressed Sensing and Sparse Coding with the Difference Map
Portland State University（波特兰州立大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Santa Fe Institute（圣塔菲研究所）；Indiana University（印第安纳大学）
在压缩感知中，我们希望从观测数据$y$重建稀疏信号$x$。另一方面，在稀疏编码中，我们希望找到观察到的信号$y$的表示作为来自过完备字典的元素的具有系数$x$的稀疏线性组合。虽然当$x$非常稀疏时，许多算法在这两个问题上都是有竞争力的，但是当它不太稀疏时，恢复$x$可能是有挑战性的。我们提出了差异图，它擅长稀疏恢复时，稀疏性较低，噪声较高。差分图通过随机测量重建和通过稀疏编码进行自然图像重建，表现优于现有技术。
2013-11-21 cs.CV physics.data-an stat.ML
Multimodal Sparse Coding for Event Detection
MIT Lincoln Laboratory（麻省理工学院林肯实验室）；Harvard University（哈佛大学）
无监督特征学习方法已被证明对基于单一模态的分类任务是有效的。我们提出了多模态稀疏编码学习跨多模态共享的特征表示。共享表示应用于多媒体事件检测（MED）和评估相比，单峰同行，以及其他功能学习方法，如GMM超向量和稀疏RBM。我们报告了MED系统的交叉验证分类准确度和平均精度，该系统是在从TRECVID MED 2014数据集的一个子集的单峰和多峰设置中学习到的特征上训练的。
2016-05-17 cs.CV cs.LG
Sparse Coding with Multi-Layer Decoders using Variance Regularization
Center for Data Science（数据科学中心）；New York University（纽约大学）；Courant Institute（库朗研究所）；Meta AI - FAIR（Meta人工智能实验室——基础人工智能研究团队）
图像的稀疏表示在许多计算机视觉应用中是有用的。具有$l_1$惩罚和学习的线性字典的稀疏编码需要字典的正则化以防止代码的$l_1$范数的崩溃。通常，这种正则化需要约束字典元素的欧几里德范数。在这项工作中，我们提出了一种新的稀疏编码协议，它可以防止崩溃的代码，而不需要正则化的解码器。我们的方法直接正则化的代码，使每个潜在的代码组件的方差大于一个固定的阈值在一组稀疏表示为一组给定的输入。此外，我们探索的方法，有效地训练稀疏编码系统与多层解码器，因为他们可以模拟更复杂的关系比线性字典。在我们的实验与MNIST和自然图像补丁，我们表明，解码器学习与我们的方法在线性和多层的情况下具有可解释的功能。此外，我们表明，与具有线性字典的自编码器相比，使用我们的方差正则化方法训练的具有多层解码器的稀疏自编码器可以产生具有更稀疏表示的更高质量的重建。此外，用我们的方差正则化方法获得的稀疏表示在低数据状态下的去噪和分类的下游任务中是有用的。
2022-09-07 cs.CV cs.LG
Regularized Compression of MRI Data: Modular Optimization of Joint Reconstruction and Coding
University of Cambridge（剑桥大学）；Rice University（莱斯大学）
磁共振成像（MRI）处理链从关键的采集阶段开始，为医学诊断图像重建提供原始数据。这个流程通常包括一个近乎无损的数据压缩阶段，它能够以二进制格式进行数字存储和/或传输。在这项工作中，我们提出了一个框架，用于联合优化的MRI重建和有损压缩，产生压缩表示的医学图像，实现质量和比特率之间的改进的权衡。此外，我们证明，有损压缩甚至可以提高重建质量相比，无损压缩的基础上设置。我们的方法有一个模块化的优化结构，实现使用交替方向乘法器（ADMM）技术和最先进的图像压缩技术（BPG）作为一个黑盒模块迭代应用。这建立了与所选择的有损压缩标准兼容的医疗数据压缩方法。所提出的算法的一个主要的新颖性是在总变差正则化添加到模块化压缩过程中，导致更高质量的解压缩图像，而无需任何额外的处理在/后的解压缩阶段。我们的实验表明，我们的正则化为基础的联合MRI重建和压缩的方法往往实现显着的PSNR增益4至9 dB之间的高比特率相比，非正则化的解决方案的联合任务。与基于正则化的解决方案相比，我们的优化方法在高比特率下提供了0.5至1 dB的PSNR增益，这是医学图像压缩的兴趣范围。
2020-11-09 cs.CV eess.IV
Learning Hybrid Sparsity Prior for Image Restoration: Where Deep Learning Meets Sparse Coding
Xidian University（西安电子科技大学）；West Virginia University（西弗吉尼亚大学）
图像复原的方法可以分为基于模型的方法和基于学习的方法。前者-最好的代表是稀疏编码技术-努力利用关于未知高分辨率图像的内在先验知识;而后者-通过最近开发的深度学习技术推广-利用来自一些训练数据集的外部图像先验。探索他们的中间立场并追求能够在两个世界中实现最佳效果的混合图像是很自然的。在本文中，我们提出了一个系统的方法来实现这一目标，称为结构化分析稀疏编码（SASC）。具体而言，通过深度卷积神经网络从外部训练数据中学习结构化稀疏先验（与之前基于学习的方法类似）;同时，从输入观察图像中内部估计另一个结构化稀疏先验（与之前基于模型的方法类似）。然后将两个结构化的稀疏先验结合起来，产生一个混合先验，将两个领域的知识。为了管理计算复杂性，我们开发了一种通过深度卷积神经网络实现混合结构稀疏编码过程的新框架。实验结果表明，提出的混合图像恢复方法的性能与目前的国家的最先进的技术，往往更好。
2018-11-28 cs.CV eess.IV
MMSE Approximation For Sparse Coding Algorithms Using Stochastic Resonance
Technion（以色列理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Stanford University（斯坦福大学）；Harvard University（哈佛大学）
稀疏编码是指在典型的过完备字典中追求信号的稀疏表示。从贝叶斯的角度来看，稀疏编码在稀疏先验下提供未知向量的最大后验概率（MAP）估计。在这项工作中，我们建议提高稀疏编码算法的性能，故意和控制污染的输入与随机噪声，一种被称为随机共振的现象。该方法将受控噪声添加到输入，并从扰动信号中估计稀疏表示。然后，通过将原始输入信号投影到恢复的支持集上来获得一组这样的解。我们提出了所描述的方法的两个变体，它们在最后一步中有所不同。第一个是一个可证明的收敛近似的最小均方误差（MMSE）估计，依赖于生成模型和应用加权平均恢复的解决方案。第二个是前者的一个宽松的变体，它只是应用经验平均值。我们表明，这两种方法提供了一个计算效率的近似MMSE估计，这是典型的难以计算。我们实证证明我们的研究结果，并提供了我们的方法在几种不同的情况下的理论分析。
2019-04-11 cs.CV eess.SP
Compositional Factorization of Visual Scenes with Convolutional Sparse Coding and Resonator Networks
Redwood Center for Theoretical Neuroscience, UC Berkeley（加州大学伯克利分校红木理论神经科学中心）；Université Paris-Saclay（巴黎-萨克雷大学）；Örebro University（厄勒布鲁大学）；Research Institutes of Sweden（瑞典研究院）
本文提出将卷积稀疏编码与谐振器网络结合，把图像稀疏特征编码为高维向量并分解以解析场景，提升分布式表示容量并减少搜索冲突，实现快速准确的场景分解。
2024-04-29 cs.CV cs.NE
Sparse Coding and Dictionary Learning for Symmetric Positive Definite Matrices: A Kernel Approach
NICTA（澳大利亚国家信息与通信技术研究院）；University of Queensland（昆士兰大学）；Australian National University（澳大利亚国立大学）
最近的进展表明，广泛的计算机视觉问题可以更适当地解决考虑非欧几里德几何。本文研究了对称正定矩阵空间中的稀疏编码和字典学习问题，这些对称正定矩阵构成了一个黎曼流形。借助最近引入的Stein内核（与Bregman矩阵发散的对称版本有关），我们建议通过将黎曼流形嵌入到再生核Hilbert空间中来进行稀疏编码。这导致了Lasso问题的凸和核版本，可以有效地解决。此外，我们提出了一个算法学习黎曼字典（用于稀疏编码），紧密联系的斯坦内核。几个分类任务（人脸识别，纹理分类，人的重新识别）的实验表明，所提出的稀疏编码方法实现了显着的改善，在歧视的准确性，在比较国家的最先进的方法，如张量稀疏编码，黎曼局部保持投影，和局部特征的累积驱动。
2013-04-16 cs.CV cs.LG stat.ML
Curvature-Regularized Variational Autoencoder for 3D Scene Reconstruction from Sparse Depth
Department of Computer Engineering（计算机工程系）；Islamic Azad University of Tehran, East Branch（泰姬大学塔里克分校）
本文提出基于曲率正则化的变分自编码器，通过离散拉普拉斯算子提升3D场景重建精度，仅需15%训练开销，有效解决稀疏深度数据下的几何误差问题。
2025-12-05 cs.CV cs.LG
Adversarial Defense by Stratified Convolutional Sparse Coding
Peking University（北京大学）；National Tsinghua University（国立清华大学）；UC San Diego（加州大学圣地亚哥分校）
我们提出了一种对抗性防御方法，该方法在攻击不可知的对抗性防御方法中实现了最先进的性能，同时还保持了对输入分辨率、对抗性扰动规模和数据集大小的鲁棒性。基于卷积稀疏编码，我们构建了一个分层的低维准自然图像空间，它忠实地逼近自然图像空间，同时也去除了对抗性扰动。我们在输入图像和神经网络的第一层之间引入了一个新的稀疏变换层（STL），以有效地将图像投影到我们的准自然图像空间中。我们的实验显示了我们的方法在各种对抗环境中与其他攻击不可知的对抗防御方法相比的最先进性能。
2019-06-21 cs.CV cs.LG
