Analysis of Fast Alternating Minimization for Structured Dictionary Learning
University of Michigan(密歇根大学);Claremont Graduate University(克莱蒙特研究生大学);University of California Los Angeles(加利福尼亚大学洛杉矶分校)
利用稀疏性的方法在成像和信号处理应用中已经很流行,包括压缩、去噪和成像逆问题。数据驱动的方法,如字典学习和变换学习,使人们能够从数据集中发现复杂的图像特征,并在分析模型上提供有前途的性能。交替最小化算法在字典或变换学习中特别流行。在这项工作中,我们研究了结构化(酉)稀疏算子学习的交替最小化的性质。虽然该算法收敛到一般的非凸问题的稳定点,我们证明了快速的局部线性收敛到基本的生成模型在温和的假设。实验结果表明,酉算子学习算法对初始化具有较好的鲁棒性。
2018-02-01 cs.LG
Cross-label Suppression: A Discriminative and Fast Dictionary Learning with Group Regularization
Tsinghua University(清华大学)
本文通过有效地学习一个紧凑的和有区别的字典来解决图像分类问题。给定一个结构化字典,每个原子(字典矩阵中的列)与一些标签相关,我们提出了交叉标签抑制约束,以扩大不同类别的表示之间的差异。同时,我们引入群正则化来强制表示以保持原始样本的标签属性,这意味着鼓励同一类的表示是相似的。在交叉标记抑制时,我们不求助于常用的$\ell_0$ -范数或$\ell_1$ -范数进行编码,并且在不损失分类的区分能力的情况下获得计算效率。此外,两个简单的分类方案也开发,以充分利用学习字典。在人脸识别、物体分类、场景分类、纹理识别和运动动作分类等6个数据集上进行了大量的实验,结果表明,该方法在识别精度和计算效率上均优于目前提出的许多字典算法。
2017-05-08 cs.CV cs.LG stat.ML
Compressed Dictionary Learning
University of Innsbruck(因斯布鲁克大学)
在本文中,我们表明,使用基于Johnson-Lindenstrauss引理的降维技术,可以显着降低字典学习的迭代保持和K-residual-Means(ITKrM)算法的计算复杂度。利用快速傅立叶变换有效地进行了降维。介绍了一种快速字典学习的迭代压缩保持和K均值算法(IctKM),并研究了其收敛性。我们表明,IcTKM可以本地恢复一个不相干的,过完备的生成字典的$K$原子从训练信号的稀疏水平$S$与高概率。通过将训练数据和字典嵌入到$m < d$维度中来实现快速字典学习,并且恢复被证明是局部稳定的,嵌入维度低至$m = O(S \log^4 S \log^3 K)$。压缩有效地打破了ITKrM的计算成本中的数据维度瓶颈,将其减少了$O(m/d)$的一个因子。我们的理论结果与数值模拟的补充表明,IcTKM是一个强大的,低成本的算法从高维数据集的字典学习。
2020-02-22 cs.LG stat.ML
Fast Convolutional Dictionary Learning off the Grid
Massachusetts Institute of Technology (MIT)(麻省理工学院);Massachusetts General Hospital (MGH)(麻省总医院);Harvard Medical School(哈佛医学院);Harvard University(哈佛大学)
给定一个连续时间信号,它可以被建模为来自多个源的局部时移事件的叠加,卷积字典学习(CDL)的目标是通过卷积稀疏编码(CSC)识别事件的位置,并通过卷积字典更新(CDU)学习每个源的模板。在实践中,因为我们在离散时间的均匀采样网格上观察连续时间信号的样本,所以经典的CSC方法只能产生事件发生在该网格上的时间的估计,这降低了CDU的性能。我们引入了一个CDL框架,显着减少了在离散时间进行估计所产生的错误。具体而言,我们构建了一个扩展的字典,不仅包括离散时间的模板移位,但也插值的变体,通过带限插值,占连续时间的移位。对于CSC,我们开发了一种新的计算效率的CSC算法,称为卷积正交匹配追踪与插值字典(COMP-INTERP)。我们将COMP-INTERP与连续基追踪(CBP)进行了基准测试,CBP是最先进的CSC算法,用于估计离网事件,并在模拟数据上证明:1)COMP-INTERP达到了类似的准确度水平,2)快了两个数量级。对于CDU,我们推导出一个新的程序来更新给定的稀疏代码,可以发生在离散时间网格上和关闭的模板。我们还表明,3)字典更新与过完备字典产生更准确的模板。最后,我们将这些算法应用于电生理记录中的锋电位排序问题,并展示了它们的竞争性能。
2019-07-22 cs.LG eess.SP
WEASEL 2.0 -- A Random Dilated Dictionary Transform for Fast, Accurate and Memory Constrained Time Series Classification
Humboldt-Universität zu Berlin(柏林洪堡大学)
时间序列是一个按时间顺序排列的实数序列。时间序列分类(TSC)是将时间序列分配给一组预定义类别之一的任务,通常基于从示例中学习的模型。基于字典的TSC方法依赖于计算时间序列中某些模式的频率,是目前最准确的TSC集成的重要组成部分。早期基于字典的方法之一是WEASEL,它在当时实现了SotA结果,同时也非常快。然而,它在速度和准确性方面都优于其他方法。此外,它的设计导致不可预测的大内存占用,使其不适用于许多应用程序。在本文中,我们提出了WEASEL 2.0,一个完整的大修WEASEL的基础上TSC的两个最新进展:扩张和随机超参数设置的集合。这两种技术允许WEASEL 2.0使用固定大小的内存占用,同时提高精度。与UCR基准集上的其他15种SotA方法相比,WEASEL 2.0比其他字典方法更准确,并且比目前最好的方法没有明显差。实际上,它在所有数据集上都达到了最高的中值准确度,并且在12个问题类别中的5个中表现最好。因此,我们相信WEASEL 2.0是目前TSC的一个可行的替代方案,也是未来合奏的一个潜在的有趣的输入。
2023-02-01 cs.LG
Dictionary learning for fast classification based on soft-thresholding
Ecole Polytechnique Federale de Lausanne (EPFL)(洛桑联邦理工学院);The University of Edinburgh(爱丁堡大学)
基于稀疏表示的分类器最近被证明在许多视觉识别和分类任务中提供了优异的结果。然而,在测试时计算稀疏表示的高成本是限制这些方法在大规模问题中或在计算能力受限的情况下的适用性的主要障碍。我们认为在本文中一个简单而有效的替代稀疏编码的特征提取。我们研究的分类方案,适用于软阈值非线性映射的字典,其次是线性分类器。提出了一种新的监督字典学习算法适合这种低复杂度的分类架构。字典学习问题,联合学习字典和线性分类器,被转换为一个凸(DC)的差异规划和有效地解决了迭代DC求解器。我们在几个数据集上进行实验,并表明我们的学习算法,利用分类问题的结构优于一般的学习过程。我们的简单分类器的基础上软阈值也与最近的稀疏编码分类器,当字典学习适当的竞争。与其他分类器相比,所采用的分类方案在测试阶段还需要更少的计算时间。该方案显示了充分训练的软阈值映射分类的潜力,并为视觉问题的非常有效的分类方法的发展铺平了道路。
2014-10-02 cs.CV cs.LG stat.ML
Stable safe screening and structured dictionaries for faster L1 regularization
Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息系统与随机系统研究所)
在本文中,我们提出了一种方法来结合两个加速技术的$\ell\_{1}$正则化最小二乘问题:安全筛选测试,它允许消除无用的字典原子;和使用快速结构化近似的字典矩阵。为此,我们引入了一个新的家庭的筛选测试,称为稳定的筛选,它可以应付近似错误的字典原子,同时保持测试的安全性(即零风险拒绝属于解决方案支持的原子)。一些主要的现有筛选测试扩展到这个新的框架。所提出的算法包括在初始迭代时使用较粗糙(但更快)的字典近似,然后切换到更好的近似,直到最终采用原始字典。基于对偶间隙饱和度和屏蔽比推导了一种系统的切换准则,仿真结果表明,在大范围的测试场景下,该切换准则在计算复杂性和执行时间上都有显著的降低。
2019-07-05 cs.LG eess.SP stat.ML
Analysis of Fast Structured Dictionary Learning
Department of Electrical Engineering and Computer Science, University of Michigan(密歇根大学电气工程与计算机科学系);Institute of Mathematical Science, Claremont Graduate University(克莱蒙特研究生大学数学科学研究所);Department of Mathematics, University of California Los Angeles(加利福尼亚大学洛杉矶分校数学系)
基于稀疏性的模型和技术已经在许多信号处理和成像应用中被利用。基于字典和稀疏化变换学习的数据驱动方法能够从数据中学习丰富的图像特征,并且可以优于分析模型。特别是,交替优化算法已经流行用于学习这样的模型。在这项工作中,我们专注于交替最小化一个特定的结构酉稀疏算子学习问题,并提供了收敛性分析。虽然该算法收敛到问题的临界点一般,我们的分析建立在温和的假设下,局部线性收敛的算法的基本稀疏模型的数据。分析和数值模拟表明,我们的假设标准的概率数据模型。在实践中,该算法是鲁棒的初始化。
2019-09-23 cs.LG stat.ML
Zero-Shot Image Classification Using Coupled Dictionary Embedding
USC Information Sciences Institute(南加州大学信息科学研究所);Vanderbilt University(范德堡大学);Wayve;HRL Laboratories(HRL实验室);University of Pennsylvania(宾夕法尼亚大学);SK Telecom(SK电信)
零样本学习(Zero-shot learning,缩写为ZRL)是一种基于语义信息对图像进行分类的框架。在本文中,我们提出了一种新的基于耦合字典学习的CNOL算法。其核心思想是图像的视觉特征和语义属性可以在一个中间空间中共享相同的稀疏表示。我们使用的图像从看到的类和语义属性从看到的和看不见的类来学习两个字典,可以稀疏地表示图像的视觉和语义特征向量。在CPDL测试阶段,在没有标记数据的情况下,可以通过仅使用视觉数据找到联合稀疏表示来将来自未见过的类的图像映射到属性空间。然后在属性空间中对图像进行分类,给出看不见的类的语义描述。我们还提供了一个属性感知的配方,以解决域转移和hubness的问题,在CNOL。提供了大量的实验,以证明我们的方法对最先进的BLOG算法在基准BLOG数据集上的优越性能。
2021-10-23 cs.CV cs.LG stat.ML
Fast and robust tensor decomposition with applications to dictionary learning
UC Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
我们开发快速谱算法张量分解,匹配的最知名的多项式时间算法的鲁棒性保证这个问题的基础上的平方和(SOS)半定规划层次。我们的算法可以分解一个4-张量与$n$ -维正交分量的存在误差与恒定的谱范数(当被视为一个$n^2$ -由$n^2$矩阵)。运行时间为$n^5$,它与输入大小$n^4$接近线性。我们还获得了类似的运行时间学习稀疏使用的正交字典的算法,即使特征表示具有恒定的相对稀疏性和非独立坐标。以前唯一的多项式时间算法来解决这些问题是基于解决大型半定规划。相比之下,我们的算法很容易直接实现,是基于光谱投影和张量模式重排。或者工作的灵感来自最近的霍普金斯,施拉姆,施,和Steurer(STOC'16),显示如何快速谱算法可以实现平均情况下的SOS问题的保证。在这项工作中,我们介绍了一般的技术来捕捉SOS的最坏情况下的问题的保证。
2017-06-27 cs.DS cs.LG stat.ML
Toward Real-Time Image Annotation Using Marginalized Coupled Dictionary Learning
Sharif University of Technology(谢里夫理工大学);Shahid Rajaee Teacher Training University(沙希德拉贾伊教师培训大学)
针对现有不平衡标签图像标注方法耗时的问题,提出带边缘化损失与ℓ₁正则化的耦合字典学习方法,同步学习视觉原型与语义,实现实时高精度标注,且代码已开源。
2023-04-17 cs.CV cs.LG
HSR: L1/2 Regularized Sparse Representation for Fast Face Recognition using Hierarchical Feature Selection
Ocean University of China(中国海洋大学);The University of Iowa(爱荷华大学)
在本文中,我们提出了一种新的方法,用于快速人脸识别称为L1/2正则稀疏表示使用分层特征选择(HSR)。通过采用分层特征选择,可以压缩全局字典的规模和维数,这直接有助于减少稀疏表示的计算开销,而稀疏表示正是本文方法的基础。它由Gabor小波和极端学习机自动编码器(ELM-AE)分层。对于Gabor小波部分,可以在多个尺度和方向上提取局部特征,形成基于Gabor特征的图像,从而提高识别率。此外,当人脸图像被遮挡时,基于Gabor特征的遮挡字典存在冗余,可以相应地压缩全局字典的规模。对于ELM-AE部分,基于Gabor特征的全局字典的维数可以被压缩,因为高维的人脸图像可以被快速地表示为低维的特征。通过引入L1/2正则化,我们的方法可以产生更稀疏和更强大的表示相比,正则化稀疏表示基于分类(SRC),这也有助于减少稀疏表示的计算成本。在多种人脸数据库上的实验结果表明,与SRC和基于Gabor特征的SRC(GSRC)等相关工作相比,该方法在计算量方面具有很大的优势。此外,我们还实现了近似甚至更好的识别率。
2014-09-23 cs.CV cs.LG
Separable Dictionary Learning
Technische Universität München(慕尼黑工业大学)
计算机视觉、机器学习和统计学中的许多技术都依赖于这样一个事实,即感兴趣的信号允许在某个字典上进行稀疏表示。字典可以通过分析获得,也可以从合适的训练集中学习。虽然分析字典允许捕获信号的全局结构并允许快速实现,但学习字典通常在应用中表现更好,因为它们更适合所考虑的信号类别。不幸的是,在图像中,(i)学习字典和(ii)将字典用于重建任务的数值负担仅允许处理仅捕获局部图像信息的相对较小的图像块。本文提出的方法旨在克服这些缺点,允许在整个学习过程中的字典上的可分离的结构。一方面,这允许较大的补丁大小的学习阶段,另一方面,字典有效地应用于重建任务。学习过程是基于优化的产品领域更新的字典作为一个整体,从而强制执行基本的字典属性,如相互一致性明确在学习过程中。在没有可分离结构的特殊情况下,我们的方法与最先进的字典学习方法(如K-SVD)竞争。
2013-03-21 cs.CV cs.LG stat.ML
Learning a collaborative multiscale dictionary based on robust empirical mode decomposition
Peking University(北京大学)
字典学习在图像处理的许多领域都是一个具有挑战性的课题。基本目标是从过完备基集中学习稀疏表示。由于结合了通用多尺度表示和基于学习的自适应性的优点,多尺度字典表示方法具有捕获自然图像结构特征的能力。然而,现有的多尺度学习方法仍然遭受三个主要的弱点:不适应不同尺度的图像数据,对噪声和离群值的敏感性,难以确定最佳的字典结构。在本文中,我们提出了一种新的多尺度字典学习模式的稀疏图像表示的基础上改进的经验模式分解。这个强大的数据驱动的多维信号分析工具可以根据数据本身的固有模式,完全自适应地将图像分解为多尺度振荡分量。这种处理可以获得一个强大的和有效的稀疏表示,同时产生一个原始的基字典在多个几何尺度和空间频带。该字典是通过基于频率聚类选择最佳振荡原子来改进的。为了进一步增强稀疏性和泛化能力,使用一致性正则化模型学习容差字典。一个快速的邻近计划,以优化这个模型。多尺度字典被认为是振荡字典和容差字典的产物。实验结果表明,所提出的学习方法具有优越的性能在稀疏图像表示相比,几个竞争的方法。我们也展示了有前途的结果在图像去噪应用。
2017-04-04 cs.CV cs.LG
Denoising Dictionary Learning Against Adversarial Perturbations
Insight Centre for Data Analytics(洞察数据分析中心);University College Cork(科克大学学院)
我们提出了去噪字典学习(Doppler Learning,Doppler Learning),这是一种简单而有效的技术,可以作为对抗性扰动的保护措施。我们检查了在两种不同扰动技术(快速梯度符号(FGSM)和雅可比显着图(JSMA))下扰动的MNIST和CIFAR 10上的去噪字典学习。我们对五个不同的深度神经网络(DNN)进行了评估,这些网络代表了最新架构的构建模块,表明了彼此模型复杂性的连续进展。我们发现,每个模型往往捕捉不同的表示基于他们的架构。对于每个模型,我们都记录了它的准确性扰动的测试数据,以前错误分类的高置信度和降噪后的重建使用字典学习。通过峰值信噪比(PSNR)和结构相似性指数(SSI)来评价每个数据点的重建质量。我们表明,在应用(xv)从噪声的原始数据点的重建后,
2018-01-07 cs.LG stat.ML
Online Graph Dictionary Learning
Univ.Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);ENS de Lyon(里昂高等师范学院);Ecole Polytechnique(巴黎综合理工学院);IRISA(布列塔尼大西洋信息技术与系统研究所)
字典学习是表示学习的一个重要工具,它将数据解释为几个基本元素的线性组合。然而,这种分析在图学习的背景下不适用,因为图通常属于不同的度量空间。我们通过提出一种新的在线图字典学习方法来填补这一空白,该方法使用Gromov Wasserstein分歧作为数据拟合项。在我们的工作中,图通过其节点的成对关系进行编码,并建模为图原子的凸组合,即字典元素,通过在线随机算法进行估计,该算法在具有潜在不同节点数的未注册图的数据集上进行操作。我们的方法自然地扩展到标记图,并完成了一个新的上限,可以作为一个快速近似的Gromov Wasserstein在嵌入空间。我们提供的数字证据表明,我们的方法的兴趣,无监督嵌入的图形数据集和在线图子空间估计和跟踪。
2021-07-12 cs.LG
Exploring the Effect of Sparse Recovery on the Quality of Image Superresolution
Fresno City College(弗雷斯诺城市学院)
本文研究稀疏恢复算法选择对基于耦合字典的图像超分辨率重建质量的影响,并通过实验寻找最佳稀疏恢复算法。
2023-08-04 cs.CV cs.LG eess.IV
Multiscale Dictionary Learning for Estimating Conditional Distributions
Icahn School of Medicine at Mt Sinai(西奈山伊坎医学院);Child Mind Institute(儿童心理研究所);Duke University(杜克大学)
给定高维特征的响应的条件分布的非参数估计是一个具有挑战性的问题。重要的是,不仅要允许响应密度的平均值,而且还要允许响应密度的方差和形状随特征灵活变化,这些特征是多维的。我们提出了一个多尺度字典学习模型,它表示的条件响应密度作为字典密度的凸组合,使用的密度和它们的权重依赖于通过树分解的特征空间的路径。一个快速的图划分算法被应用到获得的树分解,贝叶斯方法,然后使用自适应修剪和平均在不同的子树在一个软概率的方式。该算法可以有效地扩展到大约一百万个特征。最先进的预测性能展示了玩具的例子和两个神经科学应用程序,包括多达一百万的功能。
2013-12-04 cs.LG stat.ML
Towards Fast and Disentangled Counterfactuals for Visual Foundation Models
Technische Universität Berlin(柏林工业大学);Berlin Institute for the Foundations of Learning and Data (BIFOLD)(柏林学习与数据基础研究所(BIFOLD))
提出解耦扩散自编码器(DiDAE),通过闭式编辑解耦字典方向生成反事实,无需梯度,速度提升2000倍,能修复下游分类器并识别虚假相关性。
2026-10-02 cs.CV cs.LG
Sketching Algorithms for Sparse Dictionary Learning: PTAS and Turnstile Streaming
Purdue University(普渡大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出基于草图算法的新技术,首次为稀疏字典学习设计 PTAS,并给出字典学习与 k-均值聚类在十字转门流模型下的空间上界和下界。
2023-10-29 cs.DS cs.LG
Efficient Dictionary Learning with Sparseness-Enforcing Projections
Ulm University(乌尔姆大学)
学习字典适合稀疏编码,而不是使用工程基地已被证明是有效的各种图像处理任务。本文研究了优化字典的图像数据的表示是强制显式稀疏相对于一个光滑的,归一化的稀疏性措施。这涉及到计算欧几里德投影到稀疏度量的水平集上。而以前的算法,这个优化问题至少有准线性的时间复杂度,在这里提出的第一个算法具有线性时间复杂度和恒定的空间复杂度。其关键是基于软收缩函数的投影结果的表征的数学上严格的推导。这一理论被应用于一种名为Easy Dictionary Learning(EZDL)的原始算法中,该算法使用简单且快速计算的Hebbian-like学习规则来学习词典。新算法是有效的,表达和特别简单的实现。它表明,尽管它的简单性,所提出的学习算法是能够产生各种各样的字典,特别是拓扑组织的原子或可分离的原子。此外,字典的表现力作为基准学习算法在整个图像的再现质量方面,并导致等效的去噪性能。EZDL的学习速度比已经非常高效的在线词典学习算法快大约30%,因此有资格进行快速数据集分析和处理大量学习样本的问题。
2016-04-16 cs.CV cs.LG cs.NE
Sparse Dictionary Learning for Measure-Valued Data via Linearized Optimal Transport: Efficient Algorithms and Sample Complexity
Department of Electrical and Computer Engineering, Tufts University(塔夫茨大学电气与计算机工程系);Department of Mathematics, Tufts University(塔夫茨大学数学系)
该研究提出基于线性化最优传输的测度值数据稀疏字典学习方法,结合最优传输几何与稀疏表示学习,在多模态数据上验证效用并推导泛化界,为概率测度空间的表示学习提供可扩展模型。
2026-10-12 cs.LG stat.ML
Learning Fast Sparsifying Transforms
Institute for Digital Communications, School of Engineering, The University of Edinburgh(爱丁堡大学工程学院数字通信研究所)
给定一个数据集,学习一个允许数据稀疏表示的变换的任务被称为字典学习。在许多应用中,这些学习的字典比静态的众所周知的变换(傅立叶,阿达玛等)更好地表示数据。学习变换的主要缺点是它们缺乏结构,因此与经典变换不同,它们的计算效率不高。尤其是当使用诸如移动设备的功率受限的硬件时,这些带来了若干困难,因此阻碍了稀疏技术在这样的场景中的应用。在本文中,我们构造正交和非正交字典,分解为几个基本变换的产品。在正交的情况下,我们完全解决了字典更新问题的一个基本的变换,这可以被看作是一个广义的吉文斯旋转,然后建议构建正交字典,这些变换的产品,保证他们的快速操作。我们还提出了一种方法来构建快速的平方,但非正交的字典,分解为产品的几个变换,可以被视为进一步推广的吉文斯旋转的非正交设置。我们展示了如何建议的变换可以很好地平衡数据表示性能和计算复杂性。我们还比较了经典的快速和学习的一般和正交变换。
2017-05-28 cs.LG
Fast Orthonormal Sparsifying Transforms Based on Householder Reflectors
The University of Edinburgh(爱丁堡大学);University of Vigo(维戈大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
字典学习是确定数据相关变换的任务,该变换产生一些观察到的数据的稀疏表示。字典学习问题是非凸的,并且通常通过计算复杂的迭代算法来解决。此外,所得到的变换通常缺乏允许其快速应用于数据的结构。为了解决这个问题,本文开发了一个框架,学习正交字典,这是从产品的一些Householder反射器。提出了两种算法来学习的反射器系数:一个认为是一个顺序更新的反射器和一个同时更新的所有反射器,施加一个额外的内部正交约束。所提出的方法具有较低的计算复杂性,并收敛到局部极小点,可以描述在所涉及的矩阵的谱特性。所得字典通过控制其产品中Householder反射器的数量来平衡稀疏表示的计算复杂性和质量。在图像处理设置中示出了所提出的算法的模拟,其中公知的快速变换可用于比较。所提出的算法具有良好的重建误差和快速实现相对于经典的,非结构化的,字典的优势。
2016-11-24 cs.LG stat.ML
Learning Multiplication-free Linear Transformations
University Politehnica of Bucharest(布加勒斯特理工大学)
本文提出了一种字典学习算法,用于稀疏表示,同时对学习到的字典施加特定结构,使其在数值上更高效:减少加法/乘法次数甚至避免乘法。我们基于字典的高结构化基本构建块(二进制正交、缩放和剪切变换)来建立工作,可以写出优化问题的闭式解。我们在图像数据上展示了方法的有效性,并与已知的数值高效变换如快速傅里叶变换和快速离散余弦变换进行比较。
2020-12-05 cs.LG cs.NA math.NA
Learning parametric dictionaries for graph signals
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
在稀疏信号表示中,字典的选择通常涉及两个期望属性之间的权衡-适应特定信号数据的能力和字典的快速实现。为了稀疏地表示驻留在加权图上的信号,额外的设计挑战是将不规则数据域的固有几何结构并入字典的原子中。在这项工作中,我们提出了一个参数字典学习算法设计数据适应,结构化的字典,稀疏表示图形信号。特别是,我们将图形信号建模为重叠的局部模式的组合。我们施加的约束,每个字典是一个串联的subdictionaries,每个subdictionary是一个多项式的图形拉普拉斯矩阵,表示一个单一的模式翻译到不同的领域的图形。学习算法使模式适应于图形信号的训练集。实验结果表明,该算法学习到的字典在稀疏逼近图信号方面与最新数值学习算法学习到的非结构化字典相比,具有很强的竞争力,并且往往优于后者.然而,与非结构化字典相比,通过所提出的算法学习的字典具有局部原子的特征,并且可以在信号处理任务(例如压缩、去噪和分类)中以计算高效的方式实现。
2014-01-05 cs.LG cs.SI stat.ML
Wasserstein Dictionaries of Persistence Diagrams
本文提出一种基于加权Wasserstein重心的持续图字典计算框架,通过多尺度梯度下降交替优化权重与原子图,实现高效的数据压缩与降维,并在公开数据集上验证了其效率与实用性。
2023-09-15 cs.CG cs.CV cs.GR
ICA Lens: Non-Gaussianity Reveals Interpretable Directions in Language Models
Independent Researcher(独立研究员);University of Maryland(马里兰大学)
提出ICALens,基于独立成分分析(ICA)高效提取语言模型表示中可解释方向,无需训练稀疏自编码器,在SAEBench上表现竞争力。
2026-11-18 cs.AI cs.CL cs.LG
Simultaneous off-the-grid learning of mixtures issued from a continuous dictionary
CREST(CREST(统计与经济研究中心));ENSAE(法国国家统计与经济管理学院);IP Paris(巴黎理工学院);CERMICS(CERMICS(数学与科学计算研究中心));École des Ponts(法国国立路桥学校);EDF R&D(法国电力公司研发部)
本文提出Group-Nonlinear-Lasso方法,通过正则化优化同时估计连续字典混合信号中的线性系数与非线性参数,并利用证书函数和黎曼几何条件给出了高概率预测误差界,在p=2时达到Group-Lasso的速率。
2024-02-23 cs.LG math.PR math.ST
Convolutional Sparse Coding Fast Approximation with Application to Seismic Reflectivity Estimation
Technion – Israel Institute of Technology(以色列理工学院);GeoEnergy, Inc.(GeoEnergy公司)
在稀疏编码中,我们试图提取输入向量的特征,假设数据本质上是基本构建块的稀疏叠加。类似地,神经网络通过学习训练数据集的特征来执行给定任务。近年来,数据驱动和模型驱动的特征提取方法都得到了广泛的应用,并取得了显著的效果。然而,实际的实现往往太慢,无法在现实生活中使用,特别是对于实时应用程序。我们提出了一个加速升级版本的经典迭代阈值算法,产生一个很好的近似卷积稀疏码在2-5次迭代。速度优势主要来自于观察到大多数求解器由于低效的全局阈值处理而减慢。其主要思想是在应用阈值之前,通过局部感受野能量对每个数据点进行归一化。通过这种方式,抑制了对强特征表达式的自然倾向,因此可以依赖于可以容易地近似或在训练期间学习的全局阈值。所提出的算法可以与已知的预定字典一起使用,或者与训练的字典一起使用。训练后的版本被实现为一个神经网络,设计为所提出的求解器的展开。所提出的解决方案的性能证明通过地震反演问题在合成和真实数据的情况下。我们还为稳定的支持恢复提供了理论保证。也就是说,我们证明了在一定的条件下,真正的支持是完美的第一次迭代内恢复。
2021-06-29 cs.CE cs.CV cs.LG
Coupled Feature Learning for Multimodal Medical Image Fusion
Aalto University(阿尔托大学);CentraleSupelec(巴黎中央理工-高等电力学院)
多模态图像融合的目的是将不同传感器获取的图像中的相关信息进行融合。在医学成像中,融合图像在标准诊断和自动诊断中起着至关重要的作用。提出了一种基于耦合字典学习的多模态图像融合方法。所提出的方法是通用的,可以用于不同的医学成像模式。与目前的许多医学融合方法不同,该方法不会受到强度衰减,也不会丢失关键信息。具体地说,要融合的图像被分解成耦合和独立的组件估计使用稀疏表示相同的支持和皮尔逊相关约束,分别。交替最小化算法的设计,以解决由此产生的优化问题。最后的融合步骤使用最大绝对值规则。实验进行使用各种对多模态输入,包括真正的MR-CT和MR-PET图像。所得到的性能和执行时间显示的竞争力,所提出的方法相比,国家的最先进的医学图像融合方法。
2021-02-17 cs.CV cs.LG eess.IV