Dictionary-based Low-Rank Approximations and the Mixed Sparse Coding problem
Univ Lyon, INSA-Lyon, UCBL, UJM-Saint Etienne, CNRS, Inserm, CREATIS UMR 5220, U1206（里昂大学、里昂国立应用科学学院、里昂第一大学、圣埃蒂安让·莫内大学、法国国家科学研究中心、法国国家健康与医学研究院、CREATIS医学影像研究中心）
约束张量和矩阵分解模型允许从多路数据中提取可解释的模式。因此，约束低秩近似的可辨识性及其有效算法是当前重要的研究课题。本文研究了一个低秩近似的因子矩阵列在一个已知且可能过完备的基上是稀疏的，这个模型被称为基于字典的低秩近似（DLRA）.虽然早期的贡献集中在寻找候选列字典中的因子列，即一稀疏近似，但这项工作是第一个解决稀疏度大于一的DLRA。我建议把重点放在稀疏编码子问题创造混合稀疏编码（MSC），解决DLRA时出现的交替优化策略。提出了几种基于稀疏编码算法（贪婪法、凸松弛法）的MSC求解算法。模拟数据的性能进行评估，这些prosticistics。然后，我展示了如何适应一个高效的MSC求解器的基础上LASSO计算字典为基础的矩阵分解和规范的多元分解的背景下，高光谱图像处理和化学计量学。这些实验表明，DLRA扩展了低秩近似的建模能力，有助于减少估计方差，提高估计因子的可识别性和可解释性。
2022-01-21 cs.LG stat.ML
Dictionary Learning for Massive Matrix Factorization
Inria（法国国家信息与自动化研究所）；CEA（法国原子能与替代能源委员会）；Paris-Saclay University（巴黎萨克雷大学）；Neurospin（Neurospin 神经影像研究中心）；Grenoble（格勒诺布尔）
稀疏矩阵分解是获得可解释数据分解的流行工具，其也有效地执行数据补全或去噪。它对大型数据集的适用性已经通过在线和随机方法得到了解决，这些方法降低了其中一个矩阵维度的复杂性，但并没有同时降低这两个维度的复杂性。在本文中，我们处理非常大的矩阵在两个维度。我们提出了一种新的因式分解方法，可以优雅地扩展到TB级的数据集，这是以前的算法在合理的时间内无法处理的。我们证明了我们的方法在大量功能性磁共振成像（fMRI）数据上的效率，以及推荐系统的矩阵完成问题，与最先进的坐标下降方法相比，我们获得了显着的速度提升。
2016-05-26 cs.LG q-bio.QM stat.ML
Compressed Online Dictionary Learning for Fast fMRI Decomposition
Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Paris-Saclay University（巴黎萨克雷大学）
我们提出了一种快速静息状态fMRI空间分解的非常大的数据集，基于减少的时间维度之前，应用字典学习连接的个人记录从组的主题。介绍了一个措施的对应关系的空间分解休息功能磁共振成像，我们证明了时间减少字典学习产生的结果可靠的非减少分解。我们还表明，这种减少显着提高计算的可扩展性。
2016-02-08 cs.LG stat.ML
Analysis of Fast Alternating Minimization for Structured Dictionary Learning
University of Michigan（密歇根大学）；Claremont Graduate University（克莱蒙特研究生大学）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）
利用稀疏性的方法在成像和信号处理应用中已经很流行，包括压缩、去噪和成像逆问题。数据驱动的方法，如字典学习和变换学习，使人们能够从数据集中发现复杂的图像特征，并在分析模型上提供有前途的性能。交替最小化算法在字典或变换学习中特别流行。在这项工作中，我们研究了结构化（酉）稀疏算子学习的交替最小化的性质。虽然该算法收敛到一般的非凸问题的稳定点，我们证明了快速的局部线性收敛到基本的生成模型在温和的假设。实验结果表明，酉算子学习算法对初始化具有较好的鲁棒性。
2018-02-01 cs.LG
Collaborative Filtering via Group-Structured Dictionary Learning
Eötvös Loránd University（厄特沃什·罗兰大学）；Carnegie Mellon University（卡内基梅隆大学）
结构化稀疏编码及其相关的结构化字典学习问题是机器学习领域的一个新的研究方向。在本文中，我们提出了一个新的应用结构化字典学习的协同过滤推荐系统。我们广泛的数值实验表明，所提出的技术优于其国家的最先进的竞争对手，并有几个优点的方法，不把结构化的约束字典元素。
2012-01-01 cs.LG math.OC math.ST
Fast Structured Orthogonal Dictionary Learning using Householder Reflections
Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）
针对结构化正交字典学习问题，提出基于Householder矩阵及少量Householder矩阵乘积的算法，理论上保证l∞范数近似恢复且计算复杂度最优，样本受限场景下性能优于现有方法且计算效率更高。
2025-01-07 cs.LG eess.SP
STARK: Structured Dictionary Learning Through Rank-one Tensor Recovery
Rutgers University（罗格斯大学）
近年来，已经提出了一类用于多维（张量）数据表示的字典，其通过在数据底层的字典上施加克罗内克结构来利用张量数据的结构。在这项工作中，一种新的算法称为“STARK”的学习克罗内克结构字典，可以表示任何顺序的张量。通过建立任何数量的矩阵的克罗内克积可以重新排列，以形成一个秩1张量，我们表明，克罗内克结构可以通过解决秩1张量恢复问题的字典。由于秩-1张量恢复是一个具有挑战性的非凸问题，我们求助于解决这个问题的凸松弛。对合成数据和真实数据的实验结果表明，我们所提出的算法是有前途的。
2017-11-13 cs.LG stat.ML
Learning a collaborative multiscale dictionary based on robust empirical mode decomposition
Peking University（北京大学）
字典学习在图像处理的许多领域都是一个具有挑战性的课题。基本目标是从过完备基集中学习稀疏表示。由于结合了通用多尺度表示和基于学习的自适应性的优点，多尺度字典表示方法具有捕获自然图像结构特征的能力。然而，现有的多尺度学习方法仍然遭受三个主要的弱点：不适应不同尺度的图像数据，对噪声和离群值的敏感性，难以确定最佳的字典结构。在本文中，我们提出了一种新的多尺度字典学习模式的稀疏图像表示的基础上改进的经验模式分解。这个强大的数据驱动的多维信号分析工具可以根据数据本身的固有模式，完全自适应地将图像分解为多尺度振荡分量。这种处理可以获得一个强大的和有效的稀疏表示，同时产生一个原始的基字典在多个几何尺度和空间频带。该字典是通过基于频率聚类选择最佳振荡原子来改进的。为了进一步增强稀疏性和泛化能力，使用一致性正则化模型学习容差字典。一个快速的邻近计划，以优化这个模型。多尺度字典被认为是振荡字典和容差字典的产物。实验结果表明，所提出的学习方法具有优越的性能在稀疏图像表示相比，几个竞争的方法。我们也展示了有前途的结果在图像去噪应用。
2017-04-04 cs.CV cs.LG
Dictionary Learning Using Rank-One Atomic Decomposition (ROAD)
Imperial College London（帝国理工学院）
字典学习的目的是寻找一个能够稀疏表示训练数据的字典。文献中的方法通常将字典学习问题制定为优化w.r.t.两个变量，即，字典和稀疏系数，并通过在两个阶段之间交替来解决它：稀疏编码和字典更新。这项工作的主要贡献是一个秩一原子分解（ROAD）制定字典学习铸造作为一个优化w.r.t.一个单一的变量，它是一组秩一矩阵。因此，所得到的算法是单级的。与两阶段算法相比，ROAD算法在保持数据一致性约束的同时，最大限度地减少了系数的稀疏性。一个交替方向的乘数法（ADMM）的推导来解决优化问题，并计算罚参数的下界，以保证全局收敛，尽管非凸的优化配方。从实用的角度来看，ROAD减少了其他基准测试算法所需的调优参数的数量。数值试验表明，ROAD算法在模拟数据和真实数据下的性能都优于其他基准算法，尤其是在训练样本较少的情况下。
2021-10-26 cs.LG eess.SP
Reconstructing Multi-echo Magnetic Resonance Images via Structured Deep Dictionary Learning
Indraprastha Institute of Information Technology（因德拉普拉斯信息技术学院）
通过改变扫描的回波时间（对于T2加权）或弛豫时间（对于T1加权）来采集多回波磁共振（MR）图像。所得到的（多回波）图像通常用于定量MR成像。采集MR图像是一个缓慢的过程，并且采集多回波成像的相同横截面的多次扫描甚至更慢。为了加速扫描，基于压缩感知（CS）的技术一直提倡部分K空间（傅立叶域）扫描;通过结构化CS算法重建所得图像。最近，已经表明，代替使用现成的CS，可以通过基于结构化字典学习的自适应重建算法获得更好的结果。在这项工作中，我们表明，重建结果可以通过使用结构化的深度字典进一步改善。在真实数据集上的实验结果表明，通过使用我们提出的技术的扫描时间可以减少一半相比，国家的最先进的。
2019-12-10 cs.LG eess.IV stat.ML
Analysis of Fast Structured Dictionary Learning
Department of Electrical Engineering and Computer Science, University of Michigan（密歇根大学电气工程与计算机科学系）；Institute of Mathematical Science, Claremont Graduate University（克莱蒙特研究生大学数学科学研究所）；Department of Mathematics, University of California Los Angeles（加利福尼亚大学洛杉矶分校数学系）
基于稀疏性的模型和技术已经在许多信号处理和成像应用中被利用。基于字典和稀疏化变换学习的数据驱动方法能够从数据中学习丰富的图像特征，并且可以优于分析模型。特别是，交替优化算法已经流行用于学习这样的模型。在这项工作中，我们专注于交替最小化一个特定的结构酉稀疏算子学习问题，并提供了收敛性分析。虽然该算法收敛到问题的临界点一般，我们的分析建立在温和的假设下，局部线性收敛的算法的基本稀疏模型的数据。分析和数值模拟表明，我们的假设标准的概率数据模型。在实践中，该算法是鲁棒的初始化。
2019-09-23 cs.LG stat.ML
A Structured Dictionary Perspective on Implicit Neural Representations
ETH Zurich（苏黎世联邦理工学院）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
内隐神经表征（INRs）最近出现作为一个有前途的替代经典的离散表示的信号。然而，尽管它们在实践中取得了成功，我们仍然不理解INR如何代表信号。我们提出了一个新的统一的角度从理论上分析INR。利用谐波分析和深度学习理论的结果，我们表明大多数INR家族类似于结构化信号字典，其原子是初始映射频率集的整数谐波。这种结构允许INR使用仅随深度线性增长的多个参数来表达具有指数增加的频率支持的信号。我们还探讨了感应偏置INR利用最近的结果有关的经验神经切线核（NTK）。具体来说，我们表明，NTK的本征函数可以被看作是字典原子，其与目标信号的内积决定了其重建的最终性能。在这方面，我们揭示了元学习对NTK的重塑效果类似于字典学习，将字典原子构建为元训练期间看到的示例的组合。我们的研究结果允许设计和调整新的INR架构，但也可能对更广泛的深度学习理论社区感兴趣。
2022-03-25 cs.CV cs.LG
Structured Discriminative Tensor Dictionary Learning for Unsupervised Domain Adaptation
Nanjing University of Posts and Telecommunications（南京邮电大学）；Texas State University（得克萨斯州立大学）；University of Trento（特伦托大学）；Nanjing University of Science and Technology（南京理工大学）；University of Technology Sydney（悉尼科技大学）；Wuhan University（武汉大学）
无监督领域自适应（UDA）解决了在计算机视觉应用中常见的由于训练集和测试集之间的领域移位而导致的性能下降的问题。现有的UDA方法大多是基于矢量形式的数据，虽然在可视化应用中的数据或特征的典型格式是多维张量。此外，目前的方法，包括深度网络方法，假设提供了大量的标记源样本用于训练。然而，在实际应用中，标注源样本的数量总是有限的，由于昂贵的注释成本，使得次优性能被观察到。在本文中，我们提出了通过学习张量空间中的结构化字典来寻求多维数据的判别表示。该字典将领域信息和类信息分离，保证了表示对领域的鲁棒性。此外，为了避免外部分类器的设计，提出了一种伪标签估计方案，在算法迭代中结合判别分析。我们在有限的源样本的不同数据集上进行了广泛的结果。实验结果表明，该方法优于国家的最先进的方法。
2019-05-11 cs.CV cs.LG
Minimax Lower Bounds for Kronecker-Structured Dictionary Learning
Rutgers University（罗格斯大学）
字典学习是估计提供测量/收集的信号或数据的稀疏表示的原子元素的集合的问题。本文通过证明极大极小风险的下界，发现了张量数据估计字典的样本复杂性的根本限制。这个下限取决于张量的维度和生成模型的参数。本文的重点是二阶张量数据，与基础的字典构造两个较小的字典和观测数据的字典原子通过高斯白噪声观察到的稀疏线性组合的克罗内克积。在这方面，本文提供了一个一般的最小最大风险的下限，并采用稀疏和高斯系数模型的等价结果的证明技术。报告的结果表明，张量数据的字典学习的样本复杂度可以显着低于非结构化数据。
2016-05-17 cs.IT cs.LG math.IT
Stable safe screening and structured dictionaries for faster L1 regularization
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息系统与随机系统研究所）
在本文中，我们提出了一种方法来结合两个加速技术的$\ell\_{1}$正则化最小二乘问题：安全筛选测试，它允许消除无用的字典原子;和使用快速结构化近似的字典矩阵。为此，我们引入了一个新的家庭的筛选测试，称为稳定的筛选，它可以应付近似错误的字典原子，同时保持测试的安全性（即零风险拒绝属于解决方案支持的原子）。一些主要的现有筛选测试扩展到这个新的框架。所提出的算法包括在初始迭代时使用较粗糙（但更快）的字典近似，然后切换到更好的近似，直到最终采用原始字典。基于对偶间隙饱和度和屏蔽比推导了一种系统的切换准则，仿真结果表明，在大范围的测试场景下，该切换准则在计算复杂性和执行时间上都有显著的降低。
2019-07-05 cs.LG eess.SP stat.ML
Generalizing Dynamic Mode Decomposition: Balancing Accuracy and Expressiveness in Koopman Approximations
University of California, San Diego（加州大学圣地亚哥分校）
利用Koopman算子方法研究未知动力系统的数据驱动逼近问题。给定一个函数字典，这些方法近似于算子作用在字典所张成的有限维子空间上的投影。我们提出了可调对称子空间分解算法来改进字典，平衡其表达能力和准确性。表达性对应于字典描述尽可能多的可观察量的演变的能力，准确性对应于正确预测其演变的能力。基于Koopman不变子空间产生精确预测的观察，我们推断预测精度是由字典生成的子空间的不变性程度的函数，并提供了一个数据驱动的度量来测量不变性接近度。所提出的算法迭代修剪的初始功能空间，以确定一个完善的字典的功能，满足所需的精度水平，同时保留尽可能多的原始表现力。我们提供了一个完整的表征的算法性能，并表明，它概括了扩展的动态模式分解和对称子空间分解。平面系统上的仿真表明，所提出的方法在生产可调精度的Koopman近似捕获有关的动力系统的相关信息的有效性。
2023-02-27 cs.LG cs.SY eess.SY
Multi-Dictionary Tensor Decomposition
University at Albany- SUNY（纽约州立大学奥尔巴尼分校）
本文提出多字典张量分解（MDTD）框架，利用模态先验字典获得稀疏编码因子，在重建、缺失值填补和秩估计上显著优于无字典方法，并能高效处理十亿级稀疏张量。
2023-09-18 cs.LG
Differentiable Dictionary Search: Integrating Linear Mixing with Deep Non-Linear Modelling for Audio Source Separation
Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
本文介绍了几个改进的信号分解的新方法，我们最近制定的名称下的微分字典搜索（DDS）。DDS的基本思想是利用一类强大的深度可逆密度估计器（称为归一化流），以线性分解方法（如NMF）对字典进行建模，有效地在字典元素空间和相关概率空间之间创建双射，允许在估计密度的指导下通过字典空间进行可微搜索。由于最初的公式是一个概念证明，有一些实际的限制，我们将提出几个步骤，使其可扩展，希望提高计算复杂性的方法和信号分解能力。作为实验评估的测试平台，我们选择了框架级钢琴转录的任务，其中信号被分解为活动归因于单个钢琴音符的源。为了突出改进的非线性建模源的影响，我们比较我们的方法的变体的线性过完备NMF基线。实验结果将表明，即使在没有额外的约束，我们的模型产生越来越稀疏和精确的分解，根据两个相关的评估措施。
2022-11-28 cs.LG cs.SD eess.AS
Solving inverse problems with deep neural networks driven by sparse signal decomposition in a physics-based dictionary
ICTEAM Institute（ICTEAM研究所）；Université catholique de Louvain（鲁汶天主教大学）
深度神经网络（DNN）具有令人印象深刻的能力来反演非常复杂的模型，即从模型的输出中学习生成参数。一旦经过训练，DNN的前向传递通常比用于解决逆问题的传统基于优化的方法快得多。然而，这是以较低的可解释性为代价的，这是大多数医疗应用中的基本限制。我们提出了一种解决一般反问题的方法，它结合了DNN的效率和传统分析方法的可解释性。首先将测量值投影到基于模型的响应的密集字典上。然后将得到的稀疏表示馈送到DNN，该DNN具有由问题的物理驱动的架构，以进行快速参数学习。我们的方法可以处理生成的前向模型，这些模型的评估成本很高，并且在准确性和计算时间方面表现出与完全学习的DNN相似的性能，同时保持高度的可解释性，并且更容易训练。具体的结果示出了基于模型的脑参数估计的磁共振成像（MRI）的一个例子。
2021-07-16 cs.LG
A multi-class structured dictionary learning method using discriminant atom selection
FICH（FICH学院）；UNL（国立拉普拉塔大学）；CONICET（阿根廷国家科学与技术研究理事会）；FIQ（FIQ学院）
在过去的十年中，传统的字典学习方法已经成功地应用于各种模式分类任务。虽然这些方法产生对失真和丢失数据鲁棒的信号的稀疏表示，但是如果最终目标是信号分类，则这种表示经常被证明是不合适的。为了克服或至少减弱这样的弱点，近年来出现了几种新的方法，这些方法将判别信息引入稀疏诱导模型。特别是，判别式字典学习的方法已被证明比传统的方法更准确（在信号分类方面），传统的方法只专注于最小化总表示误差。在这项工作中，我们提出了一种新的多类判别措施和创新的字典学习方法。对于一个给定的字典，这种新的措施，它不仅考虑到当一个特定的原子被用于表示来自某个类的信号和其相应的表示系数的大小，而且这种原子在总的表示误差的影响，是能够有效地量化的程度的可辨别性的每一个原子。另一方面，新的字典构造方法产生的字典是非常适合多类分类任务。我们的方法进行了测试，广泛使用的数据库的手写数字识别，并与三个国家的最先进的分类方法进行比较。结果表明，我们的方法显着优于其他三个实现良好的识别率，此外，降低了分类器的计算成本。
2018-12-04 cs.CV cs.LG stat.ML
Extended dynamic mode decomposition with dictionary learning using neural ordinary differential equations
Osaka University（大阪大学）
非线性现象可以通过使用算子理论方法的线性技术进行分析。数据驱动的方法称为扩展动态模式分解（EDMD）及其变体，它近似与非线性现象相关联的Koopman算子，通过结合机器学习方法得到了迅速发展。神经常微分方程（NODE）是一种具有连续层的神经网络，具有高的参数和存储效率。在本文中，我们提出了一种算法来执行EDMD使用NODE。NODE是用来找到一个参数有效的字典，它提供了一个很好的有限维近似的Koopman算子。通过数值实验，我们证明了该方法的参数效率的优越性。
2022-05-17 cs.LG cs.NA eess.SP
Tensor-Dictionary Learning with Deep Kruskal-Factor Analysis
PNNL（太平洋西北国家实验室）
本文提出了一种适用于任意阶张量变量数据的多因子分析模型。每个数据项表示为Kruskal分解的（稀疏）和，即Kruskal因子分析（KFA）。KFA是非参数的，并且可以推断每个字典原子的张量秩和字典原子的数量。该模型适用于在线学习，允许在大数据集上进行字典学习。在引入KFA之后，该模型被扩展到由贝叶斯SVM监督的深度卷积张量因子分析。实验部分展示了KFA相对于向量化方法的改进（例如，BPFA）、张量分解和卷积神经网络（CNN）在多路去噪、盲修复和图像分类中的应用。与其他方法相比，修复结果的PSNR改善在几种情况下超过1dB，我们在Caltech 101图像分类上取得了最先进的结果。
2017-03-05 cs.LG stat.ML
Learning Structured Twin-Incoherent Twin-Projective Latent Dictionary Pairs for Classification
Soochow University（苏州大学）；Hefei University of Technology（合肥工业大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Nanjing University of Information Science and Technology（南京信息工程大学）
在本文中，我们扩展流行的字典对学习（DPL）的情况下，双投射潜在灵活的DPL下的结构化双不一致。在技术上，提出了一种新的框架称为双投影潜在灵活DPL（TP-DPL），它最大限度地减少了双非相干约束灵活放松重建误差，以避免可能的过拟合问题，并产生准确的重建。在这种情况下，我们的TP-DPL集成了基于双不相干的潜在灵活的DPL和联合嵌入的代码，以及显着特征的双投影到一个统一的模型中的自适应邻域保持的方式。因此，TP-DPL统一了显著特征提取，表示和分类。对代码和特征的孪生非相干约束可以显式地确保它们的高类内紧致性和类间分离性。TP-DPL还集成了自适应加权，以显式地保留每个类中系数和显著特征的局部邻域。为了提高效率，TP-DPL使用Frobenius范数，并放弃了昂贵的l0/l1范数用于组稀疏表示。另一个副产品是TP-DPL可以直接应用类特定的双投影重建残差来计算数据的标签。公共数据库上的大量结果表明，TP-DPL可以提供最先进的性能。
2019-08-21 cs.CV cs.LG
Learning Discriminative Multilevel Structured Dictionaries for Supervised Image Classification
Institut National de Recherche en Informatique et Automatique (INRIA)（法国国家信息与自动化研究所）；METU（中东技术大学）
使用过完备字典的稀疏表示已被证明是许多信号处理应用中的强大工具，例如去噪，超分辨率，修复，压缩或分类。表示的稀疏性在很大程度上取决于字典对手头数据的适应程度。在本文中，我们提出了一种方法，学习结构化的多级字典与歧视性的限制，使他们非常适合监督像素分类的图像。一个多级树结构的判别字典学习每个类，与学习目标有关的重建误差的图像补丁周围的像素在每个类代表字典。在初始分配的类标签的图像像素的稀疏表示的基础上学习的字典，最终的分类是通过平滑的标签图像与图切割方法和腐蚀方法实现的。应用到一组常见的纹理图像，我们的监督分类方法显示出与最先进的竞争力的结果。
2018-02-28 cs.LG stat.ML
Fast and robust tensor decomposition with applications to dictionary learning
UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
我们开发快速谱算法张量分解，匹配的最知名的多项式时间算法的鲁棒性保证这个问题的基础上的平方和（SOS）半定规划层次。我们的算法可以分解一个4-张量与$n$ -维正交分量的存在误差与恒定的谱范数（当被视为一个$n^2$ -由$n^2$矩阵）。运行时间为$n^5$，它与输入大小$n^4$接近线性。我们还获得了类似的运行时间学习稀疏使用的正交字典的算法，即使特征表示具有恒定的相对稀疏性和非独立坐标。以前唯一的多项式时间算法来解决这些问题是基于解决大型半定规划。相比之下，我们的算法很容易直接实现，是基于光谱投影和张量模式重排。或者工作的灵感来自最近的霍普金斯，施拉姆，施，和Steurer（STOC'16），显示如何快速谱算法可以实现平均情况下的SOS问题的保证。在这项工作中，我们介绍了一般的技术来捕捉SOS的最坏情况下的问题的保证。
2017-06-27 cs.DS cs.LG stat.ML
Temporal Forward-Backward Consistency, Not Residual Error, Measures the Prediction Accuracy of Extended Dynamic Mode Decomposition
UC San Diego（加州大学圣地亚哥分校）
扩展动态模式分解（EDMD）是一种流行的数据驱动方法，用于近似Koopman算子在由函数字典所张成的线性函数空间上的作用。EDMD模型的准确性主要取决于特定字典跨度的质量，特别是在Koopman算子下它是多么接近不变。出于观察，EDMD的残留误差，通常用于字典学习，不编码的功能空间的质量和基础的选择是敏感的，我们引入了新的概念的一致性指数。我们表明，这种措施，基于使用EDMD向前和向后的时间，享有一些理想的品质，使其适合数据驱动的建模动力系统：它衡量函数空间的质量，它在基的选择下是不变的，可以从数据中以封闭形式计算，并且为字典的整个跨度上的所有函数预测的相对均方根误差提供了严格的上限。
2022-11-07 cs.LG cs.SY eess.SY
Dictionary Learning and Tensor Decomposition via the Sum-of-Squares Method
Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）；Cornell University（康奈尔大学）
我们给出了一种新的方法字典学习（也称为"稀疏编码"）的问题，恢复一个未知的$n\times m$矩阵$A$（$m \geq n$）的形式\[ y = Ax + e, \]的例子，其中$x$是一个随机向量在$\mathbb R^m$与最多$τm$非零坐标，和$e$是一个随机噪声向量在$\mathbb R^n$有界幅度。对于$m=O(n)$的情况下，我们的算法恢复$A$的每一列在任意好的恒定精度在时间$m^{O(\log m/\log(τ^{-1}))}$，特别是实现多项式时间，如果$τ= m^{-δ}$为任何$δ>0$，和时间$m^{O(\log m)}$，如果$τ$是（一个足够小的）常数。以前的算法与可比的分布假设要求矢量$x$是稀疏得多-最多$\sqrt{n}$非零坐标-有内在的障碍，防止这些算法应用于更密集的$x$。我们通过设计一种算法来实现这一点，该算法用于噪声张量分解，该算法可以在相当一般的条件下恢复张量$T$的近似秩一分解，给定访问的张量$T'$是$τ$-接近$T$的谱范数（当被认为是矩阵时）。据我们所知，这是第一个适用于恒定谱范数噪声机制的张量分解算法，其中不能保证$T$和$T'$的局部最优解具有相似的结构。我们的算法是基于一种新的方法来使用和分析的平方和半定规划层次（Parrilo 2000，Lasserre 2001），它可以被看作是一个指示的效用，这个非常普遍和强…
2014-11-07 cs.DS cs.LG stat.ML
CNN inference acceleration using dictionary of centroids
Faculty of Mechanics and Mathematics, Moscow State University（莫斯科国立大学力学与数学系）
众所周知，常见CNN的卷积层中的乘法运算在推理阶段消耗大量时间。在这篇文章中，我们提出了一种灵活的方法来降低推理中卷积层的计算复杂性以及存储它们的空间量。该方法是基于质心滤波器量化和优于方法的基础上张量分解的大幅度。我们在ImageNet基准测试中对所提出的方法和CP张量分解系列进行了比较分析，发现我们的方法提供了近2.9倍的计算增益。尽管我们的方法很简单，但它不能直接应用于现代框架中的推理阶段，但对于计算流程可能会改变的情况可能很有用，例如CNN芯片设计师。
2018-10-19 cs.LG stat.ML
Dictionary Learning with Convex Update (ROMD)
Imperial College London（帝国理工学院）
字典学习的目的是找到一个字典，在这个字典下训练数据可以被稀疏地表示，它通常通过迭代地应用两个阶段来实现：稀疏编码和字典更新。字典更新的典型方法是利用稀疏编码阶段得到的稀疏模式来细化字典原子及其相应的稀疏系数，因此它是一个非凸双线性逆问题。在本文中，我们提出了一个秩一矩阵分解（ROMD）算法，通过解决这两个变量到一组秩一矩阵重铸这个挑战成一个凸问题。与文献中的方法不同，ROMD使用凸规划一次更新整个字典。因此，优点包括字典更新的收敛保证和整个字典学习的更快收敛。ROMD的性能与其他基准字典学习算法进行了比较。结果表明，ROMD在恢复精度上有明显的提高，特别是在稀疏度较高和观测数据较少的情况下。
2021-10-25 cs.LG eess.SP
A Model for Combinatorial Dictionary Learning and Inference
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
受图像遮挡启发提出组合字典学习与推断模型，定义“良结构性”保证潜在成分可学习，并解决实例成分溯源及对抗鲁棒性问题，证明无假设下计算不可行。
2024-07-26 cs.DS cs.LG
A Tree-based Dictionary Learning Framework
Fraunhofer SCS（弗劳恩霍夫安全信息技术研究所）；University of Göttingen（哥廷根大学）
我们提出了一个新的大纲的自适应字典学习方法的稀疏编码的基础上的层次聚类的训练数据。通过递归应用的聚类方法，数据被组织成一个二叉划分树表示多尺度结构。基于划分树中的数据簇自适应地定义字典原子。这种方法可以被解释为离散Haar小波变换的推广。此外，可以简单地并入关于字典元素的期望结构的任何先验知识。我们提出的算法的计算复杂性取决于所采用的聚类方法和数据点之间的相似性度量。由于分区树的多尺度属性，我们的字典的结构：当使用正交匹配追踪从自然图像中重建补丁，字典原子对应的节点更接近树中的根结点有一个倾向于使用更大的系数。
2020-06-09 cs.LG stat.ML
Feature Learning in Wide Neural Networks under $μ$P: Identifiability and Sparse-Dictionary Decomposition of the Mean-Field Limit
Independent Researcher（独立研究者）
本文在最大更新参数化（μP）下，针对宽两层神经网络，建立了特征学习的四个结构结果，包括平均场极限的全局存在唯一性、可辨识性刻画、稀疏字典分解以及总特征学习误差分解，并揭示了架构-数据对的自然学习单元。
2026-05-23 cs.LG math.PR math.ST
Cross-label Suppression: A Discriminative and Fast Dictionary Learning with Group Regularization
Tsinghua University（清华大学）
本文通过有效地学习一个紧凑的和有区别的字典来解决图像分类问题。给定一个结构化字典，每个原子（字典矩阵中的列）与一些标签相关，我们提出了交叉标签抑制约束，以扩大不同类别的表示之间的差异。同时，我们引入群正则化来强制表示以保持原始样本的标签属性，这意味着鼓励同一类的表示是相似的。在交叉标记抑制时，我们不求助于常用的$\ell_0$ -范数或$\ell_1$ -范数进行编码，并且在不损失分类的区分能力的情况下获得计算效率。此外，两个简单的分类方案也开发，以充分利用学习字典。在人脸识别、物体分类、场景分类、纹理识别和运动动作分类等6个数据集上进行了大量的实验，结果表明，该方法在识别精度和计算效率上均优于目前提出的许多字典算法。
2017-05-08 cs.CV cs.LG stat.ML
Spatial-Aware Dictionary Learning for Hyperspectral Image Classification
Sharif University of Technology（谢里夫理工大学）
本文提出了一种结构化的字典为基础的高光谱数据模型，结合了光谱样本的光谱和上下文特征，高光谱图像分类的目标。其思想是将高光谱图像的像素划分为多个称为上下文组的空间邻域，并使用从数据中学习的几个字典元素的线性组合来对每个像素进行建模。由于上下文组中的像素通常由相同的材料组成，因此它们的线性组合被限制为使用字典中的公共元素。为此，字典学习进行联合稀疏正则化，以诱导一个共同的稀疏模式中的稀疏系数的每个上下文组。然后，稀疏系数用于使用线性SVM的分类。对多幅真实高光谱图像的实验结果证实了该方法在高光谱图像分类中的有效性。此外，模拟多光谱数据的实验表明，该模型能够找到表示，可有效地用于多光谱分辨率样本的分类。
2013-08-06 cs.CV cs.LG
First and Second Order Methods for Online Convolutional Dictionary Learning
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
卷积稀疏表示是一种具有结构化的、平移不变字典的稀疏表示形式。迄今为止，大多数卷积字典学习算法都以批处理模式操作，需要在学习过程中同时访问所有训练图像，这导致非常高的存储器使用率，并严重限制了可以使用的训练数据。然而，最近，许多作者已经考虑了在线卷积字典学习算法的设计，该算法提供了比批处理方法更好的存储器和计算成本与训练集大小的缩放。本文扩展了我们以前的工作，改进了我们以前算法的一些方面;提出了一个全新的算法，具有更好的性能，并且支持包含空间掩码以从不完整数据中学习;并对这些方法进行了严格的理论分析。
2018-06-16 cs.CV cs.LG eess.IV
Graph-Dictionary Signal Model for Sparse Representations of Multivariate Data
LTS4, EPFL, Lausanne, Switzerland（瑞士洛桑联邦理工学院LTS4实验室）
本文提出图词典信号模型，通过图结构描述多变量数据中的关系，利用稀疏组合的图原子进行信号重构，优于现有基线方法。
2026-01-08 cs.LG stat.ML
Bridging Neural and Symbolic Representations with Transitional Dictionary Learning
Thayer School of Engineering（塞耶工程学院）；Dartmouth College（达特茅斯学院）
本文提出TDL框架，通过博弈论扩散模型与EM在线原型聚类隐式学习视觉部件和关系，在组合视觉数据集上显著优于无监督部件分割方法。
2025-03-17 cs.AI cs.CV cs.LG
AgileNet: Lightweight Dictionary-based Few-shot Learning
UC San Diego（加州大学圣地亚哥分校）；SDSU（圣地亚哥州立大学）
深度学习模型的成功与使用大量标记数据和过长的训练时间密切相关。随着使用这些模型的智能边缘应用的出现，关键的挑战是在资源受限的设备上获得相同的推理能力，同时提供适应性以应对数据的动态变化。我们提出了AgileNet，这是一种新的轻量级基于字典的少样本学习方法，它提供了降低复杂性的深度神经网络，用于在边缘高效执行，同时实现低成本更新以捕获新数据的动态。对最先进的少样本学习基准的评估表明，与现有技术相比，AgileNet具有更高的准确性。此外，AgileNet是第一个少样本学习方法，通过消除从主要训练中获得的知识来防止模型更新。通过我们新颖的端到端结构化分解学习的字典来确保此属性，这也降低了内存占用和计算复杂性，以匹配边缘设备约束。
2018-05-21 cs.AI cs.CV cs.LG
Tensor Decompositions in Recursive Neural Networks for Tree-Structured Data
Dipartimento di Informatica - Università di Pisa（比萨大学信息学系）
本文介绍了两个新的聚合函数编码的结构知识，从树结构的数据。它们利用Canonical和Tensor-Train分解来产生富有表现力的上下文聚合，同时限制模型参数的数量。最后，我们定义了两个新的神经递归模型的树利用这样的聚合功能，我们测试它们的两个树分类任务，显示出所提出的模型的优势时，树outdegree增加。
2020-08-13 cs.LG stat.ML
Share Your Attention: Transformer Weight Sharing via Matrix-based Dictionary Learning
MTS AI（MTS人工智能公司）；ITMO University（ITMO大学）
MASA通过矩阵基字典学习实现变换器层间权重共享，减少66.7%的参数同时保持性能，适用于大规模语言模型和视觉变换器。
2026-02-19 cs.AI cs.CL cs.LG
A Dictionary Approach to Domain-Invariant Learning in Deep Networks
Purdue University（普渡大学）；Duke University（杜克大学）
在本文中，我们通过在卷积神经网络（CNN）中仅使用少量特定于域的参数来显式建模域偏移，来考虑域不变深度学习。通过利用卷积滤波器可以很好地近似为一小组字典原子的线性组合的观察结果，我们首次从经验和理论上证明，通过将卷积层分解为特定于域的原子层和域共享系数层，可以有效地处理域移位，同时两者都保持卷积。输入通道现在将首先仅与每个相应的域特定字典原子进行空间卷积以“吸收”域变化，然后使用训练的公共分解系数线性组合输出通道以促进跨域的共享语义。我们使用玩具的例子，严格的分析，并与不同的数据集和架构的真实世界的例子，以显示所提出的插件框架的有效性，在交叉和联合域的性能和领域自适应。使用所提出的架构，我们只需要一小组字典原子来建模每个额外的域，这带来了可以忽略不计的额外参数，通常是几百个。
2020-09-28 cs.CV cs.LG stat.ML
Optimal dictionary for least squares representation
Systems and Control Engineering, IIT Bombay（印度理工学院孟买分校系统与控制工程）
字典是向量的集合，用于表示欧几里得空间中的随机向量。最近关于最优字典的研究集中在构建提供稀疏表示的字典，即，$\ell_0$ -最佳表示。在这里，我们考虑的问题，找到最佳的字典，表示随机向量的样本是最佳的$\ell_2$ -意义：最优的表示被定义为达到最小的平均$\ell_2$ -范数的系数用于表示随机向量。借助于对称半正定矩阵秩- $1$分解的最新结果，我们给出了$\ell_2$ -最优字典的一个明确的描述以及它们在多项式时间内的算法构造.
2017-05-01 cs.LG math.OC stat.ML
Optimal spectral transportation with application to music transcription
Université Côte d’Azur（蔚蓝海岸大学）；CNRS（法国国家科学研究中心）；OCA（蔚蓝海岸天文台）；IRIT（图卢兹计算机科学研究所）；Université de Bretagne Sud（南布列塔尼大学）；IRISA（法国国家信息与自动化研究所-雷恩第一大学联合研究中心）；Aix-Marseille Université（艾克斯-马赛大学）；LIF（计算机科学实验室）
许多光谱解混方法依赖于光谱数据到光谱模板字典上的非负分解。特别地，现有技术的音乐转录系统将输入信号的谱图分解到代表性音符谱的字典上。用于量化分解充分性的典型拟合度量是按频率比较数据和模板条目。因此，能量从一个频率箱到另一个频率箱的小位移以及木材的变化可能会损害拟合。我们解决这些问题，通过最佳的运输，并提出了一个新的措施，以适应整体的频率分布的能量，而不是频率明智的。基于声音的谐波性质，新的测量对于能量到谐波相关频率的移位以及能量的小的和局部的位移是不变的。配备了这种新的适应措施，笔记模板的字典可以大大简化为一组狄拉克向量位于目标基频（音高值）。这反过来又为一个非常快速和简单的分解算法提供了基础，该算法可以在真实的音乐数据上实现最先进的性能。
2016-10-10 cs.LG cs.SD stat.ML
Unsupervised Learning of Word-Sequence Representations from Scratch via Convolutional Tensor Decomposition
无监督文本嵌入提取是机器学习中文本理解的关键。Word 2 Vec及其变体在将具有相似句法或语义含义的词映射到彼此接近的向量方面取得了实质性的成功。然而，提取上下文感知的词序列嵌入仍然是一个具有挑战性的任务。在大型语料库上训练是困难的，因为标签很难获得。更重要的是，对于预训练的模型来说，要获得对所有下游任务或任何新数据集都通用的单词序列嵌入是一个挑战。我们提出了一个两阶段的ConvDic+DeconvDec框架来解决这个问题，通过结合词序列字典学习模型和词序列嵌入解码模型。我们提出了一种卷积张量分解机制，在学习阶段学习好的单词序列短语词典。它被证明是更准确，更有效地比流行的交替最小化方法。在解码阶段，我们引入了一个反卷积框架，它不受句子长度变化的影响。我们使用ConvDic+DeconvDec提取的单词序列嵌入对于我们测试的一些下游任务来说普遍很好。该框架既不需要预训练也不需要先验/外部信息。
2018-05-28 cs.CL cs.LG
Joint Probability Estimation Using Tensor Decomposition and Dictionaries
IIT Bombay（印度理工学院孟买分校）；Amazon（亚马逊）
在这项工作中，我们研究了一组给定的离散和连续随机变量的联合概率的非参数估计，从他们的（经验估计）2D边际，假设联合概率可以分解和近似的混合产品密度/质量函数。利用高斯混合模型（GARCH）等半参数技术估计联合概率密度函数（PDF）的问题得到了广泛的研究。然而，当底层密度是各种其他分布族（诸如拉普拉斯或广义高斯、均匀、柯西等）的混合时，这样的技术产生差的结果。此外，高斯分布不是估计本质上是混合的联合分布的最佳选择，即，一些随机变量是离散的，而另一些是连续的。我们提出了一种新的方法来估计的PDF使用的想法，从字典表示在信号处理加上低秩张量分解。据我们所知，这是第一次使用字典和张量分解来估计联合PDF。我们通过检查数据来创建各种分布族的字典，并使用它来近似混合物中产品的每个分解因子。我们的方法可以自然地处理混合$N$维分布。我们在各种合成和真实数据集上测试我们的方法，以证明其在更好的分类率和更低的出错率方面的有效性，与最先进的估计相比。
2022-03-03 cs.LG stat.ML
Geometric Considerations of a Good Dictionary for Koopman Analysis of Dynamical Systems: Cardinality, 'Primary Eigenfunction,' and Efficient Representation
Clarkson University（克拉克森大学）；Clarkson Center for Complex Systems Science（克拉克森复杂系统科学中心）
用简化模态表示动力系统是降阶建模的核心前提，也是日益流行的Koopman算子分析的DMD（动态模态分解）经验解释的主要关注点。在最优逼近和降阶建模的精神下，DMD方法和变体的目标是尽可能最好地将动态演化描述为适当变换的低秩空间中的线性演化。库普曼本征函数遵循可通过特征线法求解的线性偏微分方程，产生了几何和代数性质之间的几种有趣关系。对应于在数据表面上任意定义函数的自由，对于每个特征值，存在沿着特征发出的无限多个特征函数。我们专注于对比基数和等价性。特别是，我们引入了一个等价类，“主本征函数”，由那些本征函数相同的水平集，这有助于对比代数多重性从其他几何方面。通常，Koopman方法，特别是动态模式分解（DMD）和变体，允许数据驱动的研究如何可测函数沿轨道演变。据我们所知，还没有一个深入的研究有关的基础几何结构，一个有效的表示。我们提出了一个建设，导致功能的数据表面上，其相应的特征函数是有效的最小二乘意义上。我们称这种构造为最优库普曼本征函数DMD，（oKEEDMD），我们强调的例子。
2021-03-24 cs.LG math.DS
Frame-based Sparse Analysis and Synthesis Signal Representations and Parseval K-SVD
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；National Tsing Hua University（国立清华大学）
框架是用于信号分解和重构的线性算子的基础，例如离散傅里叶变换、Gabor、小波和曲波变换。稀疏表示模型的出现使框架理论的重点转向稀疏l1最小化问题。在本文中，我们应用框架理论的信号的稀疏表示，其中的合成字典是用于一个框架和分析字典是用于一个双重框架。我们试图制定一个新的双帧设计，其中通过任何信号的分解得到的稀疏向量也是稀疏的解决方案表示基于重建帧的信号。我们的研究结果表明，这种类型的双帧不能构建过完整的帧，从而排除使用任何线性分析算子驱动的稀疏合成系数的信号表示。尽管如此，稀疏综合解决方案的最佳近似可以从使用规范对偶框架的分析系数导出。在这项研究中，我们开发了一种新的字典学习算法（称为Parseval K-SVD）来学习紧框架字典。然后，我们利用分析和合成的角度与帧的信号表示，以获得有关图像恢复的问题的优化配方。我们的初步结果表明，使用这种方法恢复的图像与字典的帧边界相关，从而证明了使用不同的字典用于不同的应用程序的重要性。
2018-01-06 cs.LG eess.SP
Dictionary-Transform Generative Adversarial Networks
字典-变换生成对抗网络通过稀疏合成结构实现对抗学习的可解释性和理论稳定性。
2025-12-25 cs.LG
Convex Tensor Decomposition via Structured Schatten Norm Regularization
本文研究用于凸优化张量分解的结构化Schatten范数，从理论上证明“潜在”方法优于“重叠”方法，并建立对偶性、一致性和可识别性结果。
2013-03-26 cs.LG cs.NA math.NA
Sparse Image Representation with Epitomes
École Normale Supérieure（巴黎高等师范学院）；INRIA（法国国家信息与自动化研究所）
稀疏编码是仅使用几个基本元素对矢量进行分解，广泛用于机器学习和图像处理。基集，也称为字典，被学习以适应特定的数据。这种方法在许多图像处理任务中被证明是非常有效的。传统上，字典是一个非结构化的“平面”原子集。在本文中，我们研究的结构化词典，这是从一个摘要，或一组摘要。缩影本身就是一个小图像，原子是这个图像中选定大小的所有补丁。这大大减少了要学习的参数的数量，并提供了具有shiftinvariance属性的稀疏图像分解。我们提出了一种新的配方和学习与摘要相关的结构化字典的算法，并说明其在图像去噪任务中的使用。
2011-10-13 cs.CV cs.LG stat.ML
Multi-label Learning via Structured Decomposition and Group Sparsity
Centre for Quantum Computation and Intelligent Systems（量子计算与智能系统中心）；Faculty of Engineering and Information Technology（工程与信息技术学院）；University of Technology Sydney（悉尼科技大学）
在多标签学习中，每个样本都与多个标签相关联。现有的工作表明，探索标签之间的相关性提高了预测性能。然而，将标签相关性嵌入到训练过程中会显着增加问题的大小。此外，标签结构在特征空间中的映射不清楚。在本文中，我们提出了一种新的多标签学习方法“结构化分解+组稀疏（SDGS）”。在SDGS中，我们从训练数据的结构化分解中学习每个标签的特征子空间，并从结构化分解获得的多个子空间上的组稀疏表示中预测新样本的标签。特别地，在训练阶段，我们将数据矩阵$X\in R^{n\times p}$分解为$X=\sum_{i=1}^kL^i+S$，其中与属于标签$i$的样本相关联的$L^i$的行是非零的并且构成低秩矩阵，而其他行是全零的，残差$S$是稀疏矩阵。$L_i$的行空间是对应于标签$i$的特征子空间。这种分解可以通过随机优化有效地获得。在预测阶段，我们通过组\emph{lasso}估计新样本在多子空间上的组稀疏表示。非零表示系数往往集中在样本所属的标签子空间上，从而可以获得有效的预测。我们在几个真实的数据集上评估了SDGS，并将其与流行的方法进行了比较。结果验证了SDGS的有效性和效率。
2011-03-03 cs.LG stat.ML
Learning parametric dictionaries for graph signals
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
在稀疏信号表示中，字典的选择通常涉及两个期望属性之间的权衡-适应特定信号数据的能力和字典的快速实现。为了稀疏地表示驻留在加权图上的信号，额外的设计挑战是将不规则数据域的固有几何结构并入字典的原子中。在这项工作中，我们提出了一个参数字典学习算法设计数据适应，结构化的字典，稀疏表示图形信号。特别是，我们将图形信号建模为重叠的局部模式的组合。我们施加的约束，每个字典是一个串联的subdictionaries，每个subdictionary是一个多项式的图形拉普拉斯矩阵，表示一个单一的模式翻译到不同的领域的图形。学习算法使模式适应于图形信号的训练集。实验结果表明，该算法学习到的字典在稀疏逼近图信号方面与最新数值学习算法学习到的非结构化字典相比，具有很强的竞争力，并且往往优于后者.然而，与非结构化字典相比，通过所提出的算法学习的字典具有局部原子的特征，并且可以在信号处理任务（例如压缩、去噪和分类）中以计算高效的方式实现。
2014-01-05 cs.LG cs.SI stat.ML
Learning Mixtures of Separable Dictionaries for Tensor Data: Analysis and Algorithms
Rutgers, The State University of New Jersey（罗格斯大学新泽西州立大学）；Electronic Arts（美国艺电）
这项工作解决了使用结构化字典学习学习张量数据的稀疏表示的问题。它提出了通过推广可分离字典学习模型来学习可分离字典的混合，以更好地捕获张量数据的结构。两种不同的方法学习混合的可分离的字典进行了探讨，并在每种情况下的基础字典的局部可识别性的充分条件。此外，计算算法的开发，以解决学习混合的可分离字典在批处理和在线设置的问题。数值实验表明，所提出的模型和算法的有效性。
2020-06-14 cs.IT cs.LG eess.SP
