Online Learning Sensing Matrix and Sparsifying Dictionary Simultaneously for Compressive Sensing
Technion - Israel Institute of Technology（以色列理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文研究了在大规模训练数据集上同时学习感知矩阵和稀疏化字典的问题。为了解决制定的联合学习问题，我们提出了一个在线算法，包括一个封闭的形式的解决方案，用于优化传感矩阵与固定的稀疏化字典和随机方法学习稀疏化字典的大数据集时，传感矩阵给定的传感矩阵。受益于在大数据集上的训练，通过所提出的算法获得的压缩感知（CS）系统在信号恢复精度方面比现有的系统产生更好的性能。对自然图像的仿真结果表明，与现有的方法相比，所提出的在线算法是有效的。
2018-06-02 cs.LG
Per-Block-Convex Data Modeling by Accelerated Stochastic Approximation
字典学习、非负矩阵分解、子空间聚类和并行因子张量分解任务等应用激发了针对逐块凸和非光滑优化问题的良好算法。通过利用随机近似范式和一阶加速方案，本文开发了一个在线和模块化的学习算法的一大类非凸数据模型，凸性表现为每个块的变量时，其余的是固定的。所提倡的算法引起的计算复杂性与未知数的数量成线性比例。在复合优化任务的成本函数上的最小假设下，在优化变量上没有边界约束，或者在Lipschitz系数的边界上没有任何明确的信息，在所得迭代中在线评估的预期成本可证明以二次速率收敛到（每个块）最小值的累积点，而预期成本的次梯度在均方意义上渐近消失。一般方法的优点在两个在线学习设置中得到了证明：（i）使用稀疏识别的总最小二乘准则的鲁棒线性回归;以及（ii）用于网络范围的链路负载跟踪和缺失条目插补的半监督字典学习。对合成数据和真实数据的数值测试突出了所提出的流数据分析框架的潜力，表现出优于块坐标下降的性能，并降低了相对于流行的交替方向乘法器方法的复杂性。
2017-01-26 cs.LG
Dictionary Learning for Massive Matrix Factorization
Inria（法国国家信息与自动化研究所）；CEA（法国原子能与替代能源委员会）；Paris-Saclay University（巴黎萨克雷大学）；Neurospin（Neurospin 神经影像研究中心）；Grenoble（格勒诺布尔）
稀疏矩阵分解是获得可解释数据分解的流行工具，其也有效地执行数据补全或去噪。它对大型数据集的适用性已经通过在线和随机方法得到了解决，这些方法降低了其中一个矩阵维度的复杂性，但并没有同时降低这两个维度的复杂性。在本文中，我们处理非常大的矩阵在两个维度。我们提出了一种新的因式分解方法，可以优雅地扩展到TB级的数据集，这是以前的算法在合理的时间内无法处理的。我们证明了我们的方法在大量功能性磁共振成像（fMRI）数据上的效率，以及推荐系统的矩阵完成问题，与最先进的坐标下降方法相比，我们获得了显着的速度提升。
2016-05-26 cs.LG q-bio.QM stat.ML
Lifelong Metric Learning
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of Rochester（罗切斯特大学）；University of Arkansas at Little Rock（阿肯色大学小石城分校）
最先进的在线学习方法只能学习预定义任务的度量。在本文中，我们认为终身学习问题模仿“人类学习”，即，赋予从新的在线样本学习到的用于新任务的度量新的能力，并结合先前的经验和知识。因此，我们提出了一个新的度量学习框架：终身度量学习（LML），它只利用新任务的数据来训练度量模型，同时保持原有的能力。更具体地说，建议的LML维护一个公共子空间的所有学习的指标，命名为终身字典，从公共子空间的知识转移到每个新的度量任务与任务特定的特质，并重新定义公共子空间随着时间的推移，以最大限度地提高所有度量任务的性能。对于模型优化，我们采用在线被动积极的优化算法来解决所提出的LML框架，终身字典和任务特定的分区交替和连续优化。最后，我们通过分析几个多任务度量学习数据集来评估我们的方法。大量的实验结果表明，所提出的框架的有效性和效率。
2017-06-12 cs.AI cs.LG
On the Size of the Online Kernel Sparsification Dictionary
IDSIA, USI & SUPSI（IDSIA、瑞士意大利语区大学及瑞士南部应用科学大学）
我们使用一个新的公式来分析通过在线核稀疏化构建的字典的大小，该公式根据协方差算子的特征值来表达核Gram矩阵的预期行列式。使用这个公式，我们能够将字典的基数与协方差算子的本征衰减联系起来。特别是，我们表明，在一定的技术条件下，字典的大小将始终增长的数据点的数量次线性，因此，从所得到的字典构建的内核线性回归是一致的。
2012-06-18 cs.LG stat.ML
Online Adaptive Image Reconstruction (OnAIR) Using Dictionary Models
University of Michigan（密歇根大学）
稀疏模型和低秩模型在从有限的或损坏的测量值重建图像和视频中很受欢迎。字典或变换学习方法在去噪、修复和医学图像重建等应用中非常有用。本文提出了一个框架，在线（或时序）自适应重建的动态图像序列的线性（通常欠采样）测量。我们模型的时空补丁的基础动态图像序列稀疏的字典，我们同时估计字典和图像顺序从流测量。还考虑了对适应字典的多个约束，例如酉矩阵或提供额外效率或鲁棒性的低秩字典原子。所提出的在线算法具有内存效率，并且涉及字典原子、稀疏系数和图像的简单更新。数值实验表明，所提出的方法在逆问题，如视频重建或修复噪声，亚采样像素，和动态磁共振图像重建从非常有限的测量的有用性。
2019-07-22 cs.LG stat.ML
Binary Matrix Factorization via Dictionary Learning
Departamento de Procesamiento de Señales, Instituto de Ingeniería Eléctrica, Facultad de Ingeniería, Universidad de la República（共和国大学工程学院电气工程研究所信号处理系（Departamento de Procesamiento de Señales, Instituto de Ingeniería Eléctrica, Facultad de Ingeniería, Universidad de la República））
矩阵分解是数据分析中的一个关键工具;它的应用包括推荐系统，相关性分析，信号处理等。二进制矩阵是一个特殊的情况下，已收到显着的关注超过三十年，特别是在数据挖掘领域。字典学习是指一系列用于学习过完备基（也称为帧）的方法，以有效地编码给定类型的样本;这个领域现在也有大约20年的历史，主要是在信号处理领域中发展起来的。在这项工作中，我们提出了两个二进制矩阵分解方法的基础上的二进制适应的字典学习范式的二进制矩阵。所提出的算法专注于速度和可扩展性，他们的工作与二进制因子结合位操作和一些辅助整数。此外，该方法很容易适用于在线二进制矩阵分解。在矩阵分解的另一个重要问题是秩的因素的选择，我们解决这个模型选择问题的最小描述长度原则的基础上，一个有效的方法。我们的初步结果表明，所提出的方法是有效的，在生产不同性质的各种数据类型的可解释的因子分解。
2018-07-26 cs.CV cs.IR cs.IT
Compressed Online Dictionary Learning for Fast fMRI Decomposition
Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Paris-Saclay University（巴黎萨克雷大学）
我们提出了一种快速静息状态fMRI空间分解的非常大的数据集，基于减少的时间维度之前，应用字典学习连接的个人记录从组的主题。介绍了一个措施的对应关系的空间分解休息功能磁共振成像，我们证明了时间减少字典学习产生的结果可靠的非减少分解。我们还表明，这种减少显着提高计算的可扩展性。
2016-02-08 cs.LG stat.ML
Online Orthogonal Dictionary Learning Based on Frank-Wolfe Method
Hong Kong University of Science and Technology（香港科技大学）
字典学习是信号处理和机器学习中广泛使用的一种无监督学习方法。现有的大多数词典学习工作都是以离线方式进行的。词典学习主要有两种离线方式。一种是对字典和稀疏代码进行替代优化;另一种方法是通过将字典限制在正交组上来优化字典。后者被称为正交字典学习，其具有较低的复杂度实现，因此，它更有利于低成本设备。然而，现有的正交字典学习方案只能处理批量数据，不能在线实现，不适用于实时应用。本文提出了一种新的在线正交字典计划，动态学习的字典从流数据，而无需存储的历史数据。该方案包括一个新的问题制定和有效的在线算法设计与收敛性分析。在问题的制定，我们放松正交约束，使一个有效的在线算法。在算法设计中，我们提出了一种新的基于Frank-Wolfe的在线算法，其收敛速度为O（lnt/t^（1/4））。的收敛速度的关键系统参数也来自。合成数据和真实世界的传感器读数的实验证明了所提出的在线正交字典学习方案的有效性和效率。
2021-11-25 cs.LG eess.SP math.OC
Online Convolutional Dictionary Learning
UCLA（加州大学洛杉矶分校）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
虽然最近已经提出了许多不同的算法用于卷积字典学习，但这仍然是一个昂贵的问题。从大型训练集学习的最大障碍是内存需求，由于所有现有方法都是批处理算法，内存需求至少与训练集的大小呈线性增长。本文报告的工作通过将在线词典学习思想扩展到卷积上下文来解决这一限制。
2017-08-30 cs.CV cs.LG eess.IV
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
非负矩阵分解（NMF）与组稀疏约束的概率图形模型，并制定，假设一些观察数据已产生的模型，一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时，NMF最常用作无监督特征提取器，然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念（其是系数的稀疏性的基础）之后，所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典，其不仅旨在忠实地表示数据，而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明，在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Online Multilinear Dictionary Learning
Department of Electrical & Electronic Engineering, Imperial College London, United Kingdom（伦敦帝国理工学院电子与电气工程系）
提出了一种在线张量字典学习方法。在可分字典的假设下，利用张量收缩将$\mathcal{O}\left(L^N\right)$的$N$ -路模型简化为具有实时性的简单的$\mathcal{O}\left(NL^2\right)$矩阵方程。为了避免稀疏矩阵求逆引起的数值不稳定性，通过最小二乘解构造了一类具有记忆的随机梯度算法，以保证算法的收敛性和鲁棒性。讨论并实现了精确线搜索的梯度下降法和牛顿法。还详细解释了如何处理不良初始化和离群值的扩展。两个合成信号的实验证实了我们所提出的方法令人印象深刻的性能。
2020-03-10 cs.LG stat.ML
NOODL: Provable Online Dictionary Learning and Sparse Coding
University of Minnesota – Twin Cities（明尼苏达大学双城分校）；Princeton University（普林斯顿大学）
我们考虑字典学习问题，其目的是将给定数据建模为称为字典的矩阵的几列的线性组合，其中形成线性组合的稀疏权重称为系数。由于字典和系数，参数化的线性模型是未知的，相应的优化是固有的非凸。这是一个重大的挑战，直到最近，当字典学习的可证明算法被提出。然而，这些仅提供对字典的恢复的保证，而没有对系数的显式恢复保证。此外，字典中的任何估计误差不利地影响成功定位和估计系数的能力。这潜在地限制了现有可证明字典学习方法在系数恢复感兴趣的应用中的效用。为此，我们开发NOODL：一个简单的神经合理的交替基于优化的在线字典学习算法，恢复字典和系数正好在几何速率，当适当初始化。我们的算法，NOODL，也是可扩展的，适合大规模分布式实现的神经架构，我们的意思是，它只涉及简单的线性和非线性操作。最后，我们证实了这些理论结果，通过实验评估所提出的算法与目前最先进的技术。保留字：字典学习、可证明字典学习、在线字典学习、非凸、稀疏编码、支持恢复、迭代硬阈值、矩阵分解、神经架构、神经网络、noodl、稀疏表示、稀疏信号处理。
2019-08-27 cs.LG cs.NE stat.ML
Online Multi-Source Domain Adaptation through Gaussian Mixtures and Dataset Dictionary Learning
Université Paris-Saclay（巴黎-萨克雷大学）；CEA, List（法国原子能和替代能源委员会List研究所）；Ecole Centrale de Lyon（里昂中央理工学院）
针对流式目标域的在线多源域适应问题，提出基于Wasserstein几何的在线高斯混合模型与数据集字典学习新方法，在Tennessee Eastman Process基准上实现实时适应并作为数据流记忆。
2024-07-29 cs.LG stat.ML
Multi-Layer Convolutional Sparse Modeling: Pursuit and Dictionary Learning
Technion-Israel Institute of Technology（以色列理工学院）；Stanford University（斯坦福大学）
最近提出的多层卷积稀疏编码（ML-CSC）模型，由级联的卷积稀疏层，提供了一个新的解释卷积神经网络（CNN）。在这个框架下，CNN中的前向传递的计算相当于一个追踪算法，旨在从给定的输入信号中估计嵌套的稀疏表示向量（或特征图）。尽管已经成为CNN和稀疏建模之间的关键联系，但仍然缺乏对ML-CSC的更深入理解：没有追踪算法可以精确地服务于这个模型，也没有条件保证非空模型。虽然可以容易地获得近似满足ML-CSC约束的信号，但仍然不清楚如何简单地从模型中采样，更重要的是，如何从真实数据中训练卷积滤波器。在这项工作中，我们提出了一个健全的追求算法的ML-CSC模型，采用投影方法。我们提供了新的和改进的边界上的稳定性的解决方案，这样的追求，我们分析了不同的实际替代方案，以实现这在实践中。我们证明了滤波器的训练对于模型中的非平凡信号至关重要，并且我们推导出一种在线算法来从真实数据中学习字典，有效地产生级联稀疏卷积层。最后，但并非最不重要的是，我们证明了ML-CSC模型在无监督环境中的几个应用程序的适用性，提供了有竞争力的结果。我们的工作代表了矩阵分解，稀疏字典学习和稀疏自动编码器之间的桥梁，我们详细分析了这些连接。
2018-06-30 cs.CV cs.LG stat.ML
Online multidimensional dictionary learning
University Cadi Ayyad（卡迪·艾亚德大学）；Université du Littoral Côte d’Opale（滨海布洛涅大学）
本文提出基于 t-product 框架的在线多维字典学习方法，结合 Anderson 加速的 ISTA 算法提升稀疏求解效率，在数据补全等任务中优于现有加速技术。
2025-03-12 cs.LG cs.NA math.NA
Online Learning for Matrix Factorization and Sparse Coding
INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院信息学实验室）；Ecole Normale Supérieure（巴黎高等师范学院）；University of Minnesota（明尼苏达大学）
稀疏编码--即将数据向量建模为基本元素的稀疏线性组合--广泛用于机器学习、神经科学、信号处理和统计学。本文主要研究大规模矩阵分解问题，包括学习基集，使其适应特定数据。这个问题的变体包括信号处理中的字典学习、非负矩阵分解和稀疏主成分分析。在本文中，我们提出了一个新的在线优化算法，基于随机逼近，它可以优雅地扩展到具有数百万训练样本的大型数据集，并自然扩展到各种矩阵分解公式，使其适用于广泛的学习问题。收敛的证明，以及自然图像和基因组数据的实验表明，它导致最先进的性能方面的速度和优化的小型和大型数据集。
2010-02-11 cs.LG math.OC stat.ML
Graph-Aided Online Multi-Kernel Learning
University of California, Irvine（加州大学欧文分校）
多核学习（MKL）已广泛应用于函数逼近任务。MKL的关键问题是将内核组合到指定的字典中。字典中包含不相关的核会降低MKL的准确性，并增加计算复杂性。为了提高函数逼近的精度，降低计算复杂性，研究了数据驱动的核函数选择方法.具体地说，基于内核之间的相似性，新的框架构造和细化一个图，以帮助选择一个子集的内核。此外，随机特征近似被用来使连续获得的数据的在线实施。理论分析表明，我们提出的算法享有更严格的次线性遗憾界相比，最先进的基于图的在线MKL替代品。在一些真实数据集上的实验也展示了我们新的图形辅助框架的优势。
2021-02-09 cs.LG
First and Second Order Methods for Online Convolutional Dictionary Learning
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
卷积稀疏表示是一种具有结构化的、平移不变字典的稀疏表示形式。迄今为止，大多数卷积字典学习算法都以批处理模式操作，需要在学习过程中同时访问所有训练图像，这导致非常高的存储器使用率，并严重限制了可以使用的训练数据。然而，最近，许多作者已经考虑了在线卷积字典学习算法的设计，该算法提供了比批处理方法更好的存储器和计算成本与训练集大小的缩放。本文扩展了我们以前的工作，改进了我们以前算法的一些方面;提出了一个全新的算法，具有更好的性能，并且支持包含空间掩码以从不完整数据中学习;并对这些方法进行了严格的理论分析。
2018-06-16 cs.CV cs.LG eess.IV
A dictionary learning framework for graphs via filters and optimal transport
Graduate School of Information Science and Technology, Hokkaido University（北海道大学信息科学与技术研究生院）
提出一种基于滤波拉普拉斯和最优传输的图字典学习框架，利用代理滤波图距离度量重构误差并通过反向传播优化，在聚类和分类任务上表现优于现有方法。
2026-09-09 cs.LG
A Method for Robust Online Classification using Dictionary Learning: Development and Assessment for Monitoring Manual Material Handling Activities Using Wearable Sensors
University of Southern California（南加州大学）；Texas A&M University（得克萨斯农工大学）；Virginia Tech（弗吉尼亚理工大学）
基于稀疏估计的分类方法在处理图像等高维数据方面具有很好的效果，近年来受到了广泛的关注。在本文中，提出了一种方法，以提高性能的稀疏表示分类（SRC）的方法，然后将其应用到人类工人的在线过程监控的问题，特别是手动材料处理（MMH）操作使用可穿戴传感器（涉及111个传感器通道）监测。我们提出的方法优化的设计矩阵（又名字典）的线性模型用于SRC，最大限度地减少其不适定性，以实现稀疏的解决方案。这个过程基于字典学习（DL）的思想：我们优化由训练数据集形成的设计矩阵，以最大限度地减少冗余和一致性，并减少这些数据集的大小。使用这种优化的训练数据可以随后提高分类精度，并有助于减少SRC所需的计算时间;因此，它更适用于在线过程监控。所提出的方法的性能证明使用可穿戴传感器从手动材料处理实验获得的数据，并被发现优于基准方法的准确性，同时也需要适当的MMH在线监测的计算时间。
2018-10-22 cs.LG stat.ME stat.ML
Structure-Sensitive Graph Dictionary Embedding for Graph Classification
Nanjing University of Science and Technology（南京理工大学）
提出结构敏感的图字典嵌入框架，通过变分自适应和伯努利采样增强字典表达，结合多敏感性Wasserstein编码，在多个数据集上优于现有方法。
2023-06-18 cs.CV cs.LG
Fault Handling in Large Water Networks with Online Dictionary Learning
University of Bucharest（布加勒斯特大学）；University Politehnica of Bucharest（布加勒斯特理工大学）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Institut de Robòtica i Informàtica Industrial（工业机器人与信息技术研究所）
供水管网的故障检测和隔离是一个活跃的话题，由于其模型的数学复杂性和增加的数据可用性，通过传感器的位置。在这里，我们简化了模型，提供了一个数据驱动的替代方案，考虑到网络拓扑进行传感器放置时，然后继续通过在线字典学习的基础上传入的传感器数据来构建一个网络模型。在线学习速度很快，可以处理大型网络，因为它一次处理小批量信号，并且可以将新数据不断集成到现有网络模型中，无论是在开始训练时还是在遇到新数据样本时的生产中。该算法在小型和大型网络上进行测试时表现出良好的性能。
2020-09-07 cs.LG cs.NA cs.SY
Online Dictionary Learning Based Fault and Cyber Attack Detection for Power Systems
University of California, Santa Cruz（加州大学圣克鲁兹分校）
新兴的广域监测系统（WAMS）带来了电网的态势感知的显着改善。然而，新引入的系统可能会增加网络攻击的风险，这些攻击可能会伪装成正常的物理干扰。本文利用流数据采掘分类器（Hoeffding adaptive tree）和半监督学习技术来处理事件和入侵检测问题，以准确区分网络攻击和常规系统扰动。首先，我们提出的方法通过从未标记的数据中学习更高级别的特征来构建字典。然后，标记的数据表示为学习的字典原子的稀疏线性组合。我们利用这些稀疏代码来训练在线分类器以及有效的变化检测器。我们用工业控制系统网络攻击数据集进行数值实验。我们考虑五种不同的情况：短路故障，线路维护，远程跳闸命令注入，继电器设置的变化，以及错误的数据注入。数据是基于修改后的IEEE 9总线系统生成的。仿真结果表明，我们提出的方法优于国家的最先进的方法。
2021-08-24 cs.CR cs.LG cs.SY
ECG beats classification via online sparse dictionary and time pyramid matching
Zhuhai College of Jilin University（吉林大学珠海学院）；College of Communication Engineering（通信工程学院）；Jilin University（吉林大学）
最近，词袋（BOW）算法提供了有效的功能，并提高了ECG分类系统的准确性。然而，BOW算法有两个缺点：（1）。量化误差大，重构性能差;它丢失了心跳的时间信息，并且可能为不同种类的心跳提供混淆的特征。此外，心电分类系统可用于心血管病人的长时间监测和分析，同时会产生大量的数据，因此迫切需要一种高效的压缩算法。针对上述问题，本文利用小波特征构造稀疏字典，将量化误差降到最小。为了降低算法的复杂度，适应大规模的心跳运算，我们将在线字典学习与符号学习算法相结合，对字典和系数进行更新。采用系数矩阵表示心拍，大大减少了内存消耗，同时解决了量化误差问题。最后，我们构造金字塔来匹配每个ECG搏动的系数。因此，我们通过时间随机池化来获得包含节拍时间信息的特征。有效地解决了时间信息丢失的问题。实验结果表明：一方面，该算法对BOW具有较高的重构性能，存储方式具有高保真度和低内存消耗的优点;另一方面，该算法对心拍分类的准确率最高，更适合于大规模心拍数据的存储和分类。
2020-08-15 cs.CV cs.LG
Kernel Recursive Least Squares Dictionary Learning Algorithm
Electrical Engineering Department, Hamedan University of Technology（哈马丹技术大学电子工程系）；Department of Electrical and Computer Engineering, IDE, University of Stavanger（斯塔万格大学电子与计算机工程系）
本文提出一种基于递归最小二乘的在线核字典学习算法，以低计算复杂度实现接近批量训练的稀疏表示分类性能。
2025-07-02 cs.LG eess.SP
Unsupervised Dictionary Learning for Anomaly Detection
University of Bucharest（布加勒斯特大学）；The Research Institute of the University of Bucharest (ICUB)（布加勒斯特大学研究院（ICUB））
我们研究了采用字典学习来解决大多数异常检测应用程序的要求的可能性，例如缺乏监督，在线配方，低误报率。我们提出了新的结果，我们最近的半监督在线算法，TODDLeR，反洗钱的应用。我们还介绍了一种新的无监督的方法，使用性能的学习算法的样本的性质的指示。
2020-09-07 cs.CR cs.CV cs.LG
Sparse-promoting Full Waveform Inversion based on Online Orthonormal Dictionary Learning
Center for Energy and Geo Processing (CeGP) at Georgia Tech and KFUPM（乔治亚理工学院与法赫德国国石油矿物大学能源与地球处理中心）
全波形反演（FWI）通过迭代地最小化记录的和计算的地震资料之间的失配来提供地下的高分辨率图像。它已经成功地攻击高斯-牛顿方法和稀疏促进正则化的基础上固定的多尺度变换，允许显着的子采样的地震资料时，在每个FWI数据拟合迭代的模型扰动可以表示与稀疏系数。而不是使用分析变换与预定义的字典，以实现稀疏表示，我们引入了一个自适应变换称为稀疏正交变换（SOT），其字典是从许多小的训练补丁从模型扰动在以前的迭代学习。基于补丁的字典被约束为正交规范，并使用在线方法进行训练，以提供整个模型扰动的复杂特征和变化的最佳稀疏表示。训练方法的复杂度与一个小块中样本数量的立方成正比。通过将压缩子采样和基于自适应SOT的表示结合到每个FWI迭代的高斯-牛顿最小二乘问题中，可以在对SOT系数应用l1范数稀疏约束之后恢复模型扰动。合成模型的数值实验表明，基于SOT的稀疏促进正则化可以提供强大的FWI结果，减少计算。
2016-11-04 cs.LG cs.NA math.NA
Graph-Dictionary Signal Model for Sparse Representations of Multivariate Data
LTS4, EPFL, Lausanne, Switzerland（瑞士洛桑联邦理工学院LTS4实验室）
本文提出图词典信号模型，通过图结构描述多变量数据中的关系，利用稀疏组合的图原子进行信号重构，优于现有基线方法。
2026-01-08 cs.LG stat.ML
Finding GEMS: Multi-Scale Dictionaries for High-Dimensional Graph Signals
现代数据对传统的信号处理方法提出了新的挑战，导致人们对图形信号处理领域的兴趣日益浓厚。一个强大的和良好建立的模型，为现实世界的信号在各个领域是稀疏表示字典，结合训练的能力，从信号的例子字典。该模型已成功地应用于图形信号，以及通过将底层图形拓扑结构集成到学习的字典。尽管如此，由于字典学习问题所需要的计算约束，以及由于直接使用图拉普拉斯矩阵，用于图信号的字典学习方法通常限于小维度。在本文中，我们提出了一个字典学习算法，适用于更广泛的一类图形信号，并能够处理更高维的数据。我们将潜在的图形拓扑结构隐式地，通过迫使学习字典原子是图小波函数的稀疏组合，并明确地，通过添加直接图约束，以促进在特征和流形域的平滑度。因此，所得到的原子适应于感兴趣的数据，同时粘附到底层的图形结构，并拥有所需的多尺度属性。在不同性质的合成和真实网络数据集上的实验结果表明，该算法在高维情况下也能有效地处理图形信号.
2018-06-14 cs.LG stat.ML
Structure-Aware Classification using Supervised Dictionary Learning
Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们提出了一个监督字典学习算法，旨在保持局部几何在两个维度的数据。基于图的正则化明确考虑了数据点的局部流形结构。第二个图正则化对特征域进行了类似的处理，并有助于学习更强大的字典。这两个图都可以从训练数据构建，或者沿着字典学习过程学习和调整。这两个术语的组合促进了学习的稀疏表示的区分能力，并导致改进的分类精度。该方法在几个不同的数据集上进行了评估，代表单标签和多标签分类问题，与其他基于字典的方法相比，表现出更好的性能。
2016-09-29 cs.CV cs.LG
Decentralized Dynamic Discriminative Dictionary Learning
University of Pennsylvania（宾夕法尼亚大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
我们考虑在分布式在线环境中的判别式字典学习，其中代理网络的目标是在顺序接收观察结果的同时学习特征空间和模型参数的一组公共字典元素。我们将该问题描述为具有非凸目标的分布式随机规划，并提出了Arrow-Hurwicz鞍点算法的块变体来求解该问题。使用拉格朗日乘子来惩罚它们之间的差异，只有相邻节点交换模型信息。我们表明，这个鞍点算法的决策渐近平均达到一阶平稳条件。
2016-05-03 cs.LG stat.ML
Structure Parameter Optimized Kernel Based Online Prediction with a Generalized Optimization Strategy for Nonstationary Time Series
Fujian Institute of Research on the Structure of Matter, Chinese Academy of Sciences（中国科学院福建物质结构研究所）；Tsinghua University（清华大学）
本文研究了再生核Hilbert空间中非平稳时间序列的稀疏化辅助在线预测算法。通常的在线预测算法包括核结构参数的选择和核权向量的更新。对于结构参数，采用稀疏化技术和在线选择性建模准则选择核字典，并根据协方差矩阵自适应进化策略（CMA-ES）间歇优化核协方差矩阵。对实对称协方差矩阵进行优化，不仅可以利用输入变量的互相关性提高核结构的灵活性，而且可以部分缓解非平稳时间序列核字典选择带来的预测不确定性。为了充分捕捉预测误差时间序列的潜在动态特征，设计了一种广义优化策略，在多核连接模式下依次构造核字典.广义优化策略提供了一种更独立的方式来构建整个内核连接，这增强了自适应跟踪动态特性变化的能力。数值模拟表明，该方法对非平稳时间序列具有较好的预测性能。
2021-08-18 cs.LG eess.SP
Multi-Dictionary Learning for Low Rank Sparse Coding
University at Albany – SUNY（纽约州立大学奥尔巴尼分校）
针对多字典场景学习字典和编码系数的挑战，提出低秩编码模型，建立样本数量上下界，给出交替凸优化解决方案AODL，在合成和真实数据集上验证其数据重建和缺失值插补质量及稀疏度优势，还能揭示训练样本模式见解。
2026-07-16 cs.LG
Semi-supervised dual graph regularized dictionary learning
CEA（法国原子能和替代能源委员会）；LIST（信息技术与系统实验室（CEA下属））；Laboratoire AIM（AIM实验室）；CNRS（法国国家科学研究中心）；Paris 7（巴黎第七大学）；Irfu（核物理与粒子物理研究所（CEA下属））
在本文中，我们提出了一种半监督字典学习方法，该方法使用标记和未标记数据中的信息，并联合训练嵌入稀疏代码的线性分类器。稀疏代码空间中数据的流形结构使用与局部线性嵌入方法（LLE）相同的方法来保留。这使得人们能够加强未标记数据稀疏码的预测能力。我们表明，我们的方法提供了显着的改进，比其他方法。通过在稀疏码上训练一个简单的非线性分类器作为SVM，可以进一步改善分类结果。
2018-12-11 cs.LG stat.ML
Data-driven Leak Localization in Water Distribution Networks via Dictionary Learning and Graph-based Interpolation
University of Bucharest（布加勒斯特大学）；Politehnica University of Bucharest（布加勒斯特理工大学）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Institut de Robòtica i Informàtica Industrial（机器人与信息技术研究所）
在本文中，我们提出了一种数据驱动的供水管网（WDN）泄漏定位方法，它结合了两种互补的方法：基于图的插值和字典分类。前者估计完整的WDN液压状态（即，水力水头）的实际测量值和网络图。然后，这些实际测量，连同有价值的估计状态的子集，用于饲料和训练字典学习方案。因此，探索了这两种方法的网格化，表明其性能优于单独的任何一种方法，甚至推导出不同的机制来增加其对经典问题的弹性（例如，维数、插值误差等）。使用BattLeDIM 2020上提出的L-TOWN基准对该方法进行了验证。
2021-10-12 cs.LG cs.SY eess.SY
Tensor-Dictionary Learning with Deep Kruskal-Factor Analysis
PNNL（太平洋西北国家实验室）
本文提出了一种适用于任意阶张量变量数据的多因子分析模型。每个数据项表示为Kruskal分解的（稀疏）和，即Kruskal因子分析（KFA）。KFA是非参数的，并且可以推断每个字典原子的张量秩和字典原子的数量。该模型适用于在线学习，允许在大数据集上进行字典学习。在引入KFA之后，该模型被扩展到由贝叶斯SVM监督的深度卷积张量因子分析。实验部分展示了KFA相对于向量化方法的改进（例如，BPFA）、张量分解和卷积神经网络（CNN）在多路去噪、盲修复和图像分类中的应用。与其他方法相比，修复结果的PSNR改善在几种情况下超过1dB，我们在Caltech 101图像分类上取得了最先进的结果。
2017-03-05 cs.LG stat.ML
Cross-lingual Transfer for Text Classification with Dictionary-based Heterogeneous Graph
Tokyo Institute of Technology（东京工业大学）；AIST（日本产业技术综合研究所）；Asurion Japan Holdings G.K.（Asurion日本控股合同会社）；The University of Tokyo（东京大学）；RIKEN AIP（日本理化学研究所智能信息学中心）；AIRC, AIST（日本产业技术综合研究所人工智能研究中心）
在跨语言文本分类中，要求高资源源语言中的特定于任务的训练数据是可用的，其中任务与低资源目标语言的任务相同。然而，由于标记成本、任务特性和隐私问题，收集这样的训练数据可能是不可行的。本文提出了一种替代解决方案，只使用高资源语言和双语词典的任务无关的词嵌入。首先，我们从双语词典中构造了一个基于词典的异构图（DHG）。这开启了使用图神经网络进行跨语言迁移的可能性。剩下的挑战是DHG的异质性，因为考虑了多种语言。为了解决这一问题，本文提出了一种基于字典的异构图神经网络（DHGNet），它通过两步聚合（词级和语言级聚合）有效地处理了DHG的异构性.实验结果表明，该方法优于预训练模型，即使它不访问大型语料库。此外，即使字典包含许多不正确的翻译，它也能很好地执行。它的鲁棒性允许使用更广泛的字典，例如自动构建的字典和众包字典，这对于现实世界的应用来说很方便。
2021-09-10 cs.AI cs.CL cs.LG
Convergence of alternating minimisation algorithms for dictionary learning
Universität Innsbruck（因斯布鲁克大学）
本文为字典学习中的 MOD 和 ODL 算法推导了收敛的充分条件，证明在良好初始化下二者均以几何速率收敛到生成字典，并适用于支撑集非均匀分布的更真实数据模型。
2023-05-26 cs.LG math.OC stat.ML
NNK-Means: Data summarization using dictionary learning with non-negative kernel regression
University of Southern California（南加州大学）
越来越多的系统是通过收集大量的数据，然后直接使用所获得的数据优化系统参数来设计的。这通常是在不分析数据集结构的情况下完成的。随着任务复杂性、数据大小和参数都增加到数百万甚至数十亿，数据汇总正成为一个重大挑战。在这项工作中，我们研究通过字典学习~（DL）的数据摘要，利用最近引入的非负核回归（NNK）图的属性。我们提出的NNK均值，与以前的DL技术，如kSVD，学习几何字典与原子是输入数据空间的代表。实验表明，与kMeans和kSVD的线性和内核版本相比，使用NNK-Means的摘要可以提供更好的类分离。此外，NNK均值是可扩展的，运行时复杂度类似于kMeans。
2022-06-13 cs.LG
Learning parametric dictionaries for graph signals
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
在稀疏信号表示中，字典的选择通常涉及两个期望属性之间的权衡-适应特定信号数据的能力和字典的快速实现。为了稀疏地表示驻留在加权图上的信号，额外的设计挑战是将不规则数据域的固有几何结构并入字典的原子中。在这项工作中，我们提出了一个参数字典学习算法设计数据适应，结构化的字典，稀疏表示图形信号。特别是，我们将图形信号建模为重叠的局部模式的组合。我们施加的约束，每个字典是一个串联的subdictionaries，每个subdictionary是一个多项式的图形拉普拉斯矩阵，表示一个单一的模式翻译到不同的领域的图形。学习算法使模式适应于图形信号的训练集。实验结果表明，该算法学习到的字典在稀疏逼近图信号方面与最新数值学习算法学习到的非结构化字典相比，具有很强的竞争力，并且往往优于后者.然而，与非结构化字典相比，通过所提出的算法学习的字典具有局部原子的特征，并且可以在信号处理任务（例如压缩、去噪和分类）中以计算高效的方式实现。
2014-01-05 cs.LG cs.SI stat.ML
Dictionary Learning over Distributed Models
Microsoft Research（微软研究院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）；University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们考虑在代理网络上学习字典模型，其中每个代理只负责字典元素的一部分。这种表述在大数据场景中是相关的，其中大型字典模型可能分布在不同的空间位置，并且由于通信和隐私考虑，将所有字典聚合在一个位置是不可行的。我们首先证明了推理问题的对偶函数是与不同代理相关的个体成本函数的集合，然后可以通过扩散策略有效地最小化。协作推理步骤生成代理用来更新它们的字典的双变量，而不需要共享这些字典或甚至训练数据的系数模型。这是一个强大的属性，它导致了一个有效的分布式过程，用于在大型网络上学习字典（例如，在我们的实验中有数百个代理）。此外，所提出的学习策略以在线方式操作，并且能够响应流数据，其中每个数据样本被呈现给网络一次。
2014-12-07 cs.DC cs.LG
Multiple-Kernel Dictionary Learning for Reconstruction and Clustering of Unseen Multivariate Time-series
CITEC cluster of excellence（CITEC卓越集群）；Bielefeld University（比勒费尔德大学）
存在许多方法用于描述和识别数据集中的不可见类。然而，当我们处理多变量时间序列（MTS）（例如，运动数据），其中我们不能将矢量算法直接应用于输入。在这项工作中，我们提出了一种新的多核字典学习（MKD），学习语义属性的MTS维度在特征空间中的特定组合的基础上。因此，MKD可以基于训练数据（可见类）完全/部分地重建不可见类。此外，我们获得稀疏编码看不见的类的基础上学习的MKD属性，并在此基础上，我们提出了一个简单而有效的增量聚类算法来分类看不见的MTS类在无监督的方式。根据我们的MKD框架在真实基准上的经验评估，它提供了一个不可见MTS数据的可解释的重建以及关于其在线聚类的高性能。
2019-03-12 cs.LG stat.ML
Low Rank Multi-Dictionary Selection at Scale
University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）
本文提出LRMDS低秩稀疏多字典原子选择方法，通过逐步选择行列原子对并利用子字典进行凸松弛编码，在理论保证下实现3–10倍加速和最高两个数量级的表示质量提升。
2024-06-11 cs.LG
Semi-relaxed Gromov-Wasserstein divergence with applications on graphs
Univ. Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IP Paris（巴黎理工学院）；CMAP（应用数学中心）；MSI（数学科学研究所）；Univ. Lyon（里昂大学）；ENS de Lyon（里昂高等师范学院）；IRISA（法国信息与随机系统研究所）
比较结构化对象（如图）是许多学习任务中涉及的基本操作。为此，基于最优传输（OT）的Gromov-Wasserstein（GW）距离已被证明在处理关联对象的特定性质方面是成功的。更具体地说，通过节点连接关系，GW在图上操作，被视为特定空间上的概率度量。OT的核心是质量守恒的思想，它在两个所考虑的图的所有节点之间施加耦合。我们认为，在本文中，这个属性可能是有害的任务，如图字典或分区学习，我们放松它提出了一个新的半放松Gromov-Wasserstein分歧。除了直接计算的好处，我们讨论了它的属性，并表明它可以导致一个有效的图字典学习算法。我们经验证明了它的相关性，如分区，聚类和完成图上的复杂任务。
2022-03-01 cs.LG
Weakly-supervised Dictionary Learning
Oregon State University（俄勒冈州立大学）
我们提出了一个概率建模和推理框架的判别分析字典学习下的弱监督设置。字典学习方法已被广泛用于低级别信号去噪和恢复以及高级分类任务等任务，这些任务可应用于音频和图像分析。综合字典学习旨在联合学习字典和相应的稀疏系数，以提供准确的数据表示。这种方法对于去噪和信号恢复是有用的，但可能导致次优分类性能。相比之下，分析字典学习提供了一种将数据映射到适合分类的稀疏判别表示的变换。我们考虑了弱监督设置下的时间序列数据的分析字典学习问题，其中信号被分配有全局标签而不是瞬时标签信号。我们提出了一个歧视性的概率模型，采用基数控制的潜在瞬时标签信号的标签信息和稀疏性约束。我们提出了期望最大化（EM）的最大似然估计（MLE）的建议模型的过程。为了便于计算效率的E-步骤，我们提出了一个链和一个新的树图的图形模型的重新制定。所提出的模型的性能证明在合成和真实世界的数据。
2018-02-05 cs.LG eess.SP stat.ML
Decentralized Dictionary Learning Over Time-Varying Digraphs
Purdue University（普渡大学）；University of Rome “La Sapienza”（罗马第一大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
本文研究了字典学习问题，其中的学习任务分布在一个多智能体网络，建模为一个随时间变化的有向图。例如，在大量数据被收集/存储在不同位置（例如，传感器、云）以及在融合中心中聚集和/或处理所有数据可能由于资源限制、通信开销或隐私问题而效率低下或不可行。我们开发了一个统一的分散算法框架，这类非凸问题，这被证明是收敛到稳态解的次线性速率。新方法依赖于连续凸逼近技术，再加上一个分散的跟踪机制，旨在局部估计和效用的平滑部分的梯度。据我们所知，这是字典学习的第一个可证明收敛的分散算法，更一般地说，是（时变）（di）图上的双凸问题。
2019-03-05 cs.DC cs.LG math.OC
Distributed Dictionary Learning
Purdue University（普渡大学）
本文研究了分布式字典学习（DL）问题，其中学习任务分布在一个多智能体网络与时变（非对称）连接。例如，在大数据场景中，大量数据被收集/存储在不同的空间位置，并且由于资源限制、通信开销或隐私考虑，在融合中心中聚合和/或处理所有数据是不可行的。我们开发了一个通用的分布式算法框架（非凸）DL问题，并建立其渐近收敛。新方法依赖于连续凸近似（SCA）技术，再加上i）梯度跟踪机制，有助于局部估计缺失的全局信息; ii）共识步骤，作为在代理之间分配计算的机制。据我们所知，这是第一个分布式算法与证明收敛的DL问题，更一般地说，双凸优化问题（时变）有向图。
2016-12-21 cs.LG math.OC
Community-Level Anomaly Detection for Anti-Money Laundering
The Research Institute of the University of Bucharest (ICUB), University of Bucharest（布加勒斯特大学布加勒斯特大学研究院（ICUB））；University of Bucharest（布加勒斯特大学）
网络中的异常检测通常归结为识别异常发生所依赖的底层图结构。金融欺诈方案就是这样一个例子，其中采用了或多或少复杂的方案以逃避交易安全协议。我们研究的问题，学习图结构表示使用适应的字典学习，旨在编码连接模式。特别是，我们适应字典学习策略的网络拓扑结构的特异性，并提出了新的方法，对字典本身施加拉普拉斯结构。在一个适应中，我们专注于通过直接在图拉普拉斯算子上工作来对拓扑进行分类，并将学习问题转换为适应其2D结构。我们通过学习由向量化原子拉普拉斯算子组成的字典来解决同样的问题，并提供了一个块坐标下降方案来解决新的字典学习公式。在单块正交学习方法的适应中，还提出了在字典上施加拉普拉斯结构。合成图数据集，包括不同的图形拓扑结构的结果证实了潜在的字典直接表示图形结构信息。
2019-10-24 cs.CR cs.LG stat.ML
Towards an IMU-based Pen Online Handwriting Recognizer
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；STABILO International GmbH（思笔乐国际有限公司）
大多数在线手写识别系统需要使用特定的书写表面来提取位置数据。在本文中，我们提出了一个在线手写识别系统的文字识别，这是基于惯性测量单元（IMU）的数字化写在纸上的文本。这是通过配备传感器的笔获得的，该笔通过蓝牙提供加速度、角速度和磁力。我们的模型结合了卷积和双向LSTM网络，并使用连接主义时间分类损失进行训练，允许将原始传感器数据解释为单词，而无需序列分割。我们使用一个数据集的话收集使用多传感器增强笔和评估我们的模型上不同的测试集看到和看不见的话实现了17.97%和17.08%的字符出错率，分别没有使用字典或语言模型
2021-05-26 cs.CV cs.LG
Efficient Dictionary Learning with Sparseness-Enforcing Projections
Ulm University（乌尔姆大学）
学习字典适合稀疏编码，而不是使用工程基地已被证明是有效的各种图像处理任务。本文研究了优化字典的图像数据的表示是强制显式稀疏相对于一个光滑的，归一化的稀疏性措施。这涉及到计算欧几里德投影到稀疏度量的水平集上。而以前的算法，这个优化问题至少有准线性的时间复杂度，在这里提出的第一个算法具有线性时间复杂度和恒定的空间复杂度。其关键是基于软收缩函数的投影结果的表征的数学上严格的推导。这一理论被应用于一种名为Easy Dictionary Learning（EZDL）的原始算法中，该算法使用简单且快速计算的Hebbian-like学习规则来学习词典。新算法是有效的，表达和特别简单的实现。它表明，尽管它的简单性，所提出的学习算法是能够产生各种各样的字典，特别是拓扑组织的原子或可分离的原子。此外，字典的表现力作为基准学习算法在整个图像的再现质量方面，并导致等效的去噪性能。EZDL的学习速度比已经非常高效的在线词典学习算法快大约30%，因此有资格进行快速数据集分析和处理大量学习样本的问题。
2016-04-16 cs.CV cs.LG cs.NE
Learning Mixtures of Separable Dictionaries for Tensor Data: Analysis and Algorithms
Rutgers, The State University of New Jersey（罗格斯大学新泽西州立大学）；Electronic Arts（美国艺电）
这项工作解决了使用结构化字典学习学习张量数据的稀疏表示的问题。它提出了通过推广可分离字典学习模型来学习可分离字典的混合，以更好地捕获张量数据的结构。两种不同的方法学习混合的可分离的字典进行了探讨，并在每种情况下的基础字典的局部可识别性的充分条件。此外，计算算法的开发，以解决学习混合的可分离字典在批处理和在线设置的问题。数值实验表明，所提出的模型和算法的有效性。
2020-06-14 cs.IT cs.LG eess.SP
Graph learning under sparsity priors
EPFL（洛桑联邦理工学院）
图形信号为网络或不规则结构上的数据提供了非常通用和自然的表示。然而，实际的数据结构通常是先验未知的，但是有时可以根据应用领域的知识来估计。如果这是不可能的，则数据结构必须仅从信号观测推断。这正是我们在本文中解决的问题，假设图信号可以表示为结构化图字典的几个原子的稀疏线性组合。该字典构造在图拉普拉斯算子的多项式上，它可以稀疏地表示由图上的局部模式组成的一般类图信号。我们制定了一个图学习问题，其解决方案提供了一个理想的信号观测和稀疏图信号模型之间的配合。由于问题是非凸的，我们建议通过信号稀疏编码和图形更新步骤之间的交替来解决它。我们提供的实验结果，概述了良好的图形恢复性能，我们的方法，一般比较有利的其他最近的网络推理算法。
2017-07-18 cs.LG cs.SI stat.ML
Extrinsic Methods for Coding and Dictionary Learning on Grassmann Manifolds
College of Engineering and Computer Science, Australian National University（澳大利亚国立大学工程与计算机学院）；NICTA（澳大利亚国家信息与通信技术研究院）；School of Computer Science, The University of Adelaide（阿德莱德大学计算机科学学院）；The University of Queensland（昆士兰大学）；University of Queensland（昆士兰大学）
基于稀疏性的表示最近在各种视觉识别任务中取得了显着的成果。在另一条研究线中，黎曼流形被证明对于处理不在欧几里德空间中的特征和模型是有用的。为了在这两个领域之间建立一座桥梁，我们解决了线性子空间空间上的稀疏编码和字典学习问题，这些线性子空间形成了被称为格拉斯曼流形的黎曼结构。为此，我们建议嵌入格拉斯曼流形到空间的对称矩阵的等距映射。这反过来又使我们能够扩展两个稀疏编码方案格拉斯曼流形。此外，我们提出了学习格拉斯曼字典，原子原子的封闭形式的解决方案。最后，为了处理数据中的非线性，我们通过嵌入到Hilbert空间中来扩展所提出的Grassmann稀疏编码和字典学习算法。实验结果表明，与核仿射壳方法和图嵌入Grassmann判别分析方法相比，该方法在性别识别、手势分类、景物分析、人脸识别、动作识别和动态纹理分类等分类任务上的识别精度有了显著提高.
2015-05-20 cs.CV cs.LG stat.ML
