Multimodal Sparse Bayesian Dictionary Learning
ARM Machine Learning Research Lab（ARM机器学习研究实验室）；University of California, San Diego（加州大学圣地亚哥分校）
本文讨论了多模态数据集（即从多个数据源收集的数据集）的字典学习问题。我们提出了一种算法称为多模态稀疏贝叶斯字典学习（MSBDL）。MSBDL通过联合稀疏约束利用来自所有可用数据模态的信息。底层框架为从业者提供了相当大的灵活性，并解决了现有多模态词典学习方法的许多缺点。特别是，该过程包括超参数的自动调整，并且是独特的，因为它允许每个数据模态的字典具有不同的基数，这是数据的维度在模态之间不同的情况下的一个重要特征。MSBDL是可扩展的，可用于监督学习环境。MSBDL的收敛性的理论结果和数值结果提供了证据的MSBDL合成和真实数据集上的优越性能相比，现有的方法。
2019-05-29 cs.LG stat.ML
Convolutional dictionary learning based auto-encoders for natural exponential-family distributions
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Brown University（布朗大学）
我们介绍了一类自编码器神经网络，它是为来自自然指数族的数据定制的（例如，计数数据）。这些架构的灵感来自于在具有稀疏约束的卷积生成模型中学习滤波器的问题，通常被称为卷积字典学习（CDL）。我们的工作是第一个结合卷积生成模型和深度学习的想法，用于自然建模的非高斯分布数据（例如，二项式和泊松）。这种观点为我们提供了一个可扩展的和灵活的框架，可以重新用于生成模型上的各种任务和假设。具体而言，用于求解CDL（无监督任务）的迭代优化过程被映射到展开和约束的神经网络，对输入进行迭代调整以考虑生成分布。我们还表明，该框架可以很容易地扩展到判别训练，适合监督任务。我们证明了1）以无监督的方式拟合生成模型来学习神经尖峰数据背后的潜在刺激，与其他基线相比，可以获得更好的拟合优度，2）与最先进的监督泊松图像去噪算法相比，具有竞争力的性能，参数明显较少，以及3）浅二项式自动编码器的梯度动态。
2020-06-28 cs.LG stat.AP stat.ML
Dictionary Learning with Equiprobable Matching Pursuit
EISLAB, Luleå University of Technology, Sweden（埃斯实验室，吕勒奥理工大学，瑞典）；SKF–LTU University Technology Center and EISLAB, Luleå University of Technology, Sweden（斯凯孚-吕勒奥理工大学技术中心及埃斯实验室，吕勒奥理工大学，瑞典）；Luleå University of Technology, Sweden（吕勒奥理工大学，瑞典）；EISLAB, Luleå University of Technology（埃斯实验室，吕勒奥理工大学）；SKF–LTU University Technology Center and EISLAB, Luleå University of Technology（斯凯孚-吕勒奥理工大学技术中心及埃斯实验室，吕勒奥理工大学）；Luleå University of Technology（吕勒奥理工大学）
基于学习原子的线性组合的稀疏信号表示已被用于在几个实际信号处理应用中获得最先进的结果。近似方法需要以这种方式处理高维信号，因为计算稀疏编码的最佳原子的问题是NP难的。在这里，我们研究了贪婪算法的无监督学习字典的移位不变的原子，并提出了一种新的方法，其中每个原子被选中的平均概率相同，这对应于一个经常性的卷积神经网络的稳态调节。等概率选择可以与几种贪心算法一起用于字典学习，以确保所有原子在训练期间适应，并且平均而言没有特定原子更有可能参与线性组合。我们通过模拟实验证明，字典学习等概率选择结果在较高的熵的稀疏表示和较低的重建和去噪误差，无论是在普通的匹配追求和正交匹配追求的情况下，与移位不变的字典。此外，我们表明，计算成本的匹配追求是较低的等概率选择，从而更快，更准确的字典学习算法。
2016-11-28 cs.LG
Visual Attention Emerges from Recurrent Sparse Reconstruction
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
视觉注意力有助于在人类视觉中的噪声、腐败和分布偏移下实现稳健的感知，这些都是现代神经网络仍然不足的领域。我们提出了VAR，从递归稀疏重建的视觉注意力，一个新的注意力公式建立在人类视觉注意力机制的两个突出特点：递归和稀疏。相关特征通过神经元之间的循环连接分组在一起，通过稀疏正则化出现突出对象。VARS采用具有周期性连接的吸引子网络，该网络随着时间的推移收敛到稳定的模式。网络层被表示为常微分方程（ODE），将注意力公式化为一个经常性吸引子网络，该网络使用编码底层数据模式的“模板”字典来等效地优化输入的稀疏重建。我们表明，自注意是一个特殊的情况下，VARS的单步优化和稀疏约束。VARS可以很容易地用作流行的视觉Transformer中自注意力的替代品，从而在各种基准测试中不断提高其鲁棒性。代码发布在GitHub（https：//github.com/bfshi/VARS）上。
2022-06-12 cs.CV cs.LG
Autoregressive Convolutional Recurrent Neural Network for Univariate and Multivariate Time Series Prediction
Maastricht University（马斯特里赫特大学）
时间序列预测（单变量和多变量）是一个高复杂性的问题，因为必须在输入中检测不同的模式，从高频到低频。在本文中，我们提出了一个新的模型，利用卷积层的特征提取，一个经常性的编码器和线性自回归组件的时间序列预测。我们激励模型，我们测试和比较它对广泛使用的现有架构的基线单变量和多变量时间序列。所提出的模型似乎优于基线，在几乎每一种情况下的多变量时间序列数据集，在某些情况下，甚至有50%的改善，这表明这种混合架构在复杂的时间序列的优势。
2019-03-06 cs.LG stat.ML
Interpreting Large Text-to-Image Diffusion Models with Dictionary Learning
Georgia Institute of Technology（佐治亚理工学院）；ETH Zurich（苏黎世联邦理工学院）；Trajectory Labs
本文将稀疏自编码器（SAEs）和激活的推理时分解（ITDA）应用于大型文本到图像扩散模型Flux 1，通过视觉自动化解释流程发现SAEs重构准确且可解释性优于MLP神经元，并能引导图像生成，ITDA也具有相当的可解释性。
2025-07-10 cs.LG
Sparse Dictionary Learning for Measure-Valued Data via Linearized Optimal Transport: Efficient Algorithms and Sample Complexity
Department of Electrical and Computer Engineering, Tufts University（塔夫茨大学电气与计算机工程系）；Department of Mathematics, Tufts University（塔夫茨大学数学系）
该研究提出基于线性化最优传输的测度值数据稀疏字典学习方法，结合最优传输几何与稀疏表示学习，在多模态数据上验证效用并推导泛化界，为概率测度空间的表示学习提供可扩展模型。
2026-10-12 cs.LG stat.ML
A variational autoencoder-based nonnegative matrix factorisation model for deep dictionary learning
ARC Centre of Excellence for Mathematical & Statistical Frontiers（ARC数学与统计前沿卓越中心）；Queensland University of Technology（昆士兰科技大学）；Beijing Institute of Technology（北京理工大学）；University of Technology Sydney（悉尼科技大学）
使用非负矩阵分解（NMF）构造字典在信号处理和机器学习中具有广泛的应用。随着深度学习的进步，使用深度神经网络训练紧凑和鲁棒的字典，即，字典的深度特征，已经提出。在这项研究中，我们提出了一个概率生成模型，它采用了变分自编码器（VAE）进行非负字典学习。与现有的VAE模型相比，我们将模型置于一个潜变量服从Gamma分布的统计框架下，并设计了一个新的损失函数来保证非负字典。我们采用了一个接受拒绝采样重新参数化技巧迭代更新的潜变量。我们将从VAE-NMF学习的字典应用于两个信号处理任务，即，语音增强和肌肉提取协同作用。实验结果表明，VAE-NMF在学习潜在的非负字典的最先进的方法相比，表现更好。
2023-01-18 cs.LG eess.SP
Efficient Dictionary Learning with Switch Sparse Autoencoders
Massachusetts Institute of Technology（麻省理工学院）；University of Oxford（牛津大学）
本文提出Switch稀疏自编码器，借鉴稀疏专家混合模型在小型专家SAE间路由激活向量，以更低计算成本扩展特征数量，并在重构-稀疏性前沿上取得显著帕累托改进。
2025-06-02 cs.LG
Variational Recurrent Auto-Encoders
University of Amsterdam（阿姆斯特丹大学）
在本文中，我们提出了一个结合RNN和SGVB优势的模型：变分递归自动编码器（VRAE）。这样的模型可以用于对时间序列数据进行有效的大规模无监督学习，将时间序列数据映射到潜在向量表示。该模型是生成的，使得数据可以从潜在空间的样本生成。这项工作的一个重要贡献是，该模型可以利用未标记的数据，通过初始化权重和网络状态来促进RNN的监督训练。
2015-06-15 cs.LG cs.NE stat.ML
Improving Dictionary Learning with Gated Sparse Autoencoders
Google DeepMind（谷歌DeepMind）
本文提出门控稀疏自编码器，通过分离方向选择与幅度估计功能并仅对前者施加L1惩罚，解决了SAE的收缩偏差，在高达7B参数语言模型上以一半激活特征实现相当重构保真度。
2024-04-30 cs.AI cs.LG
Inference and learning in sparse autoencoders as natural gradient flow
Astera Institute（Astera研究所）；UC Berkeley（加州大学伯克利分校）；UCL（伦敦大学学院）；Goodfire AI（Goodfire AI公司）；CSHL（冷泉港实验室）
本文提出BeFOND，一种无编码器的稀疏编码模型，将推理与字典学习统一为自然梯度流，通过循环解释消除和Fisher预条件减少特征干扰并加速稀有特征学习，在合成数据和语言模型激活上显著提升字典恢复、稀有特征检测及概念干预效果。
2026-10-07 cs.AI cs.LG
SharedSAE: a unified sparse dictionary across u-net blocks and denoising time for diffusion models
Hunan University（湖南大学）
SharedSAE是扩散模型中跨U-Net模块和去噪时间的统一稀疏字典，通过特定适配器和时间条件模块实现，可用于概念分析与擦除，能将I2P检测器阳性子集的NudeNet阳性生成从139降至1。
2026-10-14 cs.AI cs.CV cs.LG
Dictionary Learning: The Complexity of Learning Sparse Superposed Features with Feedback
Department of Computer Science \& Engineering, University of California, San Diego, USA
通过反馈机制，研究在稀疏设置下学习字典特征的复杂性，并验证了理论结果在特征恢复和字典提取中的有效性。
2025-12-28 cs.AI cs.LG stat.ML
Stop Probing, Start Coding: Why Linear Probes and Sparse Autoencoders Fail at Compositional Generalisation
Mila - Québec AI Institute & Université de Montréal（米拉-魁北克人工智能研究所与蒙特利尔大学）；Santa Clara University（圣克拉拉大学）；Cold Spring Harbor Laboratory（冷泉港实验室）
本文指出线性探测和稀疏自编码器在组合泛化中失效是由于字典学习问题而非压缩学习问题，揭示了稀疏推理在叠加下的挑战。
2026-10-09 cs.LG
The Interpretable Dictionary in Sparse Coding
Drexel University（德雷塞尔大学）；University of Delaware（特拉华大学）
人工神经网络（ANN），特别是深度学习网络，由于数据的内部表示不容易解释，因此经常被标记为黑盒。在我们的工作中，我们说明了在特定稀疏约束下使用稀疏编码训练的ANN，产生了比标准深度学习模型更可解释的模型。通过稀疏编码学习的字典可以更容易理解，并且这些元素的激活创建了选择性特征输出。我们将稀疏编码模型与在相同数据上训练的等效前馈卷积自动编码器进行比较和对比。我们的研究结果表明，定性和定量的好处，在解释学习稀疏编码字典以及内部激活表示。
2020-11-24 cs.AI cs.CV cs.LG
Automatic Music Highlight Extraction using Convolutional Recurrent Attention Networks
Clova AI Research（Clova人工智能研究院）；NAVER Corp.（NAVER公司）；Hong Kong University of Science and Technology（香港科技大学）
音乐集锦是音乐服务的宝贵内容。大多数方法集中在低电平信号特征。我们提出了一种使用卷积递归注意力网络（CRAN）的高级特征提取高光的方法。CRAN利用卷积和递归层进行顺序学习，并具有注意力机制。注意力允许CRAN捕获重要的片段以区分流派，从而被用作高级功能。CRAN在两个月内对韩国32，000多首流行曲目进行了评估。实验结果表明，通过定量和定性评估，我们的方法优于三种基线方法。此外，我们还分析了注意和序列信息对绩效的影响。
2017-12-16 cs.LG cs.MM cs.SD
On the Computational Intractability of Exact and Approximate Dictionary Learning
TU Darmstadt（达姆施塔特工业大学）
在过去的十年中，通过线性观测的信号向量的有效稀疏编码和重构受到了极大的关注。在这种情况下，从用于稀疏表示的某些信号类别的训练数据集合中自动学习合适的基或过完备字典已经证明对于实际信号处理应用特别重要。大多数流行的字典学习算法在每次迭代中都涉及NP难稀疏恢复问题，这可能会给出一些关于字典学习复杂性的指示，但并不构成计算困难性的实际证明。在这篇技术笔记中，我们证明了学习一个字典，用它可以尽可能稀疏地表示一组给定的训练信号确实是NP困难的。此外，我们还建立了近似的解决方案的最佳稀疏水平的大因素内的硬度。此外，我们给出了NP-硬度和非近似性的结果，最近的字典学习变化称为传感器排列问题。在此过程中，我们还获得了一个新的非近似性结果的经典稀疏恢复问题的压缩感知。
2014-08-03 cs.IT cs.LG math.IT
Size Doesn't Matter: Cosine-Scored Sparse Autoencoders
针对稀疏自编码器中内积评分受输入范数干扰的问题，提出余弦评分方法，使特征检测更关注方向对齐，实验表明该方法能更频繁地学习到人类可识别的概念。
2026-07-01 cs.LG
Discriminative Recurrent Sparse Auto-Encoders
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
我们提出了判别式递归稀疏自动编码器模型，包括整流线性单元的递归编码器，展开固定次数的迭代，并连接到两个线性解码器，重建输入并预测其监督分类。通过时间反向传播的训练最初使无监督稀疏重建误差最小化;然后用监督分类上的判别项来增强损失函数。时间展开形式中隐含的深度允许系统展示深度网络的所有功能，同时大幅减少可训练参数的数量。从最初的非结构化网络中，隐藏单元分为类别单元，每个类别单元代表一个具有明确定义的类的输入原型;以及部分单元代表这些原型的变形。递归编码器的学习组织是分层的：部分单元直接由输入驱动，而分类单元的活动通过与部分单元的交互随着时间的推移而建立。即使每层使用少量的隐藏单元，判别式递归稀疏自编码器在MNIST上也能实现出色的性能。
2013-03-19 cs.CV cs.LG
Auto-Conditioned Recurrent Networks for Extended Complex Human Motion Synthesis
University of Southern California（南加州大学）；Shanghai Jiao Tong University（上海交通大学）；USC Institute for Creative Technologies（南加州大学创意技术研究所）；Pinscreen
我们提出了一种实时的方法来合成高度复杂的人体运动，使用一种新的训练制度，我们称之为自动调节递归神经网络（acRNN）。最近，研究人员试图通过使用自回归技术合成新的运动，但由于反馈到网络的错误累积，现有方法往往会在几秒钟后冻结或发散。此外，这种方法仅被证明对于相对简单的人类运动是可靠的，例如步行或跑步。相比之下，我们的方法可以合成具有高度复杂风格的任意运动，除了运动之外还包括舞蹈或武术。acRNN能够通过在训练期间显式地适应自回归噪声积累来实现这一点。据我们所知，我们的工作是第一个证明能够生成超过18，000个连续帧（300秒）的新的复杂人体运动w.r.t.不同的风格。
2018-07-09 cs.LG
Sequential Convolutional Recurrent Neural Networks for Fast Automatic Modulation Classification
Science and Technology on Electronic Information Control Laboratory（电子信息控制科技实验室）
针对无线频谱监测应用，提出了一种新型高效的自动调制分类端到端学习模型，该模型能够从时域同相和正交数据中自动学习，无需手工设计专家特征。利用卷积层的直觉，池化作为前端特征提取和降维的作用，开发了顺序卷积递归神经网络，以利用卷积神经网络的并行计算能力和递归神经网络的时间敏感性。实验结果表明，该结构在信噪比大于-10 dB的范围内具有较好的分类性能，在高信噪比范围内，分类准确率从80%提高到92.1%，同时平均训练时间和预测时间分别减少了约74%和67%.通过所提出的架构学习的响应模式被可视化，以更好地理解模型的物理特性。此外，进行了比较研究，以调查各种顺序卷积递归神经网络结构设置对分类性能的影响。一个具有代表性的顺序卷积递归神经网络架构的两层卷积神经网络和随后的两层长短期记忆神经网络的开发建议的选择快速自动调制分类。
2021-01-20 cs.LG eess.SP
Source-Agnostic Gravitational-Wave Detection with Recurrent Autoencoders
California Institute of Technology（加州理工学院）
提出了一种基于深度递归自编码器的异常检测技术在激光干涉仪探测引力波信号中的应用。在噪声数据上训练，这类算法可以使用无监督策略来检测信号，即，而不针对特定的来源。我们开发了一个自定义架构来分析来自两个干涉仪的数据。我们将获得的性能与其他自动编码器架构和卷积分类器获得的性能进行比较。与更传统的监督技术相比，所提出的策略的无监督性质在准确性方面具有成本。另一方面，在将实验灵敏度概括为超出预先计算的信号模板的集合方面有定性增益。循环自编码器优于其他基于不同架构的自编码器。本文提出的递归自编码器类可以补充用于引力波探测的搜索策略，并扩展正在进行的探测活动的范围。
2021-12-14 astro-ph.IM cs.LG gr-qc
Denoising Gravitational Waves using Deep Learning with Recurrent Denoising Autoencoders
NCSA, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校国家超级计算应用中心）；Department of Statistics, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校统计系）；Department of Astronomy, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校天文系）；Department of Electrical and Computer Engineering, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校电气与计算机工程系）
引力波天文学是现代天体物理学中一个快速发展的领域，LIGO探测器经常进行观测。引力波信号通常非常微弱，来自LIGO等探测器的数据受到非高斯和非平稳噪声的污染，通常包含可能掩盖真实信号的瞬态干扰。传统的去噪方法，如主成分分析和字典学习，对于处理这种非高斯噪声，特别是对于低信噪比的引力波信号，效果并不理想。此外，这些方法在大型数据集上计算昂贵。为了克服这些问题，我们应用最先进的信号处理技术，基于深度学习的最新突破性进展，对嵌入高斯噪声或真实LIGO噪声中的引力波信号进行降噪。我们介绍了SMTDAE，阶梯式多时间步去噪自动编码器，基于序列到序列的双向长短期记忆递归神经网络。我们展示了使用我们的无监督深度学习方法的优势，并表明，在仅使用模拟高斯噪声进行训练后，SMTDAE对嵌入真实非高斯LIGO噪声中的引力波信号实现了卓越的恢复性能。
2017-11-27 astro-ph.HE astro-ph.IM cs.LG
VASAE: Naming SAE Dictionary Directions with Vocabulary-Aligned Anchoring
Intelligent Systems Laboratory, University of Bristol（布里斯托大学智能系统实验室）；University of Bristol（布里斯托大学）
提出词汇对齐稀疏自编码器（VASAE），通过词汇对齐锚定训练SAE特征，为每个特征分配内在令牌名称，在不降低重构质量的前提下实现约90%的特征对齐。
2026-06-29 cs.AI cs.CL cs.LG
