Collaborative Filtering via Group-Structured Dictionary Learning
Eötvös Loránd University（厄特沃什·罗兰大学）；Carnegie Mellon University（卡内基梅隆大学）
结构化稀疏编码及其相关的结构化字典学习问题是机器学习领域的一个新的研究方向。在本文中，我们提出了一个新的应用结构化字典学习的协同过滤推荐系统。我们广泛的数值实验表明，所提出的技术优于其国家的最先进的竞争对手，并有几个优点的方法，不把结构化的约束字典元素。
2012-01-01 cs.LG math.OC math.ST
Frame-based Sparse Analysis and Synthesis Signal Representations and Parseval K-SVD
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；National Tsing Hua University（国立清华大学）
框架是用于信号分解和重构的线性算子的基础，例如离散傅里叶变换、Gabor、小波和曲波变换。稀疏表示模型的出现使框架理论的重点转向稀疏l1最小化问题。在本文中，我们应用框架理论的信号的稀疏表示，其中的合成字典是用于一个框架和分析字典是用于一个双重框架。我们试图制定一个新的双帧设计，其中通过任何信号的分解得到的稀疏向量也是稀疏的解决方案表示基于重建帧的信号。我们的研究结果表明，这种类型的双帧不能构建过完整的帧，从而排除使用任何线性分析算子驱动的稀疏合成系数的信号表示。尽管如此，稀疏综合解决方案的最佳近似可以从使用规范对偶框架的分析系数导出。在这项研究中，我们开发了一种新的字典学习算法（称为Parseval K-SVD）来学习紧框架字典。然后，我们利用分析和合成的角度与帧的信号表示，以获得有关图像恢复的问题的优化配方。我们的初步结果表明，使用这种方法恢复的图像与字典的帧边界相关，从而证明了使用不同的字典用于不同的应用程序的重要性。
2018-01-06 cs.LG eess.SP
SVD-AE: Simple Autoencoders for Collaborative Filtering
Boeing Korea Engineering and Technology Center (BKETC)（波音韩国工程技术中心（BKETC））；Yonsei University（延世大学）；Ulsan National Institute of Science and Technology (UNIST)（蔚山国家科学技术研究院（UNIST））；Georgia Institute of Technology（佐治亚理工学院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本文提出SVD-AE，一种基于SVD的线性自编码器，以闭式解实现协同过滤，无需迭代训练，并通过截断SVD提升效率与噪声鲁棒性。
2024-05-08 cs.AI cs.IR cs.LG
KCRC-LCD: Discriminative Kernel Collaborative Representation with Locality Constrained Dictionary for Visual Categorization
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）；South China University of Technology（华南理工大学）
我们考虑的图像分类问题，通过核协同表示分类局部约束字典（KCRC-LCD）。具体地说，我们提出了一种核协同表示分类（KCRC）的方法，在该方法中，核方法被用来提高协同表示分类（CRC）的区分能力。然后，我们测量的查询和原子之间的相似性，以构建一个局部约束字典（LCD）的KCRC。此外，我们还讨论了LCD中的几种相似性度量方法，并进一步提出了一种简单有效的统一相似性度量方法，其优越性在实验中得到了验证。LCD有几个吸引人的方面。第一，LCD可以很好地纳入九铁的架构内。在KCRC下，可以将LCD相似性度量核化，从而在核方法下从理论上将CRC和LCD联系起来。其次，KCRC-LCD变得更可扩展到训练集大小和特征维度。算例表明，KCRC能够很好地对具有一定分布的数据进行分类，而传统的CRC则完全失效。在许多公共数据集上的综合实验也表明，KCRC-LCD是一种鲁棒的判别分类器，具有优异的性能和良好的可扩展性，与许多其他最先进的方法相当或优于其他方法。
2014-10-17 cs.CV cs.LG
Classification with Incoherent Kernel Dictionary Learning
University Politehnica of Bucharest（布加勒斯特理工大学）
该研究提出基于核版本非相干字典学习的分类方法，同时改进了AK-SVD算法的表示更新步骤，并在多个常用分类数据库上验证了算法效果。
2023-07-17 cs.LG eess.SP
Learning a collaborative multiscale dictionary based on robust empirical mode decomposition
Peking University（北京大学）
字典学习在图像处理的许多领域都是一个具有挑战性的课题。基本目标是从过完备基集中学习稀疏表示。由于结合了通用多尺度表示和基于学习的自适应性的优点，多尺度字典表示方法具有捕获自然图像结构特征的能力。然而，现有的多尺度学习方法仍然遭受三个主要的弱点：不适应不同尺度的图像数据，对噪声和离群值的敏感性，难以确定最佳的字典结构。在本文中，我们提出了一种新的多尺度字典学习模式的稀疏图像表示的基础上改进的经验模式分解。这个强大的数据驱动的多维信号分析工具可以根据数据本身的固有模式，完全自适应地将图像分解为多尺度振荡分量。这种处理可以获得一个强大的和有效的稀疏表示，同时产生一个原始的基字典在多个几何尺度和空间频带。该字典是通过基于频率聚类选择最佳振荡原子来改进的。为了进一步增强稀疏性和泛化能力，使用一致性正则化模型学习容差字典。一个快速的邻近计划，以优化这个模型。多尺度字典被认为是振荡字典和容差字典的产物。实验结果表明，所提出的学习方法具有优越的性能在稀疏图像表示相比，几个竞争的方法。我们也展示了有前途的结果在图像去噪应用。
2017-04-04 cs.CV cs.LG
Convergence of alternating minimisation algorithms for dictionary learning
Universität Innsbruck（因斯布鲁克大学）
本文为字典学习中的 MOD 和 ODL 算法推导了收敛的充分条件，证明在良好初始化下二者均以几何速率收敛到生成字典，并适用于支撑集非均匀分布的更真实数据模型。
2023-05-26 cs.LG math.OC stat.ML
Dictionary Learning with Uniform Sparse Representations for Anomaly Detection
University of Bucharest（布加勒斯特大学）
许多应用，如音频和图像处理表明，稀疏表示是一个强大的和有效的信号建模技术。寻找一个最佳字典，同时产生的数据的稀疏表示和最小的近似误差是一个困难的问题，接近字典学习（DL）。我们研究了DL如何在信号数据集中检测异常样本。在本文中，我们使用一个特定的DL制定，寻求统一的稀疏表示模型来检测数据集中的大多数样本的底层子空间，使用K-SVD型算法。数值模拟表明，可以有效地使用该子空间来区分规则数据点上的异常。
2022-01-11 cs.CR cs.LG cs.NA
Separable Dictionary Learning
Technische Universität München（慕尼黑工业大学）
计算机视觉、机器学习和统计学中的许多技术都依赖于这样一个事实，即感兴趣的信号允许在某个字典上进行稀疏表示。字典可以通过分析获得，也可以从合适的训练集中学习。虽然分析字典允许捕获信号的全局结构并允许快速实现，但学习字典通常在应用中表现更好，因为它们更适合所考虑的信号类别。不幸的是，在图像中，（i）学习字典和（ii）将字典用于重建任务的数值负担仅允许处理仅捕获局部图像信息的相对较小的图像块。本文提出的方法旨在克服这些缺点，允许在整个学习过程中的字典上的可分离的结构。一方面，这允许较大的补丁大小的学习阶段，另一方面，字典有效地应用于重建任务。学习过程是基于优化的产品领域更新的字典作为一个整体，从而强制执行基本的字典属性，如相互一致性明确在学习过程中。在没有可分离结构的特殊情况下，我们的方法与最先进的字典学习方法（如K-SVD）竞争。
2013-03-21 cs.CV cs.LG stat.ML
Efficient Model-Based Collaborative Filtering with Fast Adaptive PCA
Tsinghua University（清华大学）；Institute of Computing Technology, Chinese Academy of Science（中国科学院计算技术研究所）
提出一种基于快速自适应随机SVD的模型协同过滤方法，通过结合固定精度矩阵分解与加速技巧，并引入自适应终止机制自动确定潜在因子数量，在保持预测精度的同时大幅提升了大规模数据的运行效率。
2020-09-04 cs.IR cs.LG cs.NA
Complete Dictionary Learning via $\ell^4$-Norm Maximization over the Orthogonal Group
University of California, Berkeley（加州大学伯克利分校）；Kuaishou Technology（快手科技）；Columbia University（哥伦比亚大学）
本文认为，学习一个完整的（正交）字典从稀疏生成的信号样本的基本问题。大多数现有的方法解决字典（和稀疏表示）的启发式算法的基础上，通常没有最优性或复杂性的理论保证。最近的基于$\ell^1$最小化的方法确实提供了这样的保证，但是相关联的算法一次一列地恢复字典。在这项工作中，我们提出了一个新的配方，最大限度地提高正交组的$\ell^4$ -范数，学习整个字典。我们证明了在随机数据模型下，几乎最小的样本复杂度，全局最优的$\ell^4$规范是非常接近地面真理的符号排列。受此启发，我们给出了一个概念上简单，但有效的算法的基础上“匹配，拉伸和投影”（MSP）。该算法可证明局部收敛在一个超线性（立方）的速度和成本，每次迭代仅仅是一个SVD。除了强有力的理论保证外，实验表明，新算法比现有的方法，包括基于KSVD和$\ell^1$的方法，明显更高效和有效。混合真实图像数据的初步实验结果清楚地表明，这样学习的字典在经典的PCA基地的优势。
2021-04-06 cs.LG eess.SP stat.CO
Efficient Sum of Outer Products Dictionary Learning (SOUP-DIL) and Its Application to Inverse Problems
University of Michigan（密歇根大学）
信号在变换域或变换字典中的稀疏性已被用于压缩、去噪和逆问题等应用中。最近，数据驱动的适应综合字典相比，分析字典模型已经显示出希望。然而，字典学习问题通常是非凸和NP难的，并且用于这些问题的通常交替最小化方法通常在计算上是昂贵的，其中计算由NP难合成稀疏编码步骤主导。本文利用驱动K-SVD等算法的思想，并详细研究了聚合稀疏惩罚字典学习的有效方法，首先用稀疏秩一矩阵（外积）的和近似数据，然后使用块坐标下降方法来估计未知数。由此产生的块坐标下降算法涉及有效的封闭形式的解决方案。此外，我们认为字典盲图像重建的问题，并提出了新的和有效的算法，自适应图像重建使用块坐标下降和外积方法的总和。我们提供了一个收敛性研究的字典学习和字典盲图像重建算法。我们的数值实验表明，所提出的方法在稀疏数据表示和基于压缩感知的图像重建中比以前的方案提供了良好的性能和速度。
2017-04-21 cs.LG
Provable Online CP/PARAFAC Decomposition of a Structured Tensor via Dictionary Learning
University of Southern California（南加州大学）；Princeton University（普林斯顿大学）；University of Minnesota（明尼苏达大学）
我们考虑的问题，分解成其组成的典型的Polyadic（CP）因子的结构3路张量。这种分解可以被视为张量奇异值分解（SVD）的推广，揭示了张量维度（特征）如何相互作用。然而，由于这些因素是先验未知的，相应的优化问题本质上是非凸的。现有的保证算法，处理这种非凸性产生不可约的错误（偏见），并只适用于所有因素具有相同的结构的情况下。为此，我们开发了一个在线结构张量因式分解的可证明算法，其中一个因子服从一些不相干条件，而其他因子是稀疏的。具体来说，我们表明，在一些相对温和的条件下的初始化，秩和稀疏性，我们的算法恢复的因素完全（缩放和置换）在一个线性速率。作为对我们理论结果的补充，我们的合成和真实世界数据评估与相关技术相比显示出卓越的性能。此外，它的可扩展性和动态学习能力使其适合现实世界的任务。
2020-06-30 cs.LG stat.ML
Robust Kronecker Component Analysis
Imperial College London（帝国理工学院）；Middlesex University London（伦敦米德尔塞克斯大学）；University of Oulu（奥卢大学）
字典学习和组件分析模型是学习与给定任务（特征提取，降维，去噪等）相关的紧凑表示的基础。模型的复杂性通过特定的结构进行编码，例如稀疏性，低秩性或非负性。不幸的是，像K-SVD这样的方法-通过奇异值分解（SVD）学习字典进行稀疏编码-很难扩展到大容量和高维的视觉数据，并且在存在离群值的情况下很脆弱。相反，诸如鲁棒主成分分析（RPCA）的鲁棒成分分析方法能够恢复低复杂度（例如，低秩）表示，但不提供尊重数据结构的字典（例如，图像），并且还涉及昂贵的计算。在本文中，我们提出了一种新的Kronecker可分解的组件分析模型，被称为鲁棒Kronecker组件分析（RKCA），它结合了稀疏字典学习和鲁棒组件分析的思想。RKCA有几个吸引人的属性，包括对严重腐败的鲁棒性;它可以用于低秩建模，并利用可分性来解决更小的问题。我们设计了一个有效的学习算法，通过使用张量分解的限制形式绘制链接，并分析其最优性和低秩性质。所提出的方法的有效性证明了在现实世界中的应用，即背景减除和图像去噪和完成，通过执行一个彻底的比较与当前的最先进的。
2018-11-10 cs.CV cs.LG stat.ML
Empirical Evaluation of Four Tensor Decomposition Algorithms
Institute for Information Technology（信息技术研究所）；National Research Council of Canada（加拿大国家研究委员会）
高阶张量分解类似于熟悉的奇异值分解（SVD），但它们超越了矩阵（二阶张量）的限制。奇异值分解是一个强大的工具，在信息检索、协同过滤、计算语言学、计算视觉等领域取得了令人瞩目的成果。然而，SVD仅限于二维数据阵列（两种模式），许多潜在的应用程序具有三种或更多种模式，这需要高阶张量分解。本文评估了高阶张量分解的四种算法：高阶奇异值分解（HO-SVD），高阶正交迭代（HOOI），切片投影（SP）和多层投影（MP）。我们在各种条件下测量四种算法的时间（经过的运行时间）、空间（RAM和磁盘空间要求）和拟合（张量重建精度）。我们发现，HO-SVD和HOOI的标准实现不能扩展到更大的张量，由于RAM的要求越来越高。我们建议HOOI用于足够小的张量，以提供可用的RAM和MP用于较大的张量。
2007-11-13 cs.CL cs.IR cs.LG
Federated Dataset Dictionary Learning for Multi-Source Domain Adaptation
CEA, List（法国原子能委员会电子与信息技术实验室）；Université Paris-Saclay（巴黎-萨克雷大学）
针对联邦域适应中客户端分布偏移、部分数据无标签的问题，提出基于经验分布字典学习的FedDaDiL框架，设计隐私保护的通信与聚合机制，在多个基准上验证了其生成目标域标记数据的有效性。
2023-11-08 cs.AI cs.LG
Dual-embedding based Neural Collaborative Filtering for Recommender Systems
Wuhan University（武汉大学）
在众多的推荐技术中，协同过滤（CF）是最成功的一种。CF中的一个关键问题是如何表示用户和项目。以前的作品通常代表一个用户（一个项目）作为一个向量的潜在因素（又名。\textit{embedding}），然后根据表示对用户和项之间的交互进行建模。尽管它的有效性，我们认为，这是不足以产生令人满意的嵌入协同过滤。受SVD++基于用户自身及其交互项表示用户的思想的启发，我们提出了一个通用的协同过滤框架DNCF，简称基于双嵌入的神经协同过滤，以利用历史交互来增强表示。除了学习用户（项目）的原始嵌入之外，我们还从交互项目（用户）的角度引入了额外的嵌入，以增强用户（项目）表示。在四个公开数据集上进行的大量实验证明了我们提出的DNCF框架的有效性，通过将其性能与几个传统的矩阵分解模型和其他最先进的基于深度学习的推荐模型进行比较。
2021-02-05 cs.IR cs.LG
Personalized Federated Dictionary Learning for Modeling Heterogeneity in Multi-site fMRI Data
Tulane Center for Biomedical Informatics and Genomics（Tulane生物医学信息学与基因组学中心）；School of Medicine, Tulane University（Tulane大学医学院）；State University of New York at Oswego（纽约州立大学奥尔巴尼分校）
针对多站点fMRI数据隐私与异质性挑战，提出个性化联邦字典学习框架PFedDL，通过分解共享与个性化字典实现协作建模，在ABIDE数据集上优于现有方法。
2025-09-25 cs.AI cs.LG
Item2Vec: Neural Item Embedding for Collaborative Filtering
Tel Aviv University（特拉维夫大学）；Microsoft（微软）
许多协同过滤（CF）算法是基于项目的，因为它们分析项目之间的关系，以产生项目的相似性。最近，在自然语言处理（NLP）领域中的一些工作建议使用神经嵌入算法来学习单词的潜在表示。其中，具有负采样的跳过语法（SGNS），也被称为word 2 vec，被证明在各种语言学任务上提供了最先进的结果。在本文中，我们表明，基于项目的CF可以在神经词嵌入相同的框架。受SGNS的启发，我们描述了一种方法，我们命名为item 2 vec的基于项目的CF，产生嵌入的潜在空间中的项目。该方法即使在用户信息不可用时也能够推断项目-项目关系。我们目前的实验结果表明，item 2 vec方法的有效性，并显示它是具有竞争力的SVD。
2017-02-20 cs.AI cs.IR cs.LG
Dictionary Learning over Distributed Models
Microsoft Research（微软研究院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）；University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们考虑在代理网络上学习字典模型，其中每个代理只负责字典元素的一部分。这种表述在大数据场景中是相关的，其中大型字典模型可能分布在不同的空间位置，并且由于通信和隐私考虑，将所有字典聚合在一个位置是不可行的。我们首先证明了推理问题的对偶函数是与不同代理相关的个体成本函数的集合，然后可以通过扩散策略有效地最小化。协作推理步骤生成代理用来更新它们的字典的双变量，而不需要共享这些字典或甚至训练数据的系数模型。这是一个强大的属性，它导致了一个有效的分布式过程，用于在大型网络上学习字典（例如，在我们的实验中有数百个代理）。此外，所提出的学习策略以在线方式操作，并且能够响应流数据，其中每个数据样本被呈现给网络一次。
2014-12-07 cs.DC cs.LG
Wikipedia is Not a Dictionary, Delete! Text Classification as a Proxy for Analysing Wiki Deletion Discussions
Cardiff University（卡迪夫大学）；AMPLYFI（AMPLYFI公司）
本文构建多语言Wiki删除讨论数据库，通过多种文本分类任务评估LM，发现删除结果更易预测，而用户标签未必能提升分类。
2025-03-13 cs.CL cs.LG
Sparse Coding on Cascaded Residuals
Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）
本文试图结合字典学习和分层图像表示的原则。为了使字典原子从扩展的感受野中捕获额外的信息，并获得更好的描述能力，我们提出了一个用于字典学习和稀疏编码的两遍多分辨率级联框架。级联允许使用相同维度的字典原子以不同分辨率进行协作重建。我们共同学习的字典包括适应粗层可用信息的原子，其中原子的支持达到其最大范围，以及补充细节逐渐细化重建目标的残留图像。通过先前层的聚合重建与该层的下采样原始图像之间的差异来计算层处的残差。我们的方法使用更少的系数生成更灵活和准确的表示。它的计算效率源于编码的粗分辨率，这是微不足道的，和编码的残差，这是相对稀疏。我们在多个数据集上进行的大量实验表明，这种新方法在图像编码、去噪、修复和伪影去除任务中的功能强大，优于最先进的技术。
2019-11-07 cs.CV cs.LG eess.IV
Collaborative representation-based robust face recognition by discriminative low-rank representation
Jiangnan University（江南大学）
我们考虑的鲁棒人脸识别的问题，其中的训练和测试样本可能会损坏，因为伪装和遮挡。传统的子空间学习方法和最近提出的基于稀疏表示的分类（SRC）的性能可能会下降时，损坏的训练样本提供。另外，由于稀疏性约束，基于稀疏性的方法是耗时的。为了在一定程度上缓解上述问题，在本文中，我们提出了一个歧视性的低秩表示方法的协作表示为基础（DLRR-CR）的鲁棒人脸识别。DLRR-CR不仅获得了一个干净的字典，它进一步迫使不同类的子字典是尽可能独立的，通过引入一个结构不相干正则化项。同时，可以学习一个低秩投影矩阵，以消除测试样本中可能的腐败。在我们提出的方法，具有封闭形式的解决方案，利用基于协作表示的分类（CRC）方法。在公开人脸数据库上的实验结果验证了该方法的有效性和鲁棒性。
2019-12-17 cs.CV cs.LG
Trustworthy Koopman Operator Learning: Invariance Diagnostics and Error Bounds
Centre for Mathematical Sciences, University of Cambridge, UK（剑桥大学数学科学中心，英国）；Department of Mathematics, Imperial College London, UK（伦敦帝国理工学院数学系，英国）；Department of Mechanical Engineering, University of Washington, USA（美国华盛顿大学机械工程系）
本文提出了一种统一的后验方法，用于验证Koopman近似的可信度并改进其性能，通过主角度分解和多步误差界，提供可靠的谱分析和预测保障。
2026-03-16 cs.LG cs.NA math.DS
Collaborative Representation for Classification, Sparse or Non-sparse?
Academic Center for Computing and Media Studies, Kyoto University（京都大学学术计算与媒体研究中心）；Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
基于稀疏表示的分类方法（SRC）是一种简单、有效、鲁棒的人脸识别方法。随着它变得流行，对强制稀疏性的必要性的怀疑开始出现，并且初步实验结果表明，简单地将基于$l_1$ -范数的正则化改变为计算上更有效的基于$l_2$ -范数的非稀疏版本将导致类似甚至更好的性能。然而，情况并非总是如此。给定一个新的分类任务，仍然不清楚哪种正则化策略（即，使系数稀疏或非稀疏）是更好的选择，而无需尝试两者进行比较。在本文中，我们提出了据我们所知的第一个研究解决这个问题，大量的不同的分类实验的基础上。我们提出了一个评分函数，用于预先选择正则化策略，仅使用数据集大小，特征维数和来自给定特征表示的判别分数。此外，我们表明，当字典学习是考虑，非稀疏表示有更显着的优势稀疏表示。这项工作有望丰富我们对稀疏/非稀疏协作表示分类的理解，并激励进一步的研究活动。
2014-03-06 cs.AI cs.CV cs.LG
Reprogramming Language Models for Molecular Representation Learning
University of California, Berkeley（加州大学伯克利分校）；IBM Research（IBM研究院）
迁移学习的最新进展使其成为一种通过迁移学习到的表征进行领域自适应的有前途的方法。当替代任务具有有限的明确定义和标记的数据样本时，这一点尤其重要，这在分子数据领域很常见。这使得迁移学习成为解决分子学习任务的理想方法。虽然对抗性重编程已被证明是一种成功的方法，可以将神经网络重新用于替代任务，但大多数工作都考虑同一域中的源任务和替代任务。在这项工作中，我们提出了一种新的算法，通过字典学习（R2 DL）表示重编程，用于对抗性地重编程预先训练的语言模型的分子学习任务，通过利用学习表示在大规模的最先进的语言模型的动机。对抗程序学习密集源模型输入空间（语言数据）和稀疏目标模型输入空间（例如，化学和生物分子数据），通过字典学习，使用k-SVD求解器来近似编码数据的稀疏表示。R2 DL实现了由在领域特定数据上训练的现有技术毒性预测模型建立的基线，并且在有限的训练数据设置中优于基线，从而为具有分子数据的任务建立了领域不可知迁移学习的途径。
2021-01-06 cs.LG q-bio.MN
