HSR: L1/2 Regularized Sparse Representation for Fast Face Recognition using Hierarchical Feature Selection
Ocean University of China（中国海洋大学）；The University of Iowa（爱荷华大学）
在本文中，我们提出了一种新的方法，用于快速人脸识别称为L1/2正则稀疏表示使用分层特征选择（HSR）。通过采用分层特征选择，可以压缩全局字典的规模和维数，这直接有助于减少稀疏表示的计算开销，而稀疏表示正是本文方法的基础。它由Gabor小波和极端学习机自动编码器（ELM-AE）分层。对于Gabor小波部分，可以在多个尺度和方向上提取局部特征，形成基于Gabor特征的图像，从而提高识别率。此外，当人脸图像被遮挡时，基于Gabor特征的遮挡字典存在冗余，可以相应地压缩全局字典的规模。对于ELM-AE部分，基于Gabor特征的全局字典的维数可以被压缩，因为高维的人脸图像可以被快速地表示为低维的特征。通过引入L1/2正则化，我们的方法可以产生更稀疏和更强大的表示相比，正则化稀疏表示基于分类（SRC），这也有助于减少稀疏表示的计算成本。在多种人脸数据库上的实验结果表明，与SRC和基于Gabor特征的SRC（GSRC）等相关工作相比，该方法在计算量方面具有很大的优势。此外，我们还实现了近似甚至更好的识别率。
2014-09-23 cs.CV cs.LG
Learning Discriminative Multilevel Structured Dictionaries for Supervised Image Classification
Institut National de Recherche en Informatique et Automatique (INRIA)（法国国家信息与自动化研究所）；METU（中东技术大学）
使用过完备字典的稀疏表示已被证明是许多信号处理应用中的强大工具，例如去噪，超分辨率，修复，压缩或分类。表示的稀疏性在很大程度上取决于字典对手头数据的适应程度。在本文中，我们提出了一种方法，学习结构化的多级字典与歧视性的限制，使他们非常适合监督像素分类的图像。一个多级树结构的判别字典学习每个类，与学习目标有关的重建误差的图像补丁周围的像素在每个类代表字典。在初始分配的类标签的图像像素的稀疏表示的基础上学习的字典，最终的分类是通过平滑的标签图像与图切割方法和腐蚀方法实现的。应用到一组常见的纹理图像，我们的监督分类方法显示出与最先进的竞争力的结果。
2018-02-28 cs.LG stat.ML
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
非负矩阵分解（NMF）与组稀疏约束的概率图形模型，并制定，假设一些观察数据已产生的模型，一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时，NMF最常用作无监督特征提取器，然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念（其是系数的稀疏性的基础）之后，所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典，其不仅旨在忠实地表示数据，而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明，在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Dictionary-Assisted Supervised Contrastive Learning
New York University（纽约大学）
社会科学中的文本分析通常涉及使用专业词典来推理抽象概念，例如对经济的看法或社交媒体上的滥用。这些词典允许研究人员传授领域知识，并记录与感兴趣的概念相关的单词的微妙用法。我们引入了词典辅助监督对比学习（DASCL）目标，允许研究人员在微调预训练的语言模型时利用专门的词典。首先对文本进行关键字简化：一个通用的固定标记替换语料库中出现在词典中与感兴趣的概念相关的任何单词。在微调过程中，有监督的对比目标使同一类的原始文本和关键词简化文本的嵌入更接近，同时使不同类的嵌入进一步分开。同一个类的关键字简化文本在文本上比它们的原始文本更相似，这额外地将同一个类的嵌入更紧密地结合在一起。与单独使用交叉熵和替代对比和数据增强方法相比，组合DASCL和交叉熵提高了少样本学习设置和社会科学应用中的分类性能指标。
2022-10-27 cs.CL cs.LG
Regularized Optimal Transport for Dynamic Semi-supervised Learning
Université Sorbonne Paris Nord（巴黎北索邦大学）；LaMSN - La Maison des Sciences Numériques（数字科学之家）
半监督学习提供了一种有效的范例，可以利用未标记的数据来提高模型的性能。在提出的许多策略中，基于图的方法显示出优异的性能，特别是因为它们允许根据Vapnik的原理直接解决转导任务，并且它们可以有效地扩展为归纳任务。在本文中，我们提出了一种新的方法，使用一个完整的二分边加权图的转导半监督学习。所提出的方法使用正则化的最佳运输经验的措施之间定义的标记和未标记的数据点，以获得一个亲和矩阵的最佳运输计划。该矩阵还用于在增量过程中通过图的顶点传播标签，通过结合基于香农熵的确定性得分来确保预测的确定性。我们还分析了我们的方法的收敛性，我们得出了一个有效的方法来扩展它的样本外的数据。实验分析是用来比较所提出的方法与其他标签传播算法在12个基准数据集，我们超越了国家的最先进的结果。我们发布代码。
2021-03-25 cs.LG stat.ML
Supervised Dictionary Learning with Auxiliary Covariates
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；University of California, Riverside（加州大学河滨分校）
有监督字典学习（SDL）是一种经典的机器学习方法，它同时寻找特征提取和分类任务，这些任务不一定是先验对齐的目标。SDL的目标是学习一个类判别字典，它是一组潜在的特征向量，可以很好地解释观察到的数据的特征和标签。本文对SDL进行了系统的研究，包括SDL的理论、算法和应用。首先，我们提供了一个新的框架，“升降机”SDL作为一个凸问题，在一个组合的因素空间，并提出了一个低秩投影梯度下降算法，指数收敛到全局最小的目标。我们还制定生成模型的SDL和提供全球估计保证的真实参数取决于超参数制度。其次，作为一个非凸约束优化问题，我们提供了一个有效的块坐标下降算法的SDL是保证找到一个$\varepsilon$ -平稳点的目标在$O(\varepsilon^{-1}(\log \varepsilon^{-1})^{2})$迭代。对于相应的生成模型，我们建立了一个新的约束和正则化极大似然估计问题的非渐近局部一致性结果，这可能是独立的利益。第三，我们将SDL应用于通过监督主题建模的不平衡文档分类，以及从胸部X射线图像中检测肺炎。我们还提供了模拟研究表明，SDL变得更有效时，有一个最好的重建和最好的歧视字典之间的差异。
2022-06-14 cs.LG math.ST stat.ML
Semi-supervised Learning with Regularized Laplacian
Inria（法国国家信息与自动化研究所）；Trapeznikov Institute of Control Sciences of the Russian Academy of Sciences（俄罗斯科学院特拉佩兹尼科夫控制科学研究所）；St. Petersburg State University（圣彼得堡国立大学）
研究了一种基于相似图和正则拉普拉斯算子的半监督学习方法。我们给出了正则化拉普拉斯方法的方便的优化公式，并建立了它的各种性质。特别是，我们表明，该方法的内核可以解释在离散和连续时间的随机游动，并拥有几个重要的属性的邻近措施。最优化和线性代数方法都可以用于分类函数的有效计算。我们在数值例子中证明了正则化拉普拉斯方法相对于其他最先进的半监督学习方法是有竞争力的。
2015-08-20 cs.LG
Tensor-Dictionary Learning with Deep Kruskal-Factor Analysis
PNNL（太平洋西北国家实验室）
本文提出了一种适用于任意阶张量变量数据的多因子分析模型。每个数据项表示为Kruskal分解的（稀疏）和，即Kruskal因子分析（KFA）。KFA是非参数的，并且可以推断每个字典原子的张量秩和字典原子的数量。该模型适用于在线学习，允许在大数据集上进行字典学习。在引入KFA之后，该模型被扩展到由贝叶斯SVM监督的深度卷积张量因子分析。实验部分展示了KFA相对于向量化方法的改进（例如，BPFA）、张量分解和卷积神经网络（CNN）在多路去噪、盲修复和图像分类中的应用。与其他方法相比，修复结果的PSNR改善在几种情况下超过1dB，我们在Caltech 101图像分类上取得了最先进的结果。
2017-03-05 cs.LG stat.ML
Multimodal Sparse Bayesian Dictionary Learning
ARM Machine Learning Research Lab（ARM机器学习研究实验室）；University of California, San Diego（加州大学圣地亚哥分校）
本文讨论了多模态数据集（即从多个数据源收集的数据集）的字典学习问题。我们提出了一种算法称为多模态稀疏贝叶斯字典学习（MSBDL）。MSBDL通过联合稀疏约束利用来自所有可用数据模态的信息。底层框架为从业者提供了相当大的灵活性，并解决了现有多模态词典学习方法的许多缺点。特别是，该过程包括超参数的自动调整，并且是独特的，因为它允许每个数据模态的字典具有不同的基数，这是数据的维度在模态之间不同的情况下的一个重要特征。MSBDL是可扩展的，可用于监督学习环境。MSBDL的收敛性的理论结果和数值结果提供了证据的MSBDL合成和真实数据集上的优越性能相比，现有的方法。
2019-05-29 cs.LG stat.ML
A Clustering Approach to Learn Sparsely-Used Overcomplete Dictionaries
Microsoft Research（微软研究院）；University of California, Irvine（加州大学欧文分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑在稀疏编码的背景下学习过完备字典的问题，其中每个样本选择字典元素的稀疏子集。我们的主要结果是一个战略，大约恢复未知的字典使用一个有效的算法。我们的算法是一个聚类式的过程，其中每个集群是用来估计一个字典元素。通常可以进一步清理得到的解决方案，以获得高精度的估计，我们提供了一个简单的情况下，$\ell_1$ -正则化回归可以用于这样的第二阶段。
2014-07-07 cs.LG math.OC stat.ML
Spatially Aware Dictionary-Free Koopman Eigenfunction Identification for Modeling and Control
Department of Aviation Technology, University of Defence（航空技术系，国防大学）
本文提出了一种无字典特征函数识别方法，通过空间结构和主本征值提升Koopman预测器的准确性，适用于非线性动力系统建模与控制。
2026-10-27 cs.LG
Gaussian Process Convolutional Dictionary Learning
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
卷积字典学习（CDL），从数据中估计平移不变模板的问题，通常在模板上没有先验/结构的情况下进行。在数据稀缺或低信噪比（SNR）的情况下，学习的模板过拟合数据，缺乏平滑性，这可能会影响下游任务的预测性能。为了解决这个限制，我们提出了GPCDL，这是一个卷积字典学习框架，使用高斯过程（GP）在模板上强制先验。随着对平滑度的关注，我们从理论上证明了施加GP先验相当于维纳滤波学习的模板，从而抑制高频分量并促进平滑度。我们表明，该算法是一个简单的扩展经典的迭代加权最小二乘算法，独立的GP内核的选择。这个属性允许人们灵活地使用不同的平滑假设进行实验。通过模拟，我们表明，GPCDL学习平滑字典更好的准确性比非正规化的替代方案在一系列的SNR。通过对神经尖峰数据的应用，我们证明了GPCDL学习了一个更准确和视觉上可解释的平滑字典，与非正则化CDL以及参数化替代方案相比，具有更好的预测性能。
2021-11-25 cs.LG stat.AP stat.ML
Simultaneous Codeword Optimization (SimCO) for Dictionary Update and Learning
Imperial College London（帝国理工学院）；University of Surrey（萨里大学）
我们考虑数据驱动的字典学习问题。我们的目标是寻求一个过完备的字典，每个训练信号可以最好地近似只有几个码字的线性组合。这个任务通常通过迭代地执行两个操作来实现：稀疏编码和字典更新。在文献中，有两种基准机制来更新字典。第一种方法，如MOD算法，其特征在于在固定稀疏系数的同时搜索最佳码字。在第二种方法中，由K-SVD方法表示，一个码字和相关的稀疏系数同时更新，而所有其他码字和系数保持不变。我们提出了一个新的框架，概括了上述两种方法。该算法的特点是可以同时更新任意码字集和相应的稀疏系数：当稀疏系数固定时，其优化问题与MOD算法类似，当只选择一个码字进行更新时，可以证明该算法与K-SVD方法等价;更重要的是，我们的方法允许我们同时更新所有码字和所有稀疏系数，因此称为同时码字优化（SimCO）。在该框架下，我们设计了两种算法，即原始SimCO算法和正则化SimCO算法.我们基于一个简单的梯度下降机制来实现这两个算法。仿真结果表明，所提出的算法的性能相比，两个基线算法MOD和K-SVD。结果表明，正则化SimCO在学习性能和运行速度方面都特别吸引人。
2012-04-18 cs.IT cs.LG math.IT
Regularized target encoding outperforms traditional methods in supervised machine learning with high cardinality features
LMU Munich（慕尼黑大学）
由于大多数机器学习（ML）算法都是为数值输入而设计的，因此有效地编码分类变量是数据分析中的一个关键方面。一个常见的问题是高基数特征，即具有大量水平的无序分类预测变量。我们研究了产生分类变量的数值表示的技术，这些变量可以在随后的ML应用中使用。我们专注于这些技术对后续算法的预测性能的影响，并-如果可能的话-获得何时使用哪种技术的最佳实践。我们进行了一个大规模的基准测试实验，在实验中，我们使用回归、二进制和多类分类设置的数据集，比较了不同的编码策略和五种ML算法（套索、随机森林、梯度提升、k近邻、支持向量机）。在我们的研究中，目标编码的正则化版本（即使用基于训练集中特征水平的目标预测作为新的数值特征）始终提供最佳结果。传统上广泛使用的编码在创建二进制指示符变量之前做出不合理的假设来将级别映射到整数（例如整数编码）或减少级别的数量（可能基于目标信息，例如叶编码）（独热或虚拟编码）在比较中不是有效的。
2022-03-04 cs.LG stat.ML
A Semi-supervised Spatial Spectral Regularized Manifold Local Scaling Cut With HGF for Dimensionality Reduction of Hyperspectral Images
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
高光谱图像（HSI）包含了数百个连续光谱波段的丰富信息，使得通过细微的光谱差异对材料进行分类成为可能。然而，对这些丰富的光谱信息进行分类也面临着高维、奇异性、训练样本有限、缺乏标记数据样本、异方差性和非线性等挑战。为了解决这些问题，我们提出了一种基于半监督图的降维方法，称为“半监督空间谱正则化流形局部尺度切割”（S3RMLSC）。所提出的方法的基本思想是利用有限的标记信息从光谱和空间域以及丰富的未标记的样本，以促进分类任务，通过保留原始分布的数据。在S3RMLSC中，首先使用分层引导滤波器（HGF）来平滑HSI数据的像素，以保持空间像素的一致性。这一步之后，通过使用最大线性补丁（MLP）标准从非线性流形的线性补丁的建设。然后分别利用正则化流形局部尺度割（RMLSC）和相邻像素流形局部尺度割（NPMLSC）在光谱域和空间域上构造图像块间和图像块内的相异性矩阵。最后，我们通过优化更新的半监督空间-光谱斑块间和总斑块相异度来获得投影矩阵。所提出的DR算法的有效性与公开可用的真实世界的HSI数据集说明。
2018-11-20 cs.CV cs.LG stat.ML
Confident Kernel Sparse Coding and Dictionary Learning
CITEC cluster of excellence（CITEC卓越集群）；Bielefeld University（比勒费尔德大学）
近年来，基于核的稀疏编码（K-SRC）由于其在特征空间中的非线性数据结构的有效表示而受到特别的关注。然而，现有的K-SRC方法的训练和测试优化框架之间缺乏一致性。在这项工作中，我们提出了一种新的信心K-SRC和字典学习算法（CKSC），其重点是基于其在核空间中的表示的数据的判别重建。CKSC的重点是通过加权贡献来重建每个数据样本，这些贡献对其相应的数据类别有信心。我们采用新的判别条件，将此方案应用于我们算法中的训练和测试框架。这种特定的设计增加了这些优化框架的一致性，并提高了召回阶段的区分性能。此外，CKSC直接将监督信息用于其词典学习框架中，以增强词典的区分性结构。对于实证评估，我们在DynTex++和UTKinect等多变量时间序列基准上实现了我们的CKSC算法。我们的索赔有关的优越性能的算法是合理的，通过比较其分类结果的国家的最先进的K-SRC算法。
2019-03-12 cs.LG stat.ML
Gradient Regularized Budgeted Boosting
Washington University in St. Louis（圣路易斯华盛顿大学）；Microsoft Research（微软研究院）
随着机器学习越来越多地向现实世界的应用过渡，控制算法的测试时间成本变得越来越重要。最近的工作，如Greedy Miser和Speedboost，将测试时间预算约束纳入训练过程，并学习可证明在预算范围内（预期）的分类器。然而，到目前为止，这些算法仅限于监督学习的情况下，有足够数量的标记数据是可用的。在本文中，我们调查的常见情况下，标记的数据是稀缺的，但未标记的数据是丰富的。我们提出了一种算法，利用未标记的数据（通过拉普拉斯平滑）和学习分类器的预算约束。我们的模型基于梯度提升回归树（GBRT），据我们所知，是第一个半监督预算学习算法。
2019-01-27 cs.LG stat.ML
Learning a collaborative multiscale dictionary based on robust empirical mode decomposition
Peking University（北京大学）
字典学习在图像处理的许多领域都是一个具有挑战性的课题。基本目标是从过完备基集中学习稀疏表示。由于结合了通用多尺度表示和基于学习的自适应性的优点，多尺度字典表示方法具有捕获自然图像结构特征的能力。然而，现有的多尺度学习方法仍然遭受三个主要的弱点：不适应不同尺度的图像数据，对噪声和离群值的敏感性，难以确定最佳的字典结构。在本文中，我们提出了一种新的多尺度字典学习模式的稀疏图像表示的基础上改进的经验模式分解。这个强大的数据驱动的多维信号分析工具可以根据数据本身的固有模式，完全自适应地将图像分解为多尺度振荡分量。这种处理可以获得一个强大的和有效的稀疏表示，同时产生一个原始的基字典在多个几何尺度和空间频带。该字典是通过基于频率聚类选择最佳振荡原子来改进的。为了进一步增强稀疏性和泛化能力，使用一致性正则化模型学习容差字典。一个快速的邻近计划，以优化这个模型。多尺度字典被认为是振荡字典和容差字典的产物。实验结果表明，所提出的学习方法具有优越的性能在稀疏图像表示相比，几个竞争的方法。我们也展示了有前途的结果在图像去噪应用。
2017-04-04 cs.CV cs.LG
A Regularized Attention Mechanism for Graph Attention Networks
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
能够利用数据固有结构的机器学习模型已经变得突出。特别是，由于其在多个领域的广泛适用性，针对图结构数据的深度学习解决方案激增。图注意力网络（GAT）是最近加入到图中的广泛类别的特征学习模型中的一个新成员，它利用注意力机制来有效地学习用于半监督学习问题的连续向量表示。在本文中，我们对GAT模型进行了详细的分析，并对它们的行为提出了有趣的见解。特别是，我们表明，该模型是脆弱的异构流氓节点，因此提出了新的正则化策略，以提高GAT模型的鲁棒性。使用基准数据集，我们证明了性能的改进半监督学习，使用GAT的建议强大的变种。
2020-02-10 cs.LG stat.ML
Semi-supervised novelty detection using ensembles with regularized disagreement
ETH Zurich（苏黎世联邦理工学院）
深度神经网络通常以高置信度预测样本，即使它们来自看不见的类，也应该被标记以供专家评估。当前的新颖性检测算法不能可靠地识别这样的近OOD点，除非它们能够访问与这些新颖样本相似的标记数据。在本文中，我们开发了一种新的基于集成的半监督新奇检测（SSND）程序，成功地利用了未标记的ID和新奇类样本的混合物，以实现良好的检测性能。特别是，我们展示了如何使用早期停止正则化仅在OOD数据上实现分歧。虽然我们证明了这一事实的一个简单的数据分布，我们广泛的实验表明，它适用于更复杂的情况：我们的方法显着优于最先进的SSND方法对标准图像数据集（SVHN/CIFAR-10/CIFAR-100）和医学图像数据集，只有一个微不足道的增加计算成本。
2022-03-10 cs.LG
Graph Similarity Regularized Softmax for Semi-Supervised Node Classification
School of Mathematics and Physics, North China Electric Power University（华北电力大学数理学院）；School of Mathematical Sciences, Beijing Normal University（北京师范大学数学科学学院）
针对Softmax缺乏图空间信息的问题，提出图相似性正则化Softmax，通过非局部TV正则化增强GNN半监督节点分类性能，在GCN和GraphSAGE上验证了有效性。
2024-09-20 cs.LG math.OC
Convolutional dictionary learning based auto-encoders for natural exponential-family distributions
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Brown University（布朗大学）
我们介绍了一类自编码器神经网络，它是为来自自然指数族的数据定制的（例如，计数数据）。这些架构的灵感来自于在具有稀疏约束的卷积生成模型中学习滤波器的问题，通常被称为卷积字典学习（CDL）。我们的工作是第一个结合卷积生成模型和深度学习的想法，用于自然建模的非高斯分布数据（例如，二项式和泊松）。这种观点为我们提供了一个可扩展的和灵活的框架，可以重新用于生成模型上的各种任务和假设。具体而言，用于求解CDL（无监督任务）的迭代优化过程被映射到展开和约束的神经网络，对输入进行迭代调整以考虑生成分布。我们还表明，该框架可以很容易地扩展到判别训练，适合监督任务。我们证明了1）以无监督的方式拟合生成模型来学习神经尖峰数据背后的潜在刺激，与其他基线相比，可以获得更好的拟合优度，2）与最先进的监督泊松图像去噪算法相比，具有竞争力的性能，参数明显较少，以及3）浅二项式自动编码器的梯度动态。
2020-06-28 cs.LG stat.AP stat.ML
Connecting Graph Convolutional Networks and Graph-Regularized PCA
Carnegie Mellon University（卡内基梅隆大学）
GCN模型的图卷积算子最初是从谱图卷积的局部一阶近似出发的。这项工作站在一个不同的观点;建立一个\textit{mathematical connection between graph convolution and graph-regularized PCA}（GPCA）。基于这种联系，通过堆叠图卷积层形成的GCN架构与堆叠GPCA有着密切的关系。我们的经验表明，通过GPCA与1层或2层MLP配对的\textit{unsupervised}嵌入在包括Open Graph Benchmark \footnote{\url{https://ogb.stanford.edu/}}在内的五个数据集上的半监督节点分类任务上实现了与GCN相似甚至更好的性能。这表明GCN的威力是由基于图的正则化驱动的。此外，我们扩展GPCA的（半）监督设置，并表明它是等价于GPCA上的一个图扩展与“鬼”的边缘之间的节点相同的标签。最后，我们利用发现的关系，设计一个有效的初始化策略的基础上堆叠GPCA，使GCN收敛速度更快，并实现强大的性能在大量的层。值得注意的是，所提出的初始化是通用的，适用于其他GNN。
2021-03-02 cs.LG stat.ML
Automatic Pronunciation Generation by Utilizing a Semi-supervised Deep Neural Networks
Sony Corporation（索尼公司）；ETH Zurich（苏黎世联邦理工学院）
音素或语音子词单元是现代自动语音识别系统中最常用的表示语音信号的原子单元。然而，由于以下几个原因，它们不是最佳选择：手工制作发音词典需要大量的努力，发音变化，人为错误以及方言和语言资源不足。本文提出了一种数据驱动的发音估计和声学建模方法，该方法仅利用正字法来联合估计一组子词单元和一个可靠的词典。实验结果表明，该方法基于半监督训练的深度神经网络，在TIMIT数据集上的识别性能大大优于基于音素的连续语音识别。
2016-06-15 cs.CL cs.LG cs.SD
Dictionary learning for fast classification based on soft-thresholding
Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）；The University of Edinburgh（爱丁堡大学）
基于稀疏表示的分类器最近被证明在许多视觉识别和分类任务中提供了优异的结果。然而，在测试时计算稀疏表示的高成本是限制这些方法在大规模问题中或在计算能力受限的情况下的适用性的主要障碍。我们认为在本文中一个简单而有效的替代稀疏编码的特征提取。我们研究的分类方案，适用于软阈值非线性映射的字典，其次是线性分类器。提出了一种新的监督字典学习算法适合这种低复杂度的分类架构。字典学习问题，联合学习字典和线性分类器，被转换为一个凸（DC）的差异规划和有效地解决了迭代DC求解器。我们在几个数据集上进行实验，并表明我们的学习算法，利用分类问题的结构优于一般的学习过程。我们的简单分类器的基础上软阈值也与最近的稀疏编码分类器，当字典学习适当的竞争。与其他分类器相比，所采用的分类方案在测试阶段还需要更少的计算时间。该方案显示了充分训练的软阈值映射分类的潜力，并为视觉问题的非常有效的分类方法的发展铺平了道路。
2014-10-02 cs.CV cs.LG stat.ML
SinSim: Sinkhorn-Regularized SimCLR
University of Waterloo（滑铁卢大学）
本文提出 SinSim，将最优传输中的 Sinkhorn 正则化引入 SimCLR，以构建更具几何结构的特征空间，并在多个数据集上验证其优于或比肩主流自监督方法。
2025-02-13 cs.CV cs.LG stat.ML
The Effectiveness of Approximate Regularized Replay for Efficient Supervised Fine-Tuning of Large Language Models
IBM Research（IBM研究院）；Mila, Université de Montréal（蒙特利尔大学Mila）
本文提出了一种正则化近似回放方法，通过惩罚KL散度和引入不同语料库数据，有效缓解LoRA监督微调导致的模型能力下降问题。
2025-12-26 cs.AI cs.LG
A Semi-Supervised Adaptive Discriminative Discretization Method Improving Discrimination Power of Regularized Naive Bayes
University of Nottingham Ningbo China（宁波诺丁汉大学）
针对正则化朴素贝叶斯离散化信息损失大的问题，提出半监督自适应判别离散化框架RNB+，利用伪标记结合有标记与无标记数据，显著提升判别能力并在多数据集上优于现有NB分类器。
2023-04-05 cs.IT cs.LG math.IT
Alternative Learning Paradigms for Image Quality Transfer
University College London（伦敦大学学院）；University of Exeter（埃克塞特大学）
本文提出两种图像质量迁移（IQT）的新学习范式：无监督的IQT-SRep和结合监督与无监督的IQT-DDL，以在分布外数据上避免监督方法的偏差，提升低场MRI图像质量。
2024-11-08 cs.CV cs.LG eess.IV
Naturally Supervised 3D Visual Grounding with Language-Regularized Concept Learners
Stanford University（斯坦福大学）
本文提出语言正则化概念学习器LARC，利用从大语言模型蒸馏的语言约束正则化神经符号学习，在仅用3D场景和问答对的自然监督设置下提升3D视觉定位与推理性能。
2024-04-30 cs.AI cs.CL cs.CV
End-to-End Supervised Product Quantization for Image Search and Retrieval
Tel Aviv University（特拉维夫大学）；Facebook AI Research（Facebook人工智能研究院）
乘积量化是一种基于字典的哈希方法，是领先的无监督哈希技术之一。虽然它忽略了标签，但它利用特征来构造可以近似特征空间的查找表。近年来，一些作品通过以监督的方式学习二进制表示，在哈希基准上取得了最先进的结果。这项工作提出了深度产品量化（DPQ），一种技术，导致更准确的检索和分类比最新的最先进的方法，同时具有类似的计算复杂性和产品量化方法的内存占用。据我们所知，这是引入基于字典的表示的第一项工作，该表示受到乘积量化的启发，并且是端到端学习的，因此受益于监督信号。DPQ通过使用直通估计器显式地学习软表示和硬表示，以实现高效和准确的非对称搜索。我们的方法获得了广泛的检索和分类实验的最先进的结果。
2020-01-17 cs.CV cs.LG
Geometric Sparse Coding in Wasserstein Space
Tufts University（塔夫茨大学）
Wasserstein字典学习是一种无监督的方法，用于学习概率分布的集合，这些概率分布生成观察到的分布作为Wasserstein重心组合。用于Wasserstein字典学习的现有方法优化了一个目标，该目标通过重心插值来寻找具有足够表示能力的字典以近似观察到的训练数据，但不对与字典相关联的系数施加额外的结构属性。这导致字典密集地表示观察到的数据，这使得系数的解释具有挑战性，并且当在下游任务中使用学习的系数时，也可能导致经验性能差。相反，在欧氏空间中的稀疏字典学习的动机，我们提出了一个几何稀疏正则化的Wasserstein空间，促进表示的数据点只使用附近的字典元素。我们表明，这种方法导致稀疏表示在Wasserstein空间和地址的重心表示的非唯一性的问题。此外，当数据被生成为固定分布的Wasserstein重心时，该正则化器有助于在非正则化Wasserstein字典学习不适定的情况下恢复生成分布。通过对合成数据和真实数据的实验，我们证明了我们的几何正则化方法在Wasserstein空间中产生了更稀疏和更可解释的字典，在下游应用中表现更好。
2022-10-21 cs.CV cs.LG eess.SP
Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning
National University of Singapore（新加坡国立大学）；Chinese Academy of Sciences（中国科学院）；SEA AI Lab（SEA AI实验室）
对比自监督学习（CSL）在利用未标记数据进行模型预训练方面受到越来越多的关注。所得到的CSL模型提供均匀分散在特征空间中的实例判别视觉特征。在部署过程中，通常的做法是直接用交叉熵来微调CSL模型，但这在实践中可能不是最佳策略。虽然交叉熵倾向于分离类间特征，但由此产生的模型在减少CSL模型中存在的类内特征分散方面的能力仍然有限。在本文中，我们调查是否应用对比学习微调将带来进一步的好处，并分析发现，优化对比损失的区别表示学习和模型优化在微调过程中的好处。受这些发现的启发，我们提出了对比正则化调整（核心调整），微调CSL模型的一种新方法。Core-tuning不是简单地将对比度损失添加到微调的目标，而是进一步应用了一种新的硬对挖掘策略以进行更有效的对比度微调，以及平滑决策边界以更好地利用学习到的判别特征空间。在图像分类和语义分割上的大量实验验证了核心调整的有效性。
2021-10-14 cs.CV cs.LG
LDReg: Local Dimensionality Regularized Self-Supervised Learning
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）；University of Southern Denmark（南丹麦大学）；School of Computer Science, Fudan University（复旦大学计算机科学学院）；New Jersey Institute of Technology（新泽西理工学院）
针对自监督学习中的局部维度坍缩问题，提出基于Fisher-Rao度量的局部维度正则化方法LDReg，通过优化局部距离分布提升表示质量，并在局部和全局层面正则化维度。
2024-03-14 cs.AI cs.CV cs.LG
Regularized Data Programming with Automated Bayesian Prior Selection
Cornell Tech（康奈尔科技学院）；Weill Cornell Medicine（威尔康奈尔医学院）；Cornell University（康奈尔大学）
本文提出经典数据编程的贝叶斯扩展，通过在目标函数中增加正则化项和利用多数投票作为代理信号自动选择先验参数，有效缓解了无监督学习在低数据情境下的失败，提升了模型性能与可解释性。
2023-10-25 cs.LG
Semi-Unified Sparse Dictionary Learning with Learnable Top-K LISTA and FISTA Encoders
Fengsheng Lin, Shengyi Yan, Trac Duy Tran（作者）
针对经典稀疏模型与深度架构的割裂问题，提出集成可学习Top-K LISTA及LISTAConv的半统一稀疏字典学习框架，兼具可解释性与训练效率，在多个图像数据集上取得优异性能且算力开销更低。
2025-11-13 cs.LG
Unsupervised Assignment Flow: Label Learning on Feature Manifolds by Spatially Regularized Geometric Assignment
Heidelberg University（海德堡大学）
本文介绍了无监督的分配流，耦合的分配流监督图像标记与黎曼梯度流的标签演变的特征流形。后一部分的方法包括国家的最先进的聚类方法的流形值数据的扩展。将标签进化与空间正则化的分配流耦合会产生稀疏化效应，从而能够以无监督的方式学习紧凑的标签字典。我们的方法简化了监督标记的要求，即手头有适当的标签，因为初始标签集可以在分配给给定数据时进化并适应更好的值。特征和分配流形之间的分离使灵活的应用程序，这是证明了三个场景与流形值的功能。实验证明了两个方向的有益效果：标签的自适应性提高了图像标记，并且通过空间正则化分配来引导标签进化导致正确的标签，因为监督标记的分配流被精确地使用，而没有任何近似用于标签学习。
2019-12-16 cs.CV cs.LG math.OC
Stochastic Dual Coordinate Ascent Methods for Regularized Loss Minimization
Hebrew University（希伯来大学）；Rutgers University（罗格斯大学）
随机梯度下降算法由于其强大的理论保证，已成为解决大规模有监督机器学习优化问题（如支持向量机）的热门方法。虽然密切相关的双坐标上升（DCA）方法已在各种软件包中实现，但迄今为止缺乏良好的收敛性分析。本文提出了一种新的分析随机双坐标上升（SDCA）显示，这类方法享有强大的理论保证，是可比的或更好的SGD。该分析证明了SDCA在实际应用中的有效性。
2013-01-30 cs.LG math.OC stat.ML
Robust method for finding sparse solutions to linear inverse problems using an L2 regularization
Cold Spring Harbor Laboratory（冷泉港实验室）
本文提出了一种基于生物启发算法的稳健方法，通过L2正则化在过完备字典中寻找稀疏解，具有对噪声的强鲁棒性。
2017-03-22 cs.LG cs.NA math.NA
Manifold Regularized Discriminative Neural Networks
Binghamton University（宾汉姆顿大学）
非正则化深度神经网络（DNN）可以很容易地在有限的样本大小下过拟合。我们认为，这主要是由于DNN的区分性质，DNN直接模拟给定输入的标签的条件概率（或得分）。对输入分布的忽略使得DNN难以推广到看不见的数据。正则化技术的最新进展，如预训练和dropout，表明对输入数据分布建模（显式或隐式）大大提高了DNN的泛化能力。在这项工作中，我们探讨了流形假设，假设同一类内的实例位于光滑流形。因此，我们提出了两个简单的正则化一个标准的歧视DNN。第一个，名为标签感知流形正则化，假设标签的可用性和惩罚的损失函数w.r.t.的大范数。数据点。第二种称为标签独立流形正则化，不使用标签信息，而是惩罚预测分数w.r.t.的雅可比矩阵的Frobenius范数。这使得半监督学习成为可能。我们使用MNIST，CIFAR10和SVHN数据集对全监督和半监督任务进行了广泛的控制实验，并取得了优异的结果。
2016-01-07 cs.LG
CREMA: A Contrastive Regularized Masked Autoencoder for Robust ECG Diagnostics across Clinical Domains
AI Group, Medical AI Co., Ltd.（医疗AI公司人工智能小组）
CREMA通过对比正则化掩码自编码与信号Transformer架构，在12导联心电图上进行自监督预训练，实现跨临床领域稳健且优于现有方法的心电图诊断基础模型。
2025-08-21 cs.AI cs.LG eess.SP
BadRSSD: Backdoor Attacks on Regularized Self-Supervised Diffusion Models
School of Information and Artificial Intelligence, Yangzhou University, China（扬州大学信息与人工智能学院）；School of Computing and Artificial Intelligence, Chaohu University, China（池州学院计算机与人工智能学院）；Tacoma School of Engineering and Technology, University of Washington, USA（华盛顿大学塔科马工程与技术学院）
BadRSSD是一种针对自监督扩散模型表示层的后门攻击方法，通过在PCA空间中操控语义表示并应用跨空间约束，实现隐蔽的后门攻击并提升攻击效果。
2026-03-01 cs.CR cs.LG
Supervised clustering of high dimensional data using regularized mixture modeling
Purdue University（普渡大学）；Indiana University（印第安纳大学）；Indiana University School of Medicine（印第安纳大学医学院）
确定分子变异和它们的临床表现之间的关系已经受到疾病的异质性原因的挑战。在考虑研究对象可能的异质性的同时，揭示高维分子表现与临床表现之间的关系是必要的。为了解决高维分子特征与表型间异质关系研究的难题，提出了一种基于惩罚混合回归模型（CSMR）的监督聚类算法.该算法是改编自分类期望最大化算法，它提供了一种新的监督解决方案的聚类问题，与计算效率和生物可解释性的显着改善。在模拟基准数据集上的实验结果表明，CSMR能够准确地识别特征子集对响应变量具有解释性的子空间，性能优于基线方法. CSMR在药物敏感性数据集上的应用再次证明了CSMR优于其他数据集的性能，其中CSMR在概括隐藏在细胞系库中的不同亚组方面是强大的，这些亚组涉及它们对不同药物的应对机制。CSMR代表了一种大数据分析工具，有可能解决将疾病的临床表现转化为真正病因的复杂性。我们相信，它将为疾病的分子基础带来新的理解，并可能在日益增长的个性化医疗领域具有特殊意义。
2020-07-19 cs.LG stat.ME
Entropy Regularized Reinforcement Learning with Cascading Networks
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
深度强化学习（Deep RL）在高维问题上取得了令人难以置信的成就，但即使在最简单的任务上，它的学习过程仍然不稳定。深度RL使用神经网络作为函数逼近器。这些神经模型很大程度上受到（无）监督机器学习社区发展的启发。与这些学习框架相比，RL的主要困难之一是缺乏i.i.d.。数据解决这个问题的一种方法是在每次迭代中控制策略的变化率。在这项工作中，我们挑战了（非）监督学习社区使用固定神经架构的常见做法，通过在每次策略更新时增加神经模型的大小。这允许闭合形式的熵正则化策略更新，这导致在每次迭代时更好地控制策略的变化率，并帮助应对非独立同分布。RL的性质在经典RL基准测试上的初步实验显示了有希望的结果，与其他深度RL基线相比，在某些RL任务上具有显着的收敛性，同时在其他方面表现出局限性。
2022-10-16 cs.LG
Hiding Data Helps: On the Benefits of Masking for Sparse Coding
Duke University（杜克大学）；Brown University（布朗大学）
本文研究过实现字典在噪声下难以恢复真实字典的问题，提出受自监督学习启发的掩码目标，证明其恢复最优性并通过实验验证优于标准重建目标。
2023-06-01 cs.AI cs.LG
S2S-WTV: Seismic Data Noise Attenuation Using Weighted Total Variation Regularized Self-Supervised Learning
Xi’an Jiaotong University（西安交通大学）
本文提出 S2S-WTV，在 Self2Self 自监督框架中引入按道掩码与加权全变分正则化，并用 ADMM 求解，仅依赖含噪数据即可稳健去噪并保持信号边缘。
2022-12-27 cs.LG eess.SP
Lightweight Conceptual Dictionary Learning for Text Classification Using Information Compression
University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
本文提出一种基于LZW压缩和标签互信息精炼的轻量级监督字典学习框架，用于文本分类，在有限词汇数据集上以约10%参数量接近顶尖模型性能，并引入IPAR度量评估信息论表现。
2024-04-28 cs.CL cs.LG eess.SP
Online Dictionary Learning Based Fault and Cyber Attack Detection for Power Systems
University of California, Santa Cruz（加州大学圣克鲁兹分校）
新兴的广域监测系统（WAMS）带来了电网的态势感知的显着改善。然而，新引入的系统可能会增加网络攻击的风险，这些攻击可能会伪装成正常的物理干扰。本文利用流数据采掘分类器（Hoeffding adaptive tree）和半监督学习技术来处理事件和入侵检测问题，以准确区分网络攻击和常规系统扰动。首先，我们提出的方法通过从未标记的数据中学习更高级别的特征来构建字典。然后，标记的数据表示为学习的字典原子的稀疏线性组合。我们利用这些稀疏代码来训练在线分类器以及有效的变化检测器。我们用工业控制系统网络攻击数据集进行数值实验。我们考虑五种不同的情况：短路故障，线路维护，远程跳闸命令注入，继电器设置的变化，以及错误的数据注入。数据是基于修改后的IEEE 9总线系统生成的。仿真结果表明，我们提出的方法优于国家的最先进的方法。
2021-08-24 cs.CR cs.LG cs.SY
Graph-Regularized Sparse Autoencoders for LLM Safety Steering
ELLIS Institute Tübingen（图宾根ELLIS研究所）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）；Intesa Sanpaolo（Intesa Sanpaolo公司）；University of Southern California（南加州大学）
本文提出图正则化稀疏自编码器，通过在神经元共激活图上平滑解码器向量并应用方向库，提升安全引导效果，在多个基准测试中显著提高有害请求拒绝率。
2026-05-15 cs.AI cs.LG
Simultaneous off-the-grid learning of mixtures issued from a continuous dictionary
CREST（CREST（统计与经济研究中心））；ENSAE（法国国家统计与经济管理学院）；IP Paris（巴黎理工学院）；CERMICS（CERMICS（数学与科学计算研究中心））；École des Ponts（法国国立路桥学校）；EDF R&D（法国电力公司研发部）
本文提出Group-Nonlinear-Lasso方法，通过正则化优化同时估计连续字典混合信号中的线性系数与非线性参数，并利用证书函数和黎曼几何条件给出了高概率预测误差界，在p=2时达到Group-Lasso的速率。
2024-02-23 cs.LG math.PR math.ST
DRL-Based Resource Allocation for Motion Blur Resistant Federated Self-Supervised Learning in IoV
School of Internet of Things Engineering, Jiangnan University（江南大学物联网工程学院）；Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学电子工程系，北京信息科技大学国家信息科学与技术研究中心）；Qualcomm（高通）；State Key Lab. of ISN and School of Telecommunications Engineering, Xidian University（西安电子科技大学信息与通信系统国家重点实验室及电信工程学院）；Department of Electronic Engineering, Shanghai Jiao Tong University（上海交通大学电子工程系）；Department of Electrical and Computer Engineering, the Hong Kong University of Science and Technology (HKUST)（香港科技大学电子与计算机工程系）
针对车联网中联邦自监督学习的隐私与运动模糊问题，提出基于SimCo的抗模糊方法BFSSL，并设计DRL资源分配方案以最小化能耗和延迟，仿真验证其有效性。
2025-06-18 cs.CV cs.LG cs.NI
Robust Semi-Supervised Classification for Multi-Relational Graphs
Stony Brook University（石溪大学）
图正则化半监督学习已被有效地用于分类时，（i）通过图连接的实例，（ii）标记的数据是稀缺的。如果可用，在实例之间使用多个关系（或图）可以提高预测性能。另一方面，当这些关系具有不同的准确性水平，并表现出不同的相关性的任务，非常嘈杂和/或不相关的关系可能会恶化的性能。因此，需要制定一个有效的衡量方案。在这项工作中，我们提出了一个强大的和可扩展的多关系图正则化半监督分类方法。在凸优化方案下，我们同时推断多个图的权重以及解决方案。我们提供了一个仔细的分析推断的权重，基于此，我们设计了一个算法，过滤掉不相关的和嘈杂的图形，并产生权重成比例的信息的剩余图形。此外，所提出的方法是线性可扩展的w.r.t.多个图的并集中的边的数目。通过大量的实验，我们表明，我们的方法在不同的噪声模型下，以及在越来越多的噪声图形和噪声强度下，与基线列表和最先进的方法相比，可以产生更好的结果。
2015-10-19 cs.LG
HEROS-GAN: Honed-Energy Regularized and Optimal Supervised GAN for Enhancing Accuracy and Range of Low-Cost Accelerometers
School of Science, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）理学院）
针对低成本加速度计精度和量程受限问题，提出HEROS-GAN，通过最优传输监督和调制拉普拉斯能量，将低成本信号增强至高成本等效，实现量程翻倍、噪声降低两个数量级，并发布首个专用数据集LASED。
2025-02-25 cs.AI cs.LG cs.RO
Error bounds for PDE-regularized learning
Freie Universität Berlin（柏林自由大学）
在这项工作中，我们考虑的监督学习问题的正则化偏微分方程（PDE），并获得误差界的PDE误差项和数据误差项的近似。假设目标函数满足未知PDE，PDE误差项量化了用于正则化的辅助PDE对该PDE的近似程度。它示出，如果提供更多的数据，这个误差项减小。数据误差项量化了给定数据的准确性。此外，偏微分方程正则化的学习问题的离散化广义伽辽金离散化解决相关的最小化问题的无限维函数空间的子集，这不一定是子空间。对于这样的离散误差界的PDE误差，数据误差，和最佳逼近误差。
2020-03-14 cs.LG cs.NA math.NA
