Semi-Supervised Sparse Coding
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
稀疏编码将数据样本近似为一些基本码字的稀疏线性组合，并使用稀疏码作为新的表示。在本文中，我们研究学习的区别稀疏码稀疏编码在半监督的方式，其中只有少量的训练样本被标记。通过使用标记和未标记样本的数据集所跨越的流形结构以及标记样本的标签所提供的约束，我们学习所有样本的变量类标签。此外，为了提高学习的稀疏代码的区分能力，我们假设可以直接使用线性分类器从稀疏代码预测类标签。通过在一个统一的目标函数中同时求解码本、稀疏码、类别标签和分类器参数，提出了一种半监督稀疏编码算法。两个真实世界的模式识别问题的实验表明，所提出的方法的优势，监督稀疏编码方法的部分标记的数据集。
2015-01-16 cs.LG stat.ML
A semi-supervised sparse K-Means algorithm
University of Sheffield（谢菲尔德大学）；Department of Computer Science（计算机科学系）
我们考虑的问题，数据聚类与未识别的特征质量和少量的标记数据时，提供。可以采用无监督稀疏聚类方法来检测聚类所需的特征子组，并且半监督方法可以使用标记数据来创建约束并增强聚类解决方案。在本文中，我们提出了一个采用这些技术的K-Means变体。我们表明，该算法保持了其他半监督算法的高性能，此外还保留了从无信息特征中识别信息的能力。我们研究的合成和真实世界的数据集上的算法的性能。我们使用不同数量和类型的约束，以及不同的聚类初始化方法的情况。
2020-10-18 cs.LG stat.ML
Supervised Discriminative Sparse PCA with Adaptive Neighbors for Dimensionality Reduction
Huazhong University of Science and Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）
降维是信息可视化、特征提取、聚类、回归和分类等领域的一个重要操作，特别是在处理有噪声的高维数据时。然而，大多数现有的方法都保留了数据的全局或局部结构，但不能同时保留两者。只保留全局数据结构的方法，如主成分分析（PCA），通常对离群值敏感。仅保留局部数据结构的方法，例如局部保留投影，通常是无监督的（因此不能使用标签信息），并且使用固定的相似性图。我们提出了一种新的线性降维方法，监督判别稀疏PCA与自适应邻居（SDSPCAAN），集成无邻域监督判别稀疏PCA和投影聚类与自适应邻居。因此，全局和局部数据结构以及标签信息都用于更好的降维。在9个高维数据集上的分类实验验证了SDSPCAAN的有效性和鲁棒性。
2020-01-12 cs.LG stat.ML
Augmenting Variational Autoencoders with Sparse Labels: A Unified Framework for Unsupervised, Semi-(un)supervised, and Supervised Learning
Relayr (GmbH)（Relayr有限公司）
我们提出了一种新的风格的变分自编码器（VAE），无监督，半监督和全监督学习域之间无缝插值。我们表明，未标记的数据点不仅可以提高无监督任务，而且可以提高分类性能。反之亦然，每个标签不仅可以改进分类，还可以改进无监督任务。所提出的架构很简单：分类层连接到最顶层的编码器层，然后与解码器的重采样潜在层相结合。通常的证据下限（ELBO）损失补充了该分类层上的监督损失目标，仅适用于标记的数据点。这种简单性允许以最小的努力将任何现有的VAE模型扩展到我们提出的半监督框架。在分类的背景下，我们发现这种方法甚至优于直接监督设置。
2019-11-14 cs.AI cs.LG cs.NE
Sparse Semi-supervised Heterogeneous Interbattery Bayesian Analysis
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Gregorio Marañón Health Research Institute（格雷戈里奥·马拉尼翁健康研究所）
贝叶斯特征提取方法，称为因子分析（FA），在机器学习中得到了广泛的研究，以获得数据的潜在表示。适当选择这些基本模型的概率和先验，使模型能够更好地适应数据性质（即异质性，稀疏性），获得更具代表性的潜在空间。本文的目的是提出一个通用的FA框架，能够模拟任何问题。为此，我们从贝叶斯电池间因子分析（BIBFA）模型开始，通过新功能对其进行增强，以便能够处理异构数据，包括特征选择，并处理缺失值以及半监督问题。所提出的模型，稀疏半监督异构电池间贝叶斯分析（SSHIBA）的性能已在4种不同的情况下进行了测试，以评估其每一个新颖性，不仅表现出很大的通用性和可解释性增益，而且还优于大多数最先进的算法。
2020-01-24 cs.LG stat.ML
Semi-supervised dual graph regularized dictionary learning
CEA（法国原子能和替代能源委员会）；LIST（信息技术与系统实验室（CEA下属））；Laboratoire AIM（AIM实验室）；CNRS（法国国家科学研究中心）；Paris 7（巴黎第七大学）；Irfu（核物理与粒子物理研究所（CEA下属））
在本文中，我们提出了一种半监督字典学习方法，该方法使用标记和未标记数据中的信息，并联合训练嵌入稀疏代码的线性分类器。稀疏代码空间中数据的流形结构使用与局部线性嵌入方法（LLE）相同的方法来保留。这使得人们能够加强未标记数据稀疏码的预测能力。我们表明，我们的方法提供了显着的改进，比其他方法。通过在稀疏码上训练一个简单的非线性分类器作为SVM，可以进一步改善分类结果。
2018-12-11 cs.LG stat.ML
Supervised Discriminative Sparse PCA for Com-Characteristic Gene Selection and Tumor Classification on Multiview Biological Data
Harbin Institute of Technology（哈尔滨工业大学）；Qufu Normal University（曲阜师范大学）；Anhui University（安徽大学）
主成分分析（PCA）已被用于研究疾病的发病机制。为了提高经典PCA的可解释性，迄今为止已经提出了各种改进的PCA方法。其中，一个典型的方法是所谓的稀疏PCA，其重点是寻求稀疏负载。然而，这些方法的性能仍然是远远不能令人满意的，由于其使用无监督学习方法的限制，而且，在样本内的类歧义是高的。为了克服这个问题，本研究开发了一种新的PCA方法，这是被命名为监督判别稀疏PCA（SDSPCA）。该方法的主要创新点是将判别信息和稀疏性引入到PCA模型中。具体而言，与传统的稀疏PCA相比，它对负载施加稀疏性，在这里，稀疏分量被获得以表示数据。此外，通过线性变换，稀疏分量近似给定的标签信息。一方面，稀疏分量提高了传统PCA的可解释性，而另一方面，它们具有适用于分类目的的区分能力。提出了一种简单的算法，并给出了收敛性证明。SDSPCA已被应用于多视角生物数据的共同特征基因（com-characteristic gene）选择和肿瘤分类。通过大量、合理、有效的实验，验证了SDSPCA的稀疏性和分类性能，实验结果表明SDSPCA优于其他现有方法。
2019-05-28 cs.LG stat.ML
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
非负矩阵分解（NMF）与组稀疏约束的概率图形模型，并制定，假设一些观察数据已产生的模型，一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时，NMF最常用作无监督特征提取器，然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念（其是系数的稀疏性的基础）之后，所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典，其不仅旨在忠实地表示数据，而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明，在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Random Manifold Sampling and Joint Sparse Regularization for Multi-label Feature Selection
Northeastern University（东北大学）；Shandong University（山东大学）
多标签学习通常用于挖掘特征和标签之间的相关性，特征选择可以通过少量的特征保留尽可能多的信息。$\ell_{2,1}$正则化方法可以得到稀疏的系数矩阵，但不能有效解决多重共线性问题。本文提出的模型通过求解$\ell_{2,1}$和$\ell_{F}$正则化的联合约束优化问题来获得最相关的少数特征。在流形正则化中，我们实现了基于联合信息矩阵的随机游动策略，得到了一个高度鲁棒的邻域图。此外，给出了求解该模型的算法，并证明了算法的收敛性，在真实数据集上的对比实验表明，该方法优于其他方法。
2023-03-30 cs.LG stat.ML
Adversarial Robustness of Supervised Sparse Coding
Johns Hopkins University（约翰斯·霍普金斯大学）
最近的几个结果提供了理论上的见解对抗性的例子的现象。然而，现有的结果往往是有限的，由于研究的模型的简单性和那些部署在实践中的复杂性之间的差距。在这项工作中，我们通过考虑一个模型来实现更好的平衡，该模型涉及学习表示，同时给出精确的泛化范围和鲁棒性证书。我们专注于通过结合稀疏促进编码器与线性分类器获得的假设类，并显示了（监督）表示图的表达性和稳定性与特征空间中的保证金概念之间有趣的相互作用。我们绑定的鲁棒风险（$\ell_2$有界扰动）的字典参数化的假设，实现了一个温和的编码器间隙上的训练数据。此外，我们还为端到端分类提供了鲁棒性证书。我们证明了我们的分析的适用性，通过计算认证的真实数据的准确性，并与其他替代品认证的鲁棒性进行比较。
2021-01-04 cs.LG stat.ML
Weakly Supervised Representation Learning with Sparse Perturbations
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
表示学习的理论旨在建立一种方法，这种方法可以用最少的领域知识或任何监督源来证明数据生成过程的反转。大多数先前的方法需要强分布假设的潜在变量和弱监督（辅助信息，如时间戳），以提供可证明的识别保证。在这项工作中，我们表明，如果一个人有微弱的监督，从观察所产生的稀疏扰动的潜变量-例如图像在强化学习环境中的行动移动个人精灵-识别是可以实现的未知的连续潜在分布。我们表明，如果扰动只适用于互斥块的潜伏期，我们确定的潜伏期到这些块。我们还表明，如果这些扰动块重叠，我们确定潜在的跨扰动共享的最小块。因此，如果存在仅在一个潜在变量中相交的块，则这样的潜在变量被识别为置换和缩放。我们提出了一个自然的估计过程，基于这一理论，并说明它的低维合成和基于图像的实验。
2022-06-02 cs.LG stat.ML
Joint estimation of sparse multivariate regression and conditional graphical models
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
多元回归模型是对经典的一元回归模型的自然推广，用于拟合多个响应.在本文中，我们提出了一个高维多元条件回归模型，用于构造多元回归系数矩阵的稀疏估计，该矩阵考虑了多个响应之间的依赖结构。所提出的方法分解成一系列的惩罚条件对数似然的协变量和其他响应的条件下的每个响应的多元回归问题。它允许同时估计稀疏回归系数矩阵和稀疏逆协方差阵。针对协变量的发散维度和响应数量建立了渐进选择一致性和正态性。所提出的方法的有效性也证明了在各种模拟的例子，以及应用程序的多形性胶质母细胞瘤癌症数据。
2013-06-19 cs.LG stat.ML
Joint self-supervised blind denoising and noise estimation
SABILab（SABI实验室）；École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Laboratoire de mathématiques d’Orsay（奥赛数学实验室）；Laboratoire J. A. Dieudonné（J·A·迪厄多内实验室）；Université Côte d’Azur（蔚蓝海岸大学）；Télécom SudParis（南巴黎电信学院）
提出了一种新的自监督图像盲去噪方法，其中两个神经网络联合预测干净的信号并推断噪声分布。假设噪声观测值与信号有条件地独立，则可以在没有干净的训练数据的情况下联合训练网络。因此，我们的方法是特别相关的生物医学图像去噪的噪声是难以精确建模和干净的训练数据通常是不可用的。我们的方法显着优于目前最先进的自监督盲去噪算法，在六个公开的生物医学图像数据集。我们还显示经验与合成噪声数据，我们的模型有效地捕捉噪声分布。最后，所描述的框架是简单的，轻量级的和计算效率，使其在实际情况中有用。
2021-02-16 cs.LG eess.IV stat.ML
Semi-supervised Ranking Pursuit
The Netherlands Organization for Applied Scientific Research（荷兰应用科学研究组织）；Radboud University Nijmegen（奈梅亨拉德堡德大学）
我们提出了一种新的稀疏偏好学习/排序算法。我们的算法近似的真实效用函数的加权和的基函数使用的平方损失对数据点，是一个推广的核匹配追踪方法。它可以在监督和半监督设置中运行，并允许有效搜索多个接近最优的解决方案。此外，我们描述了该算法的扩展，适用于组合排名和回归任务。在我们的实验中，我们证明了所提出的算法在考虑未标记数据时优于几种最先进的学习方法，并在监督学习场景中执行重复，同时提供更稀疏的解决方案。
2013-07-02 cs.IR cs.LG stat.ML
Semi-Supervised Clustering of Sparse Graphs: Crossing the Information-Theoretic Threshold
University of California（加利福尼亚大学）
本文研究稀疏随机块模型中的聚类阈值问题，证明任意比例的已知标签即可使检测在全参数域可行，并给出组合与优化两种高效半监督算法。
2024-02-28 cs.LG math.OC math.PR
A Joint Learning Approach for Semi-supervised Neural Topic Modeling
Harvard University（哈佛大学）
主题模型是以可解释的方式表示文本数据的一些最流行的方法。最近，深度生成模型的进步，特别是自动编码变分贝叶斯（AEVB），导致了无监督神经主题模型的引入，该模型利用了深度生成模型，而不是传统的基于神经网络的主题模型。我们通过引入标签索引神经主题模型（LI-NTM）来扩展这些神经主题模型，据我们所知，这是第一个有效的上游半监督神经主题模型。我们发现LI-NTM在文档重建基准中优于现有的神经主题模型，在低标记数据制度和具有信息标签的数据集中效果最显着;此外，我们的联合学习分类器在消融研究中优于基线分类器。
2022-04-07 cs.CL cs.IR cs.LG
Protein Contact Prediction by Integrating Joint Evolutionary Coupling Analysis and Supervised Learning
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
蛋白质接触包含了蛋白质结构和功能研究的重要信息，但从序列中预测蛋白质接触仍然是一个非常具有挑战性的问题。进化耦合（EC）分析和监督机器学习的方法来预测接触，利用不同类型的信息，分别。本文提出了一种群体图形套索（GGL）接触预测方法，结合联合多族EC分析和监督学习。与现有的单家族EC分析仅使用靶蛋白家族中的残基共进化信息不同，我们的联合EC分析使用靶蛋白家族及其相关家族中的残基共进化，这些家族可能具有不同的序列但相似的折叠。为了实现联合EC分析，我们使用高斯图形模型（GGM）建模一组相关的蛋白质家族，然后通过最大似然法共同估计其精度矩阵，但精度矩阵应具有相似的残差共同进化模式。为了进一步提高估计精度矩阵的准确性，我们采用监督学习方法从各种进化和非进化信息中预测接触概率，然后将预测概率作为先验纳入我们的GGL框架。实验表明，我们的方法可以更准确地预测接触比现有的方法，我们的方法执行更好的保守和家庭特定的接触。
2015-04-08 cs.LG math.OC q-bio.BM
PeakSegJoint: fast supervised peak detection via joint segmentation of multiple count data samples
联合峰检测是基因组数据分析中比较样本时的一个核心问题，但目前用于此任务的算法是无监督的，并且仅限于最多2种样本类型。我们提出了PeakSegJoint，一个新的约束极大似然分割模型的任何数量的样本类型。为了选择分割中的峰的数量，我们提出了一种监督惩罚学习模型。为了推断这两个模型的参数，我们建议使用离散优化启发式分割，和凸优化的惩罚学习。与最先进的峰值检测算法相比，PeakSegJoint实现了类似的准确性，更快的速度和更可解释的模型，其中重叠的峰值在所有样本中完全相同的位置出现。
2015-06-03 q-bio.GN stat.ML
