Sparse-TDA: Sparse Realization of Topological Data Analysis for Multi-Way Classification
University of Washington（华盛顿大学）
拓扑数据分析（TDA）已成为最有前途的技术之一，从观察到的数据样本重建高维空间的未知形状。因此，TDA以持久拓扑特征的形式产生关键形状描述符，其可用于任何监督或无监督学习任务，包括多路分类。另一方面，稀疏采样提供了一种高效的技术，可以从几个精心选择的样本中重建时空域中的信号。在这里，我们提出了一种新的方法，称为稀疏TDA算法，结合了这两种技术的有利方面。这种组合是通过从基于矢量的TDA算法生成的持久特征中选择一组最佳稀疏像素样本来实现的。这些稀疏样本是使用QR旋转从持久特征的低秩矩阵表示中选择的。我们表明，稀疏TDA方法表现出良好的性能在三个基准问题有关的人体姿势识别和图像纹理分类。
2017-11-13 cs.LG stat.ML
The non-overlapping statistical approximation to overlapping group lasso
University of Virginia（弗吉尼亚大学）；University of Minnesota, Twin Cities（明尼苏达大学双城分校）
本文提出一种可分离惩罚来近似重叠组 lasso，证明其是最紧可分离松弛且估计量统计等价，同时大幅提升大规模高维问题中的计算效率。
2024-02-20 cs.LG stat.ML
Supervised Discriminative Sparse PCA for Com-Characteristic Gene Selection and Tumor Classification on Multiview Biological Data
Harbin Institute of Technology（哈尔滨工业大学）；Qufu Normal University（曲阜师范大学）；Anhui University（安徽大学）
主成分分析（PCA）已被用于研究疾病的发病机制。为了提高经典PCA的可解释性，迄今为止已经提出了各种改进的PCA方法。其中，一个典型的方法是所谓的稀疏PCA，其重点是寻求稀疏负载。然而，这些方法的性能仍然是远远不能令人满意的，由于其使用无监督学习方法的限制，而且，在样本内的类歧义是高的。为了克服这个问题，本研究开发了一种新的PCA方法，这是被命名为监督判别稀疏PCA（SDSPCA）。该方法的主要创新点是将判别信息和稀疏性引入到PCA模型中。具体而言，与传统的稀疏PCA相比，它对负载施加稀疏性，在这里，稀疏分量被获得以表示数据。此外，通过线性变换，稀疏分量近似给定的标签信息。一方面，稀疏分量提高了传统PCA的可解释性，而另一方面，它们具有适用于分类目的的区分能力。提出了一种简单的算法，并给出了收敛性证明。SDSPCA已被应用于多视角生物数据的共同特征基因（com-characteristic gene）选择和肿瘤分类。通过大量、合理、有效的实验，验证了SDSPCA的稀疏性和分类性能，实验结果表明SDSPCA优于其他现有方法。
2019-05-28 cs.LG stat.ML
Non-Negative Kernel Sparse Coding for the Classification of Motion Data
CITEC cluster of excellence（CITEC卓越集群）；Bielefeld University（比勒费尔德大学）
我们感兴趣的运动数据分解成一个稀疏的线性组合的基函数，使有效的数据处理。我们结合了两个突出的框架：动态时间规整（DTW），它提供了特别成功的成对运动数据比较，和稀疏编码（SC），它使矢量数据自动分解成一个稀疏的线性组合的基本向量。我们对SC进行了如下增强：一种有效的核化，其将其应用领域扩展到诸如DTW提供的一般相似性数据，以及其对信号和基向量的非负线性表示的限制，以保证有意义的字典。运动捕捉基准的实证评估表明，我们的框架解释和歧视的关注的有效性。
2019-03-12 cs.LG stat.ML
Shift-Invariance Sparse Coding for Audio Classification
Stanford University（斯坦福大学）
稀疏编码是一种无监督学习算法，它只在给定未标记数据的情况下学习输入的简洁高级表示;它将每个输入表示为一组基函数的稀疏线性组合。稀疏编码最初被应用于人类视觉皮层的建模，也被证明是有用的自学学习，其中的目标是解决监督分类任务，获得额外的未标记的数据从不同的类比监督学习的问题。移位不变稀疏编码（Shift-Invariant Sparse Coding，SISC）是稀疏编码的一种扩展，它使用所有可能移位中的所有基函数来重建（通常是时间序列）输入。在本文中，我们提出了一个有效的算法学习SISC基地。我们的方法是基于迭代求解两个大的凸优化问题：第一个，计算线性系数，是一个L1正则化线性最小二乘问题，潜在的数十万个变量。现有的方法通常使用启发式选择一个小的变量子集进行优化，但我们提出了一种方法来有效地计算精确的解决方案。第二，解决基地，是一个约束线性最小二乘问题。通过在傅立叶域中对复值变量进行优化，我们减少了不同变量之间的耦合，从而有效地解决了问题。我们表明，SISC学习到的语音和音乐的高级表示为这些领域内的分类任务提供了有用的特征。当应用于分类时，在某些条件下，学习的特征优于最先进的谱特征和倒谱特征。
2012-06-20 cs.LG stat.ML
Sparse classification with positive-confidence data in high dimensions
Norwegian Institute of Public Health（挪威公共卫生研究院）；Seoul National University（首尔国立大学）；Rutgers University（罗格斯大学）
本文提出了一种适用于高维正信心数据的稀疏惩罚框架，通过引入凸和非凸正则化方法，提升了特征恢复能力和预测性能。
2025-12-30 cs.LG stat.ML
Sparse group lasso and high dimensional multinomial classification
University of Copenhagen（哥本哈根大学）
使用坐标梯度下降算法来解决稀疏群套索优化问题。该算法适用于广泛的一类凸损失函数。证明了该算法的收敛性，并将其应用于多项式稀疏群Lasso分类器的性能研究。在三个不同的实际数据的例子中，多项式组套索明显优于多项式套索在实现的分类错误率方面，并在包括更少的分类功能。我们的稀疏组套索实现的运行时间与R包glmnet中实现的多项式套索算法具有相同的数量级。我们的实现可以很好地适应问题的大小。考虑的高维例子之一是具有10k特征的50类分类问题，这相当于估计500k参数。该实现可作为R包msgl获得。
2013-02-06 cs.LG stat.CO stat.ML
Discriminative Sparse Coding on Multi-Manifold for Data Representation and Classification
稀疏编码作为一种有效的数据表示方法在计算机视觉、医学成像和生物信息学等领域得到了广泛的应用。然而，传统的稀疏编码算法及其多种正则化变体（图稀疏编码和拉普拉斯稀疏编码）都是以无监督的方式学习码书和编码，忽略了训练集中可用的类信息。为了解决这个问题，本文提出了一种新的歧视性稀疏编码方法的基础上多流形，通过学习歧视性的类条件码书和稀疏码的数据特征空间和类标签。首先，根据类标签将整个训练集划分为多个流形。然后，我们将稀疏编码公式化为流形-流形匹配问题，并学习类条件码本和代码，以最大化不同类的流形边缘。最后，我们提出了一个基于数据点流形匹配误差的策略来分类未标记的数据点。体细胞突变识别和乳腺肿瘤超声图像分类任务的实验结果表明，所提出的数据表示分类方法的有效性。
2013-04-03 cs.CV cs.LG stat.ML
Group-Sparse Signal Denoising: Non-Convex Regularization, Convex Optimization
Polytechnic Institute of New York University（纽约大学理工学院）
具有稀疏促进凸正则化的凸优化是用于估计噪声中的稀疏信号的标准方法。为了比凸正则化更强地促进稀疏性，采用非凸优化也是标准实践。在本文中，我们采用第三种方法。我们利用一个非凸的正则化项，这样总成本函数（包括数据一致性和正则化项）是凸的。因此，稀疏性比标准凸公式更强有力地促进，但不会牺牲凸优化的吸引人的方面（唯一的最小值，鲁棒算法等）。我们使用这个想法，以改善最近开发的“重叠组收缩”（OGS）算法的去噪组稀疏信号。该算法应用于语音增强问题，在信噪比和感知质量方面都取得了良好的效果。
2013-11-30 cs.CV cs.LG stat.ML
Theoretical Properties of the Overlapping Groups Lasso
在线性回归环境中，我们给出了两组关于Jacob，Obozinski和Vert（2009）重叠的分组套索的理论结果。该方法允许在稀疏回归中联合选择预测因子，允许编码为一组组的预测因子的复杂结构稀疏性。这个灵活的框架表明，任意复杂的结构可以用一组复杂的组进行编码。我们的研究结果表明，这种策略的结果在意想不到的理论后果的程序。特别地，我们给出了两组结果：（1）预测和估计的有限样本界，（2）渐近分布和选择。这两组结果都深入了解了选择一组越来越复杂的组进行该过程的后果，以及当该组无法恢复真正的稀疏模式时会发生什么。此外，这些结果证明了分组套索手术（有和无重叠组）之间的差异和相似性。我们的分析表明，必须谨慎选择组集-过于复杂的组集会破坏分析。
2011-11-09 stat.ML
Sparse Matrix-based Random Projection for Classification
作为一种典型的降维技术，随机投影可以简单地用线性投影实现，同时以高概率保持高维数据的两两距离。考虑到该技术主要用于分类任务，本文从特征选择的角度研究了随机矩阵的构造，而不是传统的距离保持。这产生了一个有点令人惊讶的理论结果，即每列恰好有一个非零元素的稀疏随机矩阵，如果投影维数足够大（即，不比特征元素的数量小得多），则可以比其他更密集的矩阵呈现更好的特征选择性能;否则，它将执行与其他矩阵相同的操作。对于随机投影，这一理论结果意味着在复杂度和性能上都有相当大的改善，这一点在合成数据和真实数据上的分类实验中得到了广泛的证实。
2014-10-12 cs.CV cs.LG stat.ML
Tensor Sparse PCA and Face Recognition: A Novel Approach
EPHE-PSL University（巴黎高等实践研究大学-巴黎文理研究大学）；Ho Chi Minh University of Technology（胡志明市技术大学）
人脸识别是机器学习和模式识别研究领域中的一个重要领域。它在军事、金融、公共安全等方面有很多应用。在本文中，张量稀疏PCA与最近邻方法（以及核岭回归方法）的组合将被提出并应用于人脸数据集。实验结果表明，张量稀疏PCA与任何分类系统的组合并不总是达到最佳的精度性能指标。然而，稀疏PCA方法和一个特定分类系统的组合的精度总是好于PCA方法和一个特定分类系统的组合的精度，并且总是好于分类系统本身的精度。
2020-08-11 cs.CV cs.LG stat.ML
Kullback-Leibler Penalized Sparse Discriminant Analysis for Event-Related Potential Classification
Instituto de Investigación en Señales, Sistemas e Inteligencia Computacional, UNL, CONICET, FICH（信号、系统与智能计算研究所，国立利托拉尔大学，国家科学与技术研究理事会，水文与工程系）；Facultad de Ingeniería, Universidad Nacional de Entre Ríos（国立恩特雷里奥斯大学工程学院）；Instituto de Matemática Aplicada del Litoral, UNL, CONICET, FIQ（滨海应用数学研究所，国立利托拉尔大学，国家科学与技术研究理事会，化学工程系）
脑机接口（BCI）是一种仅使用脑活动（EEG）在人的思想和外部世界之间提供直接通信的系统。基于事件相关电位（ERP）的脑机接口问题是一个二元模式识别问题。线性判别分析（LDA）被广泛用于解决这类分类问题，但当特征数量相对于观测数量较大时，它会失败。在这项工作中，我们提出了一个惩罚版本的稀疏判别分析（SDA），称为Kullback-Leibler惩罚稀疏判别分析（KLSDA）。该方法既继承了SDA的判别特征选择和分类特性，又通过加入Kullback-Leibler类差异信息提高了SDA的性能。KLSDA方法被设计为自动选择最佳正则化参数。对两个真实的ERP-EEG数据集的数值实验表明，该方法优于标准SDA。
2016-08-24 cs.CV cs.LG stat.ML
Classification by sparse generalized additive models
Tel Aviv University（特拉维夫大学）
该研究提出带稀疏组Lasso/Slope型惩罚的稀疏广义加性分类模型，可适配未知稀疏性与平滑性，在多类函数空间达近极小极大率，并用模拟和真实数据验证了性能。
2024-05-15 cs.LG math.ST stat.ME
Multiclass classification by sparse multinomial logistic regression
Tel Aviv University（特拉维夫大学）；The Open University of Israel（以色列开放大学）
在本文中，我们考虑高维多类分类稀疏多项式逻辑斯谛回归。我们首先提出了一个特征选择过程的基础上惩罚的最大似然模型的大小上的复杂性罚款，并推导出非渐近界的误分类过度风险的分类。我们还建立了相应的极小极大下界推导出他们的紧密性。特别是，我们表明，存在两个政权对应的小和大量的类。在附加的低噪声条件下，可以减小边界。然而，要找到具有复杂性惩罚的惩罚最大似然解，需要在所有可能的模型上进行组合搜索。为了设计一个计算上可行的高维数据的特征选择程序，我们提出了多项式逻辑组Lasso和斜率分类器，并表明它们也实现了极大极小化顺序。
2020-11-19 cs.LG math.ST stat.ME
Sparse Linear Models applied to Power Quality Disturbance Classification
电能质量（PQ）分析描述了电力系统中经常出现的非纯电信号。电能质量扰动的自动识别可以看作是一个模式识别问题，其中不同类型的波形失真是基于它们的特征来区分的。与其他准平稳信号类似，PQ扰动可以通过使用时频或时间尺度变换（也称为字典）分解成时频相关分量。这些字典用于模式识别系统中的特征提取步骤。短时傅立叶变换、小波变换和斯托克韦尔变换是PQ社区中最常用的字典，旨在实现更好的信号表示。据我们所知，以前的作品PQ干扰分类已被限制使用的几个可用的字典之一。利用稀疏线性模型（SLM）背后的理论，我们介绍了一个稀疏的方法PQ表示，从过完备字典。特别是，我们应用组套索。我们采用不同类型的时频（或时间尺度）字典来表征PQ干扰，并评估其性能在不同的模式识别算法。结果表明，SLM降低了PQ分类的复杂度，促进了稀疏基的选择，提高了分类精度。
2015-11-23 stat.AP stat.ML
Modeling User Preferences as Distributions for Optimal Transport-Based Cross-Domain Recommendation under Non-Overlapping Settings
The University of Tokyo, Japan（东京大学）
DUP-OT通过将用户偏好建模为分布并利用最优传输实现非重叠跨域推荐，有效提升冷启动用户评分预测精度。
2026-02-28 cs.IR cs.LG
Online Sparse Streaming Feature Selection Using Adapted Classification
Southwest University（西南大学）
传统的特征选择需要在学习之前知道特征空间，而在线流特征选择（OSFS）被提出来动态地处理流特征。现有方法在不丢失数据的情况下将特征分为相关和不相关，删除不相关特征可能导致信息丢失。基于此，本文重点研究了流特征矩阵的构造和特征相关性的划分，提出了基于自适应分类的在线稀疏流特征选择算法（OS 2FS-AC）。本研究使用潜在因素分析（LFA）来预估缺失数据。此外，我们使用自适应的方法来获得阈值，将特征分为强相关，弱相关和不相关的特征，然后再划分弱相关与更多的信息。在10个真实数据集上的实验结果表明，OS 2FS-AC的性能优于现有算法。
2023-02-25 cs.AI cs.LG
Vanilla Lasso for sparse classification under single index models
本文研究稀疏分类问题。我们证明了在单指标模型下，vanilla Lasso能给出未知参数的良好估计。有了这个结果，我们看到即使模型不是线性的，即使响应不是连续的，我们仍然可以使用vanilla Lasso来训练分类器。仿真证实，香草拉索可以用来得到一个很好的估计时，数据产生的逻辑斯谛回归模型。
2015-12-20 math.ST stat.TH
Overlapping community detection in networks via sparse spectral decomposition
University of Maryland, College Park（马里兰大学帕克分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
我们考虑的问题，估计重叠的社区成员在网络中，每个节点可以属于多个社区。每个节点的社区数量超过几个是很难估计和解释的，所以我们专注于稀疏节点成员向量。我们的算法是基于稀疏主子空间估计与迭代阈值。该方法计算效率高，计算成本相当于估计的邻接矩阵的领导特征向量，不需要额外的聚类步骤，不像谱聚类方法。我们表明，一个不动点的算法对应于正确的节点成员下的随机块模型的一个版本。该方法在模拟和真实网络上进行了经验评估，显示出良好的统计性能和计算效率。
2021-02-15 cs.LG cs.SI stat.CO
Gradient flows and randomised thresholding: sparse inversion and classification
Maxwell Institute for Mathematical Sciences（麦克斯韦数学科学研究所）；Heriot-Watt University（赫瑞-瓦特大学）
稀疏反演和分类问题在现代数据科学和成像中普遍存在。它们通常被表述为非光滑最小化问题。在稀疏反演中，我们最小化，例如，数据保真度项和L1/LASSO正则化项之和。在分类中，我们考虑，例如，数据保真度项和非平滑Ginzburg-Landau能量之和。标准（子）梯度下降法在处理此类问题时已显示出效率低下。拆分技术更有用：在这里，目标函数被划分为两个子目标函数的总和-每个子目标函数都可以有效地优化。分裂通过相对于两个子目标函数中的每一个交替地执行优化步骤来进行。在这项工作中，我们从随机连续时间的角度研究分裂。实际上，我们定义了一个微分包含，它在每个时间点都跟随两个子目标函数之一的负次微分。子目标函数的选择由二进制连续时间马尔可夫过程控制。由此产生的动力系统是一个随机逼近的基本次梯度流。我们调查这种随机逼近的L1正则化稀疏反演流和离散的Allen-Cahn方程最小化的Ginzburg-Landau能量。在这两种情况下，我们研究的长期行为的随机动力系统和它的能力，以任何精度近似的基本次梯度流。我们说明我们的理论研究结果在一个简单的稀疏估计问题，也在低维和高维分类问题。
2022-09-29 cs.LG cs.NA math.NA
Multiclass Sparse Discriminant Analysis
近年来，许多稀疏线性判别分析方法被提出用于高维分类和变量选择。然而，大多数这些建议集中在二进制分类，他们不直接适用于多类分类问题。有两种稀疏判别分析方法可以处理多类分类问题，但它们的理论依据仍然未知。在本文中，我们提出了一个新的多类稀疏鉴别分析方法，同时估计所有的鉴别方向。我们表明，当应用到二进制的情况下，我们的建议产生的分类方向，相当于在文献中的两个成功的二进制稀疏LDA方法。一个有效的算法来计算我们的方法与高维数据。变量选择的一致性和收敛速度下建立的三维设置。我们进一步证明了我们的建议优于现有的方法对模拟和真实数据的性能。
2015-04-22 stat.ME
High Dimensional Classification with combined Adaptive Sparse PLS and Logistic Regression
动机：基因组数据的高维性要求开发特定的分类方法，特别是防止过度乐观的预测。这一挑战可以通过压缩和变量选择来解决，这两者结合起来构成了一个强大的分类框架，以及数据可视化和解释。然而，目前提出的组合导致不稳定和非收敛的方法，由于不适当的计算框架。本文提出了一种基于稀疏偏最小二乘（稀疏PLS）的高维稳定收敛的分类方法。结果：我们首先提出了一个新的解决方案，稀疏PLS问题的基础上接近运营商的情况下，单变量响应。然后，我们开发了一个自适应版本的稀疏PLS分类，它结合了迭代优化的逻辑斯谛回归和稀疏PLS，以确保收敛性和稳定性。我们的结果证实了合成和实验数据。特别是，我们展示了如何至关重要的收敛性和稳定性时，交叉验证涉及校准的目的。使用基因表达数据，我们探索乳腺癌复发的预测。我们还提出了一个多类别的版本，我们的方法预测细胞类型的基础上单细胞表达数据。可用性：我们的方法在plsgenomics R包中实施。
2017-08-30 stat.CO stat.ME
A Bayesian model for sparse graphs with flexible degree distribution and overlapping community structure
University of Oxford（牛津大学）；AITRICS；The Hong Kong University of Science and Technology（香港科技大学）；Pohang University of Science and Technology（浦项科技大学）
我们考虑一类非投影的非齐次随机图模型，具有可解释的参数和一些有趣的渐近性质。使用Bollobás等人的结果。[2007]，我们证明了i）这类模型是稀疏的，ii）取决于参数的选择，模型要么是无标度的，幂律指数大于2，要么是渐近度分布，幂律指数截止。我们提出了一个扩展的模型，可以容纳重叠的社区结构。由于链接概率的特定选择，可以执行可扩展的后验推理。我们在五个不同的真实世界网络上进行了实验，这些网络具有多达100，000个节点和边缘，表明该模型可以很好地拟合度分布，并很好地恢复潜在的社区结构。
2018-10-03 cs.LG cs.SI stat.ML
Fairness with Overlapping Groups
UC Berkeley（加州大学伯克利分校）；Google Research Accra（谷歌研究院阿克拉分部）；Illinois（伊利诺伊大学）
在算法公平预测问题中，标准目标是确保同时跨多个重叠组的公平性度量的平等性。我们重新考虑这个标准的公平分类问题，使用概率人口分析，这反过来又揭示了贝叶斯最优分类器。我们的方法统一了各种现有的组公平的分类方法，并使扩展到广泛的不可分解的多类性能指标和公平性措施。贝叶斯最优分类器进一步激发了算法公平分类与重叠组的一致程序。在各种真实数据集上，所提出的方法在公平性-性能权衡方面优于基线。
2020-06-24 cs.LG stat.ML
Multi-block linearized alternating direction method for sparse fused Lasso modeling problems
本文提出一种新的稀疏融合Lasso分类模型及多块线性化交替方向乘子法算法，用于高效选择稀疏分块特征，具有线性收敛速率和较低时间复杂度，数值实验验证了其鲁棒性和准确性。
2024-05-29 math.ST stat.TH
Classification Recouvrante Basée sur les Méthodes à Noyau
LARODEC（拉罗德克实验室）；Institut Supérieur de Gestion de Tunis（突尼斯高等管理学院）；Université de Tunis（突尼斯大学）
重叠聚类问题是一个重要的学习问题，其中类不相互排斥，每个对象可能同时属于几个类。本文提出了一种基于核的方法，使用Mercer核技术在高特征空间上产生重叠聚类，以提高输入模式的可分性。提出的方法称为OKM-K（Overlapping $k$ -means based kernel method），它扩展了OKM（Overlapping $k$ -means）方法以产生重叠方案。在重叠数据集上进行了实验，OKM-K获得的经验结果优于OKM获得的结果。
2012-11-29 cs.LG stat.CO stat.ME
Deep-learning-based decomposition of overlapping-sparse images: application at the vertex of neutrino interactions
ETH Zurich（苏黎世联邦理工学院）；State University of New York at Stony Brook（纽约州立大学石溪分校）
本文提出基于深度学习的方法分解多维重叠稀疏图像，以识别中微子相互作用顶点处的独立粒子并推断低动量粒子运动学参数，结合可微生成模型进一步提升能量分辨率，助力精确测量中微子振荡参数及物质不对称性研究。
2024-05-08 cs.CV cs.LG hep-ex
More Experts Than Galaxies: Conditionally-overlapping Experts With Biologically-Inspired Fixed Routing
University of Colorado Boulder（科罗拉多大学博尔德分校）；National Institute of Mental Health（美国国家精神卫生研究所）；Johannes Gutenberg University Mainz（美因茨约翰内斯·古腾堡大学）；University of Chicago（芝加哥大学）；Google DeepMind（谷歌DeepMind）
针对标准神经网络多任务学习干扰及现有稀疏方法缺陷，提出条件重叠专家混合模型COMET，采用生物启发式固定随机投影实现模块化稀疏架构，提升学习速度与泛化能力，在多任务上验证有效。
2025-02-11 cs.LG
CaR-FOREST: Joint Classification-Regression Decision Forests for Overlapping Audio Event Detection
本报告介绍了我们提交的DCASE 2016挑战的任务2和任务3。该系统旨在处理连续流中重叠音频事件的检测，其中检测器基于随机决策森林。建议的森林同时进行分类和回归的联合训练。最初，训练是面向分类的，以鼓励树从重叠的混合物中选择有区别的特征，以将积极的音频片段与消极的音频片段分开。然后执行回归阶段以让肯定音频片段投票事件开始和偏移，并且因此对音频事件的时间结构进行建模。一个随机决策森林是专门为每个感兴趣的事件类别训练的。开发数据的实验结果表明，我们的系统显着优于基线的任务2的评估，而他们是劣于基线的任务3的评估。
2016-08-15 cs.AI cs.LG cs.MM
Flexible mean field variational inference using mixtures of non-overlapping exponential families
Stanford University（斯坦福大学）
稀疏模型是跨不同领域的许多应用程序所期望的，因为它们可以执行自动变量选择，帮助可解释性，并提供正则化。然而，当在贝叶斯框架中拟合稀疏模型时，除了最简单的情况之外，在所有情况下都难以解析地获得感兴趣的参数的后验分布。因此，从业者必须依赖于抽样算法，如马尔可夫链蒙特卡罗或变分方法，以获得一个近似的后验。平均场变分推理是一个特别简单和流行的框架，往往是服从解析推导的封闭形式的参数更新。当模型中的所有分布都是指数族的成员并且条件共轭时，通常可以手工导出优化方案。然而，我表明，使用标准的平均场变分推理可能无法产生合理的结果与稀疏诱导先验模型，如穗和板。幸运的是，这样的病态行为可以补救，因为我表明，混合指数族分布与非重叠的支持形成一个指数族。特别地，扩散指数族和在零处的点质量的任何混合以模型稀疏性形成指数族。此外，这些分布的特定选择保持条件共轭性。我用两个应用程序来激励这些结果：一个来自统计遗传学，它与广义最小二乘法有联系，在回归系数上有一个尖峰和厚板;和稀疏概率主成分分析。这里提出的理论结果是广泛适用于这两个例子之外。
2020-10-14 cs.LG math.ST stat.ML
Joint Direction and Proximity Classification of Overlapping Sound Events from Binaural Audio
Tampere University（坦佩雷大学）
声源邻近度和距离估计在许多实际应用中具有很大的意义，因为它们为声学景物分析提供了重要的信息。由于这两项任务具有互补性，因此确保这两者之间的有效互动对于完整的听觉环境至关重要。在本文中，我们的目标是研究几种方法来执行联合接近和方向估计从双耳录音，都定义为粗分类问题的基础上深神经网络（DNN）。考虑到双耳音频的局限性，我们提出了两种方法，分裂成角度的领域，以获得一组方向类的球体。对于每种方法，我们研究不同的模型类型，以获取有关到达方向（DoA）的信息。最后，我们提出了各种方法结合的接近和方向估计问题到一个联合任务提供时间信息的出现源的起始和偏移。实验进行合成混响双耳数据集组成的两个重叠的声音事件。
2021-07-26 cs.LG cs.SD eess.AS
Classifying Overlapping Gaussian Mixtures in High Dimensions: From Optimal Classifiers to Neural Nets
Raymond and Beverly Sackler School of Physics and Astronomy（雷蒙德和贝弗利·萨克勒物理与天文学院）；Tel-Aviv University（特拉维夫大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
该研究推导了高维重叠高斯混合模型下贝叶斯最优分类器的闭式解，并通过实验证明深度神经网络能近似该最优分类器，且决策阈值与协方差特征向量相关，为神经网络的概率推理能力提供了理论依据。
2024-05-28 cs.AI cs.LG stat.ML
Evolutionary Simplicial Learning as a Generative and Compact Sparse Framework for Classification
Izmir University of Economics（伊兹密尔经济大学）
稀疏表示的字典学习在许多重建任务中取得了成功。单纯形学习是字典学习的一种适应，其中子空间被裁剪并获得任意偏移，采取单纯形的形式。这种适应是通过对稀疏码的附加约束来实现的。此外，演化的方法可以选择来确定组成单纯形的单纯形的数量和维数，其中大多数生成和紧凑的单纯形是有利的。本文提出了一种进化单纯学习方法，作为一个生成和紧凑的稀疏分类框架。所提出的方法首先应用于一类分类任务，它似乎是最可靠的方法在考虑的基准。当进化单纯学习被认为是在多类分类任务中时，观察到最令人惊讶的结果。由于稀疏表示在本质上是生成的，因此它们存在一个基本问题，即无法区分位于同一子空间上的两个类。通过合成实验验证了这一说法，并证明了单纯学习的优越性，即使是仅生成的方法。简单学习在高维情况下失去了其优于判别方法的优势，但可以进一步修改判别元素，以实现分类任务的最新性能。
2020-05-14 cs.LG stat.ML
Sparse Robust Classification via the Kernel Mean
Decisions 360；Google Research, NY（谷歌研究纽约分部）；University of Tübingen（图宾根大学）
本文提出让核评估的权重相等以简化分类规则，探讨了该核均值分类规则的一致性、鲁棒性和稀疏化。
2025-10-13 cs.LG stat.ML
Sparse Representation Classification via Screening for Graphs
University of Delaware（特拉华大学）；Intel Labs（英特尔实验室）；Temple University（天普大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
稀疏表示分类器（SRC）的工作以及满足子空间假设的图像识别问题。在本文中，我们提出了一个新的实现SRC通过筛选，建立其等价于原来的SRC正则性条件下，并证明其分类的一致性随机图从随机块模型。结果表明，通过模拟和真实数据实验，新算法实现了相当的数值性能，但显着更快。
2019-06-04 cs.LG stat.ML
Comparison of Classification Methods for Very High-Dimensional Data in Sparse Random Projection Representation
Arcada UAS（阿卡达应用科学大学）
大数据趋势激发了特征驱动的学习任务，这是传统机器学习模型无法处理的。非结构化数据在转换为向量形式时会产生具有数百万列的非常大的二进制矩阵。然而，这样的数据通常是稀疏的，因此可以通过使用稀疏随机投影来管理。本文研究了适用于这类数据的高效非迭代和迭代法，并对两个具有代表性的具有数百万样本和特征的机器学习任务进行了结果评估。引入有效的Jaccard核作为稀疏随机投影的替代方案。研究结果表明，非迭代法可以找到更大，更准确的模型比迭代法在不同的应用场景。
2019-12-18 cs.LG stat.ML
Fast Sparse Classification for Generalized Linear and Additive Models
Duke University（杜克大学）；University of British Columbia（不列颠哥伦比亚大学）
我们提出了稀疏广义线性和加法模型的快速分类技术。这些技术可以在几分钟内处理数千个特征和数千个观察结果，即使存在许多高度相关的特征。对于快速稀疏逻辑回归，我们的计算速度比其他最佳子集搜索技术要快，这要归功于逻辑损失的线性和二次替代切割，这使我们能够有效地筛选要消除的特征，以及使用优先级队列，有利于更均匀地探索特征。作为一种替代的逻辑损失，我们提出了指数损失，它允许在每次迭代的线搜索的解析解。我们的算法通常比以前的方法快2到5倍。它们生成可解释的模型，其准确性可与具有挑战性的数据集上的黑盒模型相媲美。
2022-10-30 cs.LG stat.ML
Beyond Trees: Classification with Sparse Pairwise Dependencies
Weizmann Institute of Science（魏茨曼科学研究所）；Princeton University（普林斯顿大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Texas A&M University（得克萨斯农工大学）
几种分类方法假设底层分布遵循树形结构的图形模型。事实上，树捕获变量对之间的统计依赖性，这对于实现低分类错误可能至关重要。所得分类器在对应于树边缘的对数变换的单变量和双变量密度中是线性的。然而，在实践中，观察到的数据可能无法很好地用树来近似。然而，出于精确分类的成对依赖关系的重要性，在这里，我们建议通过单变量和双变量对数变换密度的稀疏线性组合来近似最优决策边界。我们所提出的方法是半参数的性质：我们非参数估计的单变量和双变量密度，删除几乎独立使用希尔伯特-施密特独立性标准的变量对，并最终构建一个线性SVM上保留的对数转换密度。我们证明使用合成和真实的数据，我们得到的分类，表示SLB（稀疏对数双变量密度），是有竞争力的流行的分类方法。
2020-04-16 cs.LG stat.ML
From Softmax to Sparsemax: A Sparse Model of Attention and Multi-Label Classification
Unbabel Lda（Unbabel有限公司）；Instituto de Telecomunicações (IT)（电信研究所（IT））；Instituto Superior Técnico（高等技术学院）；Instituto de Engenharia de Sistemas e Computadores (INESC-ID)（系统与计算机工程研究所（INESC-ID））
我们提出了sparsemax，一个新的激活函数类似于传统的softmax，但能够输出稀疏的概率。在推导出它的属性之后，我们展示了如何有效地计算它的雅可比矩阵，使其能够在用反向传播训练的网络中使用。然后，我们提出了一个新的光滑和凸的损失函数，这是稀疏的模拟逻辑损失。我们揭示了一个意想不到的这种新的损失和Huber分类损失之间的联系。我们在多标签分类问题和基于注意力的神经网络自然语言推理中获得了有希望的实证结果。对于后者，我们实现了与传统softmax类似的性能，但具有选择性，更紧凑，注意力集中。
2016-02-08 cs.CL cs.LG stat.ML
Complexity-Optimized Sparse Bayesian Learning for Scalable Classification Tasks
University of Macau（澳门大学）
本文提出DQN-SBL方法，通过忽略大型协方差矩阵求逆将复杂度从$O(M^3)$降至$O(M)$，解决了稀疏贝叶斯学习在大规模问题中的内存溢出问题，并在保持泛化能力和模型稀疏性的同时实现了良好扩展。
2023-09-11 cs.LG stat.ML
Translation-Invariant Shrinkage/Thresholding of Group Sparse Signals
Polytechnic Institute of New York University（纽约大学理工学院）
本文讨论了大幅度系数形成簇（组）时的信号去噪。L1范数和其他可分离稀疏模型不能捕捉系数聚类的趋势（组稀疏）。这项工作开发了一种算法，称为“重叠组收缩”（OGS），基于最小化的凸成本函数，涉及组稀疏促进惩罚函数。这些组是完全重叠的，因此去噪方法是不变性的，并且避免了块效应。基于优化最小化（MM）原理，我们推导出一个简单的迭代最小化算法，使成本函数单调下降。还描述了基于将噪声衰减到指定水平来设置正则化参数的过程。所提出的方法说明语音增强，其中OGS方法应用在短时傅立叶变换（STFT）域。OGS产生的去噪语音不受音乐噪声的影响。
2013-03-29 cs.CV cs.LG cs.SD
Deep Sparse Representation-based Classification
提出一种基于转导深度学习的稀疏表示分类方法，利用卷积自编码器和全连接层学习深度特征与稀疏编码，在三个数据集上优于现有SRC方法。
2019-04-24 cs.AI cs.CV cs.LG
Non-intrusive Load Monitoring via Multi-label Sparse Representation based Classification
这项工作遵循的方法，多标签分类的非侵入式负载监测（NILM）。我们修改了流行的稀疏表示为基础的分类（SRC）的方法（单标签分类）来解决多标签分类问题。在基准REDD和Pecan Street数据集上的结果显示，在少量训练数据的情况下，与最先进的技术相比，有了显着的改进。
2019-12-11 cs.LG cs.SY eess.SP
Differential Privacy for Sparse Classification Learning
Northwest University（西北大学）；Macau University of Science and Technology（澳门科技大学）
在本文中，我们提出了一个差分隐私版本的凸和非凸稀疏分类方法。基于交替方向乘子法（ADMM）算法，将稀疏问题的求解转化为多步迭代过程。然后，我们添加指数噪声稳定的步骤，以实现隐私保护。该方法利用差分隐私的后处理保持特性，在原问题不稳定的情况下，仍能满足$ε-$差分隐私.此外，我们提出了理论上的隐私界的差分隐私分类算法。具体地说，我们的算法的隐私边界控制的算法迭代次数，隐私参数，损失函数的参数，ADMM预选参数，和数据大小。最后，我们将我们的框架应用于具有$L_1$正则化的逻辑斯谛回归和具有$L_{1/2}$正则化的逻辑斯谛回归。数值实验表明，该方法在敏感数据分析中具有良好的性能。
2019-08-02 cs.CR cs.LG stat.ML
A Versatile Framework for Designing Group-Sparse Adversarial Attacks
Department of Electrical Engineering（电气工程系）；Electronics Research Institute (ERI)（电子研究所）；Sharif University of Technology（谢里夫科技大学）
本文提出可微优化框架ATOS，利用OSL0和分组稀疏约束生成结构化对抗扰动，在CIFAR-10与ImageNet上达到100%攻击成功率并增强可解释性。
2025-10-18 cs.CR cs.LG eess.IV
Structured Priors for Sparse-Representation-Based Hyperspectral Image Classification
The Johns Hopkins University（约翰斯·霍普金斯大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
逐像素分类是高光谱图像分析中最重要的步骤之一，其中每个像素被分配到一个预定义的类。稀疏表示分类器（SRC）通过将测试像素表示为标记像素的一个小子集的线性组合，与传统的分类器如支持向量机（SVM）相比，给出了更合理的结果。最近，通过加入额外的结构稀疏先验，第二代SRC出现在文献中，并报告进一步提高HSI的性能。这些先验是基于利用相邻像素之间的空间依赖性，字典的固有结构，或两者兼而有之。在本文中，我们回顾和比较几个结构化的先验稀疏表示为基础的HSI分类。我们还提出了一个新的结构先验称为低秩组先验，它可以被认为是低秩先验的修改。此外，我们将研究不同的结构先验如何改善HSI分类的结果。
2014-01-16 cs.CV cs.LG stat.ML
SparseConvMIL: Sparse Convolutional Context-Aware Multiple Instance Learning for Whole Slide Image Classification
Paris-Saclay University（巴黎-萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；Gustave Roussy（古斯塔夫·鲁西研究所）；Inserm（法国国家健康与医学研究院）；TheraPanacea（TheraPanacea公司）
多实例学习（MIL）是用于整个切片图像分类的优选方法。然而，大多数MIL方法不利用从整个幻灯片图像中提取的瓦片的相互依赖性，这可以为分类提供有价值的线索。本文提出了一种新的MIL方法，利用瓷砖的空间关系分类整个幻灯片图像。为此，从瓦片嵌入构建稀疏映射，然后通过稀疏输入CNN进行分类。它在涉及10000张全切片图像的癌症亚型分类方面获得了超过流行的MIL方法的最先进性能。我们的研究结果表明，所提出的方法可以（i）提高表示学习的实例和（ii）利用上下文的实例嵌入，以提高分类性能。这个工作的代码是开源的{github censored for review}。
2021-08-25 cs.CV cs.LG
Differentially Private Regression and Classification with Sparse Gaussian Processes
University of Sheffield（谢菲尔德大学）
机器学习的一个持续挑战是提供对数据执行计算的方法，同时确保数据保持私有。在本文中，我们建立在可证明的隐私保证的差分隐私已结合高斯过程，通过以前出版的\emph{cloaking method}。在本文中，我们解决了这种方法的几个缺点，从低数据密度区域的预测问题开始。我们的实验与诱导点的使用，以提供一个稀疏的近似，并表明，这些可以提供强大的差分隐私在离群区域和更高的维度。然后，我们看看分类，并修改拉普拉斯近似方法，以提供不同的私人预测。然后，我们将其与稀疏近似相结合，并展示了在高维中进行分类的能力。最后，我们探讨了超参数选择的问题，并开发了一种方法，他们的私人选择。本文和相关的库提供了一个强大的工具包，结合差分隐私和GPS在一个实用的方式。
2019-09-19 cs.CR cs.LG stat.ML
Learning Sparse Adversarial Dictionaries For Multi-Class Audio Classification
Indian Institute Of Space Science And Technology（印度空间科学与技术学院）；Intel（英特尔）
音频事件在本质上往往是重叠的，并且比视觉信号更容易受到噪声的影响。越来越多的证据表明，使用稀疏字典学习的表示在音频去噪和语音增强等应用中具有优越的性能。本文集中于修改传统的重建字典学习算法，通过将一个判别项的目标函数，以学习类特定的对抗性字典，是在代表自己的类的样本，同时穷人在代表属于任何其他类的样本。我们定量地证明了我们的学习词典作为二进制和多类音频分类问题的独立解决方案的有效性。
2017-12-02 cs.LG
Bioinspired random projections for robust, sparse classification
ETH Zurich（苏黎世联邦理工学院）；Imperial College London（帝国理工学院）
受生物传感系统中随机投影的启发，我们提出了一种新的分类问题数据处理算法。这是基于对人类大脑和果蝇嗅觉系统的观察，并涉及在应用帽操作以截断较小条目之前将数据随机投影到大大增加维度的空间中。这导致了一个简单的算法，这是非常有效的计算，并可以用于要么给出一个稀疏表示与最小的损失在分类精度或提供改进的鲁棒性，在这个意义上，分类精度提高时，噪声被添加到数据。这是证明与数值实验，补充理论结果表明，所得到的信号变换是连续的和可逆的，在适当的意义上。
2022-07-27 cs.LG eess.SP q-bio.NC
Nishimori meets Bethe: a spectral method for node classification in sparse weighted graphs
GIPSA-lab Université Grenoble Alpes, CNRS, Grenoble INP（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔国立理工学院联合吉卜赛实验室）；Laboratoire d’Informatique de Grenoble (LIG), Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学格勒诺布尔信息学实验室（LIG））
本文揭示了边权按P分布的随机Erdos-Renyi图的参数化Nishimori温度与Bethe自由能之间的一个新关系。Nishimori温度的估计是贝叶斯推断问题中的一个重要任务，作为这个新关系的一个实际推论，提出了一种从加权图的Bethe Hessian矩阵的特征值精确估计Nishimori温度的数值方法。该算法，反过来，是用来提出一个新的频谱方法的节点分类加权（可能稀疏）图。通过理论论证和实际数据实验，证明了该方法优于竞争国家的最先进的方法。
2021-09-24 cond-mat.stat-mech cs.LG stat.ML
Linear Spatial Pyramid Matching Using Non-convex and non-negative Sparse Coding for Image Classification
Center for Information in BioMedicine（生物医学信息中心）；China Center for Applied Mathematics（中国应用数学中心）
近年来，稀疏编码在图像分类中取得了巨大的成功，这主要是由于它能够结合图像表示的稀疏性。本文提出了一种基于线性空间金字塔匹配（SPM）和尺度不变特征变换（SIFT）描述子的稀疏编码模型。新颖之处在于同时将非凸和非负特征加入到稀疏编码模型中。我们的数值实验表明，使用非凸和非负稀疏编码的改进方法优于原始的ScSPM[1]在几个典型的数据库。
2015-04-27 cs.CV cs.LG
Collaborative Representation for Classification, Sparse or Non-sparse?
Academic Center for Computing and Media Studies, Kyoto University（京都大学学术计算与媒体研究中心）；Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
基于稀疏表示的分类方法（SRC）是一种简单、有效、鲁棒的人脸识别方法。随着它变得流行，对强制稀疏性的必要性的怀疑开始出现，并且初步实验结果表明，简单地将基于$l_1$ -范数的正则化改变为计算上更有效的基于$l_2$ -范数的非稀疏版本将导致类似甚至更好的性能。然而，情况并非总是如此。给定一个新的分类任务，仍然不清楚哪种正则化策略（即，使系数稀疏或非稀疏）是更好的选择，而无需尝试两者进行比较。在本文中，我们提出了据我们所知的第一个研究解决这个问题，大量的不同的分类实验的基础上。我们提出了一个评分函数，用于预先选择正则化策略，仅使用数据集大小，特征维数和来自给定特征表示的判别分数。此外，我们表明，当字典学习是考虑，非稀疏表示有更显着的优势稀疏表示。这项工作有望丰富我们对稀疏/非稀疏协作表示分类的理解，并激励进一步的研究活动。
2014-03-06 cs.AI cs.CV cs.LG
