Efficient Optimization for Sparse Gaussian Process Regression
University of Toronto（多伦多大学）；TTI-Chicago（芝加哥丰田技术研究所）；Adobe Research（Adobe研究院）
我们提出了一个有效的优化算法，选择一个子集的训练数据，以诱导稀疏高斯过程回归。该算法使用单个目标（边际似然或变分自由能）来估计诱导集和超参数。该算法的空间复杂度和时间复杂度与训练集大小成线性关系，可应用于离散或连续域上的大型回归问题。实证评估表明，国家的最先进的性能在离散的情况下，在连续的情况下，竞争的结果。
2013-11-11 cs.LG
Online Sparse Linear Regression
Amazon（亚马逊）；Yahoo Research（雅虎研究院）；Goldman Sachs（高盛）
我们考虑在线稀疏线性回归问题，这是顺序进行预测的问题，在每一轮中只观察有限数量的特征，以最大限度地减少对最佳稀疏线性回归的遗憾，其中预测精度由平方损失来衡量。我们给出了一个效率低下的算法，获得$T$预测轮后的$\tilde{O}(\sqrt{T})$有界的遗憾。我们补充这一结果表明，没有算法运行在多项式时间内，每次迭代可以实现遗憾的$O(T^{1-δ})$任何常数$δ> 0$，除非$\text{NP} \subseteq \text{BPP}$。这个计算硬度结果解决了COLT 2014（Kale，2014）中提出的一个开放问题，也是Zolghadr等人提出的。（2013）。即使算法被允许访问比最佳稀疏线性回归器更多的特征，直到维度中的对数因子，这个硬度结果也成立。
2016-03-07 cs.LG
High-Order Tensor Regression in Sparse Convolutional Neural Networks
本文提出一种面向卷积的通用高阶张量方法，构建稀疏卷积神经网络的理性回归理论框架，并据此重新定义以最简单通用形式呈现的反向传播算法。
2025-08-28 cs.LG
SpReME: Sparse Regression for Multi-Environment Dynamic Systems
POSTECH（浦项科技大学）
学习动力系统是科学发现的一个有前途的途径。然而，在多个环境中捕捉支配动态仍然是一个挑战：基于模型的方法依赖于对单个环境的假设的保真度，而基于神经网络的数据驱动方法在推断未来时往往很脆弱。在这项工作中，我们开发了一种称为SpReME的稀疏回归方法，以发现多种环境下的主要动态。具体地说，SpReME在不同的环境中共享一个稀疏的常微分方程（ODE）结构，同时允许每个环境独立地保持ODE项的系数。我们证明，该模型捕捉正确的动态从多个环境中超过四个不同的动态系统，提高了预测性能。
2023-03-08 cs.LG
Fair Sparse Regression with Clustering: An Invex Relaxation for a Combinatorial Problem
Purdue University（普渡大学）
在本文中，我们研究了有偏数据集上的公平稀疏回归问题，其中偏置依赖于一个隐藏的二进制属性。隐藏属性的存在通过将稀疏回归和聚类与未知的二进制标签相结合，为问题增加了额外的复杂性。相应的优化问题是组合的，但我们提出了一个新的放松它作为一个\emph{invex}优化问题。据我们所知，这是一个组合问题的第一个不变凸松弛。我们表明，在我们的模型中包含的去偏置/公平约束的性能没有不利影响。相反，它支持恢复隐藏属性。我们恢复的回归参数向量的支持与真实的参数向量完全匹配。此外，我们同时解决聚类问题，恢复每个样本的隐藏属性的确切值。我们的方法使用精心构造的原始对偶证人提供理论保证的组合问题。为此，我们表明，我们的方法的样本复杂度是对数的回归参数向量的维数。
2021-06-14 cs.LG
Hardness and Algorithms for Robust and Sparse Optimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们探索稀疏优化问题的算法和限制，如稀疏线性回归和鲁棒线性回归。稀疏线性回归问题的目标是识别少量的关键特征，而鲁棒线性回归问题的目标是识别少量的错误测量。具体地，稀疏线性回归问题寻找$k$ -稀疏向量$x\in\mathbb{R}^d$以最小化$\|Ax-b\|_2$，给定输入矩阵$A\in\mathbb{R}^{n\times d}$和目标向量$b\in\mathbb{R}^n$，而稳健线性回归问题寻找忽略至多$k$行的集合$S$和向量$x$以最小化$\|(Ax-b)_S\|_2$。我们首先展示了基于[OWZ 15]的工作建立的稳健回归的近似的双准则，NP-硬度，这意味着稀疏回归的类似结果。我们进一步显示细粒度的硬度强大的回归，通过减少从最小重量$k$ -集团猜想。在积极的一面，我们给出了一个鲁棒回归算法，实现任意精确的附加误差，并使用运行时间，密切匹配的下限从细粒度的硬度结果，以及稀疏回归算法具有类似的运行时间。我们的上界和下界都依赖于我们引入的从稳健线性回归到稀疏回归的一般减少。我们的算法，灵感来自3SUM问题，使用近似最近邻数据结构，并可能是独立的利益解决稀疏优化问题。例如，我们证明了我们的技术也可以用于研究稀疏PCA问题。
2022-06-29 cs.DS cs.LG
Joint estimation of sparse multivariate regression and conditional graphical models
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
多元回归模型是对经典的一元回归模型的自然推广，用于拟合多个响应.在本文中，我们提出了一个高维多元条件回归模型，用于构造多元回归系数矩阵的稀疏估计，该矩阵考虑了多个响应之间的依赖结构。所提出的方法分解成一系列的惩罚条件对数似然的协变量和其他响应的条件下的每个响应的多元回归问题。它允许同时估计稀疏回归系数矩阵和稀疏逆协方差阵。针对协变量的发散维度和响应数量建立了渐进选择一致性和正态性。所提出的方法的有效性也证明了在各种模拟的例子，以及应用程序的多形性胶质母细胞瘤癌症数据。
2013-06-19 cs.LG stat.ML
Smooth Sparse Coding via Marginal Regression for Learning Sparse Representations
Georgia Tech（佐治亚理工学院）；Baidu Inc.（百度公司）
我们提出并分析了一种新的框架，学习稀疏表示，基于两种统计技术：核平滑和边际回归。所提出的方法提供了一个灵活的框架，将特征相似性或时间信息存在于数据集，通过非参数核平滑。我们提供了泛化界的字典学习使用平滑稀疏编码，并显示如何样本的复杂性取决于所使用的核函数的L1范数。此外，我们建议使用边际回归获得稀疏代码，这显着提高了速度，并允许一个扩展到大字典的大小很容易。我们证明了所提出的方法的优点，无论是在精度和速度方面，通过大量的实验，在几个真实的数据集。此外，我们还演示了如何使用所提出的方法来改善半监督稀疏编码。
2012-10-03 cs.LG stat.ML
Graph-Sparse Logistic Regression
MIT Biological Engineering（麻省理工学院生物工程系）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们介绍了图稀疏逻辑回归，一种新的算法分类的情况下，支持应该是稀疏的，但连接在一个图。我们验证了该算法对合成数据和基准测试，它对L1正则化逻辑回归。然后，我们探索我们的技术在生物信息学背景下的蛋白质组学数据的相互作用图。我们公开了所有的实验代码，并将GSLR作为开源软件包提供。
2017-12-15 cs.LG stat.ML
A Safe Screening Rule for Sparse Logistic Regression
Computer Science and Engineering, Arizona State University, USA（亚利桑那州立大学计算机科学与工程学院，美国）；SAS Institute Inc., USA（美国SAS研究所）
l1正则化逻辑回归（或稀疏逻辑回归）是一种广泛使用的同时进行分类和特征选择的方法。虽然最近的许多努力已经致力于其有效的实施，其应用到高维数据仍然构成了重大挑战。在本文中，我们提出了一种快速有效的稀疏逻辑回归筛选规则（Slores）来识别解决方案向量中的0分量，这可能会导致要进入优化的特征数量大幅减少。Slores的一个吸引人的特点是，数据集只需要扫描一次就可以运行筛选，与解决稀疏逻辑回归问题相比，其计算成本可以忽略不计。此外，Slores是独立的稀疏逻辑回归的求解器，因此Slores可以与任何现有的求解器集成，以提高效率。我们已经评估了Slores使用高维数据集从不同的应用程序。大量的实验结果表明，Slores优于现有的国家的最先进的筛选规则和解决稀疏逻辑回归的效率提高了一个数量级。
2013-07-18 cs.LG stat.ML
Tree Search Network for Sparse Regression
School of Electrical Engineering, Korea Advanced Institute of Science and Technology（韩国科学技术院电气工程学院）
我们考虑经典的稀疏回归问题的恢复稀疏信号$x_0$给定的测量向量$y = Φx_0+w$。提出了一种基于深度神经网络的稀疏回归树搜索算法。TSN通过执行具有修剪的树搜索来提高为稀疏回归设计的深度神经网络的信号重构性能。在无噪声和有噪声的情况下都可以观察到，TSN恢复合成信号和真实信号的复杂度比传统的树搜索低，并且对于广泛用于稀疏回归的各种类型的感测矩阵$Φ$，TSN优于现有算法。
2019-04-01 cs.LG eess.SP stat.ML
Communication-efficient sparse regression: a one-shot approach
Stanford University（斯坦福大学）；Dartmouth College（达特茅斯学院）
我们设计了一个一次性的方法，分布稀疏回归在高维设置。关键思想是平均“去偏”或“去偏”的套索估计。我们表明，只要数据集没有被分割到太多的机器上，这种方法就能以与套索相同的速度收敛。我们还将该方法推广到广义线性模型。
2015-08-11 cs.LG stat.ML
Kernel Regression with Sparse Metric Learning
East China Normal University（华东师范大学）
核回归是一种流行的非参数拟合技术。它旨在学习一个函数，该函数尽可能精确地估计测试输入的目标。通常，通过周围训练样本的加权平均来估计测试输入的函数值。权重通常由基于距离的核函数计算，并且它们强烈依赖于示例之间的距离。本文首先回顾了稀疏度量学习和核回归的最新进展。在此基础上，提出了一种新的基于稀疏度量学习的核回归方法--稀疏度量学习核回归（KR $\_$ SML）。通过对度量矩阵进行混合$(2,1)$范数正则化，建立稀疏核回归模型.它通过梯度下降过程学习马氏距离度量，可以同时进行降维，并导致良好的预测结果。我们的工作是第一个结合核回归与稀疏度量学习。为了验证所提出的方法的有效性，它是在19个数据集进行回归评估。并将该方法应用于短时交通流预测的实际问题中。最后，在两种准则下的所有测试数据集上，将该方法与其他三种相关的核回归方法进行了比较。实验结果表明，该方法具有更强的竞争力。
2017-12-25 cs.LG stat.ML
Robust and Sparse Estimation of Linear Regression Coefficients with Heavy-tailed Noises and Covariates
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）
研究了线性回归系数的抗差稀疏估计。本文所解决的情况是，协变量和噪声是从重尾分布中采样的，并且协变量和噪声被恶意离群值污染。我们的估计量可以有效地计算。此外，估计的误差界是接近最优的。
2022-10-09 cs.LG stat.ML
TabNSM: Neural Sparse Mixer for Tabular Regression
University of Kentucky（肯塔基大学）；Institute for Biomedical Informatics（生物医学信息学研究所）
该研究提出TabNSM框架，通过自适应稀疏交互模块、多阶段回归头等组件，在9个真实回归基准上实现高维表格回归的优性能与可扩展性。
2026-08-19 cs.CE cs.LG
Sparse Private LASSO Logistic Regression
Booz Allen Hamilton（博思艾伦汉密尔顿）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Air Force Research Laboratory（空军研究实验室）
针对现有差分隐私LASSO逻辑回归多生成稠密解、削弱LASSO惩罚效用的问题，提出先训练非隐私模型确定可私有化非零系数数、再选模的稀疏差分隐私方法，在合成与真实数据集上验证了性能。
2023-04-29 cs.CR cs.LG
Are Latent Factor Regression and Sparse Regression Adequate?
Princeton University（普林斯顿大学）
我们提出了因子增广稀疏线性回归模型（FARM），它不仅包含了潜在因子回归和稀疏线性回归的特殊情况，而且将降维和稀疏回归联系在一起。我们分别在亚高斯噪声和重尾噪声（具有有界的（1+x）阶矩，对于所有x>0）的存在下，为我们的模型的估计提供了理论保证。此外，现有的监督学习的工作往往假设潜在的因素回归或稀疏线性回归是真正的基础模型，而没有证明其充分性。为了填补这一重要空白，我们还利用我们的模型作为替代模型来测试潜在因子回归和稀疏线性回归模型的充分性。为了实现这些目标，我们分别提出了因子调整去偏检验（FabTest）和两阶段方差分析类型检验。我们还进行了大规模的数值实验，包括合成和FRED宏观经济数据，以证实我们的方法的理论特性。数值结果表明，我们的模型对潜在的因素回归和稀疏线性回归模型的鲁棒性和有效性。
2022-03-02 cs.LG math.ST stat.ME
Conditional Sparse Coding and Grouped Multivariate Regression
Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）
我们研究的问题，多元回归的数据是自然分组，回归矩阵是估计为每组。我们提出了一种方法，在该方法中，低秩参数矩阵的字典估计跨组，和字典元素的稀疏线性组合估计在每个组内形成一个模型。我们将该方法称为条件稀疏编码，因为它是以协变量向量X为条件的响应向量Y的编码过程。这种方法捕获跨组的共享信息，同时适应每个组内的结构。它利用了在计算机视觉和计算神经科学中成功开发的稀疏编码背后的相同直觉。我们提出了一种算法的条件稀疏编码，分析其理论性质的预测精度，并提出了模拟和脑成像实验的结果，比较新技术，以减少秩回归。
2012-06-27 cs.LG stat.ML
Kernel Regression for Graph Signal Prediction in Presence of Sparse Noise
KTH Royal Institute of Technology（KTH皇家理工学院）
在稀疏噪声的存在下，我们提出了核回归预测的输出向量是光滑的一个给定的图。稀疏噪声对训练输出进行建模，训练输出被丢失的样本或大的扰动破坏。稀疏噪声的存在通过在凸代价函数中适当使用$\ell_1$ -范数以及使用$\ell_2$ -范数来处理。对于优化的成本函数，我们提出了一个迭代加权最小二乘（IRLS）的方法，是适合于内核替换或内核技巧，由于可用的封闭形式的解决方案。使用真实世界温度数据的模拟显示了我们所提出的方法的有效性，主要是针对有限大小的训练数据集。
2018-11-06 cs.LG stat.ML
Compressed Sensing with Adversarial Sparse Noise via L1 Regression
UT Austin（德克萨斯大学奥斯汀分校）
我们提出了一个简单而有效的算法解决问题的\emph{sparse robust linear regression}。在这个问题中，人们希望从被稀疏噪声破坏的线性测量来估计稀疏向量$w^* \in \mathbb{R}^n$，该稀疏噪声可以任意地改变测量响应$y$的逆向选择的$η$分数，以及向响应引入有界范数噪声。对于高斯测量，我们表明，一个简单的算法基于L1回归可以成功地估计$w^*$的任何$η< η_0 \approx 0.239$，这个阈值是紧的算法。该算法所需的测量数量是$O(k \log \frac{n}{k})$，用于$k$ -稀疏估计，其在没有任何稀疏噪声的情况下所需数量的常数因子内。在这三个属性中，我们展示了-估计稀疏和密集$w^*$的能力;对离群值的大常数分数的容忍度;以及对抗性而不是分布性的容忍度（例如，高斯）密集噪声-据我们所知，以前没有一个结果达到两个以上。
2019-01-06 cs.DS cs.LG
Boosted Sparse and Low-Rank Tensor Regression
Weill Cornell Medicine（威尔康奈尔医学院）；University of Connecticut（康涅狄格大学）；Michigan State Universtiy（密歇根州立大学）
我们提出了一个稀疏和低秩张量回归模型，将单变量结果与特征张量相关联，其中来自系数张量的CP分解的每个单位秩张量被假设为稀疏的。这种结构既简约又高度可解释，因为它意味着结果通过几个不同的途径与特征相关，每个途径可能只涉及特征维度的子集。我们采取分而治之的策略，简化成一组稀疏的单位秩张量回归问题的任务。为了使计算效率和可扩展性，对于单位秩张量回归，我们提出了一个逐步估计过程，以有效地跟踪其整个解决方案的路径。我们表明，当步长为零，逐步解决方案的路径收敛到相应的正则化回归。我们的方法的优越性能表现在各种现实世界和合成的例子。
2018-11-03 cs.LG stat.ML
Noise Statistics Oblivious GARD For Robust Regression With Sparse Outliers
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
在许多信号处理应用中，被高斯噪声（内点）和可能的无界稀疏离群点污染的线性回归模型是常见的。稀疏恢复启发的鲁棒回归（SRIRR）技术被证明可以在这样的回归模型中提供高质量的估计性能。不幸的是，大多数SRIRR技术假定\textit{a priori}知道噪声统计，如内点噪声方差或离群点统计，如离群点的数量。内点和外点噪声统计量都很少为\textit{a priori}所知，这限制了许多SRIRR算法的有效操作。本文提出了一种新的噪声统计无关算法称为残差比阈值GARD（RRT GARD）的鲁棒回归稀疏离群值的存在。RRT-GARD是通过修改最近提出的噪声统计相关的贪婪算法鲁棒去噪（GARD）。有限样本和渐近分析结果表明，RRT-GARD执行几乎类似的GARD与\textit{a priori}知识的噪声统计。真实和合成数据集的数值模拟也表明了RRT-GARD具有很强的竞争力。
2018-09-19 cs.LG stat.ML
Conditional Uncorrelation and Efficient Non-approximate Subset Selection in Sparse Regression
Xi’an Jiaotong University（西安交通大学）；State Key Laboratory of Management and Control for Complex Systems（复杂系统管理与控制国家重点实验室）
给定$m$ $d$ -维响应变量和$n$ $d$ -维预测变量，稀疏回归为线性近似$1\leq k \leq d-1$的每个响应变量找到最多$k$预测变量.稀疏回归中的关键问题是子集选择，这通常具有很高的计算代价。近年来，提出了许多改进的近似子集选择方法。然而，非近似的子集选择方法却很少受到关注，而这对于数据分析中的许多问题是非常必要的。本文从相关性的角度考虑稀疏回归问题，给出了条件不相关性的计算公式。在此基础上，提出了一种有效的非近似子集选择方法，该方法不需要计算回归方程中的任何系数。通过该方法，稀疏回归中每个候选子集的计算复杂性从$O(\frac{1}{6}{k^3}+mk^2+mkd)$降低到$O(\frac{1}{6}{k^3}+\frac{1}{2}mk^2)$。由于维数$d$一般为观测或实验的个数且足够大，因此该方法可以大大提高非近似子集选择的效率。
2020-11-24 cs.LG stat.ML
OKRidge: Scalable Optimal k-Sparse Ridge Regression
Duke University（杜克大学）
本文提出OKRidge算法，通过鞍点下界计算与ADMM近端算子高效求解稀疏岭回归问题，用于识别非线性动力系统的稀疏控制方程，实验表明其运行时间比Gurobi求解的MIP方法快数个数量级。
2024-01-11 cs.LG stat.ML
Nonconvex Sparse Logistic Regression with Weakly Convex Regularization
Tsinghua University（清华大学）
在这项工作中，我们提出了适合稀疏逻辑回归模型的弱凸正则化非凸优化问题。这个想法是基于这样的发现，即作为$\ell_0$伪范数的近似的弱凸函数能够比常用的$\ell_1$范数更好地诱导稀疏性。对于一类弱凸稀疏诱导函数，证明了相应稀疏Logistic回归问题的非凸性，并研究了其局部最优性条件和排除平凡解的正则化参数的选择.尽管非凸性，基于近似梯度下降的方法来解决一般弱凸稀疏逻辑回归，并从理论上研究其收敛性。然后将一般框架应用于一个具体的弱凸函数，并给出了局部最优性的一个充分必要条件。在这种情况下，作为一个迭代的坚定收缩算法的解决方案的方法实例化，其有效性在数值实验中证明了随机生成的和真实的数据集。
2017-08-07 cs.LG stat.ML
An adaptive shortest-solution guided decimation approach to sparse high-dimensional linear regression
Renmin University of China（中国人民大学）；Institute of Theoretical Physics, Chinese Academy of Sciences（中国科学院理论物理研究所）；University of Chinese Academy of Sciences（中国科学院大学）；MinJiang University（闽江学院）
高维线性回归模型是处理高维数据的最常用的统计模型，但要得到稀疏的回归系数集是一个相当具有挑战性的任务。在本文中，我们提出了一个简单的启发式算法来构建稀疏的高维线性回归模型，这是适应于最短解引导抽取算法，被称为ASSD。该算法在递归抽取线性方程组的最小二乘解的指导下构造回归系数的支持度，并应用早停准则和第二阶段阈值化过程来细化该支持度。我们大量的数值结果表明，ASSD优于LASSO，向量近似消息传递，和其他两个代表性的贪心算法的解决方案的准确性和鲁棒性。ASSD特别适用于现实应用中遇到的具有高度相关测量矩阵的线性回归问题。
2022-11-28 cs.LG stat.CO
Informative Planning for Worst-Case Error Minimisation in Sparse Gaussian Process Regression
University of Technology Sydney（悉尼科技大学）
我们提出了一个规划框架，最大限度地减少稀疏高斯过程（GP）回归的确定性最坏情况下的错误。首先，我们推导出一个普遍的最坏情况下的误差界稀疏GP回归有界噪声再生核希尔伯特空间（RKHS）的插值理论。通过利用条件独立（CI）假设中央稀疏GP回归，我们表明，最坏情况下的误差最小化可以通过解决后验熵最小化问题。反过来，使用高斯置信空间规划算法解决后验熵最小化问题。我们证实了建议的最坏情况下的误差范围在一个简单的一维例子，并测试规划框架在模拟中的二维车辆在一个复杂的流场。我们的研究结果表明，所提出的后验熵最小化方法是有效的确定性误差最小化，并优于传统的测量熵最大化制定时，诱导点是固定的。
2022-03-08 cs.LG cs.RO
Scalable Sparse Subspace Clustering via Ordered Weighted $\ell_1$ Regression
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文的主要贡献是一种新的子空间聚类方法，该方法比现有的最先进的方法具有更高的计算效率和可扩展性。其中心思想是修改稀疏子空间聚类（SSC）中的回归技术，通过用称为有序加权$\ell_1$（OWL）最小化的泛化来替换$\ell_1$最小化，该泛化同时执行相关变量的回归和聚类。利用随机几何图理论，我们证明了OWL回归在每个子空间内选择更多的点，从而产生更好的聚类结果。这允许基于仅针对总数据集的一小部分的回归解决方案的精确子空间聚类，与SSC相比显著降低了计算复杂性。在实验中，我们发现我们的OWL方法可以实现20 $\times$到30 $\times$的合成问题和4 $\times$到8 $\times$的实际数据问题的加速比。
2018-07-10 cs.LG stat.ML
A New Greedy Algorithm for Multiple Sparse Regression
Yahoo! Labs（雅虎实验室）
本文提出了一种新的多维稀疏回归算法，其中的任务是估计的支持和几个（通常相关）稀疏向量的值从一些嘈杂的线性测量。我们的算法是一个“向前向后”的贪婪过程-唯一-操作两个不同的对象类。特别是，我们将目标稀疏向量组织为矩阵;我们的算法涉及迭代添加和删除矩阵的（a）单个元素和（b）整行（对应于共享特征）。分析上，我们建立了我们的算法管理恢复的支持（确切）和值（近似）的稀疏向量，假设类似于现有的方法的基础上凸优化。然而，我们的算法有一个小得多的计算复杂度。也许最有趣的是，它被经验地认为需要明显更少的样本。我们的代表了第一次尝试扩展贪婪算法的类模型，只能/最好的组件结构假设（稀疏和组稀疏，在我们的情况下）的组合表示。
2012-06-07 cs.LG stat.ML
Sparse Symmetric Tensor Regression for Functional Connectivity Analysis
Division of Biostatistics, University of California, Berkeley（加州大学伯克利分校生物统计学系）
张量回归模型，如CP回归和Tucker回归，在神经影像学分析中有许多成功的应用，其中协变量是多维度的，具有复杂的空间结构。高维协变量数组，也称为张量，可以用低秩结构近似，并适合广义线性模型。由此产生的张量回归实现了显着的降维，同时保持有效的估计和预测。大脑功能连接是大脑活动的重要指标，并已显示出与阿尔茨海默病等神经系统疾病的显着关联。函数连通性的对称性是一个在以前的张量回归模型中尚未探索过的性质。在这项工作中，我们提出了一种稀疏对称张量回归，进一步减少了自由参数的数量，并在各种模拟设置下实现了优于对称和普通CP回归的性能。我们将所提出的方法应用于研究阿尔茨海默氏病（AD）和正常老化的伯克利老龄队列研究（BACS），并检测两个区域的兴趣，已被确定为重要的AD。
2020-10-28 cs.LG stat.ML
Spatio-Temporal Structured Sparse Regression with Hierarchical Gaussian Process Priors
University of Sheffield（谢菲尔德大学）；University of Oxford（牛津大学）
本文介绍了一种新的稀疏时空结构的高斯过程回归的在线和离线贝叶斯推断框架。这是第一个框架，它给出了感兴趣的稀疏信号的分量之间的相互依赖性的时间演化表示。一个分层的高斯过程描述了这样的结构和相互依赖性表示通过先验分布的协方差阵。该推断基于期望传播法，并给出了后验分布的理论推导。的推理框架进行了全面评估合成，真实的视频和脑电图（EEG）数据的时空演变模式需要重建高精度。与乘子交替方向法、时空稀疏贝叶斯学习法和单层高斯过程模型相比，该方法的F测度提高了15%。此外，所提出的算法所需的内存是小于在一级高斯过程模型。这种结构化的稀疏回归框架具有广泛的适用性，源定位和目标检测问题与稀疏信号。
2018-07-15 cs.LG stat.ML
Sparse Linear Regression With Missing Data
Wisconsin Institutes for Discovery（威斯康星发现研究院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出了一种在有缺失数据的情况下进行稀疏回归的快速、准确的方法。底层统计模型封装了不完整数据矩阵的低维结构和回归系数的稀疏性，所提出的算法联合学习数据的低维结构和具有稀疏系数的线性回归器。建议的随机最优化方法，稀疏线性回归与缺失数据（SLRM），执行交替最小化过程和规模以及与问题的大小。大偏差不等式揭示了各种问题相关参数对学习回归量的预期平方损失的影响。在合成数据集和真实数据集上进行的大量仿真表明，SLRM在各种情况下都优于竞争算法。
2015-03-28 cs.LG stat.ME stat.ML
Sparse Bilinear Logistic Regression
Rice University（莱斯大学）；UCLA（加州大学洛杉矶分校）
在本文中，我们介绍了稀疏双线性逻辑斯谛回归的概念，涉及解释变量是二维矩阵的判定问题。这些问题在计算机视觉、脑机接口、风格/内容因子分解和并行因子分析中很常见。底层的最优化问题是双凸的，我们研究它的解决方案，并开发了一个有效的算法的基础上块坐标下降。给出了算法整体收敛的理论保证，并利用Kurdyka-Schojasiewicz不等式估计了算法的渐近收敛速度.一系列的模拟和真实数据的实验表明，稀疏双线性逻辑斯谛回归优于目前的技术在几个重要的应用。
2014-04-15 cs.CV cs.LG math.OC
Sparse Regression and Adaptive Feature Generation for the Discovery of Dynamical Systems
我们研究了稀疏回归方法的性能，并提出了新的技术，从数据中提取动力系统的控制方程。我们首先看一下Brunton等人提出的从数据中学习可解释方程形式的通用方法，然后为此目的进行LASSO。然后，我们提出了一个新的算法，使用的对偶LASSO优化更高的精度和稳定性。在第二部分中，我们提出了一种新的算法，学习候选函数库在一个完全的数据驱动的方式来提取动力系统的控制方程。这是通过正交多项式空间上的顺序阈值岭回归（STRidge）来实现的。以Lorenz 63系统和二次Lorenz系统为例，说明了这三种方法的性能。
2019-03-21 cs.LG stat.ML
On Regularized Sparse Logistic Regression
Clemson University（克莱姆森大学）
本文提出统一框架求解L1正则化逻辑回归，可扩展至非凸正则项，并用新线搜索保证单调收敛，实验证明算法在二分类中高效实现分类与特征选择。
2023-10-12 cs.AI cs.LG stat.ML
Sparse Tensor Additive Regression
Deepmind；The University of Iowa（爱荷华大学）；University of Georgia（佐治亚大学）；University of Miami（迈阿密大学）；Yahoo Research（雅虎研究院）；Purdue University（普渡大学）
张量在医学成像和数字营销等现代应用中越来越普遍。在本文中，我们提出了一个稀疏张量加性回归（STAR）模型的标量响应作为一个灵活的非参数函数的张量协变量。该模型有效地利用了张量加性回归中的稀疏和低秩结构。我们将参数估计转化为一个非凸优化问题，并提出了一种有效的惩罚交替最小化算法。我们建立了一个非渐近误差界的估计从每个迭代的算法，这揭示了优化误差和统计收敛速度之间的相互作用。我们通过广泛的比较模拟研究证明了STAR的有效性，并将其应用于在线广告的点击率预测。
2021-03-05 cs.LG stat.ML
Sparse Mixed Linear Regression with Guarantees: Taming an Intractable Problem with Invex Relaxation
Purdue University（普渡大学）
在本文中，我们研究了稀疏混合线性回归问题的未标记的数据集，从两个不同的回归参数向量的线性测量产生。由于数据是未标记的，因此我们的任务不仅是找出回归参数向量的良好近似，而且还要正确标记数据集。在其原始形式中，该问题是NP-难的。解决这个问题的最流行的算法（如期望最大化）有一种倾向，停留在局部最小值。我们提供了一个新的不变凸松弛这个棘手的问题，导致一个解决方案，可证明的理论保证。这种松弛使得能够准确地恢复数据标签。此外，我们恢复的回归参数向量的支持和符号匹配的真实参数向量的密切近似。我们的配方使用精心构造的原始对偶证人框架的不变凸问题。此外，我们表明，我们的方法的样本复杂度是对数的回归参数向量的维数。
2022-06-02 cs.LG stat.ML
High Dimensional Robust Sparse Regression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提供了一种新的-据我们所知，第一-高维稀疏回归算法的解释和/或响应变量的腐败的常数部分。我们的算法恢复真正的稀疏参数与次线性样本的复杂性，在存在一个恒定的分数的任意腐败。我们的主要贡献是一个强大的变种迭代硬持票。利用这一点，我们提供了精确的估计：当稀疏回归中的协方差矩阵是恒等的时，我们的误差保证接近信息理论最优。然后，我们处理未知结构协方差矩阵的鲁棒稀疏回归。我们提出了一种滤波算法，它包括一种新的随机离群值去除技术的强大的稀疏均值估计，可能是在其本身的权利感兴趣的：滤波算法是足够灵活的处理未知的协方差。此外，它是有序更有效的计算比椭球算法。使用次线性样本复杂度，我们的算法实现了最佳已知（和第一）的错误保证。我们证明了大规模稀疏回归问题的有效性与任意腐败。
2019-05-29 cs.LG math.ST stat.ML
A Discussion on Practical Considerations with Sparse Regression Methodologies
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
稀疏线性回归是一个广阔的领域，有许多不同的算法可用于构建模型。发表在《统计科学》上的两篇新论文研究了几种稀疏回归方法的比较性能，包括套索和子集选择。全面的实证分析使研究人员能够证明每个估计量的相对优点，并为从业人员提供指导。在这次讨论中，我们总结和比较这两项研究，我们检查的协议和分歧点，旨在为用户提供清晰度和价值。作者们已经开始了一场非常有建设性的对话，我们的目标是继续下去。
2021-02-08 cs.LG stat.AP stat.ME
Conditional Sparse Linear Regression
Washington University in St. Louis（圣路易斯华盛顿大学）
机器学习和统计学通常专注于构建捕获绝大多数数据的模型，可能会忽略一小部分数据作为“噪音”或“离群值”。“相比之下，在这里我们考虑联合识别一个重要的（但可能很小的）群体部分的问题，其中有一个高度稀疏的线性回归拟合，以及线性拟合的系数。我们认为，这些任务是有趣的，因为模型本身可能能够在这种特殊情况下实现更好的预测，但也因为它们可以帮助我们理解的数据。我们给这样的问题的算法下的超级规范，当这个未知的部分人口描述的k-DNF条件和回归拟合是s-稀疏常数k和s。对于回归拟合不太稀疏或使用期望误差时该问题的变体，我们也给出了初步的算法，并强调该问题是未来工作的挑战。
2016-08-18 cs.DS cs.LG stat.ML
Sparse Volterra and Polynomial Regression Models: Recoverability and Estimation
University of Minnesota（明尼苏达大学）
Volterra和多项式回归模型在非线性系统辨识和推理任务中起着重要作用。从神经科学到全基因组关联分析等令人兴奋的应用都建立在这些模型的基础上，并具有简约性的额外要求。这一要求具有很高的解释价值，但不幸的是，不能满足最小二乘或核回归方法。为此，压缩采样（CS）的方法，已经成功的线性回归设置，可以提供一个可行的替代方案。CS稀疏Volterra和多项式模型的可行性是这项工作的核心主题。一个共同的稀疏回归任务，最初提出的两个模型。建立在（加权）拉索为基础的计划，一个自适应RLS型算法稀疏多项式回归。多项式模型的可辨识性受到维数的严重挑战。然而，根据CS原理，当这些模型稀疏时，它们可以通过少得多的测量来恢复。为了量化足够数量的测量给定水平的稀疏性，受限制的等距属性（RIP）进行了研究，在常见的多项式回归设置，概括已知的结果，其线性对应。新的（加权）自适应CS算法稀疏多项式建模的优点是通过合成以及真实数据测试基因型-表型分析验证。
2011-09-07 cs.IT cs.LG math.IT
Symbolic Regression on Sparse and Noisy Data with Gaussian Processes
University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对稀疏和噪声数据下的动力学建模难题，本文提出GPSINDy方法，结合高斯过程回归与SINDy进行数据去噪与方程识别，在仿真和硬件数据上预测轨迹时显著优于基线方法。
2024-10-10 cs.LG cs.SY eess.SY
Picasso: A Sparse Learning Library for High Dimensional Data Analysis in R and Python
Princeton University（普林斯顿大学）；Georgia Tech（佐治亚理工学院）；Tencent Artificial Intelligence Lab（腾讯人工智能实验室）
我们描述了一个名为picasso的新库，它为各种稀疏学习问题（例如，稀疏线性回归、稀疏逻辑斯谛回归、稀疏泊松回归和缩放稀疏线性回归）与有效的活动集选择策略相结合。此外，该库允许用户选择不同的稀疏诱导正则化，包括凸$\ell_1$，非凸MCP和SCAD正则化。该库是用C++编写的，并具有用户友好的R和Python包装器。数值实验表明，picasso可以有效地扩展到大型问题。
2020-06-27 cs.LG math.OC stat.ML
Sparse Hierarchical Regression with Polynomials
Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运筹学中心）
提出了一种新的精确分层稀疏多项式回归方法。我们的回归量是次数$r$多项式，它依赖于最多的$k$输入，最多计数$\ell$单项项，最小化其预测误差的平方和。以前的分层稀疏规范与现代大数据设置非常一致，其中许多输入与预测目的无关，并且需要控制回归量的函数复杂性以避免过度拟合。我们提出了一个两步的方法来解决这个层次稀疏回归问题。首先，我们使用极快的输入排序启发式算法丢弃不相关的输入。其次，我们利用现代切割平面整数优化方法来解决我们所得到的减少层次$(k, \ell)$稀疏问题。我们的方法，以确定所有$k$相关的输入和所有$\ell$单项条款的能力经验表明，经历一个相变。至关重要的是，同样的转变也表现在我们拒绝所有不相关的特征和单项式的能力上。在我们的方法是统计强大的政权，其计算复杂性是有趣的Lasso为基础的几何学。所提出的工作填补了一个空白，缺乏强大的纪律非线性稀疏回归方法在高维设置。经验表明，我们的方法可以扩展到具有输入维度$p\approx 1,000$的$n\approx 10,000$观测的回归问题。
2017-09-28 cs.LG math.OC stat.ML
PIANO: A Fast Parallel Iterative Algorithm for Multinomial and Sparse Multinomial Logistic Regression
多项逻辑斯谛回归是一种被广泛研究的分类工具，并且已经广泛用于图像处理、计算机视觉和生物信息学等领域。在监督分类场景下，多项逻辑斯谛回归模型通过优化似然目标来学习权重向量以区分任何两个类别。随着大数据时代的到来，数据的泛滥导致了权向量的高维化，也导致了大量的类，这使得经典的模型估计方法在计算上变得不可行。针对这一问题，本文提出了一种并行迭代算法：多元逻辑斯谛回归并行迭代算法（PIANO）。该算法基于优化最小化过程，能够并行更新权向量的每个元素。此外，我们还表明，PIANO可以很容易地扩展到解决稀疏多项式逻辑斯谛回归问题-一个广泛研究的问题，因为它有吸引力的特征选择属性。特别地，我们将PIANO扩展到求解具有l1和l0正则化的稀疏多项逻辑斯谛回归问题。我们还证明了PIANO收敛到多项式和稀疏多项式逻辑斯谛回归问题的一个平稳点。仿真结果表明，该算法在收敛速度上优于现有方法。
2020-02-21 cs.LG math.OC stat.ML
A block-sparse Tensor Train Format for sample-efficient high-dimensional Polynomial Regression
TU Berlin（柏林工业大学）
低秩张量是高维最小二乘问题的一个既定框架。我们建议扩展这个框架，包括块稀疏的概念。在多项式回归的上下文中，每个稀疏模式对应于齐次多元多项式的某个子空间。这使我们能够调整伪空间以更好地与已知样本复杂度结果保持一致。在数值实验中测试所得到的方法，并证明了提高计算资源利用率和样本效率。
2021-04-29 cs.LG cs.NA math.NA
A Unified Framework for Sparse Relaxed Regularized Regression: SR3
University of Washington（华盛顿大学）
正则化回归问题普遍存在于统计建模、信号处理和机器学习中。稀疏回归在科学模型发现中尤其重要，包括压缩传感应用、变量选择和高维分析。我们提出了一个广泛的框架稀疏松弛正则化回归，称为SR 3。关键思想是解决正则化问题的松弛，这与最先进的方法相比有三个优点：（1）松弛问题的解在误差、假阳性和条件方面是优越的，（2）松弛允许用于凸和非凸公式的极快算法，以及（3）该方法适用于复合正则化子，例如全变差（TV）及其非凸变体。我们证明了SR3的优势（计算效率，更高的精度，更快的收敛速度，更大的灵活性）在一系列的正则化回归问题的合成和真实的数据，包括压缩感知，LASSO，矩阵完成，电视正则化，和组稀疏的应用。为了促进可重复的研究，我们还提供了一个配套的MATLAB软件包来实现这些示例。
2018-11-08 cs.LG math.OC stat.ML
Sparse Linear Regression via Generalized Orthogonal Least-Squares
University of Texas at Austin（德克萨斯大学奥斯汀分校）
稀疏线性回归需要找到欠定线性方程组的稀疏解，可以正式表示为$l_0$约束最小二乘问题。正交最小二乘（OLS）算法顺序地选择特征（即，系数矩阵的列）来粗略地找到近似稀疏解。在本文中，一个推广的正交最小二乘依赖于最优解的组件之间的递归关系，选择L功能在每一步，并解决由此产生的超定方程组提出。仿真结果表明，广义OLS算法是计算效率和实现性能优于现有的贪婪算法广泛使用的文献。
2016-07-28 cs.IT cs.LG math.IT
Sparse Reduced-Rank Regression for Simultaneous Rank and Variable Selection via Manifold Optimization
The University of Electro-Communications（电气通信大学）
针对高真实秩下降秩回归系数估计失效的问题，提出基于稀疏正则化与流形优化的同时秩与变量选择算法，实现准确估计并验证有效性。
2019-11-01 cs.LG stat.ME stat.ML
Sparse linear regression with compressed and low-precision data via concave quadratic programming
我们考虑的问题，从压缩的线性测量数据时，被破坏的量化噪声的k-稀疏向量的恢复。当测量的数目不是足够大时，不同的$k$稀疏解可能存在于可行集中，并且经典的l1方法可能是不成功的。为此，我们提出了一种非凸二次规划方法，利用先验信息的大小的非零参数。这导致更有效的支持恢复。我们提供了成功恢复的充分条件和数值模拟，以说明所提出的方法的实际可行性。
2019-09-09 cs.LG math.OC stat.ML
Sparse principal component regression via singular value decomposition approach
The University of Electro-Communications（电气通信大学）
主成分回归（PCR）是一个两阶段的过程：第一阶段执行主成分分析（PCA），第二阶段构建回归模型，其解释变量由第一阶段获得的主成分代替。由于PCA仅使用解释变量进行，因此主成分没有关于响应变量的信息。为了解决这个问题，我们提出了一个单阶段的PCR过程中的奇异值分解方法。我们的方法是基于两个损失函数，回归损失和PCA损失，稀疏正则化。所提出的方法使我们能够获得主成分负荷，拥有解释变量和响应变量的信息。提出了一种利用乘子交替方向法的估计算法。我们进行数值研究，以显示所提出的方法的有效性。
2020-02-21 cs.LG stat.ME stat.ML
System Identification through Online Sparse Gaussian Process Regression with Input Noise
Delft University of Technology（代尔夫特理工大学）；Uppsala University（乌普萨拉大学）
本文提出一种在线稀疏高斯过程回归算法，解决高斯过程回归在计算效率、在线更新和处理噪声输入方面的不足，实验表明其在非线性黑盒系统建模中性能优异。
2017-08-15 cs.LG cs.SY eess.SY
Optimal Sketching Bounds for Sparse Linear Regression
Adobe Research（Adobe研究院）；TU Dortmund University（多特蒙德工业大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Aarhus University（奥胡斯大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了多种损失函数下稀疏线性回归的oblivious sketching，给出了紧致的草图行数上界，揭示了其与稀疏恢复问题在草图化难度上的分离，并为铰链式损失及LASSO回归提供了最优草图界限。
2023-04-05 cs.DS cs.LG stat.ML
Relaxed Sparse Eigenvalue Conditions for Sparse Estimation via Non-convex Regularized Regression
Department of Automation, Tsinghua University, Beijing 100084, P.R.China（自动化系，清华大学，北京100084，中国）；State Key Lab of Intelligent Technologies and Systems（智能技术与系统国家重点实验室）；Tsinghua National Laboratory for Information Science and Technology(TNList)（信息科学与技术国家实验室（清华大学））
本文研究了非凸正则化回归中稀疏估计的松弛特征值条件，证明了非凸正则化在稀疏估计中的有效性，并展示了坐标下降法在获得近似全局解中的应用。
2014-02-12 cs.LG cs.NA math.NA
