The Geometry and Well-Posedness of Sparse Regularized Linear Regression
本文通过多面体几何框架研究凸分段线性稀疏正则化线性回归的适定性，给出解存在、唯一且连续依赖数据的几何条件，并与光滑正则化对比，同时揭示验证这些条件的计算困难性。
2024-09-05 math.OC math.ST stat.TH
Adaptive posterior convergence in sparse high dimensional clipped generalized linear models
本文建立了一个研究稀疏高维广义线性模型（GLM）后验收缩率的框架。我们引入了一个新的家庭的GLM，表示为裁剪GLM，它包含了许多标准的GLM，并使其余的小修改。与稀疏诱导前的回归系数，我们描绘的充分条件，真正的数据生成密度，导致最小最优率的后验收缩系数在$\ell_1$规范。我们的主要贡献是开发充分条件相称的几何裁剪GLM家庭，提出先验分布，不需要任何知识的真实参数，并避免任何假设的增长率的真实系数向量。
2021-03-15 math.ST stat.TH
Aggregated hold out for sparse linear regression with a robust loss function
稀疏线性回归方法通常具有控制稀疏量的自由超参数，并且受到偏差-方差权衡的影响。本文考虑在具有Huber损失函数的线性回归的上下文中，使用聚合保持来聚合该超参数的值。聚合保持（Agghoo）是一个过程，平均估计选择保持（交叉验证与一个单一的分裂）。在理论部分，证明了Agghoo应用于零范数参数化的稀疏估计时，满足一个非渐近的预言不等式。特别是，这包括Zou，Hasti和Tibshirani介绍的Lasso的变体。模拟用于比较Agghoo与交叉验证。他们表明，当内在维度较高且存在与预测协变量相关的混杂因素时，Agghoo的表现优于CV。
2022-12-07 math.ST stat.TH
MIST: L0 Sparse Linear Regression with Momentum
大量的注意力已经被给予最小化的惩罚最小二乘准则估计稀疏解的大型线性方程组。惩罚负责诱导稀疏性，自然选择是所谓的$l_0$范数。在本文中，我们开发了一个Momentumized迭代收缩保持（MIST）算法最小化所产生的非凸准则，并证明其收敛到局部极小。在大数据集上的仿真结果表明，该方法的性能优于其他方法。
2015-03-19 stat.ML
Efficient Computation for Centered Linear Regression with Sparse Inputs
稀疏输入的回归是大规模模型的常见主题。针对稀疏输入优化底层线性代数允许更快地估计此类模型。与此同时，集中输入有利于改善模型的解释和收敛。然而，将数据居中自然会使稀疏数据变得密集，从而限制了优化的机会。我们提出了一种有效的策略，估计中心回归，同时利用稀疏结构的数据，提高计算性能和减少内存占用的估计。
2019-10-29 stat.CO
Sparse Linear Regression via Generalized Orthogonal Least-Squares
University of Texas at Austin（德克萨斯大学奥斯汀分校）
稀疏线性回归需要找到欠定线性方程组的稀疏解，可以正式表示为$l_0$约束最小二乘问题。正交最小二乘（OLS）算法顺序地选择特征（即，系数矩阵的列）来粗略地找到近似稀疏解。在本文中，一个推广的正交最小二乘依赖于最优解的组件之间的递归关系，选择L功能在每一步，并解决由此产生的超定方程组提出。仿真结果表明，广义OLS算法是计算效率和实现性能优于现有的贪婪算法广泛使用的文献。
2016-07-28 cs.IT cs.LG math.IT
Near-Optimal Estimation of Simultaneously Sparse and Low-Rank Matrices from Nested Linear Measurements
本文考虑了由嵌套线性测量同时估计低秩和行稀疏矩阵的问题，其中线性算子由线性算子$\mathcal{W}$和矩阵$\mathbf{\varPsi}$的乘积组成.利用测量算子的嵌套结构，我们提出了一个计算效率高的两阶段算法，用于估计同时结构化的目标矩阵。假设$\mathcal{W}$是低秩矩阵的限制等距和$\mathbf{\varPsi}$是行式稀疏矩阵的限制等距，我们建立了一个精度保证，保持一致的所有足够低秩和行式稀疏矩阵具有高概率。此外，使用标准的工具，从信息论，我们建立了一个极小极大下界估计同时低秩和行式稀疏矩阵的线性测量，不需要嵌套。建立的算法，也作为一个极大上界的准确性界限，从派生的极大极小下界不同，只是由一个多对数因子的尺寸。因此，该算法几乎是极小极大最优的。我们还讨论了所提出的观测模型的一些应用，并通过数值模拟评估我们的算法。
2016-03-21 cs.IT math.IT math.OC
Fundamental limits and algorithms for sparse linear regression with sublinear sparsity
University of Cambridge（剑桥大学）
本文为次线性稀疏度机制下的稀疏线性回归建立了精确的归一化互信息和MMSE渐近表达式，通过推广自适应插值方法并提出改进的AMP算法以严格分析了其状态演化，证明了传统线性假设对稀疏信号并非必要。
2023-04-08 cs.IT cs.LG math.IT
Sparse linear regression with compressed and low-precision data via concave quadratic programming
我们考虑的问题，从压缩的线性测量数据时，被破坏的量化噪声的k-稀疏向量的恢复。当测量的数目不是足够大时，不同的$k$稀疏解可能存在于可行集中，并且经典的l1方法可能是不成功的。为此，我们提出了一种非凸二次规划方法，利用先验信息的大小的非零参数。这导致更有效的支持恢复。我们提供了成功恢复的充分条件和数值模拟，以说明所提出的方法的实际可行性。
2019-09-09 cs.LG math.OC stat.ML
Selective Inference for Group-Sparse Linear Models
我们开发的工具，选择性推理组稀疏的设置，包括建设的置信区间和p值测试选定的变量组。我们的主要技术结果给出了精确的分布的数据到一个给定的子空间的投影的幅度，并使我们能够开发推理程序的广泛的一类组稀疏的选择方法，包括组套索，迭代硬阈值，向前逐步回归。我们给出数值结果来说明这些工具的模拟数据和健康记录数据。
2016-07-27 stat.ME
Conditional Sparse Linear Regression
Washington University in St. Louis（圣路易斯华盛顿大学）
机器学习和统计学通常专注于构建捕获绝大多数数据的模型，可能会忽略一小部分数据作为“噪音”或“离群值”。“相比之下，在这里我们考虑联合识别一个重要的（但可能很小的）群体部分的问题，其中有一个高度稀疏的线性回归拟合，以及线性拟合的系数。我们认为，这些任务是有趣的，因为模型本身可能能够在这种特殊情况下实现更好的预测，但也因为它们可以帮助我们理解的数据。我们给这样的问题的算法下的超级规范，当这个未知的部分人口描述的k-DNF条件和回归拟合是s-稀疏常数k和s。对于回归拟合不太稀疏或使用期望误差时该问题的变体，我们也给出了初步的算法，并强调该问题是未来工作的挑战。
2016-08-18 cs.DS cs.LG stat.ML
Fitting log-linear models in sparse contingency tables using the eMLEloglin R package
对数线性模型是列联表数据分析的常用方法。当表是稀疏的，并且数据落在凸支撑的适当面$F$上时，在模型推断和模型选择上存在后果。了解决定$F$的细胞对于减轻这些影响至关重要。我们引入了R包（R Core Team（2016））eMLEloglin，用于确定$F$并将该信息传递到glm包以正确拟合模型。
2016-12-16 stat.CO
Convex block-sparse linear regression with expanders -- provably
稀疏矩阵是机器学习和优化的研究对象。当使用这样的矩阵时，代替密集矩阵，优化中的总体复杂性要求在实践中可以在空间和运行时间方面显著降低。基于这一观察，我们研究了一个凸优化方案，用于从线性测量中恢复块稀疏。为了获得线性草图，我们使用扩展矩阵，即，稀疏矩阵，每列仅包含少数非零值。然而，据我们所知，这种算法的解决方案只从非凸的角度进行了研究。我们的目的是在理论上描述这种设置下的凸方法的性能。我们的主要新颖之处是恢复错误的表达在基于模型的规范，同时确保解决方案的生活在模型中。为了实现这一点，我们证明了基于模型的稀疏矩阵满足零空间属性的群版本。我们在合成和实际应用中的实验结果支持我们在凸设置中更快恢复的主张-而不是使用密集的传感矩阵，同时显示出有竞争力的恢复性能。
2016-04-03 cs.IT math.IT math.OC
An adaptive shortest-solution guided decimation approach to sparse high-dimensional linear regression
Renmin University of China（中国人民大学）；Institute of Theoretical Physics, Chinese Academy of Sciences（中国科学院理论物理研究所）；University of Chinese Academy of Sciences（中国科学院大学）；MinJiang University（闽江学院）
高维线性回归模型是处理高维数据的最常用的统计模型，但要得到稀疏的回归系数集是一个相当具有挑战性的任务。在本文中，我们提出了一个简单的启发式算法来构建稀疏的高维线性回归模型，这是适应于最短解引导抽取算法，被称为ASSD。该算法在递归抽取线性方程组的最小二乘解的指导下构造回归系数的支持度，并应用早停准则和第二阶段阈值化过程来细化该支持度。我们大量的数值结果表明，ASSD优于LASSO，向量近似消息传递，和其他两个代表性的贪心算法的解决方案的准确性和鲁棒性。ASSD特别适用于现实应用中遇到的具有高度相关测量矩阵的线性回归问题。
2022-11-28 cs.LG stat.CO
High-Temperature Structure Detection in Ferromagnets
本文研究了高温铁磁（仅正相互作用）伊辛模型中的结构检测问题。目标是区分底层图是否为空，即，该模型由独立的Rademacher变量组成，而不是底层图包含某种结构的子图。我们给出了匹配的最小最大的上限和下限下，测试这个问题是可能的/不可能的。我们的研究结果表明，一个关键的数量称为图荫度驱动的问题的可测试性。在计算方面，稀疏主成分分析的计算难度的猜想下，我们证明，除非信号是足够强，有没有多项式时间的测试是能够测试这个问题。为了证明这一结果，我们展示了一种方法，给出尖锐的不等式的偶数时刻的总和i.i.d. Rademacher随机变量可能是独立的利益。
2021-01-12 math.ST stat.ML stat.TH
Variational Bayes for high-dimensional linear regression with sparse priors
研究了稀疏高维线性回归中贝叶斯模型选择先验的均值场尖板变分贝叶斯（VB）近似。在设计矩阵的相容性条件下，导出了平均场VB近似的预言不等式，表明它以最优速率收敛到稀疏真值，并给出了响应向量的最优预测.我们的算法的实证性能进行了研究，表明它的工作原理以及其他国家的最先进的贝叶斯变量选择方法。我们还数值证明，广泛使用的坐标上升变分推断（CAVI）算法可以高度敏感的参数更新顺序，导致潜在的性能不佳。为了缓解这一问题，我们提出了一种新的优先更新方案，使用数据驱动的更新顺序，并在模拟中表现更好。变分算法在R包'sparsevb'中实现。
2020-11-19 math.ST stat.ME stat.ML
Outlier Robust and Sparse Estimation of Linear Regression Coefficients
针对协变量和噪声受对抗性离群污染且噪声重尾的线性回归，提出基于通用链集中不等式的抗离群稀疏估计方法，在更弱假设下获得更尖锐误差界。
2024-05-24 math.ST stat.ML stat.TH
On $\ell_1$-regularized estimation for nonlinear models that have sparse underlying linear structures
在最近的工作（arXiv：0910.2517）中，我们研究了具有稀疏线性结构的非线性模型的$\ell_0$ -正则化估计的误差界.在这份说明中，我们表明，$\ell_1$ -正则化估计在某些重要的情况下，可以达到相同的顺序的误差界，在上述工作。
2009-11-25 math.PR math.ST stat.ML
Are Latent Factor Regression and Sparse Regression Adequate?
Princeton University（普林斯顿大学）
我们提出了因子增广稀疏线性回归模型（FARM），它不仅包含了潜在因子回归和稀疏线性回归的特殊情况，而且将降维和稀疏回归联系在一起。我们分别在亚高斯噪声和重尾噪声（具有有界的（1+x）阶矩，对于所有x>0）的存在下，为我们的模型的估计提供了理论保证。此外，现有的监督学习的工作往往假设潜在的因素回归或稀疏线性回归是真正的基础模型，而没有证明其充分性。为了填补这一重要空白，我们还利用我们的模型作为替代模型来测试潜在因子回归和稀疏线性回归模型的充分性。为了实现这些目标，我们分别提出了因子调整去偏检验（FabTest）和两阶段方差分析类型检验。我们还进行了大规模的数值实验，包括合成和FRED宏观经济数据，以证实我们的方法的理论特性。数值结果表明，我们的模型对潜在的因素回归和稀疏线性回归模型的鲁棒性和有效性。
2022-03-02 cs.LG math.ST stat.ME
Information Directed Sampling for Sparse Linear Bandits
Deepmind（深度思维）；Purdue University（普渡大学）
随机稀疏线性强盗模型为高维在线决策问题提供了一个实用的模型，并具有丰富的信息后悔结构。在这项工作中，我们探讨了使用信息导向抽样（IDS），自然平衡的信息遗憾权衡。我们开发了一类信息理论贝叶斯遗憾界，几乎匹配现有的各种问题的情况下的下限，证明了自适应的IDS。为了有效地实现稀疏入侵检测系统，我们提出了一个经验贝叶斯稀疏后验抽样方法使用尖峰和板高斯拉普拉斯先验。数值结果表明显着的遗憾减少稀疏IDS相对于几个基线。
2021-05-29 cs.LG math.ST stat.ML
Generalization Error Bounds for Multiclass Sparse Linear Classifiers
Tel Aviv University（特拉维夫大学）
我们考虑高维多类分类稀疏多项式逻辑斯谛回归。与二进制分类不同，在多类设置中，可以考虑与回归系数矩阵上的不同结构假设相关的稀疏度的整个可能概念谱。我们提出了一个计算上可行的特征选择过程的基础上惩罚的最大似然与凸处罚捕获一个特定类型的稀疏在手。特别是，我们认为全球稀疏性，双行稀疏性，低秩稀疏性，并表明，与适当选择的调整参数的派生插件分类器达到最小最大的泛化误差界（误分类过度风险）内相应的类的多类稀疏线性分类器。所开发的方法是通用的，也可以适用于其他类型的稀疏性。
2023-01-15 cs.LG math.ST stat.ME
Thompson Sampling for High-Dimensional Sparse Linear Contextual Bandits
University of Michigan（密歇根大学）
本文研究了具有高维特征的随机线性上下文强盗问题。我们使用特殊类别的稀疏诱导先验（例如，尖峰和平板），以模拟未知参数，并提供一个接近最佳的上限预期的累积遗憾。据我们所知，这是第一个工作，提供了理论保证的汤普森采样在高维和稀疏的上下文土匪。为了提高计算速度，我们使用变分推断代替马尔可夫链蒙特卡罗（MCMC）来近似后验分布。大量的模拟表明，我们提出的算法比现有的性能有所改善。
2023-01-28 cs.LG math.ST stat.ME
Bayesian linear regression with sparse priors
我们研究了稀疏约束下高维线性回归的全贝叶斯过程。先验是零点质量和连续分布的混合。在设计矩阵的相容性条件下，证明了后验分布以最优的速率收缩，以恢复未知稀疏向量，并给出响应向量的最优预测。它还示出选择正确的稀疏模型，或至少是显着不同于零的系数。描述了后验分布的渐近形状，并将其应用于不确定性量化可信集的构造和研究。
2015-10-14 math.ST stat.ME stat.TH
Sparse PCA from Sparse Linear Regression
MIT（麻省理工学院）；Two Sigma（双西格玛公司）
稀疏主成分分析（Sparse Principal Component Analysis，SPCA）和稀疏线性回归（Sparse Linear Regression，SLR）作为高维统计问题的典型代表，在过去的二十年里得到了广泛的应用和关注。各种各样的算法已经提出了SPCA和SLR，但两者之间没有明确的联系。我们展示了如何有效地将SLR的黑箱求解器转换为SPCA算法：假设SLR求解器满足现有有效算法（如基于Lasso的算法）所实现的预测误差保证，则SPCA算法可以实现最先进的保证，用于测试和支持恢复单个尖峰协方差模型，如通过当前最好的polynomialtime算法获得的。我们的减少不仅突出了这两个问题之间的内在相似性，而且，从实用的角度来看，允许一个收集的算法SPCA直接从已知的算法SLR。我们提供的模拟数据比较我们提出的框架，其他算法的SPCA的实验结果。
2018-11-25 cs.LG math.ST stat.ML
Unified Bayesian theory of sparse linear regression with nuisance parameters
研究了高维高斯稀疏回归中含有未知冗余参数时贝叶斯过程的频率论渐近性质。冗余参数可以是有限维、高维或无限维的。零点质量和连续分布的混合用于稀疏回归系数的先验分布，并将适当的先验分布用于冗余参数。稀疏回归系数的最佳后验收缩，阻碍了冗余参数的存在，也检查和讨论。结果表明，该过程产生强大的模型选择的一致性。稀疏回归系数的Bernstein-vonMises型定理也得到了不确定性量化通过可信集与保证频率覆盖。许多例子的渐近性质进行了研究，使用本研究中开发的理论。
2021-02-17 math.ST stat.TH
High-Dimensional Sparse Linear Bandits
Deepmind；Princeton University（普林斯顿大学）
具有高维稀疏特征的随机线性强盗模型是包括个性化医疗和在线广告在内的各种领域的实用模型。我们推导出一个新的$Ω(n^{2/3})$无量纲极大极小遗憾下界稀疏线性土匪在数据贫乏的制度，地平线小于周围的尺寸和特征向量承认一个良好的条件下的勘探分布。这是由一个几乎匹配的上限的探索，然后提交算法表明，$Θ(n^{2/3})$是最佳的数据贫乏的制度。这些结果补充了数据丰富制度的现有界限，并提供了另一个例子，其中仔细平衡信息和遗憾之间的权衡是必要的。最后，我们证明了一个无量纲的$O(\sqrt{n})$遗憾的上限下的一个额外的假设信号的大小相关功能。
2021-09-04 cs.LG math.ST stat.ML
On Adaptive confidence Ellipsoids for sparse high dimensional linear models
针对高维线性模型中全参数自适应置信集构造不可能的问题，提出重新加权损失函数实现完全自适应置信集构造，给出权重充要条件及可行域内的速率最优程序。
2023-10-24 math.ST stat.TH
Multi-block linearized alternating direction method for sparse fused Lasso modeling problems
本文提出一种新的稀疏融合Lasso分类模型及多块线性化交替方向乘子法算法，用于高效选择稀疏分块特征，具有线性收敛速率和较低时间复杂度，数值实验验证了其鲁棒性和准确性。
2024-05-29 math.ST stat.TH
A Lower Bound on the Estimator Variance for the Sparse Linear Model
研究了基于线性变换和加性高斯白噪声的观测值的稀疏非随机向量估计的性能。利用再生核希尔伯特空间框架，对给定的可微偏置函数（包括无偏情况）和几乎任意的变换矩阵（包括压缩感知理论中考虑的欠定情况），给出了估计方差的一个新的下界.对于稀疏向量被高斯白噪声破坏的特殊情况，即，在没有线性变换和无偏估计的情况下，我们的下界改进了先前提出的界。
2010-09-17 cs.IT math.IT math.ST
Sparse Recovery with Linear and Nonlinear Observations: Dependent and Noisy Data
我们制定稀疏支持恢复作为一个显着的集合识别问题，并使用信息理论分析，以表征恢复性能和样本的复杂性。我们考虑一个非常一般的模型，我们不限于线性模型或特定的分布。我们国家的非渐近界的恢复概率和一个紧密的互信息公式的样本复杂性。我们评估我们的应用范围，如稀疏线性回归和显式特征的相关性或噪声特征对恢复性能的影响。我们在以前的工作和识别恢复算法的性能和基本信息之间的差距的改进。
2014-03-12 cs.IT cs.LG math.IT
