Almost Linear Constant-Factor Sketching for $\ell_1$ and Logistic Regression
TU Dortmund University(多特蒙德工业大学);Carnegie Mellon University(卡内基梅隆大学)
本文改进了$\ell_1$与逻辑回归的草图算法,在实现$O(1)$-近似的同时给出了更小的近似线性草图维度,并支持通过权衡增加总大小以在输入稀疏度时间内获得$1+\varepsilon$近似,且可扩展至正则化逻辑回归。
2023-03-31 cs.DS cs.LG stat.ML
Tight Robustness Certification Through the Convex Hull of $\ell_0$ Attacks
本文提出通过ℓ₀攻击的凸包实现更紧的鲁棒性认证,改进了现有验证器的性能。
2026-03-07 cs.LG
Safe Screening Rules for $\ell_0$-Regression
University of California, Berkeley(加州大学伯克利分校);University of Southern California(南加州大学)
我们给出了安全的筛选规则,以消除回归与$\ell_0$正则化或基数约束的变量。这些规则是基于保证一个功能可能会或可能不会选择在一个最佳的解决方案。筛选规则可以在线性时间内从凸松弛解计算,而无需求解$\ell_0$优化问题。因此,它们可以在预处理步骤中使用,以安全地从先验考虑中删除变量。对真实数据和合成数据的数值实验表明,平均而言,76%的变量可以被固定到它们的最优值,因此,大大减少了优化的计算负担。因此,建议的快速和有效的筛选规则扩展的范围$\ell_0$-回归算法更大的数据集。
2020-04-19 cs.LG stat.ML
Scalable Sparse Subspace Clustering via Ordered Weighted $\ell_1$ Regression
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文的主要贡献是一种新的子空间聚类方法,该方法比现有的最先进的方法具有更高的计算效率和可扩展性。其中心思想是修改稀疏子空间聚类(SSC)中的回归技术,通过用称为有序加权$\ell_1$(OWL)最小化的泛化来替换$\ell_1$最小化,该泛化同时执行相关变量的回归和聚类。利用随机几何图理论,我们证明了OWL回归在每个子空间内选择更多的点,从而产生更好的聚类结果。这允许基于仅针对总数据集的一小部分的回归解决方案的精确子空间聚类,与SSC相比显著降低了计算复杂性。在实验中,我们发现我们的OWL方法可以实现20 $\times$到30 $\times$的合成问题和4 $\times$到8 $\times$的实际数据问题的加速比。
2018-07-10 cs.LG stat.ML
On Coresets For Regularized Regression
IIT Gandhinagar(印度理工学院甘地纳格尔分校)
我们研究了基于范数的正则化对回归问题的核心集大小的影响。具体来说,给定一个矩阵$ \mathbf{A} \in {\mathbb{R}}^{n \times d}$与$n\gg d$和一个向量$\mathbf{b} \in \mathbb{R} ^ n $和$λ> 0$,我们分析了$\|\mathbf{Ax}-\mathbf{b}\|_p^r + λ\|{\mathbf{x}}\|_q^s$形式的正则化回归版本的coreset的大小。先前的工作已经表明,对于岭回归(其中$p,q,r,s=2$),我们可以获得比未正则化对应物(即最小二乘回归)的coreset小的coreset(Avron等人)。我们表明,当$r \neq s$,没有coreset正则化回归可以有大小小于最佳coreset的非正则化版本。众所周知的套索问题属于这一类,因此不允许一个coreset小于最小二乘回归。我们提出了一个修改后的版本的套索问题,并获得它的coreset的大小小于最小二乘回归。我们的经验表明,修改后的版本的套索也诱导稀疏的解决方案,类似于原来的套索。我们还获得了更小的coresets的$\ell_p$回归与$\ell_p$正则化。我们将我们的方法扩展到多响应正则化回归。最后,我们实证证明了修改后的套索和$\ell_1$回归与$\ell_1$正则化的coreset性能。
2020-06-30 cs.DS cs.LG stat.ML
$\ell_1$-regression with Heavy-tailed Distributions
Nanjing University(南京大学)
本文研究了重尾分布下的线性回归问题。与以往研究中使用损失平方来衡量绩效不同,本文选择了能够估计条件中位数的绝对损失。为了解决输入和输出都可能是重尾的挑战,我们提出了一个截断最小化问题,并证明了它具有$\widetilde{O}(\sqrt{d/n})$超额风险,其中$d$是维数,$n$是样本数。与传统的$\ell_1$ -回归方法相比,本文的主要优点是在不需要输入和输出的指数矩条件下,得到了高概率的风险界。此外,如果输入是有界的,我们表明,经典的经验风险最小化是称职的$\ell_1$ -回归,即使当输出是重尾。
2018-10-25 cs.LG stat.ML
An efficient projection neural network for $\ell_1$-regularized logistic regression
Jheronimus Academy of Data Science(杰罗尼莫斯数据科学学院);Eindhoven University(埃因霍温大学);Ferdowsi University of Mashhad(马什哈德 Ferdowsi 大学)
$\ell_1$正则化已被用于逻辑回归,以规避过拟合,并使用估计的稀疏系数进行特征选择。然而,这种正则化的挑战在于$\ell_1$范数是不可微的,使得用于凸优化的标准算法不适用于该问题。本文提出了一个简单的投影神经网络的$\ell_1$ -正则化逻辑回归。与文献中许多可用的求解器相比,所提出的神经网络不需要任何额外的辅助变量,也不需要任何平滑逼近,并且其复杂性几乎与无需$\ell_1$正则化的逻辑回归梯度下降的复杂性相同,这要归功于投影算子。我们还研究了建议的神经网络的收敛性,通过使用李雅普诺夫理论,并表明它收敛到任何初始值的问题的解决方案。所提出的神经解决方案在执行时间方面明显优于最先进的方法,并且在准确性和AUROC方面具有竞争力。
2021-05-12 cs.LG stat.ML
Provable Approximations for Constrained $\ell_p$ Regression
University of Haifa(海法大学)
$\ell_p$线性回归问题是在$x\in\mathbb{R}^d$上最小化$f(x)=||Ax-b||_p$,其中$A\in\mathbb{R}^{n\times d}$、$b\in \mathbb{R}^n$和$p>0$。为了避免过度拟合和约束$||x||_2$,约束$\ell_p$回归最小化每个单位向量$x\in\mathbb{R}^d$上的$f(x)$。这使得即使对于最简单的情况$d=p=2$问题也是非凸的。相反,岭回归被用来最小化拉格朗日形式$f(x)+λ||x||_2$在$x\in\mathbb{R}^d$,这产生了一个凸问题的代价校准正则化参数$λ>0$。我们提供了第一个可证明的常数因子近似算法,解决了直接的约束$\ell_p$回归,为每个常数$p,d\geq 1$。使用核心集,它的运行时间是$O(n \log n)$,包括流和分布式(大)数据的扩展。在多项式时间内,它可以处理离群值,$p\in (0,1)$和最小化每个$x$上的$f(x)$和$A$中的行的排列。还提供了实验结果,包括开源和与现有软件的比较。
2019-02-27 cs.LG stat.ML
On Detecting Some Defective Items in Group Testing
Technion - Israel Institute of Technology(以色列理工学院)
本文研究组测试中仅识别 ℓ 个缺陷物品的问题,在自适应/非自适应、确定性/随机及 d 已知或未知情形下建立了测试复杂度的上下界与多个紧界。
2023-06-27 cs.DS cs.LG
A Nearly Tight Analysis of Greedy k-means++
ETH Zurich(苏黎世联邦理工学院);BARC, Univ. of Copenhagen(哥本哈根大学BARC)
著名的$k$ -means++算法Arthur和Vassilvitskii [SODA 2007]是在实践中解决$k$ -means问题的最流行的方法。该算法非常简单:它随机均匀地对第一中心进行采样,并且随后的$k-1$中心中的每一个总是与其到目前为止最接近的中心的平方距离成比例地被采样。然后,运行Lloyd迭代算法。已知$k$ -means++算法返回期望的$Θ(\log k)$近似解。在他们的开创性工作中,Arthur和Vassilvitskii [SODA 2007]询问了以下\emph{greedy}变体的保证:在每一步中,我们对$\ell$候选中心进行采样,然后选择使新成本最小化的中心。这也是$k$ -means++在例如流行的Scikit-learn库中实现的方式[Pedregosa等人; JMLR 2011]。我们提出了几乎匹配的上下界贪婪$k$ -手段++:我们证明了它是一个$O(\ell^3 \log^3 k)$ -近似算法。另一方面,我们证明了$Ω(\ell^3 \log^3 k / \log^2(\ell\log k))$的一个下界。以前,仅已知$Ω(\ell \log k)$下限[Bhattacharya,Eube,Röglin,Schmidt; ESA 2020],没有已知上限。
2022-07-16 cs.DS cs.LG
Tight bounds for maximum $\ell_1$-margin classifiers
ETH Zürich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心)
流行的迭代算法,如线性模型上的提升方法和坐标下降收敛到最大$\ell_1$ -边缘分类器,也称为。稀疏硬边缘SVM,在高维制度,其中数据是线性可分的。以前的作品一致表明,许多估计依赖于$\ell_1$ -范数实现硬稀疏地面真理的统计率提高。我们发现,令人惊讶的是,这种自适应性不适用于最大的$\ell_1$ -保证金分类标准的歧视性设置。特别是,对于无噪声设置,我们证明了严格的上限和下限的预测误差,以$\frac{\|w^*\|_1^{2/3}}{n^{1/3}}$一般地面真理匹配现有的利率。为了完成图片,我们表明,当插值噪声观测,误差消失的速度为$\frac{1}{\sqrt{\log(d/n)}}$。因此,我们首先展示了最大$\ell_1$边缘分类器的良性过拟合。
2023-01-20 cs.LG stat.ML
Is Ordered Weighted $\ell_1$ Regularized Regression Robust to Adversarial Perturbation? A Case Study on OSCAR
IBM Research(IBM研究院)
许多最先进的机器学习模型,如深度神经网络,最近被证明容易受到对抗性扰动的影响,特别是在分类任务中。受对抗性机器学习的启发,本文研究了具有强相关协变量的稀疏回归模型对对抗性测量噪声的鲁棒性。具体来说,我们考虑家庭的有序加权$\ell_1$(OWL)正则化回归方法和研究的情况下,OSCAR(八角形收缩聚类算法回归)在对抗设置。在一个范数有界的威胁模型下,我们制定的过程中找到一个最大的破坏性噪音OWL-正则化回归作为一个优化问题,并说明了步骤,找到这样的噪音的情况下,OSCAR。实验结果表明,在我们的对抗性设置下,对强相关特征进行分组的回归性能可能会严重下降,即使噪声预算明显小于地面实况信号。
2018-10-03 cs.LG stat.ML
Conditional Sparse $\ell_p$-norm Regression With Optimal Probability
Washington University in St. Louis(圣路易斯华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
我们考虑下面的条件线性回归问题:任务是识别(i)$k$条件$c$和(ii)线性规则$f$,使得$c$的概率(近似)至少是某个给定的约束$μ$,并且$f$最小化在以$c$为条件的示例分布中预测目标$z$的$\ell_p$损失.因此,任务是识别线性规则可以提供良好拟合的分布的一部分。在简单的、可学习的规则只能准确地对分布的一部分进行建模的情况下,此任务的算法非常有用。这种算法的现有技术只能保证在概率条件$μ$存在时找到概率条件$Ω(μ/n^k)$,并实现目标损失的$O(n^k)$近似,其中$n$是布尔属性的数量。在这里,我们给出了有效的算法来解决这个任务的条件$c$,几乎匹配的概率的理想条件,同时也提高了近似的目标损失。我们还给出了一个算法,找到一个$k$ -DNF参考类预测在一个给定的查询点,得到一个稀疏的回归拟合,损失在$O(n^k)$最佳的所有稀疏回归参数和足够大的$k$ -DNF参考类包含查询点。
2018-06-26 cs.DS cs.LG stat.ML
Ising Model Selection Using $\ell_{1}$-Regularized Linear Regression: A Statistical Mechanics Analysis
The University of Tokyo(东京大学);Institute for Physics of Intelligence(智能物理研究所);Kyoto University(京都大学)
我们从理论上分析了典型的学习性能的$\ell_{1}$ -正则化线性回归($\ell_1$ -LinR)伊辛模型选择使用的副本方法从统计力学。对于顺磁相的典型随机正则图,得到了$\ell_1$ -LinR的典型样本复杂度的精确估计.值得注意的是,尽管模型错误指定,$\ell_1$ -LinR是与$\ell_{1}$ -正则化逻辑回归($\ell_1$ -LogR)相同的样本复杂性顺序一致的模型选择,即,$M=\mathcal{O}\left(\log N\right)$,其中$N$是伊辛模型的变量数。此外,我们提供了一个有效的方法来准确地预测非渐近行为的$\ell_1$ -LinR中度$M, N$,如精度和召回。模拟结果表明,理论预测和实验结果之间有相当好的一致性,即使是有许多循环的图形,这支持了我们的研究结果。虽然本文主要集中在$\ell_1$ -LinR,我们的方法是很容易适用于精确地表征典型的学习性能的广泛的一类$\ell_{1}$ -正则化$M$ -估计,包括$\ell_1$ -LogR和交互筛选。
2021-11-02 cond-mat.dis-nn cs.AI cs.LG
Tight Transition Time Bounds for Separable Logistic Regression at the Edge of Stability
Tsinghua University(清华大学);Stanford University(斯坦福大学)
本文否证了逻辑回归在稳定性边缘过渡时间与步长无关的猜想,证明最坏情况过渡时间为$(\log\eta)^{\min\{n-2,d-2\}}$量级,并通过归纳控制样本变化构造匹配实例。
2026-10-02 cs.LG stat.ML
Globally Convergent Accelerated Algorithms for Multilinear Sparse Logistic Regression with $\ell_0$-constraints
Yunnan University(云南大学)
本文针对带$\ell_0$约束的多线性稀疏逻辑回归模型提出APALM$^+$加速算法,解决了非凸非光滑优化难题,并证明了其全局收敛性及收敛速率,实验表明其在准确性和速度上优于现有方法。
2023-09-17 cs.LG stat.ML
Tricking the Hashing Trick: A Tight Lower Bound on the Robustness of CountSketch to Adaptive Inputs
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学);UC Berkeley(加州大学伯克利分校)
CountSketch和Feature Hashing(“hashing trick”)是流行的随机降维方法,支持恢复$\ell_2$ -重命中者(键$i$,其中$v_i^2 > ε\|\boldsymbol{v}\|_2^2$)和近似内积。当输入是{ \em非自适应}(不依赖于先前的输出)时,应用于大小为$O(\ell/ε)$的草图的经典估计器对于在$\ell$中呈指数的查询数量是准确的。然而,当输入是自适应的时,可以在使用经典估计器的$O(\ell)$查询之后构造对抗输入,并且最知名的鲁棒估计器仅支持$\tilde{O}(\ell^2)$查询。在这项工作中,我们表明,这种二次依赖是在某种意义上固有的:我们设计了一个攻击后,$O(\ell^2)$查询产生一个对抗性的输入向量,其草图是高度偏见。我们的攻击使用“自然”非自适应输入(只有最终的对抗输入是自适应选择的),并普遍适用于任何正确的估计,包括攻击者未知的估计。在这一点上,我们暴露了这种基本方法的内在脆弱性。
2022-08-28 cs.CR cs.DS cs.LG
Active Linear Regression for $\ell_p$ Norms and Beyond
UMass Amherst(马萨诸塞大学阿默斯特分校);NYU(纽约大学);CMU(卡内基梅隆大学)
我们研究了线性回归的主动抽样算法,其目的是只查询一个目标向量$b\in\mathbb R^n$的几个条目,并输出一个接近极小值的$\min_{x\in\mathbb R^d} \|Ax-b\|$,设计矩阵$A\in\mathbb R^{n \times d}$和损失$\|\cdot\|$。对于任何$0<p<\infty$的$p$范数回归,我们给出了一个基于Lewis权重采样的算法,该算法仅使用$\tilde O(d/ε^2)$查询来输出$(1+ε)$近似解,$b$用于$p\in(0,1)$,$\tilde{O}(d/ε)$查询用于$1<p<2$,以及$\tilde{O}(d^{p/2}/ε^p)$查询用于$2<p<\infty$。对于$0<p<2$,我们的边界是最佳的对数因子,解决了这个范围内的查询复杂性。对于$2<p<\infty$,我们对$d$的依赖性是最优的,而我们对$ε$的依赖性最多偏离$ε$,达到对数因子。我们的结果解决了[CD 21]的一个悬而未决的问题,他给出了$1$范数的接近最优的界限,但需要$d^2/ε^2$样本进行$\ell_p$回归与$1<p<2$,并且没有给出$2<p<\infty$或$0<p<1$的界限。我们还给出了$O(d^{\max\{1,p/2\}}\log^2n)$对$p$次多项式增长损失函数的第一全灵敏度界,改进了[TMF 20]的一个结果.通过…
2022-09-26 cs.DS cs.LG stat.ML
Fast Robust Kernel Regression through Sign Gradient Descent with Early Stopping
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出KRR的等价目标函数,利用 $\ell_\infty$ 和 $\ell_1$ 惩罚项实现鲁棒和稀疏核回归,并将其分别与符号梯度下降和坐标下降的早停解建立联系,提出高效计算方法,在五个数据集上速度快一到两个数量级且不损失精度。
2025-03-07 cs.LG math.OC stat.ME
Tight Bounds for Logistic Regression with Large Stepsize Gradient Descent in Low Dimension
George Mason University(乔治·马歇尔大学)
针对可分离数据二分类的逻辑回归,研究大步长梯度下降的收敛速率,通过精细分析正交子空间振荡动力学,给出过渡时间的紧界,得到改进的损失上界。
2026-06-16 cs.LG
Embedding interpretable $\ell_1$-regression into neural networks for uncovering temporal structure in cell imaging
Institute of Medical Biometry and Statistics (IMBI), Faculty of Medicine and Medical Center, University of Freiburg, Germany(医学生物度量与统计研究所(IMBI)、医学学院与医疗中心、弗赖堡大学);Institute of Physiology I, Faculty of Medicine, University of Freiburg, Germany(医学生理学研究所I、医学学院、弗赖堡大学);Department of Computer Science, University of Freiburg, Germany(计算机科学系、弗赖堡大学);Freiburg Center for Data Analysis, Modeling and AI (FDMAI), University of Freiburg, Germany(弗赖堡数据分析、建模与人工智能中心(FDMAI)、弗赖堡大学);Centre for Integrative Biological Signalling Studies (CIBSS), University of Freiburg, Germany(整合生物信号研究中心(CIBSS)、弗赖堡大学)
本文提出将可解释的ℓ1回归嵌入神经网络,以提取细胞成像中的稀疏时间结构。
2026-03-08 cs.LG
Sparse estimation via $\ell_q$ optimization method in high-dimensional linear regression
Zhejiang University(浙江大学);Shenzhen University(深圳大学);The Hong Kong Polytechnic University(香港理工大学);Chinese Academy of Sciences(中国科学院)
在本文中,我们讨论的$\ell_q$优化方法$(0<q\leq 1)$的统计特性,包括$\ell_q$最小化方法和$\ell_q$正则化方法,估计一个稀疏的参数从噪声观测高维线性回归的确定性或随机设计。为此,我们引入了一般的$q$-限制特征值条件(REC),并利用稀疏特征值条件、限制等距性和互不相干性等正则条件给出了REC的充分条件.借助于$q$-REC,我们证明了$\ell_q$优化方法的$\ell_2$恢复界$O(ε^2)$和$\ell_q$正则化方法的Oracle不等式和$\ell_2$恢复界$O(λ^{\frac{2}{2-q}}s)$分别以高概率成立,从而证明了$\ell_q$优化方法对确定性设计和随机设计的稳定恢复性质.本文的结果是非渐近的,并且仅假设弱$q$-REC.初步的数值结果验证了所建立的统计性质,并表明了$\ell_q$正则化方法优于现有的一些稀疏优化方法.
2019-11-12 cs.LG math.OC stat.ML
Sparse Logistic Regression Learns All Discrete Pairwise Graphical Models
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们描述了一个经典的算法的有效性恢复马尔可夫图的一般离散成对图形模型从独立同分布。样品该算法是(适当正则化的)最大条件对数似然,它涉及到为每个节点求解凸规划;对于伊辛模型,这是$\ell_1$约束逻辑回归,而对于更一般的字母表,需要使用$\ell_{2,1}$组范数约束。我们表明,该算法可以恢复任何任意离散的成对图形模型,也表征其样本的复杂性作为一个函数的模型宽度,字母表大小,边缘参数的准确性,和变量的数量。我们表明,沿着这些轴的每一个,它匹配或改进所有现有的结果和算法,这个问题。当权重向量具有$\ell_1$约束(或$\ell_{2,1}$约束)并且样本向量具有$\ell_{\infty}$约束(或$\ell_{2, \infty}$约束)时,我们的分析对逻辑回归应用了尖锐的泛化误差界。我们还表明,所提出的凸规划可以有效地解决在$\tilde{O}(n^2)$运行时间(其中$n$是变量的数量)在相同的统计保证。我们提供实验结果来支持我们的分析。
2019-06-18 cs.DS cs.LG math.ST
Private Gradient Descent for Linear Regression: Tighter Error Bounds and Instance-Specific Uncertainty Estimation
Paul G Allen School of Computer Science and Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Boston University(波士顿大学);Google DeepMind(谷歌DeepMind)
本文改进分析了线性回归中差分隐私梯度下降的迭代分布,证明在适当超参数下样本复杂度仅线性依赖数据维度,并构造了能自适应特定数据集方差的置信区间。
2024-02-21 cs.CR cs.LG
Coresets for Multiple $\ell_p$ Regression
Carnegie Mellon University(卡内基梅隆大学)
本文针对多重 $\ell_p$ 回归问题,构造了大小与响应数 $m$ 无关的近乎紧确的核心集,并据此确定了近似 $\ell_p$ 欧几里得幂均值的均匀采样数以及 $\ell_p$ 子空间近似的行子集大小。
2024-06-04 cs.DS cs.LG stat.ML
An $O(n\log(n))$ Algorithm for Projecting Onto the Ordered Weighted $\ell_1$ Norm Ball
University of California, Los Angeles(加州大学洛杉矶分校)
有序加权$\ell_1$(OWL)范数是回归的离散收缩和聚类算法(OSCAR)范数的新推广。该范数具有理想的统计特性,可用于同时执行聚类和回归。在本文中,我们展示了如何计算投影的$n$维向量到OWL范数球的$O(n\log(n))$操作。此外,我们说明了我们的算法的合成回归测试的性能。
2015-06-26 cs.LG math.OC
Kernel based regression with robust loss function via iteratively reweighted least squares
China Agricultural University(中国农业大学)
基于最小二乘核的方法由于实现简单、泛化能力强等优点,在回归问题中得到了广泛的应用。其中,最小二乘支持向量回归(LS-SVR)和极端学习机(ELM)是比较流行的技术。然而,噪声敏感性是一个主要瓶颈。为了解决这个问题,本文提出了一个广义的损失函数,称为$\ell_s$ -损失。在新的损失函数的支持下,通过用提出的$\ell_s$-loss代替LS-SVR和ELM中的$\ell_2$-loss,构造了两个基于核函数的回归器,以获得更好的噪声鲁棒性。从理论上证明了$\ell_s$ -损失的重要性质,包括鲁棒性、非对称性和渐近逼近行为.此外,迭代重加权最小二乘(IRLS)是用来优化和解释所提出的方法从加权的观点。证明了该算法的收敛性,并对鲁棒性进行了详细的分析.在人工数据集和基准数据集上的实验验证了所提方法的有效性。
2020-06-02 cs.LG stat.ML
Adaptive and optimal online linear regression on $\ell^1$-balls
École Normale Supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);IBM Research(IBM研究院)
我们考虑单个序列的在线线性回归问题。本文的目标是预测器输出连续的预测,在$T$时间轮之后,几乎与$\\R^d$中给定的$\ell^1$ -球中的最佳线性预测器输出的预测一样好。我们考虑两种情况下的维度~ $d$是小的和大的相对于时间范围$T$。首先,我们提出了遗憾界与$d$,$T$,和大小$U$,$X$和$Y$的$\ell^1$ -球,输入数据和观察的最佳依赖。极小极大后悔模型在$d = \sqrt{T} U X / (2 Y)$点附近表现出一个状态转换。此外,我们提出了有效的算法,是自适应的,\ie,不需要知识的$U$,$X$,$Y$,和$T$,但仍然达到接近最佳的遗憾界限。
2019-01-16 cs.LG math.ST stat.ML
High-Dimensional Poisson DAG Model Learning Using $\ell_1$-Regularized Regression
University of Seoul(首尔大学)
在本文中,我们开发了一种新的方法来学习高维泊松有向无环图(DAG)模型,只有观测数据没有强假设,如忠诚和强稀疏。我们的方法的一个关键组成部分是解耦的排序估计或父搜索的问题,可以有效地解决使用$\ell_1$ -正则化回归和均值-方差关系。我们表明,样本量$n = Ω( d^{2} \log^{9} p)$是足够的,我们的多项式时间均值方差比评分(MRS)算法恢复真正的有向图,其中$p$是节点的数量和$d$是最大入度。我们通过模拟验证,我们的算法是统计上一致的,在高维$p>n$设置,并表现良好相比,国家的最先进的ODS,GES,MMHC算法。我们还通过多变量实际计数数据证明,与用于离散数据的其他方法相比,我们的MRS算法非常适合于估计多变量计数数据的DAG模型。
2019-05-27 cs.LG stat.ML
PROMPT: Parallel Iterative Algorithm for $\ell_{p}$ norm linear regression via Majorization Minimization with an application to semi-supervised graph learning
在本文中,我们考虑的问题,$\ell_{p}$范数线性回归,它有几个应用,如稀疏恢复,数据聚类,和半监督学习。这个问题,即使凸,不享有一个封闭的形式的解决方案。现有技术的算法是迭代的,但存在收敛问题,即,它们或者在p>3时发散,或者收敛到最优解对算法的初始化敏感。而且,这些算法不能推广到$p$的每个可能值。本文基于优化最小化原理,提出了一种求解$\ell_{P}$范数回归问题的迭代算法:并行迭代AlgOrithM(PROMPT),并证明了该算法是单调的,且对$p$的任意值都收敛于问题的最优解.该算法还可以快速更新回归变量的每个元素,这有助于有效地处理大规模数据,这是数据爆炸时代的常见情况。随后,我们表明,该算法也可以应用于基于图的半监督学习问题。我们通过数值模拟表明,该算法收敛到最优解的任何随机初始化,也比最先进的算法在收敛速度方面表现得更好。我们还评估了所提出的算法的性能,使用模拟和真实数据的基于图的半监督学习问题。
2021-10-23 cs.LG eess.SP
ReLU Regression with Massart Noise
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们研究了ReLU回归的基本问题,其目标是将校正线性单元(ReLU)拟合到数据中。这种监督学习任务在可实现的环境中是可以有效解决的,但众所周知,在对抗性标签噪音的情况下,计算难度很大。在这项工作中,我们专注于Massart噪声模型中的ReLU回归,Massart噪声模型是一种自然且经过充分研究的半随机噪声模型。在该模型中,每个点的标签是根据类中的函数生成的,但允许攻击者以一定的概率任意改变该值,该概率最多为{ \em} $η< 1/2$。我们开发了一个有效的算法,实现精确的参数恢复在这个模型下温和的反浓度假设的基础分布。这种假设是必要的准确恢复信息理论上是可能的。我们证明,我们的算法显着优于天真的应用程序的$\ell_1$和$\ell_2$回归合成和真实的数据。
2022-01-26 cs.DS cs.LG stat.ML
Almost Tight L0-norm Certified Robustness of Top-k Predictions against Adversarial Perturbations
Duke University(杜克大学);Illinois Institute of Technology(伊利诺伊理工学院)
Top-k预测被用于许多现实世界的应用中,例如机器学习即服务、推荐系统和web搜索。$\ell_0$ -范数对抗扰动描述了任意修改输入的某些特征的攻击,使得分类器对扰动的输入做出不正确的预测。$\ell_0$ -范数对抗扰动易于解释,并且可以在物理世界中实现。因此,证明顶$k$预测对$\ell_0$范数对抗扰动的鲁棒性是重要的.然而,现有的研究要么集中于证明前$1$预测的$\ell_0$ -范数稳健性,要么集中于证明前$k$预测的$\ell_2$ -范数稳健性.在这项工作中,我们的目标是弥合差距。我们的方法是基于随机平滑,建立一个可证明的强大的分类器从任意分类器通过随机化的输入。我们的主要理论贡献是一个几乎紧密的$\ell_0$规范认证的鲁棒性保证顶级$k$预测。我们在CIFAR 10和ImageNet上对我们的方法进行了实证评估。例如,我们的方法可以构建一个分类器,当攻击者可以任意干扰测试图像的5个像素时,该分类器在ImageNet上达到了69.2%的认证前3名准确率。
2022-06-03 cs.CR cs.LG
Linear regression with overparameterized linear neural networks: Tight upper and lower bounds for implicit $\ell^1$-regularization
该研究针对深度≥2的过参数化对角线性神经网络的线性回归问题,推导了梯度流极限点与ℓ¹最小化解间逼近误差的紧上下界,刻画了深度与初始化尺度对误差的影响,实验验证了理论并发现更深网络泛化性更优。
2025-10-28 cs.IT cs.LG math.IT
Self-concordant analysis for logistic regression
INRIA(法国国家信息与自动化研究所);Laboratoire d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院计算机实验室);CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院)
回归中的大多数非渐近理论工作都是针对平方损失进行的,其中估计量可以通过封闭形式的表达式获得。在本文中,我们使用和扩展工具,从凸优化文献,即自协调函数,提供简单的扩展的理论结果的平方损失的逻辑损失。我们将扩展技术应用于逻辑回归与正则化的$\ell_2$ -范数和正则化的$\ell_1$ -范数,表明新的结果,通过逻辑回归的二进制分类可以很容易地从相应的结果最小二乘回归。
2009-10-24 cs.LG math.ST stat.TH
Differentially Private $\ell_1$-norm Linear Regression with Heavy-tailed Data
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);State University of New York at Buffalo(纽约州立大学布法罗分校)
研究了重尾数据下的微分私有随机凸优化问题。具体而言,我们专注于$ε$ -DP模型中的$\ell_1$ -范数线性回归。虽然以前的大部分工作都集中在损失函数为Lipschitz的情况下,但在这里我们只需要假设变量具有有界矩。首先,我们研究了数据的$\ell_2$范数具有有界二阶矩的情形。我们提出了一种算法,它是基于指数机制,并表明,它是可能实现的上限$\tilde{O}(\sqrt{\frac{d}{nε}})$(具有高概率)。其次,我们放宽了假设,有界$θ$阶矩与一些$θ\in (1, 2)$,并表明它是可能实现的上限$\tilde{O}(({\frac{d}{nε}})^\frac{θ-1}θ)$。我们的算法也可以扩展到更宽松的情况下,只有每个坐标的数据有界的时刻,我们可以得到一个上界的$\tilde{O}({\frac{d}{\sqrt{nε}}})$和$\tilde{O}({\frac{d}{({nε})^\frac{θ-1}θ}})$在第二和$θ$ -th时刻的情况下,分别。
2022-01-10 cs.CR cs.LG stat.ML
A Dirty Model for Multiple Sparse Regression
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
稀疏线性回归-从线性测量中找到未知向量-现在已知可以通过LASSO等方法使用比变量少的样本。我们考虑多稀疏线性回归问题,其中几个相关的向量-部分共享的支持集-必须恢复。在这种情况下,一个自然的问题是是否可以使用共享来进一步减少所需的样本总数。最近的一系列研究已经研究了使用\ell_1 / \ell_q范数块正则化(q>1)来解决此类问题;然而,这些方法实际上在样本复杂度方面的表现更差-相对于单独解决每个问题而忽略共享-取决于共享的水平。我们提出了一种新的多元稀疏线性回归方法,该方法可以在支持度和参数重叠存在时利用支持度和参数重叠,但在不存在时不支付罚款。一个非常简单的想法:我们将参数分解为两个分量,并以不同的方式正则化它们。我们在理论上和经验表明,我们的方法严格和明显优于\ell_1或\ell_1 / \ell_q方法,在整个范围内可能的重叠(除了在边界的情况下,我们匹配的最佳方法)。我们还提供了理论保证,该方法在高维尺度下表现良好。
2011-06-29 cs.LG math.ST stat.ML
Accurate Coresets for Latent Variable Models and Regularized Regression
IIIT Delhi(德里印度信息技术学院)
本文提出统一框架构造精确核心集,覆盖隐变量模型与正则化回归,并证明其核心集大小优于已有方法,尤其在岭回归上实现改进。
2024-12-28 cs.LG stat.ML
On the Optimal Weighted $\ell_2$ Regularization in Overparameterized Linear Regression
University of Toronto(多伦多大学);Vector Institute(向量研究所);Columbia University(哥伦比亚大学)
我们考虑线性模型$\mathbf{y} = \mathbf{X} \mathbfβ_\star + \mathbfε$,其中$\mathbf{X}\in \mathbb{R}^{n\times p}$处于超参数化状态$p>n$。我们通过广义(加权)岭回归估计$\mathbfβ_\star$:$\hat{\mathbfβ}_λ= \left(\mathbf{X}^T\mathbf{X} + λ\mathbfΣ_w\right)^\dagger \mathbf{X}^T\mathbf{y}$,其中$\mathbfΣ_w$是加权矩阵。根据随机设计设置与一般数据协方差$\mathbfΣ_x$和各向异性的前真实系数$\mathbb{E}\mathbfβ_\star\mathbfβ_\star^T = \mathbfΣ_β$,我们提供了一个精确的表征的预测风险$\mathbb{E}(y-\mathbf{x}^T\hat{\mathbfβ}_λ)^2$的比例渐近极限$p/n\rightarrow γ\in (1,\infty)$。我们的一般设置导致了一些有趣的发现。我们概述了精确的条件,决定的最佳设置$λ_{\rm opt}$的脊参数$λ$的符号,并确认隐含的$\ell_2$正则化效应的overparameterization,这在理论上证明了令人惊讶的经验观察,$λ_{\rm opt}$可以是…
2020-11-03 cs.LG math.ST stat.ML
Meta Learning for High-dimensional Ising Model Selection Using $\ell_1$-regularized Logistic Regression
Purdue University(普渡大学)
在本文中,我们考虑的元学习问题,估计与高维伊辛模型的图形,使用$\ell_1$ -正则化逻辑回归的方法,每个节点的邻域选择。我们的目标是利用从辅助任务中学习到的信息来学习新任务,以降低其足够的样本复杂度。为此,我们提出了一种新的生成模型,以及不适当的估计方法。在我们的设置中,所有任务的\emph{random}模型参数和支持都是\emph{similar}。通过将辅助任务的所有样本汇集到\emph{improperly}估计单个参数向量,对于具有$p$节点和最大邻域大小$d$的Ising模型的$K = Ω(d^3 \log p ) $任务,我们可以以高概率恢复真正的支持联合,假设大小很小,每个任务具有足够的$Ω(1) $样本复杂度。然后,与支持的新的任务限制在估计的支持联盟,我们证明了一致的邻域选择的新的任务,可以得到一个减少足够的样本复杂度$Ω(d^3 \log d)$。
2022-08-19 cs.LG math.ST stat.TH
Closed-form $\ell_r$ norm scaling with data for overparameterized linear regression and diagonal linear networks under $\ell_p$ bias
Rudolf Peierls Centre for Theoretical Physics(鲁道夫·皮尔士理论物理中心);University of Oxford(牛津大学)
本文研究了过参数化线性回归和对角线线性网络中ℓ_𝑟范数缩放问题,通过简单对偶射线分析揭示了信号尖峰与零坐标之间的竞争,得出数据依赖的肘部和通用阈值,解释了不同范数随样本量变化的行为。
2026-03-19 cs.LG math.ST stat.ML
Sparse Regression at Scale: Branch-and-Bound rooted in First-Order Optimization
Massachusetts Institute of Technology(麻省理工学院)
我们考虑最小二乘回归问题,惩罚与组合的$\ell_{0}$和平方$\ell_{2}$惩罚函数(a.k.a. $\ell_0 \ell_2$正则化)。最近的工作表明,由此产生的估计是非常重要的,在许多高维统计设置。然而,这些估计的精确计算仍然是一个重大挑战。事实上,现代精确的方法,混合整数规划(MIP)的基础上,面临的困难时,功能的数量$p \sim 10^4$。在这项工作中,我们提出了一个新的确切的MIP框架$\ell_0\ell_2$ -正则化回归,可以扩展到$p \sim 10^7$,实现加速至少$5000$ x,相比国家的最先进的精确方法。不像最近的工作,它依赖于现代商业MIP求解器,我们设计了一个专门的非线性分支定界(BNB)框架,通过严格利用问题结构。在我们的框架中,一个关键的区别在于有效地解决节点松弛使用专门的一阶方法,基于坐标下降(CD)。我们基于CD的方法通过使用热启动、活动集和梯度筛选,有效地利用了BnB节点上的信息。此外,我们设计了一种新的方法,从原始CD解决方案,证明工程高维的对偶界限。在合成和真实高维数据集上的实验表明,我们的框架不仅比现有技术要快得多,而且还可以为现有方法无法处理的具有统计挑战性的实例提供可证明的最佳解决方案。我们通过我们的工具包L0 BnB开源实现。
2021-04-14 cs.LG math.OC stat.CO
Learning-Enabled Estimation: Tight Characterizations under Sample Selection Biases
Yale University(耶鲁大学);Stanford University(斯坦福大学)
本研究刻画了样本选择偏差下回归可识别的最小条件,证明即使选择过滤器不可识别回归仍可识别,并给出有限样本保证与高效算法,适用于拍卖、劳动力市场等复杂选择场景。
2026-10-01 cs.LG stat.ML
Kernel Regression for Graph Signal Prediction in Presence of Sparse Noise
KTH Royal Institute of Technology(KTH皇家理工学院)
在稀疏噪声的存在下,我们提出了核回归预测的输出向量是光滑的一个给定的图。稀疏噪声对训练输出进行建模,训练输出被丢失的样本或大的扰动破坏。稀疏噪声的存在通过在凸代价函数中适当使用$\ell_1$ -范数以及使用$\ell_2$ -范数来处理。对于优化的成本函数,我们提出了一个迭代加权最小二乘(IRLS)的方法,是适合于内核替换或内核技巧,由于可用的封闭形式的解决方案。使用真实世界温度数据的模拟显示了我们所提出的方法的有效性,主要是针对有限大小的训练数据集。
2018-11-06 cs.LG stat.ML
Characterizing the Generalization Error of Random Feature Regression with Arbitrary Data-Augmentation
Qube Research & Technologies(Qube研究与技术);École Polytechnique(巴黎政治学院)
本文研究了数据增强在比例 regime 中对监督回归方法的正则化效应,通过仅依赖真实数据的总体量及增强方案的一阶和二阶统计量,精确表征了测试误差。结果适用于不规范特征映射和仅训练最后一层的网络架构。
2026-05-11 cs.LG math.ST stat.ML
Implicit Regularization Leads to Benign Overfitting for Sparse Linear Regression
Duke University(杜克大学)
本文针对稀疏线性回归中最小ℓ₁和ℓ₂范数插值器均无法达到最优测试损失的问题,提出一种新的模型参数化方法,通过梯度下降产生结合ℓ₁与ℓ₂优点的隐式正则化效应,从而获得接近最优测试损失的插值器。
2023-05-26 cs.LG stat.ML
L1 Regression with Lewis Weights Subsampling
UT Austin(德克萨斯大学奥斯汀分校)
我们考虑的问题,找到一个近似的解决方案,$\ell_1$回归,而只观察到少量的标签。给定一个$n \times d$未标记的数据矩阵$X$,我们必须选择一个小的$m \ll n$行集合来观察其标记,然后输出一个估计$\widehatβ$,其对原始问题的误差在最优的$1 + \varepsilon$因子内。我们表明,从$X$根据其刘易斯权重和输出的经验极小成功概率$1-δ$为$m > O(\frac{1}{\varepsilon^2} d \log \frac{d}{\varepsilon δ})$。这类似于根据$\ell_2$回归的杠杆分数进行采样的性能,但对$δ$的依赖性指数更好。我们也给出了相应的$Ω(\frac{d}{\varepsilon^2} + (d + \frac{1}{\varepsilon^2}) \log\frac{1}δ)$的下界。
2021-05-19 cs.LG stat.ML
Agnostic Sample Compression Schemes for Regression
Ben-Gurion University(本-古里安大学);Purdue University(普渡大学)
本文首次为不可知回归问题构造了有界样本压缩方案,针对不同 $\ell_p$ 损失给出了近似或精确压缩,并推广了相关负面结果,提出了开放性问题。
2024-02-03 cs.IT cs.LG math.IT
Tight bounds for minimum l1-norm interpolation of noisy data
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心)
我们提供了匹配的上界和下界的顺序$σ^2/\log(d/n)$的预测误差的最小$\ell_1$ -范数的预测误差,a.k.a.基础追求我们的结果是紧到可以忽略不计的条款时,$d \gg n$,是第一个暗示渐近一致性的各向同性功能和稀疏地面真理的噪声最小范数插值。我们的工作补充了文献“良性过拟合”的最小$\ell_2$ -范数插值,只有当功能是有效的低维,可以实现渐近一致性。
2022-03-07 cs.IT cs.LG math.IT
Sparse Hierarchical Regression with Polynomials
Operations Research Center, Massachusetts Institute of Technology(麻省理工学院运筹学中心)
提出了一种新的精确分层稀疏多项式回归方法。我们的回归量是次数$r$多项式,它依赖于最多的$k$输入,最多计数$\ell$单项项,最小化其预测误差的平方和。以前的分层稀疏规范与现代大数据设置非常一致,其中许多输入与预测目的无关,并且需要控制回归量的函数复杂性以避免过度拟合。我们提出了一个两步的方法来解决这个层次稀疏回归问题。首先,我们使用极快的输入排序启发式算法丢弃不相关的输入。其次,我们利用现代切割平面整数优化方法来解决我们所得到的减少层次$(k, \ell)$稀疏问题。我们的方法,以确定所有$k$相关的输入和所有$\ell$单项条款的能力经验表明,经历一个相变。至关重要的是,同样的转变也表现在我们拒绝所有不相关的特征和单项式的能力上。在我们的方法是统计强大的政权,其计算复杂性是有趣的Lasso为基础的几何学。所提出的工作填补了一个空白,缺乏强大的纪律非线性稀疏回归方法在高维设置。经验表明,我们的方法可以扩展到具有输入维度$p\approx 1,000$的$n\approx 10,000$观测的回归问题。
2017-09-28 cs.LG math.OC stat.ML