A Power and Prediction Analysis for Knockoffs with Lasso Statistics
Knockoffs是一个新的框架,用于控制涉及复杂统计模型的多个假设检验问题中的错误发现率(FDR)。虽然第一类错误控制一直受到重视,但对第二类错误的研究却少得多。在本文中,我们分析了假阴性率,或等效地,与拉索解决方案的路径下的i.i.d.高斯设计,并发现仿制品渐近实现接近最优功率相对于一个无所不知的神谕。此外,我们证明,对于稀疏信号,通过敲除滤波进行模型选择实现了接近理想的预测误差相比,一个拉索甲骨文配备了充分的知识的未知回归系数的分布。身份证。采用高斯设计来利用关于Lasso估计的经验分布的结果,这使得knockoff和oracle程序的功效计算成为可能。
2017-12-18 stat.ME
Nearly unbiased variable selection under minimax concave penalty
提出了一种高维线性回归中惩罚变量选择的快速、连续、近似无偏和精确的方法MC+。LASSO是快速和连续的,但有偏见。LASSO的偏差可能会妨碍一致的变量选择。子集选择是无偏的,但计算成本高。MC+有两个元素:极小极大凹惩罚(MCP)和惩罚线性无偏选择(PLUS)算法。MCP提供了在稀疏区域中的惩罚损失的凸性,以最大程度地给出变量选择和无偏性的某些阈值。PLUS算法在惩罚损失的临界点图的某个主分支中计算可能非凸惩罚损失函数的多个精确局部极小值。它的输出是一个连续的分段线性路径,包括从无限惩罚的原点到零惩罚的最小二乘解。我们证明,在一个普遍的惩罚水平,MC+有很高的概率匹配的符号的未知数,从而正确的选择,而不假设强的不可表示的条件所需的LASSO。这种选择的一致性适用于$p\gg n$的情况下,并证明了持有的MC+解决方案中可能有许多局部极小。我们证明了MC+在概率意义下对$\ell_r$球中回归系数的估计具有一定的极小极大收敛速度。我们使用的SURE方法来获得自由度和$C_p$型风险估计一般惩罚LSE,包括LASSO和MC+估计,并证明其无偏性。基于估计的自由度,我们提出了一个估计的噪声水平适当选择的惩罚水平。
2010-02-25 math.ST stat.TH
New Error Analysis for Lasso
Lasso是高维线性回归中参数估计和变量选择的重要方法之一。其成功的核心是有吸引力的收敛速度的结果,即使当$p$,问题的维度,是远远大于样本大小$n$。特别是,Bickel等人(2009)表明,根据$\ell_1$范数,对于稀疏指数$s$,该比率为$s\sqrt{(\log p)/n}$。本文利用模型的分布信息,得到了一个新的收敛速度界。在正态或亚高斯假设下,对于某些设计矩阵,速率可以提高到接近$s/\sqrt{n}$。我们进一步概述了一个一般的分区技术,有助于获得更清晰的收敛速度的套索。该结果适用于许多适合于高维数据分析的协方差阵。
2019-08-08 math.ST stat.TH
The Lasso for High-Dimensional Regression with a Possible Change-Point
本文考虑了一个高维回归模型,由于协变量阈值的存在,可能存在一个变点,并给出了回归系数和门限参数的Lasso估计。我们的Lasso估计不仅选择协变量,而且还选择线性和阈值回归模型之间的模型。在稀疏性假设下,我们得到了预测风险和回归系数的$\ell_1$估计损失的非渐近预言不等式。由于Lasso估计同时选择变量,我们证明了Oracle不等式可以在不预先检验阈值效应存在的情况下建立。此外,我们建立的条件下,未知的门限参数的估计误差可以由一个接近$n^{-1}$的因素,即使当回归的数量可以远远大于样本量($n$)。我们说明了我们提出的估计方法的实用性,通过蒙特卡罗模拟和实际数据的应用。
2014-04-19 math.ST stat.TH
Improved Support Recovery Guarantees for the Group Lasso With Applications to Structural Health Monitoring
本文考虑了从带噪线性测量中估计未知高维信号的问题,{当}假设信号在{已知的,}固定字典中具有\emph{group-sparse}结构。我们考虑根据自然概率模型生成的信号,并建立新的条件下,一组指数的非零组的信号(称为组级支持)可以准确地估计通过组拉索。我们的研究结果加强了现有的基于一致性的分析,表现出众所周知的“平方根”瓶颈,允许可恢复的非零组的数量几乎是一样大的组的总数。我们还建立了一个充分的恢复条件有关的非零组的数量和信噪比(量化的非零组的平方欧几里德范数和随机加性{测量}噪声的方差的比率),并验证这一趋势的经验。最后,我们研究的影响,我们的研究结果的背景下,结构健康监测的应用程序,其中组拉索的方法有利于分层的传播声波场,通过扫描激光多普勒测振仪在材料表面上获得,成对立的组件,其中之一表示内部材料缺陷的位置。
2018-05-19 cs.IT math.IT stat.ML
Sparse recovery with unknown variance: a LASSO-type approach
当方差$\sg^{2}$未知时,我们解决了在通用$s$ -稀疏线性模型$y = Xβ+z$中估计回归向量$β$的问题,其中$β\in\R^{p}$,$y\in\R^{n}$,$z\sim\mathcal N(0,\sg^2 I)$和$p> n$。我们研究两个LASSO型的方法,共同估计$β$和方差。这些估计量是$\ell_1$惩罚最小二乘泛函的最小值,其中松弛参数根据两种不同的策略进行调整。在第一种策略中,松弛参数为$\chσ \sqrt{\log p}$阶,其中$\chσ^2$是经验方差。%由此产生的优化问题可以通过仅运行几个连续的LASSO实例来解决,并递归更新松弛参数。在第二种策略中,松弛参数的选择,以便执行之间的权衡的保真度和惩罚条款的最优性。对于这两个估计量,我们的假设类似于Candès和Plan在{ \it Ann. Stat.(2009)},对于$\sg^{2}$已知的情况。我们证明,我们的估计确保准确恢复的支持和符号模式的$β$以高概率。我们目前的模拟结果表明,第一估计享有几乎相同的性能在实践中的标准LASSO(已知方差的情况下)的信号噪声比的范围很广。我们的第二个估计优于这两个方面的错误检测,当信号噪声比低。
2012-11-05 math.ST stat.ML stat.TH
On cross-validated Lasso in high dimensions
在本文中,我们推导出非渐近误差界的Lasso估计时,罚参数的估计选择使用$K$倍交叉验证。我们的边界意味着交叉验证的Lasso估计在预测、$L^2$和$L^1$范数中具有接近最优的收敛速率。例如,我们证明了在具有高斯噪声的模型中,在对罚参数的候选值集的相当一般的假设下,交叉验证的Lasso估计量的估计误差在预测范数中以$\sqrt{s\log p / n}\times \sqrt{\log(p n)}$率收敛到零,其中$n$是可用数据的样本大小,$p$是协变量的数量,并且$s$是模型中非零系数的数目。因此,交叉验证的Lasso估计量在预测范数中达到了最快的可能收敛速率,直到小的对数因子$\sqrt{\log(p n)}$,并且类似的结论适用于$L^2$和$L^1$范数中的收敛速度。重要的是,我们的结果涵盖了$p$(可能远)大于$n$的情况,也允许非高斯噪声的情况。因此,我们的论文作为一个理由,广泛传播的做法,使用交叉验证作为一种方法来选择罚参数的Lasso估计。
2020-02-06 math.ST stat.TH
Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient
DeepMind(深度思考);Princeton University(普林斯顿大学);University of Alberta(阿尔伯塔大学)
本文提出了一种基于稀疏线性函数逼近的高维批量强化学习(RL)的统计分析方法。当有大量的候选特征时,我们的结果揭示了这样一个事实,即稀疏感知方法可以使批量RL更具样本效率。我们首先考虑政策外的政策评估问题。为了评估一个新的目标政策,我们分析了一个Lasso拟合Q-评价方法,并建立了一个有限样本的误差界,没有多项式依赖于周围的维度。为了减少Lasso偏差,我们进一步提出了一个后模型选择估计,通过组Lasso选择的功能,适用于拟合Q-评价。在一个额外的信号强度假设下,我们推导出一个更清晰的依赖于实例的误差界,该误差界依赖于测量目标策略的数据分布和占用度量之间的分布失配的发散函数。此外,我们研究了批量策略优化的Lasso拟合Q-迭代,并根据相关特征的数量与数据协方差的受限最小特征值之间的比率建立了有限样本误差界。最后,我们补充的结果与minimax下限批处理数据的政策评估/优化,几乎匹配我们的上限。结果表明,具有良好的条件下的数据是至关重要的稀疏批量策略学习。
2020-11-08 cs.LG math.ST stat.ML
Naive Feature Selection: a Nearly Tight Convex Relaxation for Sparse Naive Bayes
UC Berkeley(加州大学伯克利分校);CNRS(法国国家科学研究中心);École Normale Supérieure(巴黎高等师范学院)
本文提出稀疏朴素贝叶斯特征选择方法,通过 Shapley-Folkman 定理给出近乎紧的凸松弛界,在保持统计效果的同时实现比 LASSO 等方法快数个数量级的特征选择。
2025-03-12 cs.LG stat.ML
Adaptive Estimation In High-Dimensional Additive Models With Multi-Resolution Group Lasso
在含有多个非参数分量的可加模型中,已经提出了许多正则化估计,并证明了它们在稀疏性和固定光滑性条件的不同组合下可以获得不同的误差界。这些误差界中的一些与相应设置中的最小最大速率相匹配。一些速率极大极小方法是非凸的,计算量大。从这些角度来看,现有的解决方案,高维添加剂非参数回归问题是支离破碎的。在本文中,我们提出了一个多分辨率组Lasso(MR-GL)方法在一个统一的方法,同时实现或改善现有的误差界,并提供新的知识的稀疏性或光滑度的未知函数的水平。这种自适应收敛速度是在预测因子可被视为常数时建立的。此外,我们证明了预测因子,它可以有界的限制特征值或相容性系数,确实可以被视为一个常数的随机设计下的一个接近最优的样本量条件。
2020-11-13 math.ST stat.ME stat.TH
Error Bounds for Compressed Sensing Algorithms With Group Sparsity: A Unified Approach
在压缩感知中,为了从可能有噪声的测量中恢复稀疏或近似稀疏的向量,最流行的方法是$\ell_1$ -范数最小化。[1]中给出了真实向量和估计向量之间误差的$\ell_2$范数的上界,[2]中进行了回顾,而[3]中给出了$\ell_1$范数的界。当未知向量不是常规稀疏而是“组稀疏”时,在文献中已经提出了$\ell_1$ -范数的各种替代方案,包括组LASSO、稀疏组LASSO和具有树结构重叠组的组LASSO。然而,这些修改后的目标函数中的任何一个都没有误差界限。本文基于可分解范数和$γ$ -可分解范数的概念,给出了一种统一的方法来推导真向量与其逼近之间的误差上界。给出的边界覆盖了上面提到的所有规范,也为将来选择规范以适应稀疏性的替代形式提供了指导。
2015-12-29 stat.ML
Spike-and-Slab Group Lassos for Grouped Regression and Sparse Generalized Additive Models
本文介绍了分组变量线性回归中贝叶斯估计和变量选择的钉板组套索算法。我们进一步将SSGL扩展到稀疏广义可加模型(GAM),从而引入了钉板套索方法的第一个非参数变体。我们的模型同时进行组选择和估计,而我们的混合比例的完全贝叶斯处理允许模型复杂性控制和自动自适应不同水平的稀疏性。我们开发的理论,唯一地描述了全球后验模式下的SSGL,并介绍了一个高效的块坐标上升算法的最大后验概率(MAP)估计。我们进一步采用去偏置方法来提供我们估计的不确定性量化。因此,我们的模型的实施避免了计算密集的马尔可夫链蒙特卡罗(MCMC)在高维。当协变量的数量随着样本量以接近指数的速度增长时,我们推导出分组线性回归和稀疏GAM的后验集中率。最后,我们通过大量的模拟和数据分析来说明我们的方法。
2020-03-03 stat.ME
Least squares after model selection in high-dimensional sparse models
在这篇文章中,我们研究后模型选择估计,适用于普通最小二乘(OLS)的第一步惩罚估计,典型的Lasso选择的模型。众所周知,Lasso可以以接近Oracle的速率估计非参数回归函数,因此很难改进。我们表明,OLS后Lasso估计执行至少以及Lasso的收敛速率方面,并具有较小的偏差的优势。值得注意的是,即使基于Lasso的模型选择“失败”,也会出现这种性能,因为它丢失了“真正”回归模型的一些组成部分。所谓“真”模型,我们指的是对预言机选择的非参数回归函数的最佳s维逼近。此外,如果基于Lasso的模型选择正确地包括“真”模型的所有分量作为子集,并且还实现了足够的稀疏性,则在收敛速度收敛速率严格更快的意义上,OLS post-Lasso估计量可以严格优于Lasso。在极端情况下,当Lasso完美地选择“真”模型时,OLS post-Lasso估计量成为oracle估计量。在我们的分析中,一个重要的成分是一个新的稀疏约束的维度选择的模型的Lasso,这保证了这个维度是在最多的相同的顺序作为“真正的”模型的维度。我们的速率结果是非渐近的,并在参数和非参数模型。此外,我们的分析不仅限于在第一步中作为选择器的Lasso估计器,而且还适用于任何其他估计器,例如,各种形式的阈值Lasso,具有良好的速率和良好的稀疏性。我们的分析涵盖了传统的阈值和一个新的实用,数据驱动的阈值方案,诱导额外的稀疏性保持…
2013-03-20 math.PR math.ST stat.ME
On the Power of Preconditioning in Sparse Linear Regression
MIT(麻省理工学院);UCLA(加州大学洛杉矶分校)
稀疏线性回归是高维统计学中的一个基本问题,但如何在不对设计矩阵施加限制条件的情况下有效地解决它却知之甚少。我们考虑(相关)随机设计设置,其中协变量独立地从具有$Σ: n \times n$的多变量高斯$N(0,Σ)$中提取,并寻求最小化$(\hat{w}-w^*)^TΣ(\hat{w}-w^*)$的估计量$\hat{w}$,其中$w^*$是$k$ -稀疏地面真值。理论上,对于任意$Σ$和$w^*$,可以用$O(k \log n)$样本实现强误差界;然而,即使用$o(n)$样本,在没有对$Σ$或$w^*$的进一步假设的情况下,也没有已知的有效算法来匹配这些保证。至于硬度,计算下限仅与最坏情况的设计矩阵。已知随机设计实例对于Lasso来说是困难的,但这些实例通常可以在简单的基变化(即预处理)之后由Lasso解决。在这项工作中,我们给出了上界和下界澄清稀疏线性回归中的预处理的力量。首先,我们表明,预处理的Lasso可以解决一大类稀疏线性回归问题的近最优:它成功的协变量的依赖结构,在这个意义上的马尔可夫性质,具有低树宽-即使PDMATHAMT是高度病态的。其次,我们构造(第一次)随机设计的情况下,这是证明困难的最佳预处理的套索。事实上,我们完成了我们的树宽分类证明,对于任何树宽$t$图,存在一个高斯马尔可夫随机场在这个图上,这样的预处理拉索,与任何选择的预处理器,需要$Ω(t^{1/20}…
2021-06-17 cs.DS cs.LG math.ST
De-biasing the Lasso: Optimal Sample Size for Gaussian Designs
在高维空间中进行统计推断是一个突出的挑战。困难的一个主要来源是没有精确的信息分布的高维估计。在这里,我们考虑线性回归的高维制度$p\gg n$。在此上下文中,我们想要对高维参数向量$θ^*\in{\mathbb R}^p$执行推断。在计算单一坐标$θ^*_i$的置信区间方面取得了重要进展。在这些新的方法中,一个关键的作用是发挥一定的去偏估计$\hatθ^{\rm d}$,是从拉索构造。早期的工作建立,在适当的假设下的设计矩阵,$\hatθ^{\rm d}$的坐标是渐近高斯提供$θ^*$是$s_0$ -稀疏与$s_0 = o(\sqrt{n}/\log p )$。条件$s_0 = o(\sqrt{n}/ \log p )$比一致估计的条件$s_0 = o(n/ \log p)$强。我们研究具有已知或未知总体协方差的高斯设计。在协方差已知的情况下,在近似最优条件$s_0 = o(n/ (\log p)^2)$下,证明了去偏估计是渐近高斯的。请注意,即使对于完全已知的协方差,早期的工作也仅限于$s_0 = o(\sqrt{n}/\log p)$。如果总体协方差是未知的,但可以足够好地估计,例如,在与早期工作假设的逆协方差相同的稀疏条件下,同样的结论也成立。对于中间政权,我们描述的稀疏系数和设计的逆协方差之间的权衡。我们进一步讨论了我们的结果高维推理的几个应用。特别是,我们提出了一个新的估…
2016-06-13 math.ST stat.ML stat.TH
De-biased lasso for stratified Cox models with application to the national kidney transplant data
移植受体科学登记(SRTR)系统已成为了解肾移植后移植物衰竭复杂机制的丰富资源,这是有效分配器官和实施适当护理的关键一步。由于治疗患者的移植中心可能强烈混淆移植失败,按中心分层的Cox模型可以消除其混淆效应。此外,由于接受者年龄是一个被证明的不可修改的风险因素,因此通常的做法是按接受者年龄组分别拟合模型。在某些年龄组中,相对于协变量数量,中等样本量可能导致偏倚的最大分层偏似然估计和不可靠的置信区间,即使样本数量仍然超过协变量。为了得出可靠的推断,从捐助者和接受者在SRTR的风险因素的综合清单,我们提出了一个去偏套索方法,通过二次规划拟合分层Cox模型。我们建立渐近性质,并通过模拟验证,我们的方法产生相合估计和置信区间与标称覆盖概率。考虑到SRTR中的近100个混杂因素,去偏方法检测到移植失败的危险在所有受体年龄组中随着供体的年龄而非线性增加,并且来自老年供体的器官对年轻受体的影响更大。我们的方法还描绘了移植失败和许多风险因素之间的关联,如受体的初步诊断(如多囊疾病,肾小球疾病和糖尿病)和供体-受体的人类白细胞抗原基因座在受体年龄组之间的不匹配。这些结果可为利益攸关方完善捐助方-受援方匹配标准提供参考。
2022-11-16 stat.ME
CAD: Debiasing the Lasso with inaccurate covariate model
考虑高维线性回归中低维参数的估计问题。构造感兴趣的参数的近似无偏估计是执行统计推断的关键步骤。几位作者建议将感兴趣的变量和结果相对于讨厌的变量进行正交化,然后将剩余结果相对于剩余变量进行回归。如果回归量的协方差结构是完全已知的,或者是充分结构化的,可以从数据中准确估计,这是可能的(例如,精度矩阵足够稀疏)。在这里,我们考虑一种制度,其中协变量模型只能估计不准确,因此现有的去偏方法不能保证工作。当估计协变量模型的误差与估计线性模型参数的误差相关时,会发生偏倚的不完全消除。我们提出了相关调整的去偏套索(CAD),它几乎消除了这种偏见在某些情况下,包括估计误差既不能忽略也不能正交的情况下。我们考虑一种设置,其中一些未标记的样本可能与标记的样本一起提供给统计学家(半监督学习),并且我们的保证在联合高斯协变量的假设下成立。新的去偏估计器保证在两种情况下消除偏差:(1)当样本(标记和未标记)的总样本个数大于参数个数时,或(2)当干扰的协方差(但不是干扰对感兴趣变量的影响)已知时。这两种情况都不是用最先进的方法治疗的。
2021-07-29 math.ST stat.ME stat.TH
Marginal Structural Models for Electricity Demand under Treatment-Confounder Feedback: A Continuous-Treatment Outcome-Adaptive and Fused LASSO Approach
University of Manitoba(曼尼托巴大学)
本研究针对存在处理-混杂因子反馈的电力需求场景,将结果自适应融合LASSO扩展至连续处理,通过边际结构模型结合逆概率加权法,准确估计温度对安大略省电力需求的因果效应。
2026-08-28 stat.ME
Variable selection in linear regression models: choosing the best subset is not always the best choice
线性回归中的变量选择是一个讨论较多的问题。最佳子集选择(BSS)通常被认为是直观的“黄金标准”,其使用仅受其NP难性质的限制。诸如最小绝对收缩和选择操作符(Lasso)或弹性网(Enet)之类的替代方法已成为高维设置中的选择方法。最近的一项建议表示BSS作为一个混合整数优化问题,使更大的问题已经成为可行的合理的计算时间。我们提出了一个广泛的中性比较评估变量选择性能,在线性回归,BSS相比,向前逐步选择(FSS),拉索和Enet。模拟研究考虑了各种各样的设置,这些设置在维度(相对于观测和变量的数量),信噪比和预测因子之间的相关性方面具有挑战性。作为性能的主要衡量标准,我们对每种方法都使用了尽可能好的F1分数,以确保公平的比较,而不管选择调优参数的任何标准如何,结果都得到了替代性能指标的证实。令人惊讶的是,只有在信噪比高且变量(几乎)不相关的情况下,BSS才能可靠地优于其他方法,即使在低维环境中也是如此。此外,FSS的性能几乎与BSS相同。我们的研究结果揭示了新的光通常的假设BSS是,在原则上,变量选择的最佳选择。特别是对于相关变量,像Enet这样的替代方案更快,并且在实际设置中表现得更好。
2023-02-23 stat.ME
Choosing the Right Regularizer for Applied ML: Simulation Benchmarks of Popular Scikit-learn Regularization Frameworks
本研究通过134400次模拟评估了四种正则化方法在机器学习中的性能,发现当样本数与特征数比足够时,Ridge、Lasso和ElasticNet可互换,但Lasso在多重共线性和低信噪比下表现差,建议避免在高条件数和小样本情况下使用Lasso或Post-Lasso OLS。
2026-04-07 cs.LG stat.ML
Universal low-rank matrix recovery from Pauli measurements
我们研究的问题,重建一个未知的矩阵M的秩r和维数d使用O(rd多log d)泡利测量。这在量子态层析成像中有应用,并且是压缩传感中的一个众所周知的问题的非交换模拟:从其傅立叶系数中的一些恢复稀疏向量。我们证明了几乎所有的O(rd log^6 d)泡利测量集都满足秩r限制等距性(RIP)。这意味着可以使用核范数最小化(例如,矩阵Lasso),具有接近最优的误差范围。一个类似的结果适用于任何类别的测量,使用正交算子基,其元素具有小的算子范数。我们的证明使用了高斯过程的达德利不等式,以及通过熵对偶获得的覆盖数的界限。
2011-11-03 cs.IT math.IT math.ST
Transformers Meet In-Context Learning: A Universal Approximation Theory
Department of Statistics and Data Science, Chinese University of Hong Kong(统计与数据科学系,香港中文大学);the Wharton School, University of Pennsylvania(宾夕法尼亚大学沃顿商学院);University of Pennsylvania(宾夕法尼亚大学)
本文融合 Barron 通用逼近理论与算法逼近器视角,证明 Transformer 可在测试时通过少量噪声示例恢复低 $\ell_1$ 范数线性表示,从而为超越凸任务的上下文学习提供通用逼近保证。
2025-08-28 cs.LG math.ST stat.ML
A Tutorial on Libra: R package for the Linearized Bregman Algorithm in High Dimensional Statistics
R包Libra代表高维统计中的线性化Bregman Al-出租m。线性化Bregman算法是一种简单的迭代过程,用于生成模型估计的稀疏正则化路径,最早在图像恢复应用数学中发现,特别适合大规模问题的并行实现。这种算法的极限是一个稀疏限制的梯度下降流,称为逆尺度空间,沿着稀疏模型的parsimonious路径从零模型发展到过度的。在稀疏线性回归中,早停正则化的动态在与LASSO几乎相同的条件下可以证明满足无偏Oracle估计,而后者是有偏的。尽管它们的成功应用,统计一致性理论的动态算法仍然在很大程度上开放,除了最近的一些进展线性回归。在本教程中,将讨论软件包中的算法实现,用于统计学中几种广泛使用的稀疏模型,包括线性回归、逻辑回归和几种图形模型(高斯、伊辛和波茨)。除了仿真实例之外,还展示了各种应用案例,包括来自糖尿病的真实世界数据集,COPSS获奖者的出版物,以及两部中国经典小说《西游记》和《红楼梦》的社交网络。
2016-04-20 stat.AP
Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection
Salesforce AI Research(赛富时人工智能研究院);Peking University(北京大学);UC Berkeley(加州大学伯克利分校)
本文为Transformer的上下文学习建立了统计理论,证明其能实现多种基础机器学习算法,并进一步提出上下文算法选择机制,使单个Transformer能自适应选择算法或任务,在理论和实验上均验证了其接近最优的性能。
2023-07-06 cs.AI cs.CL cs.LG
Nonasymptotic theory for two-layer neural networks: Beyond the bias-variance trade-off
Peking University(北京大学)
针对过参数化神经网络违背偏差-方差权衡的问题,提出基于缩放变分正则化的两层 ReLU 网络非渐近泛化理论,利用“ridge-lasso对偶性”证明其重现双重下降现象且优于随机特征模型。
2023-07-30 cs.LG math.ST stat.ML
On Sample Complexity of Projection-Free Primal-Dual Methods for Learning Mixture Policies in Markov Decision Processes
Stanford University(斯坦福大学)
研究了一类具有大量状态的无限时域、折扣费用马尔可夫决策过程的学习策略问题。我们计算的政策,几乎一样好的政策选择一个合适的预言机从一个给定的混合政策类的特点是由一组已知的基本政策的凸包的行动。为了学习混合模型的系数,我们将问题重新定义为MDP的近似线性规划(ALP)公式,其中特征向量对应于在状态-动作空间上定义的基本策略的占用度量。然后,我们提出了一个无投影的随机原始-对偶方法与Bregman分歧解决的特征ALP。此外,我们分析了所提出的随机算法的可能近似正确(PAC)样本的复杂性,即达到接近最优的目标值所需的查询数量。我们还提出了一个修改我们所提出的算法与多面体约束采样的平滑ALP,其中的限制下边界近似放松。此外,我们提出的算法应用到排队问题,并比较其性能与罚函数算法。数值结果表明,原始-对偶实现了更好的效率和低方差在不同的试验相比,罚函数方法。
2019-08-30 cs.LG stat.ML