Support recovery without incoherence: A case for nonconvex regularization
我们证明了原始-对偶见证证明方法可以用来建立变量选择的一致性和$\ell_\infty$ -界稀疏回归问题，即使当损失函数和/或正则化是非凸的。使用这种方法，我们得到两个定理的支持恢复和$\ell_\infty$ -保证的回归估计在一般设置。我们的研究结果提供了严格的理论依据使用非凸正则化：对于某些非凸正则化与消失的衍生物远离原点，支持恢复一致性可以保证，而不需要典型的不相干条件存在于$\ell_1$为基础的方法。然后，我们推导出几个推论，说明我们的方法分析复合目标函数，涉及损失，如最小二乘，非凸修正最小二乘误差变量线性回归，负对数似然广义线性模型，和图形拉索的广泛适用性。最后，我们用实证研究来证实我们的理论预测。
2014-12-17 cs.IT math.IT math.ST
On the Optimality of Backward Regression: Sparse Recovery and Subset Selection
稀疏恢复和子集选择是信号处理、统计学和机器学习等领域的基本问题。在这里，我们专注于这些问题的一个重要的贪婪算法：向后逐步回归。我们提出了新的保证算法，提出了一个有效的，数值稳定的实现，并提出了逐步回归与替换（SRR），一个新的家庭的两阶段算法，采用前向和后向步骤的压缩感知问题。以前的工作向后算法已经证明了其最优的子集选择问题，提供与最优解是足够小的残差。然而，现有的剩余幅度的界限是NP-难计算。与此相反，我们的主要理论结果包括一个界，可以在多项式时间内计算，主要取决于最小的奇异值的矩阵，也扩展到幅度修剪的方法。此外，我们报告的数值实验突出了前向和后向贪婪算法之间的关键差异，并比较SRR对流行的两阶段算法的压缩感知。值得注意的是，SRR算法通常保持良好的稀疏恢复性能的相干字典。此外，特定的SRR算法具有优于子空间追踪的优势。
2021-06-06 cs.IT cs.NA math.IT
Regularization, sparse recovery, and median-of-means tournaments
介绍了一种正则化的风险最小化方法，用于回归函数估计，在一般条件下，包括重尾预测和响应变量，达到接近最优的精度和置信度。该过程基于作者在[8]中引入的均值比赛。结果表明，新的程序优于标准的正则化经验风险最小化程序，如套索或斜率重尾问题。
2017-11-29 math.ST stat.ML stat.TH
Conditioning of Random Block Subdictionaries with Applications to Block-Sparse Recovery and Regression
线性模型是统计学和信号处理文献的主要内容，在线性模型中，一组观测值被假定为由矩阵的列的线性组合给出。在线性模型下进行推理的一个特殊挑战是理解字典上的条件，在这些条件下可靠的推理是可能的。近年来，由于许多现代推理问题涉及“欠定”设置，其中观察的数量比字典中的列数要小于得多，因此这一挑战重新引起了人们的关注。本文作出了几个贡献，这种设置时，一组的意见是由一个线性组合的一小部分列的字典，被称为“块稀疏”的情况下。首先，它指定字典上的条件，在该条件下，大多数块子字典是良态的。这个结果从根本上不同于先前关于块稀疏推理的工作，因为（i）它提供了可以在多项式时间内显式计算的条件，（ii）给定的条件转化为块子字典的列数的接近最优的缩放，作为大类字典的观察数的函数，以及（iii）它表明字典的谱范数和二次平均块相干性（而不是最坏情况的相干性）从根本上限制了条件良好的块子字典的维度的缩放。其次，本文研究了欠定背景下的块稀疏恢复和块稀疏回归问题。只要字典满足容易计算的条件，并且描述列组的线性组合的系数可以通过温和的统计先验来建模，则对于某些字典，接近最优的块稀疏恢复和回归是可能的。
2016-08-28 cs.IT math.IT math.ST
Numerical Characterization of Support Recovery in Sparse Regression with Correlated Design
稀疏回归经常在不同的科学环境中作为特征选择方法。科学数据的一个普遍的方面，阻碍了特征选择和估计是预测特征之间的强相关性的存在。这些基本问题往往没有意识到的从业者，jeapordize从估计模型得出的结论。另一方面，稀疏诱导正则化回归（如Lasso）的理论结果在很大程度上通过渐近性解决了选择一致性的条件，而忽略了模型选择的问题，从而选择正则化参数。在这个数值研究中，我们解决这些问题，通过详尽的表征几个回归估计的性能，再加上一系列的模型选择策略。这些估计和选择标准进行了检查，在相关的回归问题与不同程度的信号噪声，非零模型系数的分布，和模型稀疏。我们的研究结果揭示了一个基本的权衡假阳性和假阴性控制在所有的回归估计和模型选择标准检查。此外，我们能够在数值上探索调制的信号-噪声比和频谱特性的设计协方差阵的所有考虑的算法的选择精度降低的过渡点。总的来说，我们发现，SCAD加上BIC或经验贝叶斯模型选择执行最好的功能选择在考虑的回归问题。
2021-03-23 stat.AP stat.ME
A Shrinkage Principle for Heavy-Tailed Data: High-Dimensional Robust Low-Rank Matrix Recovery
本文介绍了一个简单的原则，通过适当的收缩数据的强大的高维统计推断。这拓宽了高维技术的范围，将矩条件从次指数或次高斯分布减少到仅仅是有界的二阶或四阶矩。作为这一原则的一个例子，我们专注于稳健估计的低秩矩阵$Θ^*$从跟踪回归模型$Y=Tr (Θ^{*T}X) +ε$。它包括四个流行的问题：稀疏线性模型，压缩感知，矩阵完成和多任务回归。我们建议应用惩罚最小二乘法适当截断或收缩的数据。在响应仅满足有界$2+δ$矩条件下，所提出的鲁棒方法得到的估计量具有与以往文献相同的统计差错率.对于稀疏线性模型和多任务回归，我们进一步允许设计仅具有有界四阶矩，并再次通过适当收缩设计矩阵获得相同的统计率。作为副产品，当随机样本只有有界四阶矩时，我们给出了一个稳健的协方差阵估计，并建立了它在谱范数意义下的集中不等式。已经进行了大量的模拟来支持我们的理论。
2017-05-04 math.ST stat.ME stat.TH
Sharp Threshold for Multivariate Multi-Response Linear Regression via Block Regularized Lasso
Syracuse University（雪城大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了一个多变量多响应（MVMR）线性回归问题，该问题包含多个具有不同分布设计矩阵的线性回归模型，以及不同的回归和输出向量。目标是使用$l_1/l_2$正则化Lasso恢复所有回归向量的支持并集。我们的充分和必要条件的样本复杂性\emph{as a sharp threshold}，以保证成功恢复的支持联盟。也就是说，如果样本大小高于阈值，则$l_1/l_2$ -正则化Lasso正确地恢复支持并集;如果样本大小低于阈值，则$l_1/l_2$ -正则化Lasso无法恢复支持并集。特别是，该阈值精确地捕获了回归向量的稀疏性和设计矩阵的统计特性对样本复杂性的影响。因此，阈值函数还捕获了使用多任务Lasso的联合支持联合恢复优于使用单任务Lasso的单独支持恢复的优点。
2013-07-30 cs.LG stat.ML
Sparse Recovery with Linear and Nonlinear Observations: Dependent and Noisy Data
我们制定稀疏支持恢复作为一个显着的集合识别问题，并使用信息理论分析，以表征恢复性能和样本的复杂性。我们考虑一个非常一般的模型，我们不限于线性模型或特定的分布。我们国家的非渐近界的恢复概率和一个紧密的互信息公式的样本复杂性。我们评估我们的应用范围，如稀疏线性回归和显式特征的相关性或噪声特征对恢复性能的影响。我们在以前的工作和识别恢复算法的性能和基本信息之间的差距的改进。
2014-03-12 cs.IT cs.LG math.IT
Robust High Dimensional Sparse Regression and Matching Pursuit
我们认为高维稀疏回归，并制定战略，能够处理任意-可能的，严重的或协调-在协方差矩阵$X$的错误。这些可能来自损坏的数据，持续的实验错误，或恶意的受访者在调查/推荐系统等非随机误差变量的问题是出了名的难以处理，正如我们所证明的，这个问题是特别明显的高维设置的主要目标是{ \em支持恢复}的稀疏回归。我们开发的算法支持稀疏回归恢复，当一些数字$n_1$出$n+n_1$总协变量/响应对{ \it任意（可能恶意）损坏}。我们感兴趣的是了解我们可以容忍多少离群值$n_1$，同时确定正确的支持。据我们所知，无论是标准的离群值拒绝技术，也不是最近开发的强大的回归算法（只关注损坏的响应变量），也不是最近的算法处理随机噪声或擦除，可以提供支持恢复的保证。也许令人惊讶的是，我们还表明，自然蛮力算法，搜索所有子集的$n$协变量/响应对，所有子集的可能的支持坐标，以尽量减少回归误差，是非常差的，无法正确地识别支持，甚至$n_1 = O(n/k)$损坏点，其中$k$是稀疏。即使在我们考虑的基本设置中也是如此，其中所有真实的测量和噪声都是独立的和亚高斯的。在这种情况下，我们提供了一个简单的算法--计算量不比OMP大--它提供了更强的性能保证，可以恢复多达$n_1 = O(n/(\sqrt{k} \log p))$损坏点的支持，其中$p$是要恢复的信号的维度。
2013-01-12 cs.IT cs.LG math.IT
Joint Model and Data Sparsification via the Marginal Likelihood
RIKEN Center for AI Project, Tokyo, Japan（日本东京RIKEN人工智能项目中心）；Department of Computer Science, Johns Hopkins University（约翰霍普金斯大学计算机科学系）
提出通过边际似然联合学习特征和样本相关性，实现同时模型与数据稀疏化的贝叶斯方法，在保持共轭性和闭式更新的同时提升鲁棒性。
2026-05-28 cs.LG stat.ML
Optimal recovery and uncertainty quantification for distributed Gaussian process regression
高斯过程（GP）被广泛用于非参数回归的概率建模和推断。然而，它们的计算复杂性与样本量成比例，使得它们对于大数据集不可行。为了加快计算速度，在文献中提出了各种分布式方法。然而，这些方法的理论基础有限。在我们的工作中，我们得到频率论的理论保证和限制的范围内的分布式方法一般GP先验的非参数回归模型，恢复和不确定性量化。作为具体的例子，我们考虑多项式和指数衰减特征值的协方差核。我们证明了实际的性能的研究方法在数值研究中使用合成数据集。
2022-05-10 math.ST stat.TH
Sparse estimation via $\ell_q$ optimization method in high-dimensional linear regression
Zhejiang University（浙江大学）；Shenzhen University（深圳大学）；The Hong Kong Polytechnic University（香港理工大学）；Chinese Academy of Sciences（中国科学院）
在本文中，我们讨论的$\ell_q$优化方法$(0<q\leq 1)$的统计特性，包括$\ell_q$最小化方法和$\ell_q$正则化方法，估计一个稀疏的参数从噪声观测高维线性回归的确定性或随机设计。为此，我们引入了一般的$q$-限制特征值条件（REC），并利用稀疏特征值条件、限制等距性和互不相干性等正则条件给出了REC的充分条件.借助于$q$-REC，我们证明了$\ell_q$优化方法的$\ell_2$恢复界$O(ε^2)$和$\ell_q$正则化方法的Oracle不等式和$\ell_2$恢复界$O(λ^{\frac{2}{2-q}}s)$分别以高概率成立，从而证明了$\ell_q$优化方法对确定性设计和随机设计的稳定恢复性质.本文的结果是非渐近的，并且仅假设弱$q$-REC.初步的数值结果验证了所建立的统计性质，并表明了$\ell_q$正则化方法优于现有的一些稀疏优化方法.
2019-11-12 cs.LG math.OC stat.ML
A note on the distribution of the partial correlation coefficient with nonparametrically estimated marginal regressions
本文提出一种基于样本偏相关系数并采用非参数边际回归的置换检验，证明其在大样本和小样本下均表现良好，用于条件独立性的非参数检验。
2026-09-15 math.ST stat.TH
Robust Regression via Hard Thresholding
Microsoft Research India（微软研究院印度）
研究了多个响应变量可能被逆向破坏的鲁棒最小二乘回归问题。更具体地，对于数据矩阵X \in R^{p × n}和底层模型w*，响应向量被生成为y = X 'w * + b，其中b \in R^n是在至多C.n坐标上支持的损坏向量。RLSR的现有精确恢复结果仅关注基于L1惩罚的凸公式，并施加相对严格的模型假设，例如要求腐败b独立于X选择。在这项工作中，我们研究了一个简单的硬阈值算法，称为TORSTO，在X上的温和条件下，即使b以对抗的方式破坏响应变量，也可以精确地恢复w*，即在观察X和w* 之后，b的支持和条目都被对抗地选择。我们的结果下，满足确定性假设，如果X是从任何亚高斯分布采样。最后，不同于现有的结果，只适用于一个固定的w*，独立产生的X，我们的结果是普遍的，并保持任何w* \in R^p。接下来，我们提出了基于梯度下降的扩展TORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTOR…
2015-06-08 cs.LG stat.ML
Sparse Recovery With Non-Linear Fourier Features
Uppsala University（乌普萨拉大学）
随机非线性傅立叶特征最近在广泛的回归和分类应用中表现出显着的性能。受此成功的启发，本文重点介绍了稀疏非线性傅立叶特征（NFF）模型。我们提供了足够数量的数据点，保证完美的恢复未知参数的高概率的表征。特别是，我们展示了足够数量的数据点如何依赖于与输入数据的概率分布函数相关联的核矩阵。我们比较我们的结果与有界正交系统的可恢复性界，并提供示例说明稀疏恢复下的NFF模型。
2020-02-12 cs.IT cs.LG eess.SP
High SNR Consistent Compressive Sensing Without Signal and Noise Statistics
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
在欠定线性回归模型、\textit{aka}、压缩感知中恢复稀疏向量的支持在许多信号处理应用中是重要的。高SNR一致性（HSC），即，随着信噪比（SNR）的增加，支撑恢复技术正确识别支撑的能力是一个越来越流行的标准，以限定支撑恢复技术的高SNR最优性。文献中可用于支持恢复技术的HSC结果适用于欠定线性回归模型，如最小绝对收缩和选择算子（LASSO），正交匹配追踪（OMP）等，假设\textit{a priori}噪声方差或信号稀疏性的知识。然而，这两个参数在大多数实际应用中是不可用的。此外，在欠定回归模型中估计噪声方差或信号稀疏性是极其困难的。这限制了现有HSC结果的实用性。在这篇文章中，我们提出了两种技术，\textit{viz.}，剩余比最小化（RRM）和剩余比阈值与适应（RRTA）操作OMP算法没有\textit{a priroi}知识的噪声方差和信号稀疏性，并建立了他们的HSC解析和数值。据我们所知，这是第一个也是唯一一个在欠定回归模型中报告HSC的噪声统计不经意算法。
2018-11-17 cs.LG eess.SP stat.ML
A Graphical Comparison of Screening Designs using Support Recovery Probabilities
针对筛选设计模拟比较中的可重复性问题，提出基于筛选概率的图形化方法，通过沿惩罚回归求解路径评估设计，规避调整参数，实现更可靠的设计比较。
2023-11-21 stat.ME
On the exact recovery of sparse signals via conic relaxations
在这篇文章中，我们比较了Pilanci，Wainwright和El Ghaoui最近提出的稀疏线性回归问题的两个半定松弛（通过布尔松弛进行稀疏学习，2015）和Dong，Chen和Linderoth（松弛与正则化统计变量选择的圆锥优化观点，2015）。我们重点讨论了基数约束形式，证明了Dong等人提出的松弛理论并不弱于Pilanci等人提出的松弛，因此Pilanci等人导出的精确恢复的充分条件可以很容易地应用于其他松弛，包括他们关于高斯系综高概率恢复的结果.最后，我们提供的经验证据表明，放松董等。需要更少的观察，以保证恢复真正的支持。
2016-03-15 math.OC stat.ML
Boosting Distributional Copula Regression for Bivariate Binary, Discrete and Mixed Responses
本文提出面向任意边际分布的二元分布型 copula 回归统计提升框架，通过逐分量梯度提升联合建模边际与 copula 参数，并在多类生物医学数据中验证。
2024-03-04 stat.ME
Marginal false discovery rates for penalized regression models
University of Iowa（爱荷华大学）
本文提出基于罚回归模型的边际虚假发现率方法，用于评估特征选择的可靠性，通过理论分析和模拟研究证明其在弱相关预测变量情况下具有较高的准确性，且在强相关时也保持适度保守。
2017-04-07 math.ST stat.TH
Likelihood approach for marginal proportional hazards regression in the presence of dependent censoring
在许多公共卫生问题中，一个重要的目标是确定某些治疗/干预对整个人群失败风险的影响。边际比例风险回归模型经常被用来分析这种影响。当相依删失被许多辅助协变量解释时，我们利用两个工作模型来压缩高维协变量以实现降维。然后通过在筛空间上最大化一个伪似然函数得到处理效果的估计量。当两个工作模型中的任何一个是正确的时，这样的估计是一致的且渐近正态的;此外，当两个工作模型都是正确的时，其渐近方差与半参数效率界相同。
2005-05-27 math.ST stat.TH
On marginal and conditional parameters in logistic regression models
一个基本的研究问题是在逻辑斯谛回归模型中，协变量的变化直接或通过中介影响二元响应变量的程度。当不存在条件独立性假设时，我们推导出了将边际和条件回归模型的参数与二元中介联系起来的精确公式。该公式具有吸引人的属性是消失的条件模型的参数消失时，从而恢复众所周知的结果作为特殊情况下的总和。它还允许量化的失真所引起的遗漏一些相关的协变量，开辟了灵敏度分析的方式。同样在这种情况下，由于条件模型的参数乘以始终为正或有界的项，因此该公式可用于构建感兴趣参数的合理界限。我们假设，有条件的一组协变量，数据生成过程可以表示为一个有向无圈图。我们还展示了如何在这里提出的结果导致路径分析的扩展到一个系统的二进制随机变量。
2018-04-09 math.ST stat.TH
Pattern recovery and signal denoising by SLOPE when the design matrix is orthogonal
排序$\ell_1$惩罚估计（SLOPE）是一种用于拟合高维回归模型的相对较新的凸正则化方法。SLOPE允许通过将回归系数的某些估计值完全缩小为零或通过使这些系数的某些非零估计值的绝对值相等来降低模型维数。这允许识别其中一些~真回归系数相等的情况。在本文中，我们将介绍SLOPE模式，即，真实回归系数之间的关系集，可以通过SLOPE来识别。我们还将提出新的结果的强一致性的SLOPE估计和~的~强一致性的模式恢复的~SLOPE时，设计矩阵是正交的，并说明优势的~的~SLOPE聚类的背景下，高频信号去噪。
2022-06-16 math.ST stat.TH
On connectivity of fibers with positive marginals in multiple logistic regression
在本文中，我们考虑精确测试的多元逻辑斯谛回归，协变量的水平是等间距，通过马尔可夫贝斯。在多元逻辑斯谛回归的通常应用中，对于协变量的每个水平组合，样本量是正的。在这种情况下，我们不需要一个完整的马尔可夫基，这保证了所有光纤的连通性。我们首先给出了多重泊松回归的显式马尔可夫基。通过Lawrence提升的基础上，在二元逻辑斯谛回归的情况下，我们显示了一个简单的马尔可夫基的子集，连接所有的纤维与一个积极的样本量的协变量水平的每个组合。
2008-10-10 math.CO math.ST stat.TH
Average Marginal Effects in One-Step Partially Linear Instrumental Regressions
CREST, CNRS, Ecole polytechnique, Groupe ENSAE-ENSAI, ENSAE Paris, Institut Polytechnique de Paris（CREST, 法国国家科学研究中心, 巴黎综合理工学院, ENSAE-ENSAI小组, 巴黎高等统计与行政学院, 巴黎理工学院）；University of Exeter and CREST（埃克塞特大学和 CREST）
本文提出了一种基于再生核希尔伯特空间的方法，用于估计和检验部分线性工具回归中的平均边际效应，通过单一正则化参数实现一致性与渐近正态性，并利用贝叶斯抽样法进行推断。
2026-04-13 econ.EM math.ST stat.TH
Marginal Estimation of Parameter Driven Binomial Time Series Models
本文发展了二项响应时间序列回归模型参数估计的渐近理论，其中序列相关性是通过一个潜在过程存在的。使用广义线性模型（GLM）估计方程会导致二项式响应的回归系数估计值出现渐近偏倚。另一种方法是使用边际似然法，其中考虑了潜在过程的方差，但不考虑序列相关性。在实践中，这相当于使用广义线性混合模型估计程序，将观测值视为独立的，对回归模型中的截距项具有随机效应。我们证明了即使存在自相关的潜过程，这种方法也能得到一致的渐近正态估计。模拟表明，使用边际似然可以导致GLM估计结果。这个问题随着在每个时间点的二项式试验次数的增加而迅速减少，但是对于二进制数据，即使在很长的时间序列中，它的机会也可以保持在45%以上。我们提供了一个理论和启发式的解释这一现象的回归组件的模型的属性，这些可以用来指导该方法在实践中的应用。
2016-06-03 math.ST stat.TH
Pattern recovery by SLOPE
本文研究了高维回归中SLOPE的模式恢复问题，给出了未知回归系数向量的SLOPE模式恢复的充分必要条件，涵盖稀疏性和聚类性质的理论推导。
2025-09-17 math.ST stat.TH
Semiparametric model averaging for high dimensional conditional quantile prediction
在这篇文章中，我们提出了一个惩罚的高维半参数模型平均分位数预测方法，是强大的预测响应的条件分位数。我们考虑一个两步估计过程。在第一步中，我们使用局部线性回归方法来估计个体的边缘分位数函数，并通过一维边缘分位数回归函数的仿射组合来近似响应的条件分位数。第二步，基于边缘分位数回归函数的非参数核估计，我们利用惩罚方法来估计近似所涉及的合适的模型权向量。第二步的目标是选择重要的变量，其边际分位数函数对估计联合多元条件分位数函数有重要贡献。在较弱的条件下，我们建立了稳健估计的渐近性质。最后，仿真和实际数据分析已被用来说明所提出的方法。
2018-09-05 math.ST stat.TH
Local independence feature screening for nonparametric and semiparametric models by marginal empirical likelihood
我们考虑一个独立的功能筛选技术，以确定解释变量，本地有助于在高维回归分析的响应变量。在不需要底层数据模型的特定参数形式的情况下，我们的方法可以适应广泛的非参数和半参数模型家族。为了检测解释变量的局部贡献，我们的方法结合边际非参数回归在局部构造经验似然。由于我们的方法实际上不需要估计，因此在单指数模型等情况下是有利的，即使是边际模型的规范和识别也是一个问题。通过自动将非参数回归的变化水平，并直接评估的强度，数据证据支持本地的贡献，从每个解释变量，我们的方法提供了一个独特的视角来解决功能筛选问题。理论分析表明，该方法可以处理数据维数随样本量呈指数增长的情况。通过大量的理论说明和数值例子，我们证明了局部独立筛选方法的有效性。
2016-03-30 math.ST stat.TH
Harmonic Map Regression: Rate-Optimal Nonparametric Estimation on Manifolds with Topological Recovery
University at Buffalo（布法罗大学）
本文提出调和映射回归方法，通过狄利克雷能量惩罚实现流形上非参数估计，揭示拓扑恢复现象，推导出Sobolev阶s的最小最大速率，并在多个流形上验证理论有效性。
2026-04-10 math.ST stat.ME stat.TH
Exact Post Model Selection Inference for Marginal Screening
我们开发了一个框架后模型选择推理，通过边缘筛选，在线性回归。在这个框架的核心是一个结果，其特征在于响应$y$的线性函数的精确分布，条件是选择模型（"选择条件”框架）。这使我们能够为解释选择过程的回归系数构建有效的置信区间和假设检验。在最近的工作在高维统计，我们的结果是准确的（非渐近），不需要特征值的假设上的设计矩阵$X$。此外，与线性回归的成本相比，边缘回归、构造置信区间和假设检验的计算成本可以忽略不计，从而使得我们的方法特别适合于极大的数据集。虽然我们专注于边缘筛选来说明选择框架的条件的适用性，这个框架是更广泛的适用。我们将展示如何将所提出的框架应用于其他几个选择程序，包括正交匹配追求，非负最小二乘，边缘筛选+套索。
2014-02-28 cs.LG math.ST stat.ME
The conditionality principle in high-dimensional regression
考虑一个高维线性回归问题，其中协变量的数量大于观测值的数量，关注点是估计给定协变量的响应变量的条件方差。一个有条件和无条件的框架被认为是，条件是相对于协变量，这是辅助参数的利益。近年来，当协变量的边缘分布为正态分布且均值和方差已知时，在无条件框架下得到了一个相合估计。在目前的工作中，一定的贝叶斯假设检验的条件框架下，它表明，贝叶斯风险是一个常数。这意味着在条件框架中不存在一致的估计量。然而，当协变量的边缘分布是正态的，上述相容估计的条件误差收敛到零，概率收敛到1。由此可见，即使在条件设置中，关于从属统计量的边缘分布的信息也可能对统计推断产生重大影响。在高维回归模型的背景下，实际意义是，额外的观察，其中只有协变量，是潜在的非常有用的，不应该被忽略。这一发现与半监督学习问题最相关，因为协变量信息很容易获得。
2019-03-27 math.ST stat.TH
Laplace Approximation in High-dimensional Bayesian Regression
我们考虑稀疏高维回归中的贝叶斯变量选择，其中协变量$p$的数量相对于样本量$n$可能很大，但至多有中等数量的协变量$q$是活跃的。具体来说，我们处理广义线性模型。经典理论证明，对于具有良好先验分布的单一固定稀疏模型，当样本量足够大时，模型的边缘似然的Laplace近似是精确的$n$。我们扩展了这个理论，给出结果的拉普拉斯近似在所有模型的统一精度在一个高维的情况下，其中$p$和$q$，因此也考虑模型的数量，可能会增加与$n$。此外，我们展示了如何边际似然和拉普拉斯近似之间的连接可以用来获得一致性的结果贝叶斯方法在高维回归变量选择。
2015-03-28 math.ST stat.TH
The empirical process of residuals from an inverse regression
本文研究了一个以Radon变换为特征的间接回归模型。该模型对于计算机断层扫描获得的医学图像的恢复是有用的。间接的回归函数估计使用一系列的估计动机的谱截止技术。进一步，我们研究了回归残差的经验过程，并证明了它满足泛函中心极限定理。
2019-02-09 math.ST stat.TH
Transfer Learning under Covariate Shift: Local $k$-Nearest Neighbours Regression with Heavy-Tailed Design
针对无界支撑与重尾目标分布下的协变量偏移迁移学习，提出密度比指数与按样本边缘似然调节近邻数的局部 k-近邻回归器，并证明其更快收敛速率。
2024-01-21 math.ST stat.TH
Scaled minimax optimality in high-dimensional linear regression: A non-convex algorithmic regularization approach
经典的高维线性回归问题的快速收敛问题已得到广泛的研究。可以说，在实践中最快的程序之一是迭代硬控制（IHT）。然而，IHT强烈依赖于真实稀疏参数$s$的知识。本文提出了一种新的高维线性回归估计的快速算法。利用估计，支持恢复和优化之间的相互作用，我们实现了最佳的统计精度和快速收敛。我们的程序的主要优点是，它是完全自适应的，使其比最先进的IHT方法更实用。我们的程序达到最佳的统计精度比，例如，经典算法的套索。此外，我们建立了尖锐的最优结果的估计和支持恢复。因此，我们提出了一种新的迭代硬阈值算法的高维线性回归，是规模的最小最大最优（实现的预言，知道稀疏模式的估计误差，如果可能的话），快速和自适应。
2020-08-27 math.ST stat.TH
Entropic vector quantile regression: Duality and Gaussian case
Cornell University（康奈尔大学）
本文研究了熵向量分位数回归的对偶理论和高斯情况下的闭式解，揭示了其在结构和近似性质上的关键特性。
2026-02-16 math.OC math.ST stat.TH
Substitute adjustment via recovery of latent variables
本文剥离 deconfounder 的因果假设，提出 substitute adjustment，通过恢复潜变量并据此调整结果回归来估计调整后回归参数，并给出独立性条件、轻假设变体、有限样本与渐近理论及模拟验证。
2024-03-01 math.ST stat.ML stat.TH
The Optimality of Polynomial Regression for Agnostic Learning under Gaussian Marginals
University of Wisconsin Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
研究了高斯分布下的不可知学习问题。我们开发了一种方法，通过使用LP对偶寻找硬家庭的例子，为广泛的一类问题。对于布尔值的概念类，我们表明，$L^1$ -回归算法基本上是最好的可能，因此，不可知学习的概念类的计算难度是密切相关的多项式的程度近似任何函数从类中的$L^1$ -范数。使用这种特性以及其他分析工具，我们获得了最佳SQ下界不可知学习线性阈值函数和第一个非平凡的SQ下界多项式阈值函数和半空间的交集。我们还开发了一个类似的理论不可知学习实值函数，并作为一个应用程序证明不可知学习ReLU和sigmoids的近最优SQ下界。
2021-02-08 cs.DS cs.LG math.ST
Adaptive estimation of an additive regression function from weakly dependent data
考虑了观测值相依的$d$维非参数可加回归模型.利用边缘积分技术和小波方法，我们提出了一种新的自适应估计的一个组成部分的加性回归函数。在Besov球上的$\mathbb{L}_2$风险下，通过极大极小方法研究了它的渐近性质.我们证明了它达到了一个尖锐收敛速率，这变成一个标准的一元回归估计问题的$\iid$的情况下获得。
2012-08-06 math.ST stat.TH
Estimating Conditional Distributions via Sklar's Theorem and Empirical Checkerboard Approximations, with Consequences to Nonparametric Regression
University of Salzburg（萨尔茨堡大学）
本文通过Sklar定理和经验近似方法，提出了一种估计条件分布的新方法，并展示了其在非参数回归中的应用价值。
2026-02-01 math.ST stat.TH
Weighted NPMLE for the Marginal Mean of Recurrent Events with a Competing Terminal Event
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
针对复发事件与竞争终点事件，提出基于加权似然的半参数回归模型，直接估计复发事件的边际均值，并证明估计量的一致性和渐近正态性，通过STATCOPE试验数据验证方法有效性。
2026-10-08 math.ST stat.AP stat.ME
Consistent support recovery for high-dimensional diffusions
本文研究了高维稀疏约束下d维遍历扩散过程的自适应Lasso估计器，推导了其实现支持恢复和渐近正态性的条件，并提出p>>d场景下的边际估计器，数值验证了其优于标准Lasso和MLE的准确性。
2025-01-28 math.ST stat.ML stat.TH
Noisy recovery from random linear observations: Sharp minimax rates under elliptical constraints
约束参数空间的估计问题出现在各种设置。在许多这些问题中，统计学家可用的观察结果可以被建模为随机线性算子的图像的噪声实现;一个重要的特殊情况是随机设计回归。我们推导出任意紧椭圆参数集的估计率，并演示了它们如何依赖于随机线性算子的分布。我们的主要结果是一个功能，其特点的最小最大估计率的噪声水平，法律的随机算子，和椭圆规范，定义的误差度量和参数空间。这个非渐近结果是尖锐的，直到一个显式的普适常数，它成为渐近精确的半径的参数空间允许增长。我们通过将其应用于参数和非参数回归问题，包括涉及分布偏移或相关协变量的问题，证明了结果的一般性。
2023-03-22 cs.IT math.IT math.ST
Ultra-high-dimensional spot support screening in continuous-time regression
Department of Statistics and Data Science, School of Economics, Jinan University（暨南大学经济学院统计与数据科学系）
针对高频连续时间回归的超高维点支撑筛选问题，提出带路径Lepski自适应的部分残差点迭代筛选方法，通过理论推导与实验验证实现确定性筛选。
2026-10-27 math.ST stat.ME stat.TH
