Discussion: The Dantzig selector: Statistical estimation when $p$ is much larger than $n$
讨论“Dantzig选择器：当$p$远大于$n$时的统计估计"[math/0506081]
2008-03-21 math.ST stat.TH
Parallelism, Uniqueness, and Large-Sample Asymptotics for the Dantzig Selector
Dantzig选择器（Candes and Tao，2007）是一种流行的l1正则化方法，用于线性回归中的变量选择和估计。我们提出了一个非常弱的几何条件所观察到的预测，这是有关的并行性，当满足时，确保Dantzig选择估计的唯一性。如果预测变量来自连续分布，则该条件在概率为1时成立。我们讨论了这个条件的唯一性的必要性，并提供了一个密切相关的条件，确保唯一的套索估计（Tibshirani，1996）。Dantzig选择器的大样本渐近性，即几乎必然收敛和渐近分布，直接从我们的唯一性结果和连续性参数。Dantzig选择子的极限分布通常是非正态的。虽然我们的渐近结果要求预测变量的数量是固定的（类似于Knight和Fu，2000），但我们的唯一性结果对任意数量的预测变量和观测值都有效。
2012-06-05 math.ST stat.TH
Simultaneous analysis of Lasso and Dantzig selector
我们展示了Lasso估计和Dantzig选择器之间的近似等价性。对于这两种方法，我们推导出并行的预言不等式的预测风险的一般非参数回归模型，以及在线性模型中的$1\le p\le 2$的$\ell_p$估计损失的界限时，变量的数量可以远远大于样本量。
2010-11-09 math.ST stat.TH
The Dantzig selector for a linear model of diffusion processes
本文讨论了具有未知漂移和对角扩散矩阵的扩散过程的线性模型。我们将考虑在高维稀疏环境下基于离散时间观测的未知参数估计问题。为了估计漂移矩阵，将应用Candés和Tao在2007年提出的Dantzig选择器。然后证明了漂移矩阵估计的两类相合性，一类是对每个$q \in [1,\infty]$的$l_q$范数意义下的相合性，另一类是变量选择相合性。利用Dantzig选择器的变量选择一致性，构造了漂移矩阵的渐近正态估计。
2017-09-03 math.ST stat.TH
Transductive versions of the LASSO and the Dantzig Selector
当训练数据集由大量未标记观测和少量标记观测组成时，直推方法在预测问题中很有用。在本文中，我们提出了一种方法，用于开发能够利用高维线性回归的稀疏性的转导预测程序。更确切地说，我们定义了LASSO和Dantzig的转换版本。这些过程将训练数据集的标记和未标记的观测值组合起来，以产生对未标记观测值的预测。我们提出了一个实验研究的转导估计，这表明，他们提高了LASSO和Dantzig的在许多情况下，特别是在高维问题时，预测相关。然后，我们为这些估计方法提供了非渐近的理论保证。有趣的是，我们的理论结果表明，Transductive LASSO和Dantzig的满足稀疏性不等式的假设下，比“原始”LASSO所需的。
2010-05-05 math.ST stat.TH
Two step estimations via the Dantzig selector for models of stochastic processes with high-dimensional parameters
Faculty of Economics and Law, Shinshu University（信州大学经济与法律学院）；Faculty of Mathematics, Kyushu University（九州大学数学学院）
本文通过Dantzig选择器和两步估计方法，研究了高维参数随机过程模型的稀疏估计及渐近正态性。
2024-09-18 math.ST stat.TH
Transductive versions of the LASSO and the Dantzig Selector
我们考虑线性回归问题，其中协变量的数量$p$可能大于观测值的数量$n$ $(x_{i},y_{i})_{i\leq i \leq n}$，稀疏假设。一方面，已经成功地提出了几种方法来执行此任务，例如LASSO或Dantzig方法。另一方面，考虑新值$(x_{i})_{n+1\leq i \leq m}$。如果要估计相应的$y_{i}$，应该考虑专门用于此任务的特定估计器，Vapnik称之为“转换”估计器。该估计器可以不同于被设计用于更一般的任务“在整个域上估计”的估计器。在这项工作中，我们提出了一个广义版本的LASSO和Dantzig的，基于几何评论的LASSO在以前的作品。“通常的”LASSO和Dantzig的，以及新的估计解释为LASSO的转导版本，出现作为特殊情况。这些估计是有趣的，至少从理论的角度来看：我们可以给这些估计的假设下，放松版本的假设所需的文件中的“通常”LASSO的理论保证。这些估计也可以有效地计算，与LASSO的结果相媲美。
2009-06-06 math.ST stat.TH
The $l_q$ consistency of the Dantzig Selector for Cox's Proportional Hazards Model
D.R.考克斯是在一个高维和稀疏的设置进行研究。利用相容因子、弱锥可逆因子和确定性矩阵的约束特征值，证明了某些估计量的所有$q \geq 1$的$l_q$相合性，其中确定性矩阵逼近对数似然的黑塞矩阵.我们的矩阵条件，这三个因素是弱于以往的研究。
2016-05-13 math.PR math.ST stat.TH
The Dantzig selector: Recovery of Signal via $\ell_1-α\ell_2$ Minimization
本文提出了一种基于$\ell_{1}-α\ell_{2}$ ~ $(0< α\leq1)$最小化的Dantzig选择器，用于信号恢复。在Dantzig选择器中，对于某个小常数$η>0$的约束$\|{\bf A}^{\top}({\bf b}-{\bf A}{\bf x})\|_\infty \leq η$意味着${\bf A}$的列与误差向量${\bf e}={\bf A}{\bf x}-{\bf b}$的相关性非常弱。首先，恢复保证的基础上的限制等距属性（RIP）的信号建立。接下来，我们提出了有效的算法来解决所提出的Dantzig选择器。最后，我们通过大量的数值实验来说明所提出的模型和算法的恢复信号的情况下，高斯，脉冲和均匀噪声。所提出的Dantzig选择器的性能优于现有的方法。
2021-05-29 cs.IT math.IT math.ST
High-dimensional Longitudinal Inference via a De-sparsified Dantzig-Selector
本文针对高维纵向聚类数据框架下的广义线性模型推断问题，提出了一种去稀疏化的Dantzig型正则化估计量，提供了理论依据并验证了其在连续和二值数据上的有效性。
2025-08-12 math.ST stat.ME stat.TH
Generalization of l1 constraints for high dimensional regression problems
我们专注于高维线性回归$Y\sim\mathcal{N}(Xβ^{*},σ^{2}I_{n})$，其中$β^{*}\in\mathds{R}^{p}$是感兴趣的参数。在这种情况下，几个估计，如LASSO和Dantzig的，是已知的，以满足有趣的性质时，向量$β^{*}$是稀疏的。有趣的是，LASSO和Dantzig两个点都可以看作是0到$\mathcal{DC}(s)=\{β\in\mathds{R}^{p},\|X'(Y-Xβ)\|_{\infty}\leq s\}$的正交投影-对Dantzig点使用$\ell_{1}$距离，对LASSO使用$\ell_{2}$距离。对于精心选择的$s>0$，该集合实际上是$β^{*}$的置信区域。在本文中，我们研究的性质，估计定义为$\mathcal{DC}(s)$上的投影使用一般的距离。我们证明了所得到的估计满足接近于LASSO和Dantzig的预言性质。最重要的是，事实证明，这些估计器可以调整为利用不同的稀疏性或/和略有不同的估计目标。
2011-07-04 math.ST stat.TH
High-dimensional stochastic optimization with the generalized Dantzig estimator
我们提出了一个广义版本的Dantzig选择器。我们证明了它在预测和估计上满足稀疏预言不等式。然后，我们考虑高维线性回归模型选择与Huber损失函数的特殊情况。在这种情况下，我们得到的超范数收敛速度和符号集中性的Dantzig估计的字典上的互相关假设。
2008-11-14 math.ST stat.TH
A Remark on the Lasso and the Dantzig Selector
本文研究了含噪声高维回归的一个新参数：失真。后者已经吸引了大量的关注，最近出现了新的确定性建设的'几乎'-欧几里德部分的L1球。它测量设计矩阵的核与单元L1球之间的交点距L2球有多远。我们表明，失真持有足够的信息，以获得甲骨文不等式（即比较一个理想的情况下，人们知道的s最大的系数的目标）的套索和Dantzig选择器。
2012-09-28 cs.IT math.FA math.IT
Discussion: A tale of three cousins: Lasso, L2Boosting and Dantzig
Emmanuel Candes和Terence Tao讨论“Dantzig选择器：当$p$远大于$n$时的统计估计”[math/0506081]
2008-03-21 math.ST stat.TH
A Theoretical Analysis of Sparse Recovery Stability of Dantzig Selector and LASSO
Dantzig选择器（DS）和LASSO问题在统计学习、稀疏数据恢复和数学优化中引起了广泛的关注。在本文中，我们提供了一个理论分析的稀疏恢复稳定性的这些最优化问题在更一般的设置和从一个新的角度。在转置设计矩阵弱值域空间性质的假设下，我们建立了这些最优化问题的恢复误差界。该假设比已知的稀疏恢复条件（诸如限制等距属性（RIP）、零空间属性（NSP）或互相干性）限制性更小。事实上，我们的分析表明，这个假设是紧的，不能放松的标准DS问题，以保持其稀疏恢复的稳定性。因此，DS和LASSO的一系列新的稳定性结果已建立在各种矩阵属性，包括RIP与常数$δ_{2k}< 1/\sqrt{2}$和（无常数）的标准NSP的顺序$k.$我们证明，这些矩阵属性可以产生相同的恢复误差界DS和LASSO的稳定性系数被衡量的所谓的罗宾逊常数，而不是传统的RIP或NSP常数。据我们所知，这是第一次建立了DS和LASSO问题的稳定性结果与这样一个统一的功能。不同于标准的分析在这一领域的研究，我们的分析是确定性的，在我们的分析中使用的关键分析工具，包括线性系的误差界由于霍夫曼和罗宾逊和对称凸体的多面体近似由于巴维诺克。
2017-11-10 math.ST stat.TH
The Discrete Dantzig Selector: Estimating Sparse Linear Models via Mixed Integer Linear Optimization
我们提出了一种新的高维线性回归估计：离散Dantzig估计，它最大限度地减少非零回归系数的数量受到预算的功能和残差之间的最大绝对相关性。在过去的10-15年中，整数优化的显着进步的动机，我们提出了一个混合线性优化（MILO）的方法来获得可证明的最优全局解这个非凸优化问题。整数优化算法的当前状态使我们的建议在计算上比最近在[8]中提出的基于整数二次优化的最小二乘子集选择框架和[33]的连续非凸二次优化框架更具吸引力。我们提出了新的离散一阶方法，当与最先进的MILO求解器配对时，对于给定的计算预算，可以很好地解决离散Dantzig问题。我们说明，我们的综合方法提供了全球最优的解决方案，在显着更短的计算时间，相比，现成的MILO求解器。我们从理论上和经验上证明，在广泛的制度的离散Dantzig的统计特性优于流行的$\ell_{1}$为基础的方法。我们说明，我们的方法可以处理问题的情况下，p = 10,000功能与可证明的最优性，使其成为一个高度可扩展的组合变量选择方法在稀疏线性建模。
2017-01-19 math.OC math.ST stat.CO
Optimal designs for Lasso and Dantzig selector using Expander Codes
研究了利用非平衡膨胀图的邻接矩阵的高维回归问题。在这个框架中，我们证明了$\ell_{2}$ -预测误差和$\ell_{1}$ -风险的套索和Dantzig选择器是最佳的显式乘法常数。因此，我们可以估计一个高维目标向量的误差项类似于在一个已知的情况下，其中一个最大的坐标的支持提前获得。此外，我们证明了这些设计矩阵有一个明确的限制特征值。精确地说，它们满足约束特征值假设和具有显式常数的相容条件。最后，我们利用最近的建设不平衡的扩展图由于Guruswami，乌曼斯，和Vadhan，提供一个确定性的多项式时间这些设计矩阵的建设。
2014-07-22 cs.IT math.IT math.PR
Cox's proportional hazards model with a high-dimensional and sparse regression parameter
本文讨论了D. R. Cox在一个高维和稀疏设置的回归参数。为了估计回归参数，应用Dantzig选择器。证明了模型的Dantzig选择器的变量选择一致性。这一性质使我们能够降低参数的维数，并构造回归参数和累积基线风险函数的渐近正态估计。
2017-10-28 math.ST stat.TH
The Dantzig selector: Statistical estimation when $p$ is much larger than $n$
在许多重要的统计应用中，变量或参数$p$的数量远大于观测值$n$的数量。假设我们有观测值$y=Xβ+z$，其中$β\in\mathbf{R}^p$是一个感兴趣的参数向量，$X$是一个行可能远少于列的数据矩阵，$n\ll p$，$z_i$是独立同分布的。$N(0,σ^2)$。是否有可能根据噪声数据$y$可靠地估计$β$？为了估计$β$，我们引入了一个新的估计器-我们称之为Dantzig选择器-这是$\ell_1$正则化问题\[\min_{\tilde{\b eta}\in\mathbf{R}^p}\|\tildeβ\|_{\ell_1}\quad subject to\quad \|X^*r\|_{\ell_{\infty}}\leq(1+t^{-1})\sqrt{2\log p}\cdotσ,\]的解决方案，其中$r$是残差向量$y-X\tildeβ$，$t$是正标量。我们表明，如果$X$服从统一的不确定性原则（与单位规范列），如果真正的参数向量$β$是足够稀疏（这在这里大致保证该模型是可识别的），然后以非常大的概率，\[\|\hatβ-β\|_{\ell_2}^2\le C^2\cdot2\log p\cdot \Biggl(σ^2+\sum_i\min(β_i^2,σ^2)\Biggr).\]我们的结果是非渐近的，我们给值为常数$C$。即使$n$可能比$p$小得多，我们的估计实…
2008-03-21 math.ST stat.TH
LASSO, Iterative Feature Selection and the Correlation Selector: Oracle Inequalities and Numerical Performances
本文提出了一类二次损失回归估计的一般算法。我们的算法能够选择相关的功能到一个大的字典。我们证明了很多已经研究过的算法（LASSO和组LASSO，Dantzig选择器，迭代特征选择等）属于我们的家族，并展示了这个家族的另一个特殊成员，我们称之为相关性。使用我们的家庭的算法的一般属性，我们证明了预言不等式IFS，LASSO和相关性，并比较这些估计的数值性能的玩具的例子。
2008-11-25 math.ST stat.TH
On Dantzig and Lasso estimators of the drift in a high dimensional Ornstein-Uhlenbeck model
本文给出了稀疏约束下高维Ornstein-Uhlenbeck模型漂移的Dantzig和Lasso估计的新的理论结果。我们的重点是甲骨文不等式的估计和误差界方面的几个规范。在Lasso估计的上下文中，我们的论文与[11]密切相关，[11]研究了行稀疏下的相同问题。我们改进了它们的速率，并证明了仅在遍历性假设下的限制特征值性质。最后，我们展示了一个数值分析，以揭示有限样本的Dantzig和Lasso估计性能。
2020-08-03 math.ST stat.TH
Adaptive Dantzig density estimation
本文讨论了密度估计问题。我们的目标是建立一个估计的未知密度作为一个线性组合的功能的字典。受Candès和Tao方法的启发，我们提出了一个$\ell_1$ -极小化的自适应Dantzig约束来自尖锐的浓度不等式。这允许考虑广泛的字典类。在局部或全局相干性假设下，得到了预言不等式.这些理论结果也被证明是有效的自然Lasso估计与我们的Dantzig程序。然后，从理论和实践的角度研究了校准这些程序的问题。最后，数值研究表明，我们的程序相比，其他经典的程序得到显着的改善。
2009-05-06 math.ST stat.TH
Regularized estimation of linear functionals of precision matrices for high-dimensional time series
本文研究了高维线性过程的线性泛函的Dantzig选择器型正则化估计。显式的收敛速度的估计得到，他们涵盖了广泛的制度，从独立同分布。样本到长距离相关的时间序列，以及从亚高斯创新到具有温和多项式矩的创新。它表明，收敛速度依赖于时间依赖的程度和潜在的线性过程的矩条件。将Dantzig-selector估计应用于稀疏Markowitz投资组合分配和时间序列的最优线性预测，并与Oracle估计进行了比较，证明了Dantzig-selector估计的比率一致性.在仿真研究中进一步说明了依赖和新息矩条件的影响。最后，正则化估计被应用于分类的认知状态在一个真实的fMRI数据集和投资组合优化的金融数据集。
2016-08-19 math.ST stat.TH
Improved Matrix Uncertainty Selector
本文考虑设计中带观测误差的回归模型：y=Xθ* + e，Z=X+N。这里，观察R^n中的随机向量y和随机n*p矩阵Z，n*p矩阵X未知，N是n*p随机噪声矩阵，R^n中的e是随机噪声向量，θ* 是待估计的未知参数的向量。我们考虑维度p可以远大于样本量n并且θ* 稀疏的设置。由于噪声矩阵N的存在，常用的Lasso和Dantzig选择器是不稳定的。Rosenbaum和Tsybakov（2010）提出了一种称为矩阵不确定性（MU）选择器的替代方法，以考虑噪声。在Rosenbaum和Tsybakov（2010）中，在假设噪声矩阵N是确定性的并且其值很小的情况下，针对稀疏θ* 研究了MU选择器的性质。在本文中，我们提出了一个修改的MU选择器时，N是一个随机矩阵的零均值项目的方差，可以估计。例如，这是模型中X的条目随机缺失的情况。我们从理论上和数值上表明，在这些条件下，新的估计称为补偿MU选择器实现更好的精度估计比原来的MU选择器。
2011-12-19 math.ST stat.TH
Accuracy guarantees for L1-recovery
LJK, Université J. Fourier（法国约瑟夫·傅立叶大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出两种基于L1最小化的稀疏信号恢复新方法，通过可验证的性能保证和优化边界，构建统计性质优于常用方法的估计器，并利用非欧几里得基追踪算法计算精度界。
2011-05-27 cs.SY eess.SY math.OC
Sparse recovery under matrix uncertainty
我们考虑模型{eqnarray*}y=Xθ^*+ Z，Z=X+ Z，{eqnarray*}其中随机向量$y\in\mathbb{R}^n$和随机$n\times p$矩阵$Z$被观测，$n\times p$矩阵$X$未知，$Ξ$是$n\times p$随机噪声矩阵，$ξ\in\mathbb{R}^n$是与$Ξ$无关的噪声，并且$θ^*$是待估计的未知参数的向量。矩阵不确定性是因为观察到$X$存在附加误差。对于维度$p$可以比样本大小$n$大得多，我们考虑稀疏向量$θ^*$的估计。在矩阵不确定性下，Lasso和Dantzig选择器在恢复稀疏模式时变得非常不稳定（即，$θ^*$的非零分量的集合），即使噪声电平非常小。我们建议新的估计称为矩阵的不确定性选择器（或简称为MU-选择器），这是接近$θ^*$在不同的规范和预测风险，如果限制的特征值假设$X$是满意的。我们还表明，在更强的假设下，这些估计正确地恢复稀疏模式。
2010-11-10 math.ST stat.TH
Thresholded Lasso for high dimensional variable selection and statistical estimation
给定$n$噪声样本与$p$维度，其中$n \ll p$，我们表明，基于Lasso的多步阈值处理过程-我们称之为{ \it holded Lasso}，可以准确地估计线性模型$Y = X β+ ε$中的稀疏向量$β\in \R^p$，其中$X_{n \times p}$是一个归一化为列$\ell_2$范数$\sqrt{n}$和$ε\sim N(0, σ^2 I_n)$的设计矩阵。我们表明，在限制特征值（RE）条件下，（Bickel-Ritov-Tsybakov 09），在选择足够稀疏的模型时，可以在理想均方误差的对数因子内实现$\ell_2$损失，从而实现{ \it稀疏预言不等式};预言机将提供关于哪些坐标是非零的以及哪些坐标在噪声水平之上的完美信息。从某种意义上说，保留的Lasso恢复了$\ell_0$惩罚最小二乘估计量所做的选择，因为它选择了一个足够稀疏的模型，而不会牺牲估计$β$和预测$X β$的准确性。我们还证明了高斯-丹齐格选择器（Candès-Tao 07），如果$X$服从一致不确定性原则，并且如果真参数足够稀疏，则将实现如上所述的稀疏预言不等式，同时在最坏情况下允许模型中最多有$s_0$个无关变量，其中$s_0 \leq s$是最小整数，使得对于$λ= \sqrt{2 \log p/n}$，$\sum_{i=1}^p \min(β_i^2, λ^2 σ^2) \leq …
2010-02-11 math.ST stat.TH
Thresholded Lasso for high dimensional variable selection
针对高维线性回归中的变量选择，提出阈值化Lasso方法，在受限特征值条件下达到稀疏预言不等式，且模拟验证了理论结果。
2025-10-27 math.ST stat.TH
Some new ideas in nonparametric estimation
在抽象统计模型的框架中，我们讨论如何使用一个估计问题（{ \it问题A}）的解来构造另一个完全不同的估计量，{ \it问题B}。作为{ \it问题A}的解决方案，我们理解从给定的估计量族$\mathbf{A}(\mH)=\big\{\widehat{A}_\mh, \mh\in\mH\big\}$中进行数据驱动的选择，并为所选择的估计量建立所谓的Oracle不等式。%由某些设置$\mH$参数化。如果$\hat{\mh}\in\mH$是所选参数，而$\mathbf{B}(\mH)=\big\{\widehat{B}_\mh, \mh\in\mH\big\}$是{ \it问题B}中内置的估计器集合，则建议使用估计器$\widehat{B}_{\hat{\mh}}$。我们提出了非常普遍的选择规则，导致选择器$\hat{\mh}$和发现的条件下，估计$\widehat{B}_{\hat{\mh}}$是合理的。我们的方法说明了几个例子相关的自适应估计。
2016-03-12 math.ST stat.TH
Bootstrap tuning in ordered model selection
在模型选择的问题，为一个给定的家庭的线性估计，其方差排序，我们提供了一个新的“最小接受”的方法，激励Lepski的方法和多重检验理论。该过程选择最小的模型，满足验收规则的基础上与所有较大的模型进行比较。该方法是完全数据驱动的，不使用任何先验信息的方差结构的噪声：其参数调整到潜在的可能异构的噪声通过所谓的“传播条件”，使用野生自助法。证明了自举校准的有效性，有限的样本与一个明确的误差界。我们提供了一个全面的理论研究的方法，并详细描述了一组可能的值的选择器\( \hat{m} \)。我们还建立了相应的估计量\( \hatθ = \tildeθ_{\hat{m}} \)的精确预言误差界，它同样适用于整个参数向量，某些子向量或线性映射的估计，以及线性泛函的估计。
2015-07-17 math.ST stat.TH
Least squares after model selection in high-dimensional sparse models
在这篇文章中，我们研究后模型选择估计，适用于普通最小二乘（OLS）的第一步惩罚估计，典型的Lasso选择的模型。众所周知，Lasso可以以接近Oracle的速率估计非参数回归函数，因此很难改进。我们表明，OLS后Lasso估计执行至少以及Lasso的收敛速率方面，并具有较小的偏差的优势。值得注意的是，即使基于Lasso的模型选择“失败”，也会出现这种性能，因为它丢失了“真正”回归模型的一些组成部分。所谓“真”模型，我们指的是对预言机选择的非参数回归函数的最佳s维逼近。此外，如果基于Lasso的模型选择正确地包括“真”模型的所有分量作为子集，并且还实现了足够的稀疏性，则在收敛速度收敛速率严格更快的意义上，OLS post-Lasso估计量可以严格优于Lasso。在极端情况下，当Lasso完美地选择“真”模型时，OLS post-Lasso估计量成为oracle估计量。在我们的分析中，一个重要的成分是一个新的稀疏约束的维度选择的模型的Lasso，这保证了这个维度是在最多的相同的顺序作为“真正的”模型的维度。我们的速率结果是非渐近的，并在参数和非参数模型。此外，我们的分析不仅限于在第一步中作为选择器的Lasso估计器，而且还适用于任何其他估计器，例如，各种形式的阈值Lasso，具有良好的速率和良好的稀疏性。我们的分析涵盖了传统的阈值和一个新的实用，数据驱动的阈值方案，诱导额外的稀疏性保持…
2013-03-20 math.PR math.ST stat.ME
