Catoni-style confidence sequences for heavy-tailed mean estimation
本文提出三种仅依赖方差上界构建均值置信序列的方法，其中Catoni风格方法在重尾数据下性能最优，达到重对数律下界，并扩展至有限p阶矩的无限方差情形。
2024-02-07 math.ST stat.ME stat.TH
Kronecker sum covariance models for spatio-temporal data
本文针对时空数据提出基于Kronecker和协方差的亚高斯矩阵变量模型，将信号与噪声的协方差结构分离建模，并在去除非独立同分布和高斯假设的条件下给出逆协方差估计的统计收敛速率。
2025-02-05 math.ST stat.TH
Regret Analysis of the Anytime Optimally Confident UCB Algorithm
University of Alberta（阿尔伯塔大学）
我介绍和分析的最佳置信UCB（OCUCB）算法设计的最小化的累积遗憾有限武装随机土匪与亚高斯噪声的任何时候版本。新算法简单，直观（事后看来），并具有迄今为止最强的有限时间遗憾保证。我还显示了一个有限时间的下限，几乎匹配的上限。
2016-05-06 cs.LG math.ST stat.ML
Robust covariance estimation under $L_4-L_2$ norm equivalence
令$X$是在$\mathbb{R}^d$中取值的中心随机向量，并且令$Σ= \mathbb{E}(X\otimes X)$是其协方差阵。我们表明，如果$X$满足一个$L_4-L_2$规范等价，有一个协方差估计$\hatΣ$，表现出最佳性能的期望有$X$是一个高斯向量。该程序还提高了目前的最先进的高概率界在亚高斯的情况下（尖锐的结果只知道在预期或恒定的概率）。在这两种情况下，新的界限并不显式地依赖于维度$d$，而是依赖于协方差阵$Σ$的有效秩。
2019-03-26 math.ST stat.TH
Adversarial robust weighted Huber regression
针对协变量和噪声可能被对手污染的线性回归，提出加权Huber回归方法，推导出依赖于协方差矩阵稳定秩和条件数的估计误差界，并保证多项式计算复杂度。
2024-05-24 math.ST stat.ML stat.TH
Entrywise Estimation of Singular Vectors of Low-Rank Matrices with Heteroskedasticity and Dependence
本文提出了一种高维低秩矩阵奇异向量的估计方法，其中噪声矩阵允许行内相关和行间异方差.我们证明有限样本$\ell_{2,\infty}$界和Berry-Esseen定理的估计的各个条目，我们将这些结果应用到高维混合模型。我们的Berry-Esseen定理清楚地显示了信号矩阵，噪声的协方差结构和奇异向量估计任务中的误差分布之间的几何关系。这些结果在数值模拟中得到了说明。与以前的结果不同，这种类型的结果依赖于高斯性或加性噪声条目之间的独立性的假设，处理这些结果的证明中条目之间的依赖性需要仔细的留一分析和条件参数。我们的结果只依赖于信噪比，样本量，和信号矩阵的频谱特性。
2022-09-13 math.OC math.SP math.ST
Adaptive Density Estimation on the Circle by Nearly-Tight Frames
本文研究了循环数据下非参数密度估计的渐近性质。这里应用的估计过程是基于小波阈值方法：所使用的小波是所谓的墨西哥针，它描述了一个近乎紧的框架上的圆。我们研究了这些估计的$L^{2}$风险函数的渐近行为，特别是它的自适应性，证明了它的收敛速率是接近最优的。
2016-03-15 math.ST stat.TH
Finite-Sample Symmetric Mean Estimation with Fisher Information Rate
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文针对对称均值估计问题，给出了基于Fisher信息的有限样本保证，证明在样本量 $n > \log \frac{1}δ$ 时，可实现接近方差为 $\frac{1}{n \mathcal I_r}$ 的次高斯收敛，其性能基本匹配已知分布设定下的有限样本保证。
2023-06-28 cs.IT cs.LG math.IT
Estimation bounds and sharp oracle inequalities of regularized procedures with Lipschitz loss functions
当$\|\cdot\|$是任意范数，$F$是凸函数类，$\ell$是满足$F$上Bernstein条件的Lipschitz损失函数时，我们得到了形式为\begin{equation*} \hat f \in argmin_{f\in F}\left(\frac{1}{N}\sum_{i=1}^N\ell(f(X_i), Y_i)+λ\|f\|\right) \end{equation*}的正则化过程的估计差错率和尖锐的预言不等式.我们探讨了$f(X_i)$的分布的有界和亚高斯随机框架，没有对$Y_i$的分布的假设。一般的结果依赖于两个主要对象：一个复杂性函数，和一个稀疏性方程，这取决于具体的设置在手（损失$\ell$和规范$\|\cdot\|$）。作为概念的证明，我们在以下问题中获得了极大极小收敛速度：1）具有任何Lipschitz损失函数的矩阵完备化，包括问题的所谓1位矩阵完备化实例的铰链和逻辑损失，以及一般情况下的分位数损失，这使得能够估计矩阵条目上的任何分位数; 2）逻辑LASSO和变体，如逻辑SLOPE; 3）核方法，其中损失是铰链损失，并且正则化函数是RKHS范数。
2017-02-07 math.ST stat.TH
Optimal robust mean and location estimation via convex programs with respect to any pseudo-norms
我们考虑鲁棒均值和位置估计问题。形式为$x\in\mathbb{R}^d\to ||x||_S = \sup_{v\in S}<v,x>$的任何伪范数，其中$S$是$\mathbb{R}^d$的任何对称子集。我们证明了置信$1-δ$的偏差最优极小极大次高斯率是$$ \max\left(\frac{l^*(Σ^{1/2}S)}{\sqrt{N}}, \sup_{v\in S}||Σ^{1/2}v||_2\sqrt{\frac{\log(1/δ)}{N}}\right) $$，其中$l^*(Σ^{1/2}S)$是$Σ^{1/2}S$的高斯平均宽度，$Σ$是数据的协方差（在基准i.i.d. Gaussian case）。这改进了[Lugosi和Mendelson，2019]的熵极大极小下界，并缩小了该问题的熵与高斯平均宽度之间的Sudakov不等式所表征的差距。这表明均值估计问题的正确统计复杂性度量是高斯均值宽度。我们还表明，这一速度可以实现的解决方案的凸优化问题的对抗和$L_2$重尾设置考虑最小的一些Fenchel-Legendre变换构造使用中位数的平均值原则。我们最后表明，这种速率也可以实现的情况下，甚至没有一个第一时刻，但存在一个位置参数。
2021-02-01 math.ST stat.TH
High-Frequency Tail Index Estimation by Nearly Tight Frames
本文研究了高斯和各向同性球面随机场谱参数的近似极大似然估计在高频极限下的渐近性质（弱一致性和高斯性）。我们使用的程序利用了Geller和Mayeli在[Geller，Mayeli（2009）]中的所谓的墨西哥针构造。此外，我们提出了一个插件程序来优化精度的估计渐近方差。
2013-03-01 math.ST stat.TH
Nearly Optimal Robust Mean Estimation via Empirical Characteristic Function
利用经验特征函数给出了可分实巴拿赫空间中随机变量均值的一个估计。假设随机变量的协方差算子在精确意义上是有界的，我们证明了所提出的估计达到了最佳的亚高斯率，除了一个更快衰减的均值依赖项。在较弱的条件下，迭代加细过程可以基本消除均值依赖项，并提供移位同变估计。我们的研究结果特别表明，在文献中最知名的速率中出现的某个高斯宽度可能是不必要的。此外，使用的特征函数的有界性，我们还表明，除了可能在高信噪比，所提出的估计是优雅的对抗性的“污染”的鲁棒性。由于特征函数的易处理性，我们的分析总体上是简洁和透明的。
2020-11-02 math.ST stat.TH
Optimal score estimation via empirical Bayes smoothing
本文研究从高维 i.i.d. 样本估计分布 score 函数的问题，借助经验贝叶斯与平滑经验分布的 Hellinger 收敛，证明高斯核正则化估计器达到 minimax 最优速率并揭示维数灾难。
2024-06-12 math.ST stat.ML stat.TH
Nearly-minimax variance estimation under rough random design
研究詹姆斯·罗宾斯关于随机设计下非参数回归估计常数条件方差问题，通过特定条件设定，证明极小极大均方根风险以\(n^{-\beta}\)为下界，否定了推测速率\(n^{-4s/(d + 4s)}\)的一致可达到性。
2026-09-11 math.ST stat.TH
Tuning-free one-bit covariance estimation using data-driven dithering
本文提出一种免调参的一位协方差估计方法，用数据驱动抖动替代需人工调节的参数 λ，并证明其非渐近误差界与调参版本及量化前样本协方差相当，仅多出对数损失。
2024-01-12 cs.IT math.IT math.ST
Optimal Mean Estimation without a Variance
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；Department of Statistics（统计系）
我们研究的重尾均值估计的数据生成分布的方差不存在的设置中的问题。具体地说，给定一个样本$\mathbf{X} = \{X_i\}_{i = 1}^n$从一个分布$\mathcal{D}$在$\mathbb{R}^d$与平均$μ$满足以下\emph{weak-moment}假设的一些${α\in [0, 1]}$：\begin{equation*} \forall \|v\| = 1: \mathbb{E}_{X \thicksim \mathcal{D}}[\lvert \langle X - μ, v\rangle \rvert^{1 + α}] \leq 1, \end{equation*}和给定的目标故障概率，$δ$，我们的目标是设计一个估计，达到最小可能的置信区间作为$n,d,δ$的函数。对于$α= 1$的特定情况，Lugosi和Mendelson的基础工作展示了一个估计器，该估计器实现了亚高斯置信区间，随后的工作导致了该估计器的计算效率版本。在这里，我们研究的情况下，一般$α$，并建立以下信息理论的最佳可达到的置信区间的下限：\begin{equation*} Ω\left(\sqrt{\frac{d}{n}} + \left(\frac{d}{n}\right)^{\fracα{(1 + α)}} + \left(\frac{\log 1 / δ}{n}\right)^…
2020-12-08 cs.DS cs.LG math.ST
Nearly optimal minimax estimator for high-dimensional sparse linear regression
我们提出了一个很好的研究统计估计问题的估计：估计的线性回归模型与软稀疏约束（$\ell_q$约束与$0<q\leq1$）在高维设置。我们首先提出了一个家庭的估计，称为投影最近邻估计，并显示，通过使用凸几何的结果，这种估计是在一个对数因子的最佳任何设计矩阵。然后利用[SIAM J. COMPUT. 36（2007）1764-1776]，我们获得了用于计算任何这样的估计任务的极大极小风险的近似算法，并且还获得了用于$\ell_1$稀疏约束的重要情况的多项式时间近似最优估计器。尽管对这个问题进行了数十年的研究，但以前只知道特殊情况下的结果。当参数半径未知时，我们也将该方法推广到自适应的情况。
2013-11-08 math.ST stat.TH
Robust Sparse Mean Estimation via Sum of Squares
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文针对存在对抗性离群点的高维稀疏均值估计问题，提出首个无需协方差先验知识的基于平方和的高效算法，在矩有界分布和高斯分布下分别达到接近最优的误差与样本复杂度，并通过下界证明其权衡的最优性。
2024-07-05 cs.DS cs.LG math.ST
A new method for estimation and model selection: $ρ$-estimation
本文的目的是提出一种新的估计程序，可以应用在许多统计框架，包括密度和回归，并导致强大的和最佳的（或接近最佳的）估计。在密度估计中，至少当统计模型足够正则且包含待估计的真密度时，它们与著名的极大似然估计渐近相合。对于非常一般的密度模型，包括非紧的，这些估计是强大的相对于Hellinger距离和收敛在最佳速率（可能的对数因子）在所有情况下，我们知道。在回归环境中，我们的方法从许多方面改进了经典的最小二乘。例如，在简单线性回归中，它提供了对异常值鲁棒的系数估计，并且同时对于包括高斯、拉普拉斯、柯西和均匀等的大类误差分布是速率最优的（或接近速率最优的）。
2016-06-01 math.ST stat.TH
Estimating Higher-Order Mixed Memberships via the $\ell_{2,\infty}$ Tensor Perturbation Bound
本文提出张量混合隶属度块模型推广离散社区假设，结合HOOI与单纯形角点算法实现高效估计，推导$\u2113_{2,\u221e}$张量扰动界证明一致性，实验验证了其可发现离散模型无法识别的效应。
2024-02-01 math.OC math.ST stat.ME
Function estimation in the empirical Bayes setting
Department of EECS, MIT（麻省理工学院电气与计算机工程系）
本文研究了经验贝叶斯设定中泊松和正态均值的函数估计，揭示了光滑函数估计的快速收敛率及多项式逼近的理论基础。
2026-08-18 math.ST stat.TH
High-Dimensional Robust Mean Estimation in Nearly-Linear Time
Duke University（杜克大学）；University of Southern California（南加州大学）
我们研究了高维均值估计的基本问题，在一个强大的模型中，一个常数部分的样本是adversarially损坏。最近的工作给出了这个问题的第一个多项式时间算法与维数无关的误差保证几个家庭的结构化分布。本文首次给出了高维稳健均值估计的近似线性时间算法。具体来说，我们专注于分布（i）已知的协方差和亚高斯尾，和（ii）未知的有界协方差。给定$\mathbb{R}^d$上的$N$样本，其中的一个$ε$-分数可能被任意损坏，我们的算法在时间上运行$\tilde{O}(Nd) / \mathrm{poly}(ε)$，并在信息理论上最优的误差范围内近似真实均值，直到常数因子。具有可比误差保证的先前鲁棒算法具有$\tildeΩ(N d^2)$的运行时间，对于$ε= Ω(1)$。我们的算法依赖于一个自然的家庭的SDP参数化我们目前的猜测$ν$未知的意思$μ^\star$。我们给出了一个双赢的分析，建立以下：要么一个接近最佳的解决方案，以原始SDP产生一个很好的候选人$μ^\star$-独立于我们目前的猜测$ν$-或双SDP产生一个新的猜测$ν'$，其距离$μ^\star$较小的一个常数因子。我们利用相应的SDPs的特殊结构，表明它们在近线性时间内近似可解。我们的方法是相当普遍的，我们相信它也可以应用到获得近似线性时间算法的其他高维鲁棒学习问题。
2018-11-23 cs.DS cs.LG math.ST
Attainability of Two-Point Testing Rates for Finite-Sample Location Estimation
Stanford University（斯坦福大学）
本文研究了有限样本位置估计中两点检验率的可实现性，提出了一种近似达到该下界的算法，适用于对称log-concave分布混合物，并展示了单峰分布与对称分布的差异。
2026-01-04 cs.DS math.ST stat.ML
Entropic characterization of optimal rates for learning Gaussian mixtures
本文研究了多维高斯混合模型的极小化极大估计速率，通过证明KL散度与平方Hellinger距离间的常数倍比较关系，利用全局和局部度量熵分别刻画了在线学习与批处理估计速率。
2023-06-27 cs.IT math.IT math.ST
Structure-adaptive manifold estimation
我们考虑一个问题的流形估计噪声观测。许多流形学习过程通过在小邻域上的加权平均来局部逼近流形。然而，在存在大噪声的情况下，分配的权重变得如此损坏，以至于平均估计显示出非常差的性能。我们提出了一个结构自适应的过程，同时重建一个光滑流形和估计投影的点云到这个流形上。所提出的方法迭代地细化每个步骤的权重，使用在以前的步骤中获得的结构信息。经过几次迭代，我们获得了接近“预言”的权重，因此即使在存在相对较大的噪声的情况下，最终的估计也几乎是有效的。在我们的理论研究中，我们建立了紧的下限和上界证明渐近最优的方法下的Hausdorff损失的流形估计，提供的噪声退化到零足够快。
2022-02-04 math.ST stat.ML stat.TH
Sample-Optimal Density Estimation in Nearly-Linear Time
MIT（麻省理工学院）
我们设计了一个新的，快速的算法不可知学习单变量概率分布的密度很好地近似分段多项式函数。设$f$是任意一元分布的密度函数，并假设$f$是$\mathrm{OPT}$ -在$L_1$ -距离上接近于一个未知的分段多项式函数，该分段多项式函数具有$t$区间片和次数$d$ .我们的算法从$f$中提取$n = O(t(d+1)/ε^2)$样本，在时间$\tilde{O}(n \cdot \mathrm{poly}(d))$中运行，并且概率至少$9/10$输出$O(t)$ -分段度- $d$假设$h$，其是接近$f$的$4 \cdot \mathrm{OPT} +ε$。我们的一般算法产生（近）样本最优和近线性的时间估计为广泛的结构化分布族在连续和离散域在一个统一的方式。对于我们的大多数应用程序，这些是第一个样本最佳和近线性时间估计在文献中。因此，我们的工作解决了一个广泛的推理任务类的样本和计算的复杂性，通过一个单一的“元算法”。此外，我们的实验表明，我们的算法在实践中表现得很好。我们的算法包括三个“层次”：（i）在最高层次，我们采用迭代贪婪算法找到一个很好的分割的真正的线成一个分段多项式的片段。(ii)对于每一块，我们发现，找到一个很好的多项式适合当前区间的子问题，可以有效地解决与分离预言方法。(iii)我们把寻找分离超平面的问题归结为一个组合问题，并给出了一个有效的算法。结合这三个过程给出了…
2015-06-01 cs.DS cs.IT cs.LG
Robust Gaussian Covariance Estimation in Nearly-Matrix Multiplication Time
Microsoft Research AI（微软研究院人工智能部门）；University of Washington（华盛顿大学）
稳健的协方差估计是以下在高维统计中被充分研究的问题：给定来自$d$维高斯$\mathcal{N}(\boldsymbol{0}, Σ)$的$N$样本，但是其中样本的$\varepsilon$分数被任意损坏，输出$\widehatΣ$最小化$\mathcal{N}(\boldsymbol{0}, Σ)$和$\mathcal{N}(\boldsymbol{0}, \widehatΣ)$之间的总变化距离。这对应于学习Frobenius范数的自然仿射不变变体中的$Σ$，称为\emph{Mahalanobis norm}。Cheng等人先前的工作证明了一种算法，该算法在给定$N = Ω(d^2 / \varepsilon^2)$样本的情况下实现了$O(\varepsilon \log 1 / \varepsilon)$的接近最优的误差，而且，他们的算法在时间$\widetilde{O}(T(N, d) \log κ/ \mathrm{poly} (\varepsilon))$中运行，其中$T(N, d)$是将$d \times N$矩阵乘以其转置所花费的时间，$κ$是$Σ$的条件数。当$\varepsilon$相对较小时，它们在运行时对$1/\varepsilon$的多项式依赖性非常大。在本文中，我们展示了一种新的算法，实现了相同的统计保证，但运行时间$\widetilde{O} (T(N,…
2020-06-23 cs.DS cs.LG math.ST
Functional estimation in high-dimensional and infinite-dimensional models
本文研究高维与无限维模型中的泛函估计问题，基于样本划分与Taylor展开构造估计量，在基础估计量矩假设下证明其$L_p$误差上界，并在多个具体模型中验证了其极小极大最优性与渐近有效性。
2023-10-24 math.ST stat.TH
Optimal Robust Estimation under Local and Global Corruptions: Stronger Adversary and Smaller Error
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）
本文研究同时包含任意离群点和局部扰动的组合污染模型，证明在更强的 sliced-Wasserstein 局部扰动下仍可在多项式时间内达到信息论最优误差，并给出分布学习与主成分分析的高效算法。
2024-10-22 cs.DS cs.LG math.ST
Outlier-robust sparse/low-rank least-squares regression and robust matrix completion
本文在亚高斯框架下研究含对抗污染的高维稀疏/低秩回归与矩阵补全，提出基于排序Huber损失的易计算估计器，并证明其获得与污染比例和失败概率近最优且调参无需污染信息的估计速率。
2023-10-31 math.ST stat.ML stat.TH
Optimal Kullback-Leibler Aggregation in Mixture Density Estimation by Maximum Likelihood
本文研究了$n$独立观测密度的极大似然估计，假设它可以很好地近似为一个含有大量分量的混合估计。主要关注的是Kullback-Leibler损失的统计特性。我们建立风险界的形式都在偏差和期望的尖锐预言不等式。这些界限的一个简单的后果是，最大似然估计达到最佳速率$((\log K)/n)^{1/2}$，直到一个可能的对数校正，在凸聚集的问题时，组件的数量$K$大于$n^{1/2}$。更重要的是，在额外的假设下，Gram矩阵的组件满足兼容性条件，所获得的预言不等式产生的最佳速率在稀疏的情况下。也就是说，如果权向量（几乎）是$D$ -稀疏的，则我们得到速率$(D\log K)/n$。作为一个自然的补充，我们的甲骨文不等式，我们介绍了近- $D$ -稀疏聚合的概念，并建立匹配的下界这种类型的聚合。
2017-01-18 math.ST stat.TH
Polynomial-Time Sum-of-Squares Can Robustly Estimate Mean and Covariance of Gaussians Optimally
在这项工作中，我们重新审视的问题，估计的平均值和协方差的未知$d$维高斯分布的存在下，一个$\varepsilon$分数的敌对离群值。[DKK+16]的开创性工作给出了一个多项式时间算法，该算法使用$n = \textrm{poly}(d, 1/\varepsilon)$样本，具有最佳$\tilde{O}(\varepsilon)$误差。另一方面，[KS17 b]通过规范的平方和松弛引入了一个鲁棒矩估计的一般框架，该框架适用于更一般的可证明亚高斯和可证明超压缩[BK 20]分布。当专用于高斯时，该算法获得与[DKK+16]相同的$\tilde{O}(\varepsilon)$误差保证，但会导致超多项式样本复杂度（$n = d^{O(\log(1/\varepsilon)}$）和运行时间（$n^{O(\log(1/\varepsilon))}$）。这种成本似乎是他们的分析所固有的，因为它只依赖于方向矩上界的平方和证书，而[DKK+16]中的分析依赖于从高斯分布矩之间的代数关系推断出的方向矩的下界。我们对[KS17b，BK20]中使用的相同规范平方和松弛进行了新的简单分析，并表明对于高斯分布，他们的算法实现了与[DKK+16]中的专用算法相同的误差，样本复杂度和运行时间保证。我们的关键创新是一个新的参数，允许使用矩下限，而无需平方和证书。我们相信，我们的证明技术将可能是有用的，在开发进…
2021-10-22 cs.DS math.ST stat.TH
Robust Learning of Fixed-Structure Bayesian Networks in Nearly-Linear Time
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Shanghai University of Finance and Economics（上海财经大学）；Institute of Advanced Study（高等研究院）；Shanghai Jiao Tong University（上海交通大学）
我们研究了学习贝叶斯网络的问题，其中一个$ε$ -分数的样本是adversarially损坏。我们专注于完全可观察的情况下，底层的图形结构是已知的。在这项工作中，我们提出了第一个近线性时间算法，这个问题的尺寸无关的误差保证。具有可比误差保证的先前鲁棒算法至少慢$(d/ε)$的因子，其中$d$是贝叶斯网络中的变量的数量，并且$ε$是损坏样本的分数。我们的算法和分析是相当简单的，比以前的工作。我们通过建立贝叶斯网络的鲁棒学习和鲁棒均值估计之间的直接联系来实现这一点。作为我们的算法中的一个子程序，我们开发了一个强大的均值估计算法，其运行时间是近线性的输入样本中的非零的数量，这可能是独立的利益。
2021-05-12 cs.DS cs.LG math.ST
Nearly Optimal Robust Covariance and Scatter Matrix Estimation Beyond Gaussians
Lucerne School of Computer Science and Information Technology（卢塞恩计算机科学与信息技术学院）
针对强污染高维场景下椭圆分布的协方差/散布矩阵鲁棒估计问题，提出近最优样本复杂度的多项式时间算法，扩展至非高斯分布并构造谱协方差滤波算法，取得与高斯情况相当的误差保证且具独立应用价值。
2025-04-12 cs.DS cs.LG math.ST
Adaptive estimation of convex and polytopal support
我们估计的支持，一个均匀的密度，当它被假定为一个凸多胞体，或更一般地说，一个凸体在$\R^d$。在多面体的情况下，我们构造一个估计实现率不依赖于尺寸$d$，与其他估计，已提出到目前为止。对于$d\geq 3$，我们的估计比以前的估计有更好的风险，并且它几乎是极小极大的，直到对数因子。我们还提出了一个估计，这是自适应的未知支持的边界的结构。
2013-09-25 math.ST stat.TH
Bayesian Simultaneous Estimation for Means in $k$ Sample Problems
本文讨论了当怀疑$k$总体均值近似相等时，对$k$总体均值的同时估计问题。作为一种替代的初步测试估计的基础上的检验统计量检验假设的平均值相等，我们推导出贝叶斯和极大极小估计，缩小个人样本均值的平均值向一个合并的平均估计的假设下。结果表明，无论是初步的测试估计和贝叶斯极大极小收缩估计进一步改善通过收缩的合并的均值估计。通过仿真研究了所提出的收缩估计器的性能。
2018-08-23 math.ST stat.TH
Aggregating estimates by convex optimization
我们讨论的方法来估计聚集和自适应估计的基础上（近最佳）凸假设的测试。我们表明，在观察干{ \em简单的观察计划}的情况下，未知信号的集合是一个有限的联合凸紧集，所提出的方法导致聚合和自适应例程具有接近最佳的性能。作为一个例子，我们考虑应用所提出的估计恢复已知属于一个联盟的椭圆形高斯观测方案的未知信号的问题。该方法可以有效地实现时，在联合的集合的数量是“不是很大。“我们总结了一个小的模拟研究，说明了实际性能的建议程序的问题，信号估值在单指数模型的文件。
2021-07-16 math.ST stat.TH
Minimax estimation of smooth densities in Wasserstein distance
我们研究了非参数密度估计问题，其中误差是在Wasserstein距离中测量的，Wasserstein距离是统计和机器学习的许多领域中流行的概率分布的度量。我们给这个问题的第一个最小最大最优速率一般Wasserstein距离，并表明，与经典的非参数密度估计，这些速率取决于是否有界的密度问题。出于变分问题涉及Wasserstein距离，我们还展示了如何构建离散支持的措施，适合计算的目的，实现极大极小率。我们的主要技术工具是一个不等式，给出了一个几乎紧的双重表征的Wasserstein距离的Besov规范。
2020-04-28 math.ST stat.TH
Adversarial Manifold Estimation
研究了在$\mathbb{R}^n$中估计$d$维子流形的统计查询复杂度.我们提出了一个纯粹的几何算法称为流形传播，减少了问题的三个自然的几何例程：投影，切空间估计，和点检测。然后，我们提供这些几何例程的SQ框架中的建设。给定一个对抗$\mathrm{STAT}(τ)$预言机和一个目标Hausdorff距离精度$\varepsilon = Ω(τ^{2 / (d + 1)})$，所得到的SQ流形重构算法具有查询复杂度$O(n \operatorname{polylog}(n) \varepsilon^{-d / 2})$，证明了该算法是近最优的.在这个过程中，我们建立了一般度量空间中SQ的低秩矩阵完备化结果和随机SQ估计的下界。
2022-10-12 math.ST stat.TH
Lasso Guarantees for $ β$-Mixing Heavy Tailed Time Series
套索的许多理论结果要求样本为iid。最近的工作提供了保证套索假设的时间序列是由稀疏向量自回归（VAR）模型与高斯创新。这些结果的证明主要依赖于这样一个事实，即真正的数据生成机制（DGM）是一个有限阶高斯VAR。这个假设是相当脆弱的：线性变换，包括选择变量的子集，可能导致违反这个假设。为了摆脱这种假设，我们推导出非渐近不等式的估计误差和预测误差的最佳线性预测的套索估计，而不假设任何特殊的参数形式的DGM。相反，我们只依赖于（严格）平稳性和几何衰减的\b{eta}混合系数建立误差界的套索subweibull随机向量。我们引入的次威布尔随机变量类包括次高斯和次指数随机变量，但也包括尾部比指数重的随机变量。我们还证明了，对于高斯过程，\b{eta}-混合条件可以放宽到α-混合系数的可和性.我们的工作提供了一个替代的证明稀疏高斯VAR模型的套索的一致性。但我们的结果的适用性扩展到非高斯和非线性时间序列模型，我们提供的例子证明。
2019-03-21 math.ST stat.TH
Minimax Optimal Estimation in Partially Linear Additive Models under High Dimension
在高维稀疏向量和光滑函数分量的部分线性可加模型中，我们得到了参数和非参数分量的极大极小估计率。欧氏分量的极小极大下界是典型的稀疏估计率，它与非参数平滑指标无关。然而，极小极大下界为每个组件功能表现出的维数和稀疏性的参数组件和相关的非参数组件的平滑度之间的相互作用。事实上，当非参数分量的平滑度或参数分量的维数足够大时，平滑非参数估计的极大极小风险可以减慢到稀疏估计率。在上面的设置中，我们证明了惩罚最小二乘估计几乎可以达到极大极小下界。
2018-01-14 math.ST stat.TH
Estimation of Wasserstein distances in the Spiked Transport Model
我们提出了一个新的统计模型，尖峰传输模型，它形式化的假设，两个概率分布不同的低维子空间。我们研究了该模型下的Wasserstein距离的极大极小估计率，并表明这种低维结构可以用来避免维数灾难。作为我们的极大极小分析的副产品，我们建立了一个下界表明，在没有这样的结构，插件估计是近率最优估计的Wasserstein距离在高维。我们还提供了证据的计算间隙和猜想，任何计算效率的估计必然会遭受灾难的维度。
2019-09-16 math.ST stat.TH
Adaptive warped kernel estimation for nonparametric regression with circular responses
针对单位圆上观测的圆形数据非参数回归问题，提出结合扭曲策略与Goldenshluger-Lepski型估计器的数据驱动带宽核估计方法，并在各向异性Hölder类上证明了其极小化极大近乎最优性。
2023-06-30 math.ST stat.TH
Distribution-robust mean estimation via smoothed random perturbations
我们考虑只假设有限方差的均值估计问题。本文研究了一类新的均值估计，它是通过对随机噪声进行积分而构造的，并应用于软截尾经验均值估计。对于适当的选择噪声，我们表明，这可以计算在封闭的形式，并利用相对熵不等式，这些估计享有偏差指数尾控制的二阶矩的基础分布。我们考虑加性和乘性噪声，和几个噪声分布的家庭在我们的分析。此外，我们实证研究的敏感性的平均值-标准差比的许多具体表现的估计类的利益。我们的主要收获是，一个便宜的新估计器可以实现各种各样的数据分布的近亚高斯性能。
2019-06-25 math.ST stat.TH
Reduced bias nonparametric lifetime density and hazard estimation
基于核的非参数风险率估计被认为是一类特殊的无限阶核，实现良好的偏差和均方误差属性。针对随机右删失数据，提出了一种全自动和自适应的密度和风险率估计方法。仔细选择的带宽，在建议的估计产生的估计是更有效的整体均方误差性能方面，在某些情况下，实现了近参数收敛速度。此外，快速收敛的带宽估计用于二阶内核，以补充这种基于内核的方法在危险率估计。仿真结果表明，所提出的估计对其他非参数估计的密度和风险函数的精度提高。一个真实的数据应用程序也提出了从13,166乳腺癌患者的生存数据。
2018-10-16 math.ST stat.TH
Nonparametric estimation of jump rates for a specific class of Piecewise Deterministic Markov Processes
本文考虑了一个具有已知流和确定转移测度，未知跳率$λ$的分段确定马尔可夫过程.为了非参数地估计跳跃率，我们首先构造了平稳密度的自适应估计，然后导出了$λ$的商估计$\hatλ_n$.我们提供了统一的界限，这些估计的风险，并证明了估计的跳跃率是近minimax（高达$\ln^2(n)$因素）。模拟说明了我们的估计的行为。
2020-12-08 math.PR math.ST stat.TH
A unified precision matrix estimation framework via sparse column-wise inverse operator under weak sparsity
本文在弱稀疏条件下估计了高维精度矩阵，其中许多元素几乎为零。在弱稀疏条件下，我们重新讨论了稀疏列方向逆算子（SCIO）估计量\cite{liu2015fast}，并推导了它的一般误差界.建立了一个统一的框架，以处理各种情况下，包括重尾数据，非超常数据，矩阵变量数据。这些新方法可以达到与现有方法相同的收敛速度，并且可以有效地实现。
2022-10-20 math.ST stat.ME stat.TH
Optimal One-pass Nonparametric Estimation Under Memory Constraint
对于流式设置中的非参数回归，其中数据不断流入并需要实时分析，主要挑战是由于有限的计算机内存和存储，数据一旦处理就从计算机系统中清除。我们提出了一种新的单通估计的基础上惩罚正交基扩展和开发一个通用的框架来研究统计效率和内存消耗的估计之间的相互作用，以应对挑战。我们证明了，所提出的估计器是统计最优的内存约束下，并具有渐近最小的内存足迹之间的所有单通估计的相同的估计质量。数值研究表明，所提出的一次通过估计是几乎一样有效的，其非流对应的访问所有的历史数据。
2022-08-18 math.ST stat.ME stat.TH
Optimal Rates for Nonparametric Density Estimation under Communication Constraints
我们考虑当每个样本被量化到只有有限数量的比特时，Besov空间的密度估计。我们提供了一个非交互式的自适应估计，利用小波基的稀疏性，随着一个模拟和推断技术的参数估计通信约束下。我们表明，我们的估计是近速率最优的推导极小极大下界，即使在交互式协议是允许的。有趣的是，虽然我们的基于小波的估计器对于索伯列夫空间也几乎是速率最优的，但尚不清楚标准傅立叶基是否可以用于实现相同的性能。
2021-07-21 cs.DS cs.IT math.IT
Nearly Optimal Latent State Decoding in Block MDPs
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们研究了情景块MDP中的模型估计和无奖励学习问题。在这些MDP中，决策者可以访问从少量潜在状态生成的丰富观察或上下文。我们首先感兴趣的是基于在固定行为策略下生成的数据来估计潜在状态解码函数（从观察到潜在状态的映射）。我们推导出一个信息理论上的出错率估计这个函数的下限，并提出了一个算法接近这个基本限制。反过来，我们的算法还提供了MDP的所有组件的估计。然后，我们研究的问题，学习近最优的政策在无奖励的框架。基于我们高效的模型估计算法，我们表明，我们可以推断出一个政策收敛（收集的样本的数量越来越大）的最佳政策在尽可能好的速度。有趣的是，我们的分析提供了必要和充分的条件下，利用块结构产生的样本复杂性的改进，以确定接近最优的政策。当满足这些条件时，极小极大无奖励设置中的样本复杂度通过乘法因子$n$来改进，其中$n$是可能的上下文的数量。
2023-02-24 cs.LG math.ST stat.ML
How well can we estimate a sparse vector?
线性模型中稀疏向量的估计是信号处理、统计学和压缩感知中的一个基本问题。本文建立了一个下界的均方误差，它持有无论使用的传感/设计矩阵，无论估计过程。该下限非常接近于通过对稀疏向量进行随机投影，然后进行$\ell_1$估计过程（例如Dantzig选择器）而获得的已知上限。从这个意义上说，压缩感测技术本质上不能被改进。
2013-03-01 cs.IT math.IT math.ST
Robust Mean Estimation on Highly Incomplete Data with Arbitrary Outliers
Stanford University（斯坦福大学）
我们研究的问题，稳健估计的平均值的$d$维分布给定$N$的例子，其中大多数坐标的每个例子可能会丢失和$\varepsilon N$的例子可能会被任意损坏。假设每个坐标出现在一个恒定的因素比$\varepsilon N$的例子，我们显示的算法，估计的平均值的分布与信息理论上的最佳尺寸无关的误差保证在近线性时间$\widetilde O(Nd)$。我们的研究结果扩展了最近的工作计算效率的鲁棒估计，更广泛适用的不完全数据设置。
2021-05-03 cs.DS cs.LG math.ST
High-dimensional estimation with missing data: Statistical and computational limits
Department of Data Sciences and Operations, University of Southern California（数据科学与运营系，南加州大学）；Department of Statistics and Data Science, Carnegie Mellon University（统计与数据科学系，卡内基梅隆大学）；Department of Computer Science, Stanford University（计算机科学系，斯坦福大学）
研究在数据缺失情况下高维参数估计的统计与计算限制，证明在均值估计中需大量样本才能达到误差要求，而计算高效算法难以达到此下限，但在线性回归中则可近似达到信息论下限。
2026-03-17 cs.DS cs.LG math.ST
Robust Estimation for Random Graphs
研究了Erdens-Rényi随机图在$n$节点上的参数$p$的鲁棒估计问题，其中$γ$部分节点可能是不利损坏的.在显示的不足之处的典型估计，我们设计了一个计算效率的谱算法估计$p$的准确度$\tilde O(\sqrt{p(1-p)}/n + γ\sqrt{p(1-p)} /\sqrt{n}+ γ/n)$为$γ< 1/60$。此外，我们给出了一个低效的算法，具有类似的精度为所有$γ<1/2$，信息理论的限制。最后，我们证明了一个近似匹配的统计下界，表明我们的算法的误差是最佳的对数因子。
2022-02-15 cs.DS cs.IT math.IT
