Robust and Tuning-Free Sparse Linear Regression via Square-Root Slope
针对高维稀疏线性回归中的对抗污染与重尾噪声，提出改进的 Square-Root Slope 凸估计量，实现匹配 minimax 下界、自适应稀疏度与方差且计算可行的稳健估计。
2023-12-08 math.ST stat.TH
Totally Concave Regression
本文提出基于总凹性的多变量形状约束回归方法，以解决高维数据中的过拟合问题，同时保留协变量交互作用并提高收敛效率。
2025-11-28 math.ST stat.ME stat.TH
Robust Multi-dimensional Model Order Estimation Using LineAr Regression of Global Eigenvalues (LaRGE)
在实际应用中，如果观测到的低秩数据被加性噪声所破坏，则有效地估计近似模型阶数是非常重要的。本文提出了一种基于全局特征值线性回归（LaRGE）的多维低秩数据模型阶估计的鲁棒方法。LaRGE方法使用从测量张量的HOSVD获得的多线性奇异值来构造全局特征值。与也利用噪声特征值的近似指数分布的修正指数检验（EFT）相比，LaRGE不需要计算虚警概率。此外，LaRGE实现了显着改善的性能相比，流行的国家的最先进的方法。它非常适合于生物医学数据的分析。LaRGE方法的优良性能说明通过模拟和EEG记录获得的结果。
2021-10-06 eess.SP stat.ME
High-Dimensional Sparse Additive Hazards Regression
删失生存数据的高维稀疏建模具有重要的实际意义，例如在高通量基因组数据分析和信用风险分析中的现代应用。本文结合非凹惩罚似然方法和伪得分方法，提出了一类可加风险模型中同时变量选择和估计的正则化方法.在一个高维的设置中，维度可以快速增长，多项式或非多项式，与样本量，我们建立了弱预言性质和预言性质下温和的，可解释的条件，从而提供了强有力的性能保证所提出的方法。此外，我们表明，$L_1$方法所需的正则条件大大放宽了一定的一类稀疏诱导凹处罚。因此，凹惩罚，如平滑剪切绝对偏差（SCAD），最小最大凹惩罚（MCP），和计数和绝对偏差的平滑积分（SICA）可以显着改善的$L_1$方法，并产生更稀疏的模型具有更好的预测性能。我们提出了一个坐标下降算法的有效实施，并严格调查其收敛性。仿真研究和实际数据的例子证明了所提出的方法的实用性和有效性。
2012-12-26 math.ST stat.ME stat.TH
Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data
UC Berkeley（伯克利大学）；Stanford University（斯坦福大学）
本文证明两层神经网络在含噪标签和良好分离的类条件对数凹分布下，通过梯度下降训练可实现零训练误差并达到极小极大最优测试误差，首次在完全非线性模型与学习动态下建立了良性过拟合理论。
2025-07-02 cs.LG math.ST stat.ML
Empirical study of periodic autoregressive models with additive noise -- estimation and testing
针对受加性噪声污染的有限方差PAR时间序列，本文提出四种基于Yule-Walker方程和自协方差函数的估计方法，并构建模型检验程序，通过仿真和空气质量数据验证其有效性。
2024-03-12 math.ST stat.ME stat.TH
Log-Concave and Multivariate Canonical Noise Distributions for Differential Privacy
典型噪声分布（CND）是被设计为满足$f$ -差分隐私（$f$ -DP）而没有任何浪费的隐私预算的附加机制。$f$ -DP是一种基于假设检验的隐私公式，根据权衡函数进行措辞，它捕获了假设检验的难度。在本文中，我们考虑对数凹CND和多元CND的存在性和构造。对数凹分布对于确保机制的较高输出对应于较高输入值是重要的，而多变量噪声分布对于确保多个输出的联合发布具有紧密的隐私特性是重要的。我们发现，这两种类型的问题的CND的存在和建设有关的权衡功能是否可以分解的功能组成（有关组隐私）或机制组成。特别是，我们表明，纯$ε$ -DP不能以任何方式分解，既没有对数凹CND也没有任何多元CND $ε$ -DP。另一方面，我们证明了Gaussian-DP，$(0,δ)$ -DP和Laplace-DP都有对数凹和多元CND。
2022-10-05 cs.CR math.ST stat.TH
Distributed Sparse Normal Means Estimation with Sublinear Communication
Weizmann Institute of Science（魏茨曼科学研究所）
本文研究了在通信受限的分布式环境下的稀疏正态均值估计问题。我们假设有$M$机器，每个机器都持有被加性高斯噪声破坏的$K$稀疏向量$μ$的$d$维观测。$M$机器以星形拓扑连接到融合中心，融合中心的目标是以低通信预算估计矢量$μ$。以前的工作已经表明，为了实现$\ell_2$风险的集中式极大极小化率，总的通信必须是高的-至少在维度$d$上是线性的。然而，这种现象发生在非常弱的信号下。我们表明，在信号噪声比（SNR）是足够高的-但不足以恢复任何单独的机器-支持$μ$可以正确地恢复与显着较少的通信。具体来说，我们提出了两个算法的稀疏均值向量的分布估计高斯或亚高斯噪声损坏。然后，我们证明，在一定的SNR阈值以上，以高概率，这些算法恢复正确的支持与总的通信是次线性的维度$d$。此外，通信作为信号强度的函数呈指数下降。如果除了$KM\ll \tfrac{d}{\log d}$，然后与一个额外的一轮次线性通信，我们的算法实现了集中率的$\ell_2$的风险。最后，我们提出了模拟，说明我们的算法在不同的参数制度的性能。
2022-02-14 cs.IT cs.LG math.IT
A Lower Bound on the Estimator Variance for the Sparse Linear Model
研究了基于线性变换和加性高斯白噪声的观测值的稀疏非随机向量估计的性能。利用再生核希尔伯特空间框架，对给定的可微偏置函数（包括无偏情况）和几乎任意的变换矩阵（包括压缩感知理论中考虑的欠定情况），给出了估计方差的一个新的下界.对于稀疏向量被高斯白噪声破坏的特殊情况，即，在没有线性变换和无偏估计的情况下，我们的下界改进了先前提出的界。
2010-09-17 cs.IT math.IT math.ST
Identifiable Convex-Concave Regression via Sub-gradient Regularised Least Squares
本文提出ICCNLS方法，通过正交约束和次梯度正则化实现凸-凹分解的可识别非参数回归，在合成与真实数据上提升预测精度和模型简洁性。
2026-09-29 cs.LG math.ST stat.AP
Variable Selection for Additive Global Fréchet Regression
针对一般度量空间响应的Fréchet回归问题，提出基于RKHS的加性回归模型，通过平方距离转换和Elastic Net及SCAD惩罚实现变量选择，具备强预言机性质，为非欧几里得数据分析提供了理论基础。
2025-09-17 math.ST stat.ME stat.TH
Polynomial Transformation Method for Non-Gaussian Noise Environment
本文研究了非高斯噪声环境下的信号处理。对于许多现实生活中的情况下，存在于系统中的加性噪声过程被发现是占主导地位的非高斯。检测和估计被非高斯噪声污染的信号的问题很难在数学上跟踪。本文提出了一种新的非高斯噪声中信号的最优检测和估计方法。它表明，预处理数据的正交多项式逼近与最小误差方差准则转换成一个近似误差过程，这是接近高斯的加性非高斯噪声过程。利用Monte Carlo模拟方法对基于序列双相干的高斯假设进行了验证。利用直方图检验和峰度检验对高斯假设进行了验证。
2014-01-22 cs.CE math.ST stat.TH
Sparse covariance matrix estimation in high-dimensional deconvolution
研究了在加性噪声污染的$n$独立观测值下，$p$维正态随机向量的协方差阵$Σ$的估计问题.对噪声的分布只作一般的非参数假设，而对其协方差阵没有任何稀疏性约束。在这个高维半参数反卷积问题中，我们提出了自适应的$Σ$的稀疏性的谱阈值估计。我们建立了一个预言不等式，这些估计下的模型miss规格，并获得非渐近极小极大收敛速度，证明是对数的$n/\log p$。我们还讨论了基于间接观测的低秩矩阵的估计以及对椭圆分布的推广。数值例子说明了阈值估计的有限样本性能。
2018-03-26 math.ST stat.ME stat.TH
Entrywise Estimation of Singular Vectors of Low-Rank Matrices with Heteroskedasticity and Dependence
本文提出了一种高维低秩矩阵奇异向量的估计方法，其中噪声矩阵允许行内相关和行间异方差.我们证明有限样本$\ell_{2,\infty}$界和Berry-Esseen定理的估计的各个条目，我们将这些结果应用到高维混合模型。我们的Berry-Esseen定理清楚地显示了信号矩阵，噪声的协方差结构和奇异向量估计任务中的误差分布之间的几何关系。这些结果在数值模拟中得到了说明。与以前的结果不同，这种类型的结果依赖于高斯性或加性噪声条目之间的独立性的假设，处理这些结果的证明中条目之间的依赖性需要仔细的留一分析和条件参数。我们的结果只依赖于信噪比，样本量，和信号矩阵的频谱特性。
2022-09-13 math.OC math.SP math.ST
