Infinitely imbalanced binomial regression and deformed exponential families
如果二进制响应趋于无穷不平衡，则已知逻辑斯谛回归模型收敛到泊松点过程模型。在本文中，这一现象是普遍的，在一个广泛的一类链接函数的二项式回归。证明依赖于极值理论。对于logit、probit和互补log-log连接函数，点过程的强度测度成为指数族。对于其他一些链接函数，变形指数族出现。提出了Poisson点过程模型的惩罚极大似然估计。
2013-04-21 math.ST stat.ML stat.TH
Predictive Model Degrees of Freedom in Linear Regression
过参数插值模型在机器学习领域受到越来越多的关注。最近的一些研究表明，正则化插值模型可以很好地推广。这种现象似乎与传统观点相矛盾，即插值往往会过拟合数据，并且在测试数据上表现不佳。此外，它似乎违背了偏差-方差权衡。经典的模型自由度概念侧重于样本内预测误差的估计，无法解释插值模型间的内在差异，这是现有理论的不足之一。这激发了模型复杂性的另一种测量方法，该方法可以区分这些插值模型并考虑不同的测试点。特别是，我们提出了一个措施，适当的调整的基础上的预测和观测之间的平方协方差。我们用最小二乘方法分析了该测度的一些有趣性质，这些性质可以使“双下降”现象与经典理论相一致。这为现代预测环境中模型自由度的扩展定义打开了大门。
2022-07-01 math.ST stat.TH
Benign Overfitting in Linear Regression
UC Berkeley（加州大学伯克利分校）；Google（谷歌）；Pompeu Fabra University（庞培法布拉大学）；ICREA（加泰罗尼亚研究与高等教育学院）；Barcelona Graduate School of Economics（巴塞罗那经济学研究生院）
良性过拟合现象是深度学习方法学揭示的关键奥秘之一：深度神经网络似乎预测得很好，即使与嘈杂的训练数据完美拟合。受此现象的启发，我们考虑在线性回归中，何时对训练数据的完美拟合与准确预测兼容。本文给出了线性回归问题的一个特征，使得最小范数插值预测规则具有接近最优的预测精度。的表征是在数据协方差的有效秩的两个概念。它表明，过度参数化是必不可少的良性过拟合在这种情况下：参数空间中的方向的数量是不重要的预测必须显着超过样本量。通过研究数据协方差特性的示例，该特性表明良性过拟合所需的数据协方差特性，我们发现有限维数据的重要作用：当数据位于无限维空间中时，与当数据位于有限维空间中时相比，最小范数内插预测规则的准确度接近数据分布的属性的窄得多的范围的最佳可能准确度，维度的增长速度快于样本量。
2020-01-29 cs.LG math.ST stat.ML
Non-crossing convex quantile regression
针对凸分位数回归中的分位数交叉问题，本文提出惩罚凸分位数回归方法，在避免交叉的同时保持分位数性质，蒙特卡洛实验验证其优越性。
2022-04-04 stat.AP stat.ME
Determination of the Representative Sample Size in Linear Regression
本文针对线性回归中假设模型与真实模型偏差导致的样本精度差异问题，提出了包含自变量及其函数的近似级数选择方法，以确定代表性样本量。
2026-08-07 math.ST stat.TH
Estimation of a semiparametric contaminated regression model
本文考虑了一类污染回归模型，其中污染分量的分布是已知的，而回归模型的欧氏参数、噪声分布、污染率和设计数据的分布都是未知的。我们的模型被认为是半参数的意义上，密度函数（pdf）的回归模型中涉及的噪声不应该属于一个参数密度家庭。当噪声和污染现象的概率密度函数关于零对称时，我们提出了模型的各种参数（Euclidean和functional）的估计，并在较弱的条件下证明了其收敛性。我们证明，特别是，在技术条件下都满足高斯的情况下，该模型的欧几里得部分估计的速度$o_{a.s}(n-1/4+γ), $ γ> 0$。我们记得，正如Bordes和Vandekerkhove（2010）所指出的，这个结果不能被忽略，以便在这类模型的渐近理论中更进一步。最后，我们的方法的实施和数值性能的几个玩具的例子进行了讨论。
2011-11-09 math.ST stat.TH
High-dimensional analysis of double descent for linear regression with random projections
Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们考虑线性回归问题与不同数量的随机投影，我们证明表现出一个固定的预测问题的双下降曲线，高维分析的基础上随机矩阵理论。我们首先考虑岭回归估计和审查早期的结果，使用经典的概念，从非参数统计，即自由度，也被称为有效维数。然后，我们计算渐近等价的泛化性能（在平方偏差和方差方面）的最小范数最小二乘拟合与随机投影，提供简单的表达式的双下降现象。
2023-03-14 cs.LG stat.ML
Functional Linear Regression with Mixed Predictors
我们研究了一个功能性线性回归模型，该模型处理功能性反应，并允许功能性协变量和高维向量协变量。该模型是灵活的，嵌套在文献中的几个功能回归模型作为特殊情况。基于再生核希尔伯特空间（RKHS）理论，提出了一种能适应离散样本点上函数变量观测值的惩罚最小二乘估计。除了传统的光滑惩罚，一组拉索型惩罚进一步施加诱导稀疏的高维向量预测。我们推导出有限样本的理论保证，并表明我们的估计量的超额预测风险是最小最大最优的。此外，我们的分析揭示了一个有趣的相变现象，最优超额风险的光滑性和稀疏性的功能回归系数共同决定。设计了一种新的基于迭代坐标下降的高效优化算法，以同时处理光滑性和组惩罚。仿真研究和实际数据的应用说明了所提出的方法相比，在文献中的最先进的方法有前途的性能。
2022-08-23 math.ST stat.ME stat.TH
Online Nonparametric Regression with General Loss Functions
University of Pennsylvania（宾夕法尼亚大学）；Cornell University（康奈尔大学）
本文建立了具有任意函数类和一般损失的在线回归的极大极小率。我们表明，低于一定的阈值的函数类的复杂性，极大极小率取决于曲率的损失函数和顺序的复杂性的类。在这个阈值之上，损失的曲率不影响费率。此外，对于平方损失的情况，我们的结果指出了有趣的现象：无论何时序列和i.i.d.经验熵匹配，统计和在线学习的比率是相同的。除了极大极小遗憾的研究，我们得到一个通用的预测，享有既定的最佳利率。我们还提供了设计在线预测算法的方法，这些算法对于某些问题可以在计算上高效。我们说明的技术，通过现有的和新的预测有限的专家和在线线性回归的情况下。
2015-01-26 cs.IT cs.LG math.IT
Optimal heteroskedasticity testing in nonparametric regression
本文从极小极大视角研究非参数回归异方差检验问题，确立了不同光滑性假设与噪声条件下的精确极小极大分离率，并提出基于一阶平方差分的核统计量实现最优检验，揭示了噪声信息对一致检验的必要性。
2024-12-09 math.ST stat.ME stat.TH
Explanation of multicollinearity using the decomposition theorem of ordinary linear regression models
在多元线性回归模型中，分解定理的代数公式用几何学解释了一元回归系数和偏回归系数之间的关系。结果表明，一元回归系数可按最小二乘法分解为各自的偏回归系数。利用分解定理分析了复共线性。研究还表明，重要解释变量的偏回归系数不显著是一种样本现象，但符号期望偏离的原因可能是被解释变量与解释变量之间的总体结构或样本选择的结果。目前诊断多重共线性的一些方法只考虑了解释变量之间的相关性，因此这些方法基本上是不可靠的，在没有区分原因之前，处理多重共线性是盲目的。样本量的增加可以帮助识别多重共线性的原因，差分法可以起到辅助作用。
2021-04-30 stat.ME
Logistic Regression Equivalence: A Framework for Comparing Logistic Regression Models Across Populations
在本文中，我们讨论了如何评估拟合的逻辑斯谛回归模型之间的差异在不同的亚群体。我们激励的例子是在学习障碍的计算机化诊断研究中，基于性别的子人群可能需要也可能不需要单独的模型。在这种情况下，对总体之间没有差异的假设进行显著性检验可能会提供不正当的激励，因为较大的方差和较小的样本会增加不拒绝零的概率。我们认为，等价性测试的一个预先设定的容忍度水平的人口差异激励准确性的推断。我们开发了一组级联的等效性测试，其中每个测试都解决了模型的不同方面：现象在回归系数中编码的方式、每个示例log比值比中的单个预测以及均方预测误差的总体准确性。对于每一个等价性检验，我们提出了一个策略来设置等价性阈值。使用模拟来验证大样本近似。对于诊断数据，我们展示了等效和非等效模型的示例。
2023-03-23 stat.ME stat.ML
Nonparametric specification for non-stationary time series regression
我们研究了广义似然比检验（GLRT）的行为（范，张和张[安。29（2001）153-193]），其中回归量和误差是非平稳时间序列并且可以互相关。研究发现，在弱相关和非平稳的情况下，广义似然比保持了局部选择检测的极大极小率。然而，在一般情况下，Wilks现象以及经典的残差自助法是敏感的条件异方差的错误，非平稳性或时间依赖性。平均测试建议，以减轻带宽的选择测试的敏感性，并示出比基于单一带宽的测试更强大。提出了一种可供选择的自举方法，并证明了该方法在对非平稳时间序列的时变系数模型进行推断时是一致的。
2014-02-04 math.ST stat.TH
Covariate shift in nonparametric regression with Markovian design
本文研究非参数回归中的协变量偏移问题，将独立同分布数据的收敛速率结果扩展到马尔可夫依赖结构，证明Nadaraya-Watson估计器的泛化风险收敛速率由源和目标马尔可夫链平稳分布的相似性决定，并推导了有限和谱隙马尔可夫链的精确速率。
2023-07-17 math.ST stat.ML stat.TH
Linear Regression, Covariate Selection and the Failure of Modelling
有人认为，所有基于模型的方法来选择协变量的线性回归都失败了。这适用于基于P值的频率论方法和贝叶斯方法，尽管原因不同。在第一部分的文件13模型为基础的程序相比，无模型的高斯协变量的程序中所选择的协变量和所需的时间。比较是基于七个数据集和三个模拟。这些数据集并没有什么特别之处，它们经常被用作文献中的示例。所有基于模型的程序都失败了。在本文的第二部分，有人认为，这种失败的原因是一个模型的使用。如果模型涉及所有可用的协变量，则可以使用标准P值。在这种情况下，P值的使用非常简单。一旦模型只指定了协变量的某个未知子集，问题就在于识别这个子集，情况就发生了根本性的变化。有许多P值，它们是依赖的，大多数是无效的。基于P值的方法崩溃了。贝叶斯范式也假设了一个正确的模型，但尽管大量的协变量没有概念上的问题，但即使对于中等大小的数据集，也会产生相当大的开销，导致计算和分配问题。高斯协变量程序基于P值，P值定义为随机高斯协变量优于所考虑协变量的概率。这些P值在任何情况下都是准确和有效的。的分配要求和算法的复杂性都是线性的数据的大小，使程序能够处理大的数据集。它在各方面都优于其他所有程序。
2022-02-22 stat.ME
Harmonic Map Regression: Rate-Optimal Nonparametric Estimation on Manifolds with Topological Recovery
University at Buffalo（布法罗大学）
本文提出调和映射回归方法，通过狄利克雷能量惩罚实现流形上非参数估计，揭示拓扑恢复现象，推导出Sobolev阶s的最小最大速率，并在多个流形上验证理论有效性。
2026-04-10 math.ST stat.ME stat.TH
On the Optimal Weighted $\ell_2$ Regularization in Overparameterized Linear Regression
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Columbia University（哥伦比亚大学）
我们考虑线性模型$\mathbf{y} = \mathbf{X} \mathbfβ_\star + \mathbfε$，其中$\mathbf{X}\in \mathbb{R}^{n\times p}$处于超参数化状态$p>n$。我们通过广义（加权）岭回归估计$\mathbfβ_\star$：$\hat{\mathbfβ}_λ= \left(\mathbf{X}^T\mathbf{X} + λ\mathbfΣ_w\right)^\dagger \mathbf{X}^T\mathbf{y}$，其中$\mathbfΣ_w$是加权矩阵。根据随机设计设置与一般数据协方差$\mathbfΣ_x$和各向异性的前真实系数$\mathbb{E}\mathbfβ_\star\mathbfβ_\star^T = \mathbfΣ_β$，我们提供了一个精确的表征的预测风险$\mathbb{E}(y-\mathbf{x}^T\hat{\mathbfβ}_λ)^2$的比例渐近极限$p/n\rightarrow γ\in (1,\infty)$。我们的一般设置导致了一些有趣的发现。我们概述了精确的条件，决定的最佳设置$λ_{\rm opt}$的脊参数$λ$的符号，并确认隐含的$\ell_2$正则化效应的overparameterization，这在理论上证明了令人惊讶的经验观察，$λ_{\rm opt}$可以是…
2020-11-03 cs.LG math.ST stat.ML
Regression for the Mean: Auto-Evaluation and Inference with Few Labels through Post-hoc Regression
Columbia University（哥伦比亚大学）；Google DeepMind（谷歌DeepMind）
本文针对少标签场景下PPI++推断性能退化问题，通过回归视角分析原因，并提出两种基于稳健回归的新PPI技术以降低估计方差。
2025-07-08 cs.LG stat.ML
Bayesian binary quantile regression for the analysis of Bachelor-Master transition
现代大学系统的多周期组织激发了人们在学术生涯中学习高级学位课程的兴趣。特别是，在获得第一级资格（学士学位）后，学生必须决定是否继续大学学习，参加第二级（硕士）课程，或结束培训经历。在这项工作中，我们提出了一个二进制分位数回归的方法来分析学士-硕士过渡现象，采用贝叶斯推理的角度。除了传统的学术成果的预测因素，如个人特征和研究领域，学生的表现的不同方面被认为是。此外，一个新的上下文变量，表明大学规章的类型，被考虑在模型规范。贝叶斯二进制分位数回归的效用，以表征不连续的决定后，第一个周期的研究说明与应用程序的本科毕业生在罗马大学经济学院的行政数据，并与更传统的逻辑斯谛回归方法相比。
2015-12-04 stat.AP
Privacy Amplification Through Synthetic Data: Insights from Linear Regression
Craft AI；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Université de Montpellier（蒙彼利埃大学）；INSERM（法国国家健康与医学研究院）
本文通过线性回归框架研究合成数据的隐私放大效应，证明对手控制种子时单点合成数据可泄露与模型同等信息，而随机输入生成有限合成数据点则能放大隐私，为推导更一般界限奠定基础。
2025-06-05 cs.CR cs.LG stat.ML
Asymptotics of Linear Regression with Linearly Dependent Data
University of Pennsylvania（宾夕法尼亚大学）
本文针对非高斯线性相关数据的高维线性回归场景，证明高斯普适性定理并通过不动点方程刻画估计误差，分析相关数据下的最优正则化等问题，仿真验证了理论预测。
2024-12-07 cs.LG cs.SY eess.SY
Linear regression and its inference on noisy network-linked data
网络关联观测值的线性回归是利用附加网络结构对响应和协变量之间的关系进行建模的重要工具。以前的方法要么缺乏推理工具，要么依赖于对社会效应的限制性假设，并且通常假设网络被观察到没有错误。本文提出了一个具有非参数网络效应的回归模型。该模型不假设关系数据或网络结构被精确观察，并且可以证明对网络扰动具有鲁棒性。在网络观测误差的一般要求下，建立了渐近推理框架，并在特定的环境下，研究了误差来源于随机网络模型时，该方法的鲁棒性。我们发现了一个相变现象的推理有效性有关的网络密度时，没有先验知识的网络模型是可用的，同时也显示出一个显着的改善，通过知道网络模型。仿真研究进行了验证这些理论结果，并证明了所提出的方法的优势，现有的工作在不同的数据生成模型下的精度和计算效率。然后，将该方法应用于中学生的网络数据，研究教育研讨会在减少学校冲突的有效性。
2022-08-19 stat.ME
Scalable Function-on-Scalar Quantile Regression for Densely Sampled Functional Data
针对密集采样高维函数型数据，提出基于分布式策略的可扩展函数型分位数回归方法，推导相关理论性质并验证其有效性。
2023-11-07 stat.ME
Distribution Free Uncertainty for the Minimum Norm Solution of Over-parameterized Linear Regression
Tel Aviv University（特拉维夫大学）
学习理论的一个基本原则是，在预测规则的复杂性和它的泛化能力之间存在一个权衡。现代的机器学习模型并不遵循这种范式：即使与训练集完美拟合，它们也会产生准确的预测。我们研究过参数化线性回归模型，重点是最小范数解：这是具有最小范数的解，可以完美拟合训练集。我们利用最近提出的预测归一化最大似然（pNML）的学习者，这是最小-最大遗憾的解决方案的分布自由设置。我们推导出这个最小-最大遗憾，这是与预测的不确定性的上限。我们发现，如果测试样本主要是在一个子空间中的特征向量与大的特征值的经验相关矩阵的训练数据，该模型的推广，尽管其过参数化的性质。我们展示了使用pNML遗憾作为合成数据上的逐点可学习性度量，并成功地观察到UCI数据集上的过参数化模型的双下降现象。
2021-06-17 cs.LG stat.ML
Online Forgetting Process for Linear Regression Models
Purdue University（普渡大学）
针对欧盟“被遗忘权”法规下的数据删除问题，本文提出在线遗忘算法FIFD-OLS与FIFD-Adaptive Ridge，后者通过在线正则化有效抵消删除不确定性，并在理论上给出遗憾上界，实验证明其优于固定正则化的岭回归。
2020-12-03 cs.LG stat.ML
Design admissibility and de la Garza phenomenon in multi-factor experiments
对于给定的回归问题，确定最优设计是一个复杂的最优化问题，特别是对于具有多变量预测的模型。设计容许性和不变性是降低最优化问题复杂性的主要工具，并已成功地应用于单变量预测模型。特别是几位作者已经开发了饱和设计在单变量模型中存在的充分条件，其中最优设计的支持点的数量等于参数的数量。这些结果推广了著名的de la Garza现象（de la Garza，1954），即对于次数为$p-1$的多项式回归模型，任何最优设计都可以基于至多$p$点。本文提供了-第一次-扩展这些结果的模型与多变量预测。特别是，我们研究了一个最优设计的支持点的几何特征，以提供充分条件的de la Garza现象的发生在模型中的多元预测和特性的容许设计在条件单变量回归模型中的容许设计。
2020-03-20 math.ST stat.TH
Minimax risks for sparse regressions: Ultra-high-dimensional phenomenons
考虑标准高斯线性回归模型$Y=Xθ+ε$，其中$Y\in R^n$是响应向量，$ X\in R^{n*p}$是设计矩阵。当$p$比$n$大得多时，大量的工作致力于建立有效的$θ$估计。在这种情况下，经典的方法相当于假设$θ_0$是近似稀疏的。本文研究了$k$ -稀疏向量类$θ$的极小极大风险估计和检验问题.这些界限揭示了由于高维的限制。结果包括预测问题（$Xθ$的估计）、逆问题（$θ_0$的估计）和线性检验（$Xθ=0$的检验）。有趣的是，当变量$k\log(p/k)$的数量与$n$相比变大时，会发生肘效应。事实上，极大极小风险和假设间隔距离在这个超高维度的环境中爆炸了。我们还证明，即使是降维技术不能提供令人满意的结果在超高的维度设置。此外，当噪声方差未知时，我们计算了极大极小风险。该方差的知识被证明在估计和测试的最佳速率中起着重要的作用。所有这些极大极小的界限提供了一个统计问题，是如此困难，以至于没有程序可以提供令人满意的结果的表征。
2012-01-24 math.ST stat.TH
Joint asymptotics for semi-nonparametric regression models with partially linear structure
我们考虑一个联合渐近框架研究半非参数回归模型，其中（有限维）欧几里德参数和（无限维）功能参数都感兴趣。考虑的模型类共享一个部分线性结构，并在两个一般情况下估计：（i）准似然和（ii）真似然。我们首先证明了欧氏估计和（逐点）功能估计，这是重新缩放在不同的速率，共同收敛到一个零均值高斯向量。这个弱收敛结果揭示了一个令人惊讶的联合渐近现象：这两个估计是渐近独立的。本文的一个主要目标是获得第一手的洞察上述现象。此外，一个似然比测试提出了一组联合本地的假设，其中一个新版本的威尔克斯现象[安。9（1938）60-62; Ann. Statistist. 1（2001）153-193]已公布。一种新的技术工具，称为联合Bahadur表示，开发研究这些联合渐近的结果。
2015-06-03 math.ST stat.TH
On a synergistic learning phenomenon in nonparametric domain adaptation
本文研究了非参数领域自适应中源数据与目标数据协同学习现象，发现联合使用数据可提升回归函数估计的收敛速率。
2025-11-21 math.ST stat.TH
Just Interpolate: Kernel "Ridgeless" Regression Can Generalize
University of Chicago, Booth School of Business（芝加哥大学布斯商学院）；Massachusetts Institute of Technology（麻省理工学院）
在没有显式正则化的情况下，具有非线性核的核“无岭”回归具有完美拟合训练数据的潜力。然而，根据经验观察到，这种插值解仍然可以很好地概括测试数据。我们隔离的最小范数插值的解决方案，这是由于高的输入数据的维数，曲率的核函数，和有利的几何性质的数据，如经验协方差和核矩阵的特征值衰减的组合的隐式正则化的现象。除了导出一个依赖于数据的样本外误差的上界，我们提出了实验证据表明，这种现象发生在MNIST数据集。
2019-02-08 cs.LG math.ST stat.ML
Spectrum of inner-product kernel matrices in the polynomial regime and multiple descent phenomenon in kernel ridge regression
本文研究了内积核矩阵的谱，具有条目$h (\langle \textbf{x}_i ,\textbf{x}_j \rangle/d)$的$n \times n$矩阵，其中$( \textbf{x}_i)_{i \leq n}$为i.i.d.~ $\mathbb{R}^d$中的随机协变量。在线性高维政权$n \asymp d$，它表明，这些矩阵很好地近似其线性化，简化成一个重新缩放的Wishart矩阵和单位矩阵的总和。在本文中，我们推广这种分解的多项式高维政权$n \asymp d^\ell,\ell \in \mathbb{N}$，数据均匀分布的球体和超立方体。在这种情况下，核矩阵通过其次数- $\ell$多项式近似很好地近似，并且可以分解成低秩尖峰矩阵、单位和具有条目$Q_\ell (\langle \textbf{x}_i , \textbf{x}_j \rangle)$的“Gegenbauer矩阵”，其中$Q_\ell$是次数- $\ell$ Gegenbauer多项式。我们表明，谱的Gegenbauer矩阵收敛于分布的Marchenko-Pastur法律。这个问题是由核岭回归（KRR）在多项式政权$n \asymp d^κ, κ>0$的预测误差的研究。先前的工作表明，对于$κ\not\in \mathbb{N}$，KRR恰好拟合目标函数的次数- $\lfloor κ\rfl…
2022-04-21 math.ST stat.ML stat.TH
On the Asymptotic Learning Curves of Kernel Ridge Regression under Power-law Decay
Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
本文在幂律衰减和更现实假设下严格刻画了核岭回归的学习曲线，揭示正则化参数、源条件与噪声的相互作用，并指出良性过拟合仅在噪声水平较小时出现于极宽神经网络中。
2023-09-23 cs.LG math.ST stat.TH
High Dimensional Robust M-Estimation: Asymptotic Variance via Approximate Message Passing
在最近的一篇文章中（Proc. Natl. Acad.科学，110（36），14557-14562），El Karoui等人研究了在参数p的数量与样本样本个数n具有相同数量级的情况下稳健回归估计量的分布。利用数值模拟和“高度可信”的启发式论证，他们揭示了一个惊人的新现象。也就是说，回归系数包含不能用诸如Fisher信息矩阵的经典概念解释的额外高斯噪声分量。我们在这里表明，这种现象的特点是严格的技术，由作者开发的高维渐近分析拉索估计。我们引入了一个近似的消息传递（AMP）算法来计算M-估计和部署状态演化来评估AMP的操作特性，因此也M-估计。我们的分析澄清，在这个问题中遇到的“额外的高斯噪声”是基本上类似的现象已经研究了正则化最小二乘在设置n<p。
2013-11-15 cs.IT math.IT math.ST
On damage of interpolation to adversarial robustness in regression
本文研究了插值估计器在非参数回归中的对抗鲁棒性，发现插值可能导致估计器在对抗攻击下性能下降。
2026-01-22 cs.LG math.ST stat.ML
Detection boundary in sparse regression
研究了带有高斯噪声的线性回归模型中p维参数稀疏向量的检测问题。我们建立检测边界，即，当样本量n和维数p都趋于无穷大时，成功检测的可能性的充要条件。测试程序，实现这一边界也展出。我们的结果包括高维设置（p>> n）。主要的信息是，在某些条件下，已被证明的高斯序列模型的检测边界现象，扩展到高维线性回归。最后，当噪声方差未知时，我们建立检测边界。有趣的是，检测边界有时取决于高维环境中的方差知识。
2010-09-09 math.ST stat.TH
High-Dimensional Regression with Binary Coefficients. Estimating Squared Error and a Phase Transition
We consider a sparse linear regression model Y=Xβ^{*}+W where X has a Gaussian entries, W is the noise vector with mean zero Gaussian entries, and β^{*} is a binary vector with support size (sparsity) k. Using a novel conditional second moment method we obtain a tight up to a multiplicative constant approximation of the optimal squared error \min_β \|Y-Xβ\|_{2}, where the minimization is over all k-sparse binary vectors β. The approximation reveals interesting structural properties of the underlying regression problem. In particular, a) We establish that n^*=2k \log p/ \log (2k/σ^{2}+1) is a p…
2019-09-25 math.PR math.ST stat.ML
Divide and Conquer in Non-standard Problems and the Super-efficiency Phenomenon
我们研究了如何分而治之的原则--分区的可用数据到子样本，从每个子样本计算估计，并结合这些适当地形成最终的估计--在非标准的问题，收敛速度通常慢于$\sqrt{n}$和极限分布是非高斯，特别强调单调回归函数的最小二乘估计（及其逆）。我们发现，通过对互斥子样本的非标准估计进行平均得到的合并估计量在逐点推断的意义上优于基于整个样本的非标准估计量。我们还表明，在适当的条件下，如果允许子样本的数量以适当的速率增加，合并估计量是渐近正态分布的方差是经验估计的子样本水平的估计。此外，在单调函数估计的背景下，我们表明，这种逐点效率的增益是有代价的-合并估计的性能，在统一的意义上（最大风险）超过一类模型的子样本的数量增加，导致一个版本的超效率现象。在这个过程中，我们开发的分析结果的顺序的偏差在保序回归，这是独立的利益。
2016-11-17 math.ST stat.ME stat.TH
Prediction Suboptimality of the Lasso in Sparse Linear Regression
Waseda University（早稻田大学）
研究Lasso在高维线性回归中选择调参方式时的预测性能次优问题，发现通过简单改进可在高概率事件和均方误差上提升性能，分析了高斯极大值在选定或局部化支撑上的作用，并讨论了设计矩阵结构因素对次优现象的影响及扩展至其他估计器和更一般噪声结构的可能性。
2026-05-18 math.ST stat.ME stat.TH
