SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression
Google Research（谷歌研究院）；Google Health（谷歌健康）
逻辑斯谛回归仍然是应用统计学、机器学习和数据科学中使用最广泛的工具之一。然而，在中等高维的问题，其中的功能$d$的数量是一个不可忽略的部分的样本大小$n$，逻辑斯谛回归最大似然估计（MLE），和统计程序的基础上，其分布的大样本近似，表现不佳。最近，Sur和Candès（2019）表明，这些问题可以通过在这个高维区域中应用MLE采样分布的新近似来纠正。不幸的是，这些校正在实践中难以实现，因为它们需要\emph{signal strength}的估计，\emph{signal strength}是逻辑斯谛回归的基础参数$β$的函数。为了解决这个问题，我们提出了SLOE，一个快速和直接的方法来估计信号强度的逻辑斯谛回归。SLOE的关键见解是，Sur和Candès（2019）校正可以根据\emph{corrupted signal strength}重新参数化，\emph{corrupted signal strength}仅是估计参数$\widehat β$的函数。我们提出了这个量的估计，证明它是一致的，在相关的高维制度，并表明使用SLOE的维数校正是准确的有限样本。与现有的ProbeFrontier启发式相比，SLOE在概念上更简单，速度更快，适合日常使用。我们证明了常规维度校正的重要性，在心脏病数据集从UCI存储库，和基因组学应用程序使用的数据从英国生物银行。我们为这种方法提供了一个…
2021-05-25 cs.LG math.ST stat.ML
Exact results on high-dimensional linear regression via statistical physics
很明显，传统的统计推断协议需要修改，以正确处理现在常见的高维数据。最近的研究旨在实现这一修订依赖于强大的近似技术，要求严格的结果，他们可以进行测试。在这种情况下，最简单的情况下，高维线性回归已获得重大的新的相关性和关注。在本文中，我们使用统计物理的角度推断，推导出一些新的精确结果线性回归在高维制度。
2021-04-06 cond-mat.dis-nn math.ST stat.TH
Divide and Conquer Kernel Ridge Regression: A Distributed Algorithm with Minimax Optimal Rates
UC Berkeley（加州大学伯克利分校）
我们建立了最佳的收敛速度的分解为基础的可扩展的方法，核岭回归。该方法描述简单：它随机将大小为N的数据集划分为m个相等大小的子集，为每个子集计算独立的核岭回归估计，然后将局部解平均为全局预测器。与对所有N个样本执行核岭回归的标准方法相比，这种划分导致计算时间大幅减少。我们的两个主要定理建立，尽管计算速度加快，统计最优性被保留：只要m不是太大，分区为基础的估计达到统计最小最大率在所有估计使用N个样本的集合。作为具体的例子，我们的理论保证，处理器的数量m可能会增长接近线性有限秩内核和高斯内核和多项式N为索伯列夫空间，这反过来又允许计算成本大幅降低。最后，我们对模拟数据和音乐预测任务进行了实验，补充了我们的理论结果，展示了我们的方法在计算和统计方面的优势。
2014-04-29 cs.LG math.ST stat.ML
Statistical Inference for High-Dimensional Linear Regression with Blockwise Missing Data
本文针对具有块状缺失协变量和部分观测响应变量的高维线性回归模型，提出基于无偏估计方程和块状插补的高效估计器，并利用创新的投影估计方程技术构建渐近正态的去偏估计器，从而实现有效的置信区间和统计检验，在数值研究和阿尔茨海默病数据分析中优于现有方法。
2023-06-28 math.ST stat.ME stat.ML
Sparse and Robust Linear Regression: An Optimization Algorithm and Its Statistical Properties
研究了响应中含有异常值的稀疏线性回归分析。在标准线性回归模型的基础上增加一个参数向量来表示异常值，从而考虑了系数和异常值的稀疏估计问题。对系数施加$\ell_{1}$惩罚，而对离群值施加包括重降类型惩罚在内的各种惩罚。为了解决稀疏估计问题，我们引入了一个优化算法。在一定的条件下，我们证明了该算法所得到的系数的算法收敛性和统计收敛性。此外，它表明，该算法可以恢复真正的支持度的系数的概率去1。
2015-05-20 math.ST stat.ME stat.TH
Statistically Significant Linear Regression Coefficients Solely Driven By Outliers In Finite-sample Inference
本研究通过R模拟验证单个异常值可使线性回归不显著系数呈现统计显著性，对比稳健Huber回归，分析异常值影响与诊断方法，关联正态性假设并警示仅用p值的风险，梳理回归方法与高斯-马尔可夫定理的关系。
2025-05-19 econ.EM math.ST stat.ME
Non-Asymptotic Guarantees for Robust Statistical Learning under Infinite Variance Assumption
University of Macau（澳门大学）；Zhuhai UM Science & Technology Research Institute（珠海澳大科技研究院）；Peking University（北京大学）
在统计学和机器学习中，对于具有重尾和有界方差数据的模型，人们对开发鲁棒估计器的兴趣激增，而很少有工作施加无界方差。本文提出了两类稳健估计：岭对数截尾M估计和弹性网对数截尾M估计。第一个估计器应用于凸回归，如分位数回归和广义线性模型，而另一个估计器应用于高维非凸学习问题，如通过深度神经网络的回归。模拟和实际数据分析证明了对数截尾估计相对于标准估计的稳健性。
2022-10-11 cs.LG math.ST stat.ML
Beyond Covariance Matrix: The Statistical Complexity of Private Linear Regression
本文揭示私有线性回归的统计复杂度由协方差矩阵的 L1 类似物而非协方差矩阵本身刻画，提出信息加权回归方法达到极小极大最优速率，并应用于私有线性上下文赌博机，证明联合隐私几乎无额外代价。
2025-11-05 cs.AI cs.CR cs.LG
Statistical Inference on Panel Data Models: A Kernel Ridge Regression Method
在核岭回归框架下提出了交互固定效应面板数据模型的统计推断方法，与传统的筛法相比，该方法不需要选择基函数和截断参数，模型复杂性由一个连续的正则化参数控制，该参数可以通过广义交叉验证自动选择.基于经验过程理论和泛函分析工具，我们得到了非均匀背景下估计量的联合渐近分布。这些联合渐近的结果，然后使用构造置信区间的回归平均值和预测区间的未来的观察，都是第一个可证明的有效区间在文献中。在齐次背景下，得到了函数估计的边缘渐近正态性。仿真和实际数据分析证明了该方法的优越性。
2017-03-08 math.ST stat.TH
Error analysis of regularized trigonometric linear regression with unbounded sampling: a statistical learning viewpoint
用于函数估计的非参数、基于核的方法的有效性是以高计算复杂性为代价的，这阻碍了它们在自适应、基于模型的控制中的适用性。基于稀疏谱高斯过程的近似技术，我们专注于正则化三角线性回归模型。本文提供了一个分析的统计学习框架内的性能，这样的估计设置。特别是，我们推导出一个新的有限维空间中的样本误差界，占噪声与潜在的无界支持。接下来，我们研究了近似误差，并讨论了偏差方差权衡作为正则化参数的函数，通过结合这两个界限。
2023-03-16 math.ST stat.TH
On statistical estimation and inferences in optional regression models
本文的主要研究对象是一个非常一般的回归模型在可选的设置-当一个观察过程是一个可选的半鞅依赖于一个未知的参数。众所周知，统计数据可以在没有通常条件的情况下呈现信息流/过滤。估计问题是通过结构最小二乘（LS）估计及其序列版本。本文的主要结果致力于这种LS-估计的强相合性。对于序贯LS-估计，证明了固定精度的性质。
2021-03-15 math.ST q-fin.ST stat.TH
Optimum Statistical Estimation with Strategic Data Sources
McGill University（麦吉尔大学）；MIT（麻省理工学院）；U.C. Berkeley（加州大学伯克利分校）
我们提出了一个最佳的机制，提供货币激励的数据源的统计估计，如线性回归，使高质量的数据以低成本提供，在这个意义上，付款和估计误差的总和最小化。该机制适用于广泛的估计，包括线性和多项式回归，核回归，并在一些额外的假设下，岭回归。它还概括到几个目标，包括最小化估计误差的预算约束。除了回归问题的具体结果，我们还提供了一个机制设计框架，通过该框架来设计和分析统计估计量，其示例由工人提供，用于标记所述示例的成本。
2015-04-24 cs.GT cs.LG stat.ML
Non-asymptotic Properties of Generalized Mondrian Forests in Statistical Learning
本文在 Mondrian 森林基础上提出广义统计学习框架，涵盖最小二乘、ℓ1、分位数回归及分类，在温和假设下给出遗憾/风险上界并证明一致性。
2025-02-27 math.ST stat.TH
Statistical Inference for High-Dimensional Robust Linear Regression Models via Recursive Online-Score Estimation
本文提出将递归在线得分估计（ROSE）框架扩展至非凸惩罚M估计，用于稳健高维线性回归的估计与推断，并证明估计量的一致性与渐近正态性，模拟和实际应用验证了其优越性。
2025-04-12 math.ST stat.ME stat.TH
Statistical Inference after Kernel Ridge Regression Imputation under item nonresponse
插补是处理缺失数据的常用技术。我们考虑一个非参数方法填补使用核岭回归技术，并提出一致的方差估计。建议的方差估计是基于一个线性化的方法，采用熵的方法来估计密度比。当在核岭回归插补中利用Sobolev空间时，建立了插补估计的根-n相合性，从而使我们能够发展所提出的方差估计。合成数据实验证实了我们的理论。
2021-01-29 stat.ME stat.ML
Statistical Inference in High-dimensional Poisson Regression with Applications to Mediation Analysis
本文研究高维稀疏 Poisson 回归的统计推断，提出回归向量线性与二次变换的偏差校正估计量、置信区间和检验方法，并用于计数结果的高维中介分析。
2024-10-28 math.ST stat.ME stat.TH
Regression and Causality
干预的因果效应（治疗/暴露）对结果的影响可以通过以下方式进行估计：i）指定关于数据生成过程的知识; ii）评估在给定指定知识的情况下可以在什么假设下识别目标量，例如因果比值比（并且给定测量数据）;以及然后，iii）使用适当的统计估计技术来估计期望的感兴趣参数。由于回归是统计分析的基石，似乎很明显要问：使用估计的回归参数进行因果效应估计是否合适？事实证明，使用回归进行效果估计是可能的，但通常需要比竞争方法更多的假设。这份手稿提供了一个全面的总结，需要确定和估计的因果参数使用回归的假设，同样重要的是，讨论了统计实践的影响。
2021-03-04 math.ST stat.ME stat.TH
A statistical perspective of sampling scores for linear regression
本文考虑了从噪声样本中学习线性模型的统计问题。现有的工作集中在近似最小二乘解决方案，通过使用基于分数的重要性抽样分布。然而，没有有限样本的统计保证，没有计算效率的最佳采样策略已被提出。为了评估不同抽样策略的统计特性，我们提出了一个简单而有效的估计，这是易于理论分析，是有用的多任务线性回归。对于任何给定的抽样分数，我们推导出所提出的估计的精确均方误差。基于最小化均方误差，我们提出了估计器和预测器的最佳采样分数，并表明它们受到噪声信号比的影响。数值模拟结果与理论分析吻合较好。
2016-02-10 stat.ML
Semi-parametric regression: Efficiency gains from modeling the nonparametric part
结构化非参数模型在非参数估计中的重要性已被广泛认可。在本文中，我们表明，同样适用于半参数估计。我们认为，估计的参数分量的半参数模型，可以从根本上改善时，更多的结构被放入非参数部分的模型。我们说明了这部分线性模型，并调查效率增益时，模型的非参数部分具有添加剂结构。我们提出了估计部分线性可加模型参数部分的半参数Fisher信息界，并提供了半参数有效估计，我们使用光滑的回拟合技术来处理可加非参数部分。我们还提出了有限样本性能的估计和分析波士顿住房数据作为例证。
2011-04-22 math.ST stat.TH
Statistical Inference on High Dimensional Gaussian Graphical Regression Models
针对高维高斯图回归中统计推断未被探索的问题，提出基于多任务学习器的去偏估计量，通过新型投影技术降低计算成本，证明其渐近正态性可支撑有效统计推断，模拟和脑癌基因数据分析验证了实用性。
2024-11-03 math.ST stat.ME stat.TH
High-Dimensional Differentially Private Quantile Regression: Distributed Estimation and Statistical Inference
School of Statistics and Data Science, Shanghai University of Finance and Economics（上海金融学院统计与数据科学学院）；School of Statistics and Data Science, Southeast University（东南大学统计与数据科学学院）；School of Statistics and Data Science, Shanghai University of International Business and Economics（上海国际商务学院统计与数据科学学院）
针对分布式高维数据隐私保护问题，提出基于牛顿变换的差分隐私分位数回归方法，实现近最优统计精度与形式化隐私保障，并构建去偏估计器与高效自助法进行推断。
2026-06-23 cs.LG stat.ML
Computational-Statistical Gaps for Improper Learning in Sparse Linear Regression
ETH Zürich（苏黎世联邦理工学院）
研究稀疏线性回归中非适当学习的计算-统计间隙，通过将其归约为稀疏PCA问题并提供低度与统计查询下界，证明了高效算法至少需要约$Ω(k^2)$个样本。
2024-06-25 cs.CC cs.LG math.ST
Post-Transfer Learning Statistical Inference in High-Dimensional Regression
University of Information Technology（信息技术大学）；Vietnam National University（越南国家大学）；RIKEN AIP（日本理化学研究所AIP）
针对高维回归迁移学习中缺乏统计显著性量化方法的问题，本文提出了PTL-SI框架，通过提供有效p值严格控制假阳性率，并结合分治策略增强统计功效。
2025-04-25 cs.LG stat.ML
Max-Affine Regression: Provable, Tractable, and Near-Optimal Statistical Estimation
UC Berkeley（加州大学伯克利分校）
最大仿射回归是指这样的模型，其中未知回归函数被建模为固定$k \geq 1$的$k$未知仿射函数的最大值。这推广了线性回归和（实）相位恢复，并且与凸回归密切相关。工作在一个非渐近的框架内，我们研究这个问题在高维设置假设$k$是一个固定的常数，并专注于估计的仿射函数的未知系数的模型。我们分析了自然交替最小化（AM）算法的非凸最小二乘目标时，设计是随机的。我们表明，AM算法，当适当地初始化，收敛概率高，并在几何速度到一个小球周围的最佳系数。为了初始化算法，我们提出并分析了一个组合的谱方法和随机搜索计划在低维空间，这可能是独立的利益。我们获得的最终速率是作为维度、样本量和噪声方差的函数的近参数和最小最大最优（直到多对数因子）。从这个意义上说，我们的方法应该被视为一个直接的和可实现的方法，强制正则化，以减轻凸回归类型的问题的维数灾难。作为我们的分析的一个副产品，我们还获得了保证的经典算法的相位恢复问题的设计分布上的假设比以前已知的要弱得多。数值实验说明了我们的界限在各种问题参数的尖锐性。
2019-06-21 cs.IT cs.LG math.IT
A Framework of Learning Through Empirical Gain Maximization
University at Albany（奥尔巴尼大学）；Middle Tennessee State University（中田纳西州立大学）
我们在本文中开发的经验增益最大化（EGM）的框架，以解决鲁棒回归问题的重尾噪声或离群值可能会出现在响应变量。EGM的思想是近似噪声分布的密度函数，而不是像通常那样直接近似真值函数。与传统的最大似然估计不同，它鼓励所有观测值的同等重要性，并且在存在异常观测值的情况下可能会有问题，EGM方案可以从最小距离估计的角度来解释，并且允许忽略这些观测值。此外，它表明，几个著名的强大的非凸回归范例，如Tukey回归和截断最小二乘回归，可以重新制定到这个新的框架。然后，我们开发了EGM的学习理论，通过它可以对这些成熟但尚未完全理解的回归方法进行统一的分析。在新的框架下，对已有的有界非凸损失函数给出了新的解释。在这个新的框架内，两个看似不相关的术语，著名的Tukey的双权损失的鲁棒回归和三权内核的非参数平滑，是密切相关的。更准确地说，它表明，Tukey的双权损失可以来自三权内核。类似地，机器学习中其他经常使用的有界非凸损失函数，如截断平方损失、Geman-McClure损失和指数平方损失，也可以从统计学中的某些平滑内核重新公式化。此外，新的框架使我们能够设计新的有界非凸损失函数的鲁棒学习。
2021-01-12 cs.LG stat.ML
Statistically and Computationally Efficient Change Point Localization in Regression Settings
检测所观察到的时间序列的潜在分布何时改变是在广泛的应用中出现的基本问题。在本文中，我们研究了高维回归设置中的多个变点定位，这是特别具有挑战性的，因为没有直接观测的参数的兴趣。具体而言，我们假设我们观察到$\{ x_t, y_t\}_{t=1}^n$，其中$ \{ x_t\}_{t=1}^n $是$p$维协变量，$\{y_t\}_{t=1}^n$是满足$\mathbb{E}(y_t) = x_t^\top β_t^* \text{ for } 1\le t \le n $的单变量响应，而$\{β_t^*\}_{t=1}^n $是以分段恒定方式随时间变化的未观察到的回归系数。本文提出了一种新的基于投影的变分算法--方差投影野二进制分割算法（Variance Projected Wild Binary Segmentation~，VPWBS），它将$p$维回归中的变点检测问题转化为一维时间序列均值变点检测问题。VPWBS实现尖锐的本地化率$O_p(1/n)$的对数因子，显着改善，从最佳率$O_p(1/\sqrt{n})$已知在现有文献中的多个变点定位在高维回归。进行了大量的数值实验，以证明两个国家的最先进的算法，特别是当回归系数$\{β_t^*\}_{t=1}^n $的变化的大小是小的VPWBS的鲁棒性和良好的性能。
2021-10-09 math.ST stat.TH
Statistical Inference for Genetic Relatedness Based on High-Dimensional Logistic Regression
研究了基于个体水平全基因组关联数据的二元性状间遗传相关性的统计推断问题。具体而言，在高维逻辑斯谛回归模型下，我们定义了表征性状间遗传相关、遗传协方差和性状特异性遗传方差的参数。提出了一种新的加权去偏方法，并给出了计算效率较高的去偏估计。研究了这些估计的收敛速度，并在较弱的条件下证明了它们的渐近正态性。此外，我们构造了这些参数的置信区间和统计检验，并提供了理论依据的方法，包括覆盖概率和预期长度的置信区间，以及拟议的测试的大小和功效。在模型生成数据和模拟遗传数据下进行了数值研究，以显示所提出的方法的优越性。通过分析自身免疫性疾病的真实数据集，我们证明了它能够获得关于10种儿科自身免疫性疾病之间共享遗传结构的新见解。
2022-10-05 math.ST stat.AP stat.ME
SIHR: Statistical Inference in High-Dimensional Linear and Logistic Regression Models
本研究推出用于高维广义线性模型统计推断的R包SIHR，支持单/两样本场景下低维目标的置信区间构建与假设检验，通过数值示例和真实数据应用验证了其性能与实用性。
2023-05-02 stat.CO stat.ME stat.OT
Computationally Efficient and Statistically Optimal Robust High-Dimensional Linear Regression
本文提出投影次梯度下降算法，用于高维稀疏和低秩线性回归，在重尾噪声下实现计算高效且统计最优，并揭示双阶段收敛现象。
2023-05-10 cs.IT math.IT math.ST
Model-free Study of Ordinary Least Squares Linear Regression
普通最小二乘（OLS）线性回归是数据分析中最基本的统计技术之一。在主流文献和统计教育中，对线性回归的研究通常局限于协变量固定、误差为均值零且方差与（固定）协变量无关的情况。尽管早在20世纪60年代，OLS就在错误规范下进行了研究，但其含义尚未赶上主流文献和应用科学。本文是一个统一的观点，使各种影响的错误规范站出来的尝试。
2018-09-27 math.ST stat.TH
MM Algorithms for Statistical Estimation in Quantile Regression
本文针对线性分位数回归的统计估计问题构建并测试易于编码的 MM 算法，并通过模拟比较与多组真实数据应用验证其有效性。
2025-02-17 stat.AP stat.CO stat.ME
Linear Regression with an Unknown Permutation: Statistical and Computational Limits
考虑基于观测$y = Π^* A x^* + w$的具有未知置换的噪声线性观测模型，其中$x^* \in \mathbb{R}^d$是未知向量，$Π^*$是未知$n \times n$置换矩阵，并且$w \in \mathbb{R}^n$是加性高斯噪声。我们分析了在一个随机设计设置中的矩阵$A$的条目被独立同分布绘制的置换恢复问题。从一个标准的高斯分布，并建立尖锐的条件下，$Π^*$是完全和近似可恢复的SNR，样本大小$n$，和尺寸$d$。在计算方面，我们证明了$Π^*$的最大似然估计是NP-难计算的，同时也提供了一个多项式时间的算法时，$d =1$。
2016-08-09 cs.IT math.IT math.ST
How Fast Do Signatures Learn? Statistical Theory and Applications for Path Regression
Mathematical Institute, University of Oxford（牛津大学数学研究所）；Center for Data Science, Peking University（北京大学数据科学中心）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Oxford Man Institute, University of Oxford（牛津大学牛津人学研究所）；Center for Statistical Science, Peking University（北京大学统计科学中心）
研究路径值协变量下基于签名的路径回归，建立伊藤扩散光滑泛函的\(L^2\)逼近率并证明其最优，通过三种统计学习程序传播截断误差并建立一致性，三个实际应用显示签名可改善预测。
2026-08-25 math.ST stat.ME stat.ML
Statistical Inference for Functional Linear Quantile Regression
我们提出了功能线性分位数回归的推理工具，其中标量响应的条件分位数被假设为功能协变量的线性泛函。与传统的方法相比，我们采用核卷积来平滑原始损失函数。系数函数在再生核希尔伯特空间框架下估计。梯度下降算法的目的是最小化平滑损失函数与粗糙度惩罚。借助于Banach不动点定理，在适当的希尔伯特空间中证明了我们所提出的估计作为正则化损失函数的最小值的存在唯一性.此外，我们建立了估计的收敛速度以及弱收敛。据我们所知，这是函数分位数回归模型的第一个弱收敛结果。然后，基于这些理论性质，开发了真系数函数的逐点置信区间和同步置信带。数值研究，包括模拟和数据应用进行调查的性能，我们的估计和推理工具在有限样本。
2022-02-23 math.ST stat.ME stat.TH
Statistical inference in compound functional models
我们考虑一个一般的非参数回归模型称为复合模型。它包括，作为特殊情况，稀疏加性回归和非参数（或线性）回归与许多协变量，但可能有少量的相关协变量。复合模型的特点是由三个主要参数：结构参数描述的“宏观”形式的复合函数，“微观”稀疏性参数表示的最大数量的相关协变量在每个组件和通常的光滑性参数对应的复杂性的成员的化合物。我们发现非渐近极小极大收敛速率的估计在这样的模型作为这三个参数的函数。我们还表明，这种速度可以达到自适应的方式。
2013-01-02 math.ST stat.TH
An Introduction to MM Algorithms for Machine Learning and Statistical
University of Queensland（昆士兰大学）
MM（majorization-minimization）算法是解决机器学习和统计估计中的优化问题的一种越来越流行的工具。本文通过三个流行的示例应用：高斯混合回归、多项逻辑斯谛回归和支持向量机，从总体上介绍了MM算法框架。三个例子的具体算法推导和数值演示。理论和实践方面的MM算法设计进行了讨论。
2016-11-12 cs.LG stat.CO stat.ML
Sublinear expectation linear regression
非线性期望是概率论的一个新的理论框架，在许多科学领域，特别是在金融风险的度量和管理方面有着潜在的应用价值。然而，在非线性预期框架下，相关的统计模型和统计推断尚未得到很好的建立。本文的目的是构造次线性期望回归并研究其统计推断。首先定义了一个次线性期望线性回归，并给出了它的可辨识性。然后，基于次线性期望的表示定理和新定义的模型，提出了几种参数估计和模型预测，得到了估计的渐近正态性和预测的Minimax性质.此外，还提出了新的方法来实现高维模型的变量选择。最后，仿真研究和现实生活中的例子来说明新的模型和方法。所有开发的概念和方法是本质上不同于经典的，可以被认为是一般的非线性期望统计的基础。
2013-04-12 math.ST stat.TH
Parallel square-root statistical linear regression for inference in nonlinear state space models
本文提出一种用于非线性非高斯状态空间模型状态与参数估计的并行时间方法，结合统计线性回归与迭代后验线性化范式，通过平方根形式重写提升数值稳定性并保持并行能力，利用固定点结构实现对数时间复杂度的似然参数估计，并在GPU实验中验证了性能。
2023-04-05 cs.DC stat.CO
Statistical Estimation: From Denoising to Sparse Regression and Hidden Cliques
这些笔记回顾了Andrea Montanari教授关于线性模型统计估计主题的六次讲座。前两堂课涵盖了从极小极大风险的线性测量中恢复信号的原理。随后的讲座演示了这些原则的应用，在科学和工程的一些实际问题。具体而言，这些主题包括对错误信号的去噪，压缩感知信号的恢复，低秩矩阵的重构，以及大型网络中隐藏集团的发现。
2014-09-19 cs.IT math.IT stat.ML
Distributed inference for quantile regression processes
大规模数据集的可用性增加，为发现其分布中的微妙模式提供了独特的机会，但也带来了压倒性的计算挑战。为了充分利用大数据中包含的信息，我们提出了一个两步过程：（i）在并行计算环境中估计不同级别的条件分位数函数;（ii）基于这些估计的分位数曲线通过投影构建条件分位数回归过程。我们的一般分位数回归框架涵盖了固定或增长维度的线性模型和系列近似模型。我们证明，所提出的程序不牺牲任何统计推断的准确性，提供了分布式计算单元和分位数水平的数量选择适当。特别是，一个尖锐的上界为前者和一个尖锐的下界为后者推导出捕捉最小的计算成本从统计的角度来看。作为一个重要的应用，考虑了条件分布函数的统计推断。此外，我们提出了计算效率高的方法来进行推理，在上述分布式估计设置。这些方法直接利用子样本估计量的可用性，并且可以在几乎没有额外计算成本的情况下进行。模拟结果证实了我们的统计推断理论。
2018-04-10 math.ST stat.ME stat.TH
Ising Model Selection Using $\ell_{1}$-Regularized Linear Regression: A Statistical Mechanics Analysis
The University of Tokyo（东京大学）；Institute for Physics of Intelligence（智能物理研究所）；Kyoto University（京都大学）
我们从理论上分析了典型的学习性能的$\ell_{1}$ -正则化线性回归（$\ell_1$ -LinR）伊辛模型选择使用的副本方法从统计力学。对于顺磁相的典型随机正则图，得到了$\ell_1$ -LinR的典型样本复杂度的精确估计.值得注意的是，尽管模型错误指定，$\ell_1$ -LinR是与$\ell_{1}$ -正则化逻辑回归（$\ell_1$ -LogR）相同的样本复杂性顺序一致的模型选择，即，$M=\mathcal{O}\left(\log N\right)$，其中$N$是伊辛模型的变量数。此外，我们提供了一个有效的方法来准确地预测非渐近行为的$\ell_1$ -LinR中度$M, N$，如精度和召回。模拟结果表明，理论预测和实验结果之间有相当好的一致性，即使是有许多循环的图形，这支持了我们的研究结果。虽然本文主要集中在$\ell_1$ -LinR，我们的方法是很容易适用于精确地表征典型的学习性能的广泛的一类$\ell_{1}$ -正则化$M$ -估计，包括$\ell_1$ -LogR和交互筛选。
2021-11-02 cond-mat.dis-nn cs.AI cs.LG
Numerically robust square root implementations of statistical linear regression filters and smoothers
针对基于 Cholesky 降级更新的滤波与平滑方法易受舍入误差影响的问题，本文提出采用 QR 分解的统计线性回归滤波器和平滑器平方根实现，并通过双、单精度下的病态问题实验证明其数值更稳健。
2024-06-18 cs.NA math.NA stat.ME
Communication-Constrained Distributed Quantile Regression with Optimal Statistical Guarantees
我们解决的问题，如何实现分布式分位数回归没有严格的缩放条件下的最佳推理。由于分位数回归（QR）损失函数的非平滑性质，这是具有挑战性的，这使得现有方法的使用无效。通过一个双平滑的方法，适用于本地（在每个数据源）和全球目标函数的困难得到解决。尽管依赖于局部和全局平滑参数的微妙组合，但分位数回归模型是完全参数化的，从而便于解释。在低维的制度，我们建立了一个有限样本的理论框架，顺序定义的分布QR估计。这揭示了通信成本和统计误差之间的权衡。我们进一步讨论和比较几种替代的置信集的建设，基于反演的沃尔德和得分型测试和rescue技术，详细介绍了改进，是有效的更极端的分位数系数。在高维情况下，采用了稀疏框架，其中所提出的双平滑目标函数与$\ell_1$ -惩罚互补。我们表明，相应的分布式惩罚QR估计达到了全局收敛速度后，一个接近常数的通信轮数。一个全面的模拟研究进一步阐明了我们的研究结果。
2022-08-22 stat.ME stat.ML
Statistical Inference using the Morse-Smale Complex
函数$f$的Morse-Smale复形将样本空间分解为$f$增加或减少的单元。当应用于非参数密度估计和回归时，它提供了一种表示、可视化和比较多变量函数的方法。本文给出了Morse-Smale复形估计的一些统计结果。这使我们能够获得新的结果，现有的两种方法：模式聚类和Morse-Smale回归。我们还开发了两种新的方法的基础上Morse-Smale复杂：多变量函数的可视化技术和双样本，多变量假设检验。
2017-04-04 math.ST stat.ME stat.ML
Statistical inference for the slope parameter in functional linear regression
本文考虑了具有函数回归和响应的线性回归模型$Y =S X+\varepsilon $.我们开发了新的推理工具，以量化从一个假设的运营商$S_0$的真实斜率$S$的偏差希尔伯特-施密特规范$\| S- S_0\|^2$，以及预测误差$\mathbb{E} \| S X - S_0 X \|^2$。我们的分析是适用于功能的时间序列和渐近关键统计的基础上。这使得它特别用户友好，因为它避免了选择长期方差估计或相关数据的自举中固有的调整参数。我们还讨论了两个样本问题以及变点检测。有限样本性质的研究通过模拟研究。在数学上，我们的方法是基于流行的频谱截止估计$\hat S_N$的$S$的顺序版本。众所周知，函数回归模型中的$L^2$ -极大极小率，无论是在估计还是预测中，都比$1/\sqrt{N}$（其中$N$表示样本量）慢得多，并且$S$的标准估计量不会弱收敛到非退化极限。然而，我们证明了简单的插件估计-如$\| \hat S_N - S_0 \|^2$为$\| S - S_0 \|^2$ -是$\sqrt{N}$ -一致的，其顺序版本满足弱不变性原则。这些结果是基于$L^2$ -范数的平滑效应，并建立了一个新的证明技术，{ \it平滑移位}，这在其他统计逆问题有潜在的应用。
2021-08-16 math.ST stat.TH
Active-set algorithms based statistical inference for shape-restricted generalized additive Cox regression models
近年来，形状限制推论在统计和计量经济学文献中得到广泛的应用，以放松回归分析中的线性或二次协变量效应。典型的形状限制协变量效应包括单调递增、递减、凸性或非凸性。本文将形状限制推断引入到著名的Cox回归模型（SR-Cox）中，其中协变量响应被建模为形状限制的可加函数。SR-Cox回归使用样条基扩展和数据驱动的节点选择来近似形状限制函数。将负对数似然函数的最小化问题转化为一个凸优化问题，并采用有效集优化算法求解。该算法的特点是能自动消除多余节点。当协变量效应包括具有未知形式和线性项的凸项或凹项的组合时，最有趣的发现是SR-Cox产生准确的线性协变量效应估计，如果形式确实已知，则其与最大偏似然估计相当。我们的结论是，凹或凸SR-Cox模型可以显着提高非线性协变量响应恢复和模型拟合优度。
2021-07-02 stat.ME stat.ML
Deep Barycentric Regression for Optimal Transport Map Estimation and Its Statistical Optimality
KAIST AI（韩国科学技术院人工智能学院）；UNIST（蔚山科学技术院）；Seoul National University（首尔大学）
本文提出BROT方法，通过两步（先计算OT计划，再用DNN回归重心目标）估计最优传输映射，在Lipschitz条件下达到极小极大最优速率，并在合成数据、图像及下游任务中验证了准确性和有效性。
2026-11-06 cs.AI cs.LG stat.ML
New robust statistical procedures for polytomous logistic regression models
本文导出了一类新的估计族，即最小密度幂离估计，作为多分类逻辑斯谛回归模型极大似然估计的稳健推广.在此基础上，引入了线性假设下的Wald型检验统计量族。通过经典的影响函数分析，从理论上研究了所提出的估计量和检验统计量的稳健性。适当的现实生活中的例子，以证明需要适当的强大的统计程序，而不是基于似然推断的多分类逻辑斯谛回归模型。通过适当的模拟研究，进一步证实了本文建立的理论结果的有效性。最后，提出了一种数据驱动的鲁棒性调整参数的选择方法，并给出了经验证明。
2018-06-26 stat.ME
Nonparametric regression with nonparametrically generated covariates
我们使用协变量分析非参数回归估计的统计特性，这些协变量是不可直接观察的，但在初步步骤中已经从数据中估计出来。这些所谓的生成协变量出现在许多应用中，包括两阶段非参数回归，估计联立方程模型或截尾回归模型。然而，到目前为止，似乎没有一般的理论，他们对最终估计的统计性质的影响。我们的论文提供了这样的结果。我们推导出一个随机扩展，其特征在于生成步骤对最终估计量的影响，并使用它来获得一致性和渐近分布占所生成的协变量的存在率。
2012-07-24 math.ST stat.TH
Neural Networks for Partially Linear Quantile Regression
深度学习在各种应用中取得了巨大的成功，但它在分位数回归中的应用仍然很少。深度学习方法的一个主要优势是它可以以比非参数平滑方法更简洁的方式灵活地对复杂数据进行建模。然而，尽管深度学习在预测方面带来了突破，但由于具有数百万参数的多层结构的黑箱性质，它往往缺乏可解释性，因此它不太适合统计推断。在本文中，我们利用深度学习的优势将其应用于分位数回归，目标是产生可解释的结果并执行统计推断。我们通过采用基于部分线性分位数回归模型的半参数方法来实现这一点，其中统计推断的主要兴趣协变量线性建模，所有其他协变量通过深度神经网络非参数建模。除了新的方法，我们提供了理论证明所提出的模型，建立根$n$一致性和渐近正态性的参数系数估计和极小极大最优收敛速度的神经非参数函数估计。在几个模拟和真实数据的例子中，我们提出的模型根据经验产生了优于各种替代方法的估计和更准确的预测。
2021-06-11 math.ST stat.TH
A simulation study comparing statistical approaches for estimating extreme quantile regression with an application to forecasting of fire risk
本研究通过模拟框架比较了多种极值分位数回归估计方法在火灾风险预测中的表现，发现最高气温与火灾频率正相关，并提出混合策略以提升极端事件预测的准确性与可解释性。
2025-06-29 stat.ME
Statistical Inference for Linear Functionals of Online SGD in High-dimensional Linear Regression
本文针对过参数化高维线性回归中的在线SGD，建立了线性泛函的高维中心极限定理，并提出了在线方差估计方法，从而实现了完全在线、数据驱动的置信区间构造，为SGD的高维算法推断提供了首个理论保证。
2025-10-23 math.OC math.PR math.ST
On Pairwise Quantile Regression - Statistical Guarantees and Applications
LTCI, Télécom Paris Institut Polytechnique de Paris（LTCI，巴黎电信理工学院）；Idémia；Télécom Sud-Paris, Institut Polytechnique de Paris（巴黎理工学院，南巴黎电信）
针对传统分位数回归无法处理成对相似性响应变量的问题，该文提出成对分位数回归方法，基于U过程集中度结果推导统计保证，在人脸识别相似性评分误差分析中验证了方法有效性。
2026-07-24 cs.AI cs.CV cs.LG
Statistical inference for high dimensional regression via Constrained Lasso
在本文中，我们提出了一种新的方法来估计和构造置信区间的低维组件在一个高维模型。建议的估计，约束拉索（CLasso）估计，是通过同时求解两个估计方程-一个施加零偏约束的低维参数和其他形成一个$\ell_1$惩罚过程的高维滋扰参数。通过仔细选择零偏约束，得到的估计的低维参数，承认一个渐近正常的限制，达到Cramér-Rao下界在半参数意义下。我们提出了一个无调谐的迭代算法实现的CLasso。我们证明，当该算法在Lasso估计器处初始化时，van de Geer等人提出的去稀疏估计器[ \emph{Ann. Statist.} { \bf 42}（2014）1166--1202]渐进等效于该算法的第一次迭代。我们分析了CLasso估计的渐近性质，并证明了算法的全局线性收敛性。我们还通过数值研究证明了令人鼓舞的经验表现的CLAasso。
2017-04-17 math.ST stat.CO stat.ME
