High-Dimensional Gaussian Copula Regression: Adaptive Estimation and Statistical Inference
我们开发的自适应估计和推理方法,高维高斯copula回归,实现相同的性能,而无需知识的边际变换的高维线性回归。利用Kendall的基于τ的协方差阵估计,提出了一个$\ell_1$正则化估计和相应的去偏估计的置信区间的建设和假设检验。理论性质的程序进行了研究,所提出的估计和推理方法是适应未知的单调边际变换。还考虑了对给定协变量值的响应的预测。该程序易于实现,并在数值上表现良好。该方法也被应用于分析社区和犯罪的非规范化数据从UCI机器学习知识库。
2015-12-08 stat.ME
Empirical Bayes mean estimation with nonparametric errors via order statistic regression on replicated data
本文研究了$K$噪声观测值对$N$单元效应量的经验Bayes估计。我们表明,它是可能实现近贝叶斯最优的均方误差,没有任何假设或知识的影响大小分布或噪声。噪声分布可以是异方差的,并且从单元到单元任意变化。我们的建议,我们称之为极光,利用复制固有的$K$观察每单位和重铸的效果大小估计问题作为一个一般的回归问题。具有线性回归的Aurora可证明地匹配广泛的估计器的性能,包括样本均值、修剪均值、样本中位数以及其James-Stein收缩版本。Aurora自动化了互联网规模数据集的效应大小估计,正如我们在一家大型科技公司的数据上所展示的那样。
2021-08-10 stat.ME
Small-sample testing inference in symmetric and log-symmetric linear regression models
本文讨论了中小样本对称和对数对称线性回归模型的假设检验问题。我们专注于四个测试,即沃尔德,似然比,得分,梯度测试。这些检验依赖于渐近结果,当样本量不足以保证检验统计量的精确分布与相应的卡方渐近分布之间的良好一致性时,这些检验是不可靠的。Bartlett和Bartlett型校正通常会减弱测试的尺寸失真。这些校正在对称线性回归模型中的似然比和得分检验的文献中可用。在这里,我们推导出梯度测试的Bartlett型校正。我们证明了这些修正对对数对称线性回归模型也是有效的。我们数值比较各种测试,并引导测试,通过模拟。我们的研究结果表明,校正和自举测试表现出I型概率误差接近所选择的标称水平,几乎没有功率损耗。分析校正的测试,包括Bartlett校正的梯度测试在本文中得出的,执行以及自举测试的优势,不需要计算密集型计算。我们提出了两个真实的数据应用程序来说明修改后的测试的有用性。保留字:对称回归模型;巴特利特校正; Bartlett型校正; Bootstrap;对数对称回归模型;梯度统计;评分统计;似然比统计量; Wald统计量
2016-02-02 stat.ME
Statistical Inference for Four-Regime Segmented Regression Models
针对时间相依数据,提出带多元协变量依赖边界的四机制分段回归模型,设计混合整数二次规划估计算法与平滑自助推断方法,经模拟和北京PM2.5案例验证了方法有效性。
2024-10-06 stat.ME
Statistical Inference after Kernel Ridge Regression Imputation under item nonresponse
插补是处理缺失数据的常用技术。我们考虑一个非参数方法填补使用核岭回归技术,并提出一致的方差估计。建议的方差估计是基于一个线性化的方法,采用熵的方法来估计密度比。当在核岭回归插补中利用Sobolev空间时,建立了插补估计的根-n相合性,从而使我们能够发展所提出的方差估计。合成数据实验证实了我们的理论。
2021-01-29 stat.ME stat.ML
Statistical Inference and Large-scale Multiple Testing for High-dimensional Regression Models
本文对高维回归模型(包括线性和逻辑斯谛回归)的统计推断和多重检验的最新发展进行了选择性的综述。我们检查的置信区间和假设检验的各种低维目标,如回归系数和线性和二次泛函的建设。其关键技术是为目标低维目标生成去偏和去parasized估计器,并估计其不确定性。除了涵盖这些统计方法背后的动机和直觉之外,我们还讨论了它们在高维推理背景下的最优性和自适应性。此外,我们还回顾了基于多元回归模型的统计推断的最新发展和高维回归的大规模多重检验的进展。R包SIHR已经实现了本文讨论的一些高维推理方法。
2023-01-25 math.ST stat.ME stat.TH
On the Asymptotic Distribution of the Scan Statistic for Empirical Distributions
我们调查的扫描统计量的几个变种的渐近行为应用于经验分布,它可以被应用到检测任何长度的异常间隔的存在。特别令人感兴趣的是学生化的扫描统计,这在实践中是优选的。证明中的主要成分是Kolmogorov定理,泊松近似和Kabluchko等人(2014)的最新技术结果。
2020-03-24 math.PR math.ST stat.TH
Statistically Significant Linear Regression Coefficients Solely Driven By Outliers In Finite-sample Inference
本研究通过R模拟验证单个异常值可使线性回归不显著系数呈现统计显著性,对比稳健Huber回归,分析异常值影响与诊断方法,关联正态性假设并警示仅用p值的风险,梳理回归方法与高斯-马尔可夫定理的关系。
2025-05-19 econ.EM math.ST stat.ME
Calibrated Nonparametric Scan Statistics for Anomalous Pattern Detection in Graphs
University at Albany - SUNY(纽约州立大学奥尔巴尼分校);New York University(纽约大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
我们提出了一种新的方法,校准的非参数扫描统计(CNSS),更准确地检测异常模式在大规模的,真实世界的图形。扫描统计通过最大化似然比统计来识别感兴趣或意外的连通子图;特别是,非参数扫描统计(NPSS)识别具有高于预期比例的单独重要节点的子图。然而,我们发现,最近提出的NPSS方法是错误的校准,未能占最大化的统计子图的多重性。这导致对于细微信号的降低的检测能力,以及即使对于较强的信号,检测到的子图的低精度。因此,我们开发了一种新的统计方法来重新校准NPSS,正确地调整多个假设检验,并考虑到潜在的图形结构。虽然重新校准,随机化测试的基础上,是计算昂贵的,我们提出了一个有效的(近似)算法和新的,封闭形式的下界(在一个给定的大小的子图的重要节点的预期最大比例,根据原假设没有异常模式)。这些进展,以及最近的核心树分解方法的集成,使CNSS能够扩展到大型现实世界的图形,检测到的子图的准确性有了很大的提高。在半合成和真实世界的数据集上进行了大量的实验,以验证我们提出的方法的有效性,与最先进的同行相比。
2022-06-26 cs.AI cs.SI stat.ME
The empirical process of residuals from an inverse regression
本文研究了一个以Radon变换为特征的间接回归模型。该模型对于计算机断层扫描获得的医学图像的恢复是有用的。间接的回归函数估计使用一系列的估计动机的谱截止技术。进一步,我们研究了回归残差的经验过程,并证明了它满足泛函中心极限定理。
2019-02-09 math.ST stat.TH
SIHR: Statistical Inference in High-Dimensional Linear and Logistic Regression Models
本研究推出用于高维广义线性模型统计推断的R包SIHR,支持单/两样本场景下低维目标的置信区间构建与假设检验,通过数值示例和真实数据应用验证了其性能与实用性。
2023-05-02 stat.CO stat.ME stat.OT
Optimal and fast detection of spatial clusters with scan statistics
我们考虑检测多变量空间集群的Bernoulli模型与$N$的位置,其中的设计分布具有弱依赖的边缘。这些位置用矩形窗口扫描,矩形窗口的边平行于轴,并且具有不同的大小和纵横比。由于在许多扫描窗口上的多次测试,多变量扫描统计造成了统计问题,并且由于必须在许多窗口上评估统计,造成了计算问题。本文介绍的方法,导致统计最佳的推理和计算效率的算法。与传统的扫描统计量校准的主要区别在于根据扫描窗口的大小对其进行分组,然后将不同的临界值应用于不同的组的概念。结果表明,这种校准的扫描统计结果在小尺度和大尺度上的空间集群的最佳推断,以及在集群的边缘之一的情况下,生活。引入的方法,允许一个有效的近似的所有矩形的集合,同时仍然保证上述的统计最优结果。结果表明,所得到的扫描统计具有计算复杂性,几乎是线性的$N$。
2010-02-25 math.ST stat.TH
MM Algorithms for Statistical Estimation in Quantile Regression
本文针对线性分位数回归的统计估计问题构建并测试易于编码的 MM 算法,并通过模拟比较与多组真实数据应用验证其有效性。
2025-02-17 stat.AP stat.CO stat.ME
Sparse and Robust Linear Regression: An Optimization Algorithm and Its Statistical Properties
研究了响应中含有异常值的稀疏线性回归分析。在标准线性回归模型的基础上增加一个参数向量来表示异常值,从而考虑了系数和异常值的稀疏估计问题。对系数施加$\ell_{1}$惩罚,而对离群值施加包括重降类型惩罚在内的各种惩罚。为了解决稀疏估计问题,我们引入了一个优化算法。在一定的条件下,我们证明了该算法所得到的系数的算法收敛性和统计收敛性。此外,它表明,该算法可以恢复真正的支持度的系数的概率去1。
2015-05-20 math.ST stat.ME stat.TH
Exact Asymptotics for the Scan Statistic and Fast Alternatives
我们考虑的问题,检测一个矩形的激活在一个网格中的传感器在d维与噪声测量。这适用于大规模监控项目和大型数据集的异常检测,其中可以检测矩形区域(或更一般的斑点)上异常高的测量值。最近,在原假设下,使用在(Chan和Lai,2006)中导出的局部平稳高斯随机场的非恒定边界交叉概率,在(Kabluchko,2011)中建立了多尺度扫描统计量的渐近分布。使用类似的方法,我们推导出了四种扫描统计量的精确渐近水平和功效:一种知道激活矩形尺寸的预言扫描;刚才提到的多尺度扫描统计量;一种自适应变量;以及一种对后者的ε-net近似(Arias-Castro,2005)。这种近似扫描在时间上在网格的大小上接近线性地运行,并且实现与自适应扫描相同的渐近功率。我们用一些数值实验来补充我们的理论。
2014-09-25 math.ST stat.TH
A Small-Uniform Statistic for the Inference of Functional Linear Regressions
本文提出了一种“小均匀”统计量用于函数线性回归模型中函数PCA估计量的推断。已有文献表明了两种极端的行为:一方面,FPCA估计在其范数拓扑中不收敛于分布;另一方面,FPCA估计确实具有逐点渐近正态分布.我们的统计量在这两个极端之间采取了中间立场:经过适当的速率归一化后,我们的小均匀统计量被构造为有限维子空间上FPCA估计器的分式规划问题的最大化者,并且其维度将随着样本量的增加而增加。我们展示了我们的标量统计量在概率上收敛到高斯过程的上确界的速率。小均匀统计量在假设检验中有应用。模拟结果表明,我们的统计量具有可比性略好的权力比Cardot,Ferraty,Mas和Sarda(2003)的两个统计量的假设检验的属性。
2021-02-22 math.ST stat.ME stat.TH
Statistical Estimation for Covariance Structures with Tail Estimates using Nodewise Quantile Predictive Regression Models
本文针对带尾部估计的协方差结构,提出用分位数预测回归估计VaR-CoVaR风险矩阵,还构建了无调优参数、具有一致性的FOCE变量选择算法,经真实与模拟数据集验证可用于网络系统性风险建模。
2023-07-24 econ.EM stat.ME
Recursive computation for evaluating the exact $p$-values of temporal and spatial scan statistics
令$V$是指数的有限集合,并且令$B_i$、$i=1,\ldots,m$是$V$的子集,使得$V=\bigcup_{i=1}^{m}B_i$。令$X_i$、$i\in V$为独立随机变量,令$X_{B_i}=(X_j)_{j\in B_i}$。本文提出了一种递归计算方法,在给定$N=\sum_{i\in V}X_i$的情况下,计算条件期望$E\bigl[\prod_{i=1}^mχ_i(X_{B_i}) \,|\, N\bigr]$,其中$χ_i$是任意函数.我们的方法是基于递归求和/积分技术,使用统计中的马尔可夫性质。为了提取马尔可夫性质,我们定义了一个团为$B_j$的无向图,并得到了它的弦扩张,由此我们给出了递归公式的表达式。这种方法适用于一类分布,包括泊松分布(即条件分布是多项式)。这个问题的动机是从多重性调整$p$值的空间流行病学扫描统计的评价。作为该方法的说明,我们提出了真实的数据分析,以检测时间和空间聚类。
2015-10-31 stat.CO stat.ME
Statistical inference with anchored Bayesian mixture of regressions models: A case study analysis of allometric data
针对哺乳动物脑质量与身体质量异速生长关系的线性模型拟合问题,提出用案例影响诊断选择锚点的锚定贝叶斯回归混合模型,并通过真实数据与模拟比较三种锚定方法。
2023-06-08 stat.AP stat.ME
Communication-Constrained Distributed Quantile Regression with Optimal Statistical Guarantees
我们解决的问题,如何实现分布式分位数回归没有严格的缩放条件下的最佳推理。由于分位数回归(QR)损失函数的非平滑性质,这是具有挑战性的,这使得现有方法的使用无效。通过一个双平滑的方法,适用于本地(在每个数据源)和全球目标函数的困难得到解决。尽管依赖于局部和全局平滑参数的微妙组合,但分位数回归模型是完全参数化的,从而便于解释。在低维的制度,我们建立了一个有限样本的理论框架,顺序定义的分布QR估计。这揭示了通信成本和统计误差之间的权衡。我们进一步讨论和比较几种替代的置信集的建设,基于反演的沃尔德和得分型测试和rescue技术,详细介绍了改进,是有效的更极端的分位数系数。在高维情况下,采用了稀疏框架,其中所提出的双平滑目标函数与$\ell_1$ -惩罚互补。我们表明,相应的分布式惩罚QR估计达到了全局收敛速度后,一个接近常数的通信轮数。一个全面的模拟研究进一步阐明了我们的研究结果。
2022-08-22 stat.ME stat.ML
Numerically robust square root implementations of statistical linear regression filters and smoothers
针对基于 Cholesky 降级更新的滤波与平滑方法易受舍入误差影响的问题,本文提出采用 QR 分解的统计线性回归滤波器和平滑器平方根实现,并通过双、单精度下的病态问题实验证明其数值更稳健。
2024-06-18 cs.NA math.NA stat.ME
Statistical Inference for High-Dimensional Robust Linear Regression Models via Recursive Online-Score Estimation
本文提出将递归在线得分估计(ROSE)框架扩展至非凸惩罚M估计,用于稳健高维线性回归的估计与推断,并证明估计量的一致性与渐近正态性,模拟和实际应用验证了其优越性。
2025-04-12 math.ST stat.ME stat.TH
Asymptotics of an empirical bridge of regression on induced order statistics
本文提出了一类伴随线性回归的检验方法(诱导顺序统计量)。这些检验基于回归残差的序贯和。我们自我中心化和自我规范化这些总和。由此产生的过程被称为经验桥梁。我们证明了弱收敛的经验桥在统一度量的中心高斯过程。所提出的检验是卡方检验。
2019-04-13 math.ST stat.TH
Changepoint Detection over Graphs with the Spectral Scan Statistic
我们考虑的变点检测问题的决定,噪声测量的基础上,是否一个未知的信号在一个给定的图是恒定的,而是分段恒定的两个连接的诱导子图相对较低的切割尺寸。我们分析了相应的广义似然比(GLR)统计量,并将其与图中稀疏割问题联系起来。我们开发了一个易于处理的放松的GLR统计的基础上的组合拉普拉斯的图,我们称之为谱扫描统计,并分析其性质。我们展示了它的性能作为一个测试程序直接依赖于图的频谱,并使用这个结果来明确推导出它的渐近性质的一些重要的图拓扑结构。最后,我们从理论上和模拟表明,频谱扫描统计可以优于朴素的测试程序的基础上边缘阈值和$χ^2$测试。
2012-06-04 cs.IT math.IT math.ST
Statistical Inference in High-dimensional Poisson Regression with Applications to Mediation Analysis
本文研究高维稀疏 Poisson 回归的统计推断,提出回归向量线性与二次变换的偏差校正估计量、置信区间和检验方法,并用于计数结果的高维中介分析。
2024-10-28 math.ST stat.ME stat.TH
Characterizations of Student's t-distribution via regressions of order statistics
利用顺序统计量的回归性质,我们刻画了由Akhundov,Balakrishnan和Nevzorov(2004)引入的一类分布,其中包括具有两个自由度的t分布。然后将这一刻画结果推广到具有两个以上自由度的t分布。
2010-10-21 math.PR math.ST stat.TH
Regression and Causality
干预的因果效应(治疗/暴露)对结果的影响可以通过以下方式进行估计:i)指定关于数据生成过程的知识; ii)评估在给定指定知识的情况下可以在什么假设下识别目标量,例如因果比值比(并且给定测量数据);以及然后,iii)使用适当的统计估计技术来估计期望的感兴趣参数。由于回归是统计分析的基石,似乎很明显要问:使用估计的回归参数进行因果效应估计是否合适?事实证明,使用回归进行效果估计是可能的,但通常需要比竞争方法更多的假设。这份手稿提供了一个全面的总结,需要确定和估计的因果参数使用回归的假设,同样重要的是,讨论了统计实践的影响。
2021-03-04 math.ST stat.ME stat.TH
Reproduction of scan B-statistic for kernel change-point detection algorithm
Tsinghua University(清华大学)
本文复现基于核 scan B-statistic 的在线变点检测算法,数值实验证明其优于参数方法,子采样技术可带来适度改进。
2024-08-23 cs.LG stat.ML
Statistical Inference on High Dimensional Gaussian Graphical Regression Models
针对高维高斯图回归中统计推断未被探索的问题,提出基于多任务学习器的去偏估计量,通过新型投影技术降低计算成本,证明其渐近正态性可支撑有效统计推断,模拟和脑癌基因数据分析验证了实用性。
2024-11-03 math.ST stat.ME stat.TH
Pointwise adaptive estimation for robust and quantile regression
本文提出了一种用于稳健回归估计和分位数回归的非参数方法,它完全是数据驱动的,并且局部适应于回归函数的正则性。这是通过考虑在每个点的M-估计在不同的局部邻域和局部模型选择过程的基础上序贯检验。得到了非渐近风险界,在较弱的条件下得到了大样本渐近率最优性。不同的单变量中位数回归模型的模拟显示出良好的有限样本性质,也比较传统的方法。该方法被扩展到图像去噪,并应用于癌症研究中的CT扫描。
2009-04-03 math.ST stat.TH
Debiased Nonparametric Regression for Statistical Inference and Distributionally Robustness
The University of Tokyo(东京大学)
本文提出一种无模型的非参数回归去偏方法,通过加入估计条件期望残差的校正项,使估计量在温和条件下具备风险收敛与渐近正态性,从而支持统计推断并提升协变量偏移下的鲁棒性。
2025-03-17 cs.LG econ.EM math.ST
Statistical Inference for High-Dimensional Linear Regression with Blockwise Missing Data
本文针对具有块状缺失协变量和部分观测响应变量的高维线性回归模型,提出基于无偏估计方程和块状插补的高效估计器,并利用创新的投影估计方程技术构建渐近正态的去偏估计器,从而实现有效的置信区间和统计检验,在数值研究和阿尔茨海默病数据分析中优于现有方法。
2023-06-28 math.ST stat.ME stat.ML
Neural Networks as Linear Regression: An Introduction for Statisticians
Department of Mathematics Statistics and Computer Science(数学统计与计算机科学系);Macalester College(麦克莱斯特学院);Department of Biostatistics(生物统计学系);University of Michigan(密歇根大学)
本文从频率学派统计学视角,通过将神经网络近似为线性回归来降低入门门槛,并介绍常见定制化方法作为进一步学习的基础。
2026-06-23 cs.LG stat.ML
Optimality of Graph Scanning Statistic for Online Community Detection
图的序列变点检测是流网络数据类型的基本问题,在社交网络和电力系统中有着广泛的应用。给定固定顶点和随机图序列,目标是检测随机图的潜在分布变化的变点。特别是,我们专注于局部变化,只影响一个子图。我们采用经典的Erdos-Renyi模型,并重温广义似然比(GLR)检测过程。扫描统计是通过顺序估计最可能发生变化的子图来计算的。我们提供了理论分析的渐进最优性的基础上GLR框架的建议程序。我们证明了我们的检测算法的效率,使用模拟。
2021-02-11 math.ST stat.TH
Exact results on high-dimensional linear regression via statistical physics
很明显,传统的统计推断协议需要修改,以正确处理现在常见的高维数据。最近的研究旨在实现这一修订依赖于强大的近似技术,要求严格的结果,他们可以进行测试。在这种情况下,最简单的情况下,高维线性回归已获得重大的新的相关性和关注。在本文中,我们使用统计物理的角度推断,推导出一些新的精确结果线性回归在高维制度。
2021-04-06 cond-mat.dis-nn math.ST stat.TH
Statistical inference for function-on-function linear regression
函数对函数线性回归对于理解响应和预测变量(均为函数)之间的关系非常重要。在这篇文章中,我们提出了一个再生核希尔伯特空间的方法来函数的函数线性回归通过惩罚最小二乘,正则化的薄板样条光滑惩罚。研究了系数函数估计的极小极大最优收敛速度。我们推导出Bahadur表示,这使我们能够提出统计推断的方法,使用自举和收敛的Banach值随机变量的超规范。我们说明我们的方法,并验证我们的理论结果,通过模拟数据实验和真实数据的例子。
2021-09-28 math.ST stat.TH
Fenton-Wilkinson Order Statistics and German Tanks: A Case Study of an Orienteering Relay Race
有序回归介于离散值分类和连续值回归之间。有序目标变量可以与排序的随机变量相关联。这些随机变量被称为顺序统计量,它们与有序回归密切相关。然而,使用顺序统计量进行有序回归预测的挑战是找到合适的父分布。在这项工作中,我们提供了一个真实世界的定向越野接力赛的案例研究,将其视为一个随机过程。对于这个过程中,我们表明,准确的顺序统计有序回归预测的最终团队排名,或地方,可以通过假设一个对数正态分布的个人腿时间。此外,我们应用芬顿-威尔金森近似中间转换时间旁边的估计队的总人数在臭名昭著的德国坦克问题。这项工作的目的是,在某种程度上,引发兴趣,在有序回归问题的适用性研究顺序统计量。
2019-12-10 cs.LG stat.ML
Empirical phi-divergence test statistics in the logistic regression model
在本文中,我们应用分歧措施的经验似然适用于逻辑斯谛回归模型。我们定义了一个家庭的经验检验统计量的基础上的分歧措施,称为经验φ发散检验统计量,扩展了经验似然比检验。我们研究了这些经验检验统计量的渐近分布,证明了这类检验统计量的渐近分布是相同的,并且与经典的经验似然比似然比检验的渐近分布是相同的。接下来,我们研究了这个家族中成员的幂函数,表明本文中介绍的经验φ-发散检验在Fraser意义下是一致的。为了比较在这一新的家庭,在本文中第一次考虑的经验φ发散检验统计量的行为之间的差异,我们进行了模拟研究。
2021-12-02 math.ST stat.TH
On statistical estimation and inferences in optional regression models
本文的主要研究对象是一个非常一般的回归模型在可选的设置-当一个观察过程是一个可选的半鞅依赖于一个未知的参数。众所周知,统计数据可以在没有通常条件的情况下呈现信息流/过滤。估计问题是通过结构最小二乘(LS)估计及其序列版本。本文的主要结果致力于这种LS-估计的强相合性。对于序贯LS-估计,证明了固定精度的性质。
2021-03-15 math.ST q-fin.ST stat.TH
Optimum Statistical Estimation with Strategic Data Sources
McGill University(麦吉尔大学);MIT(麻省理工学院);U.C. Berkeley(加州大学伯克利分校)
我们提出了一个最佳的机制,提供货币激励的数据源的统计估计,如线性回归,使高质量的数据以低成本提供,在这个意义上,付款和估计误差的总和最小化。该机制适用于广泛的估计,包括线性和多项式回归,核回归,并在一些额外的假设下,岭回归。它还概括到几个目标,包括最小化估计误差的预算约束。除了回归问题的具体结果,我们还提供了一个机制设计框架,通过该框架来设计和分析统计估计量,其示例由工人提供,用于标记所述示例的成本。
2015-04-24 cs.GT cs.LG stat.ML
A statistical perspective of sampling scores for linear regression
本文考虑了从噪声样本中学习线性模型的统计问题。现有的工作集中在近似最小二乘解决方案,通过使用基于分数的重要性抽样分布。然而,没有有限样本的统计保证,没有计算效率的最佳采样策略已被提出。为了评估不同抽样策略的统计特性,我们提出了一个简单而有效的估计,这是易于理论分析,是有用的多任务线性回归。对于任何给定的抽样分数,我们推导出所提出的估计的精确均方误差。基于最小化均方误差,我们提出了估计器和预测器的最佳采样分数,并表明它们受到噪声信号比的影响。数值模拟结果与理论分析吻合较好。
2016-02-10 stat.ML
Parallel square-root statistical linear regression for inference in nonlinear state space models
本文提出一种用于非线性非高斯状态空间模型状态与参数估计的并行时间方法,结合统计线性回归与迭代后验线性化范式,通过平方根形式重写提升数值稳定性并保持并行能力,利用固定点结构实现对数时间复杂度的似然参数估计,并在GPU实验中验证了性能。
2023-04-05 cs.DC stat.CO
Statistics 101, 201, and 202: Three Shiny Apps for Teaching Probability Distributions, Inferential Statistics, and Simple Linear Regression
HEC Liège, ULiège(列日高等经济与管理学院,列日大学)
本文介绍三个基于R和Shiny开发的交互式网页应用,帮助学生无需编程基础即可学习统计学基础,涵盖概率分布、置信区间和线性回归等核心内容。
2026-03-30 cs.HC cs.PL stat.OT
Statistical Inference on Panel Data Models: A Kernel Ridge Regression Method
在核岭回归框架下提出了交互固定效应面板数据模型的统计推断方法,与传统的筛法相比,该方法不需要选择基函数和截断参数,模型复杂性由一个连续的正则化参数控制,该参数可以通过广义交叉验证自动选择.基于经验过程理论和泛函分析工具,我们得到了非均匀背景下估计量的联合渐近分布。这些联合渐近的结果,然后使用构造置信区间的回归平均值和预测区间的未来的观察,都是第一个可证明的有效区间在文献中。在齐次背景下,得到了函数估计的边缘渐近正态性。仿真和实际数据分析证明了该方法的优越性。
2017-03-08 math.ST stat.TH
Error analysis of regularized trigonometric linear regression with unbounded sampling: a statistical learning viewpoint
用于函数估计的非参数、基于核的方法的有效性是以高计算复杂性为代价的,这阻碍了它们在自适应、基于模型的控制中的适用性。基于稀疏谱高斯过程的近似技术,我们专注于正则化三角线性回归模型。本文提供了一个分析的统计学习框架内的性能,这样的估计设置。特别是,我们推导出一个新的有限维空间中的样本误差界,占噪声与潜在的无界支持。接下来,我们研究了近似误差,并讨论了偏差方差权衡作为正则化参数的函数,通过结合这两个界限。
2023-03-16 math.ST stat.TH
Ordinal Regression with Fenton-Wilkinson Order Statistics: A Case Study of an Orienteering Race
在体育运动中,个人和团队通常对最终排名感兴趣。最终结果,如时间或距离,决定了这些排名,也被称为地方。地点可以进一步与有序随机变量相关联,通常称为顺序统计量。在这项工作中,我们介绍了一个简单的,但准确的顺序统计有序回归函数,预测接力赛的地方与转换时间。我们称这个函数为Fenton-Wilkinson顺序统计量模型。该模型建立在以下有根据的假设上:个体腿时间遵循对数正态分布。此外,我们的主要思想是利用Fenton-Wilkinson近似的转换时间,以及估计的球队总数在臭名昭著的德国坦克问题。这个原点回归函数是S形的,因此正确地预测了少数精英团队的存在,这些团队的表现明显优于其他团队。我们的模型还描述了在对数正态分布函数的拐点处,位置如何随转换时间线性增加。通过Jukola 2019的真实数据,即使训练集的大小仅为整个数据集的5%,该模型也显示出高度准确性。数值结果还表明,与线性回归、mord回归和高斯过程回归相比,该模型具有更小的位置预测均方根误差。
2020-07-14 stat.AP stat.ML
Data-Driven Threshold Machine: Scan Statistics, Change-Point Detection, and Extreme Bandits
Georgia Tech(佐治亚理工学院)
我们提出了一种新的分布免费的方法,数据驱动的阈值机(DTM),在许多学习任务的核心的一个基本问题:选择一个阈值为一个给定的预先指定的水平,边界的最大值(可能依赖,但平稳)随机序列的尾部概率。我们不假设数据分布,而是依赖于极值的渐近分布,并减少了问题的极值分布和极值指数的三个参数估计。我们通过估计极值索引来特别关注数据依赖性,因为在许多设置中,例如扫描统计,变点检测和极端强盗,其中统计序列中的依赖性可能很重要。我们的DTM的主要特点还包括鲁棒性和计算效率,它只需要一个样本路径,以形成一个可靠的估计阈值,相比之下,蒙特卡洛采样方法,需要绘制大量的样本路径。我们证明了良好的性能DTM通过数值例子在各种相关的设置。
2016-10-14 cs.LG math.ST stat.ML
Statistical Query Lower Bounds for List-Decodable Linear Regression
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加州大学圣地亚哥分校);Web 3 Foundation(Web3基金会)
我们研究了列表可解码线性回归问题,其中对手可以破坏大多数的例子。具体地,我们给出标记的示例$(x, y) \in \mathbb{R}^d \times \mathbb{R}$的集合$T$和参数$0< α<1/2$,使得$T$中的点的$α$分数是i.i.d.样本来自具有高斯协变量的线性回归模型,而剩余的点的$(1-α)$分数来自任意噪声分布。目标是输出一个小的假设向量列表,使得其中至少有一个接近目标回归向量。我们的主要结果是一个统计查询(SQ)下界的$d^{\mathrm{poly}(1/α)}$这个问题。我们的SQ下限定性匹配以前开发的算法的性能,提供证据表明,目前的上限为这项任务几乎是最好的可能。
2021-06-17 cs.DS cs.LG math.ST
Inference in Perturbation Models, Finite Mixtures and Scan Statistics: The Volume-of-Tube Formula
这项研究创建了一个通用类的“扰动模型”,这是由一个潜在的“空”模型,占大部分的数据结构和扰动,占可能的小局部偏离。扰动模型包括有限混合模型和空间扫描过程。在这篇文章中,(1)我们提出了一个新的检验统计量来检测扰动的存在,包括零模型包含一组冗余参数的情况,并证明了它等价于似然比检验;(2)我们建立了检验统计量的渐近分布等价于高维流形上高斯随机场的上确界(例如,曲线、曲面等)边界和奇点(3)利用Hotelling-Weyl-Naiman的“管体积公式”得到了检验统计量的分位数的近似方法;(4)解决了混合模型的阶数检验问题,特别是得到了包含多元混合模型的一般混合模型族的渐近零分布。本文所发展的推论理论适用于一类非正则的统计问题,这些问题涉及可识别性的损失或当某些参数在参数空间的边界上时。
2006-06-03 math.ST stat.TH
Non-asymptotic Properties of Generalized Mondrian Forests in Statistical Learning
本文在 Mondrian 森林基础上提出广义统计学习框架,涵盖最小二乘、ℓ1、分位数回归及分类,在温和假设下给出遗憾/风险上界并证明一致性。
2025-02-27 math.ST stat.TH
Near-optimal Anomaly Detection in Graphs using Lovasz Extended Scan Statistic
图中异常活动的检测是在许多应用中出现的统计问题,例如网络监视、疾病爆发检测和社交网络中的活动监视。除了其广泛的适用性,图结构异常检测作为一个案例研究的困难,平衡计算复杂性与统计功效。在这项工作中,我们从第一性原理的广义似然比检验,以确定是否有一个良好的连通区域的激活在图中的顶点在高斯噪声。因为这个测试是计算上不可行的,我们提供了一个放松,称为Lovasz扩展扫描统计(LESS),使用子模块近似的棘手的广义似然比。我们证明了LESS和马尔可夫随机场中的最大后验推理之间的联系,这为我们提供了LESS的多时间算法。利用电网络理论,我们能够控制LESS的1型错误,并证明了LESS是风险一致的条件。最后,我们考虑特定的图形模型,环面,k-最近邻图,和ε-随机图。我们表明,在这些图上,我们的结果提供了接近最佳的性能匹配我们的结果,已知的下限。
2013-12-11 stat.ML
High-dimensional robust regression and outliers detection with SLOPE
高维环境下的离群点检测和稳健回归问题是统计学中的基础问题,并有许多应用。继最近的一组工程提供的方法,同时强大的回归和离群值检测,我们认为在本文中的一个模型,线性回归与个人的截距,在一个高维设置。我们引入了一种新的程序,用于同时估计线性回归系数和截距,使用两个专用的排序- $\ell_1$惩罚,也称为SLOPE。我们开发了一个完整的理论,这个问题:首先,我们提供了尖锐的上界的统计估计误差的向量的个别截距和回归系数。其次,我们给出了一个渐近控制的错误发现率(FDR)和统计功效的支持选择的个人拦截。因此,本文是第一个介绍一个过程中,保证FDR和统计功效控制下的均值漂移模型的离群点检测。数值说明,与最近的替代方法的比较,提供了模拟和几个真实世界的数据集。实验使用Python和C++编写的开源软件进行。
2017-12-07 stat.ML
Statistical Estimation: From Denoising to Sparse Regression and Hidden Cliques
这些笔记回顾了Andrea Montanari教授关于线性模型统计估计主题的六次讲座。前两堂课涵盖了从极小极大风险的线性测量中恢复信号的原理。随后的讲座演示了这些原则的应用,在科学和工程的一些实际问题。具体而言,这些主题包括对错误信号的去噪,压缩感知信号的恢复,低秩矩阵的重构,以及大型网络中隐藏集团的发现。
2014-09-19 cs.IT math.IT stat.ML
Beyond Covariance Matrix: The Statistical Complexity of Private Linear Regression
本文揭示私有线性回归的统计复杂度由协方差矩阵的 L1 类似物而非协方差矩阵本身刻画,提出信息加权回归方法达到极小极大最优速率,并应用于私有线性上下文赌博机,证明联合隐私几乎无额外代价。
2025-11-05 cs.AI cs.CR cs.LG