Truncated Stochastic Approximation with Moving Bounds: Convergence
在本文中,我们提出了一个广泛的一类截断随机逼近程序的移动随机边界。虽然我们相信,所提出的程序类将找到更广泛的应用,主要的动机是适应应用参数统计估计理论。这类随机逼近过程有三个主要特征:截断的随机移动边界,一个矩阵值的随机步长序列,和动态变化的随机回归函数。我们建立收敛性,并考虑几个例子来说明结果。
2012-05-02 math.PR stat.ME
Rate of Convergence of Truncated Stochastic Approximation Procedures with Moving Bounds
本文研究了具有三个主要特征的随机逼近过程:随机移动界截断、矩阵值随机步长序列和动态变化的随机回归函数。我们研究收敛性和收敛速度。主要结果的补充推论建立各种各样的充分条件,主要重点是参数统计估计。通过实例和特殊情况说明了该理论。
2016-11-11 math.ST stat.TH
Asymptotics and statistical inferences on independent and non-identically distributed bivariate Gaussian triangular arrays
本文建立了独立非同分布的二元高斯三角阵列的归一化最大值分布的一阶和二阶渐近性,其中$n$第行的每个向量服从二元高斯分布,相关系数是$i/n$的单调连续函数.进一步研究了该未知函数的参数推断问题。并给出了一些模拟研究和实际数据集分析。
2016-04-26 stat.ME
Independence Properties of the Truncated Multivariate Elliptical Distributions
当非负随机变量是数据生成过程的固有变量时,截断多变量分布在计量经济学建模中广泛出现。更广泛地说,截尾多元分布出现在删失和截尾回归模型、联立方程建模、多元回归以及可以追溯到Amemiya(1974)和Heckman(1976)的经典论文的应用中。在截尾多元分布的一些应用中,出现了通过子向量的相关性和独立性来表征分布的问题。本文刻画了两个互补子向量相互独立的截断多元正态随机向量。进一步,我们描述了多元截断椭圆分布,证明了如果两个互补的子向量是相互独立的,那么联合向量的分布是截断多元正态分布,因为是每个子向量的分布。作为一个应用程序,我们应用独立性准则来测试的假设独立的入学考试成绩和随后的课程平均成绩所取得的样本的大学生,这样做,我们验证的正则性条件支撑的经典定理Wilks的渐近零分布的似然比检验统计量。
2019-06-01 math.ST stat.TH
Truncated generalized extreme value distribution based EMOS model for calibration of wind speed ensemble forecasts
近年来,集合天气预报已成为所有主要天气预报中心的例行工作。这些预报是从不同初始条件或模式参数化的数值天气预报模式的多次运行中获得的。然而,集合预报往往分散性不足,也有偏差,因此需要某种后处理来解决这些缺陷。最流行的统计后处理技术之一是集合模型输出统计(EMOS),它提供了一个完整的预测分布的研究天气量。本文提出了一种新的EMOS风速集合预报模型,其预报分布为广义极值分布(GEV)。截断修正了基于GEV分布的EMOS模型偶尔预测负风速值的缺点,而不影响其良好的性能。新模式进行了测试,由三个不同的集合预报系统提供的风速集合预报的四个数据集,覆盖不同的地理区域和时间段。将TGEV EMOS模式的预报技巧与截断正态、对数正态和GEV方法的预报性能以及原始预报和气候预报进行了比较。结果验证了新的TGEV EMOS方法的优点。
2021-03-12 stat.AP stat.ME
Private Statistical Estimation via Truncation
Yale University(耶鲁大学)
本文提出基于数据截断的差分隐私统计估计框架,为无界支撑下的指数族分布(如高斯均值和协方差)设计高效DP估计器,并通过最大似然与DP随机梯度下降修正截断偏差,实现接近最优的样本复杂度。
2025-11-07 cs.CR cs.DS cs.LG
Asymptotic Behaviour of Truncated Stochastic Approximation Procedures
我们研究了具有三个主要特征的随机逼近过程的渐近行为:随机移动界截断,矩阵值随机步长序列,以及动态变化的随机回归函数。特别是,我们证明了在相当温和的条件下,随机逼近程序在统计意义上是渐近线性的,也就是说,它们可以表示为随机变量的加权和。因此,适当形式的中心极限定理可以用来导出相应过程的渐近分布。该理论通过各种例子和特殊情况来说明。
2016-11-21 math.ST stat.TH
Optimal moment inequalities for order statistics from nonnegative random variables
我们获得了最好的可能的上界的时刻,一个单一的顺序统计量从独立的,非负的随机变量,在人口的平均值。主要结果覆盖了独立同分布的情形。此外,仅独立(不一定同分布)随机变量的样本最小值的情况下,详细处理。关键词和短语:顺序统计量;最优矩界;非负随机变量;样本最小值;可靠性系统。
2018-06-13 math.ST stat.TH
Truncated LinUCB for Stochastic Linear Bandits
Department of Mathematics and Statistics, Queen’s University(皇后大学数学与统计学系)
本文提出截断 LinUCB 算法(Tr-LinUCB),通过在截断时间后停止探索并转为纯利用,解决了 LinUCB 因过度探索导致的遗憾次优问题,并证明其在低维情形下达到 O(d log(T)) 的最优遗憾速率。
2025-05-05 cs.LG math.ST stat.ML
The differential structure shared by probability and moment matching priors on non-regular statistical models via the Lie derivative
针对非正则统计模型上概率匹配先验与矩匹配先验关系不明的问题,本文利用单侧截断指数族上的信息几何,发现沿特定向量场的李导数统一提供了两类先验的条件,促进了对二者的统一理解。
2025-04-30 math.ST stat.TH
Some Results on Comparisons of Random Extremes having Identical and Non-Identical Components
本文重新审视Kundu等人(2024)的研究,为相同和不同独立随机变量推导出保持风险率和逆风险率序的充分条件,并证明其结论在相同情形下不适用。
2025-07-09 stat.AP
Effect of Interim Adaptations in Group Sequential Designs
本文研究了无条件和有条件停止极大似然估计量、信息测度和与成组序贯设计条件相关的信息损失。早期停止的可能性带来截断的分布形式的MLE,顺序地,GSD决定消除一些事件从样本空间。多重检验在适应的样本空间上诱导混合物。MLE的分布是截尾分布的混合。在GSD下,检验统计量在无GSD的情况下是渐近正态的,其渐近分布是局部替代项下截尾正态分布的非正态混合;在固定替代项下,检验统计量的渐近分布是退化的。对各种统计量(如信息、信息分数和置信区间)的估计应考虑到有计划的适应的影响。适应信息分数的计算需要大量的计算工作。因此,提出了一种新的GSD,其中特定阶段的样本量完全由期望的操作特性确定,并且不需要计算信息分数。
2019-08-04 stat.ME
Minimizing Sum of Truncated Convex Functions and Its Applications
本文研究了一类截断凸函数之和极小化的问题。在统计应用中,当拟合$\ell_0$ -惩罚模型时,经常会遇到它们,并且通常会导致NP-难非凸优化问题。在本文中,我们提出了一个通用的算法的全局极小在低维设置。我们还将算法扩展到高维设置,在那里可以有效地找到近似解。我们介绍了几个应用程序中使用的截断凸函数的总和,比较我们提出的算法与其他现有的算法在模拟研究,并显示其实用程序在边缘保持图像恢复的真实数据。
2017-06-27 stat.CO
Efficient Statistics, in High Dimensions, from Truncated Samples
Massachusetts Institute of Technology(麻省理工学院);Max Plank Institute for Informatics(马克斯·普朗克信息研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们提供了一个有效的算法的经典问题,可以追溯到高尔顿,皮尔逊和费舍尔,估计,任意精度的多元正态分布的参数,从截尾样本。来自$d$ -变量正态${\cal N}(\mathbfμ,\mathbfΣ)$的截尾样本意味着样本仅在其落入某个子集$S \subseteq \mathbb{R}^d$时才被显示;否则样本被隐藏,并且它们与所显示的样本成比例的计数也被隐藏。证明了在多项式时间内,只要我们有对$S$的oracle访问,就可以以任意精度估计均值$\mathbfμ$和协方差矩阵$\mathbfΣ$,并且在未知的$d$ -变量正态分布下,$S$具有非平凡测度.此外,我们表明,没有Oracle访问$S$,任何非平凡的估计是不可能的。
2020-10-22 cs.DS cs.LG math.ST
Efficient Truncated Statistics with Unknown Truncation
UW Madison(威斯康星大学麦迪逊分校);MIT(麻省理工学院)
我们研究的问题,估计高斯分布的参数时,样本只显示,如果他们落在一些(未知)子集$S \subseteq \R^d$。截断统计中的这个核心问题有很长的历史,可以追溯到高尔顿,李,皮尔逊和费舍尔。Daskalakis等人最近的工作。(FOCS'18),提供了第一个有效的算法,适用于高维的任意集合时,该集合是已知的,但作为一个开放的问题,更具有挑战性和相关的情况下,未知的截断集。我们的主要结果是一个计算和样本有效的算法,用于估计任意未知截断集的高斯参数,其性能衰减的自然措施的复杂性的集合,即其高斯表面积。值得注意的是,该算法适用于包括半空间的交集、多项式门限函数和一般凸集的大集合族。我们表明,我们的算法密切捕捉的复杂性集和样本个数需要学习的参数,表现出一组小的高斯表面积,它是信息理论上不可能学习真正的高斯与少量样本之间的权衡。
2019-08-02 cs.DS cs.LG math.ST
Efficient Parameter Estimation of Truncated Boolean Product Distributions
National Technical University of Athens(希腊国家技术大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
研究如何在截断样本下高效估计布尔乘积分布参数,提出截断集的肥厚性概念,证明肥厚截断集可使样本生成和统计任务高效完成,同时探讨了截断学习的必要条件。
2026-05-02 cs.DS cs.LG math.ST
Efficient Statistics for Sparse Graphical Models from Truncated Samples
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
本文研究截尾样本下的高维估计。我们专注于两个基本和经典的问题:(i)稀疏高斯图形模型的推理和(ii)支持稀疏线性模型的恢复。(i)对于高斯图形模型,假设$d$维样本${\bf x}$是从高斯$N(μ,Σ)$生成的,并且仅当它们属于子集$S \subseteq \mathbb{R}^d$时才被观察到。我们发现,$μ$和$Σ$可以估计错误$ε$在Frobenius范数,使用$\tilde{O}\left(\frac{\textrm{nz}(Σ^{-1})}{ε^2}\right)$样本从截断$\mathcal{N}(μ,Σ)$和访问$S$的成员预言。集合$S$被假定为在未知分布下具有非平凡测度,但在其他方面是任意的。(ii)对于稀疏线性回归,假设生成样本$({\bf x},y)$,其中仅当$y$属于截断集$S \subseteq \mathbb{R}$时才看到$y = {\bf x}^\top{Ω^*} + \mathcal{N}(0,1)$和$({\bf x}, y)$。我们考虑$Ω^*$是稀疏的情况下,支持集的大小$k$。我们的主要结果是建立精确的条件上的问题尺寸$d$,支持大小$k$,观测$n$的数量,和属性的样本和截断,足以恢复$Ω^*$的支持。具体而言,我们表明,在一些温和的假设下,只有$O(k^2 \log d)$样本需要估计$Ω^*$在$\ell_\infty$ -范数有…
2020-06-17 cs.DS cs.LG math.ST
hdtg: An R package for high-dimensional truncated normal simulation
从多元截断正态分布(MTN)进行模拟在各种统计应用中是必需的,但在高维中仍然具有挑战性。目前可用的算法和它们的实现往往失败时,参数的数量超过几百个。为了提供一个通用的计算工具,有效地从高维MTN采样,我们介绍了hdtg包,实现了两个国家的最先进的模拟算法:谐波哈密顿蒙特卡罗(谐波HMC)和锯齿形哈密顿蒙特卡罗(Zigzag-HMC)。这两种算法都利用解析解的哈密顿动力学下的二次势能与硬边界约束,导致拒绝自由的方法。我们比较他们的效率对另一个国家的最先进的算法MTN模拟,最小最大倾斜接受拒绝采样器(MET)。这三种方法的运行时间在很大程度上取决于底层的多元正态相关结构。Zigzag-HMC和harmonic-HMC都在3,600秒内实现了100个有效样本,所有测试的维度范围从100到1,600,而MET在几个高维示例中有困难。我们提供了如何选择一个适当的方法为特定情况下的指导,并说明了hdtg的用法。
2022-09-23 stat.AP stat.CO