Censored Graphical Horseshoe: Bayesian sparse precision matrix estimation with censored and missing data
Norwegian Institute of Public Health(挪威公共卫生研究所);Indian Institute of Management Indore(印度管理学院印多尔分校)
本文提出CGHS方法,用于处理截断和缺失数据的贝叶斯稀疏精度矩阵估计,通过引入潜在变量和自适应收缩先验,提高估计精度。
2026-01-10 math.ST stat.CO stat.ME
Non-asymptotic Oracle Inequalities for the High-Dimensional Cox Regression via Lasso
我们考虑了正则化高维Cox回归的有限样本性质。现有的文献主要集中在线性模型或具有Lipschitz损失函数的广义线性模型,其中经验风险函数是独立同分布(iid)损失的总和。然而,截尾生存数据的负对数偏似然函数中的被加数既不是iid也不是Lipschitz。首先用iid非Lipschitz项之和逼近负对数偏似然函数,然后利用逐点变元推导了lasso惩罚Cox回归的非渐近预言不等式,解决了由于缺乏iid和Lipschitz性质而带来的困难.
2012-04-09 math.ST stat.ML stat.TH
Variable selection in doubly truncated regression
双截断数据出现在许多领域,如天文学,计量经济学和医学研究。在响应变量双截尾的回归分析中,双截尾的存在不仅会给估计带来偏差,而且会影响变量的选择。我们提出了一个同时估计和变量选择过程的双截尾回归,允许发散的回归参数。为了消除由双重截断引入的偏差,使用Mann-Whitney型损失函数。然后将自适应LASSO惩罚加入到损失函数中,以实现同时估计和变量选择。设计了一种迭代算法来优化所得到的目标函数。我们建立了所提出的估计量的相合性和渐近正态性。文中还证明了该选择过程的预言性质。一些仿真研究表明,所提出的方法的有限样本性能。最后,我们用这种方法对一个实际的天文数据进行了分析。
2021-10-20 stat.ME
Comparing Lasso and Adaptive Lasso in High-Dimensional Data: A Genetic Survival Analysis in Triple-Negative Breast Cancer
本文研究了高维基因数据中带Lasso和Adaptive Lasso惩罚的Cox回归,提出四种权重计算策略和基于重要性指数的稳健变量选择流程,发现Adaptive Lasso在变量选择和预测性能上优于标准Lasso,并成功应用于三阴性乳腺癌预后分析。
2025-07-01 stat.AP stat.ME
Survival trees for left-truncated and right-censored data, with application to time-varying covariate data
树方法(递归划分)是一种流行的非参数数据分析方法。基本树方法的一个扩展是生存树,它将递归划分应用于删失生存数据。现有的几种生存树方法主要是针对右删失数据设计的。本文提出了两种新的左截断右删失数据生存树,它可以看作是传统右删失数据生存树的推广。此外,我们表明,这种树可以用来分析生存数据随时间变化的协变量,基本上建立一个随时间变化的协变量生存树。仿真和实际数据分析结果表明,所提方法分别对LTRC数据和生存数据具有较好的效果。
2016-06-09 stat.ME
A general class of quasi-independence tests for left-truncated right-censored data
在生存研究中,左截断数据的经典推断需要准独立性,即截断时间和失效时间的联合密度在可观察区域内可分解为它们的边际密度。准独立性假设是可检验的;许多作者已经开发了针对左截断数据的检验,无论是否进行右删失。本文提出了一类检验拟独立性的检验统计量,它统一了已有的检验方法,并产生了条件Spearman秩相关系数等新的有用统计量.给出了这类统计量的渐近正态性。我们表明,一组新的测试可以是强大的某些替代品的理论和经验的权力比较。
2017-09-11 stat.ME
Variable Selection in Ultra-high Dimensional Feature Space for the Cox Model with Interval-Censored Data
本文针对区间删失数据下的超高维 Cox 模型,提出基于 lasso、adaptive lasso、SCAD 和 MCP 惩罚的变量选择方法,证明其具有 oracle 性质,并通过模拟和儿童龋齿全基因组关联研究验证了方法效果。
2024-05-02 stat.ME
Semiparametric Sieve Maximum Likelihood Estimation Under Cure Model with Partly Interval Censored and Left Truncated Data for Application to Spontaneous Abortion Data
这项工作的动机是观察性研究妊娠与自然流产(SAB)的结果。显然,有些妇女经历了SAB事件,但其余的没有。此外,由于这些研究招募孕妇的方式,数据被截断。对于那些经历过SAB的女性来说,她们的确切事件时间有时是未知的。最后,一小部分妇女在怀孕期间失去了后续行动。所有这些都会产生左截断、部分区间和右删失的数据,并且具有明确定义的固化部分。我们考虑非混合Cox回归治愈率模型,并采用半参数样条筛选极大似然方法来分析此类数据。利用现代经验过程理论证明了参数和非参数部分的筛估计是一致的,并建立了这两部分的渐近正态性。进行仿真研究,以建立有限样本的性能。最后,我们将我们的方法应用于自然流产的观察性研究数据库。
2017-08-22 stat.ME
Censored lifespans in a double-truncated sample: Maximum likelihood inference for the exponential distribution
针对双截断样本中因删失阻碍分析的问题,假设寿命服从指数分布并推导似然函数,对不可观测样本量进行轮廓化处理,证明了参数可识别性及 M-estimator 的一致性与渐近正态性,并以德国企业寿命为例验证。
2025-04-23 stat.ME
Statistical methods for cost-effectiveness analysis of left-truncated censored survival data with treatment delays
本文提出基于半参数分层Cox模型并考虑治疗延迟的ICER和INB估计与推断方法,通过模拟验证其有限样本性质,并应用于坦桑尼亚艾滋病患者更换治疗的成本效果评估。
2025-05-09 stat.ME
Estimating conditional hazard functions and densities with the highly-adaptive lasso
针对多元càdlàg函数类上的条件风险函数与密度估计问题,提出基于数据自适应筛的高度自适应套索估计量,证明其收敛速度与定义明确时的经验风险最小化器相当,且基函数数量更少,还拓展至右删失数据场景与新的条件密度估计。
2024-04-17 math.ST stat.TH
Method of Winsorized Moments for Robust Fitting of Truncated and Censored Lognormal Distributions
本文提出自适应Winsorized矩方法(MWM)用于截断与删失对数正态分布的稳健参数估计,推导其渐近性质并与MLE和MTM比较,通过模拟和真实保险损失数据验证了该方法的有效性。
2024-02-21 stat.ME
Regression for Left-Truncated and Right-Censored Data: A Semiparametric Sieve Likelihood Approach
针对同时存在左截断和右删失的事件时间数据,提出半参数筛似然线性回归方法,证明估计量相合、渐近正态且半参数有效,并通过模拟和 The 90+ Study 数据验证其效果。
2025-04-10 stat.ME
Cumulative/Dynamic Time-Dependent ROC Analysis for Left-Truncated and Right-Censored Data
St. Jude Children’s Research Hospital(圣裘德儿童研究医院);University of Southern Mississippi(南密西西比大学);Brown University(布朗大学)
该研究针对左截断右删失数据拓展时间依赖ROC分析方法,提出多种回归型及逆概率加权估计量,经模拟和真实队列数据验证,为时间结局的生物标志物判别性能评估提供了更适用的统计工具。
2026-10-06 stat.ME
Analysis of Left Truncated and Right Censored Competing Risks Data
本文在潜在失效时间模型的假设下,对左截尾右截尾竞争风险数据进行了分析。假设有两个相互竞争的故障原因,虽然大多数结果可以扩展到两个以上的故障原因。假设失效竞争原因对应的寿命服从形状参数相同但尺度参数不同的韦布尔分布。讨论了模型参数的极大似然估计方法,并利用Bootstrap方法给出了模型参数的置信区间。当形状参数已知时,给出了尺度参数的极大似然估计的显式表达式;当形状参数未知时,给出了计算形状参数的极大似然估计的简单迭代方法.贝叶斯估计和相关的可信区间的未知参数也解决了一个非常灵活的先验的形状和尺度参数。广泛的蒙特卡罗模拟进行比较不同的方法的性能。为了说明的目的,提供了数值示例。最后,当两个相互竞争的失效原因被假定为具有不同形状参数的独立韦布尔分布时,结果得到了推广。
2020-08-18 stat.ME
Goodness-of-Fit Tests for Censored and Truncated Data: Maximum Mean Discrepancy Over Regular Functionals
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidade de Vigo(维戈大学)
本文提出了一种基于最大均值差异的适配性检验方法,用于处理删失和截断数据,解决了传统方法在计算和收敛性上的不足。
2026-02-08 stat.ME
The Generalized Lasso with Nonlinear Observations and Generative Priors
National University of Singapore(新加坡国立大学)
在本文中,我们研究的问题,从噪声的非线性测量信号估值估计的未知$n$维信号的范围内的$L$ -Lipschitz连续生成模型与有界$k$维输入。我们假设的亚高斯测量,这是满足广泛的测量模型,如线性,逻辑,1位,和其他量化模型。此外,我们认为对抗腐败对这些测量的影响。我们的分析基于广义Lasso方法(Plan和Vershynin,2016)。我们首先提供了一个非统一的恢复保证,它指出,根据i.i.d.~高斯测量,大致$O\left(\frac{k}{ε^2}\log L\right)$样本足以恢复$ε$的$\ell_2$ -误差,并且该方案对对抗性噪声是鲁棒的。然后,我们将这一结果应用到神经网络生成模型中,并讨论了对其他模型和非独立同分布模型的各种扩展。测量.此外,我们表明,我们的结果可以扩展到均匀恢复保证下的一个所谓的本地嵌入属性的假设,这是由1位和删失Tobit模型所满足的。
2020-10-08 cs.IT cs.LG math.IT
Modeling lower-truncated and right-censored insurance claims with an extension of the MBBEFD class
针对一般保险中带免赔额、最高赔付额的下截断右删失索赔建模难题,研究扩展了最初用于再保险的MBBEFD分布族,证明其包含单峰偏态与单调递减两类密度,并分析了免赔额、最高赔付额变化对分布的影响。
2024-03-27 math.ST stat.AP stat.ME
Nonparametric estimation of multivariate distribution function for truncated and censored lifetime data
已经考虑了用于生成包括人寿保险、养恤金和一般保险在内的各个保险领域的统计数据的若干模型。研究表明,保险统计数据通常是截尾和删失的,而且往往是多变量的。我们提出了准经验分布形式的多元截尾数据的分布函数的非参数估计及其构造的简单迭代算法。为了检验截断删失数据分布函数估计的准确性,进行了模拟研究,结果表明该方法具有较高的效率。多年来,审咨委公司集团在根据《国际会计准则》第19号雇员福利对公司社会负债进行精算估值时对拟议估计数进行了检验。除了保险,一些工作成果可以使用,例如在医学,生物学,人口学,可靠性的数学理论等。
2019-04-13 math.ST q-bio.QM stat.ME
Stable variable selection for right censored data: comparison of methods
模型选择的不稳定性是包含大量协变量的数据集的主要问题。本文讨论了高维问题中响应变量可以右删失时的变量选择方法。我们专注于新的稳定的变量选择方法的基础上,自助法的两种方法:Cox比例风险模型和生存树。就Cox模型而言,我们研究了两种变量选择技术的自举:基于AIC准则的逐步算法和L1惩罚的Lasso。关于生存树,我们回顾了两种方法:自助节点级稳定和随机生存森林。我们将这些不同的方法应用于两个真实的数据集。我们比较了基于Harrell一致性指数的预测误差率的方法和相应的选择模型的解释的相关性。其目的是找到一个良好的预测性能和易于解释的临床医生之间的妥协。结果表明,在少量个体的情况下,自举适应Cox模型中的L1-惩罚或自举生存树中的节点级稳定性提供了随机生存森林方法的一个很好的替代方案,已知其预测误差率最小,但难以通过非统计学家验证。从临床的角度来看,基于Cox模型的方法和基于生存树的方法之间的互补性将允许建立易于临床医生验证的可靠模型。
2012-03-22 stat.AP
Right-censored models by the expectile method
本文提出基于期望分位损失和自适应LASSO的AFT模型估计方法,实现变量选择,并证明渐近性质,模拟和实例验证其有效性。
2024-02-05 math.ST stat.ME stat.TH
Statistical inference after variable selection in Cox models: A simulation study
Mathematical Statistics and Artificial Intelligence in Medicine, University of Augsburg(医学中的数学统计与人工智能,乌尔姆大学);Center for Advanced Analytics and Predictive Sciences (CAAPS), University of Augsburg(高级分析与预测科学中心(CAAPS),乌尔姆大学)
本文通过模拟研究探讨了Cox模型中变量选择后Lasso和适应性Lasso的推断方法,分析了样本分割、精确后选择推断和去偏Lasso的性能,并通过实际数据验证其应用效果。
2026-02-07 cs.LG stat.AP stat.CO
Estimation of Spectral Risk Measure for Left Truncated and Right Censored Data
针对保险中的左截断右删失数据,提出基于乘积限估计量的谱风险度量非参数估计,证明其渐近正态性、Edgeworth展开及bootstrap二阶精度,蒙特卡洛显示其在小k和小样本下优于现有估计量。
2025-02-26 q-fin.RM stat.ME
Truncated, Censored, and Actuarial Payment-type Moments for Robust Fitting of a Single-parameter Pareto Distribution
本文针对单参数Pareto分布提出截断矩估计方法(MTuM),以解决MLE在存在离群值和截断、删失、缩放等损失控制机制下缺乏稳健性的问题,并建立了其渐近性质及与MLE的比较结果。
2024-02-21 stat.ME
Post-selection inference with HSIC-Lasso
在非线性和/或高维数据中检测有影响力的特征是机器学习中一项具有挑战性且日益重要的任务。因此,变量选择方法和选择后推理一样受到了广泛的关注。事实上,如果不考虑选择程序,所选特征可能存在重大缺陷。我们提出了一个选择性的推理过程,使用所谓的无模型的“HSIC-Lasso”的基础上的框架截断高斯结合多面体引理。然后,我们开发了一种算法,它允许低计算成本,并提供了一个选择的正则化参数。我们的方法的性能说明了人工和现实世界的数据为基础的实验,强调严格控制的I型错误,即使是小样本量。
2021-06-17 math.ST stat.ML stat.TH
Post-Selection Inference for Sparse Estimation
本文综述了稀疏估计中模型选择后的选择性推断,涵盖Lasso、前向逐步法和LARS的多面体与截断分布,并介绍Lasso显著性检验和LARS间距检验。
2023-10-10 math.ST stat.ME stat.TH
Oracle inequalities for the lasso in the Cox model
本文研究了稀疏高维Cox比例风险回归模型中的绝对惩罚最大偏似然估计,其中时间相关协变量的数量可以大于样本量。基于黑塞矩阵在真回归系数下的相容性和锥可逆因子的自然扩张,建立了Oracle不等式。我们的方法也可以证明类似的结果的基础上的限制本征值的扩展。由于相容因子和锥可逆因子总是大于相应的限制特征值,因此所得的预言不等式更加尖锐。在Cox回归模型中,黑塞矩阵是基于删失风险集中的时间相关协变量,因此即使在真实回归系数下对Hessian进行评估,相容性和锥可逆因子以及限制特征值也是随机变量。在温和的条件下,我们证明了这些数量是有界的,从下面的正常数随时间变化的协变量,包括协变量的数量是大于样本量的情况下。因此,在我们的预言不等式中,相容因子和锥可逆因子可以作为正常数来处理。
2013-06-20 math.ST stat.TH
U-Statistics for Left Truncated and Right Censored Data
左截尾右删失数据分析是生存分析和可靠性分析中的常见问题。在终生研究中,除了右删失之外,患者还经常接受左截断。例如,在基于国际骨髓移植登记处(IBMTR)的骨髓移植研究中,在等待移植期间死亡的患者将不会报告给IBMTR。在本文中,我们开发了新的U-统计量下的左截断和右删失。我们证明了所提出的U-统计量的$\sqrt{n}$ -一致性。我们利用计数过程技术导出了U-统计量的渐近分布。作为U-统计量的一个应用,我们开发了一个简单的非参数检验,用于检验当观测值服从左截断和右截尾时,竞争风险中失效时间和失效原因之间的独立性。通过蒙特卡罗模拟研究,评估了所提出的测试的有限样本性能。最后,我们说明我们的测试程序使用寿命数据的Transformers器。
2021-11-13 math.ST stat.ME stat.TH
Post-Selection Inference for the Cox Model with Interval-Censored Data
针对区间删失数据下的Cox模型,提出基于lasso的选择后推断方法,提供渐近有效的p值和置信区间,模拟与阿尔茨海默病应用验证了其有效性。
2023-12-30 stat.ME
L1-Penalized Censored Gaussian Graphical Model
图形套索是用于推断遗传网络的最常用的估计器之一。尽管它的扩散,有几个领域的应用研究中,现代测量技术的检测限制,使使用这个估计理论上是没有根据的,即使当一个多变量高斯分布的假设是满意的。典型的例子是由聚合酶链式反应和流式细胞仪产生的数据。删失和高维性的结合使得从这些数据中推断潜在的遗传网络非常具有挑战性。在本文中,我们提出了一个$\ell_1$ -惩罚高斯图模型的删失数据,并推导出两个EM类算法的推断。通过广泛的模拟研究,我们评估了所提出的算法的计算效率,并表明我们的建议克服了现有的竞争对手时,删失数据。我们将所提出的方法应用于来自微流控RT-qPCR技术的基因表达数据,以推断血液发育的调控机制。
2018-01-24 stat.ME
Model Uncertainty and Selection of Risk Models for Left-Truncated and Right-Censored Loss Data
针对保险损失数据的左截断右删失特性,研究参数风险模型的不确定性与选择方法,推导估计量渐近性质,通过模拟和真实数据集评估多种模型验证工具的选择效果。
2024-01-31 math.ST stat.ME stat.TH
An l1-Oracle Inequality for the Lasso
在过去的几年里,套索吸引了许多作者的注意。虽然已经做了很多努力来证明,Lasso的行为就像一个变量选择过程的价格强(虽然不可避免的)假设这些变量的几何结构,少得多的注意力已经支付给Lasso作为正则化算法的性能分析。我们这里的第一个目的是在这个方向上提供一个概念上非常简单的结果。我们将证明,只要正则化参数选择得当,Lasso几乎和确定性Lasso一样有效。这个结果不需要任何假设,无论是对变量的结构还是对回归函数。我们的第二个目的是引入一个新的估计,特别适合于处理无限可数字典。该估计量被构造为Lasso估计量序列中的一个l0-惩罚估计量,该估计量序列与不断增长的截断字典的二元序列相关联。选择过程自动选择字典的最佳截断水平,以便在近似、l1正则化和稀疏性之间做出最佳权衡。从理论的角度来看,我们将提供一个预言不等式满足这个选定的Lasso估计。为Lasso和选定的Lasso估计量建立的Oracle不等式将使我们能够推导出在广泛的一类函数上的收敛速率,表明这些估计量至少与贪婪算法一样好。此外,我们将证明所选择的Lasso估计量的收敛速度是最佳的正交的情况下,从下面的极小极大风险的一些Besov机构的边界。最后,我们将在神经网络的具体框架下研究Lasso算法在无限不可数字典上的性能。本文所给出的所有预言不等式都是通过应用一个在一组非线性模型中选择模型的一般定理得到的,该定理是高斯浓度不等式的…
2010-07-27 math.ST stat.TH
Regularization for Cox's proportional hazards model with NP-dimensionality
每个样品具有数千个测量值的高通量基因测序阵列和大量相关的删失临床数据增加了对更好的测量特异性模型选择的苛刻需求。本文在Cox比例风险模型的框架下,建立了非多项式(NP)维删失数据的非凹惩罚方法的强预言性质。采用了一类折叠凹罚函数,并对LASSO和SCAD进行了详细讨论。我们揭示了在哪些维度和相关性限制下可以构建和掌握Oracle估计量的问题。结果表明,非凹罚导致显着减少的“不可表示的条件”所需的LASSO模型选择的一致性。推广了自带利息鞅的大偏差结果,刻画了强预言性。此外,非凹正则化估计,渐近实现的信息界的预言估计。一个坐标明智的算法,发现惩罚风险回归问题的解决方案路径的网格,其性能进行评估模拟和基因关联研究的例子。
2012-05-25 math.ST stat.ME stat.ML
Variable selection in nonparametric additive models
考虑一个条件均值函数的非参数可加模型,其中变量和可加成分的数目可能大于样本量,但非零可加成分的数目相对于样本量是“小”的.统计问题是确定哪些可加性分量是非零的。加性分量近似截断级数展开与B样条基地。在这种近似下,分量选择的问题就变成了选择展开式中的系数组的问题。我们应用自适应组Lasso来选择非零分量,使用组Lasso来获得初始估计并降低问题的维数。我们给出的条件下,组Lasso选择一个模型,其组件的数量是可比的基础模型,和自适应组Lasso选择正确的非零组件的概率接近一个作为样本量的增加,并达到最佳的收敛速率。Monte Carlo实验结果表明,自适应组Lasso过程适用于中等规模的样本。最后通过一个算例说明了该方法的应用。
2010-10-20 math.ST stat.TH
A New Approach of Point Estimation from Truncated or Grouped and Censored Data
本文提出了一种估计概率分布参数的新方法。它包括结合两种新的估计方法。第一个是基于一个新的距离的定义测量之间的差异的变化的两个分布在有限数量的点,从他们的支持和使用这种措施的估计目的的最小距离的方法。对于第二种方法,给定一个经验离散分布,我们建立了一个辅助离散理论分布,它具有与第一种方法相同的支持度,并且依赖于经验分布所源自的数据的父分布的相同参数。然后,我们用通常的统计方法从经验分布中估计参数。在实践中,我们建议计算两个估计,第二个基于已知理论性质的极大似然原理,第一个是作为所获得的估计的有效性的控制,并且为此我们证明了概率依概率收敛,因此我们也有一个标准的观测中包含的信息的质量。我们将该方法应用于截断或分组和删失数据的情况下,给味道的方法的有效性。我们也给出了一些有趣的观点的方法,包括从截断数据的模型选择,估计的初始试验值的情况下,截断和合并的正态总体的庆祝期望最大化算法,一个测试的拟合优度的基础上的新的距离,估计和数据的质量。
2008-12-29 math.PR math.ST stat.ME
Nonparametric Estimation of Event-Free Survival for Data with Left-Truncated Death and Intermittently Assessed Nonfatal Events
University of Minnesota(明尼苏达大学);Columbia University(哥伦比亚大学);University of Texas(德克萨斯大学);University of Texas Southwestern Medical Center(德克萨斯大学西南医学中心);University of Mississippi Medical Center(密西西比大学医学中心);University of North Carolina(北卡罗来纳大学);Wake Forest University School of Medicine(维克森林大学医学院)
针对左截断、分量特异性删失(区间删失非致命事件与右删失死亡)下的无事件生存估计,提出核平滑非参数方法,支持受限均值检验及补充数据利用,并经模拟和ARIC数据验证。
2026-09-14 stat.ME
Penalized Generative Variable Selection
Yale School of Public Health(耶鲁公共卫生学院);The Hong Kong Polytechnic University(香港理工大学)
本文提出在条件Wasserstein生成对抗网络中使用Group Lasso惩罚进行变量选择,并将其扩展到删失生存数据分析,建立了变量选择的收敛速率并提升了分布估计效率。
2024-02-26 cs.LG stat.ME stat.ML
Robust Estimation of Loss Models for Truncated and Censored Severity Data
本文针对受免赔额、保单限额和共同保险影响的保险索赔损失数据,提出基于截尾矩和缩尾矩的稳健估计方法,推导其渐近性质并在Norwegian fire claims数据上验证了其稳健性与计算高效性。
2024-02-20 math.ST stat.CO stat.ME
Censored quantile regression processes under dependence and penalization
我们考虑相依数据结构下截尾数据的分位数回归过程,并推导出这些过程的统一Bahadur表示。我们还考虑了分位数回归模型中参数的维数很大的情况。它表明,传统的惩罚估计,如自适应套索产量次优率,如果分位数回归系数过零。新的惩罚技术的介绍,能够处理特定的问题,删失数据和产量估计的最佳速率。与大多数文献不同的是,渐近分析不需要独立观测的假设,而是基于相当弱的假设,这对许多种相关数据都是满意的。
2013-06-12 math.ST stat.ME stat.TH
Learning Robust Treatment Rules for Censored Data
Zhejiang University(浙江大学);Tsinghua University(清华大学);National University of Singapore(新加坡国立大学);George Washington University(乔治华盛顿大学);New York University(纽约大学)
本文提出两种鲁棒标准,用于学习具有截断生存结果的最优治疗规则,通过截断平均生存时间和缓冲生存概率最大化,结合差分-凸算法进行估计,并在模拟和临床试验中验证其有效性。
2026-03-11 math.ST stat.CO stat.ME
Provable Guarantees for Sparsity Recovery with Deterministic Missing Data Patterns
Purdue University(普渡大学)
我们研究的问题,一贯恢复的稀疏模式的回归参数向量的相关观测确定性缺失的数据模式使用Lasso。我们考虑的情况下,观察到的数据集是由一个确定性的,非均匀的过滤器。在具有确定性缺失结构的数据集中恢复稀疏模式可以说比在均匀随机场景中恢复更具挑战性。本文利用审查过滤器的拓扑性质,提出了一种有效的缺失值填补算法。然后,我们提供了新的理论结果的稀疏模式的精确恢复使用建议的插补策略。我们的分析表明,在一定的统计和拓扑条件下,可以在多项式时间和对数样本复杂度内以高概率一致地恢复隐藏的稀疏模式。
2022-06-10 cs.LG stat.ML
Modeling Variables with a Detection Limit using a Truncated Normal Distribution with Censoring
当收集的数据受检测限限制时,低于检测限的观察结果可视为删失。此外,此类观测的域可能受到限制;例如,可能要求值为非负。我们提出了一种回归方法,删失观测,也占域限制。该方法发现最大似然估计假设基本截断正态分布。我们表明,我们的方法,tcensReg,优于其他方法通常用于数据的检测限,如Tobit回归和单插补的检测限或半检测限的偏差和均方误差的模拟设置范围下。我们应用我们的方法来分析从眼科临床试验中收集的视觉质量数据,比较白内障手术中植入的不同类型的人工晶状体。
2019-11-25 stat.AP stat.ME
Truncated Linear Regression in High Dimensions
MIT(麻省理工学院)
与标准线性回归一样,在截断线性回归中,我们可以访问因变量等于$y_i= A_i^{\rm T} \cdot x^* + η_i$的观测值$(A_i, y_i)_i$,其中$x^*$是某个固定的未知感兴趣向量,$η_i$是独立噪声;除非因变量$y_i$位于某个“截断集”$S \subset \mathbb{R}$中,否则我们只能获得观测值。目标是在对$A_i$和噪声分布有利的条件下恢复$x^*$。我们证明了存在一种计算和统计上有效的方法,用于从$m$截断样本中恢复$k$ -稀疏$n$ -维向量$x^*$,该方法获得了$O(\sqrt{(k \log n)/m})$的最佳$\ell_2$重建误差。作为一个推论,我们的保证意味着一个计算效率和信息理论上的最佳算法压缩感知截断,这可能会产生测量饱和效应。我们的结果如下从随机梯度下降(SGD)算法的统计和计算分析,解决自然适应的LASSO优化问题,容纳截断。这概括了两个人的工作:(1)[Daskalakis et al. 2018],由于数据的低维性,不需要正则化,以及(2)[Wainright 2009],由于没有截断,目标函数很简单。为了同时处理截断和高维,我们开发了新的技术,不仅推广了现有的,但我们相信是独立的利益。
2020-07-29 cs.DS cs.LG math.ST
Debiased machine learning for counterfactual survival functionals based on left-truncated right-censored data
提出基于去偏机器学习的非参数估计量,用于在左截断右删失数据下估计反事实生存时间与协变量联合分布,支持灵活机器学习工具集成与稳健推断。
2024-11-13 math.ST stat.ME stat.TH
Improved Non-parametric Penalized Maximum Likelihood Estimation for Arbitrarily Censored Survival Data
非参数极大似然估计是一组经典的估计方法,用于估计截尾数据中的分布相关函数,在生存分析中有着广泛的应用。这些方法,包括卡普兰-迈耶估计量和Turnbull方法,经常导致过拟合,特别是当样本量很小时。我们提出了一种改进这些方法,通过应用核平滑的原始估计,基于BIC型损失函数,平衡优化模型拟合和控制模型复杂性之间的权衡。在纵向研究的背景下,重复观察,我们详细介绍了我们提出的平滑过程和优化算法。通过对多个现实场景的广泛模拟研究,我们证明了我们基于平滑的程序通过减少过拟合在生存函数估计和个体水平的事件发生时间预测方面提供了更好的整体准确性。与原始未平滑估计值相比,我们的平滑过程使用区间删失数据将估计值与真实模拟生存函数之间的差异降低了49%,样本内和样本外预测分别提高了41%和23%。最后,我们将我们的方法应用于审查乳腺癌诊断的真实数据,与未审查数据的经验生存估计相比,这同样显示出改善。我们提供了一个R包,SISE,用于实现我们的惩罚似然方法。
2021-08-04 stat.ME
Graph estimation for Gaussian data zero-inflated by double truncation
我们考虑零膨胀高斯模型中的图估计问题。在这个模型中,零膨胀是通过高斯向量的双重截断(右和左)获得的。我们的目标是恢复高斯向量的潜图结构与零膨胀截断向量的观察。我们提出了一个两步估计过程。第一步包括通过最大化截断向量的相应二元边际对数似然来估计协方差阵的每一项。第二种方法使用图形套索过程来估计精度矩阵稀疏性,从而对图结构进行编码。然后,我们陈述了关于协方差阵和精度矩阵估计的收敛速度的一些理论收敛结果。这些结果使我们能够建立我们的程序图结构恢复的一致性。我们还提出了一些模拟研究,以证实我们的程序的效率。
2019-11-18 math.ST stat.AP stat.TH
Targeted learning of heterogeneous treatment effect curves for right censored or left truncated time-to-event data
University College London(伦敦大学学院);London School of Hygiene & Tropical Medicine(伦敦卫生与热带医学院);Ghent University(根特大学)
本文提出surv-iTMLE方法,用于估计两种治疗下的条件生存概率差异,克服了现有方法在有限样本下的性能不足,通过模拟研究和临床应用展示其在异质治疗效应估计中的优势。
2026-03-27 stat.AP stat.ME stat.ML
High-dimensional Bayesian Tobit regression for censored response with Horseshoe prior
针对高维左删失回归问题,提出结合 Horseshoe 先验、数据增强与 Gibbs 采样的贝叶斯 Tobit 框架,并证明其后验一致性与稀疏收敛速率。
2025-05-13 math.ST stat.ME stat.ML
Finite mixture modeling of censored and missing data using the multivariate skew-normal distribution
有限混合模型已被广泛应用于非均匀总体数据的建模和分析。此外,由于实验设备的限制,这类数据可能会丢失或受到一些检测上限和/或下限的影响。另一个复杂的情况出现时,每个人口的措施偏离显着的常态,例如,不对称的行为。对于这样的数据结构,我们提出了一个强大的模型,删失和/或缺失数据的基础上有限的混合多元偏态正态分布。这种方法使我们能够以极大的灵活性对数据进行建模,同时适应多模态和偏态,这取决于混合成分的结构。我们开发了一个分析简单,但有效的EM型算法进行参数的极大似然估计。该算法在E步具有闭合形式的表达式,其依赖于截断的多元偏态正态分布的均值和方差的公式。此外,还提出了一种基于信息的估计量渐近协方差阵的一般逼近方法。模拟和真实数据集的分析结果表明,所提出的方法的有效性。所提出的算法和方法在新的R包CensMFM中实现。
2020-09-22 stat.ME
Sparse Linear Regression: Sequential Convex Relaxation, Robust Restricted Null Space Property, and Variable Selection
针对高维稀疏线性回归问题,提出序列凸松弛算法iSCRA-TL1,基于鲁棒限制零空间性质等理论证明其可在弱条件下、有限步数内获得神谕估计量,弥补了Lasso估计量质量不足的缺陷。
2024-11-02 math.ST stat.TH
A unified framework for fitting Bayesian semiparametric models to arbitrarily censored survival data, including spatially-referenced data
一个全面的,统一的方法来建模任意删失的空间生存数据的三个最常用的半参数模型:比例风险,比例优势,加速失效时间。与许多其他方法不同,所有方式的删失生存时间同时容纳,包括未删失,区间删失,当前状态,左和右删失,以及这些的混合。左截断的数据也容纳导致模型的时间依赖性协变量。地理参考(位置精确观察)和区域观察(位置已知的地理单位,如县)的空间位置进行处理;正式的变量选择使得模型选择特别容易。用条件Cox-Snell残差图评估模型拟合,并通过LPML和DIC进行模型选择。基线生存率采用新的变换Bernstein多项式先验建模。所有模型都通过一个新的函数来拟合,该函数调用R包spBayesSurv中的高效编译C++。该方法广泛说明了模拟和实际数据的应用。一个重要的发现是,比例几率和加速失效时间模型往往比常用的比例风险模型拟合得更好。补充材料可在网上查阅。
2017-07-03 stat.AP stat.ME
Tractable Post-Selection Maximum Likelihood Inference for the Lasso
在模型选择后应用标准统计方法可能会产生效率低下的估计量和假设检验,无法达到标称I类错误率。主要问题是数据的选择后分布与原始分布不同。特别地,所观察到的数据被约束为位于由所选择的模型确定的原始样本空间的子集中。这通常使得观测数据的后选择似然难以处理,并且极大似然推断困难。在这项工作中,我们得到周围的棘手的可能性,通过产生噪声无偏估计的后选择得分函数,并使用它们在随机上升算法,产生正确的后选择最大似然估计。我们将所提出的技术估计的问题选择的套索线性模型。在渐近分析中,所得到的估计是一致的所选参数,并有一个有限的截断正态分布。构造的置信区间的基础上的渐近分布获得接近标称覆盖率在所有的模拟设置考虑,和点估计被证明是优于套索估计时,真正的模型是稀疏的。
2019-05-22 stat.ME
A Unified Framework for Density Estimation under Right-Censored Point-Centred Quarter Sampling
East China Normal University(华东师范大学);Zhejiang Tiantong Forest Ecosystem National Observation and Research Station, School of Ecological and Environmental Sciences, East China Normal University(浙江天目山森林生态系统国家野外科学观测研究站,华东大学生态与环境科学学院);Zhejiang Zhoushan Island Ecosystem Observation and Research Station, School of Ecological and Environmental Sciences, East China Normal University(浙江舟山岛生态系统观测研究站,华东大学生态与环境科学学院);KLATASDS-MOE, School of Statistics, East China Normal University(华东师范大学统计学院)
针对右删失点四分位抽样数据,提出基于泊松和负二项分布模型的统一似然与矩估计框架,解决空间聚集种群密度估计问题,其中负二项模型MLE在多种生态场景下表现最优。
2026-05-27 stat.AP stat.ME
Modelling Censored Losses Using Splicing: a Global Fit Strategy With Mixed Erlang and Extreme Value Distributions
在风险分析中,恰当地捕捉损失分布的主体和尾部的全局拟合是至关重要的。由于损失分布的主体和尾部的特定特征,使用标准分布对整个损失范围进行建模通常非常困难,并且通常是不可能的。一个可能的解决方案是在拼接模型中结合两种分布:一种是覆盖轻度和中度损失的机身轻尾分布,另一种是用于捕获大损失的尾部重尾分布。我们提出了一个拼接模型的混合Erlang(ME)分布的身体和帕累托分布的尾巴。这将ME分布的灵活性与Pareto分布建模极值的能力相结合。我们扩展了我们的剪接方法删失和/或截断数据。这类数据的相关例子可在金融风险分析中找到。我们说明了这种拼接模型的灵活性,从风险测量的实际例子。
2017-08-11 stat.AP stat.ME