Mixture Conditional Regression with Ultrahigh Dimensional Text Data for Estimating Extralegal Factor Effects
针对文本判决文书中的超高维控制变量，本文提出混合条件回归 MCR 及 EM 估计算法，用于在潜在类别结构下高效估计法外因素效应。
2023-11-14 stat.ME
Nonparametric Screening under Conditional Strictly Convex Loss for Ultrahigh Dimensional Sparse Data
确定筛选技术已被认为是一个强有力的工具来处理多维变量选择问题，其中维度p和样本量n可以满足NP维度log p=O（n^a），其中a>0（Fan & Lv 2008）。本文件旨在同时解决“普遍性”和“有效性”的肯定筛选程序。对于“普适性”，我们从损失函数的角度发展了非参数筛选方法的一般和统一的框架。考虑一个损失函数来度量响应变量和协变量的基础非参数函数的散度。提出了一类新的损失函数，称为条件严格凸损失，它包含但不限于单参数指数族的负对数似然损失、二元分类的指数损失和分位数回归损失.在这类损失函数中建立了可靠的筛选性和模型选择的规模控制。在"有效性”方面，我们重点研究了条件严格凸损失下的拟合优度非参数筛选（Goffins）方法。有趣的是，我们可以实现更好的收敛概率包含真实的模型相比，相关文献。我们所提出的方法的优越性能已进一步证明了广泛的模拟研究和一些真正的科学数据的例子。
2019-12-03 math.ST stat.ME stat.TH
An Approach of Bayesian Variable Selection for Ultrahigh Dimensional Multivariate Regression
在许多实践中，科学家特别感兴趣的是检测哪些预测因子与多变量响应真正相关。将多个响应建模为一个向量比逐个分离每个分量更准确。这对于具有多个相关成分的复杂性状尤其如此。提出了一种贝叶斯多变量选择（BMVS）方法，用于从一个多维候选库中选择影响多变量响应的重要预测因子。通过应用样本大小相关的spike和slab先验，BMVS方法在一定条件下满足强选择一致性性质，这代表了BMVS优于其他现有的基于贝叶斯多元回归的方法。该方法考虑了多个响应的协方差结构而不假设独立性，并通过快速更新MCMC过程将协方差相关参数的估计与所有回归参数集成到一个框架中。通过仿真表明，BMVS方法优于其他一些相关的频率论和贝叶斯方法。所提出的BMVS方法具有广泛应用的灵活性，包括具有多种相关表型和大规模遗传变异和/或环境变量的全基因组关联研究，如真实数据分析部分所示。所提出的方法的计算机代码和测试数据作为一个R包。
2021-11-15 stat.ME
Nonparametric quantile regression for spatio-temporal processes
本文提出一种适用于时空超高维数据的非参数分位数回归方法，克服计算挑战，并建立统计推断理论，通过模拟和电力需求数据验证其性能。
2024-05-24 math.ST stat.ME stat.TH
Variance Estimation Using Refitted Cross-validation in Ultrahigh Dimensional Regression
方差估计是统计建模中的一个基本问题。在维数远大于样本量的多维线性回归中，传统的方差估计方法不再适用。近年来，关于多维线性回归中变量选择的研究进展使这一问题变得容易解决。三维回归中的一个主要问题是未观测到的已实现噪声与某些预测因子之间的高度虚假相关。因此，当选择额外的不相关变量时，实际上预测了实现的噪声，导致严重低估了噪声水平。在本文中，我们提出了一个两阶段的改装过程，通过数据分裂技术，称为改装交叉验证（RCV），以衰减高虚假相关性的无关变量的影响。我们的渐近结果表明，由此产生的程序执行以及Oracle估计，提前知道的平均回归函数。模拟研究进一步支持我们的理论主张。本文还研究和比较了在第一阶段拟合所选变量的朴素两阶段估计和使用LASSO和SCAD的插入式一阶段估计。它们的性能可以通过所提出的RCV方法得到改善。
2010-12-24 math.ST stat.ME stat.TH
Spearman Rank Correlation Screening for Ultrahigh-dimensional Censored Data
本文提出了一种基于Spearman秩相关的超高维数据截尾筛选方法.该方法不需要指定预测变量或响应变量的任何回归形式，并且在未知的响应变量和预测变量的单调变换下具有鲁棒性.在一定的正则条件下，建立了该系统的确筛性和秩相合性.仿真研究表明，新的筛选方法在存在重尾分布、强相关预测因子或离群值的情况下具有良好的性能，并且与现有的非参数筛选方法相比具有更好的性能。特别地，当在高删失率下观察到响应变量时，新的筛选方法仍然工作良好。给出了一个分析实例。
2022-11-24 stat.ME
Uncertainty Quantification in Ensembles of Honest Regression Trees using Generalized Fiducial Inference
由于它们的准确性，基于回归树集合的方法是一种流行的预测方法。一些常见的例子包括贝叶斯加性回归树，boosting和随机森林。本文主要研究诚实随机森林，它是在原始随机森林的基础上增加了诚实性，并被证明具有更好的统计性质。主要贡献是一个新的方法，量化的不确定性的估计和预测所产生的诚实的随机森林。该方法是基于广义的基准方法，并提供了一个基准密度函数，衡量每一个单一的诚实的树是真实的模型。利用这样的密度函数，可以获得估计和预测，以及它们的置信/预测区间。通过与几种最先进的方法的数值比较，并通过应用到一些实际数据集，证明了所提出的方法的有前途的经验性质。最后，所提出的方法在理论上支持了一个强大的渐近保证。
2019-11-14 math.ST stat.ME stat.ML
Robust Estimation and Shrinkage in Ultrahigh Dimensional Expectile Regression with Heavy Tails and Variance Heterogeneity
高维数据的重尾现象和异质性在各个科学领域中普遍存在，给经典统计方法带来了新的挑战。本文将非对称平方损失和huber型稳健技术相结合，提出了一种适用于高维重尾异质数据的稳健期望回归方法。与经典的huber方法不同，我们在两边引入了两个不同的调节参数来解释可能的不对称性，并允许它们发散以减少由鲁棒近似引起的偏差。在正则化框架中，我们采用了一般折叠凹罚函数，如SCAD或MCP罚函数来寻求偏差减少。我们研究了相应估计量的有限样本性质，并弄清楚我们的方法如何发挥其作用，以权衡估计精度对重尾分布。此外，注意到鲁棒非对称损失函数是处处可微的，基于我们的理论研究，我们提出了一个有效的一阶优化算法后，局部线性逼近的非凸问题。在不同分布下的仿真研究表明，我们的方法在系数估计，模型选择和异质性检测令人满意的性能。
2019-10-01 math.ST stat.ME stat.TH
AutoGFI: Streamlined Generalized Fiducial Inference for Modern Inference Problems in Models with Additive Errors
本文提出AutoGFI，一种简化广义信念推断（GFI）的变体，通过仅需拟合例程降低应用门槛，并在张量回归、矩阵补全和网络内聚回归等复杂问题中展现竞争力，推动GFI在实际领域的应用。
2024-12-25 stat.ME
Ridge partial correlation screening for ultrahigh-dimensional data
针对超高维线性回归变量选择计算成本高的问题，提出基于样本岭偏相关绝对值排序的简单筛选方法，结合岭正则化估计与偏方差，在弱假设下实现确定筛选，且表现具竞争力并附带公开软件。
2025-04-27 stat.ME stat.ML
Uncertainty Quantification for High Dimensional Sparse Nonparametric Additive Models
在高维环境中的统计推断最近在文献中引起了极大的关注。然而，大多数已发表的工作集中在参数线性回归问题。本文考虑了这一问题的一个重要扩展：高维稀疏非参数可加模型的统计推断。为了更准确地说，本文开发了一种方法来构建一个概率密度函数的所有候选模型的集合。该方法还可以应用于构造各种感兴趣的量（例如噪声方差）的置信区间和加性函数的置信带。这种方法是使用一个广义的信念推断框架。结果表明，所提出的方法产生的结果享有正确的渐近频率论性质。从数值实验中得到的经验结果验证了这一理论主张。最后，该方法被应用到一个基因表达数据集，并发现了新的发现，大多数现有的方法的基础上参数线性模型未能观察到。
2019-11-13 stat.ME
Extended Fiducial Inference for Individual Treatment Effects via Deep Neural Networks
Department of Statistics, Ewha Womans University（东亚女子大学统计系）；Department of Statistics, Purdue University（普渡大学统计系）
本文提出双神经网络（Double-NN）方法，在扩展置信推断框架下利用深度神经网络估计个体处理效应，并证明模型规模可以$O(n^ζ)$（$0\leq ζ<1$）随样本量增长，优于经典中心极限定理的限制。
2025-05-04 cs.LG math.ST stat.CO
High-dimensional Measurement Error Models for Lipschitz Loss
最近出现的大规模生物医学数据为科学发现带来了令人兴奋的机会。然而，数据中的非线性维数和不可忽略的测量误差可能会给估计带来困难。对于具有测量误差的高维协变量，存在有限的方法，这些方法通常需要噪声分布的知识并且集中于线性或广义线性模型。在这项工作中，我们开发了高维测量误差模型的一类Lipschitz损失函数，其中包括逻辑斯谛回归，铰链损失和分位数回归，等等。我们的估计器被设计成最小化属于合适的可行集的所有估计之间的$L_1$规范，而不需要任何知识的噪声分布。随后，我们将这些估计推广到Lasso模拟版本，该版本在计算上可扩展到更高的维度。我们从理论上保证有限样本的统计误差界和符号的一致性，即使当维数与样本量呈指数增长。广泛的模拟研究表明，在分类和分位数回归问题的性能优于现有的方法。基于人类连接组项目数据中的大脑功能连接性的性别分类任务的应用说明了我们的方法的准确性提高，以及可靠地识别驱动性别差异的重要大脑连接的能力。
2022-10-26 math.ST stat.ME stat.ML
Comparing Two Approaches in Heteroscedastic Regression Models
最近，Sadooghi-alvandi等人（2016）提出了广义检验方法，Xu和Li（2018）提出了基准方法来检验几个方差不等的回归模型中系数的相等性。在本文中，它表明，在这些方法中考虑的量是同分布的，因此，这些方法是相同的。此外，该结果满足单向ANOVA问题。
2018-10-22 stat.ME
Sufficient variable screening via directional regression with censored response
本文提出了一种基于方向回归的删失响应下的高维充分变量筛选方法。新方法是以无模型的方式设计的，因此可以适应各种复杂的模型结构。在一些常用的假设下，我们证明了当维数p以样本量n的指数率发散时，所提出的方法具有确定的屏蔽性质。为了改进边缘筛选方法，进一步配备了相应的迭代筛选算法和稳定性筛选算法。我们通过仿真研究和实际数据分析证明了所提出的方法的有效性。
2018-02-27 stat.ME
Tucker Tensor Regression and Neuroimaging Analysis
大规模的神经影像学研究一直在收集研究个体的大脑图像，这些图像采用二维、三维或更高维阵列的形式，也称为张量。解决这些数据所产生的科学问题需要新的回归模型，以多维数组作为协变量。简单地将图像数组转换为长向量会导致非常高的维数，这会损害经典的回归方法，更严重的是，破坏了拥有丰富信息的数组数据的固有空间结构。本文基于回归系数阵列的Tucker分解，提出了一类广义线性张量回归模型。有效地利用张量协变量的低秩结构，将多维性带到可管理的水平，从而实现有效的估计。我们证明，无论是数值上，新的模型可以提供一个良好的恢复，甚至高秩信号，渐近的模型是一致的估计最好的塔克结构近似的Kullback-Liebler距离的意义上的全阵列模型。新的模型还比较了最近提出的张量回归模型，依赖于替代CANDECOMP/PARAFAC（CP）分解。
2013-04-20 stat.ME
A unified generalization of inverse regression via adaptive column selection
本文提出基于自适应列选择的统一逆回归推广方法，解决高阶逆回归方法在高维下的维数瓶颈，实现稀疏化并提升SDR适用性。
2024-07-23 stat.ME
Robust and Scalable Sure Screening of Fixed effects in Ultrahigh-dimensional Linear Mixed Models
Indian Statistical Institute（印度统计研究所）；University of Oslo（奥斯陆大学）
针对超高维线性混合模型，提出基于最小密度功率散度的鲁棒筛选方法DPD-SISP，通过代理变换解耦随机效应，实现固定效应变量的确定筛选，并保证指数级高概率的筛选性质。
2026-06-29 stat.CO stat.ME
Generalized Fiducial Inference for Hybrid Discrete-Continuous Count Data: Theory and Application
Department of Statistics and Operations Research, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校统计与运筹学系）
针对高频运动员追踪计数数据，提出混合广义Fiducial框架，结合精确负二项与正态近似，实现无先验的不确定性量化，并证明理论性质，实证显示效应无法与噪声区分。
2026-10-21 math.ST stat.AP stat.ME
The EAS approach to variable selection for multivariate response data in high-dimensional settings
本文提出EAS模型选择方法，在高维相关预测变量或无稀疏性假设下通过广义fiducial分布进行组变量选择，并证明其强模型选择一致性，在模拟和酵母数据中验证了有效性。
2023-06-12 math.ST stat.ME stat.TH
