Machine Learning Panel Data Regressions with Heavy-tailed Dependent Data: Theory and Application
本文介绍了结构化机器学习回归的重尾相关的面板数据可能在不同的频率采样。我们专注于稀疏群LASSO正则化。这种类型的正则化可以利用混合频率时间序列面板数据结构并提高估计的质量。我们得到了合并和固定效应稀疏组LASSO面板数据估计的预言不等式，认识到金融和经济数据可以有胖尾巴。为此，我们利用一个新的N-Nagaev浓度不等式的面板数据组成的重尾$τ$混合过程。
2021-11-22 econ.EM math.ST stat.AP
Estimating Extreme Value Index by Subsampling for Massive Datasets with Heavy-Tailed Distributions
现代统计分析经常遇到具有大规模和重尾分布的数据集。对于规模庞大的数据集，传统的估计方法很难直接估计极值指数。为了解决这个问题，我们在这里提出了一个基于子采样的方法。具体地说，多个子样本是从整个数据集通过使用简单的随机二次抽样替换技术。基于每个子样本，可以计算近似的极大似然估计。然后对所得估计值进行平均以形成更准确的估计值。在适当的正则条件下，我们从理论上证明了所提出的估计量是相合的和渐近正态的。借助估计的极值指标，我们可以一致地估计重尾随机变量的高水平分位数和尾概率。大量的仿真实验证明了我们的方法有前途的性能。为了说明的目的，还提供了一个真实的数据分析。
2022-07-25 stat.ME
Minimum message length inference of the Poisson and geometric models using heavy-tailed prior distributions
最小消息长度是贝叶斯模型选择和参数估计的一个普遍原则，它是基于信息论的。本文将最小信息长度原则应用于一个涉及泊松和几何数据模型的小样本模型选择问题。由于MML是贝叶斯原理，它需要所有模型参数的先验分布。我们引入三个候选先验分布的未知模型参数的轻尾和重尾。的MML方法的性能进行了比较，客观的贝叶斯推断和最小描述长度技术的基础上规范化的极大似然码。仿真结果表明，我们的重尾先验分布的MML方法在所有的测试提供了一个很好的性能。
2018-02-11 stat.ME
Simultaneous sparse model selection and coefficient estimation for heavy-tailed autoregressive processes
提出了一种基于惩罚条件极大似然的重尾新息自回归过程的稀疏系数估计和自动模型选择方法.在新息过程的弱矩条件下，惩罚条件极大似然估计（PCMLE）满足强相合性、$O_P(N^{-1/2})$相合性和oracle性质，其中N是样本量.根据罚函数的弱条件，我们可以自由选择罚函数。比较了最小绝对收缩选择算子（LASSO）和平滑裁剪平均偏差（SCAD）两种罚函数。所提出的方法提供了一个基于分布的惩罚推理AR模型，这是特别有用的，当其他估计方法失败或执行厚尾新息的AR过程（见\cite{Resnick}）。仿真研究证实了我们的理论结果。最后，我们将我们的方法应用于美国消费品工业生产指数的历史价格数据，并获得了非常有前途的结果。
2013-09-21 math.ST stat.ME stat.TH
Robust reduced rank regression under heavy-tailed noise and missing data via non-convex penalization
Norwegian Institute of Public Health（挪威公共卫生研究所）
本文提出了一种结合鲁棒Huber损失与非凸谱正则化的鲁棒降维回归方法，有效处理重尾噪声、异常值和缺失数据，提升低秩结构恢复的准确性。
2025-12-30 stat.AP stat.ME
Modeling and estimating skewed and heavy-tailed populations via unsupervised mixture models
University of Trento（特伦托大学）
研究针对非负重尾数据开发混合模型，核心方法是用对数正态成分和帕累托型尾部建模，通过EM算法估计。贡献是模型完全无监督且灵活，拟合优度相当且更易估计，已在R包lognGPD实现。
2026-07-14 stat.ME
Penalized pairwise pseudo likelihood for variable selection with nonignorable missing data
在过去的二十年中，对于完全观测的数据集，变量选择的正则化方法得到了很好的发展。在存在缺失值的情况下，这种方法需要针对不同的缺失数据机制进行调整。在本文中，我们专注于一个灵活的和普遍适用的缺失数据机制，其中包含可验证和不可验证的缺失数据机制的假设。我们展示了如何在这种缺失数据机制下调整变量选择的正则化方法。建立了变量选择一致性的计算和理论性质。所提出的方法进一步说明了全面的模拟研究和实际数据分析，低维和高维设置。
2017-07-28 stat.ME
Robust Sparse Bayesian Infinite Factor Models
以往的贝叶斯因子模型的研究和应用大多假设正态似然，而忽略了其有效性。为了获得更好的协方差估计，提出了一种基于多元Student- $t$似然的高维重尾数据贝叶斯因子模型.我们使用Bhattacharya和Dunson [Biometrika（2011）291-306]中提出的乘法伽马过程收缩先验和因子数自适应方案。由于该模型的朴素Gibbs采样器混合速度慢，我们提出了一种马尔可夫链蒙特卡罗算法，其中哈密顿蒙特卡罗的快速混合被利用的一些参数，在所提出的模型。仿真结果表明，在重尾高维数据的协方差估计的性能增益。我们还提供了一个理论结果，该模型的后验是弱相容的合理条件下。最后，我们总结了本文提出的因子模型在乳腺癌转移预测中的应用，给出了癌细胞的DNA特征数据。
2020-12-09 stat.ME
Heavy tailed priors: an alternative to non-informative priors in the estimation of proportions on small areas
我们探索柯西和一个新的重尾（Fuquene，Perez和Pericchi（2011））先验估计小区域的比例。使用分层模型和指数族形式的二项式似然。我们相信，在调查抽样设置重尾先验可能比选择无信息先验更有效地消除对涉及主观因素或假设的方法的反感。为了说明稳健的贝叶斯方法，我们将此方法应用于一个流行的例子：“贝叶斯问题”。最后，我们建议在小区域内不存在或存在离群值时使用Cauchy先验，当离群值是特定的小区域时使用Fuquene et al.（2011）先验。
2012-12-07 math.ST stat.ME stat.TH
Robust heavy-tailed versions of generalized linear models with applications in actuarial science
针对广义线性模型对异常值不稳健的问题，提出一种基于建模的替代稳健方法，适用于频率学派和贝叶斯分析，具有良好理论与经验性质。
2024-02-08 stat.ME
Heavy-Tailed Density Estimation
提出了一种新的统计方法，并研究了在温和光滑假设下估计重尾密度。重尾分布的统计分析容易受到分布尾部稀疏信息被大量不相关特征冲走的问题的影响。建议的贝叶斯方法避免了这个问题，通过一个仔细指定的半参数先验分布的平滑和尾部正则化，并能够一致地估计密度函数及其尾部指数在接近最小最大最优收缩率。联合，似然驱动估计的批量和尾部，以帮助提高不确定性评估估计尾部指数参数，并提供更准确和可靠的估计相比，阈值方法的高尾分位数。
2022-11-16 math.ST stat.ME stat.TH
Generalizing the log-Moyal distribution and regression models for heavy tailed loss data
灾难性损失数据具有厚尾性。然后，从业者需要能够捕获索赔数据的尾部和模态部分的模型。为此，提出了一种新的参数损失分布族，作为Bhati和Ravi（2018）的广义对数Moyal分布的伽马混合，称为广义对数Moyal Γ分布（GLMGA）。我们讨论了GLMGA的概率特性，并通过极大似然的参数的统计估计。虽然GLMGA分布是GB 2分布的一个特例，但我们证明了这种更简单的模型在大型和模态损失数据的回归建模中是有效的。以Cummins等（1990）的火灾索赔数据和中国地震损失数据为例说明了模型的适用性。
2019-12-19 stat.AP stat.ME
Flexible Modeling of Multivariate Skewed and Heavy-Tailed Data via a Non-Central Skew t Distribution: Application to Tumor Shape Data
提出多元非中心偏态 t 分布，通过卡方变量缩放偏态正态向量实现灵活建模，推导理论性质并用蒙特卡洛近似进行估计，在乳腺癌肿瘤形状数据上表现优于标准替代模型。
2025-07-14 stat.CO stat.ME
The Elliptical Processes: a Family of Fat-tailed Stochastic Processes
RISE Research Institutes of Sweden AB（瑞典RISE研究院）；Elekta（医科达）
我们提出了椭圆过程-一个家庭的非参数概率模型，包括高斯过程和学生t过程。这种推广包括一系列新的厚尾行为，但保留了计算的易处理性。我们的椭圆过程的基础上表示的椭圆分布作为一个连续的混合高斯分布，并获得封闭形式的表达的边缘和条件分布。我们使用分段常数混合分布定义的椭圆过程对稳健回归进行了数值实验，并与高斯过程进行了比较。椭圆过程可能在几种情况下取代高斯过程，包括当可能性不是高斯或精确的尾部建模至关重要时。
2020-12-02 cs.LG stat.ME stat.ML
Semiparametric robust mixture of experts based on nonparametric maximum likelihood
Pukyong National University（釜庆国立大学）；University of Connecticut（康涅狄格大学）；Sungkyunkwan University（成均馆大学）
该研究针对现有MoE模型对误差分布参数假设敏感的问题，提出基于非参数极大似然的半参数鲁棒MoE模型，可提升复杂误差下的鲁棒性且在高斯设定下仍具竞争力。
2026-08-06 stat.ME
A class of asymmetric regression models for left-censored data
关于标准tobit模型的常见假设是误差分布的正态性。然而，不对称性和双峰性可能存在，必须使用替代tobit模型。本文提出了一个基于对数对称分布类的Tobit模型，它包括重尾分布、轻尾分布和双峰分布作为特例。我们实现了一个基于似然的方法进行参数估计，并推导出一种类型的残差。然后，我们讨论的问题，执行测试推断在建议的类使用的似然比和梯度统计，这是特别方便的tobit模型，因为它们不需要的信息矩阵。一个彻底的蒙特卡罗研究的极大似然估计和似然比和梯度测试的性能进行评估。最后，我们说明了所提出的方法，使用真实世界的数据集。
2018-03-18 stat.ME
Regularization in Paired Comparison Models via Pseudo-Games and Phantom Players
Harvard University（哈佛大学）
针对成对比较模型中最大似然估计不稳定的问题，本文提出两种数据增广正则化方法：添加伪博弈和引入幻影玩家，产生有限收缩估计并解决位置不可识别性，在Bradley-Terry模型中与岭正则化效果相当。
2026-06-02 stat.ME
Taming heavy-tailed features by shrinkage
在这项工作中，我们专注于一个变种的广义线性模型（GLM）称为损坏的GLM（CGLM）的重尾功能和响应。为了使该模型的统计推断具有鲁棒性，我们建议将$\ell_4$ -范数收缩应用于低维区域中的特征向量，并将元素收缩应用于高维区域。在有界四阶矩假设下，我们证明了基于收缩数据的极大似然估计（MLE）在指数偏差界下几乎具有极大极小最优率。我们的模拟表明，提出的特征收缩显着提高了统计性能的线性回归和逻辑斯谛回归重尾数据。最后，我们应用我们的收缩原理，以防止错误标记和图像噪声在人类书写的数字识别问题。在原神经网络的基础上增加了一个$\ell_4$ -范数收缩层，在存在错误标记和图像噪声的情况下，使测试误分类率相对降低了$30\%$以上。
2020-07-17 math.ST stat.ME stat.TH
A robust Likelihood Ratio Test for high-dimensional MANOVA -- with excellent performance
本文提出一种适用于高维MANOVA的稳健似然比检验，通过大量模拟和实际数据验证其在正态、非正态、重尾、偏斜及离散分布下均表现优异，且适用于极小样本。
2025-07-02 math.ST stat.ME stat.TH
Tail Estimation via Sample Splitting: A Two-Sample Framework for Stable-like Distributions
Texas Christian University（德克萨斯基督教大学）；University of Johannesburg（约翰内斯堡大学）；Southern Methodist University（南方卫理公会大学）
本文提出一种基于样本分裂的半参数方法，利用稳定分布的两和闭包性质估计尾部指数，通过加权最小二乘和自助法实现高效计算，在重尾场景下兼具准确性与计算优势。
2026-09-09 stat.ME
A path following algorithm for Sparse Pseudo-Likelihood Inverse Covariance Estimation (SPLICE)
给定p维随机向量的n个观测值，在许多应用中需要得到协方差阵及其逆矩阵（精度矩阵）。当p与样本量n相当时，样本协方差（例如，其特征结构）可能会表现不佳。正则化经常被用来缓解这个问题。本文提出了逆协方差阵的l1-模惩罚伪似然估计。由于l1-范数惩罚，这种估计是稀疏的，我们称这种方法为SPLICE。它的正则化路径可以通过基于同伦/LARS-Lasso算法的算法来计算。对p=15和n=20，1000的各种逆协方差结构进行了模拟研究。我们比较SPLICE与l1-范数惩罚似然估计和l1-范数惩罚Cholesky分解为基础的方法。SPLICE在精确度矩阵和ROC曲线的三个指标方面为模型选择提供了最佳的整体性能。此外，我们的模拟结果表明，SPLICE估计是正定的正则化路径的大部分，即使没有强制执行的限制。
2008-07-23 stat.CO stat.ME
Convex and non-convex regularization methods for spatial point processes intensity estimation
本文讨论了空间点过程强度估计的特征选择过程。我们考虑正则化版本的估计方程的基础上坎贝尔定理来自两个经典的功能：泊松似然和逻辑斯谛回归似然。我们提供了一般条件的空间点过程和罚函数，确保一致性，稀疏性和渐近正态性。我们讨论的数值实现和评估有限样本的模拟研究。最后，热带林业数据集的应用程序说明了所提出的方法的使用。
2017-03-07 math.ST stat.ME stat.TH
L$_1$ Regularization for Reconstruction of a non-equilibrium Ising Model
利用精确学习算法重构稀疏非对称异步伊辛网络中的耦合。L $_1$正则化用于去除伪弱连接，否则将通过简单地最小化有限数据集的负似然来发现伪弱连接。为了详细了解L $_1$正则化是如何工作的，我们以几种方式执行计算，包括（1）通过迭代最小化等于减去数据的对数似然加上L $_1$惩罚项的成本函数，以及（2）基于成本函数在其最小值附近的二次展开的近似方案。在这些方案中，我们跟踪连接是如何修剪的L $_1$惩罚的强度从零增加到大的值。各种耦合强度的方法的性能进行量化使用ROC曲线。
2012-11-15 cond-mat.dis-nn physics.data-an stat.ME
The Lambert Way to Gaussianize heavy tailed data with the inverse of Tukey's h as a special case
我提出了一个参数化的双射变换来生成任意RV X ~ F的重尾版本Y。所谓的“重尾兰伯特W x F”RV Y的尾部行为取决于尾部参数delta >= 0：对于delta = 0，Y = X，对于delta > 0，Y的尾部比X重。当X是高斯分布时，这个重尾分布的元族简化为Tukey的h分布。Lambert的W函数提供了一个显式的逆变换，可以通过最大似然估计。该逆可以从数据中去除重尾，并且还提供累积分布（cdf）和密度函数（pdf）的解析表达式。作为一种特殊情况下，这些产量明确的公式Tukey的H PDF和CDF -作者的知识首次在文献中。模拟和应用S&P 500的日志回报和太阳耀斑数据证明了所介绍的方法的实用性。实现所提出方法的R包“LambertW”（cran.r-project.org/web/packages/LambertW）已在CRAN上公开提供。
2012-12-30 math.ST stat.ME stat.TH
Gini estimation under infinite variance
本文研究了具有厚尾数据生成过程的基尼系数估计问题，即均值有限方差无穷大的稳定分布类（即尾部指数为$α\in(1,2)$）.我们表明，在这种情况下，基尼系数不能可靠地估计使用传统的非参数方法，因为向下的偏见，出现在肥尾。这对正在进行的关于经济不平等的讨论具有重要意义。我们首先讨论如何非参数估计的基尼指数经历了一个相变的对称结构的渐近分布，作为数据分布转移的吸引域的轻尾分布的厚尾之一，特别是在无限的方差的情况下。我们还展示了非参数基尼偏差如何随着$α$值的降低而增加。然后，我们证明了极大似然估计优于非参数方法，需要一个小得多的样本量，以达到效率。最后，对于厚尾数据，我们给出了一个简单的修正机制，以非参数估计的小样本偏差为基础的模式和平均值之间的距离，其渐近分布。
2017-12-17 q-fin.RM stat.ME
BNB autoregressions for modeling integer-valued time series with extreme observations
本文介绍了一种通用的重尾自回归模型，用于建模具有异常值的整数值时间序列。拟议的规范基于负二项分布的重尾混合，其特征是条件期望的观察驱动动态方程。在一般的压缩条件下，证明了一类自回归过程的唯一平稳遍历解的存在性。在给出似然函数的封闭形式的情况下，可以很容易地用极大似然法进行模型的估计。给出了估计量的强相合性和渐近正态性。规范的两个例子说明了方法的灵活性和理论结果的相关性。特别地，考虑了条件期望的线性动态方程和分数驱动方程。分数驱动的规范被证明是特别有吸引力的，因为它提供了一个强大的过滤方法，衰减离群值的影响。经验应用的时间序列的毒品贩运报告在悉尼说明了该方法在处理极端观测的有效性。
2019-09-06 math.ST stat.ME stat.TH
Good, great, or lucky? Screening for firms with sustained superior performance using heavy-tailed priors
本文考察了93个国家的53,038家上市公司在过去45年中的ROA（资产回报率）历史模式。我们的目标是筛选那些ROA轨迹表明他们随着时间的推移系统性地优于同行群体的公司。这样一个项目至少面临三个统计困难：相关协变量的调整，大量的多重性和纵向依赖性。我们的结论是，一旦考虑到这些困难，明显优越的性能似乎是相当罕见的。我们比较我们的研究结果与其他最近的管理研究相同的主题，并与流行的文学对企业的成功。我们的方法的贡献是提出了一个新的类的先验用于大规模的同时测试。这些先验是基于超几何的倒β族，并有两个主要的吸引力的特点：重尾和计算的易处理性。该族是正态/逆β先验的四参数推广，并且是分层正态模型中收缩系数的自然共轭先验。我们的研究结果强调了这些重尾先验在大型多重测试问题中的有用性，因为它们在边缘似然$m(y)$中具有温和的尾衰减率--这是一种长期被认为在测试中很重要的属性。
2012-03-22 stat.AP stat.ME
Regularized Maximum Likelihood Estimation for the Random Coefficients Model
随机系数模型$Y_i={β_0}_i+{β_1}_i {X_1}_i+{β_2}_i {X_2}_i+\ldots+{β_d}_i {X_d}_i$（其中$\mathbf{X}_i$、$Y_i$、$\mathbfβ_i$ i.i.d和$\mathbfβ_i$独立于$X_i$）通常用于捕获群体中未观察到的异质性。提出了一种估计随机系数模型联合密度分布的拟极大似然方法。该方法隐含地涉及Radon变换的反演，以重建联合分布，因此是一个逆问题。基于核方法或傅立叶逆的$\mathbfβ_i=({β_0}_i,\ldots, {β_d}_i)$联合密度的非参数估计是近年来提出的。这些方法中的大多数假定重尾设计密度$f_\mathbf{X}$。为了增加解的稳定性，我们应用正则化方法。我们分析了该方法的收敛性，而不假设重尾$f_\mathbf{X}$和说明性能的模拟和真实数据上应用该方法。为了增加稳定性的解决方案，我们应用Tikhonov型正则化方法。
2021-08-15 stat.AP stat.ME
How to (Not) Estimate Gini Coefficients for Fat Tailed Variables
传统方法估算基尼系数不准确，因超加性导致无法比较不同规模单位及跨时期分析。尾部指数最大似然估计方法更可靠，能有效降低误差。
2015-10-16 econ.GN q-fin.EC q-fin.GN
Exact Likelihood Inference and Robust Filtering for Gauss-Cauchy Convolution Models
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Xiamen University（厦门大学）
本文推导了Voigt分布（高斯与柯西卷积）的解析表达式，用于重尾测量噪声建模，并基于此提出GCC滤波器，在状态空间模型中实现鲁棒滤波，实证中优于高斯、t分布等滤波器。
2026-05-28 econ.EM stat.ME
Robust mixture regression based on the skew t distribution
在这项研究中，我们提出了一个强大的混合回归过程的基础上偏t分布模型重尾和/或偏误的混合回归设置。利用斜t分布的尺度混合表示，我们给出了一个期望最大化（EM）算法来计算感兴趣的参数的最大似然（ML）估计。模拟研究和实际数据的例子证明了所提出的估计的性能。
2015-12-01 math.ST stat.ME stat.TH
A hybrid-Hill estimator enabled by heavy-tailed block maxima
King’s College London（伦敦国王学院）
本文提出了一种混合-Hill估计器，结合块极大值法和超过阈值法，解决了传统块大小要求的问题，并提供了更高效的极值统计方法。
2026-02-11 math.ST stat.AP stat.ME
Independent Approximates enable closed-form estimation of heavy-tailed distributions
独立近似方法通过闭式估计实现重尾分布参数的高效计算，适用于学生t分布等模型。
2022-03-29 cs.IT math.IT physics.data-an
