On Selection Criteria for the Tuning Parameter in Robust Divergence
虽然诸如密度功率发散和$γ$发散之类的鲁棒发散有助于在存在离群值的情况下进行鲁棒统计推断，但是在经验法则中选择控制鲁棒程度的调谐参数，这可能导致低效的推断。在这里，我们提出了一个选择标准的基础上的Hyvarinen分数的渐近近似的非归一化模型定义的强大的分歧。建议的选择标准只需要一个假设的密度函数的一阶和二阶偏导数的观测，这可以很容易地计算，无论参数的数量。我们通过使用正态分布和正则化线性回归的数值研究证明了所提出的方法的实用性。
2021-06-22 stat.ME
Direct Debiased Machine Learning via Bregman Divergence Minimization
本文提出一个直接去偏机器学习框架，通过最小化 Bregman 散度统一了 Riesz 回归、协变量平衡、TMLE 和密度比估计，有效消除机器学习代入识别方程时的第一阶段偏差。
2025-10-30 cs.LG econ.EM math.ST
Minimum Density Power Divergence Estimation for the Generalized Exponential Distribution
针对降雨数据中的异常值问题，本文采用最小密度幂散度估计（MDPDE）方法估计广义指数分布参数，推导了估计方程与渐近分布，并通过影响函数和相对效率分析及模拟与真实数据验证，表明其稳健性和高效性优于现有方法。
2024-02-07 stat.ME
Nonparametric estimation of a regression function using the gamma kernel method in ergodic processes
本文利用Chen（2000）提出的Gamma核方法研究了非负支撑下密度和回归函数的非参数估计。在一般遍历假设下，证明了相应估计量的强一致相合性和渐近正态性。我们的结果推广了Shi和Song（2016）在经典i.i.d.框架，以及Bouezmarni和Rombouts（2008年，2010年b）和Gospodinov和Hirukawa（2007年）的混合时间序列的作品。
2016-10-16 math.ST stat.TH
Robust semiparametric inference for polytomous logistic regression with complex survey design
分析复杂调查方案（如分层或整群抽样）的多分类响应在一些社会经济学应用中非常重要。本文给出了多分类逻辑斯谛回归模型的一类最小拟加权密度幂离估计。这个家庭的半参数估计是一个强大的推广的最大拟加权似然估计，利用流行的密度功率发散措施的优势。相应地，还导出了设计效应的鲁棒估计。利用新的估计量对回归系数进行了一般线性假设的稳健检验。理论上研究了它们的渐近分布和鲁棒性，并通过数值算例和广泛的蒙特卡罗研究进行了经验验证。
2019-04-03 math.ST stat.AP stat.ME
Risk Quadrangle and Robust Optimization Based on Extended $φ$-Divergence
该研究提出扩展φ-散度与扩展φ-散度四边形，将分布鲁棒优化整合进基础风险四边形框架，推导相关元素的原始与对偶表示，证明其可涵盖多种常见优化问题，并通过案例可视化内部最大化的最优解。
2024-12-10 math.OC stat.OT
Akaike information criterion for segmented regression models
针对分段回归中变点数量及连续性选择缺乏 AIC 型准则的问题，本文基于 AIC 原始定义推导新信息准则，证明不连续与连续变点参数惩罚分别为 6 和 2，并通过实验和真实数据验证其优于或区别于 BIC。
2025-06-10 stat.ME
A Wald-type test statistic for testing linear hypothesis in logistic regression models based on minimum density power divergence estimator
本文对逻辑斯谛回归模型中的线性假设引入了经典Wald检验统计量的一个稳健版本，并研究了它的性质。我们在随机协变量的假设下研究这个问题，虽然也考虑了一些非随机协变量的想法。所考虑的检验族是基于最小密度幂离估计而不是基于最大似然估计，本文称之为Wald型检验统计量。得到了Wald型检验统计量的渐近分布，并研究了其稳健性.通过影响函数分析以及适当的实际例子，从理论上研究了测试的鲁棒性。理论上建立了Wald型检验的水平和功效对污染是稳定的，而经典Wald型检验在这种情况下失效。一些经典的例子，数值证实了理论的发展。最后通过仿真研究进一步验证了本文理论结果的正确性。
2016-09-23 math.ST stat.TH
New robust statistical procedures for polytomous logistic regression models
本文导出了一类新的估计族，即最小密度幂离估计，作为多分类逻辑斯谛回归模型极大似然估计的稳健推广.在此基础上，引入了线性假设下的Wald型检验统计量族。通过经典的影响函数分析，从理论上研究了所提出的估计量和检验统计量的稳健性。适当的现实生活中的例子，以证明需要适当的强大的统计程序，而不是基于似然推断的多分类逻辑斯谛回归模型。通过适当的模拟研究，进一步证实了本文建立的理论结果的有效性。最后，提出了一种数据驱动的鲁棒性调整参数的选择方法，并给出了经验证明。
2018-06-26 stat.ME
Statistical Inference for Gaussian Kernel Robust Regression with the gkrreg Package
Universidade Federal da Paraíba（帕拉伊巴联邦大学）
针对高斯核稳健回归（GKRReg）缺乏统计推断的问题，本文提出闭式三明治方差估计和配对bootstrap方法，并在R包gkrreg中实现。
2026-07-01 stat.ME
Statistical Inference based on Bridge Divergences
M-估计提供了简单的稳健的替代极大似然估计。然而，大部分的鲁棒性文献，集中在位置，位置规模和回归估计的问题，而不是一般参数的估计。密度幂散度（DPD）和对数密度幂散度（LDPD）测度在一般参数模型中提供了两类竞争M-估计（由散度得到），其中MLE作为特例。在这些家庭中的每一个，估计的鲁棒性是通过密度功率下加权离群观测。这两个家庭已被证明是非常有用的工具，在该地区的鲁棒推理。然而，这两个族的最小距离估计之间的关系和层次尚未得到全面的研究或完全建立。给定一组特定的真实数据，如何从这两类分歧的并集中选择一个最优成员？在本文中，我们提出了一个广义家庭的分歧，将上述两个类，这个家庭提供了一个光滑的桥梁之间的DPD和LDPD措施。这个系列有助于澄清和解决DPD和LDPD的重要系列之间的关系的几个长期存在的问题，除了是一个重要的工具，在不同领域的统计推断在其本身的权利。
2017-06-18 stat.ME
On regularization methods based on Rényi's pseudodistances for sparse high-dimensional linear regression models
在过去的十年中，已经考虑了几种正则化方法用于稀疏高维线性回归模型，但最常见的方法使用最小二乘（二次）或似然损失，因此对数据污染不鲁棒。一些作者已经通过考虑基于发散度量的合适的损失函数克服了非鲁棒性的问题（例如，密度功率发散、伽马发散等）而不是二次损失。在本文中，我们将考虑一个损失函数的基础上的Rényi的伪距离联合非凹罚款，以同时执行变量选择和得到稳健估计的参数在一个高维线性回归模型的非多项式维数。我们所提出的方法所需的预言属性的理论推导和数值模拟和实际数据的例子说明了它的有用性。
2020-07-31 math.ST stat.TH
Generalizing the log-Moyal distribution and regression models for heavy tailed loss data
灾难性损失数据具有厚尾性。然后，从业者需要能够捕获索赔数据的尾部和模态部分的模型。为此，提出了一种新的参数损失分布族，作为Bhati和Ravi（2018）的广义对数Moyal分布的伽马混合，称为广义对数Moyal Γ分布（GLMGA）。我们讨论了GLMGA的概率特性，并通过极大似然的参数的统计估计。虽然GLMGA分布是GB 2分布的一个特例，但我们证明了这种更简单的模型在大型和模态损失数据的回归建模中是有效的。以Cummins等（1990）的火灾索赔数据和中国地震损失数据为例说明了模型的适用性。
2019-12-19 stat.AP stat.ME
Pseudo minimum phi-divergence estimator for multinomial logistic regression with complex sample design
本文建立了研究复杂样本设计下多项逻辑斯谛回归模型的理论框架。通过一个数值例子和模拟研究，给出了响应变量服从过分散多项分布的逻辑斯谛回归模型参数的新估计、伪最小Cressie-Read散度估计和类内相关系数的新估计.结果表明，当λ = 2/3的伪最小Cressie-Read散度估计被插入时，Binder的簇内相关系数估计方法具有良好的性能.
2016-06-03 stat.ME
Nonparametric logistic regression with deep learning
本文提出一种统一方法，在温和假设下直接证明非参数逻辑回归中最大似然估计在Hellinger距离下的收敛速率，并应用于深度神经网络，达到近乎极小极大最优速率。
2025-02-25 math.ST stat.ML stat.TH
A logistic regression analysis approach for sample survey data based on phi-divergence measures
基于$ϕ$ -散度测度，提出了一类新的二元逻辑斯谛回归模型的最小距离估计。伪最小φ-散度估计量（PM $ϕ$ E）族是一般抽样调查设计中“最小φ-散度估计量”（M $ϕ$ E）的推广，它包含Roberts等在\cite{r}中考虑的伪极大似然估计量（PMLE）作为特例。通过模拟研究，它表明，一些PM $ϕ$ ES有一个更好的行为，在效率方面，比PMLE。
2016-11-08 stat.ME
A novel, divergence based, regression for compositional data
在成分数据中，观测值是具有非负分量的向量，其总和为常数，通常为1。这种类型的数据出现在许多领域，如地质学，考古学，生物学，经济学和政治学等。本文的目标是提出一种新的，发散为基础的，成分数据的回归建模技术。要做到这一点，最近证明的度量，这是一个特殊情况下的詹森-香农发散。这种新的回归技术的一个强大优势是零被自然地处理。给出了一个真实数据和模拟研究的例子，并与Aitchison在1986年提出的基于对数比的回归进行了比较。
2015-11-24 stat.ME
Robust estimators in a generalized partly linear regression model under monotony constraints
本文考虑观测服从保序广义部分线性模型的情形。在该模型下，响应的平均值通过链接函数建模，线性地在一些协变量上，非参数地在单变量回归量上，以这样的方式，非参数分量被假定为单调函数。定义了单调非参数分量和回归参数的一类与线性分量相关的稳健估计。鲁棒估计是基于样条的方法结合得分函数的界限大值的偏差。作为应用，我们考虑保序部分线性log-Gamma回归模型.通过Monte Carlo研究，我们研究了所提出的估计的性能下的部分线性log-Gamma回归模型的非参数分量增加。
2018-11-29 math.ST stat.TH
A robust RUV-testing procedure via gamma-divergence
差异表达基因的鉴定是现代生物医学研究中的一项重要内容。然而，在数据采集过程中不可避免地会出现不必要的变化，这可能会使检测结果严重偏差。建议在保留生物学变异的同时去除不需要的变异，以确保可靠的分析结果。去除不需要的变异（RUV）是最近提出的负控制基因的优点，为此目的。另一方面，在现代高通量遗传数据中，离群值的出现严重影响了RUV及其下游分析的性能。在这项工作中，我们提出了一个强大的RUV测试程序，通过伽玛发散。我们的方法的优点是双重的：（1）它不涉及任何建模的离群值分布，这是适用于各种情况下，（2）它是很容易实现的意义上，其鲁棒性是由一个单一的调整参数伽玛的伽玛发散，和数据驱动的标准来选择$γ$。在性别研究中，我们的方法可以成功地去除不需要的变异，并且能够识别比传统方法更多的DE基因。
2017-11-05 stat.ME
Ultrahigh-dimensional Robust and Efficient Sparse Regression using Non-Concave Penalized Density Power Divergence
我们提出了一种基于非凹惩罚密度功率发散损失函数的稀疏回归方法，该方法在非常高维的情况下对无穷小污染具有鲁棒性。现有的稀疏鲁棒回归方法都是基于$\ell_1$ -惩罚的，其理论性质还没有得到很好的研究。相比之下，我们使用一个通用类的折叠凹罚，确保稀疏恢复和一致的估计回归系数。我们提出了一个交替算法的凹凸过程的基础上获得我们的估计，并证明其鲁棒性使用影响函数分析。在一定的固定设计矩阵和罚函数条件下，证明了该估计在超高维情形下具有大样本预言性质。通过仿真研究证明了我们所提出的参数估计和预测方法的性能和有效性。
2020-07-28 stat.ME
Group Inverse-Gamma Gamma Shrinkage for Sparse Regression with Block-Correlated Predictors
重尾连续收缩先验，如马蹄先验，被广泛用于稀疏估计问题。然而，有有限的工作扩展这些先验预测与分组结构。本文中特别感兴趣的是回归系数估计，其中协变量空间中的高共线性口袋包含在已知的协变量分组中。为了减轻由于多重共线性引起的方差膨胀，我们提出了组逆伽马伽马（GIGG）先验，这是一种重尾先验，可以以数据自适应的方式在局部和组收缩之间进行权衡。GIGG先验的一个特殊情况是组马蹄先验，其收缩曲线在组内相关，使得回归系数边缘具有精确的马蹄正则化。我们证明了线性回归模型中回归系数的后验一致性和稀疏正态均值模型中均值参数的后验浓度结果。对应于GIGG回归的完整条件分布可以以封闭形式导出，从而导致直接的后验计算。我们表明，GIGG回归结果在低均方误差在很宽的范围内的相关结构和组内的信号密度，通过模拟。我们将GIGG回归应用于国家健康和营养检查调查的数据，将环境暴露与肝功能联系起来。
2021-02-21 stat.ME
Testing for Conditional Mean Independence with Covariates through Martingale Difference Divergence
在统计学中，一个重要的问题是决定回归模型中是否需要附加变量。我们提出了一个新的多元检验来研究给定X条件下Y对某些已知效应Z的条件均值独立性，即，E（Y| X，Z）= E（Y| Z）。假设E（Y| Z）和Z是线性相关的，我们通过变换重新表达了一个等价的条件均值独立性的概念，它在实践中是近似的。我们应用鞅差散度（Shao and Zhang，2014）来度量条件均值依赖性，并证明近似的估计误差可以忽略不计，因为它在某些正则性假设下对检验统计量的渐近分布没有影响。我们的测试的实施是由模拟和金融数据的例子证明。
2018-05-17 math.ST stat.AP stat.CO
Robust and Sparse Regression via $γ$-divergence
在高维数据中，已经提出了许多稀疏回归方法。然而，它们可能对离群值不稳健。近年来，人们研究了利用密度幂权进行抗差参数估计，并讨论了相应的发散性。其中一个这样的分歧是$γ$ -分歧和鲁棒估计使用$γ$ -分歧是已知的具有很强的鲁棒性。本文研究了基于$γ$ -散度的稳健稀疏回归问题。我们扩展的$γ$ -发散回归问题，并表明，它具有很强的鲁棒性下，即使在严重污染的离群值是异质的。损失函数由稀疏正则化的$γ$ -散度的经验估计构造，参数估计被定义为损失函数的最小值。为了得到鲁棒的稀疏估计，我们提出了一种有效的更新算法，该算法具有单调递减的损失函数的性质。特别地，我们详细讨论了一个线性回归问题与$L_1$正则化。在数值实验和实际数据分析中，我们看到所提出的方法优于过去的鲁棒和稀疏的方法。
2016-08-29 stat.ME stat.ML
Asymptotic breakdown point analysis of the minimum density power divergence estimator under independent non-homogeneous setups
本文将渐近崩溃点的概念扩展到独立非同质（INH）设置，推导了最小密度幂散度估计量（MDPDE）渐近崩溃点的理论下界，并通过固定设计回归模型和模拟研究证实了其全局可靠性。
2025-09-15 math.ST stat.ML stat.TH
The Gamma-count distribution in the analysis of experimental underdispersed data
事件计数是具有非负整数值的响应变量，表示事件在固定域（例如时间间隔、地理区域或列联表单元格）内发生的次数。高斯回归模型的计数分析忽略了离散性，不对称性和异方差性，是低效的，提供不切实际的标准误或可能的负预测的预期事件数。泊松回归是计数数据的标准模型，其生成过程的基本假设在许多应用中可能是不可信的。统计学家早就认识到在泊松回归模型下施加等离差的局限性。一个典型的情况是当条件方差超过条件均值时，在这种情况下，通常使用允许过度分散的模型。较少报道的是分散不足的情况下，较少的建模替代品和评估，在文献中。这样的替代方案之一，伽玛计数模型，在这里采用的农艺学实验的分析，旨在调查不同的物候状态后的棉铃数量的脱叶水平的影响。结果表明，改进的泊松模型和半参数准泊松模型在捕捉观察到的数据的变化。估计而不是假设潜在的方差过程导致对过程的重要见解。
2013-12-09 stat.AP
Inequality Restricted Estimator for Gamma Regression: Bayesian approach as a solution to the Multicollinearity
本文研究了Gamma回归模型中参数受线性约束时的多重共线性问题。线性约束可以从先验信息中获得，以确保科学理论的有效性或基于物理现象的结构一致性。为了对模型进行相关的统计推断，应考虑关于模型参数的任何可用知识和先验信息。因此，本文提出了一种算法，以获得贝叶斯估计的伽玛回归模型的参数受到一些线性不等式的限制。通过蒙特卡罗模拟和实际数据集的应用，我们证明了所提出的估计量在相关性和准确性方面优于极大似然然估计量和岭估计量等普通估计量。
2023-03-09 stat.ME
Asymptotic minimax risk of predictive density estimation for non-parametric regression
本文研究了非参数回归模型中未来观测值的预测密度估计问题。密度估计Kullback-Leibler发散下进行评估，我们的重点是在高斯误差的情况下建立极小极大风险的精确渐近性。我们推导出了高斯先验下贝叶斯预测密度之间的极小极大风险的收敛速度和常数，并证明了这种极小极大风险与所有密度估计之间的极小极大风险是渐近等价的。
2010-10-11 math.ST stat.TH
On a class of binary regression models and their robust estimation
本文提出基于β、γ散度的二元回归模型鲁棒估计统一框架，拓展传统logistic模型至一般连接函数类，兼具费希尔一致性与离群值鲁棒性，揭示新鲁棒估计类别，实验验证其在污染场景下的二元分类可靠性。
2025-02-21 stat.ME
Rayleigh Regression Model for Ground Type Detection in SAR Imagery
这封信提出了一个非负信号的回归模型。提出的回归估计的结构，其中包括一组回归和链接函数的瑞利分布信号的平均值。对于所提出的模型，我们提出：（i）~参数估计;（ii）~大数据记录结果;和（iii）~检测技术。在这封信中，我们提出了封闭形式的表达式的得分向量和费舍尔信息矩阵。提出的模型提交广泛的蒙特卡罗模拟和测量数据。蒙特卡罗模拟被用来评估极大似然估计的性能。此外，一个应用程序进行比较所提出的模型与高斯，伽玛，威布尔为基础的回归模型在SAR图像的检测结果。
2022-07-23 eess.IV eess.SP physics.data-an
Robust estimators of accelerated failure time regression with generalized log-gamma errors
广义对数伽马（GLG）模型是一个非常灵活的分布族，用于分析许多不同科学和技术领域的数据集。在本文中，我们提出的估计，同时是高鲁棒性和高效的GLG分布的参数在删失的存在。我们还介绍了具有相同性质的加速失效时间模型的估计与删失观测和误差分布属于GLG族。我们证明了所提出的估计是渐近完全有效的，并使用蒙特卡罗模拟检查的最大均方误差。仿真结果表明，所提出的估计是非常强大的，有限的样本量和高效。最后，我们用两个真实的数据集说明了所提出的估计量的良好行为。
2015-12-04 stat.ME
Rényi's $α$-divergence variational Bayes for spike-and-slab high-dimensional linear regression
Wake Forest University（维克森林大学）；Colby College（科尔比学院）；Davidson College（戴维森学院）
本文提出基于Rényi α-散度的变分贝叶斯方法，用于稀疏高维线性回归，通过改进的CAVI算法和随机变分推断，实现更灵活的变量选择和系数估计。
2026-08-11 stat.CO stat.ME
A Spectral Framework for Closed-Form Relative Density Estimation
Inria - Ecole Normale Supérieure PSL Research University（Inria-巴黎大学规范大学）
本文提出了一种闭式谱框架，用于线性参数化概率模型中的相对对数密度估计，通过将KL散度表示为加权chi-squared散度的积分，将其转换为一组最小二乘问题，并推导出仅基于一阶和二阶特征矩的显式谱公式。
2026-05-11 cs.LG math.OC math.ST
Statistical inference with normal-compound gamma priors in regression models
尺度混合收缩先验最近已被证明具有强大的经验性能和优良的理论属性，如模型选择一致性和（近）极大极小后验收缩率。在本文中，正常的复合伽玛先验（NCG）所产生的复合的各个逆尺度参数与Γ分布被用作先验的尺度参数。由于它与各种有用的模型的关系，这种模型的吸引力变得显而易见。超参数的调整给出了一些其他模型所表现出的相同的收缩特性。使用不同的条件集，后被证明是强一致的，并有接近最佳的收缩率取决于一组假设。在此基础上，推导了蒙特卡罗马尔可夫链（MCMC）算法和变分贝叶斯算法，提出了一种超参数更新方法，并将其引入到MCMC算法和变分贝叶斯算法中。最后，实证证据表明，该模型的吸引力，使用真实和模拟数据，与以前的模型的预测结果进行比较。
2022-12-23 stat.ME
Efficient Gibbs Sampling in Cox Regression Models Using Composite Partial Likelihood and Pólya-Gamma Augmentation
针对Cox回归贝叶斯方法基线风险建模复杂、计算低效的问题，提出GS4Cox全吉布斯采样器，结合广义贝叶斯框架、复合部分似然、Pólya-Gamma增强及仿射校准，实现高效采样并提升估计性能。
2025-11-18 stat.ME
Robust and Sparse Regression in GLM by Stochastic Optimization
The Graduate University for Advanced Studies（高级研究大学院大学）；The Institute of Statistical Mathematics（统计数学研究所）；Nagoya University Graduate School of Medicine（名古屋大学医学研究科）
本文提出基于γ-散度的鲁棒稀疏广义线性模型，采用随机优化方法提高高维数据下的鲁棒性和稀疏性，通过随机化随机投影梯度下降法实现高效参数估计。
2018-02-09 stat.ME stat.ML
Beta-binomial/gamma-Poisson regression models for repeated counts with random parameters
β-二项/泊松模型已被许多作者用来模拟多变量计数数据。Lora和Singer（Statistics in Medicine，2008）扩展了此类模型，以适应重复的多变量计数数据，其中二项式分量过度分散。为了克服该模型的一些局限性，我们考虑了β-二项式/γ-泊松替代方案，该方案还允许泊松计数之间的过度分散和不同的协方差。我们使用Newton-Raphson算法获得参数的最大似然估计，并在一个实际例子中比较两种模型。
2010-03-05 stat.AP stat.ME
A Pólya-Gamma Sampler for a Generalized Logistic Regression
在本文中，我们介绍了一种新的贝叶斯数据增强方法估计广义逻辑斯谛回归模型的参数。我们提出了一个Pólya-Gamma采样算法，使我们能够从精确的后验分布中采样，而不是依赖于近似。仿真研究说明了所提出的方法的灵活性和准确性，以捕捉重尾和轻尾在不同尺寸的二进制响应数据。该方法被应用到两个不同的真实数据集，在那里我们证明了Pólya-Gamma采样器提供了比经验似然方法更精确的估计，优于近似方法。
2020-12-21 stat.CO stat.ME stat.OT
Lognormal and Gamma Mixed Negative Binomial Regression
Duke University（杜克大学）
在计数的回归分析中，由于缺乏简单有效的后验计算算法，使得贝叶斯方法显得缺乏吸引力，从而发展不足。我们提出了一个对数正态和伽马混合负二项（NB）回归模型计数，并提出了有效的封闭形式贝叶斯推断，不同于传统的泊松模型，所提出的方法有两个自由参数，包括两种不同的随机效应，并允许将先验信息，如稀疏性的回归系数。通过在NB离散参数r上放置一个Γ分布先验，并将对数正态分布先验与NB概率参数p的logit相联系，得到了有效的吉布斯抽样和变分贝叶斯推断.封闭形式的更新是通过利用条件共轭通过复合泊松表示和Polya-Γ分布为基础的数据增强方法。建议的贝叶斯推断可以实现常规，同时很容易推广到更复杂的设置，涉及多元依赖结构。最后用实例说明了算法的有效性。
2012-06-27 cs.LG stat.AP stat.ME
Some aspects of symmetric Gamma process mixtures
在这篇文章中，我们提出了一些具体的对称Gamma过程混合用于回归模型。我们提出了一个新的吉布斯采样模拟后，我们建立了自适应后收敛率相关的高斯均值回归问题。
2016-07-28 math.ST stat.ME stat.TH
Provably robust learning of regression neural networks using $β$-divergences
Indian Statistical Institute（印度统计研究所）
本文提出基于β-分歧的rRNet框架，通过理论保证和实验证明其在回归神经网络中的稳健性和鲁棒性。
2026-02-09 cs.LG cs.NE stat.ME
Divergence based Robust Estimation of the Tail Index through An Exponential Regression Model
极值理论在金融学、经济学、水文学等应用科学中有着广泛的应用。在单变量极值理论中，我们从一般的最大吸引域（MAD）中选择一个合适的分布来模拟数据，该分布由尾部指数表征;尾部有三大类--帕累托型、威布尔型和冈贝尔型。最简单和最常见的尾部指数估计量是希尔估计量，它只适用于帕累托型尾部，并且具有很高的偏差;在假设模型存在离群值的情况下，它也是高度非鲁棒的。最近有一些尝试产生渐近无偏或鲁棒的替代希尔估计;然而，所有的鲁棒替代品工作的任何一种类型的尾巴。本文提出了一种新的一般估计的尾部指数，这是既稳健，并具有较小的偏差下的所有三种尾部类型相比，现有的稳健估计。这实质上产生了Matthys和Beirlant（2003）在相同模型近似下通过使用密度幂发散的适当指数回归框架提出的估计量的鲁棒推广。估计的鲁棒性的文件中推导出随着广泛的模拟研究。文中还提出了一种偏差校正方法，并应用于一些实际数据实例。
2016-07-01 stat.AP stat.ME
Generalized Riesz Regression: A Unified Framework for Debiased Machine Learning with Riesz Representer Fitting under Bregman Divergence
The University of Tokyo（东京大学）；Mizuho-DL Financial Technology, Co., Ltd.（瑞穗DL金融科技有限公司）；Osaka Metropolitan University（大阪都立大学）
本文提出广义Riesz回归框架，通过Bregman散度最小化统一估计Riesz代表，实现自动协变量平衡和Neyman正交化，适用于因果和结构参数估计。
2026-08-27 cs.LG econ.EM math.ST
Softplus Regressions and Convex Polytopes
为了构造灵活的非线性预测分布，本文介绍了一个家庭的softplus函数为基础的回归模型，卷积，堆叠，或结合这两种操作通过卷积可数无限堆叠Γ分布，其规模取决于协变量。广义逻辑斯谛回归使用单个超平面将协变量空间划分为两半，softplus回归使用多个超平面来构建一个有限空间，该有限空间与由多个半空间的交集或多个凸多面体的并集定义的单个凸多面体相关，以将一个类与另一个类分开。引入伽马过程以支持可数无限（堆叠）协变量依赖的Γ分布的卷积。对于贝叶斯推断，使用经由新颖的数据增强和边缘化技术导出的吉布斯抽样来对高度复杂的非线性预测分布进行去卷积和/或去混合。实例结果表明，softplus回归提供灵活的非线性决策边界，实现分类精度相媲美的内核支持向量机，同时需要显着减少计算的样本预测。
2016-08-23 stat.ME stat.ML
Hyperlink Regression via Bregman Divergence
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
$U \: (\in \mathbb{N})$数据向量的集合被称为$U$元组，元组的向量之间的关联强度被称为\emph{hyperlink weight}，其被假设为关于索引中的条目的排列对称。我们在这里提出了Bregman超链接回归（Bregman hyperlink regression），它学习用户指定的对称相似性函数，以便它从存储在$U$元组中的数据向量预测元组的超链接权重。BRESISTANCE是一个简单而通用的超关系学习框架，它最小化了超链接权重和为相应元组定义的估计相似度之间的Bregman分歧（BD）; BASED包含各种现有的方法，如逻辑回归（$U=1$），泊松回归（$U=1$）、链接预测（$U=2$），以及用于表示学习的那些，例如图嵌入矩阵分解（$U=2$）、矩阵分解（$U=2$）、张量分解（$U \geq 2$）及其配备有任意BD的变体。非线性函数（例如，神经网络）可以用于相似性函数。然而，存在理论上的挑战，使得与i.i.d.经典回归的设定。我们解决了这些理论问题，并证明了配备了任意BD和$U \in \mathbb{N}$的BERRY是（P-1）统计上一致的，即它渐近恢复的超链接权重给定的数据向量的潜在的真实条件期望，和（P-2）计算上易处理的，即它是有效地计算随机优化算法使用一种新的广义小批量抽样过程的超关系数据。因此，理论上的保证，包括几个现有的方法，已…
2020-03-28 cs.LG cs.SI stat.ME
The Cox-Polya-Gamma Algorithm for Flexible Bayesian Inference of Multilevel Survival Models
本文提出Cox-Polya-Gamma算法，通过泊松过程近似与充分降维策略，解决贝叶斯多层Cox半参数回归中非参数基线累积风险的单调性约束计算难题，并给出算法的一致遍历性条件。
2024-11-23 stat.ME
Data Augementation with Polya Inverse Gamma
我们使用正态方差-均值混合理论来推导包括伽马函数的模型的数据增强方案。我们的方法适用于统计和机器学习中的许多情况，包括多项狄利克雷分布，负二项回归，泊松-伽马分层模型，极值模型，仅举几例。所有这些模型都包括一个伽马函数，它不允许自然共轭先验分布，这对推理和预测提出了重大挑战。为了提供一个数据扩充策略，我们构造和发展了Pólya逆Γ分布类的理论。这允许开发可扩展的EM和MCMC算法。我们说明了我们的方法上的一些例子，包括伽玛形状推断，负二项回归和狄利克雷分配。最后，我们总结了未来研究的方向。
2022-05-01 stat.CO stat.ME stat.ML
Adaptive mixture variational inference for spike-and-slab regression
University of Calgary（卡尔加里大学）
针对相关预测变量下的稀疏回归，提出自适应混合变分推断，直接联合细化包含指标和系数，在模拟中优于平均场，并建立了理论保证。
2026-10-01 stat.ME stat.ML
Robust Density Power Divergence Estimates for Panel Data Models
面板数据回归模型已成为社会科学、行为科学、环境科学和计量经济学等不同研究领域中应用最广泛的统计方法之一。然而，传统的基于最小二乘的技术经常被用于面板数据模型，容易受到数据污染或离群观测的不利影响，这可能导致有偏的和低效的估计和误导性的统计推断。在这项研究中，我们提出了一个最小密度功率发散估计程序面板数据回归模型与随机效应，以实现对离群值的鲁棒性。稳健性，以及所提出的估计的渐近性质，严格建立。所提出的方法的有限样本特性进行了研究，通过广泛的模拟研究和应用在阿曼的气候数据。我们的研究结果表明，所提出的估计表现出改善的性能比一些传统的和强大的方法存在的数据污染。
2021-08-05 math.ST stat.ME stat.TH
Bayesian Inference for Gamma Models
我们使用正态方差-均值混合理论来推导包括伽马函数的模型的数据增强方案。我们的方法适用于统计和机器学习中的许多情况，包括多项狄利克雷分布、负二项回归、Poisson-Gamma分层模型、极值模型等。所有这些模型都包括一个伽马函数，它不允许自然共轭先验分布，这对推理和预测提出了重大挑战。为了提供一个数据扩充策略，我们建立和发展了指数倒数Γ分布类的理论。这允许开发可扩展的EM和MCMC算法。我们说明了我们的方法上的一些例子，包括伽玛形状推断，负二项回归和狄利克雷分配。最后，我们总结了未来研究的方向。
2021-06-21 stat.CO stat.ME stat.ML
Robust Wald-type test in GLM with random design based on minimum density power divergence estimators
研究了具有随机协变量的广义线性模型（GLM）下的鲁棒推断问题。我们推导出了随机设计下GLM中参数的最小密度幂散度估计的性质，并利用该估计提出了稳健的Wald型检验，用于检验GLM中任意一般复合原假设.所提出的测试的渐近性和鲁棒性也检查GLM与随机设计。建议的强大的推理程序，流行的泊松回归模型分析计数数据的应用进行了详细的讨论，从理论上和数值模拟研究和实际数据的例子。
2020-04-03 stat.AP stat.ME
Scalable Gaussian Process Inference with Finite-data Mean and Variance Guarantees
Harvard University（哈佛大学）；University of British Columbia（英属哥伦比亚大学）；University of Luxembourg（卢森堡大学）；MIT（麻省理工学院）
高斯过程（GP）为非参数贝叶斯回归提供了一种灵活的先验类别，但流行的GP后验推理方法通常非常缓慢或缺乏理想的有限数据质量保证。我们开发了一种方法，可扩展的近似GP回归有限数据保证逐点后验均值和方差估计的准确性。我们的主要贡献是一个新的目标近似推理的非参数设置：预处理的Fisher（PF）的分歧。我们发现，不同于库尔贝克-莱布勒散度（用于变分推断），pF发散边界的2-瓦瑟斯坦距离，这反过来又提供了严格的边界的逐点差的均值和方差函数。我们证明，对于稀疏GP似然近似，我们可以有效地最小化pF发散。我们的实验表明，优化pF发散具有与变分稀疏GP相同的计算要求，同时提供可比的经验性能-除了我们新的有限数据质量保证。
2019-03-27 cs.LG stat.CO stat.ME
On the "Poisson Trick" and its Extensions for Fitting Multinomial Regression Models
本文讨论用所谓的“泊松技巧”拟合多项式回归模型。这项工作是由Chen & Kuo（2001）和Malchow-Møller & Svarer（2003）提出的，他们被批评为计算效率低下，有时会产生无意义的结果。我们首先讨论独立数据的情况下，并提供了一个简约的拟合策略时，所有的协变量是分类的。然后，我们提出了一种新的方法来建模相关的响应的基础上扩展的伽玛泊松模型，其中的可能性可以表示在封闭形式。通过期望/条件最大化（ECM）算法估计参数，该算法可以使用标准统计软件包中容易获得的用于拟合广义线性模型的函数来实现。与现有的方法相比，我们的方法避免了需要近似的难处理的积分，从而推断是精确的近似Gamma-Poisson模型。通过对Chen & Kuo（2001）讨论的酸奶数据的重新分析来说明所提出的方法。
2017-07-26 stat.AP stat.CO stat.ME
Riesz Regression As Direct Density Ratio Estimation
本文阐明了里斯Z回归与因果推断中密度比估计的关系，证明了里斯回归与重要性拟合准则等价，为密度比估计提供了新方法。
2026-03-24 cs.LG econ.EM math.ST
