Generalized random forest for extreme quantile regression
本文提出一种结合极值理论与广义随机森林的极端分位数回归方法，用协变量相关参数近似块最大值条件分布，并在模拟和气象数据上验证其有效性。
2025-08-20 stat.ME
PLS Generalized Linear Regression and Kernel Multilogit Algorithm (KMA) for Microarray Data Classification
本文将Bastien等人（2005）提出的偏最小二乘广义线性回归（PLSGLR）与逻辑斯谛回归和线性判别分析相结合，得到偏最小二乘广义线性回归-逻辑斯谛回归模型（PLSGLR-log）和偏最小二乘广义线性回归-线性判别分析模型（PLSGLRDA）。这两种分类方法，然后与经典的方法，如k-近邻（KNN），线性判别分析（LDA），偏最小二乘判别分析（PLSDA），岭偏最小二乘（RPLS），和支持向量机（SVM）进行比较。此外，我们实现了Dalmau等人的核多对数算法（KMA）。（2015）并将其性能与其他分类器进行了比较。结果表明，对于未经预处理和预处理的数据，KMA具有最低的分类错误率。
2019-06-19 stat.CO stat.ME
Generalized Orthogonal Components Regression for High Dimensional Generalized Linear Models
在这里，我们提出了一个算法，称为广义正交成分回归（GOCRE），探讨一个分类的结果和一组大量的变量之间的关系。一组正交分量被依次构造以解释分类结果的变化，并且一起构建广义线性模型（GLM）。该算法可以被认为是偏最小二乘（PLS）的GLM的扩展，但克服了现有的基于迭代重加权最小二乘（IRLS）的扩展的几个问题。首先，现有的扩展在每次迭代时构造不同的组件集，因此不能提供收敛的组件集。其次，现有的扩展是计算密集型的，因为重复构建一套完整的组件。第三，虽然他们追求回归系数的收敛，但得到的回归系数仍然可能发散，特别是在建立逻辑斯谛回归模型时。相反，GOCRE在收敛构造时顺序地建立每个正交分量，并且同时对这些正交分量进行回归以拟合GLM。仿真研究和实际数据的例子都证明了新方法的性能。
2013-04-17 stat.CO stat.ME
Testing equivalence to binary generalized linear models with application to logistic regression
ERGO Group AG（ERGO集团）
研究如何测试观测数据与二元广义线性模型的等价性，核心方法是用最小距离法构建检验统计量，用于协变量均为分类变量的情况，通过渐近近似或自助法算临界值，在真实数据集上应用并经模拟研究有限样本性能。
2026-07-17 stat.ME
Parametric bootstrapping in a generalized extreme value regression model for binary response
当我们研究代表罕见事件的二元响应变量$Y$和潜在预测变量$\mathbf{X}$之间的关系时，广义极值（GEV）回归往往更适合。特别地，我们使用GEV分布的分位数函数作为链接函数。Bootstrapping将准确性的度量（偏倚、方差、置信区间、预测误差、假设检验）分配给样本估计值。该技术允许使用随机抽样方法估计几乎任何统计量的抽样分布。Bootstrapping通过从近似分布中采样时测量估计量的属性来估计估计量的属性。本文首先对广义极值回归模型进行拟合，然后用参数Bootstrap方法检验假设，估计广义极值回归模型参数的置信区间，并给出一个实际数据应用。
2021-05-02 stat.AP stat.ME
Generalized Linear Models with Linear Constraints for Microbiome Compositional Data
受微生物组成分数据回归分析的启发，本文考虑了具有成分协变量的广义线性回归分析，其中对回归系数施加一组线性约束以解释数据的成分性质并实现亚成分一致性。为了有效地估计回归系数，提出了一种基于广义加速邻近梯度法的惩罚似然估计方法。一个去偏的程序，以获得渐近无偏和正态分布的估计，这导致有效的置信区间的回归系数。仿真结果表明，在适当的线性约束条件下，置信区间的覆盖概率是正确的，估计的方差较小。这些方法通过微生物组研究来说明，以鉴定与炎症性肠病（IBD）相关的细菌物种，并使用粪便微生物组预测IBD。
2018-01-10 stat.ME
Generalized Rank Regression
Shanghai University of Finance and Economics（上海财经大学）；Shanghai Jiao Tong University（上海交通大学）；Purdue University（普渡大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
提出广义秩回归（GRR），通过非单调得分函数扩展经典秩方法，利用非渐近Bahadur表示和两阶段次梯度下降算法实现高效估计与统计推断。
2026-05-22 stat.ME
Elastic Net Regularization Paths for All Generalized Linear Models
Lasso和弹性网是监督学习中常用的正则化回归模型。Friedman，Hastie，and Tibshirani（2010）介绍了一种计算效率高的算法，用于计算普通最小二乘回归、逻辑斯谛回归和多项逻辑斯谛回归的弹性网正则化路径，而Simon，Friedman，Hastie，and Tibshirani（2011）将这项工作扩展到右删失数据的Cox模型。我们进一步扩展了弹性网正则化回归的范围到所有的广义线性模型家族，Cox模型（开始，停止）数据和地层，和一个简化版本的放松套索。我们还讨论了方便的效用函数来衡量这些拟合模型的性能。
2021-03-05 stat.CO stat.ME
$p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets
TU Dortmund University（多特蒙德工业大学）；Dortmund Data Science Center（多特蒙德数据科学中心）
本文研究了$p$ -广义概率单位回归模型，它是一个二元响应的广义线性模型。它扩展了标准的概率单位模型，用$p$-$p\in[1, \infty)$的广义正态分布替换其链接函数，标准正态cdf。$p$ -广义正态分布\citep{Sub23}在统计建模中具有特殊意义，因为它们更灵活地拟合数据。它们的尾部行为可以通过选择参数$p$来控制，该参数影响模型对离群值的敏感性。特殊情况包括拉普拉斯分布、高斯分布和均匀分布。我们进一步展示了如何最大似然估计$p$ -广义概率回归可以有效地近似到$(1+\varepsilon)$的大数据的一个因素，通过结合草图技术与重要性子采样，以获得一个小的数据摘要称为coreset。
2022-03-25 cs.DS cs.LG stat.ML
Robust model selection in generalized linear models
本文将Mueller和Welsh（2005; JASA）提出的线性回归模型的稳健模型选择方法推广到广义线性模型（包括Logistic和其他二元回归模型、Poisson回归和Gamma回归模型）。与Mueller和Welsh（2005）一样，我们将样本拟合的鲁棒惩罚度量与样本外预测能力的鲁棒度量相结合，该样本外预测能力使用后分层m-out-of-n bootstrap进行估计。一个关键的想法是，该方法可以用来比较不同的估计（鲁棒和非鲁棒）以及不同的模型。即使专门回到线性回归模型，本文提出的方法改进了Mueller和Welsh（2005）。特别是，我们使用了一个新的偏差调整自助估计，避免了需要中心的解释变量，并包括在每个模型中的截距。我们还使用了比Mueller和Welsh（2005）更复杂的参数来建立基本单调性条件。
2007-11-15 stat.ME
Generalized functional linear regression models with a mixture of complex function-valued and scalar-valued covariates prone to measurement error
针对广义函数型线性回归中混合函数型与标量协变量的测量误差，提出SIMEX和回归校准方法，并应用于美国成年人身体活动与热量摄入对2型糖尿病影响的研究。
2023-05-12 stat.ME
Generalized Reduced-Rank Regression with Homogeneity Pursuit
本文在广义线性模型下统一研究同质性、低秩和稀疏性假设，提出正则化极大似然估计方法，证明统计一致性，并通过模拟和树种数据验证其有效性。
2025-01-25 stat.ME
A robust mixed-effects quantile regression model using generalized Laplace mixtures to handle outliers and skewness
Syneos Health；University of the Free State（自由州大学）；KU Leuven（荷语鲁汶大学）；University of Stellenbosch（斯坦陵布什大学）
本文提出一种基于受污染广义非对称拉普拉斯混合的贝叶斯混合效应分位数回归模型，以稳健处理离群值和偏态，并在HIV病毒载量衰减数据中验证其优于传统方法。
2025-06-20 stat.ME
Zero-inflated generalized extreme value regression model for binary data and application in health study
逻辑斯谛回归模型被广泛用于研究二元反应变量$Y$和一组潜在预测因子$\mathbf X$之间的关系。二元响应可以表示例如某个感兴趣结果的发生（如果结果发生则为$Y=1$，否则为$Y=0$）。当因变量$Y$代表罕见事件时，逻辑斯谛回归模型显示出相关缺陷。为了克服这些缺点，我们提出了广义极值（GEV）回归模型。特别是，我们建议GEV分布的分位数函数作为链接函数，所以我们的注意力集中在响应曲线的尾部接近1的值。当一部分研究受试者（所谓的治愈个体，而不是合格者）无法经历感兴趣的结果时，观察样本被称为包含治愈分数。由此产生的一个问题是，除非观察到感兴趣的结果，否则通常不知道谁是治愈的受试者和谁是易感受试者。在这些情况下，对易感人群中$\mathbf X$和$Y$之间的关系进行逻辑斯谛回归分析并不简单。我们开发了一个极大似然估计程序，这个问题的基础上，联合建模的二进制响应的兴趣和治愈状态。我们调查的可识别性所产生的模型。然后，我们进行了模拟研究，调查其有限样本的行为，并应用到实际数据。
2021-05-02 stat.ME
Generalized Linear Models for Longitudinal Data with Biased Sampling Designs: A Sequential Offsetted Regressions Approach
在研究罕见（二元）或低变异性（连续）终点时，偏倚抽样设计可以非常有效。我们考虑纵向数据设置，其中被采样的概率取决于通过结果相关的辅助变量重复测量的响应。这种辅助变量或结果依赖性采样改善了观察到的反应，并可能比随机采样的暴露变异性，{即使}辅助变量不是科学的兴趣。{For分析，}我们提出了一个广义线性模型为基础的方法，使用序列的两个偏置回归。第一种方法使用偏移逻辑斯谛回归模型估计辅助变量与响应和协变量数据的关系。偏移取决于辅助变量的不同值的采样概率的（假定的）已知比率。辅助模型的结果用于估计以响应和协变量为条件的采样的观察特异性概率，然后使用这些概率来解释第二个目标人群模型中的偏倚。我们提供了渐近标准误占不确定性的辅助模型的估计，并进行模拟研究，证明大量的偏差减少，正确的覆盖概率，并提高了设计效率超过简单随机抽样设计。我们用两个例子来说明这种方法。
2020-01-13 stat.ME
Scalable regression calibration approaches to correcting measurement error in multi-level generalized functional linear regression models with heteroscedastic measurement errors
针对多层广义函数线性回归模型中纵向函数曲线的异方差测量误差，提出两种基于两阶段可扩展回归校准的纠偏方法，模拟和实证均优于现有估计器。
2024-04-20 stat.ME
Scalable Resampling in Massive Generalized Linear Models via Subsampled Residual Bootstrap
针对海量数据下残差Bootstrap计算效率低的问题，提出适用于广义线性模型的可扩展子采样残差Bootstrap（SRB）算法，证明了其与经典方法具有相同的理论保证且计算更快，并通过模拟和真实数据验证了其性能。
2024-09-26 stat.ME
Regression with Label Permutation in Generalized Linear Model
在实际应用中，可能会违反响应和预测值属于同一统计单元的假设。基于未标记数据的真实标记排序的无偏估计和恢复是一项具有挑战性的任务，近年来引起了越来越多的关注。本文对多变量响应的广义线性模型的标号置换问题进行了较为完整的分析。该理论在不同的场景下建立，具有真实参数的知识，具有底层标签置换矩阵的部分知识和没有任何知识。我们的结果删除了目前文献所要求的严格条件，并进一步扩展到缺失观测设置，从来没有考虑在标签置换问题领域。在计算方面，我们提出了两种方法，“极大似然估计“算法和“两步估计”算法，以适应不同的设置。当置换标签的比例适中时，两种方法都有效。多个数值实验，并证实了我们的理论研究结果。
2022-06-23 stat.ME
Quantile regression with generalized multiquadric loss function
School of Big Data and Statistics, Anhui University（安徽大学大数据与统计学院）
本文提出基于广义多二次损失函数的分位数回归方法，通过构造平滑损失函数解决非可导问题，利用梯度下降法实现高效估计，并通过理论分析和模拟验证其有效性。
2025-12-13 stat.AP stat.ME
An Accurate Standard Error Estimation for Quadratic Exponential Logistic Regressions by Applying Generalized Estimating Equations to Pseudo-Likelihoods
针对二次指数二元分布最大似然估计计算难、伪似然低估标准误的问题，本研究提出将广义估计方程应用于伪似然时采用独立工作相关结构可获一致估计，推导了理论性质并通过模拟与实例验证了方法有效性。
2025-10-01 stat.ME
Sparse principal component regression for generalized linear models
主成分回归（PCR）是一种广泛使用的两阶段程序：主成分分析（PCA），然后是回归，其中所选择的主成分被视为模型中的新解释变量。请注意，PCA仅基于解释变量，因此不使用响应变量的信息选择主成分。在本文中，我们提出了一个一阶段的程序PCR的框架下，广义线性模型。基本损失函数基于回归损失和PCA损失的组合。回归参数的估计得到的基本损失函数的最小值与稀疏惩罚。我们称之为广义线性模型的稀疏主成分回归（SPCR-glm）。同时考虑两个损失函数，SPCR-glm使我们能够获得与响应变量相关的稀疏主成分载荷。然而，损失函数的组合可能会导致参数识别问题，但由于稀疏惩罚，避免了这个潜在的问题。因此，稀疏惩罚在该方法中起两个作用。参数估计过程中提出了使用各种更新算法与坐标下降算法。我们将SPCR-glm应用于两个真实数据集，医生访问数据和小鼠染色体品系数据。SPCR-glm提供了更容易解释的主成分（PC）得分和PC图上比通常的PCA更清晰的分类。
2016-10-13 stat.ME stat.ML
Corruption-tolerant Algorithms for Generalized Linear Models
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出了SVAM（Sequential Variance-Altered MLE），这是一个统一的框架，用于在训练数据中对抗性标签损坏的情况下学习广义线性模型。SVAM扩展到最小二乘回归、逻辑回归和伽玛回归等任务，而许多现有的关于标签损坏学习的工作仅关注最小二乘回归。SVAM是基于一种新的方差减少技术，可能是独立的利益和工程迭代求解加权MLE方差改变版本的GLM目标。SVAM提供了优于最先进的鲁棒回归的可证明模型恢复保证，即使在训练标签的恒定部分被反向损坏时。SVAM在经验上也优于几种现有的问题特定技术，用于稳健的回归和分类。SVAM代码可在www.example.com上获得
2022-12-11 cs.LG stat.ML
Algorithms for Generalized Cluster-wise Linear Regression
Southern Methodist University（南卫理公会大学）；Sears Holdings Corporation（西尔斯控股公司）；Northwestern University（西北大学）；Ernst & Young LLP（安永会计师事务所）
逐点线性回归（multi-wise linear regression，缩写为SVM）是一种与回归交织在一起的聚类问题，它是为了找到实体的聚类，使得在这些聚类上执行的回归的平方误差的总和最小化，其中每个聚类可能具有不同的方差。我们通过允许每个实体有多个观察来推广这个问题，并将其称为广义的问题。我们提出了一个精确的数学规划为基础的方法依赖于列生成，列生成为基础的启发式算法，聚类预定义的实体组，一个元启发式遗传算法与适应劳埃德算法的K-均值聚类，两阶段的方法，和一个改进的算法的Sp{ä}th \cite{Spath1979}求解广义聚类。我们研究了我们的算法的性能，在预测晕和同类相食的影响，在促销活动中使用现实世界的零售数据从一个大型连锁超市的库存单位（ESTA）聚类问题。在库存聚类问题中，零售商需要根据促销的季节效应对SKU进行聚类。季节性效应是回归的结果，预测因子是促进机制和季节性假人在生成的集群上进行。我们比较了所有提出的算法的性能与现实世界和合成数据的问题。
2016-07-11 cs.LG stat.ML
Highly Irregular Functional Generalized Linear Regression with Electronic Health Records
本文提出了一种新的方法，称为MISFIT，用于拟合具有稀疏和不规则采样数据的广义泛函线性回归模型。目前的方法不允许一致的估计，除非假设每个曲线的观察点的数量随着样本量的增长足够快。相比之下，MISFIT基于多重插补框架，在没有这种假设的情况下，它有可能产生相合估计。同样重要的是，它传播了没有完全观察到的曲线的不确定性，允许更准确地评估参数估计的不确定性，这是目前大多数方法无法实现的。这项工作的动机是一个纵向研究的大头畸形，或巨大的头部尺寸，其中电子病历允许收集大量的数据。然而，抽样是高度可变的，从儿童到儿童。使用MISFIT，我们能够清楚地证明与大头畸形相关的病理条件的发展与儿童的整体头围以及他们的头部生长速度相关。
2019-10-04 stat.ME
A Generalized Estimating Equation Approach to Network Regression
针对网络数据回归中未考虑社区结构与因变量双重角色的问题，提出基于社区检测聚类的广义估计方程方法，证明了渐近正态性，并验证了其在COVID-19发病率分析中的有效性。
2024-02-14 stat.ME
Interpretable Scalar-on-Image Linear Regression Models via the Generalized Dantzig Selector
University of Arizona（亚利桑那大学）
提出广义Dantzig选择器，联合施加稀疏性和平滑性约束，提高标量对图像回归中系数函数的可解释性，并通过理论和实验验证其优势。
2026-06-16 stat.ME
Trimmed Maximum Likelihood Estimation for Robust Learning in Generalized Linear Models
Google Research（谷歌研究院）
研究了对抗性腐败下广义线性模型的学习问题。我们分析了一个经典的启发式称为迭代修剪最大似然估计，这是已知的是有效的标签腐败在实践中。在标签损坏的情况下，我们证明了这个简单的估计在广泛的广义线性模型，包括高斯回归，泊松回归和二项式回归上实现了极大极小近似最优风险。最后，我们将估计量扩展到更具挑战性的标签和协变量腐败设置，并证明了其鲁棒性和最优性。
2022-10-23 cs.LG stat.ML
A New Generalized Birnbaum-Saunders Regression Model: Inference, Diagnostics, and Applications
University of Brasilia（巴西利亚大学）；Federal University of Campina Grande（坎皮纳格兰德联邦大学）
本文提出一种基于GAMLSS框架的广义Birnbaum-Saunders回归模型，将协变量效应纳入所有三个参数，其中一参数直接解释为中位数，采用最大似然估计和Wald检验，模拟和实际应用验证了其灵活性和有效性。
2026-09-21 stat.ME
Generalized Fiducial Inference for Ultrahigh Dimensional Regression
近年来，多维线性回归问题引起了研究界的极大关注。在稀疏性假设下，大多数已发表的工作都致力于选择和估计的显着预测变量。本文研究了这个问题的一个不同的，但从根本上重要的方面：参数估计和模型选择的不确定性量化。更具体地说，本文提出的方法来推导的概率密度函数的所有可能的模型的集合，也为相应的参数构造置信区间。这些建议的方法是使用广义基准方法，这是一个有争议的费舍尔的基准思想的变体。研究了所提方法的理论性质，特别是证明了基于所提方法的统计推断将具有精确的渐近频率论性质。在经验性能方面，所提出的方法进行了测试模拟实验和应用到一个真实的数据集。最后，这项工作也可以被视为一个有趣的和成功的应用费舍尔的基准思想的一个重要的和当代的问题。据作者所知，这是第一次将基准思想应用于所谓的“大p小n”问题。
2013-04-30 stat.ME
An improved sample size calculation method for score tests in generalized linear models
Self和Alfresen（1988）发展了一种在相邻方案下广义线性模型中分数检验的样本量确定方法。当效应量较大时，其性能可能会恶化。我们提出了一个修改的Self-Bucksen方法，考虑到方差的得分统计下的零假设和备择假设，并扩展该方法的非劣效性试验。采用改良方法计算优效性和非劣效性试验中逻辑斯谛回归和负二项回归的样本量。我们进一步解释了为什么最近由朱和Lakkis得出的公式往往低估了负二项回归所需的样本量。数值算例验证了该方法的准确性。
2020-06-23 stat.ME
Generalized regression operator estimation for continuous time functional data processes with missing at random response
在本文中，我们感兴趣的非参数核估计的广义回归函数，包括条件累积分布和条件分位数函数，基于不完全样本$(X_t, Y_t, ζ_t)_{t\in \mathbb{ R}^+}$副本的连续时间平稳遍历过程$(X, Y, ζ)$。预测器$X$在某个无限维空间中赋值，而实值过程$Y$在$ζ= 1$时被观察到，并且在$ζ= 0$时缺失。建立了估计量的逐点相合性和一致相合性（含率），以及一个中心极限定理。还提供了条件偏差和渐近二次误差。本文还讨论了广义回归函数的渐近和自举置信区间。第一个模拟研究进行比较的离散时间的连续时间的估计。第二个模拟也进行了讨论的最佳采样网格在连续时间的情况下的选择。最后，值得注意的是，我们的结果是在遍历假设下陈述的，没有假设任何经典的混合条件。
2021-10-15 math.ST stat.ME stat.TH
A Novel Approach in Solving Stochastic Generalized Linear Regression via Nonconvex Programming
本文提出一种基于非凸规划、聚类和分位数估计的随机广义线性回归求解方法，在F1、精确率和召回率上比普通逻辑回归提升1至2个百分点。
2024-01-16 math.OC stat.ML
Sparse Linear Regression via Generalized Orthogonal Least-Squares
University of Texas at Austin（德克萨斯大学奥斯汀分校）
稀疏线性回归需要找到欠定线性方程组的稀疏解，可以正式表示为$l_0$约束最小二乘问题。正交最小二乘（OLS）算法顺序地选择特征（即，系数矩阵的列）来粗略地找到近似稀疏解。在本文中，一个推广的正交最小二乘依赖于最优解的组件之间的递归关系，选择L功能在每一步，并解决由此产生的超定方程组提出。仿真结果表明，广义OLS算法是计算效率和实现性能优于现有的贪婪算法广泛使用的文献。
2016-07-28 cs.IT cs.LG math.IT
Generalized Score Matching for Regression
许多概率模型有一个棘手的归一化常数可以扩展到包含协变量。由于这些模型的精确似然评估是困难的，甚至是不可能的，分数匹配，提出了避免显式计算的归一化常数。在文献中，分数匹配到目前为止只发展为模型中的观察是独立和同分布（IID）。然而，IID假设在回归型模型的传统固定设计设置中不成立。为了处理这些协变量依赖模型的估计，本文提出了一种新的得分匹配方法，独立的，但不一定同分布的数据下的一般框架下的连续和离散的响应，其中包括一个新的广义得分匹配方法计数响应回归。我们证明了我们提出的分数匹配估计是一致的，渐近正常的温和的正则性条件下。仿真研究和实际数据的例子支持的理论结果。此外，我们的模拟结果表明，相比于近似极大似然估计，广义分数匹配产生的估计值在应用于博士论文数据时具有显著较小的偏差。
2022-03-18 math.ST stat.ME stat.TH
Confidence Corridors for Multivariate Generalized Quantile Regression
研究了多元非参数广义分位数回归函数的置信走廊构造问题。这种结构是基于一个合适的非参数估计和真正的功能感兴趣的一系列的近似步骤，包括Bahadur表示，一个新的强逼近定理和指数尾不等式高斯随机场之间的最大偏差的渐近结果。作为一个副产品，我们还获得了经典均值回归中的回归函数的置信走廊。针对渐近置信走廊覆盖概率误差缓慢减小导致小样本量覆盖率过低的问题，基于Bahadur表示的首项设计了一个简单的Bootstrap过程.这两个程序的有限样本性质进行了研究，通过模拟研究，它表明，自举程序大大优于渐近带的覆盖精度。最后，自助信任走廊被用来研究国家支持工作示范，这是一个随机的就业促进计划在20世纪70年代推出的有效性。本文有补充材料。
2015-02-02 math.ST stat.ME stat.TH
Generalized Deep Regression for Repeated Measurements
Bristol Myers Squibb（百时美施贵宝）
本文提出用ReLU深度神经网络估计重复测量数据的边际回归函数，通过凸损失和Oracle不等式，达到最优收敛速率，并支持点估计与推断。
2026-09-23 cs.LG stat.ML
Optimal Online Generalized Linear Regression with Stochastic Noise and Its Application to Heteroscedastic Bandits
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了随机环境下的在线广义线性回归问题，其中标签是从一个广义线性模型中产生的，该模型可能带有无界的加性噪声。我们提供了一个尖锐的分析，经典的跟随正则化领导（FTRL）算法，以应付标签噪声。更具体地，对于$σ$ -亚高斯标签噪声，我们的分析提供了$O(σ^2 d \log T) + o(\log T)$的遗憾上界，其中$d$是输入向量的维度，$T$是总轮数。我们还证明了随机在线线性回归的一个$Ω(σ^2d\log(T/d))$下界，这表明我们的上界是接近最优的。此外，我们将我们的分析扩展到更精确的伯恩斯坦噪声条件。作为应用，我们研究了带异方差噪声的广义线性bandits，并提出了一种基于FTRL的算法来获得第一个方差感知后悔界。
2023-03-27 cs.LG math.OC stat.ML
Asymptotic normality of the time-domain generalized least squares estimator for linear regression models
在线性模型中，当误差相关的结构已知时，广义最小二乘（GLS）估计是适用的。当它是未知的，这种结构必须近似和估计的方式，可能会导致错误的规格。不正确指定的GLS（IGLS）估计量的大样本分析需要仔细的渐近操作。当在频域中进行估计时，在所谓的Grenander假设下，IGLS估计量的渐近正态性已被证明适用于广泛的一类误差相关模型。在相同的假设下，时域IGLS估计量的渐近正态性结果仅适用于有限类误差结构。我们证明了对于一般的相依模型，时域IGLS估计是渐近正态的。
2019-02-09 math.ST stat.ME stat.TH
Generalized Method of Moments Estimator Based On Semiparametric Quantile Regression Imputation
在这篇文章中，我们考虑一种插补方法来处理基于半参数分位数回归估计的缺失响应值。在所提出的方法中，缺失的响应值生成使用估计的条件分位数回归函数在给定的协变量值。我们采用广义矩量法估计的参数定义通过一个一般的估计方程。我们证明了所提出的估计，它结合了半参数分位数回归插补和广义矩方法，具有竞争优势，对一些最广泛使用的参数和非参数插补估计。证明了估计量的相合性和渐近正态性，并给出了方差估计。有限的模拟研究和实证研究的结果，显示所提出的方法的充分性。
2014-04-11 math.ST stat.TH
Active-set algorithms based statistical inference for shape-restricted generalized additive Cox regression models
近年来，形状限制推论在统计和计量经济学文献中得到广泛的应用，以放松回归分析中的线性或二次协变量效应。典型的形状限制协变量效应包括单调递增、递减、凸性或非凸性。本文将形状限制推断引入到著名的Cox回归模型（SR-Cox）中，其中协变量响应被建模为形状限制的可加函数。SR-Cox回归使用样条基扩展和数据驱动的节点选择来近似形状限制函数。将负对数似然函数的最小化问题转化为一个凸优化问题，并采用有效集优化算法求解。该算法的特点是能自动消除多余节点。当协变量效应包括具有未知形式和线性项的凸项或凹项的组合时，最有趣的发现是SR-Cox产生准确的线性协变量效应估计，如果形式确实已知，则其与最大偏似然估计相当。我们的结论是，凹或凸SR-Cox模型可以显着提高非线性协变量响应恢复和模型拟合优度。
2021-07-02 stat.ME stat.ML
Generalized Minimum Distance Estimators in Linear Regression with Dependent Errors
本文讨论了具有相依误差的强混合线性回归模型的最小距离估计方法。利用最小距离估计方法对回归参数进行了估计，并讨论了估计量的渐近分布性质。仿真研究比较了最小距离估计与其他著名的估计性能。这个模拟研究显示了最小距离估计优于另一种估计。用于模拟研究的KoulMde（R软件包）可在线获得。详情见第4节。
2017-01-05 math.ST stat.TH
Laplace Power-expected-posterior priors for generalized linear models with applications to logistic regression
功率-期望-后验（PEP）方法借鉴了功率先验、期望-后验先验和单位信息先验的思想，提供了一种构造客观先验的系统方法。其基本思想是使用假想的训练样本将无信息先验更新为最小信息先验。在这项工作中，我们开发了一种新的定义PEP先验的广义线性模型，依赖于拉普拉斯展开的可能性的假想训练样本。这种方法具有各种计算，实践和理论上的优势，比以前的建议无信息先验的广义线性模型。我们特别强调逻辑斯谛回归模型，其中样本分离对替代方法提出了特别的挑战。我们调查的渐近和有限样本的程序，表明这是渐近和内在的一致性，它的性能至少是有竞争力的，在某些情况下，优于文献中的替代方法。
2021-12-05 math.ST stat.AP stat.CO
Robust estimators in a generalized partly linear regression model under monotony constraints
本文考虑观测服从保序广义部分线性模型的情形。在该模型下，响应的平均值通过链接函数建模，线性地在一些协变量上，非参数地在单变量回归量上，以这样的方式，非参数分量被假定为单调函数。定义了单调非参数分量和回归参数的一类与线性分量相关的稳健估计。鲁棒估计是基于样条的方法结合得分函数的界限大值的偏差。作为应用，我们考虑保序部分线性log-Gamma回归模型.通过Monte Carlo研究，我们研究了所提出的估计的性能下的部分线性log-Gamma回归模型的非参数分量增加。
2018-11-29 math.ST stat.TH
Generalized ridge estimator and model selection criterion in multivariate linear regression
在多元线性回归中，基于广义岭估计在平方风险和Kullback-Leibler风险下优于极大似然估计，提出了新的模型选择准则.我们的模型选择标准有以下最喜欢的属性：一致性，无偏性，一致最小方差。在渐近结构$\frac{p}{n}\to c$下证明了一致性，其中$n$是样本量，$p$是响应变量的参数维数。特别是，我们提出的估计类占主导地位的平方风险下的最大似然估计，即使模型不包括真正的模型。实验结果表明，我们的模型选择标准的风险是小于的最大似然估计的基础上，我们提出的标准指定的真实模型在一定条件下。
2016-04-07 math.ST stat.TH
Doubly robust target inference for generalized linear regression with completely missing covariates
School of Mathematics and Statistics, Huazhong University of Science and Technology（华中科技大学数学与统计学院）；Department of Statistics and Data Science, Tsinghua University（清华大学统计与数据科学系）
针对目标数据协变量完全缺失的广义线性回归，提出双重稳健迁移学习框架，结合重要性加权与插补，实现一致且有效的目标总体推断。
2026-09-22 math.ST stat.ME stat.ML
Non-asymptotic Properties of Generalized Mondrian Forests in Statistical Learning
本文在 Mondrian 森林基础上提出广义统计学习框架，涵盖最小二乘、ℓ1、分位数回归及分类，在温和假设下给出遗憾/风险上界并证明一致性。
2025-02-27 math.ST stat.TH
A dynamic programming approach for generalized nearly isotonic optimization
形状限制统计估计问题已经被广泛研究，在信号处理、生物信息学和机器学习中具有许多重要的实际应用。本文提出并研究了一个广义近保序优化（GNIO）模型，它可以作为特例恢复形状约束统计回归中的许多经典问题，如保序回归、近保序回归和单峰回归问题.我们开发了一个有效的和易于实现的动态规划算法求解所提出的模型，其递归性质仔细发现和利用。对于特殊的$\ell_2$问题，讨论了算法的实现细节和最优${\cal O}(n)$运行时间分析.数值实验，包括我们的方法之间的比较，强大的商业求解器Guesthouse，和现有的快速算法求解$\ell_1$和$\ell_2$ -GNIO问题，在模拟和真实数据集上，展示了我们提出的算法在解决大规模GNIO问题的高效率和鲁棒性.
2022-10-10 math.OC stat.CO
Asymptotic theory of generalized information criterion for geostatistical regression model selection
信息准则，如赤池信息准则和贝叶斯信息准则，常用于模型选择。然而，他们的渐近行为选择地质统计回归模型还没有得到很好的研究，特别是在固定域渐近框架下，越来越多的数据在一个有界的固定区域观察。本文在更一般的混合域渐近框架下，研究了地统计回归模型选择的广义信息准则。通过对统计量的一致收敛性的研究，在一定的正则性条件下，我们建立了GIC的选择一致性和渐近损失效率，而不管协方差模型的确定是正确的还是错误的.我们还提供了满足条件的不同类型的解释变量的具体例子。例如，在某些情况下，GIC是选择一致的，即使在某些空间协方差参数无法一致地估计时。另一方面，GIC未能选择真正的多项式阶一致的固定域渐近框架下。此外，域的增长率和候选回归变量在空间中的光滑程度被证明对模型选择起关键作用。
2014-12-02 math.ST stat.TH
Generalized Bayesian Additive Regression Trees Models: Beyond Conditional Conjugacy
University of Texas at Austin（德克萨斯大学奥斯汀分校）
贝叶斯加法回归树近年来由于其将机器学习技术与原则性不确定性量化相结合的能力而受到越来越多的关注。然而，用于拟合BART模型的贝叶斯后拟合算法将其应用限制在一小类存在条件共轭的模型上。在这篇文章中，我们通过引入一个非常简单的、无调整参数的、可逆跳马尔可夫链蒙特卡罗算法，大大扩展了BART对任意\emph{generalized BART}模型的适用范围。我们的算法只需要用户能够计算的可能性和（可选）其梯度和费舍尔信息。潜在的应用是非常广泛的，我们考虑的例子在生存分析，结构异方差回归，伽玛形状回归。
2022-02-20 cs.LG stat.ME stat.ML
Safe-Bayesian Generalized Linear Regression
Leiden University（莱顿大学）；CWI（荷兰国家数学与计算机科学研究所）；University of Oxford（牛津大学）；University of Victoria（维多利亚大学）
我们研究广义贝叶斯推理下的误指定，即当模型是“错误的，但有用的”。广义贝叶斯为可能性配备了学习率$η$。我们发现，对于广义线性模型（GLM），$η$ -广义贝叶斯集中在模型内的最佳逼近的真相为特定的$η\neq 1$，即使在严重错误指定的噪声，只要尾部的真实分布是指数。我们推导出广义贝叶斯套索和逻辑斯谛回归的MCMC采样器，并给出了模拟和真实数据的例子，其中广义贝叶斯大大优于标准贝叶斯。
2021-05-29 cs.LG math.ST stat.ME
Measurement Errors in Semiparametric Generalized Regression Models
忽略预测因子中的测量误差的回归模型可能会产生高度偏倚的估计，从而导致错误的推断。众所周知，在高斯非参数回归中，考虑测量误差是极其困难的。这个问题变得非常困难时，考虑其他家庭，如逻辑斯谛回归，泊松和负二项。第一次，我们提出了一种方法，旨在纠正测量误差时，估计回归函数灵活地覆盖几乎所有的分布和链接函数经常考虑在广义线性模型。这种方法依赖于在半参数广义线性模型中整合出真实的未观察到的预测因子后近似响应的一阶和二阶矩。与以前的方法不同，该方法不限于截断样条，可以利用各种基函数。通过广泛的模拟研究，我们研究了我们的方法在许多情况下的性能。
2023-01-31 stat.ME
Nonlinear Generalized Ridge Regression
提出一种两阶段非线性广义岭回归方法，先用样条将各预测变量与结果间的非线性关系线性化，再以最小化正态理论下MSE风险的广义岭回归预测，并与广义加性模型对比。
2023-09-29 stat.ME
Generalized Isotonic Regression
我们提出了一个计算和统计的方法来拟合保序模型下凸可微损失函数。我们提供了一个递归分区算法，可证明和有效地解决保序回归下的任何这样的损失函数。沿着划分路径的模型也是保序的，并且可以被视为问题的正则化解决方案。我们的方法概括并包含了两个先前的结果：Barlow和Brunk（1972）关于拟合特殊结构损失函数的保序回归的著名工作，以及标准（l2-损失）保序回归的递归分割算法（Spouge et al 2003）。我们证明了我们的广义算法的优势，在两种设置中的真实和模拟数据：拟合计数数据使用负泊松对数似然损失，和拟合鲁棒保序回归使用Huber的损失。
2012-10-06 stat.ME
A Provable Smoothing Approach for High Dimensional Generalized Regression with Applications in Genomics
在许多应用中，线性模型对数据拟合较差。本文研究了一个有吸引力的替代方案，广义回归模型。该模型仅假设存在一个未知的单调递增的连接函数，将响应$Y$连接到解释变量$X\in\mathbb{R}^d$的单个指数$X^Tβ^*$。广义回归模型是灵活的，涵盖了许多广泛使用的统计模型。它很好地适应了许多实际问题中的数据生成机制，这使得它在经常使用回归模型的各种应用中非常有用。在低维情况下，本文提出了基于秩的M-估计，并给出了$β^*$的根$n$相合估计量。这些估计高维数据的应用，但是，是值得怀疑的。本文从理论和实践两方面研究了一种简单而有效的高维广义回归模型的光滑化方法。理论上，提供了一个家庭的平滑功能，并仔细计算有效的推理所需的平滑量。实际上，我们的研究是出于一个重要的和具有挑战性的科学问题：解码基因调控预测转录因子结合顺式调控元件。将我们提出的方法应用于这个问题表明，在实际数据中，与最先进的替代方法相比，有了很大的改进。
2017-07-21 stat.ME
