Fast Marginal Likelihood Estimation of the Ridge Parameter(s) in Ridge Regression and Generalized Ridge Regression for Big Data
与线性模型的普通最小二乘（OLS）估计不同，岭回归线性模型通过收缩提供系数估计，通常具有改进的均方和预测误差。尤其是当观察到的设计矩阵因协变量高度相关或协变量数量超过样本量而出现病态或奇异时，情况尤其如此。介绍了贝叶斯岭回归和幂岭回归模型收缩参数估计的新型快速边际极大似然（MML）算法，以及贝叶斯广义岭回归模型收缩参数的自动插入式MML估计器。借助观测协变量设计矩阵的奇异值分解，即使对于样本量（n）或协变量数（p）非常大的数据集，甚至当p>n时，这些MML估计方法也相当快。在n和p变化很大的几个实际数据集上，分别比较了三种脊模型的MML估计方法与脊模型、LASSO模型和弹性网（EN）模型中基于交叉验证或信息准则的最小化预测误差的收缩参数估计方法的计算时间.此外，岭，LASSO和EN模型，以及它们相关的估计方法，在预测精度方面进行了比较。此外，一项模拟研究比较了MML估计下的岭模型与LASSO和EN模型在区分真显著协变量（即，具有非零斜率系数）和真正不显著的协变量（具有零系数）。
2015-06-24 stat.ME
Detecting conflicting summary statistics in likelihood-free inference
贝叶斯无似然方法使用来自模型的数据的模拟来实现贝叶斯推断，以代替难以处理的似然评估。大多数无似然推断方法在执行贝叶斯推断之前用汇总统计量替换完整的数据集，并且该统计量的选择通常是困难的。出于计算原因，汇总统计量应该是低维的，同时保留尽可能多的参数信息。使用最近的想法，从可解释的机器学习文献，我们开发了一些基于回归的诊断方法，这是有用的检测时，不同部分的汇总统计向量包含冲突的信息模型参数。这种冲突使汇总统计量的选择复杂化，检测它们可以洞察模型的缺陷并指导模型改进。开发的诊断方法是基于回归方法的似然自由推理，其中回归模型估计后验密度使用汇总统计作为功能。在回归模型中删除和插补部分汇总统计量向量可以消除汇总统计量子集的冲突和近似后验分布。在删除和插补之后，估计后验密度的变化大于预期，这可能表明感兴趣的推断受到影响的冲突。新方法的实用性证明了在一些真实的例子。
2020-10-15 stat.ME
Likelihood informed dimension reduction for inverse problems in remote sensing of atmospheric constituent profiles
我们使用似然信息降维（LIS）（T. Cui等人，2014年），用于从芬兰北部Sodankylä的地基傅里叶变换红外（FTIR）测量中反演大气甲烷的垂直剖面信息。这些测量属于全球温室气体测量TCCON网络，除了提供准确的温室气体测量外，它们对于验证卫星观测也很重要。LIS允许构建一个有效的马尔可夫链蒙特卡罗采样算法，该算法仅探索降维空间，但仍然产生原始全维贝叶斯后验分布的良好近似。这实际上使得统计估计问题独立于逆问题的离散化。此外，我们比较了LIS的降维方法的基础上，先前使用的协方差阵截断（S。Tukiainen等人，2016年）。
2018-02-20 stat.CO
Bayesian empirical likelihood for quantile regression
贝叶斯推理提供了一种将数据与先验信息相结合的灵活方法。然而，分位数回归不具备参数似然性，因此，分位数回归的贝叶斯推断需要仔细研究。本文考虑分位数回归的贝叶斯经验似然方法。将经验似然性纳入贝叶斯框架，我们证明了任何固定先验的后验概率是渐近正态的;其均值向真实参数值收缩，其方差接近最大经验似然估计量。一个更有趣的情况下，可以为贝叶斯经验似然信息先验被用来探索跨分位数的共性。在每个百分位数水平上单独计算的回归分位数往往在数据稀疏区域（例如，高或低百分位数水平）。通过经验的可能性，所提出的方法使我们能够探索各种形式的共性跨分位数的效率增益。通过在计算中使用MCMC算法，我们避免了直接最大化经验可能性的艰巨任务。经验研究所提出的方法的有限样本性能，其中大量的效率增益证明了在几个百分点水平上的共同特征的信息先验。收缩先验的理论框架中使用的文件，以更好地理解所提出的方法的力量。
2012-07-23 math.ST stat.TH
A Variant of AIC based on the Bayesian Marginal Likelihood
我们提出的信息标准，衡量预测密度的预测风险的贝叶斯边际似然从频率论的角度来看。假设回归系数具有先验分布，我们推导出了线性回归模型中变量的选择准则。然后，我们讨论了所提出的标准和相关标准之间的关系。我们的方法有三个优点。首先，这是频率论和贝叶斯观点之间的妥协，因为它评估了贝叶斯模型的频率论风险。因此，它受先前错误指定的影响较小。其次，在选择真实模型时，标准具有一致性。第三，当为回归系数假设均匀先验时，得到的准则等价于Shi和Tsai（2002）的残差信息准则（RIC）。
2017-10-19 stat.ME
Bayesian Inference for Logistic Regression Models Using Sequential Posterior Simulation
logistic规范已被广泛用于非贝叶斯统计，以模拟离散结果对指定协变量值的依赖性。由于似然函数是全局弱凹的，所以即使在通常出现的具有几十个或几百个参数的应用中，极大似然估计也是直接的。相比之下，贝叶斯推断已被证明是笨拙的，需要对现有的马尔可夫链蒙特卡罗和数据增强方法的可能性或专门的适应性进行正常近似。本文使用最近开发的一般序贯后验模拟（SPS）方法，只需要多一点的能力，以评估的似然函数的逻辑模型的贝叶斯推断。与现有的替代方案相比，SPS是简单得多，并提供了数字标准误和准确的近似边际可能性作为副产品。用于贝叶斯推断的SPS算法适合于大规模并行实现，并且当使用图形处理单元实现时，它比现有的替代方案更有效。本文通过几个例子来说明这些观点。
2013-04-16 stat.CO
Estimating an Inverse Gamma distribution
本文介绍了基于矩量法、极大似然法和全贝叶斯估计的逆Γ分布参数学习算法。我们还提供了逆Γ分布的库尔贝克-莱布勒散度的表达式，这使我们能够量化每个算法的估计精度。所提出的算法都是新颖的。最相关的新颖性包括第一共轭先验的反伽玛形状参数，它允许分析贝叶斯推断，和两个非常快的算法，一个极大似然和贝叶斯之一，都基于似然近似。为了计算在建议的分布下的期望值，我们使用拉普拉斯近似。这些新的贝叶斯估计的引入打开了将逆Γ分布包括到更复杂的贝叶斯结构中的可能性，例如变分贝叶斯混合模型。本文介绍的算法计算比较使用合成数据和有趣的关系之间的极大似然和贝叶斯方法。
2016-07-07 stat.ME
Posterior Consistency of Bayesian Inverse Regression and Inverse Reference Distributions
我们认为贝叶斯推断逆回归问题的目标是推断未观察到的协变量从观察到的响应和协变量。我们建立后验一致性的贝叶斯逆回归problemunder适当的先验在留一交叉验证设置中的未观察到的协变量。我们将其与逆参考分布的后验一致性（Bhattacharya（2013））相关联，以评估模型的充分性。我们用贝叶斯逆回归的各种例子来说明我们的理论和方法，以及足够的模拟实验。
2020-05-01 math.ST stat.TH
Restricted type II maximum likelihood priors on regression coefficients
在贝叶斯假设检验和模型选择中，先验分布的选择必须慎重。例如，为位置参数设置任意大的先验尺度，这是估计问题中的常见做法，可能会导致测试中的不良行为（林德利悖论）。本文研究了一类约束Ⅱ型极大似然先验关于回归系数的性质。在II型ML中，超参数通过最大化模型的边际似然来“估计”。在这篇文章中，我们通过估计它们的方差或协方差阵来定义先验，增加限制，以确保所得先验至少与传统的模型不确定性的适当先验一样模糊。我们发现，这些II型ML先验通常会产生接近贝叶斯信息准则（BIC）获得的答案的结果。
2019-11-21 math.ST stat.TH
Random forward models and log-likelihoods in Bayesian inverse problems
我们考虑使用随机正向模型和对数似然内的贝叶斯方法来反问题。当使用更便宜的随机替代来近似计算上昂贵的模型时，如在高斯过程仿真（克里金法）中或在概率数值方法领域中，自然会出现对精确正演模型或对数似然的这种随机近似。我们证明了精确和近似贝叶斯后验之间的Hellinger距离是由真实和近似对数似然之间的差异的矩所限定的。这些稳定性结果的应用实例给出随机失配模型在大数据应用和概率解的常微分方程。
2018-09-28 cs.NA math.NA math.PR
Learning from Summarized Data: Gaussian Process Regression with Sample Quasi-Likelihood
Yuta Shikuri（独立研究者）
针对仅能获取汇总数据（含代表性特征、统计量和计数）的场景，本研究提出基于样本拟似然的高斯过程回归方法，分析近似误差并验证其在空间建模中的有效性。
2025-08-24 cs.LG stat.ML
Likelihood-Free Gaussian Process for Regression
本文提出无似然高斯过程（LFGP）框架，通过聚类和最大似然估计量的渐近正态性，在无需直接设定似然函数的情况下表示兴趣参数的后验分布，从而减少概率模型假设并降低可扩展问题的计算成本。
2025-07-19 cs.LG stat.ML
A Statistical Perspective on Inverse and Inverse Regression Problems
广义逆问题的任务是从未知函数的噪声响应中学习，通常表示为已知函数形式的参数，在一般科学学科中受到广泛关注。然而，在主流统计学中，这种反问题范式似乎并不流行.在这篇文章中，我们提供了一个简短的概述，从统计，特别是贝叶斯的角度来看，这样的问题。我们还比较和对比上述类别的问题，也许更熟悉的统计逆回归问题，认为这类问题包含传统的一类逆问题。在我们的审查过程中，我们指出，统计文献是非常稀缺的逆范式，大量的研究工作仍然是必要的发展领域。
2017-07-21 math.ST stat.ME stat.TH
Normalizing Flow Regression for Bayesian Inference with Offline Likelihood Evaluations
University of Helsinki（赫尔辛基大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
针对计算成本高昂的似然评估下的贝叶斯推理挑战，提出归一化流回归（NFR）离线推理方法，通过对数密度评估回归直接生成可处理后验近似，在合成基准和实际应用中表现优异。
2025-04-15 cs.LG stat.ML
Bayesian Mode Regression
与均值、分位数和方差一样，众数也是集中趋势和数据汇总的重要度量。许多实际问题往往集中在“在网络中的所有元素中，哪个元素（基因或文件或信号）出现得最频繁或最典型？".在这种情况下，模式回归提供了回归量如何影响条件模式的方便总结，并且完全不同于基于条件均值或条件分位数或条件方差的其他回归模型。一些推理方法已被用于模式回归，但没有一个是从贝叶斯的角度。本文介绍了贝叶斯模式回归，探索三种不同的方法。我们从一个参数贝叶斯模型，采用一个似然函数，是基于一个模式的均匀分布。结果表明，无论数据的原始分布如何，使用这种特殊的均匀分布是贝叶斯模式回归的一种非常自然和有效的方法。基于此参数似然的后验估计，即使在误设定下，也是一致的且渐近正态的。然后，我们开发了一个非参数贝叶斯模型，使用Dirichlet过程（DP）的混合模式均匀分布，最后，我们探索贝叶斯经验似然模式回归，将经验似然到贝叶斯框架。本文还证明了各种不适当的先验未知模型参数产生一个适当的联合后验。使用模拟数据集和真实数据集说明了所提出的方法。
2012-08-02 stat.AP stat.ME
On posterior concentration rates for Bayesian quantile regression based on the misspecified asymmetric Laplace likelihood
非对称拉普拉斯密度（ALD）被用作贝叶斯分位数回归的工作似然。Sriram等人（2013）基于错误指定的ALD推导出贝叶斯线性分位数回归的后验一致性。虽然他们的论文也主张$\sqrt{n}-$的一致性，但Sriram和Ramamoorthi（2017）强调，该论点仅适用于小于$\sqrt{n}$的比率。因此，$\sqrt{n}-$率的问题仍然没有得到解决，但有必要进行有意义的贝叶斯推断的基础上的ALD。在本文中，我们得出的结果，以获得后验一致率贝叶斯分位数回归的基础上误指定的ALD。我们得出我们的结果在一个稍微一般的设置，分位数函数可能是非线性的。特别地，我们给出了使用ALD的贝叶斯线性分位数回归的$\sqrt{n}-$一致性的充分条件。我们还提供了贝叶斯非线性分位数回归的例子。
2020-08-08 math.ST stat.TH
Tighter Bounds on the Log Marginal Likelihood of Gaussian Process Regression Using Conjugate Gradients
Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）
我们提出了一个下界的高斯过程回归模型的对数边际似然，可以计算没有矩阵分解的完整的内核矩阵。我们表明，近似极大似然学习模型参数最大化我们的下限保留了许多稀疏变分方法的好处，同时减少了偏见引入参数学习。我们的界限的基础是一个更仔细的分析出现在对数边际似然的对数行列式项，以及使用共轭梯度的方法来推导出严格的下界的一项涉及二次型。我们的方法是一个统一的方法依赖于下限最大化（例如变分法）和迭代方法的基础上训练高斯过程的共轭梯度的一步。在实验中，与其他基于共轭梯度的方法相比，我们的模型在相当的训练时间内表现出更好的预测性能。
2021-02-16 cs.LG stat.ML
Robust Gaussian Process Regression with Huber Likelihood
最简化形式的高斯过程回归假设正态同方差噪声，并利用高斯条件下预测后验分布的分析易处理的均值协方差函数。它的超参数是通过最大化证据来估计的，通常称为II型极大似然估计。不幸的是，基于高斯似然的贝叶斯推断对观测训练数据集中经常存在的离群值不鲁棒。为了克服这个问题，我们提出了一个强大的过程模型，在高斯过程框架与观察数据的似然表示为Huber概率分布。该模型采用基于投影统计的权重来缩放残差，并限制垂直离群值和不良杠杆点对潜在函数估计的影响，同时在高斯和厚尾噪声分布下表现出较高的统计效率。所提出的方法证明了两个现实世界的问题和两个数值例子，使用数据集的加性误差厚尾分布，如学生t，拉普拉斯，和柯西分布。
2023-01-19 stat.AP stat.ML
Robust Gaussian Process Regression with a Bias Model
Florida State University（佛罗里达州立大学）；University of Dayton Research Institute（代顿大学研究院）；Air Force Research Laboratory（空军研究实验室）；Luna Innovations Incorporated（露娜创新公司）
本文提出了一种新的稳健高斯过程（GP）回归方法。大多数现有的方法取代离群倾向高斯似然与非高斯似然诱导的重尾分布，如拉普拉斯分布和学生t分布。然而，使用非高斯似然将导致需要在后验推断中进行计算上昂贵的贝叶斯近似计算。所提出的方法将离群值建模为未知回归函数的噪声和有偏观测，因此，可能性包含偏差项以解释与回归函数的偏差程度。我们需要如何准确地估计偏差与其他超参数的正则化最大似然估计。在有偏估计的条件下，稳健GP回归可以简化为具有预测均值和方差估计的分析形式的标准GP回归问题。因此，所提出的方法是简单的，非常有吸引力的计算。它还为许多测试场景提供了非常稳健和准确的GP估计。对于数值评估，我们进行了全面的模拟研究，以评估所提出的方法与现有的强大的GP方法在不同的离群值比例和不同的噪声水平的各种模拟场景下的比较。该方法适用于从两个测量系统，其中的预测是基于强大的环境参数测量和响应变量利用更复杂的化学传感方法，包含一定比例的离群值的数据。通过计算效率高的GP回归和偏差模型，提高了测量系统的实用性和环境数据的价值。
2020-01-14 cs.LG stat.ME stat.ML
A Bayesian Multiple Testing Paradigm for Model Selection in Inverse Regression Problems
在这篇文章中，我们提出了一种新的贝叶斯多重检验公式，用于逆向设置中的模型和变量选择，明智地将Bhattacharya（2013）提出的逆参考分布的思想嵌入到由竞争模型组成的混合框架中。我们开发的理论和方法，在一般情况下，包括参数和非参数竞争模型，相关数据，以及误指定。我们的研究表明，渐近多重检验程序几乎肯定会选择最好的逆模型，最大限度地减少最小的Kullback-Leibler发散从真实的模型。我们还表明，差错率，即版本的错误发现率和错误的非发现率几乎肯定收敛到零的样本量趋于无穷大。本文还研究了错误发现率版本的渐近α-控制及其对错误非发现率版本收敛的影响。我们的模拟实验涉及基于小样本的选择之间的逆泊松对数回归和逆几何logit和probit回归，其中回归是线性的或基于高斯过程。此外，还考虑变量选择。我们的多个测试结果证明是非常令人鼓舞的意义上选择最好的模型在所有的非错误指定和错误指定的情况下。
2020-07-15 math.ST stat.ME stat.TH
A Convex Approximation Framework for Neural Likelihood-Based Bayesian Inverse Problems
TU Wien（维也纳技术大学）；LUT University（卢蒂大学）；Research Council of Finland（芬兰研究理事会）
针对科学工程中建模难题，研究神经似然近似，通过改进方法缓解模型局限，使学习问题严格凸，证明经验最小化器随样本量收敛到真实似然，并对去模糊和成像问题做数值实验。
2026-07-08 cs.LG math.PR stat.ME
Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows
University of Stuttgart（斯图加特大学）
最先进的人工智能的一个主要缺点是缺乏可解释性。解决这个问题的一种方法是考虑因果关系。因果机制可以用结构因果模型来描述。在这项工作中，我们提出了一种方法来估计双变量结构因果模型使用的组合的归一化流应用于密度估计和变分高斯过程回归后非线性模型。它有助于因果关系的发现，即通过原因和残差的独立性或似然比检验来区分因果关系。我们的方法估计后非线性模型可以更好地解释各种现实世界的因果对比一个简单的加性噪声模型。虽然它仍然很难利用这一优势，从蒂宾根基准数据库的所有对，我们证明了加性噪声模型的方法与我们的方法相结合，显着提高因果关系的发现。
2021-09-06 cs.AI cs.LG stat.ML
Flow Annealing Posterior Sampling for Function-Space Regression and Inverse Problems
California Institute of Technology（加州理工学院）
提出流退火后验采样（FAPS），首个统一随机过程回归与PDE逆问题的函数空间后验采样框架，利用预训练函数空间流匹配先验，通过低秩协方差预条件器的朗之万校正实现稀疏噪声观测下的似然引导后验推断。
2026-10-01 cs.AI cs.LG stat.ML
Introduction To Gaussian Process Regression In Bayesian Inverse Problems, With New ResultsOn Experimental Design For Weighted Error Measures
现代应用中出现的贝叶斯后验分布，包括层析成像和地下水流中偏微分方程模型中的逆问题，由于评估数据可能性的计算成本很大，因此在计算上通常是棘手的。为了缓解这个问题，我们考虑使用高斯过程回归来建立一个代理模型的可能性，从而在近似的后验分布，是服从于实际计算。这项工作作为一个介绍高斯过程回归，特别是在建立代理模型的背景下，逆问题，并提出了新的见解到一个合适的选择训练点。我们发现，真实的和近似的后验分布之间的误差可以有界的真实和近似的可能性之间的误差，测量在$L^2$ -范数加权的真实后验，并有效地界定真实和近似的可能性之间的误差，在这个范数建议选择训练点的高斯过程代理模型的基础上的真实后验。
2023-02-09 cs.NA math.NA math.ST
Quasi likelihood analysis of point processes for ultra high frequency data
我们引入了一个点过程回归模型，该模型适用于价格模型和限价订单模型。将强度过程中的Hawkes型自回归推广到协变量过程的随机回归。我们建立了所谓的拟似然分析，它给出了统计随机场的多项式型大偏差估计。当强度过程在有限时间范围内变大时，我们得到了极大似然型估计和贝叶斯型估计的大样本性质。出现非遍历统计。一个经典的方法也提到。
2015-12-05 math.ST stat.TH
Barely Biased Learning for Gaussian Process Regression
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
最近的工作在可扩展的近似高斯过程回归讨论了偏置方差计算权衡时，估计对数边际似然。我们提出了一种方法，自适应地选择计算量估计时使用的对数边际似然，使目标函数的偏差是保证很小。虽然简单的原则上，我们目前的实现方法是没有竞争力的计算与现有的近似。
2021-09-20 cs.LG stat.ML
A comparison of the discrimination performance of lasso and maximum likelihood estimation in logistic regression model
本研究通过模拟和实际应用比较了logistic回归中lasso与极大似然估计的判别性能，发现在协变量数量与样本量之比较高时lasso表现更优。
2024-04-26 stat.CO stat.ME
A semiparametric scale-mixture regression model and predictive recursion maximum likelihood
为了避免在回归模型中对误差分布的指定，我们提出了一个一般的非参数尺度混合模型的误差分布。对于拟合这样的混合物，预测递归方法是现有方法的一种简单且计算效率高的替代方法。我们定义了一个基于预测递归的边缘似然函数，通过最大化这个函数来估计回归参数。为此提出了一种混合预测递归算法--期望最大化算法。在仿真和实际数据分析中，该方法的性能与现有的方法进行了比较。
2015-09-01 stat.CO stat.ME
On expectile-assisted inverse regression estimation for sufficient dimension reduction
基于矩的充分降维方法，如切片逆回归，在异方差的存在下可能不能很好地工作。我们建议首先通过核期望回归估计期望，然后进行降维的基础上回归期望的随机投影。在这个框架下，几个流行的逆回归方法在文献中进行了扩展。所提出的预期辅助方法优于现有的基于矩的降维方法在数值研究和巨无霸数据的分析。
2020-10-05 stat.CO stat.ME
A likelihood-based approach for multivariate categorical response regression in high dimensions
本文提出了一种惩罚似然方法来拟合二元分类反应回归模型。我们的方法允许从业者估计哪些预测因子是不相关的，哪些预测因子只影响双变量响应的边缘分布，哪些预测因子影响边缘分布和对数优势比。为了计算我们的估计量，我们提出了一个有效的一阶算法，我们将其扩展到一些受试者只有一个响应变量测量的设置，即，半监督设置。我们推导出一个渐近误差界，说明了我们的估计在高维设置的性能。推广到多元分类响应回归模型的建议。最后，模拟研究和泛癌症风险预测中的应用表明，我们的方法在可解释性和预测精度方面的有用性。实现所提出的方法的R包可在github.com/ajmolstad/BvCategorical下载。
2022-01-23 stat.CO stat.ME
Flexible Tweedie regression models for continuous data
Tweedie回归模型提供了一个灵活的分布族来处理非负的高度右偏数据以及对称和重尾数据，并且可以处理概率质量为零的连续数据。基于极大似然法的Tweedie回归模型的估计和推断受到概率函数中无穷和的存在以及幂参数空间上的非平凡限制的挑战。在本文中，我们提出了两种方法来拟合Tweedie回归模型，即准和伪似然。我们讨论了这两种方法的渐近性质，并进行模拟研究，比较我们的方法与极大似然方法。特别是，我们表明，拟似然方法提供了渐近有效的估计回归参数。替代方法的计算实现比传统的极大似然更快和更容易，依赖于一个简单的牛顿计分算法。模拟研究表明，准似然法和伪似然法的估计数、标准误和覆盖率与极大似然法相似。此外，所需的准和伪似然方法的二阶矩假设，使我们能够扩展的Tweedie回归模型类的准Tweedie回归模型的Wedderburn的风格。此外，它允许消除对幂参数空间的非平凡限制，从而提供了一个灵活的回归模型来处理连续数据。我们提供了\texttt{R}的实现，并说明了应用程序的Tweedie回归模型使用三个数据集。
2016-09-12 stat.AP stat.CO stat.ME
A path following algorithm for Sparse Pseudo-Likelihood Inverse Covariance Estimation (SPLICE)
给定p维随机向量的n个观测值，在许多应用中需要得到协方差阵及其逆矩阵（精度矩阵）。当p与样本量n相当时，样本协方差（例如，其特征结构）可能会表现不佳。正则化经常被用来缓解这个问题。本文提出了逆协方差阵的l1-模惩罚伪似然估计。由于l1-范数惩罚，这种估计是稀疏的，我们称这种方法为SPLICE。它的正则化路径可以通过基于同伦/LARS-Lasso算法的算法来计算。对p=15和n=20，1000的各种逆协方差结构进行了模拟研究。我们比较SPLICE与l1-范数惩罚似然估计和l1-范数惩罚Cholesky分解为基础的方法。SPLICE在精确度矩阵和ROC曲线的三个指标方面为模型选择提供了最佳的整体性能。此外，我们的模拟结果表明，SPLICE估计是正定的正则化路径的大部分，即使没有强制执行的限制。
2008-07-23 stat.CO stat.ME
Sampled Grid Pairwise Likelihood (SG-PL): An Efficient Approach for Spatial Regression on Large Data
针对大数据空间回归的计算难题，提出SG-PL方法，通过网格采样策略选择观测对，大幅降低计算时间（通常几个数量级），以少量统计效率损失换取高可扩展性，适用于超大数据集。
2025-06-30 stat.CO stat.ME
Maximum Likelihood Estimation of Gaussian Cluster Weighted Models and Relationships with Mixtures of Regression
加权模型（CWM）是一种混合方法，用于对响应变量和一组解释变量的联合概率进行建模。根据极大似然方法，通过期望最大化算法估计参数。在高斯假设下，分析了类加权模型的完全数据似然函数。进一步，在适当的假设下，我们证明了高斯聚类加权模型的似然函数的最大化导致了有限混合回归和有限混合伴随变量回归的相同的参数估计.在这个意义上，后者可以被认为是高斯聚类加权模型的嵌套模型。
2013-08-08 stat.CO
Feasible pairwise pseudo-likelihood inference on spatial regressions in irregular lattice grids: the KD-T PL algorithm
本文针对大型不规则格网空间数据中空间误差模型估计的计算难题，提出基于KD树数据结构的KD-T PL算法，通过高效配对观测点并利用闭式表达式加速成对伪似然参数估计，在保持精度的同时显著降低计算成本。
2024-01-11 stat.CO stat.ME
Constrained maximum likelihood estimation of clusterwise linear regression models with unknown number of components
我们考虑了一种等变的方法施加数据驱动的范围的方差，以避免奇异和虚假的解决方案，在极大似然（ML）估计的集群线性回归模型。我们调查它的使用中的组件的数量的选择，我们提出了一个计算的捷径，这显着减少了调整数据上的界限所需的计算时间。在模拟研究和两个实际数据的应用中，我们表明，所提出的方法保证了可靠的评估相比，标准的无约束方法的组件的数量，以及准确的模型参数估计和集群恢复。
2018-04-14 stat.CO
A working likelihood approach to support vector regression with a data-driven insensitivity parameter
Queensland University of Technology（昆士兰科技大学）
支持向量回归中的不敏感参数决定了对预测影响很大的支持向量集。提出了一种数据驱动的方法来确定这个不敏感的参数的近似值，通过最小化广义损失函数源自似然原理。这种数据驱动的支持向量回归还使用噪声的尺度来统计样本。采用三种噪声（$ε$ -Laplacian分布、正态分布和均匀分布）的非线性和线性数值模拟，以及五个真实基准数据集，对所提方法的性能进行了测试.基于所有的模拟和五个案例研究，提出的支持向量回归机使用工作似然，数据驱动的不敏感参数是优越的，具有较低的计算成本。
2020-03-09 cs.LG stat.CO stat.ML
A Two-step Metropolis Hastings Method for Bayesian Empirical Likelihood Computation with Application to Quantile Regression and Bayesian Model Selection
University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；DFS Group Ltd.（DFS集团有限公司）；Texas A& M University（德克萨斯农工大学）
本文提出一种两步Metropolis-Hastings算法，用于解决贝叶斯经验似然（BayesEL）后验分布采样困难的问题，可应用于分位数回归与贝叶斯模型选择等场景。
2026-08-28 stat.CO stat.ME stat.ML
Conditional Maximum Lq-Likelihood Estimation for Regression Model with Autoregressive Error Terms
本文研究了具有p阶自回归（AR（p））误差项的回归模型的参数估计。我们使用Ferrari和Yang（2010 a）提出的最大Lq-似然（MLq）估计方法作为经典最大似然（ML）估计方法的稳健替代方案来处理数据中的离群值。在探索了感兴趣的参数的MLq估计之后，我们提供了所得到的MLq估计的一些渐近性质。我们给出了一个模拟研究和一个真实数据的例子来说明新的估计ML估计的性能，并观察到MLq估计具有优越性ML估计时，离群值存在于数据中。
2018-04-20 math.ST stat.CO stat.TH
Approximate maximum likelihood estimators for linear regression with design matrix uncertainty
在本文中，我们考虑在运营商或设计矩阵的任意噪声的回归问题。这种表征适当地模拟了许多回归量中具有不确定性的物理现象。虽然这个问题已经被广泛研究了普通/总最小二乘，并通过模型，隐含或明确地假设高斯，较少注意到改善估计的回归问题下的一般不确定性的设计矩阵。为了解决在处理随机变量和的分布时遇到的困难，我们依靠鞍点方法来估计密度，并形成近似的对数似然最大化。我们表明，所提出的方法与其他经典方法相比表现良好。
2021-04-07 cs.NA math.NA math.OC
Linear Regression without computing pseudo-inverse matrix
我们提出了一种基于Gram-Schmidt正交投影的线性回归方法，该方法不计算伪逆矩阵。这在我们为了模拟的目的想要用随机数据向量进行几次回归时很有用。
2013-11-06 math.ST stat.CO stat.TH
Quasi-Likelihood Analysis for Student-Lévy Regression
针对Student-t Lévy过程驱动的线性回归模型，提出两步拟似然分析方法，利用Cauchy拟似然估计回归系数和尺度，通过单位周期累积残差估计自由度，并指出数据稀疏化的必要性。
2024-05-27 math.ST stat.AP stat.CO
A Block Minorization--Maximization Algorithm for Heteroscedastic Regression
研究了异方差回归模型的极大似然估计的计算问题。传统的牛顿算法需要矩阵乘法和求逆，这是现代大数据环境中的瓶颈。一个新的大数据适当的最小化-最大化（MM）算法被认为是ML估计的计算。证明了MM算法能产生单调递增的似然值序列，并收敛于对数似然函数的一个平稳点。一个分布式和并行实现的MM算法，并示出MM算法具有不同的时间复杂度的牛顿算法。仿真研究表明，MM算法的计算时间上的牛顿算法，在一些实际情况下，观察的数量是大的。
2016-05-30 stat.CO
A Picture's Worth a Thousand Words: Visualizing n-dimensional Overlap in Logistic Regression Models with Empirical Likelihood
本文从灵敏度检验的观点出发，给出了多维预测二元反应模型的最大似然估计存在唯一的条件。众所周知的条件Silvapulle被翻译成一个经验似然最大化，与现有的R代码，机械化的过程中，评估重叠状态。该转换将由两个预测器组的几何性质定义的重叠的含义从它们的凸锥的交集非空转移到它们的差异的凸包包含零的更可理解的要求。该代码是用来揭示重叠的特点，通过检查最小的重叠结构，并将它们编目在小于四个维度。提供了用于生成考虑重叠的最小高维结构的规则。补充材料可在网上查阅。
2020-11-15 stat.AP stat.CO stat.ML
Online Kernel Sliced Inverse Regression
在线降维是高维流数据处理的常用方法。在线主成分分析、在线切片逆回归、在线核主成分分析等方法已经得到了深入的研究，但据我们所知，在线监督的非线性降维方法还没有得到充分的研究。本文提出了一种在线核切片逆回归方法。通过引入近似线性相关条件和字典变量集，解决了在线核切片逆回归方法中变量维数随样本量增加而增加的问题，提出了一种在线更新变量的降阶方法.然后，我们将问题转化为一个在线广义特征分解问题，并使用随机最优化方法来更新的中心降维方向。仿真和实际数据分析表明，该方法可以获得接近批处理核切片逆回归的性能。
2023-01-23 math.ST stat.CO stat.ML
