Linear Regression for Power Law Distribution Fitting
本文提出用线性回归拟合幂律分布指数,通过S形函数校正偏差,得到近似无偏且方差与MLE相当的估计量。
2023-12-20 stat.AP
Nonasymptotic control of the MLE for misspecified nonparametric hidden Markov models
有限状态空间隐马尔可夫模型是对具有复杂时间依赖性的现象进行建模的灵活工具:任何过程分布都可以用一个具有足够隐状态的隐马尔可夫模型来近似,我们考虑了在错误设定下用非参数隐马尔可夫模型估计未知过程分布的问题,即当数据生成过程可能不是隐马尔可夫模型时,我们证明了当真实分布是指数混合的并且满足遗忘假设时,最大似然估计器恢复真实分布的最佳逼近。我们证明了一个有限的样本所产生的错误,并表明它是最佳的最小最大意义上的对数因子-当模型是指定的。
2021-02-15 math.ST stat.TH
Continuous Time Markov Chains for Analysis of Non-Alcoholic Fatty liver Disease Evolution
本文用四状态连续时间马尔可夫链(CTMC)模型描述非酒精性脂肪肝(NAFLD)的发展过程,用极大似然估计(MLE)方法估计各状态之间的转移强度。同时计算了转移概率。估计平均逗留时间及其方差以及状态概率分布及其渐进协方差阵。同时还得到了重要的统计指标之一的患者预期寿命。本文阐述了在纵向研究中使用最大似然估计来补偿患者随访期间缺失值的新方法。这种新的方法也产生的估计率之间的状态近似等于观察到的速率。
2021-11-12 stat.AP
Learning to Draw Samples: With Application to Amortized MLE for Generative Adversarial Learning
Dartmouth College(达特茅斯学院)
我们提出了一个简单的算法来训练随机神经网络从给定的目标分布中抽取样本进行概率推理。我们的方法是基于迭代调整的神经网络参数,使输出变化沿Stein变分梯度,最大限度地减少库尔贝克-莱布勒散度与目标分布。我们的方法适用于任何由其非归一化密度函数指定的目标分布,并且可以训练任何黑盒架构,这些架构在我们想要适应的参数方面是可微的。作为该方法的应用,我们提出了一种用于训练深度能量模型的摊销MLE算法,其中神经采样器被自适应地训练以近似似然函数。我们的方法模拟了深度能量模型和神经采样器之间的对抗游戏,并获得了与最先进的结果相竞争的逼真图像。
2016-11-26 cs.LG stat.ML
Uncertainty Quantification of Spectral Estimator and MLE for Orthogonal Group Synchronization
针对正交群同步中MLE和谱估计器的不确定性量化问题,本文利用似然函数正交约束推导其二阶展开式,得到主导项为反对称高斯随机矩阵,还附带极小极大风险界和置信区域,提供通用理论框架并经数值实验验证。
2025-02-20 cs.IT math.IT math.OC
A revisit to maximum likelihood estimation of Weibull model parameters
Ton Duc Thang University(胡志明市通德大学);University of Limpopo(林波波大学);University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
本研究重新探讨威布尔分布参数的最大似然估计,解析证明其存在性与唯一性,结合理论与计算研究抽样分布,发现其可被威布尔分布近似,模拟结果验证了一阶偏差与均方误差的相关结论。
2025-01-20 stat.CO
Robust Hypergraph Clustering via Convex Relaxation of Truncated MLE
KAIST(韩国科学技术院)
研究了加权$d$ -均匀超图随机块模型($d$ \textsf{-WHSBM})中的超图聚类问题,其中由来自同一社区的$d$节点组成的每条边比由来自不同社区的节点组成的每条边具有更高的期望权值.我们提出了一个新的超图聚类算法,称为\textsf{CRTMLE},并提供其性能保证下的$d$ \textsf{-WHSBM}一般参数制度。我们表明,该方法实现了顺序明智的最佳或现有的最佳结果近似平衡的社区规模。此外,我们的研究结果解决了第一个恢复保证越来越多的集群的不平衡的大小。通过理论分析和实验结果,我们证明了我们的算法对社区规模的不平衡性或离群节点的存在的鲁棒性。
2020-11-16 cs.IT cs.LG math.IT
Relative Performance of Fisher Information in Interval Estimation
最大似然估计及其相应的置信区域常用于统计推断。在实际应用中,人们通常根据最大似然估计(最大似然估计)的渐近正态分布,在给定的样本数据下,利用Fisher信息构造近似置信区域。两种常见的Fisher信息矩阵(FIM,用于多变量参数)是观测的对数似然函数(负对数似然函数的黑塞矩阵)和期望的对数似然函数(观测对数似然函数的期望)。本文证明了在一定条件下,在均方误差(MSE)准则下,极大似然估计中各元素对期望误差的近似置信区间至少与对观测误差的近似一样精确。
2021-07-09 math.ST stat.TH
MLE-induced Likelihood for Markov Random Fields
University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
Due to the intractable partition function, the exact likelihood function for a Markov random field (MRF), in many situations, can only be approximated. Major approximation approaches include pseudolikelihood and Laplace approximation. In this paper, we propose a novel way of approximating the likelihood function through first approximating the marginal likelihood functions of individual parameters and then reconstructing the joint likelihood function from these marginal likelihood functions. For approximating the marginal likelihood functions, we derive a particular likelihood function from a …
2018-03-27 cs.AI cs.LG stat.ML
Approximate Risk Minimization Over Shrinking-Thresholding Rules in Normal Mean Estimation
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
该研究为正态均值估计中的收缩阈值规则构建近似风险最小化框架,推导最优条件,得到估计器NOMAD,发展相关理论并扩展框架到相关观测及线性回归,提供了统一的基于风险的框架。
2026-07-08 math.ST stat.AP stat.ME
Multireference Alignment using Semidefinite Programming
多参考对准问题包括从多个噪声移位观测中估计信号。受现有的独特游戏近似算法的启发,我们提供了一个半定规划(SDP)为基础的松弛近似的最大似然估计(MLE)的多参考对齐问题。虽然我们表明,MLE问题是独特的游戏很难近似在任何常数,我们观察到,我们的多时间近似算法的MLE似乎表现得很好,在典型的情况下,优于现有的方法。为了解释这种行为,我们在随机噪声模型下为我们的SDP提供了稳定性保证。这种情况比传统的半随机唯一游戏实例更难分析:噪声模型位于图的顶点上,并转化为边缘上的相关噪声。有趣的是,我们表明,如果在SDP中的某些正性约束下降,其解决方案变得相当于执行相位相关,一种流行的方法用于成像应用中的成对对齐。最后,我们展示了如何从矩阵表示理论的对称性约简技术可以简化SDP的分析和计算,大大降低其计算成本。
2013-08-23 cs.DS math.ST stat.TH
What is the price of approximation? The saddlepoint approximation to a likelihood function
School of Public Health, University of California, Berkeley(加州大学伯克利分校公共卫生学院);Department of Statistics, University of Auckland(奥克兰大学统计系)
本文针对鞍点近似似然所得MLE与真实MLE之间的偏差,提出显式可计算的近似公式,并通过示例与渐近分析验证其准确性和极限行为。
2026-10-16 stat.ME
Higher-order approximate confidence intervals
应用统计分析中使用的标准置信区间通常基于渐近近似。这种近似在小样本和中等样本中可能相当不准确。我们推导出准确的置信区间的分数函数的高阶近似分位数的基础上。覆盖近似误差为$O(n^{-3/2})$,而基于MLE渐近正态性的置信区间的近似误差为$O(n^{-1/2})$。蒙特卡罗模拟证实了理论研究结果。提供了回归模型和实际数据应用的实现。
2020-12-10 math.ST stat.AP stat.CO
On the approximate maximum likelihood estimation for diffusion processes
扩散过程的转移密度一般不具有显式表达式,这就妨碍了基于离散观测样本路径的完全极大似然估计(MLE)。Ait-Sahalia [J. Finance 54(1999)1361- 1395; Econometrica 70(2002)223- 262]提出了扩散过程转移密度的渐近展开式,这导致参数的近似极大似然估计(AMLE)。建立在Ait-Sahalia的[Econometrica 70(2002)223- 262; Ann. Statistist. 36(2008)906--937]提出并分析了AMLE,建立了AMLE的相合性和收敛速度,揭示了渐近密度展开中所用的项数和连续观测值之间的采样间隔所起的作用。我们发现的条件下,AMLE具有相同的渐近分布的充分极大似然估计。提出了Fisher信息矩阵的一阶近似。
2012-03-09 math.ST stat.TH
On the incidence-prevalence relation and length-biased sampling
对于许多疾病,后勤和其他限制往往使大发病率研究难以进行,如果不是不可能的话。这成为一个缺点,特别是当每次在不同人群中调查疾病发病率时都需要进行新的发病率研究时。然而,如果发病率是恒定的,通过进行随访的流行队列研究,可以估计发病率。在本文中,我们推导出极大似然估计(MLE)的总体发病率,$λ$,以及年龄特异性发病率,利用众所周知的流行病学关系,患病率=发病率$\times$平均持续时间($P = λ\times μ$)。我们建立了极大似然估计的渐近分布,给出了参数的近似置信区间,并指出$λ$的极大似然估计是渐近最有效的。此外,$λ$的极大似然估计是通过在表达式$P = λ\times μ$中分别替换P和$μ$的边际极大似然估计而获得的自然估计。我们的工作与Keiding(1991,2006)的工作相关,Keiding使用马尔可夫过程模型,提出了三种不同情景下流行队列研究\emph{without}随访的发病率估计值。然而,每一种情景都需要特定疾病的假设,并取决于人口水平流行病学数据的可用性。通过后续行动,我们能够消除这些限制,我们的结果适用于各种情况。我们应用我们的方法收集的数据作为加拿大健康与老龄化研究的一部分,以估计老年加拿大人痴呆症的发病率。
2008-08-08 stat.AP stat.ME
Asymptotic accuracy of the saddlepoint approximation for maximum likelihood estimation
鞍点近似给出了一个近似的随机变量的密度在其矩母函数。当基础随机变量本身是未观察到的i.i.d.的$n$和时。项,基本的经典结果是密度的相对误差是$1/n$阶。相反,如果近似值被解释为似然并作为模型参数的函数被最大化,则结果是对最大似然估计(MLE)的近似值,其计算速度可能比真正的MLE快得多。本文证明了鞍点极大似然估计与真实极大似然估计之间的近似误差的类似基本结果:在一定的显式可辨识性条件下,误差对某些参数具有渐近大小$O(1/n^2)$,对另一些参数具有渐近大小$O(1/n^{3/2})$或$O(1/n)$.在这三种情况下,近似误差与推论的不确定性相比是渐近可忽略的。证明是基于一个因子分解的鞍点可能性到一个确切的和近似的术语,以及分析的近似误差的梯度的对数似然。这种因式分解也提供了洞察替代鞍点近似,包括一个新的和更简单的鞍点近似,我们推导出类似的误差界。作为我们结果的推论,我们还得到了当鞍点近似被正规近似代替时极大似然估计误差近似的渐近大小。
2022-01-24 math.ST stat.TH
Approximation of BSDE with Hidden Forward Equation and Unknown Volatility
本文考虑了在小高斯噪声存在下观测到向前方程解的情形下,Bundle解的逼近问题。我们假设向前方程的波动率依赖于一个未知参数。这种近似分几步进行。首先得到了未知参数的一个初步估计,然后利用卡尔曼-布西过滤方程和Fisher评分装置构造了该参数的一步MLE过程。用偏微分方程的解和一步极大似然估计过程来逼近Besides问题的解。近似误差用不同的度量来描述。
2020-10-15 math.ST stat.TH
Bethe Learning of Conditional Random Fields via MAP Decoding
Columbia University(哥伦比亚大学);UT Dallas(德克萨斯大学达拉斯分校);UMass Amherst(马萨诸塞大学阿默斯特分校)
许多机器学习任务都可以用预测结构化输出的方式来表达。在诸如结构化支持向量机(SVM-Struct)和结构化感知器的框架中,通过迭代地应用有效的最大后验(MAP)解码来学习判别函数。然而,最大似然估计(MLE)的概率模型在这些相同的结构化空间需要计算分区函数,这通常是棘手的。本文提出了一种利用Bethe逼近极大似然估计学习离散指数族模型的方法。值得注意的是,这个问题也减少到迭代(MAP)解码。这种连接出现相结合的贝特近似与弗兰克-沃尔夫(FW)算法的凸对偶目标,它绕过了棘手的分区函数。其结果是一个新的单循环算法MLE-Struct,这是更有效的比以前的双循环近似最大似然估计方法。我们的算法优于现有的方法,在实验中涉及图像分割,匹配问题的视觉,和一个新的数据集的大学室友分配。
2015-03-04 cs.CV cs.LG stat.ML
Stochastic highway capacity: Unsuitable Kaplan-Meier estimator, revised maximum likelihood estimator, and impact of speed harmonisation
Transport Research Centre CDV(CDV交通研究中心)
本文提出修正最大似然估计器用于随机交通流容量估计,验证其有效性并展示可变速度限制系统对交通容量的提升效果。
2026-02-27 stat.AP stat.ME
A modern maximum-likelihood theory for high-dimensional logistic regression
每个统计学或数据科学的学生都很早就知道,当样本量大大超过变量数量时,拟合逻辑模型会产生近似无偏的估计。每个学生还学习到,有一些公式可以预测这些估计值的变异性,这些估计值用于统计推断的目的;例如,产生p值来检验回归系数的显著性。虽然这些公式来自大样本渐近,我们经常被告知,我们是在合理的安全理由时,$n$是大的,以这种方式,$n \ge 5p$或$n \ge 10p$。本文表明,这是远离的情况下,因此,推理通常产生的常见软件包往往是不可靠的。考虑一个具有独立特征的Logistic模型,其中$n$和$p$以固定比例逐渐增大。然后,我们表明(1)MLE是有偏的,(2)MLE的变异性远远大于经典预测,(3)常用的似然比检验(LRT)不是卡方分布。MLE的偏倚是非常有问题的,因为它基于协变量的观测值对病例概率产生了完全错误的预测。我们发展了一个新的理论,它渐近地预测(1)最大似然估计的偏差,(2)最大似然估计的变异性,和(3)LRT的分布。我们的经验也表明,这些预测是非常准确的有限样本。此外,一个吸引人的特点是,这些新的预测取决于未知序列的回归系数,只有通过一个单一的标量,信号的整体强度。这表明非常具体的程序来调整推理;我们描述了一个这样的程序,从数据中学习单个参数并产生准确的推理
2018-06-16 math.ST stat.ME stat.TH
Better Approximate Inference for Partial Likelihood Models with a Latent Structure
Carnegie Mellon University(卡内基梅隆大学)
时间点过程(TPP)的部分可能性涉及一个潜在的结构往往会带来一个棘手的边缘化,从而使推理困难。我们提出了一种新的方法,最大似然估计(MLE)涉及近似推理的潜在变量,通过最小化一个紧密的上限上的近似差距。给定一个离散的潜在变量$Z$,所提出的近似减少推理复杂度从$O(|Z|^c)$到$O(|Z|)$。我们使用凸共轭,以确定这个上限在一个封闭的形式,并表明,它除了优化目标的结果在改进的结果模型假设比例风险在生存分析。
2019-12-19 cs.LG stat.ML
Estimation of P(X > Y ) for Weibull distribution based on hybrid censored samples
混合截尾方案是I型和II型截尾方案的混合。本文在混合截尾样本下,讨论了当X和Y是两个独立的韦布尔分布,具有不同的尺度参数,但具有相同的形状参数时,R = P(X > Y)的影响。得到了R的极大似然估计和近似极大似然估计。得到了R的极大似然估计的渐近分布.基于渐近分布,可以导出R的置信区间。还提出了两个bootstrap置信区间。考虑了R的贝叶斯估计,并给出了R的相应的可信区间.蒙特卡罗模拟进行比较不同的方法。为了说明的目的,还介绍了对一组真实数据的分析。
2017-07-18 stat.OT
Optimistic MLE -- A Generic Model-based Algorithm for Partially Observable Sequential Decision Making
DeepMind(深度思维);Princeton University(普林斯顿大学);Google Research India(谷歌印度研究院);University of Alberta(阿尔伯塔大学)
本文介绍一种简单有效的一般序贯决策学习算法。该算法结合了最大似然估计和最乐观的探索模型估计,这因此被称为OMLE。我们证明了OMLE学习的一个非常丰富的类序列决策问题的多项式样本数的近优政策。这个丰富的类不仅包括大多数已知的易处理的基于基于模型的强化学习(RL)问题(如表MDP,因子MDP,低见证秩问题,表弱揭示/可观察POMDP和多步可解码POMDP),而且还包括许多新的具有挑战性的RL问题,特别是在部分可观察的设置中,以前不知道是易处理的。值得注意的是,本文所解决的新问题包括:(1)具有连续观测和函数逼近的可观测POMDPs,其中我们获得了与观测空间大小完全无关的第一样本复杂度;(2)良态低秩序贯决策问题(也称为预测状态表示(PSR)),其包括并概括在更内在的表示下的所有已知易处理的POMDP示例;(3)SAIL条件下的一般序贯决策问题,统一了我们对完全可观察和部分可观察两种情况下基于模型强化学习的理解。本文证明了SAIL条件,它可以看作是Bellman/witness秩的自然推广,以解决部分能观性问题。本文还提出了一种无奖励的OMLE算法,它学习近似的动态模型,使计算接近最优的政策,同时为所有的奖励功能。
2022-11-23 cs.AI cs.LG stat.ML
Variational Approximated Restricted Maximum Likelihood Estimation for Spatial Data
Washington University in St. Louis(圣路易斯华盛顿大学)
本文提出变分受限最大似然估计方法,用于高效估计空间数据中的随机效应和方差成分,理论证明了ELBO的单调收敛性,并通过实验证明其优于MLE和INLA。
2026-08-05 cs.LG stat.AP stat.ML
Maximum Likelihood Estimation of Diffusions by Continuous Time Markov Chain
本文提出了一种估计参数扩散过程参数的新方法。我们的方法是基于一个封闭形式的极大似然估计的近似连续时间马尔可夫链(CTMC)的扩散过程。与典型的时间离散化方法不同,例如Shoji-Ozaki或Kessler方法的伪似然近似,CTMC近似在参数估计期间不引入时间离散化误差,因此非常适合于具有不频繁采样数据的典型计量经济学情况。由于CTMC的结构,我们能够获得封闭形式的近似样本的可能性,一般单变量扩散。状态离散化方法与近似MLE(时间离散化)和精确MLE(适用时)的比较表明CMTC估计器具有良好的性能。除了真实数据实验与外汇利率和固定到期利率的模拟例子。
2021-08-28 math.PR math.ST stat.ME
A Unified Framework for Density Estimation under Right-Censored Point-Centred Quarter Sampling
East China Normal University(华东师范大学);Zhejiang Tiantong Forest Ecosystem National Observation and Research Station, School of Ecological and Environmental Sciences, East China Normal University(浙江天目山森林生态系统国家野外科学观测研究站,华东大学生态与环境科学学院);Zhejiang Zhoushan Island Ecosystem Observation and Research Station, School of Ecological and Environmental Sciences, East China Normal University(浙江舟山岛生态系统观测研究站,华东大学生态与环境科学学院);KLATASDS-MOE, School of Statistics, East China Normal University(华东师范大学统计学院)
针对右删失点四分位抽样数据,提出基于泊松和负二项分布模型的统一似然与矩估计框架,解决空间聚集种群密度估计问题,其中负二项模型MLE在多种生态场景下表现最优。
2026-05-27 stat.AP stat.ME
Exponential Random Graph models for Little Networks
本文重新审视小网络指数随机图模型(ERGM)的估计问题,提出在可能时采用穷举枚举法,并开发R包ergmito,通过最大似然估计实现小网络合并ERGMs的估计。模拟研究表明,直接MLE估计相比近似方法具有若干优势,为ERGMs在社会网络建模中的应用创造了方法论创新机会。
2020-06-03 stat.ME stat.OT
Spatial forecast postprocessing: The Max-and-Smooth approach
数值天气预报可能会出现系统误差,这是由于简化了模式假设和计算近似。统计后处理是一种纠正这种偏差的统计方法。统计后处理模型从数值预报模型中获取输入数据,并输出真实世界观测的参数预测分布,其中模型参数是从过去的预报-观测对中学习的。在本文中,我们开发和讨论网格化数据的后处理方法。我们发现,空间网格上的后处理参数的估计可以通过空间先验的贝叶斯层次模型来改进。我们使用“最大和平滑”方法[Hrafnkelsson等人,2021]以在两个步骤中近似完全的贝叶斯推断。首先,我们计算最大似然估计(MLE)的后处理参数在个别网格点。其次,我们使用空间先验的测量误差模型平滑MLE。我们的方法为Kharin等人[2017]的参数平滑方法提供了理论基础,并简化和推广了Moeller等人[2015]的贝叶斯分层建模方法。给出了极大光滑的一种新的推导方法。该方法适用于任意后处理模型,如模型输出统计、逻辑斯谛回归和非齐次高斯回归所示。我们报告了在温度和降水预报的后处理中,预报精度、校准和概率技巧的持续改进。
2022-09-01 stat.AP stat.ME
On the penalized maximum likelihood estimation of high-dimensional approximate factor model
本文主要研究高维近似因子模型的惩罚极大似然估计。针对目前估计方法不能保证误差协方差阵的正定性的问题,通过对误差协方差阵的估计进行重新表述,并基于拉格朗日对偶性,提出了一种加速邻近梯度(APG)算法,给出了误差协方差阵的正定性估计.将APG算法与EM方法相结合,提出了一种新的估计方法来估计高维近似因子模型。新方法不仅给出了误差协方差阵的正定估计,而且提高了高维近似因子模型的估计效率。虽然该算法不能保证全局唯一解,但它具有理想的非增性。通过仿真和实际数据分析,研究了新算法的估计和预测效率。
2019-01-17 stat.CO stat.ME
Efficient likelihood estimation in state space models
基于研究随机波动率模型中极大似然估计的渐近性质,本文研究了状态空间模型中的似然估计。我们首先证明,在一定的正则性条件下,有一个一致的序列的根的似然方程是渐近正常的逆的Fisher信息作为其方差。如果额外假设似然方程对于每个$n$都有唯一的根,则存在未知参数的估计量的一致序列。此外,如果对数似然函数的上确界是可积的,则极大似然估计存在且强相合。建立了似然方程的近似解的Edgeworth展开式。文中给出了马尔可夫转换模型、ARMA模型、(G)Markov模型和随机波动率(SV)模型的实例。
2010-11-12 math.ST stat.TH
Asymptotics of Maximum Likelihood without the LLN or CLT or Sample Size Going to Infinity
如果对数似然近似为二次型,且Hessian常数不变,则极大似然估计量(MLE)近似为正态分布。不需要其他假设。我们不需要独立和同分布的数据。我们不需要大数定律(LLN)或中心极限定理(CLT)。我们不需要样本量达到无穷大或任何东西达到无穷大。本文提出了一个包含局部渐近正态性(LAN)和局部渐近混合正态性(LAMN)的Le Cam型理论与包含导数和Fisher信息的Cramér型理论的组合。主要的工具是收敛律的对数似然函数及其衍生物被认为是波兰空间的随机元的连续函数与度量的一致收敛性紧集。我们得到的结果,一步牛顿估计和牛顿迭代收敛估计。
2012-07-04 math.ST stat.TH
Maximum Likelihood Estimation for Single Linkage Hierarchical Clustering
我们推导出一个统计模型,估计的树状图从单连锁层次聚类(SLHC),考虑到通过噪声或腐败的测量分离的数据的不确定性。我们的重点是只估计层次的分区提供的树状图,而不是在后者的高度。介绍了估计这种“树状图结构”的概念,并描述了树状图结构的近似极大似然估计(MLE)。这些想法说明了一个简单的蒙特卡罗模拟,至少对于小的数据集,表明该方法优于SLHC在噪声的存在下。
2015-11-25 stat.ML
Two convergence results for an alternation maximization procedure
Andresen和Spokoiny(2013)的“半参数估计中的临界维数”提供了一种用于剖面M估计量的有限样本分析的技术。本文使用非常相似的思想,得到两个收敛结果的交替过程,以近似随机泛函的最大化,如实现对数似然极大似然估计。我们设法表明,该序列获得了与Andresen和Spokoiny(2013)中的剖面M估计量相同的偏差性质,即有限样本Wilks和Fisher定理。在随机泛函的光滑性约束稍强的情况下,如果初始点选择得好,我们可以证明算法几乎线性收敛到全局最大值。
2015-01-07 math.ST stat.TH
Contrastive Learning for Debiased Candidate Generation in Large-Scale Recommender Systems
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
通过表示学习将相关项目的集合从数十亿缩小到数百个的深度候选生成(DCG)在工业推荐系统中已经变得普遍。标准方法通过采样近似最大似然估计(MLE)以获得更好的可扩展性,并以类似于语言建模的方式解决DCG问题。然而,实时推荐系统面临严重的曝光偏差,并且具有比自然语言大几个数量级的词汇,这意味着MLE将在长期内保持甚至加剧曝光偏差,以便忠实地拟合观察到的样本。在本文中,我们从理论上证明了一个流行的选择对比损失是等效的,通过反向倾向加权减少暴露偏差,这为理解对比学习的有效性提供了一个新的视角。基于理论发现,我们设计了CLRec,一个对比学习方法,以改善DCG在公平性,有效性和效率方面的推荐系统,具有极大的候选大小。我们进一步改进CLRec,并提出多CLRec,准确的多意图感知偏见减少。我们的方法已经在淘宝上成功部署,至少四个月的在线A/B测试和离线分析证明了它的实质性改进,包括马太效应的显着减少。
2021-06-04 cs.IR cs.LG cs.SI
WENDy for Nonlinear-in-Parameters ODEs
Department of Applied Mathematics, University of Colorado(应用数学系,科罗拉多大学);Theoretical Division, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室理论部)
本文提出WENDy-MLE算法,扩展WENDy框架以处理参数非线性的常微分方程,通过局部非凸优化近似最大似然估计,具有更高精度、更大收敛域和更快速度,并支持乘性对数正态噪声。
2025-10-23 cs.LG stat.ME stat.ML
Direct sampling from conditional distributions by sequential maximum likelihood estimations
The Institute of Statistical Mathematics, Japan(日本统计数学研究所)
本文提出了一种基于顺序最大似然估计的近似算法,用于直接从对数仿射模型的条件分布中采样,无需前期研究。
2025-11-19 math.ST stat.TH
Asymptotic mixed normality of maximum likelihood estimator for Ewens--Pitman partition
本文研究了 Ewens--Pitman 划分的参数估计渐近性质,证明参数 $α$ 的极大似然估计收敛于方差混合正态分布,并通过随机统计量归一化消除方差随机性以构建近似置信区间。
2025-05-02 math.PR math.ST stat.TH
Efficiency Assessment of Approximated Spatial Predictions for Large Datasets
由于精确极大似然估计(MLE)在大空间观测值中的计算困难,文献中提出了各种近似方法,这些方法通常需要调整某些输入。例如,最近开发的瓦片低秩近似(TLR)方法涉及许多调谐参数,包括数值精度。为了合理地选择调整参数,采用一个有意义的标准来评估不同输入下的预测效率是至关重要的,这是最常用的均方预测误差(MSPE)标准和库尔贝克-莱布勒散度标准不能完全描述的。在本文中,我们提出了另外三个准则,平均效率损失(MLOE),均方误差的平均误定(MSPE)和均方根误差(RSPE),并通过数值计算表明,与常用的MSPE准则和库尔贝克-莱布勒散度准则相比,我们的准则具有更好的信息量,因此更适合于通过使用近似的或错误指定的协方差模型来评估预测效率的损失。因此,我们建议的标准是更有用的空间模型拟合的复杂的近似方法的调整参数的确定。为了说明这一点,我们调查的执行时间,估计精度和预测效率之间的权衡TLR方法与广泛的模拟研究,并建议适当的设置TLR的调整参数。然后将TLR方法应用于密西西比河流域土壤水分的大型空间数据集,并将TLR与高斯预测过程和复合似然方法进行比较,表明我们提出的标准可以成功地用于选择调整参数,以保持估计或预测精度。
2021-06-09 stat.CO stat.ME
Density Estimation in Infinite Dimensional Exponential Families
在本文中,我们考虑了一个无限维指数族,$\mathcal{P}$的概率密度,这是参数化的再生核希尔伯特空间,$H$中的功能,并显示它是相当丰富的意义上,广泛的一类密度$\mathbb{R}^d$可以近似任意以及在Kullback-Leibler(KL)分歧的$\mathcal{P}$中的元素。本文的主要目标是通过$\mathcal{P}$中的一个元素来估计未知密度$p_0$。标准技术如最大似然估计(MLE)或伪MLE(基于筛的方法)(其基于最小化$p_0$与$\mathcal{P}$之间的KL发散)不产生实际有用的估计器,因为它们不能有效地处理对数分区函数。相反,我们提出了一个估计,$\hat{p}_n$的基础上最小化的\emph{Fisher divergence},$J(p_0\Vert p)$之间的$p_0$和$p\in \mathcal{P}$,这涉及到解决一个简单的有限维线性系统。当$p_0\in\mathcal{P}$时,我们证明了所提出的估计是相容的,并在光滑假设下给出了$n^{-\min\left\{\frac{2}{3},\frac{2β+1}{2β+2}\right\}}$在Fisher发散下的收敛速度,其中$\log p_0\in\mathcal{R}(C^β)$是$H$上的某个Hilbert-Schmidt算子,$\mathcal{R}(C^β)$表示$C^…
2017-05-26 math.ST stat.ME stat.ML
Regularized Maximum Likelihood Estimation and Feature Selection in Mixtures-of-Experts Models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);UMR CNRS LMNO(法国国家科学研究中心LMNO联合研究单位)
混合专家模型(Mixture of Experts,MoE)是在回归、聚类和分类等统计学习问题中为异构数据建模的成功模型。通常通过期望最大化算法用极大似然估计拟合,因此它们在高维问题中的应用仍然具有挑战性。我们考虑在MoE模型的拟合和特征选择的问题,并提出了一个正则化的极大似然估计的方法,鼓励稀疏解决方案的异质回归数据模型与潜在的高维预测。与最先进的正则化MLE MoE,所提出的建模不需要近似的惩罚函数。本文提出了两种混合期望最大化算法:期望-优化-最大化(EM/MM)算法和带有坐标上升算法的期望最大化算法。所提出的算法允许自动获得稀疏的解决方案,而无需阈值,并避免矩阵求逆,允许单变量参数更新。实验研究表明,该算法在恢复实际稀疏解、参数估计和异质回归数据聚类等方面具有良好的性能。
2018-10-29 cs.LG stat.CO stat.ME
Maximum likelihood, neural networks and posterior mean for inferring fractional Brownian motion parameters
School of Mathematics and Statistics, University of New South Wales(新南威尔士大学数学与统计学院);School of Mathematical Sciences, Queensland University of Technology (QUT)(昆士兰科技大学数理科学学院);ARC Centre of Excellence for the Mathematical Analysis of Cellular Systems, QUT(昆士兰科技大学ARC细胞系统数学分析卓越中心)
该研究针对分数布朗运动参数推断,结合极大似然估计、神经网络后验均值方法,分析了细胞内囊泡扩散的动态切换特性。
2026-10-15 cond-mat.stat-mech physics.bio-ph q-bio.QM
Multi-task Learning of Order-Consistent Causal Graphs
Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);BioMap(百图生科)
我们考虑的问题,发现$K$相关的高斯有向无环图(DAG),其中所涉及的图形结构共享一致的因果顺序和稀疏工会的支持。在多任务学习环境下,我们提出了一个$l_1/l_2$ -正则化极大似然估计(MLE)学习$K$线性结构方程模型。我们从理论上表明,联合估计,通过利用相关任务的数据,可以实现更好的样本复杂性恢复因果顺序(或拓扑顺序)比单独的估计。此外,联合估计器能够恢复不可识别的DAG,通过估计它们与一些可识别的DAG。最后,我们的分析还显示了工会支持恢复的结构的一致性。为了允许实际实施,我们设计了一个连续优化问题,其优化器与联合估计器相同,并且可以通过迭代算法有效地近似。通过实验验证了理论分析和联合估计的有效性。
2021-11-03 cs.LG stat.ML
Noise-Calibrated Inference from Differentially Private Sufficient Statistics in Exponential Families
Department of Biostatistics, Vanderbilt University Medical Center(生物统计学系,范德比尔特大学医学中心)
本文提出通过发布差分隐私充分统计量并进行噪声校准推断,解决DP数据发布中的校准问题,提供理论支持和实际应用验证。
2026-03-02 cs.LG stat.ML
BlinkML: Efficient Maximum Likelihood Estimation with Probabilistic Guarantees
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Institute for Clarity in Documentation(文档清晰化研究所);Brookhaven Laboratories(布鲁克海文实验室);NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心);Palmer Research Laboratories(帕尔默研究实验室);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗克库尔中心);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学)
数据集数量的不断增加使得训练机器学习(ML)模型成为企业的主要计算成本。考虑到模型和参数调整的迭代性质,许多分析师在其分析的初始阶段使用其整个数据的小样本来做出快速决策(例如,使用什么特征或超参数)并且仅在稍后阶段使用整个数据集(即,当它们收敛到特定模型时)。然而,这种采样是以特别的方式执行的。大多数从业者不能精确地捕捉采样对其模型质量的影响,并最终在调优阶段对其决策过程的影响。此外,如果没有对采样操作符的系统支持,许多优化和重用机会就会丢失。在本文中,我们介绍了BlinkML,一个快速,质量保证的ML训练系统。BlinkML允许用户进行错误计算权衡:而不是在他们的完整数据上训练模型(即,完整模型),BlinkML可以使用样本快速训练具有质量保证的近似模型。质量保证确保近似模型以高概率做出与完整模型相同的预测。BlinkML目前支持依赖于最大似然估计(MLE)的任何ML模型,包括广义线性模型(例如,线性回归、逻辑回归、最大熵分类器、泊松回归)以及PPCA(概率主成分分析)。我们的实验表明,BlinkML可以将大规模ML任务的训练速度提高6.26 - 629倍,同时保证与完整模型相同的预测,概率为95%。
2018-12-26 cs.DB cs.LG stat.ML
High-Dimensional Bernoulli Autoregressive Process with Long-Range Dependence
UCLA(加州大学洛杉矶分校);NYU(纽约大学)
本文研究了高维情形下具有自回归反馈的多元Bernoulli过程的参数估计问题,其中样本个数样本个数远小于参数个数小于.这个问题出现在学习网络的动力系统与尖峰或二进制值数据的互连。我们允许该过程依赖于其过去的滞后$p$,对于一般的$p \ge 1$,允许在许多应用中更真实的建模。在参数张量近似稀疏的假设下,提出并分析了一种$\ell_1$正则化的极大似然估计。这种估计的严格分析是具有挑战性的依赖性和非高斯性质的过程,以及存在的非线性和多级反馈。我们得到精确的上界的均方估计误差的样本个数,尺寸的过程中,滞后$p$和其他关键的统计特性的模型。所提出的思想可用于其他稀疏非线性和非高斯过程的正则化$M$ -估计的高维分析。
2019-03-19 cs.LG eess.SP math.ST
Maximum likelihood estimation in the sparse Rasch model
针对大规模项目反应场景下全应答不现实的问题,本文提出基于Erdős–Rényi随机抽样的稀疏Rasch模型,用留一法证明了极大似然估计的一致一致性与渐近正态性,且抽样概率下界匹配图连通性要求,结果经模拟和真实数据验证。
2025-01-14 math.ST stat.TH
Empirical Bayes estimation: When does $g$-modeling beat $f$-modeling in theory (and in practice)?
本文从理论上证明,对于具有有界p>1阶矩的重尾先验,g-建模(如NPMLE)能实现最优经验贝叶斯遗憾,而f-建模(如Robbins估计量)即使密度估计最优,其EB遗憾仍可能次优,从而揭示了贝叶斯形式在最优EB估计中的关键作用。
2024-11-19 math.ST stat.ME stat.TH