Random forward models and log-likelihoods in Bayesian inverse problems
我们考虑使用随机正向模型和对数似然内的贝叶斯方法来反问题。当使用更便宜的随机替代来近似计算上昂贵的模型时,如在高斯过程仿真(克里金法)中或在概率数值方法领域中,自然会出现对精确正演模型或对数似然的这种随机近似。我们证明了精确和近似贝叶斯后验之间的Hellinger距离是由真实和近似对数似然之间的差异的矩所限定的。这些稳定性结果的应用实例给出随机失配模型在大数据应用和概率解的常微分方程。
2018-09-28 cs.NA math.NA math.PR
Least informative distributions in Maximum q-log-likelihood estimation
为了在数据中含有异常值的情况下有效地估计密度函数中的参数,我们采用了最小信息分布(LID)的最大$q$ -对数似然估计。通过使用两个PDF的凸组合$f_ε=(1-ε)f_0+εf_1$来导出LID。两个PDF的凸组合被认为是污染$f_1$,作为底层$f_0$分布的离群值,并且$f_ε$是污染分布。当数据污染程度稍大时,通过最小化最大q-log-似然函数的变化,得到最优准则。本文对一般的极大似然估计、极大q-似然估计、基于$\log_q$的LID和基于Huber M-估计的LID进行了比较。提出了基于$\log_q$和LID的Akaike和Bayesian信息准则(AIC和BIC)来评价函数的拟合性能。应用真实数据集测试了包含形状、尺度和位置参数的估计函数的拟合性能。
2017-11-15 math.ST stat.TH
On the Log-Likelihood Ratio Evaluation of CWCU Linear and Widely Linear MMSE Data Estimators
在数据比特的软解码中,对数似然比从估计的数据符号中被评估。对于适当的星座图,如QPSK或16-QAM,这些数据符号通常使用线性最小均方误差(LMMSE)估计器进行估计。LMMSE估计仅满足弱贝叶斯无偏性约束。最近,估计满足更严格的分量有条件无偏(CWCU)的约束进行了研究,如CWCU LMMSE估计。在本文中,我们证明了CWCU的LMMSE估计结果在非常相同的对数似然比的LMMSE估计。对于不适当的星座图,如8-QAM,广泛使用线性估计。对于这种情况下,我们表明,广泛的线性版本的LMMSE估计和CWCU的LMMSE估计也产生相同的对数似然比。最后,我们给出了一个模拟的例子,说明了一些有趣的性质的讨论广泛的线性估计。
2016-12-13 math.ST stat.AP stat.TH
Iterative Marginal Maximum Likelihood DOD and DOA Estimation for MIMO Radar in the Presence of SIRP Clutter
球不变随机过程(SIRP)杂波模型通常用于雷达杂波不能正确建模为高斯过程的情况。在这个简短的通信中,我们设计了一种新的基于最大似然(ML)的迭代估计器的出发方向和到达方向估计的多输入多输出(MIMO)雷达背景下存在的SIRP杂波。建议的估计采用逐步数值浓度的方法w.r.t.目标函数与观测数据的边际似然性有关。我们的估计导致卓越的性能,我们的模拟显示,w.r.t.现有的基于似然的方法,即传统的,条件的和联合的基于似然的估计,和w.r.t.鲁棒子空间分解方法。最后,迭代边际ML估计(IMMLE),迭代联合ML估计(IJMLE)和迭代条件ML估计(ICdMLE)之间的相互联系和比较。
2018-11-07 eess.SP stat.AP
Rates of Convergence of Maximum Smoothed Log-Likelihood Estimators for Semi-Parametric Multivariate Mixtures
Univ. Rennes, CNRS, IRMAR-UMR 6625(雷恩大学);Department of Statistics, Purdue University(普渡大学统计学系)
本文首次为半参数有限混合模型中基于平滑对数似然的最大估计量建立了严格理论保证,证明其一致性并推导有限维与无限维参数的收敛速率,弥合了实用算法与统计理论之间的差距。
2025-11-06 math.ST stat.TH
Convergence analysis of data augmentation algorithms in Bayesian lasso models with log-concave likelihoods
School of Statistics University of Minnesota(明尼苏达大学统计学院)
本文研究了贝叶斯拉索模型中数据增强算法的收敛性,推导了通用收敛界并应用于三种具体模型,给出了不同模型的混合时间复杂度。
2025-12-23 math.ST stat.TH
Sparse inversion for derivative of log determinant
高斯过程、边缘似然法或限制极大似然法的算法通常需要对数行列式项的导数。这些对数决定因素通常是参数与方差参数的基础统计模型。本文论证了当底层矩阵稀疏时,如何利用稀疏求逆--与原始矩阵具有相同稀疏性的选择求逆--来加速求对数行列式的导数。
2019-11-02 cs.NA math.NA stat.CO
Bayesian Inference for Logistic Regression Models Using Sequential Posterior Simulation
logistic规范已被广泛用于非贝叶斯统计,以模拟离散结果对指定协变量值的依赖性。由于似然函数是全局弱凹的,所以即使在通常出现的具有几十个或几百个参数的应用中,极大似然估计也是直接的。相比之下,贝叶斯推断已被证明是笨拙的,需要对现有的马尔可夫链蒙特卡罗和数据增强方法的可能性或专门的适应性进行正常近似。本文使用最近开发的一般序贯后验模拟(SPS)方法,只需要多一点的能力,以评估的似然函数的逻辑模型的贝叶斯推断。与现有的替代方案相比,SPS是简单得多,并提供了数字标准误和准确的近似边际可能性作为副产品。用于贝叶斯推断的SPS算法适合于大规模并行实现,并且当使用图形处理单元实现时,它比现有的替代方案更有效。本文通过几个例子来说明这些观点。
2013-04-16 stat.CO
Conjugate priors and bias reduction for logistic regression models
统计实践中通常使用二项响应的逻辑斯谛回归模型。然而,由于数据可分性,最大似然估计可能不存在。我们解决这个问题,通过考虑共轭先验惩罚,总是产生有限的估计。这样的规范有一个明确的贝叶斯解释,并享有几个不变性属性,使其成为一个有吸引力的优先选择。我们表明,所提出的方法导致Firth(1993)的减少偏差的方法的准确近似,从而导致具有比最大似然更小的渐近偏差的估计量,并且其存在性总是有保证的。此外,所考虑的惩罚似然可以表示为真实似然,其中原始数据被伪计数的集合替换。因此,我们的方法可以利用完善的和可扩展的算法用于逻辑斯谛回归。我们比较我们的估计与其他减少偏差的方法,大大提高了计算性能,并取得了吸引人的推理结果。
2022-02-17 stat.ME
Testing for Endogeneity: A Moment-Based Bayesian Approach
Federal Reserve Bank of Philadelphia(费城联邦储备银行);CREST, CNRS, ENSAE, Ecole Polytechnique, Institut Polytechnique de Paris(法国国家科学研究中心、国立统计与行政学院、巴黎综合理工学院、巴黎理工学院);Olin Business School, Washington University in St. Louis(华盛顿大学圣路易斯分校奥林商学院)
本文提出了一种基于矩的贝叶斯方法,用于检验回归模型中解释变量的内生性,通过比较基础模型和扩展模型来判断变量是否外生或内生。
2026-03-08 econ.EM math.ST stat.TH
Multilevel Monte Carlo estimation of log marginal likelihood
University of Tokyo(东京大学)
在这个简短的说明中,我们提供了一个无偏的多级蒙特卡罗估计的对数边际似然,并讨论其应用变分贝叶斯。
2019-12-23 cs.LG stat.ML
M$^2$VAE - Derivation of a Multi-Modal Variational Autoencoder Objective from the Marginal Joint Log-Likelihood
Bielefeld University(比勒费尔德大学)
这项工作给出了一个深入的推导的可训练的证据下界从边缘联合对数Likestive与训练的多模态变分自编码器(M $^2$ VAE)的目标。
2019-03-18 cs.LG stat.ML
Accurate and Conservative Estimates of MRF Log-likelihood using Reverse Annealing
Fields Institute(菲尔兹研究所);University of Toronto(多伦多大学)
马尔可夫随机场(MRF)是很难评估的生成模型,因为计算测试对数概率需要棘手的分区函数。退火重要性采样(AIS)被广泛用于估计MRF配分函数,并且通常产生相当准确的结果。然而,AIS倾向于高估对数似然性,几乎没有迹象表明有什么问题。我们提出了反向AIS估计(RAISE),一个随机下界的对数似然近似的原始MRF模型。RAISE只需要与标准AIS相同的MCMC转换运算符。实验结果表明,RAISE同意与AIS的RBM,DBM和DBN的对数概率估计密切,但通常错误的低估,而不是高估,对数似然。
2014-12-30 cs.LG stat.ML
Negative Log Likelihood Ratio Loss for Deep Neural Network Classification
Huawei Technologies(华为技术有限公司);University of Alberta(阿尔伯塔大学)
在深度神经网络中,交叉熵损失函数通常用于分类。最小化交叉熵等价于在均匀特征和类分布的假设下最大化似然。它属于生成性训练标准,不直接区分正确的类和竞争的类。我们提出了一个歧视性的损失函数与负对数似然比之间的正确和竞争类。它在CIFAR-10图像分类任务上的性能明显优于交叉熵损失。
2018-04-27 cs.LG stat.ML
Computing the Dirichlet-Multinomial Log-Likelihood Function
IBM Research(IBM研究院)
狄利克雷-多项(DMN)分布常用来模拟计数数据中的过度分散。DMN对数似然函数的精确和快速数值计算对于使用该分布执行统计推断是重要的,并且仍然是一个挑战。为了解决这个问题,我们使用的伽马函数的数学性质,推导出一个封闭的形式表达的DMN对数似然函数。与现有方法相比,该方法计算复杂度低,速度快,且不影响计算精度。
2020-07-17 cs.AI cs.LG stat.ML
Maximum Likelihood Training of Score-Based Diffusion Models
Stanford University(斯坦福大学);University of Edinburgh(爱丁堡大学)
基于分数的扩散模型通过反转将数据扩散为噪声的随机过程来合成样本,并且通过最小化分数匹配损失的加权组合来训练。基于分数的扩散模型的对数似然可以通过与连续归一化流的连接来可追踪地计算,但是对数似然不能通过分数匹配损失的加权组合来直接优化。我们表明,对于一个特定的加权方案,客观上界的负对数似然,从而使近似极大似然训练的分数为基础的扩散模型。我们根据经验观察到,极大似然训练一致地提高了基于分数的扩散模型在多个数据集、随机过程和模型架构中的似然性。我们最好的模型在CIFAR-10和ImageNet 32 x32上实现了2.83和3.76 bits/dim的负对数似然,而没有任何数据增强,与这些任务中最先进的自回归模型相当。
2021-10-21 cs.LG stat.ML
A Correction of Pseudo Log-Likelihood Method
Harvard University(哈佛大学);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);School of Mathematics and Statistics, Fuzhou University(福州大学数学与统计学院);Microsoft Research(微软研究院)
本文指出先前文献中伪对数似然函数可能无界导致算法定义不明确的问题,通过反例证明其失效,并提出了修正这些算法的解决方案。
2024-03-26 cs.LG math.ST stat.ML
Semi-supervised learning objectives as log-likelihoods in a generative model of data curation
University of Bristol(布里斯托大学)
我们目前还不了解半监督学习(SSL)的目标,如伪标签和熵最小化作为对数似然,这排除了贝叶斯SSL的发展。在这里,我们注意到,基准图像数据集(如CIFAR-10)是经过精心策划的,我们将SSL目标制定为数据策划生成模型中的对数似然,该模型最初是为了解释冷后验效应而开发的(Aitchison 2020)。SSL方法,从熵最小化和伪标签,到类似于FixMatch的最先进的技术,都可以被理解为我们的原则性对数似然的下限。因此,我们能够给出贝叶斯SSL的玩具数据的原理证明。最后,我们的理论表明,SSL是有效的,部分原因是数据策展引起的统计模式。这提供了对过去结果的解释,这些结果表明SSL在干净的数据集上表现更好,没有任何“分布外”的例子。通过对这些结果进行分析,我们发现SSL在策划数据上的性能提升要比在未策划数据上大得多,使用基于Galaxy Zoo 2的匹配策划和未策划数据集。
2021-10-08 cs.LG stat.ML
Learning Energy-Based Models by Self-normalising the Likelihood
Technical University of Denmark(丹麦技术大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
本文提出自归一化对数似然(SNL)目标函数,通过引入一个可学习的归一化常数参数,使基于能量的模型无需昂贵MCMC采样即可用随机梯度直接优化,并在密度估计和回归任务上验证了其简单且优于现有方法的性能。
2025-03-10 cs.LG stat.ML
Log-Concavity of Multinomial Likelihood Functions Under Interval Censoring Constraints on Frequencies or Their Partial Sums
Columbia University(哥伦比亚大学);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
本研究通过证明约束样本空间为离散单纯形的M-凸子集,确立了频率或其部分和的区间删失约束下多项式似然函数的完全对数凹性。
2023-11-05 cs.LG math.ST stat.ML
Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment
Boston University(波士顿大学);Google AI(谷歌人工智能);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
分布对齐在深度学习中有许多应用,包括领域自适应和无监督图像到图像的翻译。大多数关于无监督分布对齐的先前工作依赖于最小化简单的非参数统计距离,例如最大均值差异或对抗对齐。然而,前者未能捕捉到复杂的现实世界的分布结构,而后者是难以训练,并没有提供任何普遍的收敛保证或自动定量验证程序。在本文中,我们提出了一个新的分布对齐方法的基础上对数似然比统计和规范化流。我们表明,在某些假设下,这种组合产生了一个基于深度神经似然的最小化目标,在收敛时达到了一个已知的下限。我们的实验验证,最大限度地减少所产生的目标结果域对齐,保留输入域的局部结构。
2020-10-26 cs.LG stat.ML
Deep Log-Likelihood Ratio Quantization
University of Texas at Austin(德克萨斯大学奥斯汀分校)
在这项工作中,提出了一种基于深度学习的对数似然比(LLR)有损压缩和量化方法,重点是单输入单输出不相关衰落通信设置。训练深度自动编码器网络以压缩、重构和重构对应于单个传输符号的比特对数似然比。具体地,编码器映射到维度等于恢复输入所需的足够统计数据的数量的潜在空间-在这种情况下等于三-而解码器旨在重建潜在表示的噪声版本,目的是以可微的方式对量化效果进行建模。仿真结果表明,当应用到一个标准的速率-1/2的低密度奇偶校验(LDPC)码,一个有限的精度压缩因子的近三倍时,实现存储整个码字,与直接标量量化的对数似然比相比,所产生的性能损失低于0.1 dB。
2021-05-09 cs.LG eess.SP stat.ML
Empirical Analysis of Sampling Based Estimators for Evaluating RBMs
Indian Institute of Science(印度科学学院)
受限玻尔兹曼机(RBM)既可以用作分类器,也可以用作生成模型。通过对测试数据的平均对数似然来衡量生成RBM的质量。由于求配分函数的计算复杂性很高,所以很难精确计算检验对数似然。近年来提出了一些近似计算检验对数似然的估计方法。在本文中,我们提出了一个经验比较的主要估计方法,即AIS算法估计的配分函数,CSL方法直接估计的对数似然,和RAISE算法,结合这两个想法。我们使用MNIST数据集来学习RBM,然后比较这些方法来估计测试对数似然。
2015-10-08 cs.LG stat.ML
Unbiased and Efficient Log-Likelihood Estimation with Inverse Binomial Sampling
New York University(纽约大学);Princeton University(普林斯顿大学);University of Helsinki(赫尔辛基大学);University of Geneva(日内瓦大学)
科学假说的命运往往依赖于计算模型解释数据的能力,在现代统计方法中,数据是通过似然函数量化的。对数似然是参数估计和模型评估的关键要素。然而,在计算生物学和神经科学等领域中,复杂模型的对数似然性通常难以通过分析或数值计算来计算。在这些情况下,研究人员通常只能通过将观测数据与模型模拟生成的合成观测值进行比较来估计对数似然。通过模拟来近似可能性的标准技术要么使用数据的汇总统计量,要么有在估计中产生严重偏差的风险。在这里,我们探索另一种方法,逆二项抽样(IBS),它可以有效地估计整个数据集的对数似然,并且没有偏差。对于每个观察,IBS从模拟器模型中抽取样本,直到一个与观察相匹配。对数似然估计是抽取样本数量的函数。这个估计量的方差是一致有界的,达到了无偏估计量的最小方差,并且我们可以计算方差的校准估计。我们提供了理论论据,有利于IBS和实证评估的方法,最大似然估计与基于模拟的模型。作为案例研究,我们从计算和认知神经科学中选取了三个日益复杂的模型拟合问题。在所有的问题中,IBS一般产生较低的误差,估计参数和最大对数似然值比其他抽样方法具有相同的平均样本数。我们的研究结果表明,IBS作为一个实用的,强大的,易于实现的方法,当精确的技术是不可用的对数似然评估的潜力。
2020-10-27 cs.LG q-bio.NC q-bio.QM
Likelihood-ratio calibration using prior-weighted proper scoring rules
AGNITIO Research(AGNITIO研究院)
先验加权逻辑斯谛回归已成为说话人识别中校准的标准工具。逻辑斯谛回归是对数评分规则的期望值的优化。我们通过适当的评分规则的参数家庭推广这一点。我们的理论分析表明,这个家庭的不同成员如何诱导不同的相对权重的决策阈值范围从低到高的应用程序的频谱。特别关注先验权重和适当的评分规则参数之间的相互作用。NIST SRE'12上的实验表明,对于具有低误报率要求的应用,为强调较高分数阈值而定制的评分规则可能比逻辑斯谛回归提供更好的准确性。
2013-07-30 cs.LG stat.ML
Bounding Evidence and Estimating Log-Likelihood in VAE
Jagiellonian University(雅盖隆大学)
针对VAE中因仅知证据下界而难以比较模型训练效果的问题,本文提出一种通用有效的证据上界来高效近似数据对数似然,并通过理论与实验验证了其优越性及模型评估能力。
2025-03-05 cs.AI cs.LG stat.ML
Marginal Weighted Maximum Log-likelihood for Efficient Learning of Perturb-and-Map models
INRIA - ENS(法国国家信息与自动化研究所 - 巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
我们考虑结构化输出预测问题,通过概率的方法和推广的“扰动和MAP”框架更具挑战性的加权汉明损失,这是至关重要的应用。虽然原则上我们的方法是一个简单的边缘化,它需要解决许多相关的MAP推理问题。我们表明,对于对数超模块化成对模型,这些操作可以有效地使用动态图切割的机器进行。我们还建议在数据和扰动上使用双随机梯度下降来进行有效的学习。我们的框架自然可以采取弱监督(例如,部分标签)。我们进行了一组实验,中等规模的字符识别和图像分割,显示我们的算法的好处。
2018-11-21 cs.LG stat.ML
Unbiased Estimation of the Gradient of the Log-Likelihood for a Class of Continuous-Time State-Space Models
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文研究一类连续时间状态空间模型的静态参数估计问题。我们的目标是获得对数似然(得分函数)的梯度的无偏估计,即使模型中涉及的随机过程必须在时间上离散化,该估计也是无偏的。为了实现这一目标,我们采用了双重随机化方案,其中涉及一种新的耦合条件粒子滤波器(CCPF)的第二级随机化。我们的新估计有助于促进基于梯度的估计算法,如随机梯度Langevin下降的应用。我们说明了我们的方法在随机梯度下降(SGD)的背景下,在几个数值例子和比较与Rhee & Glynn估计。
2021-05-28 cs.LG cs.NA math.NA
Forward $χ^2$ Divergence Based Variational Importance Sampling
School of Computational Science & Engineering(计算科学与工程学院);Georgia Institute of Technology(佐治亚理工学院)
针对变分推断处理复杂后验时对数似然偏低的问题,提出基于前向$\chi^2$散度的变分重要性采样方法,在多种潜变量模型上的表现优于现有最优基线。
2024-02-02 cs.LG stat.CO stat.ML
Calibration of Phone Likelihoods in Automatic Speech Recognition
NovoLanguage(诺沃语言公司);Radboud University Nijmegen(奈梅亨拉德堡德大学)
在本文中,我们研究了语音识别系统,使用深度神经网络(DNN)的声学建模的后验概率特性。我们通过将Kaldi的DNN共享pdf-id后验减少到电话可能性来做到这一点,并使用测试集强制对齐来使用校准敏感度量评估这些。原则上,单个帧后验是经过良好校准的,因为DNN是使用交叉熵作为目标函数进行训练的,这是一个合适的评分规则。当评估整个电话时,我们观察到最好在电话的持续时间内平均对数似然性。通过持续时间的对数进一步缩放平均对数似然性略微改善了校准,并且当对独立测试数据进行测试时,这种改善被保留。
2016-06-14 cs.LG cs.SD stat.ML
Optimal and computationally tractable lower bounds for logistic log-likelihoods
Duke University(杜克大学);Bocconi University(博科尼大学);University of Milano–Bicocca(米兰比可卡大学)
针对logit变换相关目标函数优化缺乏解析解的问题,本文设计了一种新颖的分段二次下界,统一改进切线二次最小化子,可提升MM方案收敛速度及VB近似准确性。
2025-11-12 stat.CO stat.ME stat.ML
A Double Parametric Bootstrap Test for Topic Models
非负矩阵分解(NMF)是一种寻找数据潜在表示的技术。该方法已被应用于语料库构建主题模型。然而,NMF的可能性假设,这往往是违反了真实的文档语料库。我们提出了一个双参数bootstrap检验的库尔贝克-莱布勒散度和泊松极大似然估计的对偶的基础上评估适合的NMF为基础的主题模型。该测试正确地识别基于NMF方法的主题模型是否在模拟和真实数据中产生可靠的结果。
2017-11-21 stat.ML
Asymptotic Normality of Log Likelihood Ratio and Fundamental Limit of the Weak Detection for Spiked Wigner Matrices
本文证明在秩一尖峰Wigner模型中,低于最优阈值时对数似然比收敛于高斯分布,并据此计算似然比检验误差极限,同时推广至尖峰IID模型。
2024-12-18 math.PR math.ST stat.ML