Tighter Bounds on the Log Marginal Likelihood of Gaussian Process Regression Using Conjugate Gradients
Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）
我们提出了一个下界的高斯过程回归模型的对数边际似然，可以计算没有矩阵分解的完整的内核矩阵。我们表明，近似极大似然学习模型参数最大化我们的下限保留了许多稀疏变分方法的好处，同时减少了偏见引入参数学习。我们的界限的基础是一个更仔细的分析出现在对数边际似然的对数行列式项，以及使用共轭梯度的方法来推导出严格的下界的一项涉及二次型。我们的方法是一个统一的方法依赖于下限最大化（例如变分法）和迭代方法的基础上训练高斯过程的共轭梯度的一步。在实验中，与其他基于共轭梯度的方法相比，我们的模型在相当的训练时间内表现出更好的预测性能。
2021-02-16 cs.LG stat.ML
Are you using test log-likelihood correctly?
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Massachusetts Institute of Technology（麻省理工学院）
本文通过简单示例揭示测试对数似然作为模型与近似推理算法评价指标的局限，指出其可能与后验近似质量及均方根误差所反映的预测性能相矛盾。
2024-01-18 cs.LG stat.ML stat.OT
Maximum Likelihood Training of Score-Based Diffusion Models
Stanford University（斯坦福大学）；University of Edinburgh（爱丁堡大学）
基于分数的扩散模型通过反转将数据扩散为噪声的随机过程来合成样本，并且通过最小化分数匹配损失的加权组合来训练。基于分数的扩散模型的对数似然可以通过与连续归一化流的连接来可追踪地计算，但是对数似然不能通过分数匹配损失的加权组合来直接优化。我们表明，对于一个特定的加权方案，客观上界的负对数似然，从而使近似极大似然训练的分数为基础的扩散模型。我们根据经验观察到，极大似然训练一致地提高了基于分数的扩散模型在多个数据集、随机过程和模型架构中的似然性。我们最好的模型在CIFAR-10和ImageNet 32 x32上实现了2.83和3.76 bits/dim的负对数似然，而没有任何数据增强，与这些任务中最先进的自回归模型相当。
2021-10-21 cs.LG stat.ML
A Correction of Pseudo Log-Likelihood Method
Harvard University（哈佛大学）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；School of Mathematics and Statistics, Fuzhou University（福州大学数学与统计学院）；Microsoft Research（微软研究院）
本文指出先前文献中伪对数似然函数可能无界导致算法定义不明确的问题，通过反例证明其失效，并提出了修正这些算法的解决方案。
2024-03-26 cs.LG math.ST stat.ML
Bayesian Inference via Approximation of Log-likelihood for Priors in Exponential Family
Linköping University（林雪平大学）；Middle East Technical University（中东技术大学）
本文提出了一种基于似然函数对数的泰勒级数逼近的贝叶斯推理方法。建议的近似设计的情况下，先验分布属于指数分布族。将似然函数的对数关于指数族先验分布的充分统计量进行线性化，使得后验分布与先验分布具有相同的指数族形式。该方法与非线性滤波的扩展卡尔曼滤波器的相似之处。此外，推导出用于目标模型的扩展目标测量更新，其中目标范围由具有逆Wishart分布的随机矩阵表示。近似更新涵盖了测量扩展是由于目标范围以及传感器中的测量噪声引起的重要情况。
2015-10-05 cs.LG stat.ML
Semi-supervised learning objectives as log-likelihoods in a generative model of data curation
University of Bristol（布里斯托大学）
我们目前还不了解半监督学习（SSL）的目标，如伪标签和熵最小化作为对数似然，这排除了贝叶斯SSL的发展。在这里，我们注意到，基准图像数据集（如CIFAR-10）是经过精心策划的，我们将SSL目标制定为数据策划生成模型中的对数似然，该模型最初是为了解释冷后验效应而开发的（Aitchison 2020）。SSL方法，从熵最小化和伪标签，到类似于FixMatch的最先进的技术，都可以被理解为我们的原则性对数似然的下限。因此，我们能够给出贝叶斯SSL的玩具数据的原理证明。最后，我们的理论表明，SSL是有效的，部分原因是数据策展引起的统计模式。这提供了对过去结果的解释，这些结果表明SSL在干净的数据集上表现更好，没有任何“分布外”的例子。通过对这些结果进行分析，我们发现SSL在策划数据上的性能提升要比在未策划数据上大得多，使用基于Galaxy Zoo 2的匹配策划和未策划数据集。
2021-10-08 cs.LG stat.ML
Learning Energy-Based Models by Self-normalising the Likelihood
Technical University of Denmark（丹麦技术大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
本文提出自归一化对数似然（SNL）目标函数，通过引入一个可学习的归一化常数参数，使基于能量的模型无需昂贵MCMC采样即可用随机梯度直接优化，并在密度估计和回归任务上验证了其简单且优于现有方法的性能。
2025-03-10 cs.LG stat.ML
Log-Concavity of Multinomial Likelihood Functions Under Interval Censoring Constraints on Frequencies or Their Partial Sums
Columbia University（哥伦比亚大学）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本研究通过证明约束样本空间为离散单纯形的M-凸子集，确立了频率或其部分和的区间删失约束下多项式似然函数的完全对数凹性。
2023-11-05 cs.LG math.ST stat.ML
Information Theoretic Lower Bounds on Negative Log Likelihood
IBM Research AI（IBM研究院AI）
在这篇文章中，我们使用率失真理论，信息论的一个分支，致力于有损压缩的问题，揭示了一个重要的问题，在潜变量建模的数据：有空间来改善模型？解决这个问题的一种方法是找到一个概率的上限（相当于负对数似然的下限），当人们改变潜变量模型中的先验和/或似然函数时，模型可以分配给一些数据。我们的贡献的核心是正式表明，在潜变量模型中优化先验的问题正是信息理论家在计算率失真函数时解决的变分优化问题的一个实例，然后用它来推导负对数似然的下界。此外，我们将表明，如果改变先验可以提高对数似然，那么有一种方法来改变似然函数，而不是获得相同的对数似然，因此率失真理论是相关的优化先验以及优化似然函数。我们将通过实验论证从率失真理论导出的量在潜变量建模中的有用性，并将其应用于图像建模中的问题。
2019-04-12 cs.IT cs.LG math.IT
Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment
Boston University（波士顿大学）；Google AI（谷歌人工智能）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
分布对齐在深度学习中有许多应用，包括领域自适应和无监督图像到图像的翻译。大多数关于无监督分布对齐的先前工作依赖于最小化简单的非参数统计距离，例如最大均值差异或对抗对齐。然而，前者未能捕捉到复杂的现实世界的分布结构，而后者是难以训练，并没有提供任何普遍的收敛保证或自动定量验证程序。在本文中，我们提出了一个新的分布对齐方法的基础上对数似然比统计和规范化流。我们表明，在某些假设下，这种组合产生了一个基于深度神经似然的最小化目标，在收敛时达到了一个已知的下限。我们的实验验证，最大限度地减少所产生的目标结果域对齐，保留输入域的局部结构。
2020-10-26 cs.LG stat.ML
Empirical Analysis of Sampling Based Estimators for Evaluating RBMs
Indian Institute of Science（印度科学学院）
受限玻尔兹曼机（RBM）既可以用作分类器，也可以用作生成模型。通过对测试数据的平均对数似然来衡量生成RBM的质量。由于求配分函数的计算复杂性很高，所以很难精确计算检验对数似然。近年来提出了一些近似计算检验对数似然的估计方法。在本文中，我们提出了一个经验比较的主要估计方法，即AIS算法估计的配分函数，CSL方法直接估计的对数似然，和RAISE算法，结合这两个想法。我们使用MNIST数据集来学习RBM，然后比较这些方法来估计测试对数似然。
2015-10-08 cs.LG stat.ML
Unbiased and Efficient Log-Likelihood Estimation with Inverse Binomial Sampling
New York University（纽约大学）；Princeton University（普林斯顿大学）；University of Helsinki（赫尔辛基大学）；University of Geneva（日内瓦大学）
科学假说的命运往往依赖于计算模型解释数据的能力，在现代统计方法中，数据是通过似然函数量化的。对数似然是参数估计和模型评估的关键要素。然而，在计算生物学和神经科学等领域中，复杂模型的对数似然性通常难以通过分析或数值计算来计算。在这些情况下，研究人员通常只能通过将观测数据与模型模拟生成的合成观测值进行比较来估计对数似然。通过模拟来近似可能性的标准技术要么使用数据的汇总统计量，要么有在估计中产生严重偏差的风险。在这里，我们探索另一种方法，逆二项抽样（IBS），它可以有效地估计整个数据集的对数似然，并且没有偏差。对于每个观察，IBS从模拟器模型中抽取样本，直到一个与观察相匹配。对数似然估计是抽取样本数量的函数。这个估计量的方差是一致有界的，达到了无偏估计量的最小方差，并且我们可以计算方差的校准估计。我们提供了理论论据，有利于IBS和实证评估的方法，最大似然估计与基于模拟的模型。作为案例研究，我们从计算和认知神经科学中选取了三个日益复杂的模型拟合问题。在所有的问题中，IBS一般产生较低的误差，估计参数和最大对数似然值比其他抽样方法具有相同的平均样本数。我们的研究结果表明，IBS作为一个实用的，强大的，易于实现的方法，当精确的技术是不可用的对数似然评估的潜力。
2020-10-27 cs.LG q-bio.NC q-bio.QM
Semi-Discrete Normalizing Flows through Differentiable Tessellation
Meta AI
离散分布和连续分布之间的映射是一项艰巨的任务，许多人不得不求助于随机方法。我们提出了一种基于镶嵌的方法，直接学习连续空间中的量化边界，并完成精确的似然评估。这是通过使用一个简单的同胚与一个有效的对数行列式雅可比参数化的凸多面体上构造规范化流。我们在两个应用程序设置中探索这种方法，从离散映射到连续，反之亦然。首先，Voronoi反量化允许自动学习多维空间中的量化边界。区域之间的边界和距离的位置可以编码量化的离散值之间的有用的结构关系。其次，Voronoi混合模型具有接近恒定的计算成本的似然估计的混合成分的数量无关。从经验上讲，我们在一系列结构化数据模式中显示了对现有方法的改进。
2022-12-11 cs.LG stat.ML
Likelihood-ratio calibration using prior-weighted proper scoring rules
AGNITIO Research（AGNITIO研究院）
先验加权逻辑斯谛回归已成为说话人识别中校准的标准工具。逻辑斯谛回归是对数评分规则的期望值的优化。我们通过适当的评分规则的参数家庭推广这一点。我们的理论分析表明，这个家庭的不同成员如何诱导不同的相对权重的决策阈值范围从低到高的应用程序的频谱。特别关注先验权重和适当的评分规则参数之间的相互作用。NIST SRE'12上的实验表明，对于具有低误报率要求的应用，为强调较高分数阈值而定制的评分规则可能比逻辑斯谛回归提供更好的准确性。
2013-07-30 cs.LG stat.ML
Bounding Evidence and Estimating Log-Likelihood in VAE
Jagiellonian University（雅盖隆大学）
针对VAE中因仅知证据下界而难以比较模型训练效果的问题，本文提出一种通用有效的证据上界来高效近似数据对数似然，并通过理论与实验验证了其优越性及模型评估能力。
2025-03-05 cs.AI cs.LG stat.ML
Marginal Weighted Maximum Log-likelihood for Efficient Learning of Perturb-and-Map models
INRIA - ENS（法国国家信息与自动化研究所 - 巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们考虑结构化输出预测问题，通过概率的方法和推广的“扰动和MAP”框架更具挑战性的加权汉明损失，这是至关重要的应用。虽然原则上我们的方法是一个简单的边缘化，它需要解决许多相关的MAP推理问题。我们表明，对于对数超模块化成对模型，这些操作可以有效地使用动态图切割的机器进行。我们还建议在数据和扰动上使用双随机梯度下降来进行有效的学习。我们的框架自然可以采取弱监督（例如，部分标签）。我们进行了一组实验，中等规模的字符识别和图像分割，显示我们的算法的好处。
2018-11-21 cs.LG stat.ML
Parallel Gaussian process surrogate Bayesian inference with noisy likelihood evaluations
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）；University of Edinburgh（爱丁堡大学）
我们考虑贝叶斯推断时，只有有限数量的噪声对数似然评价可以得到。例如，当将复杂的基于模拟器的统计模型拟合到数据时，会发生这种情况，并且使用合成似然（SL）方法来使用计算成本高的前向模拟来形成噪声对数似然估计。我们框架的推理任务作为一个连续的贝叶斯试验设计问题，其中的对数似然函数建模与分层高斯过程（GP）代理模型，这是用来有效地选择额外的对数似然评估位置。最近的进展的相关问题的批量贝叶斯优化的动机，我们开发了各种批量顺序的设计策略，允许并行运行一些潜在的昂贵的模拟。我们从理论和经验上分析了所产生的方法的属性。几个玩具问题和仿真模型的实验表明，我们的方法是强大的，高度并行化，样本效率。
2020-03-06 cs.LG stat.CO stat.ME
Unbiased Estimation of the Gradient of the Log-Likelihood for a Class of Continuous-Time State-Space Models
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文研究一类连续时间状态空间模型的静态参数估计问题。我们的目标是获得对数似然（得分函数）的梯度的无偏估计，即使模型中涉及的随机过程必须在时间上离散化，该估计也是无偏的。为了实现这一目标，我们采用了双重随机化方案，其中涉及一种新的耦合条件粒子滤波器（CCPF）的第二级随机化。我们的新估计有助于促进基于梯度的估计算法，如随机梯度Langevin下降的应用。我们说明了我们的方法在随机梯度下降（SGD）的背景下，在几个数值例子和比较与Rhee & Glynn估计。
2021-05-28 cs.LG cs.NA math.NA
LogQuant: Log-Distributed 2-Bit Quantization of KV Cache with Superior Accuracy Preservation
Paradigm（4Paradigm）
LogQuant通过基于对数的过滤机制实现KV缓存的2位量化，减少内存占用的同时保持高性能，实验表明其在吞吐量、批处理大小和准确性上均优于现有方法。
2025-03-25 cs.AI cs.CL cs.LG
Forward $χ^2$ Divergence Based Variational Importance Sampling
School of Computational Science & Engineering（计算科学与工程学院）；Georgia Institute of Technology（佐治亚理工学院）
针对变分推断处理复杂后验时对数似然偏低的问题，提出基于前向$\chi^2$散度的变分重要性采样方法，在多种潜变量模型上的表现优于现有最优基线。
2024-02-02 cs.LG stat.CO stat.ML
Averaging log-likelihoods in direct alignment
Cohere
针对直接对齐中因补全长度不同导致对数似然非长度不变的问题，引入新平均算子使损失内对数似然平均化，实现长度不变性，并实证揭示了生成长度与分数间的权衡。
2024-06-27 cs.LG
When Can Conditional Flow Matching Replace Pointwise Negative Log-Likelihood?
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Fudan University（复旦大学）
本文通过理论分解刻画了条件流匹配（CFM）可替代逐点负对数似然（NLL）的条件，指出其在离策略总体最优处的局限性，相关结论及分解为适配LLM方法至流匹配提供了理论基础。
2026-09-09 cs.AI cs.LG
ReCaLL: Membership Inference via Relative Conditional Log-Likelihoods
Duke University（杜克大学）
提出ReCaLL成员推断攻击方法，利用相对条件对数似然检测LLM预训练数据，在WikiMIA数据集上达到最先进性能，并深入分析了模型在不同成员上下文中的行为。
2025-05-23 cs.CL cs.LG
Beyond Dense Adam States: Adaptive Log-Space Quantization for Memory-Efficient Optimizers
该研究针对内存高效优化器的状态异质性提出自适应对数空间量化，在AdamW、CAME等模型的语言模型预训练实验中，可显著降低优化器存储并保持良好困惑度表现。
2026-09-02 cs.LG
Asymptotic Log-loss of Prequential Maximum Likelihood Codes
我们分析了Dawid-Rissanen序极大似然码相对于单参数指数族模型M。如果数据是i.i.d.根据（基本上）任意的P，则冗余以速率c/2 ln n增长。我们证明了c=v1/v2，其中v1是P的方差，v2是M中的分布m* 的方差，该分布在KL散度中最接近P。这表明，前置码的行为完全不同于其他重要的通用码，如2部分MDL，Shtarkov和贝叶斯码，其中c=1。这种行为在MDL模型选择设置中是不希望出现的。
2005-02-01 cs.IT cs.LG math.IT
Human Pose Regression with Residual Log-likelihood Estimation
Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
基于热图的方法通过似然热图对输出分布进行建模，在人体姿态估计领域占主导地位。相比之下，基于回归的方法更有效，但性能较差。在这项工作中，我们探索最大似然估计（MLE）开发一个高效和有效的基于回归的方法。从极大似然估计的角度来看，采用不同的回归损失是对输出密度函数做出不同的假设。更接近真实分布的密度函数导致更好的回归性能。有鉴于此，我们提出了一种新的回归范式与残差对数似然估计（RLE），以捕捉潜在的输出分布。具体地说，RLE学习分布的变化，而不是未引用的底层分布，以促进训练过程。与建议的重新参数化设计，我们的方法是与现成的流动模型兼容。该方法是有效的，高效的和灵活的。我们展示了它的潜力，在各种人体姿态估计任务与全面的实验。与传统的回归范式相比，回归与RLE带来12.4 mAP的改进MSCOCO没有任何测试时间开销。此外，特别是在多人姿态估计方面，我们的回归方法第一次优于基于热图的方法。我们的代码可在https://github.com/Jeff-sjtu/res-loglikelihood-regression上获得
2021-07-31 cs.CV cs.LG
Bounding the Test Log-Likelihood of Generative Models
Université de Montréal（蒙特利尔大学）；Aalto University School of Science（阿尔托大学理学院）
几种有趣的生成学习算法涉及许多随机变量的复杂概率分布，涉及棘手的归一化常数或潜在变量归一化。其中一些甚至可能没有未归一化概率函数的解析表达式，也没有易于处理的近似。这使得一旦这些模型被训练，就很难估计它们的质量，或者在训练时监控它们的质量（例如提前停止）。以前提出的方法是基于构建一个非参数密度估计模型的概率函数从样本生成的模型。我们重新审视这个想法，提出了一个更有效的估计，并证明它提供了一个下界的真实测试对数似然，和无偏估计的生成的样本的数量趋于无穷大，虽然一个合并的效果差的混合。我们进一步提出了一个有偏的变量的估计，可以可靠地使用有限数量的样本模型比较的目的。
2014-05-09 cs.LG
Optimality of Maximum Likelihood for Log-Concave Density Estimation and Bounded Convex Regression
Massachusetts Institute of Technology（麻省理工学院）
本文研究了两个问题：（1）$d$维对数凹分布的估计和（2）随机设计下的有界多元凸回归问题，其中随机设计下的密度为对数凹或密度为连续的紧支撑分布。首先，我们表明，对于所有的$d \ge 4$的最大似然估计的两个问题实现了最佳的风险$Θ_d(n^{-2/(d+1)})$（对数因子）的平方Hellinger距离和$L_2$平方距离，分别。以前，这两个估计量的最优性仅为$d\le 3$所知。我们还证明了上述两个家庭的$ε$ -熵数是相等的对数因子。我们补充这些结果证明了一个尖锐的界限$Θ_d(n^{-2/(d+4)})$的极大极小率（对数因子）相对于总的变化距离。最后，我们证明，估计对数凹密度-甚至均匀分布的凸集-到一个固定的精度需要样本数\emph{at least}指数的尺寸。我们通过将极小极大率的最佳已知下限中的维数常数从$2^{-d}\cdot n^{-2/(d+1)}$改进为$c\cdot n^{-2/(d+1)}$（当$d\geq 2$时）来实现。
2020-02-20 cs.LG math.ST stat.TH
Near-Optimal Sample Complexity Bounds for Maximum Likelihood Estimation of Multivariate Log-concave Densities
The Ohio State University（俄亥俄州立大学）；University of Southern California（南加州大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
研究了关于全局损失函数的多元对数凹密度的学习问题。我们得到的第一个上界的样本复杂性的最大似然估计（MLE）的对数凹密度$\mathbb{R}^d$，所有$d \geq 4$。在此之前的工作，没有有限的样本上限是已知的估计在超过$3$尺寸。更详细地说，我们证明了，对于任何$d \geq 1$和$ε>0$，给定$\tilde{O}_d((1/ε)^{(d+3)/2})$样本从一个未知的对数凹密度$f_0$上$\mathbb{R}^d$，极大似然估计输出一个假设$h$，具有很高的概率是$ε$ -接近$f_0$，在平方海灵格损失。$Ω_d((1/ε)^{(d+1)/2})$的样本复杂度下限对于实现该保证的任何学习算法是先前已知的。因此，我们建立的样本复杂性的对数凹MLE是接近最佳的，高达$\tilde{O}(1/ε)$的因素。
2018-12-05 cs.IT cs.LG math.IT
Beyond Modern Asymptotics for Log-Likelihood Ratios in Logistic Regression
University of California, Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
该研究刻画二元逻辑回归对数似然比统计量的有限样本行为，推导不同维度下的非渐近分位数界，其界在目标参数上一致，无需设计正则假设，补充了 Wilks 渐近理论的非渐近结果。
2026-08-04 cs.IT cs.LG math.IT
