Likelihood Matching for Diffusion Models
Center for Data Science（数据科学中心）；Peking University（北京大学）；Guanghua School of Management（光华管理学院）；Department of Statistics and Data Science（统计与数据科学系）；Tsinghua University（清华大学）
研究提出似然匹配方法训练扩散模型，通过建立目标数据分布似然与反向扩散样本路径似然的等价关系，利用拟似然近似反向转移密度，估计得分和海森矩阵函数，引入随机采样器，建立一致性并提供收敛保证，经评估验证了该方法的有效性。
2026-07-14 cs.LG math.ST stat.AP
Simulation-based Inference for High-dimensional Data using Surjective Sequential Neural Likelihood Estimation
Swiss Data Science Center（瑞士数据科学中心）；ETH Zurich（苏黎世联邦理工学院）；Swiss Federal Institute of Aquatic Science and Technology（瑞士联邦水产科学与技术研究所）；Bank for International Settlements（国际清算银行）
针对高维或流形数据下神经似然估计失效的问题，提出用降维满射正则化流作为代理似然的 SSNL，并在多类含真实科学数据实验中达到或超过 SOTA。
2025-06-10 cs.LG stat.ME stat.ML
Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes
University of Melbourne（墨尔本大学）；University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California at Berkeley（加州大学伯克利分校）
本文研究了高斯过程不确定性估计中的单调性与双重下降现象，证明最大化边缘似然使性能随输入维度单调改善，而交叉验证指标则呈现双重下降特征，冷后验会加剧此现象。
2023-07-25 cs.LG stat.ML
Accurate and Scalable Stochastic Gaussian Process Regression via Learnable Coreset-based Variational Inference
Columbia University（哥伦比亚大学）；BCAM & Ikerbasque（BCAM与伊克尔巴斯克基金会）
提出基于可学习核心集变分推断的高斯过程回归方法CVGP，通过先验与似然定义后验，推导出适用于随机优化的变分下界，将参数搜索空间降至线性复杂度并确保数值稳定性。
2025-03-04 cs.LG stat.ML
GAN-EM: GAN based EM learning framework
University of Rochester（罗切斯特大学）；Tsinghua University（清华大学）
期望最大化（EM）算法是求具有潜在变量的模型的最大似然解.一个典型的例子是高斯混合模型（GMM），它需要高斯假设，然而，自然图像是高度非高斯的，使得GMM不能应用于执行像素空间上的聚类任务。为了克服这种限制，我们提出了一个基于GAN的EM学习框架，可以最大限度地提高图像的可能性和估计的潜在变量，只有约束的L-Lipschitz连续性。我们称这个模型为GAN-EM，它是一个图像聚类、半监督分类和降维的框架。在M步中，我们设计了一个新的损失函数，用于GAN的最大似然估计（MLE）的数据与软类标签分配。具体来说，条件生成器捕获$K$类的数据分布，而条件生成器告诉每个类的样本是真的还是假的。由于该模型是无监督的，因此将真实数据的类别标签作为潜在变量，在E步中通过一个附加网络（E-net）进行估计。所提出的GAN-EM在MNIST、SVHN和CelebA上实现了最先进的聚类和半监督分类结果，并且生成的图像质量与其他最近开发的生成模型相当。
2018-12-02 cs.LG stat.ML
Word2vec Skip-gram Dimensionality Selection via Sequential Normalized Maximum Likelihood
The University of Tokyo（东京大学）
在本文中，我们提出了一种新的信息准则为基础的方法来选择的维度的字2vec跳图（SG）。从概率论的角度出发，在假设词之间存在真实的上下文分布的前提下，SG被认为是一种隐含的概率分布估计。因此，我们应用信息准则，目的是选择最佳的维数，使相应的模型可以尽可能接近真实的分布。我们研究了以下信息标准的维度选择问题：赤池信息标准，贝叶斯信息标准，序列归一化最大似然（SNML）标准。SNML是在最小描述长度的基础上对数据序列进行顺序编码所需的总代码长度。将该方法应用于原始SG模型和SG负采样模型，以阐明使用信息准则的思想。此外，由于原始SNML存在计算上的缺点，我们引入了新的算法来提高计算效率。此外，我们的经验表明，SNML优于BIC和AIC。与其他词嵌入评价方法相比，SNML选择的维度更接近于词类比或词相似性任务的最优维度。
2020-08-25 cs.CL cs.LG stat.ML
Ordering Dimensions with Nested Dropout Normalizing Flows
University of Edinburgh（爱丁堡大学）
规范化流的潜在空间必须与其输出空间具有相同的维数。如果我们想学习低维的、语义上有意义的表示，这个约束就提出了一个问题。最近的工作提供了紧凑的表示，通过拟合流约束到流形，但还没有定义一个密度的流形。在这项工作中，我们考虑流的数据空间中的完全支持，但有序的潜变量。与PCA类似，前导潜在维度定义了一系列靠近数据的流形。我们注意到之间的权衡流动的可能性和质量的顺序，取决于参数化的流量。
2020-06-15 cs.LG stat.ML
Reducing normalizing flow complexity for MCMC preconditioning
University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学学院）
提出一种结合线性预处理器与条件归一化流的分解预处理架构，降低模型复杂度并提升对目标几何的适应性，在多种复杂分布和贝叶斯模型上显著提升了采样效率与尾部样本质量。
2025-11-04 cs.LG stat.CO stat.ML
NFMap: Topographic 2D Manifold Learning with Invertible Normalizing Flows
LovingScience（洛文科学）
NFMap是将GTM与可逆归一化流结合的二维降维可视化方法，支持重尾混合分量，可缓解大型数据集的地图拥挤问题，能实现完全可逆映射，可平衡局部与全局保真度。
2026-10-14 cs.LG
Scalable Amortized GPLVMs for Single Cell Transcriptomics Data
Stanford University（斯坦福大学）；University of Cambridge（剑桥大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
本文提出面向单细胞 RNA-seq 的摊销随机变分贝叶斯 GPLVM（BGPLVM），通过专用编码器、核与似然设计提升聚类和可解释性，在合成及 COVID 数据上媲美 scVI。
2024-05-06 cs.LG q-bio.GN stat.AP
Hierarchical mixtures of Gaussians for combined dimensionality reduction and clustering
University of Tübingen（图宾根大学）
本研究提出分层高斯混合模型HMoGs，将降维与聚类统一为单个概率模型，通过新型指数族参数化降低计算复杂度，在合成数据和MNIST上验证了联合优化的性能提升，兼具统计严谨性与可解释性。
2025-07-29 cs.LG stat.ML
Translation and Rotation Equivariant Normalizing Flow (TRENF) for Optimal Cosmological Analysis
University of California at Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们的宇宙是均匀和各向同性的，它的扰动服从平移和旋转对称性。在这项工作中，我们开发了平移和旋转等变归一化流（TRENF），这是一种生成的归一化流（NF）模型，它明确地结合了这些对称性，通过一系列基于傅立叶空间的卷积和逐像素非线性变换来定义数据的似然性。TRENF给出了对高维数据似然性p（x）的直接访问|y）作为标签y的函数，例如宇宙学参数。与基于汇总统计的传统分析相比，NF方法没有信息损失，因为它保留了数据的全部维度。在高斯随机场上，TRENF似然与解析表达式吻合得很好，并且饱和了标签y中的Fisher信息含量。从N体模拟的非线性宇宙学的过密度场，TRENF导致显着改善约束功率超过标准的功率谱摘要统计。TRENF也是数据的生成模型，并且我们表明TRENF样本与它训练的N体模拟吻合良好，并且数据的逆映射在视觉上和各种汇总统计上与高斯白噪声吻合良好：当这完全实现时，得到的p（x| y）似然分析变得最优。最后，我们开发了这个模型的泛化，可以处理打破数据对称性的影响，例如调查掩码，它可以在没有周期性边界的情况下对数据进行似然分析。
2022-02-10 astro-ph.CO cs.LG
LIDL: Local Intrinsic Dimension Estimation Using Approximate Likelihood
University of Warsaw（华沙大学）；Polish National Institute for Machine Learning（波兰国家机器学习研究所）；Applica；Jagiellonian University（雅盖隆大学）；University of Oxford（牛津大学）
大多数现有的方法估计的数据分布的局部固有维不缩放以及高维数据。他们中的许多人依赖于一个非参数的最近邻的方法，从维数灾难的痛苦。我们试图通过提出一种新的方法来解决这个问题：使用近似Likestive（LIDL）的局部固有维数估计。我们的方法依赖于一个任意的密度估计方法作为其子程序，因此试图回避的维数的挑战，利用参数神经方法的似然估计的最新进展。我们仔细研究了所提出的方法的经验性质，将它们与我们的理论预测进行比较，并表明LIDL在这个问题的标准基准上产生了有竞争力的结果，并且它可以扩展到数千个维度。更重要的是，我们预计这种方法将进一步改善与密度估计文献的不断进步。
2022-07-11 cs.LG stat.ML
Multiscale Flow for Robust and Optimal Cosmological Analysis
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）；Berkeley Center for Cosmological Physics（伯克利宇宙学中心）
提出Multiscale Flow生成模型，通过小波分层分解建模二维宇宙学数据的场级似然，能识别系统误差与分布偏移，在宇宙学推断中显著优于传统和基于机器学习的统计量。
2024-02-15 astro-ph.CO cs.LG physics.data-an
Partially Observable Gaussian Process Network and Doubly Stochastic Variational Inference
Fraunhofer IOSB（弗劳恩霍夫IOSB）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对现实过程网络中间接、含噪且不完整的观测，提出POGPN并结合观测透镜与两种训练方法进行全网络推断，显著提升预测性能。
2025-02-19 cs.AI cs.LG
Process monitoring based on orthogonal locality preserving projection with maximum likelihood estimation
Tsinghua University（清华大学）；University of Reading（雷丁大学）；Shandong University of Science and Technology（山东科技大学）
结合密度约简和本征维数估计两种有效的方法，提出了一种基于数据驱动的过程监控方法--正交局部保持投影-极大似然估计（OLPP-MLE）方法. OLPP用于降维，它提供了更好的局部保持能力比局部保持投影。然后，采用极大似然估计方法估计OLPP的本征维数。在建议的OLPP-MLE，两个新的静态故障检测措施$T_{\scriptscriptstyle {OLPP}}^2$和${\rm SPE}_{\scriptscriptstyle {OLPP}}$的定义。为了降低算法复杂度和忽略数据分布，采用核密度估计计算故障诊断阈值。三个案例研究证明了所提出的方法的有效性。
2020-12-13 cs.LG stat.ME
Reformulation of RBM to Unify Linear and Nonlinear Dimensionality Reduction
Aspen Technology Inc（阿斯彭技术公司）
本文通过最大后验估计和期望最大化算法重新表述受限玻尔兹曼机为确定性模型，提出无需MCMC的对比散度算法，统一了标量和向量变量的线性和非线性降维。
2026-05-26 cs.LG stat.ML
Projected Stein Variational Gradient Descent
Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
维数灾难是高维贝叶斯推理中的一个长期挑战。在这项工作中，我们提出了一个投影斯坦变分梯度下降（pSVGD）的方法来克服这一挑战，利用的基本属性的内在低维的数据知情的子空间源于不适定性的问题。我们自适应地构造子空间使用的梯度信息矩阵的对数似然，并应用pSVGD的参数投影的低得多的维系数。该方法比SVGD方法更准确、更高效。它也被证明是更可扩展的参数，样本，数据点，和处理器内核的数量，通过实验与参数尺寸范围从数百到数万。
2020-06-10 cs.LG stat.ML
Maximum Likelihood Estimation based on Random Subspace EDA: Application to Extrasolar Planet Detection
Nanjing University of Posts and Telecommunications（南京邮电大学）
本文讨论了极大似然（ML）估计模型拟合的背景下，太阳系外行星的检测。该问题具有以下特性：1）所考虑的候选模型是高度非线性的; 2）似然曲面具有大量的峰; 3）参数空间的大小从几个维度到几十个维度不等。这些属性使得ML搜索成为一个非常具有挑战性的问题，因为它缺乏任何分析或基于梯度的搜索解决方案来探索参数空间。采用基于种群的分布估计算法（EDA），从一批随机位置开始探索模型参数空间。EDA的特点是能够揭示和利用问题结构。该性质对于表征检测是期望的。然而，众所周知，EDAs不能很好地扩展到大规模的问题，因为它包括迭代随机采样和模型拟合过程，这导致了众所周知的两难灾难的维度。提出了一种在相关变量所构成的交互式随机子空间中进行EDA的新机制，希望通过在低维子空间中进行采样和模型拟合操作来缓解EDA的维数灾难。通过基准数值研究和实际数据分析验证了该算法的有效性。
2017-07-21 astro-ph.IM cs.LG cs.NE
Approximate Bayesian Computation with Domain Expert in the Loop
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
近似贝叶斯计算（ABC）是一种流行的似然自由推理方法，适用于具有复杂似然函数的模型。由于ABC方法通常依赖于比较观察数据和模拟数据的汇总统计量，因此统计量的选择至关重要。这种选择涉及信息损失和降维之间的权衡，并且通常基于领域知识来确定。然而，手工制作和选择合适的统计数据是一项艰巨的任务，涉及多个试错步骤。在这项工作中，我们引入了一种主动学习方法ABC统计选择，大大减少了领域专家的工作。与现有的降维方法不同，通过专家的参与，我们能够处理错误指定的模型。此外，实证结果显示更好的后验估计比现有的方法，当模拟预算是有限的。
2022-06-20 cs.LG stat.ML
Manifold-adaptive dimension estimation revisited
Wigner Research Centre for Physics（维格纳物理研究中心）；Semmelweis University（塞梅尔维斯大学）；National Institute of Clinical Neurosciences（国家临床神经科学研究所）；Péter Pázmány Catholic University（帕兹马尼·彼得天主教大学）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）；University of Pannonia（潘诺尼亚大学）
数据维度告诉我们数据的复杂性，并限制了成功的信号处理管道的结构。在这项工作中，我们重新审视和改进的流形自适应Farahmand-Szepesvári-Audibert（FSA）的尺寸估计，使其成为最好的最近邻为基础的尺寸估计。如果局部流形密度是均匀的，我们计算局部FSA估计的概率密度函数。基于概率密度函数，我们建议使用的中位数的局部估计作为一个基本的整体措施的内在维度，我们证明了这种渐近无偏估计量的优势，在以前提出的统计：模式和平均值。另外，从概率密度函数出发，我们导出了全局内禀维数的极大似然公式，如果i.i.d.保持。我们处理边缘和有限样本的影响与指数校正公式，校准超立方体数据集。我们比较了校正中值FSA估计与kNN估计的性能：极大似然（ML，Levina-Bickel）和DANCo的两种实现（R和matlab）。我们发现，校正中位数FSA估计击败ML估计，它是平等的基础上与DANCo标准的合成基准，根据平均百分比误差和错误率指标。与中位数FSA算法，我们揭示了不同的神经动力学的变化，而静息状态和癫痫发作期间。我们确定了低维动力学的大脑区域，这些区域可能是癫痫发作区的因果来源和候选者。
2020-08-10 cs.LG stat.ME stat.ML
Out-of-distribution detection using normalizing flows on the data manifold
针对归一化流因维数灾难在分布外检测中易失败的问题，提出结合低维流形距离与数据复杂度似然度量的新准则，无需修改模型或引入辅助数据即显著提升检测能力。
2025-01-29 cs.CV cs.LG
Exact Schur-Sylvester Dimensionality Reductions for Non-Smooth Stochastic Complexity and Manifold Sampling
Department of Mathematics, The Chinese University of Hong Kong（香港中文大学数学系）
提出利用块Schur补和Sylvester行列式恒等式，将非光滑估计器NML编码长度计算中投影和体积因子的复杂度从O(N^3)降至O(k^3+N^2k)，并推广到稀疏SVM、弹性网和组Lasso。
2026-06-24 cs.IT cs.LG math.IT
