Probabilistic Embeddings for Frozen Vision-Language Models: Uncertainty Quantification with Gaussian Process Latent Variable Models
Computer Vision Group, Friedrich Schiller University Jena（计算机视觉组，费迪里奇·施勒尔大学耶纳）
本文提出GroVE，一种基于高斯过程潜变量模型的事后方法，从冻结的视觉-语言模型中学习不确定性感知的概率嵌入，在跨模态检索、视觉问答和主动学习等任务上实现了最先进的不确定性校准。
2025-07-04 cs.CV cs.LG
TreeFlow: Going beyond Tree-based Gaussian Probabilistic Regression
Wrocław University of Science and Technology（沃拉夫大学科学与技术学院）
TreeFlow结合树集成与归一化流，实现对回归输出复杂分布的建模，取得多模态数据集上的SOTA结果。
2023-07-26 cs.LG
Probabilistic selection of inducing points in sparse Gaussian processes
University of Glasgow（格拉斯哥大学）
稀疏高斯过程及其各种扩展是通过诱导点实现的，这些诱导点同时限制了预测能力，并成为模型复杂性的主要贡献者。然而，诱导点的数量通常与不确定性无关，这阻止了我们应用贝叶斯推理的装置来确定适当的权衡。在这项工作中，我们放置一个点过程之前的诱导点和近似相关的后验通过随机变分推理。通过让先验知识鼓励适度数量的诱导点，我们使模型能够学习使用哪些点以及使用多少点。我们的实验表明，更少的诱导点是首选的模型，因为点变得信息量较少，并进一步展示了该方法可以用于深高斯过程和潜变量建模。
2021-07-25 cs.LG stat.ML
Intrinsic Gaussian Process on Unknown Manifolds with Probabilistic Metrics
University of Glasgow（格拉斯哥大学）；Spotify
本文提出了一种新的方法来构建内在高斯过程的回归未知流形上的概率度量（GPUM）的点云。在许多现实世界的应用中，人们经常会遇到以一些低维未知流形为中心的高维数据（例如点云数据）。流形的几何一般不同于通常的欧几里德几何。天真地将传统的平滑方法（如欧几里德高斯过程（GP））应用于流形值数据，因此忽略了空间的几何形状，可能会导致高度误导的预测和推断。嵌入高维欧氏空间的流形可以用概率映射函数和相应的潜空间来描述。我们使用贝叶斯高斯过程隐变量模型（BGPLVM）和黎曼几何来研究未知流形的几何结构。度量张量的分布使用BGPLVM学习。基于映射的不确定性量化来定义所得到的流形的边界。我们用概率度量张量来模拟未知流形上的布朗运动路径。该热核被估计为布朗运动的转移密度，并被用作GPUM的协方差函数。通过对瑞士卷、WiFi信号高维真实数据集和图像数据实例的仿真研究，说明了GPUM的应用。并将其性能与图拉普拉斯GP、图Matern GP和欧氏GP进行了比较。
2023-01-16 cs.LG stat.ME stat.ML
A probabilistic Taylor expansion with Gaussian processes
University of Helsinki（赫尔辛基大学）；University of Southampton（南安普顿大学）；Lund University（隆德大学）；Aalto University（阿尔托大学）
该研究提出一类基于Taylor核的高斯过程框架，其特定数据下的后验均值可复现任意阶截断泰勒展开，还证明了Taylor核参数最大似然估计的相关结果，是再生核希尔伯特空间正交数据下高斯过程回归的特例。
2023-08-28 cs.LG cs.NA math.NA
Random Feature Gaussian Process Attention: Linear-Time Probabilistic Attention with Calibrated Uncertainty
Sharif University of Technology（谢里夫理工大学）；The University of Hong Kong（香港大学）
本文提出随机傅里叶特征高斯过程注意力模块，将注意力视为GP后验，通过低秩近似实现线性时间复杂度的不确定性校准，在保持预测精度的同时提升校准性能。
2026-10-07 cs.LG
Non-parametric Probabilistic Load Flow using Gaussian Process Learning
School of Electrical and Electronics Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）
在这项工作中，我们提出了一个非参数的概率潮流（NP-PLF）技术的基础上高斯过程（GP）学习，以了解电力系统的行为下的不确定性，更好的操作决策。该技术可以提供“半显式”的潮流解决方案，通过实施的学习和测试步骤，映射控制变量的输入。建议的NP-PLF利用GP置信上限（GP-UCB）采样算法。该NP-PLF方法的显著特点是：i）适用于具有未知分布的功率注入不确定性的潮流问题; ii）提供概率学习界（PLB），进一步提供对误差和收敛的控制; iii）能够处理间歇性分布式发电以及负载不确定性，和iv）适用于不同类型和大小的电力系统的平衡和不平衡潮流。IEEE 30节点和IEEE 118节点系统的仿真结果表明，该方法可以学习的电压函数的功率注入子空间使用少量的训练样本。此外，不同的输入不确定性分布的测试表明，完整的统计信息可以获得的概率潮流问题的平均百分比相对误差的顺序$10^{-3}$ \%的50000个测试点。
2020-03-18 cs.LG cs.SY eess.SY
GPCA: A Probabilistic Framework for Gaussian Process Embedded Channel Attention
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；School of Electrical and Data Engineering, University of Technology Sydney（悉尼科技大学电气与数据工程学院）
通道注意力机制已被广泛应用于许多视觉任务中，以有效地提高绩效。它既能加强信息通道，又能抑制无用通道。最近，已经提出了不同的通道注意模块，并以各种方式实现。一般来说，它们主要基于卷积和池化操作。在本文中，我们提出了高斯过程嵌入信道注意（GPCA）模块，并进一步解释了信道注意机制的概率方式。GPCA模块旨在对通道之间的相关性进行建模，这些通道被假设为由beta分布变量捕获。由于beta分布无法通过数学上易于处理的解决方案集成到卷积神经网络（CNN）的端到端训练中，因此我们利用beta分布的近似来解决这个问题。为了说明，我们采用Sigmoid-Gaussian近似，其中高斯分布变量被转移到区间[0，1]中。然后利用高斯过程来模拟不同信道之间的相关性。在这种情况下，一个数学上易于处理的解决方案是派生。GPCA模块可以有效地实现并集成到CNN的端到端训练中。实验结果表明，所提出的GPCA模块的良好性能。代码可在https://github.com/PRIS-CV/GPCA上获得。
2021-08-10 cs.LG stat.ML
Hybrid Bayesian Neural Networks with Functional Probabilistic Layers
IBM（国际商业机器公司）
贝叶斯神经网络提供了一种直接和自然的方式来扩展标准深度神经网络，以通过使用概率层来支持概率深度学习，传统上，概率层对权重（和偏差）不确定性进行编码。具体地，混合贝叶斯神经网络利用标准确定性层以及在网络中合理定位的几个概率层来进行不确定性估计。贝叶斯推理的一个主要方面和好处是，先验知识原则上提供了对先验知识进行编码的方法，以用于推理和预测。然而，由于权重没有直观的解释，因此很难指定权重的先验知识。此外，权重的先验与网络计算的函数之间的关系很难表征。相比之下，函数解释起来很直观，并且是直接的，因为它们将输入映射到输出。因此，很自然地指定函数的先验知识来编码先验知识，并将它们用于基于函数的推理和预测。为了支持这一点，我们提出了混合贝叶斯神经网络与功能概率层编码功能（和激活）的不确定性。我们讨论了它们在函数贝叶斯推理、函数变分推理、稀疏高斯过程和稀疏变分高斯过程中的基础。我们进一步使用GPflus进行了一些概念验证实验，GPflus是一个新的库，提供高斯过程层，并支持它们与确定性Keras层一起使用，以形成混合神经网络和高斯过程模型。
2021-07-14 cs.LG stat.ML
Probabilistic Robust Linear Quadratic Regulators with Gaussian Processes
RWTH Aachen University（亚琛工业大学）；Ingenieurgesellschaft Auto und Verkehr (IAV)（IAV汽车与交通工程公司）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
高斯过程（GP）等概率模型是从数据中学习未知动力系统的有力工具，用于随后的控制设计。虽然基于学习的控制有可能在要求苛刻的应用中产生卓越的性能，但对不确定性的鲁棒性仍然是一个重要的挑战。由于贝叶斯方法量化了学习结果的不确定性，因此将这些不确定性纳入鲁棒设计是很自然的。与大多数考虑最坏情况估计的最先进方法相比，我们利用学习方法在控制器合成中的后验分布。其结果是在性能和鲁棒性之间实现了更明智、更有效的权衡。我们提出了一种新的控制器合成线性化GP动态，产生鲁棒控制器的概率稳定裕度。该公式是基于最近提出的线性二次型控制综合算法，我们扩展了概率鲁棒性保证的形式的可信界系统的stability.Comparison现有的方法的基础上最坏情况下和确定性等价设计显示优越的性能和鲁棒性所提出的方法。
2022-09-21 cs.LG cs.SY eess.SY
Neural Operator induced Gaussian Process framework for probabilistic solution of parametric partial differential equations
Indian Institute of Technology Delhi（印度德里理工学院）；Yardi School of Artificial Intelligence (ScAI)（亚迪人工智能学院（ScAI））
本文提出神经算子诱导高斯过程（NOGaP）框架，结合高斯过程概率特性与算子学习能力，为参数化偏微分方程求解提供高精度预测与可量化不确定性度量。
2024-04-24 cs.LG stat.ML
Hybrid Probabilistic Forecasting of Under-Five Malaria Admissions in Ghana: A Gaussian Process Regression with Holt-Winters Smoothing
GAEC, Ghana（加纳农业和粮食部）
针对加纳疟疾预测中季节性和数据不确定性挑战，提出结合高斯过程回归与Holt-Winters指数平滑的混合模型，实现概率性预测并评估其性能。
2026-05-30 cs.AI cs.LG math.PR
Infinite-dimensional spherical-radial decomposition for probabilistic functions, with application to constrained optimal control and Gaussian process regression
Courant Institute School of Mathematics, Computing and Data Science（Courant学院数学、计算与数据科学系）
本文提出hiSRD方法，通过结合子空间SRD与蒙特卡罗方法，实现无限维概率函数估计，用于解决机会约束优化和高斯过程回归中的问题。
2026-03-20 cs.LG cs.NA math.NA
Robustness bounds on the successful adversarial examples in probabilistic models: Implications from Gaussian processes
Institute of Information Security（信息安全研究所）；NTT TechnoCross Corporation（NTT TechnoCross公司）
该研究针对机器学习中的对抗样本攻击问题，基于高斯过程分类推导了成功对抗样本概率的新上界，揭示其与扰动范数、核函数及训练集异标签最近样本对距离相关且与样本分布无关，并通过ImageNet实验验证了结论。
2025-03-19 cs.CR cs.LG stat.ML
Probabilistic Spatiotemporal Modeling of Day-Ahead Wind Power Generation with Input-Warped Gaussian Processes
University of California Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Amazon（亚马逊公司）
提出一种基于输入扭曲高斯过程的日前风电功率时空概率模型，通过可分离时空核和时空输入扭曲捕捉非平稳性，并在ERCOT数据集上验证了其有效性。
2024-09-10 cs.LG cs.SY eess.SY
Attentive Gaussian processes for probabilistic time-series generation
University of Toronto（多伦多大学）
序列的转换主要是通过递归网络完成的，这对计算要求很高，并且经常严重低估不确定性。我们提出了一种计算效率高的基于注意力的网络，结合高斯过程回归生成实值序列，我们称之为Attentive-GP。该模型不仅通过免除递归和卷积提高了训练效率，而且还学习了贝叶斯表示的因子分解生成分布。然而，GP的存在排除了常用的小批量方法来训练注意力网络。因此，我们开发了一种分块训练算法，允许网络的小批量训练，而GP是使用全批量训练的，从而产生了一种可扩展的训练方法。该算法已被证明是收敛的，并显示出可比的，如果不是更好，找到的解决方案的质量。由于该算法不假设任何特定的网络架构，它可以用于广泛的混合模型，如神经网络与核心机器层的计算和存储器的资源稀缺。
2021-02-10 cs.LG stat.ML
Probabilistic Wind Power Modelling via Heteroscedastic Non-Stationary Gaussian Processes
Department of Statistical Science, University College London（统计科学系，伦敦大学学院）；Department of Engineering, University of Cambridge（工程系，剑桥大学）；Department of Statistics, Athens University of Economics and Business（统计系，雅典经济与商业大学）
针对风电功率预测中传统高斯过程模型无法同时处理非平稳性与异方差性的问题，本文提出基于广义谱混合核的异方差非平稳高斯过程框架，并在10分钟SCADA数据上验证了其优于平稳/非平稳GP变体及非GP概率基线的性能。
2025-11-09 cs.LG stat.AP stat.ML
Probabilistic Bearing Fault Diagnosis Using Gaussian Process with Tailored Feature Extraction
China Jiliang University（中国计量大学）；Michigan Technological University（密歇根理工大学）
滚动轴承由于长期在恶劣的环境下运行，容易出现各种故障，导致机械系统的意外故障，造成严重的事故。近年来，深度学习方法在数据驱动的轴承故障诊断中得到了广泛的应用。然而，目前的深度学习方法以确定性分类的形式进行轴承故障诊断，忽略了实际应用中不可避免地存在的不确定性。针对这一问题，本文提出了一种概率故障诊断框架，该框架能够考虑预测中的不确定性影响，具有一定的实际意义。该框架充分利用了高斯过程分类器（GPC）的概率特性。为了便于建立高保真GPC，在由各种核主成分分析（KPCA）方法和堆叠式自动编码器组成的方法池上，通过基于交叉验证的网格搜索，可以最优地确定具有降维方法的定制特征提取。该策略能够充分刻画特征与故障之间复杂的非线性关系。此外，传感器融合的概念，以提高诊断性能。与传统的深度学习方法相比，该框架通常需要较少的标记数据和较少的参数调整工作。系统的案例研究，使用公开访问的实验滚动轴承数据集进行验证这一新的框架。对影响故障诊断性能的各种因素也进行了深入的研究。
2021-09-19 cs.LG physics.data-an
Prediction of liquid fuel properties using machine learning models with Gaussian processes and probabilistic conditional generative learning
Federal University of Rio de Janeiro（里约热内卢联邦大学）；Queen Mary University of London（伦敦玛丽女王大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
在广泛的压力和温度条件下准确测定复杂混合物的燃料特性对于利用替代燃料至关重要。本工作的目的是构建廉价的计算机器学习（ML）模型作为封闭方程预测替代燃料的物理性质。这些模型可以使用来自MD模拟和/或数据融合保真度方法中的实验测量的数据库来训练。在这里，采用高斯过程（GP）和概率生成模型。GP是一种流行的非参数贝叶斯方法来建立代理模型，主要是因为它能够处理偶然和认知的不确定性。生成模型已经显示出具有相同意图的深度神经网络的能力。在这项工作中，ML分析集中在一个特定的属性，燃料密度，但它也可以扩展到其他物理化学性质。这项研究探讨了ML模型处理多保真度数据的多功能性。结果表明，ML模型可以准确地预测燃料的性质的压力和温度的范围很广的条件。
2021-10-18 cs.LG stat.ML
Metrics for Probabilistic Geometries
Sheffield Institute for Translational Neuroscience（谢菲尔德转化神经科学研究所）
我们使用黎曼几何的工具研究概率生成降维模型的几何结构。我们明确定义了一个分布在自然度量模型。我们提供了必要的算法来计算预期的度量张量的分布在映射是由一个高斯过程。我们将相应的隐变量模型视为一个黎曼流形，并利用度量在高斯过程下的期望来定义插值路径和测量隐点之间的距离。我们展示了如何尊重预期的度量距离导致更适当的新数据的生成。
2014-11-27 cs.LG stat.ML
Probabilistic structure discovery in time series data
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；Northeastern University（东北大学）
用于在时间序列数据中结构发现的现有方法构造用于高斯过程回归模型的可解释的组成内核。虽然学习的高斯过程模型提供后验均值和方差估计，但是通常经由贪婪优化过程来学习结构。这限制了可能的解决方案的空间，并导致过度自信的不确定性估计。我们引入了一个完全贝叶斯的方法，推断一个完整的后验结构，更可靠地捕捉模型的不确定性。
2016-11-21 cs.LG stat.ML
Hyperbolic Secant representation of the logistic function: Application to probabilistic Multiple Instance Learning for CT intracranial hemorrhage detection
University of Granada（格拉纳达大学）；Research Centre for Information and Communication Technologies, University of Granada（格拉纳达大学信息与通信技术研究中心）；Northwestern University（西北大学）；Center for Computational Imaging and Signal Analytics in Medicine, Northwestern University（西北大学医学计算成像与信号分析中心）
本文提出一种基于Pólya-Gamma随机变量和双曲正割分布的通用VGPMIL方法，通过引入Gamma分布构建新模型，在医学CT颅内出血检测等任务中实现了更优的预测性能与效率。
2024-03-21 cs.LG stat.ML
Flexible and Efficient Probabilistic PDE Solvers through Gaussian Markov Random Fields
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）
本文利用高斯过程先验的马尔可夫性质，通过随机偏微分方程离散化和稀疏线性代数大幅加速推理，使概率PDE求解器能够高效处理大规模非线性PDE，并支持更灵活的物理先验。
2025-03-11 cs.LG cs.NA math.NA
Gaussian Processes for Probabilistic Estimates of Earthquake Ground Shaking: A 1-D Proof-of-Concept
University of Oxford（牛津大学）；University of Exeter（埃克塞特大学）
本文提出基于可扩展GP回归融合多个重叠一维地震速度模型的概率工作流，量化模型不一致导致的地面运动预测不确定性。
2024-12-04 cs.LG physics.geo-ph stat.AP
Constrained Probabilistic Numerics: Gaussian Process Solvers for Linear PDEs under Linear Inequality Constraints
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Minnesota（明尼苏达大学）
该研究提出带线性不等式约束的线性PDE高斯过程求解器，通过联合条件化等式观测与不等式事件构造非高斯可计算后验，在泊松、期权、空气质量数据上验证其可显著降低误差、减少套利与负尾。
2026-10-12 cs.LG cs.NA math.NA
TimeGMM: Single-Pass Probabilistic Forecasting via Adaptive Gaussian Mixture Models with Reversible Normalization
University of Science and Technology of China（中国科学技术大学）
TimeGMM通过自适应高斯混合模型与可逆归一化实现单次传递概率预测，有效提升预测精度和分布匹配度。
2026-01-18 cs.AI cs.LG
Probabilistic Active Learning for Active Class Selection
University Kassel（卡塞尔大学）；University Magdeburg（马格德堡大学）
在机器学习中，主动类选择（ACS）算法旨在主动选择类并要求oracle为该类提供实例，以优化分类器的性能，同时最小化请求的数量。在本文中，我们提出了一个新的算法（PAL ACS），转换ACS问题转化为一个主动学习任务，通过引入伪实例。这些用于使用来自概率主动学习的性能增益模型来估计每个类的即将到来的实例的有用性。我们的实验评估（合成和真实数据）显示了我们的算法相比，国家的最先进的算法的优势。它有效地优先选择困难类的样本，从而提高分类性能。
2021-08-09 cs.AI cs.LG
GaussianFormer-2: Probabilistic Gaussian Superposition for Efficient 3D Occupancy Prediction
Tsinghua University（清华大学）；PhiGent Robotics（菲格特机器人公司）
针对3D语义占用预测中高斯表示大量描述空白区域的问题，本文提出概率高斯叠加、精确高斯混合语义计算和基于占用分布的初始化模块，GaussianFormer-2在nuScenes与KITTI-360上高效达到SOTA。
2024-12-06 cs.AI cs.CV cs.LG
Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model
Nanjing University of Science and Technology（南京理工大学）；Hong Kong Baptist University（香港浸会大学）；The University of Sydney（悉尼大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心（AIP））；Hong Kong Polytechnic University（香港理工大学）
数据量的急剧增加往往会带来数据质量的严重下降，如不正确的标签标注，这对鲁棒训练深度神经网络（DNN）提出了很大的挑战。现有的学习\mbox{methods}与标签噪声采用ad-hoc算法或限制到特定的噪声假设。然而，更一般的情况下，如依赖实例的标签噪声，还没有得到充分的探讨，因为很少的研究集中在他们的标签腐败过程。通过将实例分类为混淆实例和非混淆实例，本文提出了一种简单而通用的概率模型，该模型将噪声标签与其实例显式关联。所得到的模型可以通过DNN来实现，其中训练过程通过采用交替优化算法来完成。在具有合成和真实世界标签噪声的数据集上的实验验证了所提出的方法在鲁棒性上比最先进的方法有显着的改进。
2022-03-17 cs.LG stat.ML
Colon Nuclei Instance Segmentation using a Probabilistic Two-Stage Detector
University of Porto（波尔图大学）；Institute for Systems and Computer Engineering Technology and Science (INESC TEC)（系统与计算机工程技术与科学研究所（INESC TEC））；Czech Technical University（捷克理工大学）
癌症是发达国家的主要死因之一。癌症诊断是通过对可疑组织样本进行显微镜分析来进行的。这个过程既耗时又容易出错，但深度学习模型可以在癌症诊断过程中为病理学家提供帮助。我们建议更改CenterNet 2对象检测模型，以执行实例分割，我们称之为SegCenterNet 2。我们在CoNIC挑战数据集中训练SegCenterNet 2，并表明它在竞争指标中的表现优于Mask R-CNN。
2022-03-01 cs.CV cs.LG eess.IV
Probabilistic Gaussian Homotopy: A Probability-Space Continuation Framework for Nonconvex Optimization
University of British Columbia（不列颠哥伦比亚大学）；Colorado School of Mines（科罗拉多矿业学院）
提出概率高斯同伦（PGH）框架，通过变形玻尔兹曼分布和玻尔兹曼加权梯度聚合，实现非凸优化的概率空间延拓，并导出基于蒙特卡洛梯度估计的实用算法PGHO。
2026-06-04 cs.LG
Deep probabilistic model synthesis enables unified modeling of whole-brain neural activity across individual subjects
本文提出深度概率模型合成框架，通过整合系统属性数据，实现跨个体全脑神经活动的统一建模，提升单实例模型性能。
2026-10-14 cs.LG q-bio.NC
Multi-view Anomaly Detection via Probabilistic Latent Variable Models
NTT Communication Science Laboratories（NTT通信科学实验室）；Yahoo Labs（雅虎实验室）
我们提出了一个非参数贝叶斯概率潜变量模型的多视图异常检测，这是发现实例的任务，具有不一致的意见。与所提出的模型，一个非异常实例的所有视图被假定为从一个单一的潜在向量生成。另一方面，假设异常实例具有多个隐向量，并且其不同视图从不同的隐向量生成。通过推断每个实例使用的潜向量的数量与Dirichlet过程先验，我们得到多视图异常分数。该模型可以看作是一个强大的扩展的概率典型相关分析噪声多视图数据。我们提出了基于随机期望最大化算法的模型的贝叶斯推断程序。所提出的模型的有效性表现在性能方面时，检测多视图异常和插补缺失值的多视图数据与异常。
2014-11-13 cs.LG stat.ML
Probabilistic Deep Learning for Instance Segmentation
Charité University Hospital（夏里特大学医院）；Max Delbrück Center for Molecular Medicine（马克斯·德尔布吕克分子医学中心）；Berlin Institute of Health（柏林健康研究所）
概率卷积神经网络预测预测分布而不是点估计，导致了计算机视觉许多领域的最新进展，从图像重建到语义分割。除了最先进的基准结果外，这些网络还可以量化预测中的局部不确定性。这些被用在主动学习框架中，以针对专业注释者的标记工作或评估安全关键环境中的预测质量。然而，对于实例分割问题，这些方法迄今为止并不经常使用。我们试图缩小这一差距，提出了一个通用的方法来获得模型固有的不确定性估计内无提案实例分割模型。此外，我们分析了质量的不确定性估计与适应从语义分割的度量。我们在BBBC010 C上评估了我们的方法。elegans数据集，在那里它产生了有竞争力的性能，同时还预测了不确定性估计，这些估计携带了关于对象级不准确性的信息，如错误分割和错误合并。我们进行了模拟，以显示潜在的使用这种不确定性估计在指导校对。
2020-12-17 cs.CV cs.LG
Approximate Probabilistic Inference for Time-Series Data A Robust Latent Gaussian Model With Temporal Awareness
Karlstad University（卡尔斯塔德大学）
针对传统模型在非平稳时间序列预测中泛化差的问题，提出具有时间感知与鲁棒性的概率生成模型tDLGM，通过负对数损失和考虑数据趋势的正则化器优化，有效重建复杂时间序列并抵御噪声。
2024-11-15 cs.LG
ProMIL: Probabilistic Multiple Instance Learning for Medical Imaging
Faculty of Mathematics and Computer Science, Jagiellonian University（雅盖隆大学数学与计算机科学学院）；Faculty of Applied Computer Science, University of Information Technology and Management in Rzeszow（热舒夫信息技术与管理大学应用计算机科学学院）；Medical University of Gdansk（格但斯克医科大学）；UES Ltd.（UES有限公司）
针对传统基于实例的多示例学习正包判定规则不符合实际医学场景的问题，提出基于深度神经网络与伯恩斯坦多项式估计的ProMIL方法，可自动检测决策最优百分比阈值，在真实医学应用中性能优于标准方法，且已开源代码。
2024-03-12 cs.CV cs.LG eess.IV
Degenerate Gaussian factors for probabilistic inference
Stellenbosch University（斯泰伦博斯大学）
在本文中，我们提出了一个参数化的因素，使高斯网络的随机变量之间存在线性依赖关系的推断。我们的因子表示有效地概括了传统的高斯参数化，其中协方差矩阵的正定约束已经放松。为此，我们得出各种统计操作和结果（如随机变量的边缘化，乘法和仿射变换），扩展高斯因子的能力，这些退化的设置。通过使用这种原则性的因子定义，可以准确地和自动地适应退化，在很少的额外计算成本。作为说明，我们应用我们的方法，一个有代表性的例子涉及递归状态估计的合作移动机器人。
2022-08-04 cs.LG stat.ML
Learning Probabilistic Programs Using Backpropagation
Charles River Analytics（查尔斯河分析公司）
概率建模能够将领域知识与从数据中学习相结合，从而支持从比纯数据驱动方法更少的训练实例中学习。然而，学习概率模型是困难的，并且在许多任务上还没有达到诸如深度神经网络之类的方法的性能水平。在本文中，我们试图解决这个问题，提出了一种方法，使用反向传播的概率程序的参数学习。我们的方法开启了构建深度概率编程模型的可能性，这些模型以类似于神经网络的方式进行训练。
2017-05-15 cs.AI cs.LG stat.ML
Beyond normality: Learning sparse probabilistic graphical models in the non-Gaussian setting
MIT（麻省理工学院）
我们提出了一个算法来识别稀疏依赖结构在连续和非高斯概率分布，给定相应的数据集。任意分布的条件独立结构可以表示为无向图（或马尔可夫随机场），但大多数学习这种结构的算法仅限于离散或高斯情况。我们的新方法可以更真实和准确地描述所讨论的分布，从而更好地估计其稀疏马尔可夫结构。图中的稀疏性是有趣的，因为它可以加速推理，改进采样方法，并揭示变量之间的重要依赖关系。该算法依赖于利用图的稀疏性和运输地图的稀疏性之间的连接，确定性地将一个概率度量耦合到另一个概率度量。
2017-11-06 cs.LG stat.ML
Instance-Based Uncertainty Estimation for Gradient-Boosted Regression Trees
University of Oregon（俄勒冈大学）
回归树（GBRT）是解决表格回归问题的一种非常流行的方法，但它不能提供不确定性的估计。我们提出了基于实例的不确定性估计的回归树（IBUG），一个简单的方法扩展任何GBRT点预测产生概率预测。IBUG使用$k$最近的训练实例计算预测周围的非参数分布，其中距离是用树集成内核测量的。IBUG的运行时间取决于集合中每个叶子上的训练样本的数量，并且可以通过采样树或训练实例来改进。从经验上讲，我们发现IBUG在22个基准回归数据集上实现了类似或更好的性能。我们还发现，IBUG可以通过使用不同的基础GBRT模型来实现改进的概率性能，并且可以比竞争方法更灵活地建模预测的后验分布。我们还发现，以前的方法在某些数据集上的概率校准较差，这可以使用在验证数据上调整的标量因子来缓解。源代码可在https://www.github.com/jjbrophy47/ibug上获得。
2022-10-10 cs.LG
Probabilistic Point Cloud Modeling via Self-Organizing Gaussian Mixture Models
Carnegie Mellon University（卡内基梅隆大学）
这封信提出了一种连续的概率建模方法，空间点云数据使用有限高斯混合模型（GARCH）的组件的数量是适应场景的复杂性的基础上。已经提出了一些分层和自适应的方法来解决平衡模型保真度与大小的挑战。相反，最先进的映射方法需要针对特定用例调优参数，但不能在不同的环境中推广。为了解决这个问题，我们利用信息理论学习的自组织原理，根据传感器数据中的相关信息自动调整GMM模型的复杂性。该方法进行评估对现有的点云建模技术在现实世界的数据与不同程度的场景复杂性。
2023-03-13 cs.GR cs.LG cs.RO
Online probabilistic label trees
Poznan University of Technology（波兹南理工大学）；Yahoo Research（雅虎研究院）
我们引入了在线概率标签树（OPLT），这是一种以完全在线的方式训练标签树分类器的算法，而无需任何关于训练实例数量、特征和标签的先验知识。OPLT的特点是时间和空间复杂度低，理论保证强。它们可用于在线多标签和多类分类，包括非常具有挑战性的一次性或少样本学习场景。我们在对上述任务的几个实例进行的广泛实证研究中展示了OPLT的吸引力。
2021-03-26 cs.LG stat.ML
Physically Meaningful Uncertainty Quantification in Probabilistic Wind Turbine Power Curve Models as a Damage Sensitive Feature
University of Sheffield（谢菲尔德大学）；Vattenfall Research and Development（大瀑布电力研发公司）
风力涡轮机的功率曲线是容易获得的损伤敏感数据，因此是风力涡轮机结构健康监测的关键部分。功率曲线模型可以以多种方式构建，但作者认为概率方法在这种用例中具有固有的优势，例如不确定性量化和允许不确定性传播分析。许多概率功率曲线模型都有一个关键的限制，即它们在物理上没有意义-它们返回的平均值和不确定性预测超出了物理上可能的范围（风力涡轮机的最大和最小功率输出）。本文研究了使用两个有界高斯过程，以产生物理意义的概率功率曲线模型。研究的第一个模型是一个扭曲的异方差高斯过程，并被发现是无效的，由于特定的缺陷，高斯过程的扭曲功能。第二个模型-一个近似的高斯过程与贝塔可能性是非常成功的，并证明了一个工作有界概率模型的结果更好的预测不确定性比相应的无界一个没有意义的损失预测精度。这样的有界模型因此提供了性能监测的增加的准确性和由于保证的物理可扩展性而增加的操作者对模型的信心。
2022-09-30 cs.LG
Incorporating Side Information in Probabilistic Matrix Factorization with Gaussian Processes
University of Toronto（多伦多大学）
概率矩阵分解（PMF）是一种强大的方法，用于对与成对关系相关的数据进行建模，在协同过滤，计算生物学和文档分析等领域中使用。在许多领域中，还有其他信息可以帮助预测。例如，在建模电影评级时，我们可能知道评级发生的时间，用户住在哪里，或者电影中出现了什么演员。然而，很难将这些辅助信息纳入PMF模型。我们提出了一个框架，通过耦合多个PMF问题，通过高斯过程先验的边信息。我们用边信息空间上变化的函数代替标量潜在特征。这些功能的GP先验要求它们平滑地变化并共享信息。我们成功地使用这种新的方法来预测得分的职业篮球比赛，在比赛的场地和日期的边信息是相关的结果。
2010-03-25 cs.LG stat.ML
Noise-Resistant Deep Metric Learning with Probabilistic Instance Filtering
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；Shandong University（山东大学）
噪声标签是真实世界数据中的常见现象，它会导致深度神经网络的性能下降。手动清理数据是劳动密集型和耗时的。以前的研究主要集中在针对噪声标签增强分类模型，而深度度量学习（DML）对噪声标签的鲁棒性仍然没有得到很好的探索。在本文中，我们提出了基于概率排序的实例选择与内存（PRISM）方法的DML弥合这一重要差距。PRISM计算标签干净的概率，并过滤掉潜在的噪声样本。具体而言，我们提出了一种新的方法，即冯米塞斯-费舍尔分布相似性（vMF-Sim），通过估计每个数据类的冯米塞斯-费舍尔（vMF）分布来计算这种概率。与现有的平均相似度方法（AvgSim）相比，vMF-Sim在考虑平均相似度的基础上，还考虑了每个类的方差。通过这样的设计，所提出的方法可以处理具有挑战性的DML情况下，其中大多数的样本是嘈杂的。在合成和真实世界的噪声数据集上进行的大量实验表明，与最佳性能的最先进的基线方法相比，所提出的方法在合理的训练时间内实现了高达8.37%的精度@1。
2021-12-17 cs.CV cs.LG
Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models
Harvard University（哈佛大学）；Boston University（波士顿大学）
针对潜在高斯模型 EM 需大量矩阵求逆、难以扩展的问题，提出结合 Monte Carlo 采样与迭代线性求解器的概率展开方法，可更快估计梯度并实现近一个数量级的训练加速。
2023-06-05 cs.LG eess.SP stat.CO
Probabilistic Transformers
Apple（苹果公司）
我们证明了Transformers是混合高斯模型的最大后验概率估计。这给Transformers带来了概率的观点，并建议扩展到其他概率情况。
2020-11-12 cs.LG stat.ML
Probabilistic Margins for Instance Reweighting in Adversarial Training
Hong Kong Baptist University（香港浸会大学）；University of Technology Sydney（悉尼科技大学）；The University of Sydney（悉尼大学）；Nanjing University of Science and Technology（南京理工大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The University of Tokyo（东京大学）
最近已经证明，在训练期间重新加权对抗数据可以提高对抗鲁棒性，其中更接近当前决策边界的数据被认为是更关键的，并被赋予更大的权重。然而，现有的测量接近度的方法不是非常可靠：它们是离散的并且只能取几个值，并且它们是路径依赖的，即，它们可以在给定具有不同攻击路径的相同起点和终点的情况下改变。在本文中，我们提出了三种类型的概率边际（PM），它们是连续的和路径无关的，用于测量上述接近度和重新加权对抗数据。具体地，PM被定义为两个估计的类后验概率之间的差，例如，例如，给定一些自然数据，真实标签的概率减去最令人困惑的标签的概率。虽然不同的PM捕获不同的几何属性，但所有三种PM都与数据的脆弱性呈负相关：具有较大/较小PM的数据更安全/风险更大，并且应该具有较小/较大的权重。实验表明，PM是可靠的测量和PM为基础的重新加权方法优于国家的最先进的方法。
2022-03-17 cs.LG
Probabilistic Value Selection for Space Efficient Model
Living Analytics Research Centre（生活分析研究中心）；Singapore Management University（新加坡管理大学）；National Chiao Tung University（台湾交通大学）
提出了一种替代当前主流预处理方法的方法：值选择（VS）。与现有的方法不同，例如删除特征的特征选择和消除实例的实例选择，值选择消除数据集中的值（相对于每个特征），有两个目的：减少模型大小和保持其准确性。提出了两种基于信息论度量的概率方法：PVS和P + VS。这些结果与现有的预处理方法，如特征选择，特征变换，和实例选择方法进行了比较。实验结果表明，该方法能够在精度和模型规模缩减之间取得平衡.
2020-07-09 cs.IT cs.LG math.IT
Incorporating Side Information in Probabilistic Matrix Factorization with Gaussian Processes
University of Toronto（多伦多大学）；University of Edinburgh（爱丁堡大学）
概率矩阵分解（PMF）是一种强大的方法，用于对与成对关系相关的数据进行建模，在协作过滤、计算生物学和文档分析等领域中找到用途。在许多领域中，还有其他协变量可以帮助预测。例如，在建模电影评级时，我们可能知道评级发生的时间，用户住在哪里，或者电影中出现了什么演员。然而，很难将这些辅助信息纳入PMF模型。我们提出了一个框架，将边信息耦合在一起的多个PMF问题，通过高斯过程先验。我们用在协变量空间上变化的函数替换标量潜在特征。这些功能的GP先验要求它们平滑地变化并共享信息。我们应用这种新方法来预测职业篮球比赛的成绩，在比赛的场地和日期的边信息是相关的结果。
2014-08-09 cs.LG stat.ML
Dynamic Programming for Instance Annotation in Multi-instance Multi-label Learning
Oregon State University（俄勒冈州立大学）
为分类标记数据需要大量的人力。为了降低标签成本，而不是标记每个实例，一组实例（袋）由单个袋标签标记。然后使用计算机算法来推断袋子中每个实例的标签，这一过程称为实例注释。由于实例标签的模糊性，这项任务具有挑战性。我们提出了一个判别概率模型的实例注释问题，并引入了一个期望最大化的推理框架，基于极大似然方法。对于许多概率方法，给定其袋标签的实例标签后验概率的蛮力计算是袋中实例数量的指数。我们的主要贡献是一个动态规划方法计算的后验是线性的实例数。我们评估我们的方法使用基准和现实世界的数据集，在域的鸟鸣，图像注释和活动识别。在许多情况下，所提出的框架优于，有时显着，目前最先进的MIML学习方法，无论是在实例标签预测和袋标签预测。
2014-11-14 cs.LG stat.ML
Gaussian Mixture Attention: Linear-Time Sequence Mixing via Probabilistic Latent Routing
提出高斯混合注意力（GMA），用K个高斯混合分量的潜在路由替代逐对查询-键比较，实现固定K的线性内存缩放，在长上下文分类任务中与注意力基线竞争。
2026-06-18 cs.LG
A visual introduction to Gaussian Belief Propagation
Imperial College London（帝国理工学院）；DeepMind（深度思维）
在这篇文章中，我们提出了一个直观的介绍高斯信念传播（GBP），一个近似的概率推理算法，通过传递任意结构的因子图的节点之间的消息。作为循环置信传播的一种特殊情况，GBP更新仅依赖于本地信息，并且将独立于消息调度收敛。我们的主要论点是，考虑到最近的趋势，在计算硬件，GBP有正确的计算属性作为一个可扩展的分布式概率推理框架，为未来的机器学习系统。
2021-07-05 cs.AI cs.CV cs.LG
Probabilistic Neural Networks (PNNs) with t-Distributed Outputs: Adaptive Prediction Intervals Beyond Gaussian Assumptions
Department of Mathematical and Statistical Sciences University of Colorado Denver（数学与统计科学系 丹佛大学）
本文提出t分布神经网络，通过生成t分布输出提升神经网络在回归任务中的不确定性估计能力，特别适用于复杂输出分布场景。
2026-02-26 cs.LG stat.ML
