Incorporating Side Information in Probabilistic Matrix Factorization with Gaussian Processes
University of Toronto(多伦多大学);University of Edinburgh(爱丁堡大学)
概率矩阵分解(PMF)是一种强大的方法,用于对与成对关系相关的数据进行建模,在协作过滤、计算生物学和文档分析等领域中找到用途。在许多领域中,还有其他协变量可以帮助预测。例如,在建模电影评级时,我们可能知道评级发生的时间,用户住在哪里,或者电影中出现了什么演员。然而,很难将这些辅助信息纳入PMF模型。我们提出了一个框架,将边信息耦合在一起的多个PMF问题,通过高斯过程先验。我们用在协变量空间上变化的函数替换标量潜在特征。这些功能的GP先验要求它们平滑地变化并共享信息。我们应用这种新方法来预测职业篮球比赛的成绩,在比赛的场地和日期的边信息是相关的结果。
2014-08-09 cs.LG stat.ML
GPCA: A Probabilistic Framework for Gaussian Process Embedded Channel Attention
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);School of Electrical and Data Engineering, University of Technology Sydney(悉尼科技大学电气与数据工程学院)
通道注意力机制已被广泛应用于许多视觉任务中,以有效地提高绩效。它既能加强信息通道,又能抑制无用通道。最近,已经提出了不同的通道注意模块,并以各种方式实现。一般来说,它们主要基于卷积和池化操作。在本文中,我们提出了高斯过程嵌入信道注意(GPCA)模块,并进一步解释了信道注意机制的概率方式。GPCA模块旨在对通道之间的相关性进行建模,这些通道被假设为由beta分布变量捕获。由于beta分布无法通过数学上易于处理的解决方案集成到卷积神经网络(CNN)的端到端训练中,因此我们利用beta分布的近似来解决这个问题。为了说明,我们采用Sigmoid-Gaussian近似,其中高斯分布变量被转移到区间[0,1]中。然后利用高斯过程来模拟不同信道之间的相关性。在这种情况下,一个数学上易于处理的解决方案是派生。GPCA模块可以有效地实现并集成到CNN的端到端训练中。实验结果表明,所提出的GPCA模块的良好性能。代码可在https://github.com/PRIS-CV/GPCA上获得。
2021-08-10 cs.LG stat.ML
Hybrid Bayesian Neural Networks with Functional Probabilistic Layers
IBM(国际商业机器公司)
贝叶斯神经网络提供了一种直接和自然的方式来扩展标准深度神经网络,以通过使用概率层来支持概率深度学习,传统上,概率层对权重(和偏差)不确定性进行编码。具体地,混合贝叶斯神经网络利用标准确定性层以及在网络中合理定位的几个概率层来进行不确定性估计。贝叶斯推理的一个主要方面和好处是,先验知识原则上提供了对先验知识进行编码的方法,以用于推理和预测。然而,由于权重没有直观的解释,因此很难指定权重的先验知识。此外,权重的先验与网络计算的函数之间的关系很难表征。相比之下,函数解释起来很直观,并且是直接的,因为它们将输入映射到输出。因此,很自然地指定函数的先验知识来编码先验知识,并将它们用于基于函数的推理和预测。为了支持这一点,我们提出了混合贝叶斯神经网络与功能概率层编码功能(和激活)的不确定性。我们讨论了它们在函数贝叶斯推理、函数变分推理、稀疏高斯过程和稀疏变分高斯过程中的基础。我们进一步使用GPflus进行了一些概念验证实验,GPflus是一个新的库,提供高斯过程层,并支持它们与确定性Keras层一起使用,以形成混合神经网络和高斯过程模型。
2021-07-14 cs.LG stat.ML
Neural Operator induced Gaussian Process framework for probabilistic solution of parametric partial differential equations
Indian Institute of Technology Delhi(印度德里理工学院);Yardi School of Artificial Intelligence (ScAI)(亚迪人工智能学院(ScAI))
本文提出神经算子诱导高斯过程(NOGaP)框架,结合高斯过程概率特性与算子学习能力,为参数化偏微分方程求解提供高精度预测与可量化不确定性度量。
2024-04-24 cs.LG stat.ML
Probabilistic Neural Networks (PNNs) with t-Distributed Outputs: Adaptive Prediction Intervals Beyond Gaussian Assumptions
Department of Mathematical and Statistical Sciences University of Colorado Denver(数学与统计科学系 丹佛大学)
本文提出t分布神经网络,通过生成t分布输出提升神经网络在回归任务中的不确定性估计能力,特别适用于复杂输出分布场景。
2026-02-26 cs.LG stat.ML
Probabilistic Classification by Density Estimation Using Gaussian Mixture Model and Masked Autoregressive Flow
University of Waterloo(滑铁卢大学);Drexel University(德雷塞尔大学)
本文提出利用高斯混合模型和掩码自回归流进行密度估计,以建模类别似然实现分类,优于线性判别分析,为概率分类器开辟新方向。
2023-10-16 cs.LG cs.NE stat.ML
Deep Gaussian Covariance Network with Trajectory Sampling for Data-Efficient Policy Search
Zalando SE(扎兰多公司);Institute for Modelling and High Performance Computing(建模与高性能计算研究所);Niederrhein University of Applied Sciences(下莱茵应用科学大学)
提出结合轨迹采样与深度高斯协方差网络(DGCN)的方法,通过概率世界模型提升基于模型的强化学习在最优控制中的数据效率与策略鲁棒性。
2024-03-23 cs.LG stat.ML
Attentive Gaussian processes for probabilistic time-series generation
University of Toronto(多伦多大学)
序列的转换主要是通过递归网络完成的,这对计算要求很高,并且经常严重低估不确定性。我们提出了一种计算效率高的基于注意力的网络,结合高斯过程回归生成实值序列,我们称之为Attentive-GP。该模型不仅通过免除递归和卷积提高了训练效率,而且还学习了贝叶斯表示的因子分解生成分布。然而,GP的存在排除了常用的小批量方法来训练注意力网络。因此,我们开发了一种分块训练算法,允许网络的小批量训练,而GP是使用全批量训练的,从而产生了一种可扩展的训练方法。该算法已被证明是收敛的,并显示出可比的,如果不是更好,找到的解决方案的质量。由于该算法不假设任何特定的网络架构,它可以用于广泛的混合模型,如神经网络与核心机器层的计算和存储器的资源稀缺。
2021-02-10 cs.LG stat.ML
Sampling of Bayesian posteriors with a non-Gaussian probabilistic learning on manifolds from a small dataset
Université Paris-Est Marne-la-Vallée(巴黎东马恩拉瓦莱大学);University of Southern California(南加州大学)
本文解决了小数据对贝叶斯推断任务的挑战。在以下假设下,提出了一种基于流形学习和流形抽样的新方法来解决这个计算统计问题:1)先验模型和似然函数都不是高斯函数,也都不能用高斯度量来近似; 2)函数输入的数量(系统参数)和功能输出(兴趣量)可以很大; 3)先验模型的可用实现数量少,导致通常与昂贵的数值模拟相关联的小数据挑战;实验实现的数量也很小; 4)决策所需的后验实现的数量远大于可用的初始数据集。方法和它的数学方面进行了详细说明。三个应用程序进行验证:前两个涉及的数学结构,旨在发展直觉的方法,并探讨其性能。第三个例子的目的是使用一个更复杂的应用程序来证明该方法的操作价值,该应用程序涉及使用超声波对受损生物组织(皮质骨中的骨质疏松症)的非高斯矩阵值随机弹性场进行统计逆识别。
2019-10-28 cs.LG stat.ML
Probabilistic Programming with Gaussian Process Memoization
Royal Holloway, University of London(伦敦大学皇家霍洛威学院);Massachusetts Institute of Technology(麻省理工学院)
高斯过程(GPs)是统计学、机器学习、机器人学、计算机视觉和科学计算中广泛使用的工具。然而,尽管它们很受欢迎,但它们很难应用;除了最简单的分类或回归应用程序之外,所有应用程序都需要对复杂的协方差函数进行规范和推断,而这些函数不允许简单的分析后验。本文展示了如何嵌入高斯过程中的任何高阶概率程序设计语言,使用基于记忆的习惯用法,并通过实现和扩展经典和国家的最先进的GP应用程序演示其实用性。高斯过程的接口,称为gptom,将任意实值计算过程作为输入,并返回一个统计仿真器,该仿真器会在调用原始过程并记录其输入输出行为时自动改进。gptom的灵活性说明通过三个应用程序:(i)强大的GP回归与分层超参数学习,(ii)发现符号表达式的时间序列数据通过完全贝叶斯结构学习的随机语法生成的内核,和(iii)一个强盗配方的贝叶斯优化与自动推理和动作选择。所有应用程序都共享一个50行的Python库,每个应用程序只需要不到20行的概率代码。
2016-01-05 cs.AI cs.LG stat.ML
Prediction of liquid fuel properties using machine learning models with Gaussian processes and probabilistic conditional generative learning
Federal University of Rio de Janeiro(里约热内卢联邦大学);Queen Mary University of London(伦敦玛丽女王大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心)
在广泛的压力和温度条件下准确测定复杂混合物的燃料特性对于利用替代燃料至关重要。本工作的目的是构建廉价的计算机器学习(ML)模型作为封闭方程预测替代燃料的物理性质。这些模型可以使用来自MD模拟和/或数据融合保真度方法中的实验测量的数据库来训练。在这里,采用高斯过程(GP)和概率生成模型。GP是一种流行的非参数贝叶斯方法来建立代理模型,主要是因为它能够处理偶然和认知的不确定性。生成模型已经显示出具有相同意图的深度神经网络的能力。在这项工作中,ML分析集中在一个特定的属性,燃料密度,但它也可以扩展到其他物理化学性质。这项研究探讨了ML模型处理多保真度数据的多功能性。结果表明,ML模型可以准确地预测燃料的性质的压力和温度的范围很广的条件。
2021-10-18 cs.LG stat.ML
Metrics for Probabilistic Geometries
Sheffield Institute for Translational Neuroscience(谢菲尔德转化神经科学研究所)
我们使用黎曼几何的工具研究概率生成降维模型的几何结构。我们明确定义了一个分布在自然度量模型。我们提供了必要的算法来计算预期的度量张量的分布在映射是由一个高斯过程。我们将相应的隐变量模型视为一个黎曼流形,并利用度量在高斯过程下的期望来定义插值路径和测量隐点之间的距离。我们展示了如何尊重预期的度量距离导致更适当的新数据的生成。
2014-11-27 cs.LG stat.ML
Intrinsic Gaussian Process on Unknown Manifolds with Probabilistic Metrics
University of Glasgow(格拉斯哥大学);Spotify
本文提出了一种新的方法来构建内在高斯过程的回归未知流形上的概率度量(GPUM)的点云。在许多现实世界的应用中,人们经常会遇到以一些低维未知流形为中心的高维数据(例如点云数据)。流形的几何一般不同于通常的欧几里德几何。天真地将传统的平滑方法(如欧几里德高斯过程(GP))应用于流形值数据,因此忽略了空间的几何形状,可能会导致高度误导的预测和推断。嵌入高维欧氏空间的流形可以用概率映射函数和相应的潜空间来描述。我们使用贝叶斯高斯过程隐变量模型(BGPLVM)和黎曼几何来研究未知流形的几何结构。度量张量的分布使用BGPLVM学习。基于映射的不确定性量化来定义所得到的流形的边界。我们用概率度量张量来模拟未知流形上的布朗运动路径。该热核被估计为布朗运动的转移密度,并被用作GPUM的协方差函数。通过对瑞士卷、WiFi信号高维真实数据集和图像数据实例的仿真研究,说明了GPUM的应用。并将其性能与图拉普拉斯GP、图Matern GP和欧氏GP进行了比较。
2023-01-16 cs.LG stat.ME stat.ML
Probabilistic structure discovery in time series data
University of Cambridge(剑桥大学);University of Oxford(牛津大学);Northeastern University(东北大学)
用于在时间序列数据中结构发现的现有方法构造用于高斯过程回归模型的可解释的组成内核。虽然学习的高斯过程模型提供后验均值和方差估计,但是通常经由贪婪优化过程来学习结构。这限制了可能的解决方案的空间,并导致过度自信的不确定性估计。我们引入了一个完全贝叶斯的方法,推断一个完整的后验结构,更可靠地捕捉模型的不确定性。
2016-11-21 cs.LG stat.ML
A Probabilistic Framework for Nonlinearities in Stochastic Neural Networks
Duke University(杜克大学)
我们提出了一个概率框架的非线性,基于双截断高斯分布。通过适当地设置截断点,我们能够在一个统一的框架内生成各种类型的非线性,包括sigmoid,tanh和ReLU,这是神经网络中最常用的非线性。该框架很容易集成到现有的随机神经网络(隐藏单元的特点是随机变量),允许第一次学习这些网络中的模型权重旁边的非线性。大量的实验表明,所提出的框架与限制玻尔兹曼机(RBM),时间RBM和截断高斯图形模型(TGGM)集成时所带来的性能改进。
2017-09-18 cs.LG stat.ML
Probabilistic Gaussian Homotopy: A Probability-Space Continuation Framework for Nonconvex Optimization
University of British Columbia(不列颠哥伦比亚大学);Colorado School of Mines(科罗拉多矿业学院)
提出概率高斯同伦(PGH)框架,通过变形玻尔兹曼分布和玻尔兹曼加权梯度聚合,实现非凸优化的概率空间延拓,并导出基于蒙特卡洛梯度估计的实用算法PGHO。
2026-06-04 cs.LG
Robustness bounds on the successful adversarial examples in probabilistic models: Implications from Gaussian processes
Institute of Information Security(信息安全研究所);NTT TechnoCross Corporation(NTT TechnoCross公司)
该研究针对机器学习中的对抗样本攻击问题,基于高斯过程分类推导了成功对抗样本概率的新上界,揭示其与扰动范数、核函数及训练集异标签最近样本对距离相关且与样本分布无关,并通过ImageNet实验验证了结论。
2025-03-19 cs.CR cs.LG stat.ML
GaussianFormer-2: Probabilistic Gaussian Superposition for Efficient 3D Occupancy Prediction
Tsinghua University(清华大学);PhiGent Robotics(菲格特机器人公司)
针对3D语义占用预测中高斯表示大量描述空白区域的问题,本文提出概率高斯叠加、精确高斯混合语义计算和基于占用分布的初始化模块,GaussianFormer-2在nuScenes与KITTI-360上高效达到SOTA。
2024-12-06 cs.AI cs.CV cs.LG
Identifiability of Potentially Degenerate Gaussian Mixture Models With Piecewise Affine Mixing
University of Amsterdam(阿姆斯特丹大学);Samsung AI Lab, Montreal(蒙特利尔三星人工智能实验室);Saarland University & University of Amsterdam(萨尔州立大学与阿姆斯特丹大学)
本文研究了在分段仿射混合函数下,潜在退化高斯混合模型的可识别性问题,提出通过稀疏正则化和高斯性约束的两阶段方法来估计潜在变量。
2026-04-14 cs.AI cs.LG math.ST
Probabilistic Wind Power Modelling via Heteroscedastic Non-Stationary Gaussian Processes
Department of Statistical Science, University College London(统计科学系,伦敦大学学院);Department of Engineering, University of Cambridge(工程系,剑桥大学);Department of Statistics, Athens University of Economics and Business(统计系,雅典经济与商业大学)
针对风电功率预测中传统高斯过程模型无法同时处理非平稳性与异方差性的问题,本文提出基于广义谱混合核的异方差非平稳高斯过程框架,并在10分钟SCADA数据上验证了其优于平稳/非平稳GP变体及非GP概率基线的性能。
2025-11-09 cs.LG stat.AP stat.ML
Approximate Probabilistic Inference for Time-Series Data A Robust Latent Gaussian Model With Temporal Awareness
Karlstad University(卡尔斯塔德大学)
针对传统模型在非平稳时间序列预测中泛化差的问题,提出具有时间感知与鲁棒性的概率生成模型tDLGM,通过负对数损失和考虑数据趋势的正则化器优化,有效重建复杂时间序列并抵御噪声。
2024-11-15 cs.LG
Flow Matching with Gaussian Process Priors for Probabilistic Time Series Forecasting
School of Computation, Information and Technology, Technical University of Munich(计算、信息与技术学院,慕尼黑技术大学);Munich Data Science Institute(慕尼黑数据科学研究所);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出 TSFlow 条件流匹配模型,利用高斯过程、最优传输路径和数据依赖先验缩小先验与时间序列数据分布差异,并通过条件先验采样支持概率预测。
2025-05-11 cs.AI cs.LG stat.ML
Probabilistic analysis of solar cell optical performance using Gaussian processes
Center for High Technology Materials(高技术材料中心);University of New Mexico(新墨西哥大学)
这项工作研究应用不同的机器学习为基础的预测方法来估计硅基纹理细胞的性能。引入了置信限域的概念,并详细讨论了置信限域的优点。结果表明,利用高斯过程可以准确地估计出反射剖面和深度相关的光产生剖面,并对预测值中的不确定性有精确的认识,同时也表明可以根据所需的性能指标来估计单元设计参数。
2021-06-26 cs.LG eess.IV physics.optics
TimeGMM: Single-Pass Probabilistic Forecasting via Adaptive Gaussian Mixture Models with Reversible Normalization
University of Science and Technology of China(中国科学技术大学)
TimeGMM通过自适应高斯混合模型与可逆归一化实现单次传递概率预测,有效提升预测精度和分布匹配度。
2026-01-18 cs.AI cs.LG
Probabilistic Embeddings for Frozen Vision-Language Models: Uncertainty Quantification with Gaussian Process Latent Variable Models
Computer Vision Group, Friedrich Schiller University Jena(计算机视觉组,费迪里奇·施勒尔大学耶纳)
本文提出GroVE,一种基于高斯过程潜变量模型的事后方法,从冻结的视觉-语言模型中学习不确定性感知的概率嵌入,在跨模态检索、视觉问答和主动学习等任务上实现了最先进的不确定性校准。
2025-07-04 cs.CV cs.LG
Probabilistic Point Cloud Modeling via Self-Organizing Gaussian Mixture Models
Carnegie Mellon University(卡内基梅隆大学)
这封信提出了一种连续的概率建模方法,空间点云数据使用有限高斯混合模型(GARCH)的组件的数量是适应场景的复杂性的基础上。已经提出了一些分层和自适应的方法来解决平衡模型保真度与大小的挑战。相反,最先进的映射方法需要针对特定用例调优参数,但不能在不同的环境中推广。为了解决这个问题,我们利用信息理论学习的自组织原理,根据传感器数据中的相关信息自动调整GMM模型的复杂性。该方法进行评估对现有的点云建模技术在现实世界的数据与不同程度的场景复杂性。
2023-03-13 cs.GR cs.LG cs.RO
TreeFlow: Going beyond Tree-based Gaussian Probabilistic Regression
Wrocław University of Science and Technology(沃拉夫大学科学与技术学院)
TreeFlow结合树集成与归一化流,实现对回归输出复杂分布的建模,取得多模态数据集上的SOTA结果。
2023-07-26 cs.LG
Physically Meaningful Uncertainty Quantification in Probabilistic Wind Turbine Power Curve Models as a Damage Sensitive Feature
University of Sheffield(谢菲尔德大学);Vattenfall Research and Development(大瀑布电力研发公司)
风力涡轮机的功率曲线是容易获得的损伤敏感数据,因此是风力涡轮机结构健康监测的关键部分。功率曲线模型可以以多种方式构建,但作者认为概率方法在这种用例中具有固有的优势,例如不确定性量化和允许不确定性传播分析。许多概率功率曲线模型都有一个关键的限制,即它们在物理上没有意义-它们返回的平均值和不确定性预测超出了物理上可能的范围(风力涡轮机的最大和最小功率输出)。本文研究了使用两个有界高斯过程,以产生物理意义的概率功率曲线模型。研究的第一个模型是一个扭曲的异方差高斯过程,并被发现是无效的,由于特定的缺陷,高斯过程的扭曲功能。第二个模型-一个近似的高斯过程与贝塔可能性是非常成功的,并证明了一个工作有界概率模型的结果更好的预测不确定性比相应的无界一个没有意义的损失预测精度。这样的有界模型因此提供了性能监测的增加的准确性和由于保证的物理可扩展性而增加的操作者对模型的信心。
2022-09-30 cs.LG
Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models
Harvard University(哈佛大学);Boston University(波士顿大学)
针对潜在高斯模型 EM 需大量矩阵求逆、难以扩展的问题,提出结合 Monte Carlo 采样与迭代线性求解器的概率展开方法,可更快估计梯度并实现近一个数量级的训练加速。
2023-06-05 cs.LG eess.SP stat.CO
A probabilistic Taylor expansion with Gaussian processes
University of Helsinki(赫尔辛基大学);University of Southampton(南安普顿大学);Lund University(隆德大学);Aalto University(阿尔托大学)
该研究提出一类基于Taylor核的高斯过程框架,其特定数据下的后验均值可复现任意阶截断泰勒展开,还证明了Taylor核参数最大似然估计的相关结果,是再生核希尔伯特空间正交数据下高斯过程回归的特例。
2023-08-28 cs.LG cs.NA math.NA
Random Feature Gaussian Process Attention: Linear-Time Probabilistic Attention with Calibrated Uncertainty
Sharif University of Technology(谢里夫理工大学);The University of Hong Kong(香港大学)
本文提出随机傅里叶特征高斯过程注意力模块,将注意力视为GP后验,通过低秩近似实现线性时间复杂度的不确定性校准,在保持预测精度的同时提升校准性能。
2026-10-07 cs.LG
Non-parametric Probabilistic Load Flow using Gaussian Process Learning
School of Electrical and Electronics Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院)
在这项工作中,我们提出了一个非参数的概率潮流(NP-PLF)技术的基础上高斯过程(GP)学习,以了解电力系统的行为下的不确定性,更好的操作决策。该技术可以提供“半显式”的潮流解决方案,通过实施的学习和测试步骤,映射控制变量的输入。建议的NP-PLF利用GP置信上限(GP-UCB)采样算法。该NP-PLF方法的显著特点是:i)适用于具有未知分布的功率注入不确定性的潮流问题; ii)提供概率学习界(PLB),进一步提供对误差和收敛的控制; iii)能够处理间歇性分布式发电以及负载不确定性,和iv)适用于不同类型和大小的电力系统的平衡和不平衡潮流。IEEE 30节点和IEEE 118节点系统的仿真结果表明,该方法可以学习的电压函数的功率注入子空间使用少量的训练样本。此外,不同的输入不确定性分布的测试表明,完整的统计信息可以获得的概率潮流问题的平均百分比相对误差的顺序$10^{-3}$ \%的50000个测试点。
2020-03-18 cs.LG cs.SY eess.SY
Probabilistic Robust Linear Quadratic Regulators with Gaussian Processes
RWTH Aachen University(亚琛工业大学);Ingenieurgesellschaft Auto und Verkehr (IAV)(IAV汽车与交通工程公司);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
高斯过程(GP)等概率模型是从数据中学习未知动力系统的有力工具,用于随后的控制设计。虽然基于学习的控制有可能在要求苛刻的应用中产生卓越的性能,但对不确定性的鲁棒性仍然是一个重要的挑战。由于贝叶斯方法量化了学习结果的不确定性,因此将这些不确定性纳入鲁棒设计是很自然的。与大多数考虑最坏情况估计的最先进方法相比,我们利用学习方法在控制器合成中的后验分布。其结果是在性能和鲁棒性之间实现了更明智、更有效的权衡。我们提出了一种新的控制器合成线性化GP动态,产生鲁棒控制器的概率稳定裕度。该公式是基于最近提出的线性二次型控制综合算法,我们扩展了概率鲁棒性保证的形式的可信界系统的stability.Comparison现有的方法的基础上最坏情况下和确定性等价设计显示优越的性能和鲁棒性所提出的方法。
2022-09-21 cs.LG cs.SY eess.SY
Infinite-dimensional spherical-radial decomposition for probabilistic functions, with application to constrained optimal control and Gaussian process regression
Courant Institute School of Mathematics, Computing and Data Science(Courant学院数学、计算与数据科学系)
本文提出hiSRD方法,通过结合子空间SRD与蒙特卡罗方法,实现无限维概率函数估计,用于解决机会约束优化和高斯过程回归中的问题。
2026-03-20 cs.LG cs.NA math.NA
Gaussian Mixture Attention: Linear-Time Sequence Mixing via Probabilistic Latent Routing
提出高斯混合注意力(GMA),用K个高斯混合分量的潜在路由替代逐对查询-键比较,实现固定K的线性内存缩放,在长上下文分类任务中与注意力基线竞争。
2026-06-18 cs.LG
Probabilistic Spatiotemporal Modeling of Day-Ahead Wind Power Generation with Input-Warped Gaussian Processes
University of California Santa Barbara(加利福尼亚大学圣巴巴拉分校);Amazon(亚马逊公司)
提出一种基于输入扭曲高斯过程的日前风电功率时空概率模型,通过可分离时空核和时空输入扭曲捕捉非平稳性,并在ERCOT数据集上验证了其有效性。
2024-09-10 cs.LG cs.SY eess.SY
Constrained Probabilistic Numerics: Gaussian Process Solvers for Linear PDEs under Linear Inequality Constraints
Johns Hopkins University(约翰斯·霍普金斯大学);University of Minnesota(明尼苏达大学)
该研究提出带线性不等式约束的线性PDE高斯过程求解器,通过联合条件化等式观测与不等式事件构造非高斯可计算后验,在泊松、期权、空气质量数据上验证其可显著降低误差、减少套利与负尾。
2026-10-12 cs.LG cs.NA math.NA
A New Probabilistic Distance Metric With Application In Gaussian Mixture Reduction
University of Toronto(多伦多大学)
本文提出一种满足所有度量性质且对高斯混合有解析闭式解的新型概率距离度量,基于此开发了OGGMR算法用于高斯混合约简,相比现有算法在保留原混合几何形状的同时更快速高效。
2023-06-12 cs.LG stat.AP stat.CO
Probabilistic Bearing Fault Diagnosis Using Gaussian Process with Tailored Feature Extraction
China Jiliang University(中国计量大学);Michigan Technological University(密歇根理工大学)
滚动轴承由于长期在恶劣的环境下运行,容易出现各种故障,导致机械系统的意外故障,造成严重的事故。近年来,深度学习方法在数据驱动的轴承故障诊断中得到了广泛的应用。然而,目前的深度学习方法以确定性分类的形式进行轴承故障诊断,忽略了实际应用中不可避免地存在的不确定性。针对这一问题,本文提出了一种概率故障诊断框架,该框架能够考虑预测中的不确定性影响,具有一定的实际意义。该框架充分利用了高斯过程分类器(GPC)的概率特性。为了便于建立高保真GPC,在由各种核主成分分析(KPCA)方法和堆叠式自动编码器组成的方法池上,通过基于交叉验证的网格搜索,可以最优地确定具有降维方法的定制特征提取。该策略能够充分刻画特征与故障之间复杂的非线性关系。此外,传感器融合的概念,以提高诊断性能。与传统的深度学习方法相比,该框架通常需要较少的标记数据和较少的参数调整工作。系统的案例研究,使用公开访问的实验滚动轴承数据集进行验证这一新的框架。对影响故障诊断性能的各种因素也进行了深入的研究。
2021-09-19 cs.LG physics.data-an
Backpropagation-Free Test-Time Adaptation via Probabilistic Gaussian Alignment
Sungkyunkwan University(庆尚大学);Amazon(亚马逊)
本文提出ADAPT方法,通过概率高斯推断任务实现测试时间适应,无需反向传播或梯度更新,提升模型在分布偏移下的鲁棒性和可扩展性。
2026-11-03 cs.CV cs.LG
Flexible and Efficient Probabilistic PDE Solvers through Gaussian Markov Random Fields
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
本文利用高斯过程先验的马尔可夫性质,通过随机偏微分方程离散化和稀疏线性代数大幅加速推理,使概率PDE求解器能够高效处理大规模非线性PDE,并支持更灵活的物理先验。
2025-03-11 cs.LG cs.NA math.NA
Gaussian Processes for Probabilistic Estimates of Earthquake Ground Shaking: A 1-D Proof-of-Concept
University of Oxford(牛津大学);University of Exeter(埃克塞特大学)
本文提出基于可扩展GP回归融合多个重叠一维地震速度模型的概率工作流,量化模型不一致导致的地面运动预测不确定性。
2024-12-04 cs.LG physics.geo-ph stat.AP
Hilbert geometry of the symmetric positive-definite bicone: Application to the geometry of the extended Gaussian family
Department of Computer Science University of Oxford, UK(牛津大学计算机科学系);Sony Computer Science Laboratories Inc.(索尼计算机科学实验室)
本文研究对称正定双锥的希尔伯特几何,给出扩展高斯族对应希尔伯特度量距离的闭式公式并分析其不变性,为处理扩展高斯分布提供几何工具。
2025-08-20 cs.CG cs.LG math.PR
Gaussian Process Regression for Probabilistic Short-term Solar Output Forecast
Fatemeh Najibi, Dimitra Apostolopoulou
随着对气候变化的日益关注,可再生资源如光伏(PV)作为一种能源产生手段已经得到普及。这些资源在电力系统运行中的平滑整合是通过精确的预测机制来实现的,该机制解决了这些资源固有的不稳定性和可变性。本文提出了一个概率框架来预测短期光伏发电量,考虑到天气的不确定性。为此,我们利用包括功率输出和气象数据(如辐照度、温度、天顶和方位角)的数据集。首先,我们使用k-means聚类根据太阳能输出和时间将数据分为四组。接下来,进行相关性研究,以选择在更大程度上影响太阳能输出的天气特征。最后,我们通过使用高斯过程回归和Matern 5/2作为核函数来确定将上述所选特征与太阳能输出相关联的函数。我们验证了我们的方法与五个太阳能发电厂在不同的位置,并与现有的方法的结果进行比较。更具体地说,为了测试所提出的模型,使用了两种不同的方法:(i)5倍交叉验证;和(ii)保持30个随机天作为测试数据。为了确认模型的准确性,我们在四个集群中的每个集群上应用我们的框架30次。平均误差遵循正态分布,在95%置信水平下,其取值范围为-1.6%至1.4%。
2020-02-23 cs.LG eess.SP stat.AP
Hybrid Probabilistic Forecasting of Under-Five Malaria Admissions in Ghana: A Gaussian Process Regression with Holt-Winters Smoothing
GAEC, Ghana(加纳农业和粮食部)
针对加纳疟疾预测中季节性和数据不确定性挑战,提出结合高斯过程回归与Holt-Winters指数平滑的混合模型,实现概率性预测并评估其性能。
2026-05-30 cs.AI cs.LG math.PR
A visual introduction to Gaussian Belief Propagation
Imperial College London(帝国理工学院);DeepMind(深度思维)
在这篇文章中,我们提出了一个直观的介绍高斯信念传播(GBP),一个近似的概率推理算法,通过传递任意结构的因子图的节点之间的消息。作为循环置信传播的一种特殊情况,GBP更新仅依赖于本地信息,并且将独立于消息调度收敛。我们的主要论点是,考虑到最近的趋势,在计算硬件,GBP有正确的计算属性作为一个可扩展的分布式概率推理框架,为未来的机器学习系统。
2021-07-05 cs.AI cs.CV cs.LG
Probabilistic Analysis of Least Squares, Orthogonal Projection, and QR Factorization Algorithms Subject to Gaussian Noise
Department of Computer Science, University of Saskatchewan(萨斯喀彻温大学计算机科学系);Department of Applied Mathematics, University of Colorado Denver(科罗拉多大学丹佛分校应用数学系);Department of Mathematics, The University of Tulsa(塔尔萨大学数学系)
研究高斯噪声对最小二乘残差、正交投影和QR型算法的影响,推导了条件数的Weyl型界和概率分布,并用于分析不完美正交化QR过程的概率条件数界。
2026-06-23 cs.LG cs.NA math.NA