Parametric Modelling of Multivariate Count Data Using Probabilistic Graphical Models
CIRAD(法国农业研究与国际合作组织);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Laboratoire Jean Kuntzmann(让·库茨曼实验室)
多变量计数数据定义为从总体内的抽样中发布的不同类别的项目的数量,其中个体被分组到类别中。多变量计数数据的分析是许多建模问题中经常出现的关键问题,特别是在生物学和生态学(其中数据可以表示与多类型分支过程相关的儿童计数),社会学和计量经济学领域。我们专注于I)识别同时出现的类别,或者相反,相互排斥的类别。这是通过以下方式实现的:识别变量之间的条件独立关系; II)构建与这些关系一致的简约参数模型; III)表征和检验协变量对计数的联合分布的影响。为了实现这些目标,我们提出了一种基于图形概率模型的方法,更具体地说,部分有向无环图。
2013-12-16 cs.LG stat.ME stat.ML
WeatherBench Probability: A benchmark dataset for probabilistic medium-range weather forecasting along with deep learning baseline models
Technical University of Munich(慕尼黑工业大学);ClimateAi, Inc(ClimateAi公司)
WeatherBench是一个基准数据集,用于对位势、温度和降水进行中期天气预报,包括预处理数据、预定义的评估指标和一些基线模型。WeatherBench Probability通过添加一组已建立的概率验证指标(连续排名概率得分,扩展技能比和排名直方图)和使用ECWMF IFS集合预报的最先进的操作基线,将其扩展到概率预报。此外,我们还测试了三种不同的概率机器学习方法--蒙特卡洛退出、参数预测和分类预测,其中概率分布是离散化的。我们发现,简单的蒙特卡罗退出严重低估了不确定性。参数模型和分类模型都能产生质量相似的相当可靠的预测。参数模型的自由度更少,而分类模型在预测非高斯分布时更灵活。没有一个模型能够与业务IFS模型的技能相匹配。我们希望这个基准将使其他研究人员能够评估他们的概率方法。
2022-05-02 cs.LG physics.ao-ph
Deep Survival Analysis in Multimodal Medical Data: A Parametric and Probabilistic Approach with Competing Risks
Information Processing and Telecommunications Center, ETSI Telecomunicación, Universidad Politécnica de Madrid, Spain(信息处理与电信中心,电信工程学院,马德里理工大学,西班牙)
提出多模态深度学习框架SAMVAE,整合临床、分子与病理图像等六种模态数据,首次在建模连续事件时间下纳入竞争风险,在乳腺癌和胶质瘤队列中实现高竞争力的生存预测。
2025-07-10 cs.LG
Non-parametric Probabilistic Load Flow using Gaussian Process Learning
School of Electrical and Electronics Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院)
在这项工作中,我们提出了一个非参数的概率潮流(NP-PLF)技术的基础上高斯过程(GP)学习,以了解电力系统的行为下的不确定性,更好的操作决策。该技术可以提供“半显式”的潮流解决方案,通过实施的学习和测试步骤,映射控制变量的输入。建议的NP-PLF利用GP置信上限(GP-UCB)采样算法。该NP-PLF方法的显著特点是:i)适用于具有未知分布的功率注入不确定性的潮流问题; ii)提供概率学习界(PLB),进一步提供对误差和收敛的控制; iii)能够处理间歇性分布式发电以及负载不确定性,和iv)适用于不同类型和大小的电力系统的平衡和不平衡潮流。IEEE 30节点和IEEE 118节点系统的仿真结果表明,该方法可以学习的电压函数的功率注入子空间使用少量的训练样本。此外,不同的输入不确定性分布的测试表明,完整的统计信息可以获得的概率潮流问题的平均百分比相对误差的顺序$10^{-3}$ \%的50000个测试点。
2020-03-18 cs.LG cs.SY eess.SY
Fast Multi-Class Probabilistic Classifier by Sparse Non-parametric Density Estimation
Institute of Statistical Science, Academia Sinica(中央研究院统计科学研究所)
在许多应用场景中,模型解释是必不可少的,建立一个易于模型解释的分类模型可以为进一步的研究和改进提供有用的信息。在现代数据分析中,经常会遇到一组冗长的变量,特别是当数据以某些自动方式收集时。这类数据集可能没有收集特定的分析目标,并且通常包含冗余特征,这些特征对当前感兴趣的分析任务没有贡献。变量选择是提高模型解释能力的一种常用方法,在一些参数分类模型中得到广泛应用。在基于密度估计的非参数分类模型中,特别是在多类分类的情况下,缺乏对变量选择的研究。在这项研究中,我们研究了多类分类问题,使用稀疏非参数密度估计的思想,并提出了一种方法来确定每个类的高影响变量。我们提出了所提出的方法的渐近性质和计算过程以及一些建议的样本量。我们还重新发布了使用合成数据集和一些真实数据集的数值结果。
2019-01-04 cs.LG stat.ML
Efficient distributional regression trees learning algorithms for calibrated non-parametric probabilistic forecasts
Swiss Data Science Center(瑞士数据科学中心);EPFL(瑞士联邦理工学院);ETH Zürich(苏黎世联邦理工学院)
本文提出高效算法用于校准非参数概率预测,通过min-max堆等数据结构提升计算效率,展示其在WIS和CRPS损失函数下的竞争力,并利用树结构实现可解释的群体条件覆盖保障。
2026-05-13 cs.DS cs.LG
Thermodynamically Consistent Latent Dynamics Identification for Parametric Systems
Ansys Inc.(安西斯公司);North Carolina State University(北卡罗来纳州立大学);Sandia National Laboratories(桑迪亚国家实验室);Arizona State University(亚利桑那州立大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文提出了一种结合自动编码器和参数化GENERIC框架的神经网络方法,用于参数非线性动力系统简化建模,通过热力学原理提升模型效率和精度。
2025-06-10 cs.CE cs.LG cs.NA
Unsupervised representation learning with recognition-parametrised probabilistic models
University College London(伦敦大学学院);Gatsby Computational Neuroscience Unit(盖茨比计算神经科学中心)
本文提出识别参数化模型RPM,通过结合参数化先验、条件潜在分布与非参数边缘分布实现无监督表示学习,并在图像分类、LDA及RP-GPFA时空数据任务中验证其有效性。
2023-04-20 cs.LG stat.ML
Neural Operator induced Gaussian Process framework for probabilistic solution of parametric partial differential equations
Indian Institute of Technology Delhi(印度德里理工学院);Yardi School of Artificial Intelligence (ScAI)(亚迪人工智能学院(ScAI))
本文提出神经算子诱导高斯过程(NOGaP)框架,结合高斯过程概率特性与算子学习能力,为参数化偏微分方程求解提供高精度预测与可量化不确定性度量。
2024-04-24 cs.LG stat.ML
Binary Classifier Calibration: Non-parametric approach
University of Piuttsburgh(匹兹堡大学);University of Pittsburgh(匹兹堡大学)
准确校准学习的概率预测模型对于许多实际预测和决策任务至关重要。有两个主要类别的方法用于构建校准的分类器。一种方法是开发用于学习概率模型的方法,这些方法是从头开始的。另一种方法是使用一些后处理方法来转换分类器的输出以进行良好校准,例如直方图分箱,普拉特缩放和保序回归。后处理方法的一个优点是它可以应用于使用任何机器学习方法构建的任何现有概率分类模型。在本文中,我们首先介绍了两个措施,以及如何评估一个分类器校准。我们证明了三个定理表明,使用一个简单的直方图分箱后处理方法,它是可能的,使分类器进行良好的校准,同时保留其歧视能力。此外,通过将直方图分箱方法铸造为基于密度的非参数二元分类器,我们可以使用两个简单的非参数密度估计方法对其进行扩展。我们证明了所提出的校准方法在合成和真实数据集上的性能。实验结果表明,所提出的方法优于或相当于现有的校准方法。
2014-01-14 cs.LG stat.ML
Fully probabilistic deep models for forward and inverse problems in parametric PDEs
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院);The Alan Turing Institute(艾伦·图灵研究所)
本文提出物理驱动的深度隐变量模型PDDLVM,通过概率建模和变分推断同时学习参数化PDE的正问题与反问题映射,训练后无需独立求解即可实时预测,并在多个PDE问题上实现比FEM快三个数量级的加速及不确定性估计。
2023-07-14 cs.LG cs.NA math.NA
Probabilistic Forecasting with Temporal Convolutional Neural Network
Bigo Inc.(Bigo公司);Beihang University(北京航空航天大学);IBM China CIC(IBM中国创新中心);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出了一种基于卷积神经网络的概率预测框架,用于多个相关时间序列的预测。该框架可以应用于估计参数和非参数设置下的概率密度。更具体地说,基于扩张的因果卷积网的堆叠的残差块被构造成捕获序列的时间依赖性。结合表征学习,我们的方法能够学习复杂的模式,如季节性,系列内和跨系列的假日效应,并利用这些模式进行更准确的预测,特别是当历史数据稀疏或不可用时。在几个真实世界的数据集上进行了广泛的实证研究,包括来自中国最大的在线零售商JD.com的数据集。结果表明,我们的框架优于其他国家的最先进的方法在准确性和效率。
2020-03-16 cs.LG stat.ML
Ensemble weather forecast post-processing with a flexible probabilistic neural network approach
University of Ljubljana, Faculty of Computer and Information Science(卢布尔雅那大学计算机与信息科学学院);Slovenian Environment Agency(斯洛文尼亚环境局)
本研究提出一种结合归一化流的神经网络集合天气预报后处理方法,可联合处理多地点多提前量预报,在EUPPBench基准温度预报任务中达SOTA,还通过变体对比阐明了性能优势的原因。
2023-04-27 cs.LG physics.ao-ph
A Probabilistic Perspective on Model Collapse
Department of Statistics and Data Science University of California, Los Angeles(统计与数据科学系,加州大学洛杉矶分校)
本文从概率视角研究模型崩溃,将递归训练视为随机游走,证明逐步增大样本量可防止崩溃,并分析合成数据训练的优势概率,通过模拟和真实数据验证。
2025-05-21 cs.LG stat.ML
A Blueprint for Equilibrium-Based Differentiable Continuous-Variable Thermodynamic Computing
为应对机器学习工作负载的能源和延迟需求,提出基于能量的热力学计算蓝图,利用物理硬件随机模拟过程,通过朗之万动力学实现可调能量势,构建训练机器学习模型,分析运行时间和能耗,展示随机模拟超导电路,迈向节能热力学硬件。
2026-08-18 cs.ET cs.LG physics.app-ph
A Linearly Constrained Nonparametric Framework for Imitation Learning
Istituto Italiano di Tecnologia(意大利理工学院)
近年来,在模仿学习领域,从参数到非参数、从概率到非概率、从贝叶斯到频率论等方法,都有大量的先进成果被报道。同时,大量的应用程序(例如,抓取任务和人机协作)进一步显示了模仿学习在广泛领域中的适用性。虽然大量的文献致力于人类技能的学习在无约束的环境中,学习受限的运动技能的问题,然而,还没有得到同等的关注。事实上,受限技能广泛存在于机器人系统中。例如,当机器人被要求在板上写字时,其末端执行器轨迹必须符合板的平面约束。在本文中,我们的目标是解决问题的模仿学习与线性约束。具体来说,我们建议利用多个演示的概率特性,并随后将它们纳入一个线性约束的优化问题,最终导致非参数的解决方案。此外,我们的框架和经典的模型预测控制之间的连接。几个例子,包括模拟写作和运动任务,以显示我们的框架的有效性。
2019-09-15 cs.LG cs.RO stat.ML
EP-PQM: Efficient Parametric Probabilistic Quantum Memory with Fewer Qubits and Gates
Ryerson University(瑞尔森大学);CMC Microsystems(CMC微系统公司)
机器学习(ML)分类任务可以在量子计算机(QC)上使用概率量子存储器(PQM)及其扩展参数PQM(P-PQM)通过计算输入模式与包含具有$a$不同属性的$z$特征的$r$模式的数据库之间的汉明距离来执行。为了精确计算,必须使用独热编码对特征进行编码,这对于使用$a>2$的多属性数据集来说是内存密集型的。我们可以很容易地表示多属性数据更复杂的经典计算机上取代标签编码的独热编码。然而,在QC上替换这些编码方案并不简单,因为PQM和P-PQM在量子比特级操作。我们提出了一种增强的P-PQM,称为EP-PQM,允许标签编码的数据存储在一个PQM数据结构,并减少了电路深度的数据存储和检索过程。我们展示了一个理想的QC和一个嘈杂的中间尺度量子(NISQ)设备的实现。我们的复杂性分析表明,EP-PQM方法需要$O\left(z \log_2(a)\right)$量子位,而不是P-PQM的$O(za)$量子位。EP-PQM还需要更少的门,将$O\left(rza\right)$的门数减少到$O\left(rz\log_2(a)\right)$。对于五个数据集,我们证明了使用EP-PQM训练ML分类模型需要比使用$a>2$的数据集的P-PQM少48%到77%的量子位。根据数据集的不同,EP-PQM可将电路深度降低60%至96%。深度随着分解电路进一步减小,范围在94%和99%之间。EP-PQM需要更…
2022-04-26 cs.DS cs.ET cs.LG
Multi-Horizon Time Series Forecasting of non-parametric CDFs with Deep Lattice Networks
本文针对时间序列概率预测中点预测易漏突变、传统参数化CDF建模受限、分位数回归易出现交叉的问题,适配深度格网络结合LSTM实现非参数CDF多跨度预测,在太阳辐照度预测任务中性能优于对比方法。
2025-11-14 cs.AI cs.LG
Robust probabilistic inference via a constrained transport metric
Texas A&M University(德州农工大学)
灵活的贝叶斯模型通常是使用具有许多通常无法解释的参数的大型参数模型的限制来构建的。在这篇文章中,我们提供了一种新的替代方法,通过构建一个指数倾斜的经验似然精心设计,集中在一个参数家庭的选择相对于一个新的变量的Wasserstein度量,然后结合模型参数的先验分布,以获得鲁棒后验分布。所提出的方法在各种各样的鲁棒推理问题中找到了应用,在这些问题中,我们打算在存在离群值的情况下对与中心分布相关的参数进行推理。我们提出的运输度量具有很大的计算简单性,利用Sinkhorn正则化离散最优运输问题,并具有内在的并行化。我们展示了优越的性能,我们的方法相比,国家的最先进的强大的贝叶斯推断方法。我们还证明了我们的方法与一个合适的渐近框架下的非参数贝叶斯公式的等价性,证明了它的灵活性。约束熵最大化,坐在我们的似然公式的心脏,发现其效用超出强大的贝叶斯推断;一个值得信赖的机器学习应用程序中提供的说明。
2023-03-17 cs.LG stat.ME stat.ML
A probabilistic, data-driven closure model for RANS simulations with aleatoric, model uncertainty
Technical University of Munich(慕尼黑工业大学);Munich Data Science Institute(慕尼黑数据科学研究所)
本研究提出一种含偶然不确定性的RANS数据驱动封闭模型,结合参数化神经网络张量基与潜在随机变量,采用贝叶斯框架和稀疏先验,利用间接数据通过伴随方法实现端到端训练,能在分离流动中给出准确的概率流动预测。
2024-04-15 cs.LG physics.comp-ph physics.flu-dyn
Stochastic Online Convex Optimization. Application to probabilistic time series forecasting
Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
本文构建随机在线凸优化框架,证明在线牛顿步与 Bernstein online aggregation 在无界随机设定下达到已知最优遗憾速率,并用于校准非平稳次高斯时间序列的概率预测器。
2023-04-21 cs.LG math.ST stat.TH
Simplifying Probabilistic Expressions in Causal Inference
University of Jyvaskyla(于韦斯屈莱大学)
获得介入分布的非参数表达式是因果推断中最基本的任务之一。这样的表达式可以通过算法或do演算的手动应用获得可识别的因果效应。通常,当涉及到缺失数据或测量误差时,我们会得到一个复杂的表达式,这可能导致有偏差或效率低下的估计。我们提出了一个自动简化算法,旨在消除符号不必要的变量,从这些表达式的基础图形模型的结构的优势。我们的方法适用于所有因果效应公式,并且在R包causaleffect中随时可用。
2018-06-19 cs.AI cs.LG stat.ML