Probabilistic Models for Manufacturing Lead Times
McGill University（麦吉尔大学）；Axya
在这项研究中，我们利用高斯过程，概率神经网络，自然梯度提升，和分位数回归增强梯度提升模型的激光制造过程的提前期。我们在域中引入概率建模，并根据不同的能力比较模型。在提供现实数据中模型之间的比较的同时，我们的工作具有许多用例和巨大的商业价值。我们的研究结果表明，所有的模型击败了公司的估计基准，使用领域的经验，并有很好的校准与经验频率。
2022-06-28 cs.LG
Gaussian Process Regression for Probabilistic Short-term Solar Output Forecast
Fatemeh Najibi, Dimitra Apostolopoulou
随着对气候变化的日益关注，可再生资源如光伏（PV）作为一种能源产生手段已经得到普及。这些资源在电力系统运行中的平滑整合是通过精确的预测机制来实现的，该机制解决了这些资源固有的不稳定性和可变性。本文提出了一个概率框架来预测短期光伏发电量，考虑到天气的不确定性。为此，我们利用包括功率输出和气象数据（如辐照度、温度、天顶和方位角）的数据集。首先，我们使用k-means聚类根据太阳能输出和时间将数据分为四组。接下来，进行相关性研究，以选择在更大程度上影响太阳能输出的天气特征。最后，我们通过使用高斯过程回归和Matern 5/2作为核函数来确定将上述所选特征与太阳能输出相关联的函数。我们验证了我们的方法与五个太阳能发电厂在不同的位置，并与现有的方法的结果进行比较。更具体地说，为了测试所提出的模型，使用了两种不同的方法：（i）5倍交叉验证;和（ii）保持30个随机天作为测试数据。为了确认模型的准确性，我们在四个集群中的每个集群上应用我们的框架30次。平均误差遵循正态分布，在95%置信水平下，其取值范围为-1.6%至1.4%。
2020-02-23 cs.LG eess.SP stat.AP
Surrogate Model For Field Optimization Using Beta-VAE Based Regression
Visage Technology
油田开发相关的决策是使用基于油藏模拟的优化研究，其中不同的生产方案和井控制进行了比较。这种模拟在计算上是昂贵的，因此使用代理模型来加速研究。深度学习过去曾被用于生成替代模型，但此类模型通常无法量化预测的不确定性，并且不可解释。在这项工作中，β-VAE为基础的回归，提出了生成模拟替代品用于优化工作流程。beta-VAE使潜在空间中的决策变量的可解释的、因子化的表示成为可能，然后进一步用于回归。概率密集层用于量化预测的不确定性，并支持近似贝叶斯推理。使用基于β-VAE的回归开发的代理模型发现可解释的和相关的潜在表征。合理的β值确保因子解纠缠和重构之间的良好平衡。概率密集层有助于量化目标函数的预测不确定性，然后用于决定是否需要对案例进行全物理模拟。
2022-02-27 cs.LG stat.ML
Improved Denoising Diffusion Probabilistic Models
OpenAI
去噪扩散概率模型（DDPM）是一类最近被证明可以产生优秀样本的生成模型。我们表明，通过一些简单的修改，DDPM也可以实现有竞争力的对数似然，同时保持高样本质量。此外，我们发现，反向扩散过程的学习方差允许采样的数量级较少的前向传递与样本质量的差异可以忽略不计，这是很重要的实际部署这些模型。我们还使用精确度和召回率来比较DDPM和GANs覆盖目标分布的程度。最后，我们证明了这些模型的样本质量和可能性随着模型容量和训练计算而平滑地扩展，使它们易于扩展。我们在https://github.com/openai/improved-diffusion上发布代码
2021-02-18 cs.AI cs.LG stat.ML
Hybrid Probabilistic Forecasting of Under-Five Malaria Admissions in Ghana: A Gaussian Process Regression with Holt-Winters Smoothing
GAEC, Ghana（加纳农业和粮食部）
针对加纳疟疾预测中季节性和数据不确定性挑战，提出结合高斯过程回归与Holt-Winters指数平滑的混合模型，实现概率性预测并评估其性能。
2026-05-30 cs.AI cs.LG math.PR
DistPred: A Distribution-Free Probabilistic Inference Method for Regression and Forecasting
School of Information Science and Engineering, Shandong University（山东大学信息科学与工程学院）；School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）；School of Qilu Transportation, Shandong University（山东大学齐鲁交通学院）
本文提出 DistPred，通过将适当评分规则转为可微离散损失进行端到端训练，使模型单次前向传播即可生成分布样本，在多数据集上达到最先进性能且推理速度提升180倍。
2025-01-07 cs.AI cs.LG stat.ML
Quantile Regression, Variational Autoencoders, and Diffusion Models for Uncertainty Quantification: A Spatial Analysis of Sub-seasonal Wind Speed Prediction
LMD/IPSL, École Polytechnique, Institut Polytechnique de Paris, ENS,Université PSL, Sorbonne Université, CNRS, Palaiseau, 91120, France（LMD/IPSL、巴黎高等理工学院、巴黎理工研究所、高等科学研究院、巴黎大学、索邦大学、国家科学研究中心，法国）
针对次季节风速统计降尺度中空间相关性与物理一致性不足的问题，研究比较QRNN、VAE和扩散模型三种概率深度学习方法，并证明其能更真实地表征空间不确定性。
2025-10-19 cs.AI cs.LG
Probabilistic Bisection with Spatial Metamodels
University of California, Santa Barbara（加州大学圣巴巴拉分校）
概率二分算法基于从噪声预言响应中获得的知识进行根查找。我们考虑广义PBA设置（G-PBA）的预言机的统计分布是未知的和位置相关的，因此，模型推理和贝叶斯知识更新必须同时进行。为此，我们建议利用一个典型的甲骨文的空间结构，通过构建一个统计代理的基本逻辑斯谛回归步骤。我们研究了几种非参数替代方法，包括二项式高斯过程（B-GP），多项式，核函数和样条逻辑斯谛回归。同时，我们开发了自适应平衡学习Oracle分布和学习根的采样策略。我们的建议之一是模仿B-GP的主动学习，并提供了一种新的前瞻性预测方差公式。我们的空间PBA算法相对于早期的G-PBA模型所产生的收益与合成的例子和一个具有挑战性的随机根寻找问题，从Bristol dan期权定价说明。
2018-06-30 cs.LG stat.ML
Deep Gaussian Processes for Regression using Approximate Expectation Propagation
University of Cambridge（剑桥大学）；Universidad Autónoma de Madrid（马德里自治大学）；Harvard University（哈佛大学）
深度高斯过程（DGP）是高斯过程（GP）的多层分层概括，形式上等价于具有多个无限宽隐藏层的神经网络。DGP是非参数概率模型，因此可以说更灵活，具有更大的概括能力，并提供比其他深度模型更好的校准不确定性估计。本文提出了一种新的近似贝叶斯学习方案，使DGP首次被应用到一系列中到大规模的回归问题。新方法使用近似的期望传播过程和一种新的和有效的扩展的概率反向传播算法的学习。我们评估的非线性回归的新方法在11个现实世界的数据集，表明它总是优于GP回归，几乎总是优于国家的最先进的确定性和基于采样的近似推理方法贝叶斯神经网络。作为一个副产品，这项工作提供了一个全面的分析六个近似贝叶斯方法训练神经网络。
2016-02-12 cs.LG stat.ML
Physics-Informed Gaussian Process Regression for Probabilistic States Estimation and Forecasting in Power Grids
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
实时状态估计和预测是保证电网高效运行的关键。本文提出了一种基于物理信息的高斯过程回归（PhI-GPR）方法，并将其用于稀疏测量下三机系统的相角、角速度和风力机械功率的概率预测和估计。在标准的数据驱动的高斯过程回归（GPR）中，先验统计的参数化模型通过最大化观测数据的边际似然来拟合，而在PhI-GPR中，我们通过求解控制电网动态的随机方程来计算先验统计。风力发电为主的电网系统的短期预测是复杂的随机性质的风和由此产生的不确定的机械风力发电。在这里，我们假设电网动态是由摆动方程，我们把未知项摆动方程（特别是，机械风力发电）作为随机过程，这把这些方程随机微分方程。我们使用蒙特卡罗模拟方法求解这些方程的平均值和方差的电网系统。我们证明，所提出的PhI-GPR方法可以准确地预测和估计观测和未观测的状态，包括平均行为和相关的不确定性。对于观察到的状态，我们表明，PhI-GPR提供了一个预测与标准的数据驱动的GPR，这两个预测显着更准确的自回归综合移动平均（ARIMA）预测。我们还表明，ARIMA预测是更敏感的观测频率和测量误差比PhI-GPR预测。
2020-10-09 cs.LG cs.SY eess.SY
Nonnegativity-Enforced Gaussian Process Regression
University of Iowa（爱荷华大学）；Lehigh University（理海大学）
高斯过程（GP）回归是一种灵活的非参数方法来近似复杂的模型。在许多情况下，这些模型对应于具有有界物理性质的过程。标准GP回归通常会导致代理模型对于所有时间或空间点都是无界的，因此可能会出现不可行的值。我们提出了一种方法来执行的物理约束下的概率的GP回归框架。此外，这种新方法减少了所得GP模型的方差。
2020-04-07 cs.LG stat.ML
Probabilistic partition of unity networks: clustering based deep approximation
Center for Computing Research（计算研究中心）；Sandia National Laboratories（桑迪亚国家实验室）；Electrical Models and Simulation（电气模型与仿真部门）；Quantitative Modeling and Analysis（定量建模与分析部门）
单位网络的划分（POU-Nets）已被证明能够实现回归和偏微分方程解的代数收敛率，但需要经验调整训练参数。我们丰富的POU网与高斯噪声模型，以获得一个概率泛化服从基于梯度的最大似然损失的最小化。由此产生的架构提供了无噪声和噪声数据的空间表示为高斯混合物与封闭形式的方差表达式，它提供了一个估计的局部误差。训练过程基于函数值的相关性产生对输入空间的非常清晰的划分。这种训练点的分类适用于分层细化策略，该策略显着改善了回归的局部化，允许使用高阶多项式近似。与高斯过程回归相比，该框架更有利于扩展到大数据集，并允许空间变化的不确定性，利用深度神经网络的表达能力，同时绕过与其他概率深度学习方法相关的昂贵训练。与标准的深度神经网络相比，该框架在不使用正则化器来调整分区局部化的情况下证明了hp收敛。我们提供的基准量化性能在高/低维，表明收敛速度只取决于高维空间内的数据的潜在维度。最后，我们引入了一个新的开放源数据集的半导体器件的基于偏微分方程的模拟和执行无监督提取的物理可解释的降阶基础。
2021-07-07 cs.LG stat.ML
Probabilistic Forecasting of Sensory Data with Generative Adversarial Networks - ForGAN
University of Kaiserslautern（凯泽斯劳滕大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
时间序列预测是人类面临的挑战性问题之一。传统的均值回归模型预测方法在反映真实波动方面存在严重缺陷。虽然新的概率方法急于拯救，但它们与分位数交叉或选择先验分布等技术难题作斗争。为了融合这些领域的不同优势，同时避免它们的弱点，并推动最先进的边界，我们引入了ForGAN -一步领先的概率预测与生成对抗网络。ForGAN利用条件生成对抗网络的能力来学习数据生成分布并从中计算概率预测。我们讨论了如何评估ForGAN，以反对回归方法。为了研究ForGAN的概率预测，我们创建了一个新的数据集，并在其上展示了我们的方法能力。该数据集将公开用于比较。此外，我们在两个公开的数据集上测试了ForGAN，即Mackey-Glass数据集和互联网流量数据集（A5 M），ForGAN令人印象深刻的性能证明了其在预测未来价值方面的高能力。
2019-03-29 cs.AI cs.LG stat.ML
Conditioning Tree-Based Diffusions and Flows for Probabilistic Tabular Regression
该研究提出DiffGBM模型，通过显式调整基于树的扩散与流模型的设计维度，在表格回归任务上实现优于基线的预测性能，同时提升采样效率与校准度。
2026-08-03 cs.LG stat.ML
Gaussian Process Regression with Soft Inequality and Monotonicity Constraints
Lehigh University（利哈伊大学）
针对标准GP回归可能产生不可行值的问题，提出以概率方式施加软不等式和单调性约束的QHMC训练方法，提高精度、降低方差并加速高维采样。
2024-04-03 cs.LG math.OC stat.ML
Quantum-Assisted Hilbert-Space Gaussian Process Regression
Aalto University（阿尔托大学）
针对高斯过程回归随数据集增长计算复杂度难处理的问题，提出结合经典基函数展开与多种量子计算技术的希尔伯特空间近似量子算法，实现多项式级复杂度降低。
2024-02-01 cs.LG quant-ph stat.CO
Probabilistic Pretraining for Neural Regression
Amazon（亚马逊）
本文提出 NIAQUE 模型，通过置换不变性实现概率回归的迁移学习，预训练后在目标数据集微调可提升性能，并在 Kaggle 竞赛中优于 TabPFN 等强基线。
2025-08-22 cs.LG
A Large-Scale Study of Probabilistic Calibration in Neural Network Regression
University of Mons（蒙斯大学）
针对神经网络回归的概率校准问题，本文开展大规模实证研究，比较再校准、共形与正则化方法，并提出可微方法，揭示正则化的校准—锐度权衡及共形预测的覆盖优势。
2023-06-07 cs.LG
Ensemble Conformalized Quantile Regression for Probabilistic Time Series Forecasting
UiT The Arctic University of Norway（挪威北极大学）；Kongsberg Satellite Services（康斯伯格卫星服务公司）；NORCE Norwegian Research Centre（挪威NORCE研究中心）
本文提出了一种新的概率预测方法集成整合分位数回归（EnCQR）。EnCQR构造无分布和近似边缘有效的预测区间（PI），适用于非平稳和异方差时间序列数据。EnCQR可以应用于通用预测模型之上，包括深度学习架构。EnCQR利用自举集成估计，它使使用保形预测的时间序列，消除了数据交换的要求。集成学习器被实现为执行分位数回归的通用机器学习算法，其允许PI的长度适应数据中的局部变化。在实验中，我们预测的时间序列的特点是不同数量的异方差。结果表明，EnCQR优于仅基于分位数回归或共形预测的模型，并且它提供了更清晰，更丰富和有效的PI。
2022-11-06 cs.LG
RS-Reg: Probabilistic and Robust Certified Regression Through Randomized Smoothing
University of Melbourne（墨尔本大学）
该研究提出RS-Reg方法，将随机平滑扩展至回归任务，通过概率灵活定义鲁棒性，推导了无约束及有界输出回归模型的输入扰动可认证上界，仿真验证了理论结果并揭示了平均平滑函数的优劣势。
2024-05-14 cs.LG
Ensembles of Probabilistic Regression Trees
该研究提出概率回归树的集成方法，通过概率分配观测值实现目标函数的平滑近似，证明了其一致性并通过实验验证了偏差-方差特性与预测性能。
2024-06-20 cs.LG stat.ML
Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Normal University（北京师范大学）
不确定性是唯一的确定性。建模数据不确定性对于回归是必不可少的，特别是在无约束的设置中。传统的直接回归公式被认为是通过修改输出空间的概率分布的某个家庭的不确定性建模。另一方面，基于分类的回归和基于排序的解决方案在实践中更受欢迎，而直接回归方法则受到性能的限制。如何在当今的回归技术中对不确定性进行建模仍然是一个悬而未决的问题。在本文中，我们建议学习概率序数嵌入，它将每个数据表示为多变量高斯分布，而不是潜在空间中的确定性点。提出了一个有序分布约束，以利用回归的有序性。我们的概率序嵌入可以集成到流行的回归方法，并赋予他们的不确定性估计的能力。实验结果表明，我们的方法取得了竞争力的性能。代码可在https://github.com/Li-Wanhua/POEs上获得。
2021-03-25 cs.CV cs.LG
Non-Parametric Calibration of Probabilistic Regression
University of Bristol（布里斯托大学）；University of Tartu（塔尔图大学）
校准的任务是回顾性地调整来自机器学习模型的输出，以提供对目标变量的更好的概率估计。虽然校准已被彻底调查的分类，它还没有很好地建立回归任务。本文考虑了概率回归模型的校准问题，以提高对实值目标的概率密度估计。我们建议通过累积概率密度来校准回归模型，该累积概率密度可以从校准多类分类器中获得。我们提供了三个非参数的方法来解决这个问题，其中两个提供经验估计，第三个提供光滑的密度估计。所提出的方法进行了实验评估，以显示他们的能力，以提高性能的回归模型的预测可能性。
2018-06-20 cs.LG stat.ML
Returning The Favour: When Regression Benefits From Probabilistic Causal Knowledge
University of Oxford（牛津大学）；University of Adelaide（阿德莱德大学）
该研究提出碰撞器回归框架，利用DAG中碰撞器结构产生的独立性作为归纳偏差，在再生核希尔伯特空间中证明严格正泛化收益，并在合成及气候数据上验证性能提升。
2023-06-21 cs.LG stat.ML
Anchor-MoE: A Mean-Anchored Mixture of Experts For Probabilistic Regression
Institut Polytechnique de Paris（巴黎理工学院）；Linkconn Electronics Co., Ltd（联康电子有限公司）
本文提出Anchor-MoE模型，以任意点回归器的预测为锚定均值，通过可学习度量窗口核和软路由器将样本分派给混合密度网络专家进行异方差校正，在理论上达到极小极大最优L²风险速率，并在UCI回归基准上取得领先的概率回归性能。
2025-08-22 cs.LG
RafterNet: Probabilistic predictions in multi-response regression
University of Waterloo（滑铁卢大学）
介绍了一种在多响应回归问题中进行概率预测的完全非参数方法。随机森林被用作每个响应变量的边际模型，并且作为本工作的新贡献，多个响应变量之间的依赖关系由生成神经网络建模。这种随机森林、相应的经验边际残差分布和生成神经网络的组合建模方法被称为RafterNet。多个数据集作为例子，以证明该方法的灵活性及其对概率预测的影响。
2022-10-11 cs.LG stat.CO stat.ME
Probabilistic Energy Forecasting using Quantile Regressions based on a new Nearest Neighbors Quantile Filter
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
参数分位数回归是创建概率能源预测的有用工具。尽管如此，由于经典分位数回归是使用不可微的成本函数训练的，因此使用复杂的数据采掘技术（例如，人工神经网络）可能是复杂的。本文提出了一种方法，使用一个新的最近邻分位数过滤器，以获得独立的分位数回归所利用的数据采掘技术，没有不可微的成本函数。此后，使用2014年全球能源预测竞赛的数据集进行验证所提出的方法。结果表明，所提出的方法是能够解决类似的准确性，在类似的时间竞争的冠军的竞争任务，但需要一个强大得多的计算机。该属性可能与在线预测服务相关，对于该在线预测服务，需要使用不那么强大的机器来快速计算概率预测。
2019-03-18 cs.LG stat.ML
Instance-Based Uncertainty Estimation for Gradient-Boosted Regression Trees
University of Oregon（俄勒冈大学）
回归树（GBRT）是解决表格回归问题的一种非常流行的方法，但它不能提供不确定性的估计。我们提出了基于实例的不确定性估计的回归树（IBUG），一个简单的方法扩展任何GBRT点预测产生概率预测。IBUG使用$k$最近的训练实例计算预测周围的非参数分布，其中距离是用树集成内核测量的。IBUG的运行时间取决于集合中每个叶子上的训练样本的数量，并且可以通过采样树或训练实例来改进。从经验上讲，我们发现IBUG在22个基准回归数据集上实现了类似或更好的性能。我们还发现，IBUG可以通过使用不同的基础GBRT模型来实现改进的概率性能，并且可以比竞争方法更灵活地建模预测的后验分布。我们还发现，以前的方法在某些数据集上的概率校准较差，这可以使用在验证数据上调整的标量因子来缓解。源代码可在https://www.github.com/jjbrophy47/ibug上获得。
2022-10-10 cs.LG
Probabilistic Regression for Visual Tracking
ETH Zürich（苏黎世联邦理工学院）
视觉跟踪从根本上说是对每一帧视频中目标的状态进行回归的问题。虽然已经取得了重大进展，但跟踪器仍然容易出现故障和不准确。因此，在目标估计中表示不确定性至关重要。虽然目前突出的范例依赖于估计状态依赖的置信度得分，但该值缺乏明确的概率解释，使其使用复杂化。因此，在这项工作中，我们提出了一个概率回归公式，并将其应用于跟踪。我们的网络预测给定输入图像的目标状态的条件概率密度。至关重要的是，我们的配方是能够建模的标签噪音源于不准确的注释和模糊的任务。通过最小化Kullback-Leibler散度来训练回归网络。当应用于跟踪时，我们的配方不仅允许输出的概率表示，而且还大大提高了性能。我们的跟踪器在六个数据集上设置了新的最先进的技术，在LaSOT上实现了59.8%的AUC，在TrackingNet上实现了75.8%的成功率。代码和模型可在https://github.com/visionml/pytracking上获得。
2020-03-27 cs.CV cs.LG
Handling Missing Data in Probabilistic Regression Trees
Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学）
本文扩展PRTree框架，提出三种处理缺失数据的策略，经多数据集验证，所提方法在缺失比例高时优于CART，且保留树模型的可解释性与灵活性。
2026-08-07 cs.LG stat.ML
Twin Neural Network Improved k-Nearest Neighbor Regression
Homes Plus Magazine Inc.（霍姆斯普拉斯杂志公司）
本研究提出基于双神经网络的改进k近邻回归算法，通过预测目标差值并集成近邻锚点的预测结果求解回归问题，在中小型数据集上表现优于神经网络与传统k近邻回归。
2023-10-01 cs.LG
Probabilistic Formulations of Regression with Mixed Guidance
University of California Davis（加利福尼亚大学戴维斯分校）
回归问题假设每个实例都用实值进行注释（标记），这种注释形式我们称为\emph{strong guidance}。为了使这些注释准确，它们必须是精确实验或测量的结果。然而，在某些情况下，额外的\emph{weak guidance}可能由不精确的测量、领域专家或甚至众包给出。目前的回归公式无法使用这两种类型的指导。我们提出了一个回归框架，也可以结合弱指导的基础上相对排序，边界，邻居和相似性关系。考虑学习从肖像图像中预测年龄，这些新类型的指导允许较弱形式的指导，例如说明一个人20多岁或两个人年龄相似。这些类型的注释可能比强指导更容易生成。我们介绍了这些形式的弱指导的概率公式，并表明，由此产生的优化问题是凸的。我们的实验结果显示了这些配方在几个数据集上的好处。
2018-04-01 cs.LG stat.ML
Regression-adjusted Monte Carlo Estimators for Shapley Values and Probabilistic Values
Claremont McKenna College（克莱蒙特麦肯纳学院）；New York University（纽约大学）
本文提出了一种结合蒙特卡洛抽样与线性回归的回归调整方法，用于更高效地估计概率值，如肖普利值，在多个数据集上表现出更优的性能。
2026-10-12 cs.AI cs.LG
Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression
University of Amsterdam（阿姆斯特丹大学）
梯度提升机（GBM）在解决表格数据问题方面非常受欢迎。然而，从业者不仅对点预测感兴趣，而且对概率预测感兴趣，以便量化预测的不确定性。现有的基于GBM的解决方案很难创建这样的概率预测：它们要么需要训练多个模型，要么计算成本太高，无法用于大规模设置。我们提出了概率梯度提升机（PGBM），一种方法来创建概率预测与一个单一的合奏决策树在计算上有效的方式。PGBM将决策树中的叶子权重近似为随机变量，并通过随机树集成更新方程近似数据集中每个样本的均值和方差。这些学习的时刻允许我们在训练后从指定的分布中进行采样。我们通过经验证明了PGBM与现有最先进方法相比的优势：（i）PGBM在不损害单个模型中的点性能的情况下实现概率估计，（ii）PGBM仅通过单个模型学习概率估计（并且不需要多参数提升），从而在大型数据集上提供了比现有的最先进的方法高出几个数量级的加速，PGBM在具有复杂可微损失函数的任务中实现了准确的概率估计，例如分层时间序列问题，我们观察到点预测性能提高了10%，概率预测性能提高了300%。
2021-06-06 cs.LG stat.ML
Multivariate Probabilistic Regression with Natural Gradient Boosting
STOR-i Centre for Doctoral Training（STOR-i博士培训中心）；Lancaster University（兰卡斯特大学）；Stanford University（斯坦福大学）
许多单目标回归问题需要估计不确定性以及点预测。概率回归算法非常适合这些任务。然而，当预测目标是多变量的并且需要联合测量不确定性时，选择就更加有限。例如，在预测2D速度矢量时，联合不确定性将量化平面中任何矢量的概率，这将比x和y分量上的两个单独的不确定性更有表现力。为了实现联合概率回归，我们提出了一种自然梯度提升（NGBoost）方法的基础上非参数化建模的条件参数的多元预测分布。我们的方法是强大的，开箱即用，无需大量的调整，是模块化的假设的目标分布，并执行竞争力相比，现有的方法。我们证明了这些索赔的模拟和预测二维海洋速度数据的案例研究。我们的方法的实现可以在https://github.com/stanfordmlgroup/ngboost上获得。
2021-06-07 cs.LG stat.CO stat.ML
Variational Imbalanced Regression: Fair Uncertainty Quantification via Probabilistic Smoothing
Georgia Institute of Technology（佐治亚理工学院）；Rutgers University（罗格斯大学）
本文提出变分不平衡回归（VIR）模型，通过借用相似标签数据计算潜在表示的变分分布并预测整个正态逆伽马分布分布进行实现概率重加权，在准确性和不确定性性估计上优于现有不平衡回归模型。
2024-11-10 cs.CV cs.LG cs.NE
Probabilistic Physics-Aware Machine Learning Predictions of Electric Truck Energy Consumption with Field Data
研究电动卡车能耗预测，通过考虑能量损失模型将物理原理融入数据驱动方法，用贝叶斯线性回归等模型预测能耗并估计不确定性，复杂模型能提高预测准确性和可靠性。
2026-07-24 cs.LG
Probabilistic water demand forecasting using quantile regression algorithms
University of Patras（帕特雷大学）；Roma Tre University（罗马第三大学）；National Technical University of Athens（雅典国立技术大学）
机器和统计学习算法可以可靠地自动化并大规模应用。因此，它们可以成为设计实用预测系统的重要资产，例如与城市用水需求有关的预测系统。分位数回归算法是一种统计和机器学习算法，可以以简单的方式提供概率预测，迄今为止尚未应用于城市需水量预测。在这项工作中，我们的目标是填补这一空白，自动化和广泛比较几个基于分位数回归的实用系统的概率提前一天的城市用水量预测。为了设计实际的系统，我们使用五个单独的算法（即，分位数回归、线性提升、广义随机森林、梯度提升机和分位数回归神经网络算法），它们的均值组合器和中值组合器。比较是通过利用一个大型的城市水流量数据集，以及几种类型的水文气象时间序列（被认为是预测设置中的外生预测变量）。结果大多有利于使用线性升压算法设计的实际系统，可能是由于城市水流量时间序列中存在的趋势。平均值和中位数组合的预测也被发现是熟练的一般条款。
2021-04-16 cs.LG stat.ME stat.ML
Enforcing Calibration in Multi-Output Probabilistic Regression with Pre-rank Regularization
本研究提出一种通用正则化框架，通过惩罚预秩概率积分变换偏离均匀分布，在训练中强制多输出概率回归的多元校准，并引入PCA预秩，在18个数据集上显著提升校准且不损精度。
2025-10-27 cs.LG stat.ML
Nonparametric Probabilistic Regression with Coarse Learners
Numeristical
概率回归是指以特征为条件预测目标的全概率密度函数。我们提出了一个非参数的方法来解决这个问题，它结合了基础分类器（通常是梯度提升森林）训练的目标值的不同粗化。通过结合这些分类器和平均所得密度，我们能够计算精确的条件密度与密度的形状或形式的最小假设。我们结合这种方法与结构化的交叉熵损失函数，用于正则化和平滑所产生的密度。从这些密度计算出的预测区间在实践中具有很高的保真度。此外，在特定的观测中检查这些密度的性质可以提供有价值的见解。我们在各种数据集上演示了这种方法，并显示出具有竞争力的性能，特别是在较大的数据集上。
2022-10-28 cs.AI cs.LG stat.ME
UPLME: Uncertainty-Aware Probabilistic Language Modelling for Robust Empathy Regression
School of Electrical Engineering, Computing and Mathematical Sciences, Curtin University（电气工程、计算与数学科学学院，科廷大学）；North South University（北南大学）；BRAC University（布拉克大学）；The Australian National University（澳大利亚国立大学）；University of ÓBuda（奥布达大学）
UPLME通过不确定性感知的概率语言建模框架，有效应对共情回归任务中的标签噪声问题，实现性能提升。
2025-11-23 cs.CL cs.LG
NGBoost: Natural Gradient Boosting for Probabilistic Prediction
Stanford University（斯坦福大学）；Harvard Medical School（哈佛医学院）
我们提出了自然梯度提升（NGBoost），这是一种通过梯度提升进行通用概率预测的算法。典型的回归模型返回一个点估计，条件是协变量，但概率回归模型输出一个完整的概率分布在结果空间，条件是协变量。这允许预测性的不确定性估计--这在医疗保健和天气预报等应用中至关重要。NGBoost通过将条件分布的参数作为多参数提升算法的目标，将梯度提升推广到概率回归。此外，我们还展示了如何使用自然梯度来纠正我们的多参数提升方法的训练动态。NGBoost可以用于任何基础学习器，任何具有连续参数的分布族以及任何评分规则。NGBoost匹配或超过现有概率预测方法的性能，同时在灵活性，可扩展性和可用性方面提供额外的好处。在github.com/stanfordmlgroup/ngboost上可以找到一个开源实现。
2020-06-09 cs.LG stat.ML
Probabilistic Traffic Forecasting with Dynamic Regression
McGill University（麦吉尔大学）；University of Minnesota（明尼苏达大学）
本文提出动态回归框架，通过矩阵变量自回归建模基础交通预测模型的误差过程并重新设计损失函数，实现概率预测且保留原始输出，在SOTA模型上验证了性能提升和可解释性。
2025-04-08 cs.LG stat.ML
Probabilistic partition of unity networks for high-dimensional regression problems
Stanford University（斯坦福大学）；Sandia National Laboratories（桑迪亚国家实验室）
本研究针对高维回归问题提出结合自适应降维的PPOU-Net框架，采用EM算法结合梯度下降的交替训练策略，实验表现优于同规模全连接网络，还可用于量子计算的代价景观代理建模。
2023-06-11 cs.CE cs.LG
Stacking for Probabilistic Short-term Load Forecasting
Czestochowa University of Technology（琴斯托霍瓦工业大学）
本文提出基于Stacking元学习的概率性短期电力负荷预测方法，融合分位数线性回归、分位数回归森林与残差模拟后处理，并设计全局与局部变体，实验验证分位数回归森林最优。
2024-06-15 cs.AI cs.LG
ReModels: Quantile Regression Averaging models
Faculty of Mathematics and Information Science, Warsaw University of Technology（华沙理工大学数学与信息科学学院）；Faculty of Computer Science, AGH University of Krakow（AGH克拉科夫大学计算机学院）
本文提出一个Python包，实现分位数回归平均（QRA）方法及其变体，并支持电力市场数据获取、预处理和模型预测评估，以提升电价概率预测的准确性。
2024-05-18 cs.LG
Probabilistic Spatial Analysis in Quantitative Microscopy with Uncertainty-Aware Cell Detection using Deep Bayesian Regression of Density Maps
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）；Uppsala University（乌普萨拉大学）
3D显微镜是研究不同生物系统的关键，而不断增加的大型数据集的可用性要求自动细胞识别方法不仅准确，而且还可以暗示其预测的不确定性，以告知潜在的错误，从而对使用它们的结论有信心。虽然传统的深度学习方法通常会产生确定性的结果，但深度贝叶斯学习的进步允许在许多图像分类和分割任务中进行具有概率解释的准确预测。然而，将这种贝叶斯方法扩展到细胞检测是不平凡的，这需要专门的学习框架。特别是，密度图的回归是用于在后处理步骤中从局部峰提取细胞坐标的流行的成功方法，这阻碍了任何有意义的概率输出。我们在此提出了一种基于深度学习的细胞检测框架，其可以对大型显微镜图像进行操作，并通过以下方式输出期望的概率预测：（i）集成贝叶斯技术以用于不确定性感知密度图的回归，其中可以应用峰值检测来生成细胞提议，以及（ii）学习从众多提议到被校准的概率空间的映射，即准确地表示成功预测的机会。利用这种校准的预测，我们提出了一个概率空间分析与蒙特卡洛抽样。我们证明了这一点，在修改现有的描述骨髓内的间充质基质细胞类型的分布，我们提出的方法使我们能够揭示空间模式，否则无法检测。在定量显微镜管道中引入这种概率分析将允许报告用于测试空间分布的生物学假设的置信区间。
2021-02-23 cs.CV cs.LG eess.IV
An Empirical Analysis of Constrained Support Vector Quantile Regression for Nonparametric Probabilistic Forecasting of Wind Power
Lehigh University（理海大学）
本文结合支持向量机、非线性分位数回归与非交叉约束提出风电非参数概率预测方法，基于全球能源预测竞赛2014年数据验证，该方法性能优于三个基准模型且避免分位数估计重叠问题。
2026-08-10 cs.LG econ.EM stat.ML
A Hidden Variables Approach to Multilabel Logistic Regression
University of Florida（佛罗里达大学）
多标签分类是文本分类、音乐标注等领域的一个重要问题。在本文中，我们提出了一个概率模型，多标签逻辑回归与隐藏变量（MLRH），它扩展了标准的逻辑回归通过引入隐藏变量。隐藏变量使其有可能超越传统的多类逻辑回归放松one-hot编码约束。我们定义了一个新的标签和隐藏变量的联合分布，使我们能够获得一个多标签分类器。我们在一组基准数据集上的实验研究表明，与其他多标签学习算法相比，概率模型可以获得具有竞争力的性能。
2019-12-03 cs.LG stat.ML
TRIAGE: Characterizing and auditing training data for improved regression
University of Cambridge（剑桥大学）
本文提出面向回归任务的训练数据表征框架 TRIAGE，利用共形预测分布构建与模型无关的评分方法，通过分析样本训练动态实现数据过滤、数据集选择与特征获取，从而提升回归性能。
2023-10-29 cs.LG
ECG-Based Electrolyte Prediction: Evaluating Regression and Probabilistic Methods
University of Tübingen（蒂宾根大学）；Uppsala University（乌普萨拉大学）；George Institute for Global Health（乔治全球健康研究院）；University of New South Wales（新南威尔士大学）
目的：体内电解质浓度水平的不平衡可能导致灾难性的后果，但准确和可获得的测量可以改善患者的预后。虽然血液测试提供准确的测量，但它们是侵入性的，实验室分析可能很慢或无法访问。相比之下，心电图（ECG）是一种广泛采用的工具，它可以快速简单地获取。然而，直接从ECG估计连续电解质浓度的问题还没有得到很好的研究。因此，我们研究回归方法是否可以用于基于ECG的电解质浓度的准确预测。方法：我们探索使用深度神经网络（DNN）来完成这项任务。我们分析了四种电解质的回归性能，利用一个新的数据集包含超过290000心电图。为了更好地理解，我们还研究了从连续预测到极端浓度水平的二元分类的全谱。为了提高临床实用性，我们最后扩展到概率回归方法，并评估不同的不确定性估计。结果如下：我们发现不同电解质之间的性能差异显著，这在临床上是合理的电解质的相互作用及其在ECG中的表现。我们还将回归精度与传统机器学习模型进行了比较，证明了DNN的优越性能。结论：离散化可以导致良好的分类性能，但无助于解决预测连续浓度水平的原始问题。虽然概率回归证明了潜在的实际用途，但不确定性估计并没有特别好的校准。意义：我们的研究是迈向准确可靠的基于ECG的电解质浓度水平预测的第一步。
2022-12-21 cs.CV cs.LG eess.SP
Effective Probabilistic Time Series Forecasting with Fourier Adaptive Noise-Separated Diffusion
AMSS, Chinese Academy of Sciences（中国科学院自动化研究所）；AMAP, Alibaba Group（阿里巴巴集团）
本研究提出FALDA概率时间序列预测框架，基于DMRR框架结合傅里叶分解与轻量去噪器DEMA，降低认知不确定性，在六个基准上长期预测表现优于现有方法，且比SOTA点预测方法性能最高提升9%。
2025-05-16 cs.LG
Bayesian symbolic regression: Automated equation discovery from a physicists' perspective
Department of Chemical Engineering, Universitat Rovira i Virgili（罗维拉-维格利大学化学工程系）；ICREA
本文从物理学视角阐述贝叶斯符号回归的概率框架，说明其如何基于信息论与统计物理原则评估模型、提供性能保证并支持模型集成。
2025-07-22 cond-mat.stat-mech cs.LG physics.data-an
Probabilistic Calibration by Design for Neural Network Regression
University of Mons（蒙斯大学）
针对神经网络回归的校准问题，提出端到端的分位数重校准训练方法，在57个数据集上提升预测精度并保持校准。
2024-03-18 cs.LG stat.ML
