Generative Ensemble Regression: Learning Particle Dynamics from Observations of Ensembles with Physics-Informed Deep Generative Models
Brown University(布朗大学);Massachusetts Institute of Technology(麻省理工学院);Pacific Northwest National Laboratory(西北太平洋国家实验室)
提出了一种通过观测离散和稀疏时刻的粒子系综来推断控制随机常微分方程(SODE)的新方法,即,多个“快照”。单个时刻的粒子坐标(可能有噪声或截断)记录在每个快照中,但在快照中不成对。通过训练一个生成“假”样本路径的物理生成模型,我们的目标是用概率测度空间中的曲线拟合观察到的粒子系综分布,该曲线是从推断的粒子动力学中推导出来的。我们采用不同的指标来量化分布之间的差异,例如,切片Wasserstein距离和生成对抗网络(GANs)中的对抗损失。我们把这种方法称为生成的“集合回归”(GER),类似于经典的“点回归”,在那里我们通过在欧几里得空间中执行回归来推断动态。我们说明GER通过学习的漂移和扩散项的粒子系综与布朗运动和Levy过程的SODE高达100维。我们还讨论了如何处理噪声或截断观测的情况。除了由独立粒子组成的系统,我们还通过构造物理信息的损失函数来处理具有未知相互作用势参数的非局部相互作用粒子系统。最后,我们调查的情况下,成对的观察,并讨论如何减少在这种情况下,通过证明收敛定理,提供理论支持的维数。
2021-03-21 cs.LG stat.ML
Unsupervised Ensemble Regression
Weizmann Institute of Science(魏茨曼科学研究所);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Yale University School of Medicine(耶鲁大学医学院)
考虑一个回归问题,其中没有标记数据,唯一的观测值是$m$专家$f_{i}$对许多样本$x_j$的预测$f_i(x_j)$。在不了解专家的准确性的情况下,是否仍然可以准确地估计未知的响应$y_{j}$?人们还能发现最不准确或最准确的专家吗?在这项工作中,我们提出了一个框架来研究这些问题,假设的基础上,$m$专家有不相关的偏差,从最佳的预测。假设响应的前两个时刻是已知的,我们开发的方法来检测最好和最坏的回归,并推导出U-PCR,一种新的主成分方法,用于无监督集成回归。我们为U-PCR提供了理论支持,并说明了它在各种回归问题上的集合平均值和中位数的精度提高。
2017-03-08 cs.LG stat.ML
Gradient Boosted Binary Histogram Ensemble for Large-scale Regression
University of Twente(特文特大学);Renmin University of China(中国人民大学);Peking University(北京大学)
在本文中,我们提出了一个梯度提升算法的大规模回归问题称为\textit{Gradient Boosted Binary Histogram Ensemble}(GBBHE)的基础上二进制直方图分区和集成学习。从理论的角度来看,通过假设目标函数的Hölder连续性,我们建立了GBBHE在空间$C^{0,α}$和$C^{1,0}$中的统计收敛速度,其中基本学习器的收敛速度的下限证明了提升的优势。此外,在$C^{1,0}$空间中,我们证明了使用集成回归器作为基学习器可以减少迭代次数以达到快速收敛速度,从而提高了计算效率。在实验中,与其他国家的最先进的算法,如梯度提升回归树(GBRT),Breiman的森林,和基于核的方法相比,我们的GBBHE算法表现出良好的性能与更少的运行时间在大规模数据集上。
2021-06-03 cs.LG stat.ML
Confident Neural Network Regression with Bootstrapped Deep Ensembles
Radboud University(拉德堡德大学)
本文提出一种计算成本低廉的Bootstrapped Deep Ensembles方法,通过修改的参数自举显式建模有限数据效应,显著提升了回归任务中标准深度集成的不确定性估计性能。
2023-08-03 cs.LG stat.ML
Semi-Supervised Regression using Cluster Ensemble and Low-Rank Co-Association Matrix Decomposition under Uncertainties
Sobolev Institute of mathematics(索博列夫数学研究所);Novosibirsk State University(新西伯利亚国立大学);RWTH Aachen(亚琛工业大学)
在本文中,我们解决了一个半监督回归问题。由于缺乏有关数据结构的知识和随机噪声的存在,所考虑的数据模型是不确定的。我们提出了一种方法,结合图拉普拉斯正则化和聚类集成方法。在标记和未标记数据上计算集成的协关联矩阵;该矩阵用作正则化框架中的相似性矩阵以导出预测输出。我们使用低秩分解的协关联矩阵显着加快计算和减少内存。使用蒙特卡罗方法的数值实验表明,所提出的方法的鲁棒性,效率和可扩展性。
2020-11-30 cs.LG stat.ML
RRMSE Voting Regressor: A weighting function based improvement to ensemble regression
Institute for Technologies of Metals(金属技术研究所);University of Duisburg-Essen(杜伊斯堡-埃森大学)
本文描述了基于RRMSE(相对均方根误差)的权重,以加权预测值的出现之前,平均的集合投票回归。集成回归背后的核心思想是将几个基本回归模型组合起来,以提高具有数值连续目标变量的学习问题的预测性能。集成投票回归的默认权重设置是统一的权重,如果没有学习任务的领域知识,就不可能为预测分配权重,这使得改进预测非常困难。这项工作试图通过实现基于加权函数的RRMSE来改善投票回归的预测。实验表明,RRMSE投票回归器产生显着更好的预测比其他国家的最先进的集成回归算法在六个流行的回归学习数据集。
2022-07-11 cs.LG
Regression Prior Networks
Yandex(Yandex(俄罗斯互联网公司));Higher School of Economics(高等经济学院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);University of Cambridge(剑桥大学)
先验网络是最近开发的一类模型,它产生可解释的不确定性度量,并已被证明在一系列任务上优于最先进的集成方法。它们还可以用于通过Encampaign Distribution Distillation(EnD $^2$)提取模型的集合,从而将其准确度、校准和不确定性估计保留在单个模型中。然而,到目前为止,先验网络仅用于分类任务。这项工作通过考虑Normal-Wishart分布将先验网络和EnD $^2$扩展到回归任务。回归先验网络的属性在合成数据、选定的UCI数据集和单眼深度估计任务上得到了证明,在这些任务中,它们产生的性能与集成方法具有竞争力。
2020-12-09 cs.LG stat.ML
Random Machines Regression Approach: an ensemble support vector regression model with free kernel choice
Federal University of Bahia(巴伊亚联邦大学);Federal Institute of Pernambuco(伯南布哥联邦学院);University of São Paulo(圣保罗大学)
机器学习技术总是以减少广义预测误差为目标。为了减少它,集成方法提出了一个很好的方法,结合几个模型,结果在一个更大的预测能力。随机机已经被证明是一种强大的技术,即:高预测能力,分类任务,在这篇文章中,我们提出了一个过程,使用袋加权支持向量模型回归问题。仿真研究是在人工数据集和真实数据基准上实现的。结果表明,回归随机机具有较低的泛化误差,在调整过程中无需选择最佳的核函数,具有良好的性能。
2020-03-27 cs.LG stat.AP stat.ML
Twin Neural Network Regression
Perimeter Institute for Theoretical Physics(圆周理论物理研究所);University of Ottawa(渥太华大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);University of Waterloo(滑铁卢大学);National Research Council of Canada(加拿大国家研究委员会)
介绍了孪生神经网络(TNN)回归方法。该方法预测两个不同数据点的目标值之间的差异,而不是目标本身。然后,通过在未看见的数据点的目标和所有训练数据点的目标之间的所有预测差异的集合上求平均来获得传统回归问题的解。尽管集合的产生通常是昂贵的,但TNN回归本质上创建了两倍于训练集大小的预测集合,同时只训练单个神经网络。由于集成已被证明是更准确的比单一的模型,这个属性自然转移到TNN回归。我们表明,与其他最先进的方法相比,TNN能够竞争或产生更准确的预测不同的数据集。此外,TNN回归受到自洽条件的约束。我们发现,违反这些条件提供了一个估计的预测不确定性。
2020-12-29 cs.LG stat.ML
Interpretable Reinforcement Learning with Ensemble Methods
University of New Hampshire(新罕布什尔大学)
我们建议使用提升回归树作为一种方法来计算人类可解释的解决方案,以解决强化学习问题。Boosting结合了几个回归树,以提高其准确性,而不会显着降低其固有的可解释性。先前的工作分别集中在强化学习和可解释的机器学习上,但在可解释的强化学习方面进展甚微。我们的实验结果表明,增强回归树计算的解决方案既可解释,又符合领先的强化学习方法的质量。
2018-09-19 cs.LG stat.ML
Electric Load and Power Forecasting Using Ensemble Gaussian Process Regression
Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出了一种新的负荷需求预测和发电调度的预测方法。准确的负荷需求预测和最佳发电量是电网系统高效运行的关键。在这项工作中,我们使用一个合成数据集描述了一个电网700总线和134发电机在365天的时间内与数据合成产生的每小时的速度。所提出的方法为一周的预测是基于高斯过程回归(GPR)方法,与先前的协方差矩阵的感兴趣的数量(QoI)计算从合奏形成的前20周的QoI观测。然后,我们在GPR框架内使用这些协方差来预测下周的生活质量。我们证明了所提出的集成GPR(EGPR)方法能够准确地预测每周总负荷需求和发电剖面。EGPR方法优于传统的预测方法,包括标准的GPR和自回归综合移动平均(ARIMA)方法。
2019-10-09 cs.LG stat.ML
Binary Classifier Calibration using an Ensemble of Near Isotonic Regression Models
在数据采掘的许多实际任务中,从数据中学习精确的概率模型是至关重要的。在本文中,我们提出了一种新的非参数校准方法称为\textit{ensemble of near isotonic regression}(ENIR)。该方法可以被认为是BBQ,最近提出的校准方法,以及常用的基于保序回归的校准方法的扩展。ENIR旨在解决保序回归的关键限制,即预测的单调性假设。与BBQ类似,该方法对二元分类器的输出进行后处理以获得校准的概率。因此,它可以与许多现有的分类模型相结合。我们证明了ENIR的性能合成和真实的数据集上常用的二进制分类模型。实验结果表明,该方法优于几种常用的二元分类器标定方法。特别是在真实数据上,ENIR通常在统计学上显著优于其他方法,并且永远不会更差。它能够提高分类器的校准能力,同时保持其区分能力。该方法对于大规模数据集也是计算上易处理的,因为它是$O(N \log N)$时间,其中$N$是样本的数量。
2015-11-16 cs.LG stat.ML
Ensemble Kalman Filtering for Online Gaussian Process Regression and Learning
The University of Sheffield(谢菲尔德大学);University of Canterbury(坎特伯雷大学);The University of Oxford(牛津大学)
高斯过程回归是一种机器学习方法,已被证明其对未知函数的估计的能力。然而,高斯过程具有高计算复杂性,因为在基本形式中,它们随着观测的数量而立方地缩放。提出了几种基于诱导点的方法来处理静态环境中的这个问题。然而,这些方法面临着实时任务的挑战,并且当数据随着时间顺序接收时。提出了一种新的稀疏高斯过程模型在线训练算法。它把高斯过程的均值和超参数分别作为集合卡尔曼滤波器的状态和参数。对新的即将到来的数据样本执行参数和状态的在线评估。该过程迭代地提高了参数估计的准确性。集合卡尔曼滤波器降低了获得具有高斯过程的预测所需的计算复杂度,从而保持这些预测的准确性水平。所提出的方法的性能证明在合成数据集和真正的大数据集的英国房价。
2018-07-09 cs.LG stat.ML
Portfolio optimization using local linear regression ensembles in RapidMiner
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
在本文中,我们实现了一个局部线性回归委员会(LOLREC)来预测标准普尔500指数中453种资产的1天前收益率。委员会的估计和历史回报被用来计算453只股票的投资组合权重。所提出的方法优于基准投资组合选择策略,优化资本的增长率。我们研究了算法参数m的影响:选定股票的数量对实现的平均年收益率。结果表明该算法在日常交易中的实用性。
2015-06-29 cs.LG q-fin.PM stat.ML
Ensemble Multi-task Gaussian Process Regression with Multiple Latent Processes
Tufts University(塔夫茨大学);Dept. of Electrical and Computer Engineering(电气与计算机工程系)
多任务/多输出学习试图利用任务之间的相关性来提高学习或独立解决每个任务的性能。在本文中,我们调查这个问题的背景下,高斯过程(GP),并提出了一个新的模型,学习的混合物的潜在过程分解的协方差阵到结构化的隐藏组件的总和,每个控制的潜在GP的输入功能和“重量”的任务。从这个总和结构,我们提出了一个可并行化的参数学习算法与预定的初始化的“权重”。我们还注意到,使用小批量训练数据的集成参数学习方法不仅降低了学习的计算复杂度,而且提高了回归性能。我们在两个数据集上评估了我们的模型,一个是较小的瑞士Jura数据集,另一个是来自NOAA的相对较大的ATMS数据集。与现有的替代品相比,有了很大的改进。
2018-05-09 cs.LG stat.ML
Stochastic tree ensembles for regularized nonlinear regression
City University of Hong Kong(香港城市大学);Arizona State University(亚利桑那州立大学)
本文提出了一种新的随机树集成方法,用于非线性回归,我们称之为XBART,简称加速贝叶斯加性回归树。通过将贝叶斯建模的正则化和随机搜索策略与递归分区方法的计算效率技术相结合,新方法获得了最先进的性能:在许多设置中,它比广泛使用的XGBoost算法更快,更准确。通过仔细的模拟研究,我们证明了我们的新方法提供了平均函数的精确逐点估计,并且比流行的替代方案(如BART,XGBoost和神经网络(使用Keras))更快。我们还证明了一些基本的理论结果,包括单树版本的模型的一致性和平稳性的马尔可夫链产生的集成版本。此外,我们表明,初始化标准贝叶斯加性回归树马尔可夫链蒙特卡罗(MCMC)在XBART拟合树大大提高了可信区间覆盖率,减少总运行时间。
2021-06-03 cs.LG stat.ME stat.ML
Ensemble Kernel Methods, Implicit Regularization and Determinantal Point Processes
KU Leuven(荷语鲁汶大学)
利用行列式点过程(DPPs)的框架,可以得到关于多样性和正则化之间相互作用的一些理论结果。在本文中,我们表明,采样子集与kDPPs的结果在隐式正则化的上下文中的无脊核回归。此外,我们利用最先进的DPP算法的常见设置来采样多个小子集,并将它们用于无脊回归的集合中。我们的第一个实证结果表明,集成的无脊回归可能是有趣的,用于数据集,包括冗余信息。
2020-07-07 cs.LG stat.ML
Ensemble Conformalized Quantile Regression for Probabilistic Time Series Forecasting
UiT The Arctic University of Norway(挪威北极大学);Kongsberg Satellite Services(康斯伯格卫星服务公司);NORCE Norwegian Research Centre(挪威NORCE研究中心)
本文提出了一种新的概率预测方法集成整合分位数回归(EnCQR)。EnCQR构造无分布和近似边缘有效的预测区间(PI),适用于非平稳和异方差时间序列数据。EnCQR可以应用于通用预测模型之上,包括深度学习架构。EnCQR利用自举集成估计,它使使用保形预测的时间序列,消除了数据交换的要求。集成学习器被实现为执行分位数回归的通用机器学习算法,其允许PI的长度适应数据中的局部变化。在实验中,我们预测的时间序列的特点是不同数量的异方差。结果表明,EnCQR优于仅基于分位数回归或共形预测的模型,并且它提供了更清晰,更丰富和有效的PI。
2022-11-06 cs.LG
Ensemble Methods for Convex Regression with Applications to Geometric Programming Based Circuit Design
Duke University(杜克大学)
本文提出集成方法(如bagging、smearing和随机划分)来改进分段线性凸回归的稳定性,并应用于基于几何规划的电路设计中的器件建模和约束近似。
2012-06-18 cs.LG cs.NA math.NA
Zero-Shot Uncertainty Quantification using Diffusion Probabilistic Models
Carnegie Mellon University(卡内基梅隆大学)
本文研究扩散回归模型的集成预测能否实现零样本不确定性量化,通过一维和二维实验表明集成可稳定提升精度,并揭示预测误差与方差的统计相关性。
2024-08-08 cs.LG stat.ML
Structure Learning for Relational Logistic Regression: An Ensemble Approach
Indiana University, Bloomington(印第安纳大学伯明顿分校);The University of Texas at Dallas(德克萨斯大学达拉斯分校);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of British Columbia(不列颠哥伦比亚大学);TU Darmstadt University(达姆施塔特工业大学)
我们考虑学习关系逻辑回归(RLR)的问题。与标准逻辑回归不同,RLR的特征是具有相关权重向量而不是标量权重的一阶公式。我们把学习RLR的问题转化为学习这些向量加权公式,并基于最近成功的概率逻辑模型的泛函-梯度提升方法,提出了一种学习算法。我们推导出函数梯度,并展示了如何以有效的方式同时学习权重。我们对标准和新数据集的实证评估表明,我们的方法优于其他方法学习RLR。
2018-08-06 cs.AI cs.LG stat.ML
Deep sub-ensembles meets quantile regression: uncertainty-aware imputation for time series
Department of Computer and Information(计算机与信息系);Hefei University of Technology(合肥工业大学);Dept. of Comp. Sci. & Tech.(计算机科学与技术系);Tsinghua University(清华大学)
本文提出Quantile Sub-Ensembles方法,结合分位数回归和非生成框架,实现时间序列缺失值填补的高可靠性与高效性。
2025-12-01 cs.LG stat.ML
Optimizing Ensemble Weights and Hyperparameters of Machine Learning Models for Regression Problems
Iowa State University(爱荷华州立大学)
通过集成模型聚合多个学习者旨在通过更准确地捕获数据的底层分布来做出更好的预测。不同的组合方法,如装袋、增压和堆叠/混合,已在研究和实践中被广泛研究和采用。bagging和boosting分别更侧重于减少方差和偏差,而stacking方法则通过找到组合基本学习器的最佳方式来实现这两个目标。在使用加权平均值进行堆叠时,从多个基本学习器的加权平均值创建集合。众所周知,在集成权重优化过程中调整每个基学习器的超参数可以产生性能更好的集成。为此,设计了一种基于优化的嵌套算法,该算法考虑调整超参数以及找到组合集成的最佳权重(具有内部调整超参数的广义加权集成(GEM-ITH))。此外,贝叶斯搜索被用来加快优化过程,并实施启发式生成多样化和性能良好的基础学习器。通过对10个公开数据集的分析,证明了该算法可推广到真实数据集。
2020-10-31 cs.LG stat.ME stat.ML
Machine Learning for Multi-Output Regression: When should a holistic multivariate approach be preferred over separate univariate ones?
TU Dortmund University(多特蒙德工业大学)
基于树的集成,如随机森林,是统计学习方法中的现代经典。特别是,它们用于预测单变量响应。在多个输出的情况下,问题出现了,我们是否单独拟合单变量模型或直接遵循多变量方法。对于后者,存在几种可能性,例如基于多输出回归的修改的分裂或停止规则。在这项工作中,我们比较了这些方法在广泛的模拟,以帮助回答的主要问题时,使用多元集成技术。
2022-01-14 cs.LG stat.ML
Histogram Transform Ensembles for Large-scale Regression
Samsung Research China - Beijing(三星中国研究院-北京)
我们提出了一种新的算法,称为直方图变换集成(HTE),由随机旋转,拉伸和平移的大规模回归问题。首先,我们研究了当回归函数位于Hölder空间$C^{k,α}$,$k \in \mathbb{N}_0$,$α\in (0,1]$中时HTE的理论性质.在$k=0, 1$的情况下,我们采用常数回归,并开发了朴素直方图变换(NHT)。在空间$C^{0,α}$,虽然几乎最优的收敛速度可以得出单一和合奏NHT,我们没有表现出的好处,理论上单一的估计合奏。相反,在子空间$C^{1,α}$,我们证明了,如果$d \geq 2(1+α)/α$,单一的NHT的收敛速度的下限原来是更糟糕的集合NHT的收敛速度的上限。在$k \geq 2$的另一种情况下,NHT可能不再适合于预测更平滑的回归函数。相反,我们应用内核直方图变换(KHT)配备了更平滑的回归,如支持向量机(SVM),事实证明,无论是单一的和合奏KHT享有几乎最佳的收敛速度。然后通过数值实验验证了上述理论结果。一方面,模拟结果表明,系综NHT优于单一NHT。另一方面,面元大小对NHT和KHT精度的影响也与理论分析一致。最后,在真实数据实验中,将集成KHT与自适应直方图变换和其他最先进的大规模回归估计器进行了比较,验证了我们算法的有效性和准确性。
2019-12-08 cs.LG math.ST stat.ML
Data-driven Prognostics with Predictive Uncertainty Estimation using Ensemble of Deep Ordinal Regression Models
TCS Research(塔塔咨询服务研究中心)
预测或剩余使用寿命(RUL)估计从多传感器时间序列数据是有用的,使基于条件的维护,并确保设备的高操作可用性。我们提出了一种新的基于深度学习的方法,用于预测不确定性量化,这在以下情况下是有用的:(i)由于故障的罕见性,对标记的故障数据的访问是稀缺的(ii)未来的操作条件是不可观察的(iii)传感器读数中存在固有的噪声。上述三种情况都是RUL估计过程中不可避免的不确定性来源,通常会导致不可靠的RUL估计。为了解决(i),我们将RUL估计公式化为有序回归(OR)问题,并提出LSTM-OR:基于深度长短期记忆(LSTM)网络的方法来学习OR函数。我们表明,LSTM-OR自然允许在训练中结合审查的操作实例以及失败的实例,从而实现更强大的学习。为了解决(ii),我们提出了一个简单而有效的方法来量化预测的不确定性,在RUL估计模型的训练LSTM-OR模型的合奏。通过对C-MAPSS涡扇发动机基准数据集的实证评估,我们证明了LSTM-OR明显优于常用的基于深度度量回归的RUL估计方法,特别是当失败的训练实例很少时。此外,我们的不确定性量化方法产生高质量的预测不确定性估计,同时也导致改进的RUL估计相比,单一的最佳LSTM-OR模型。
2021-03-04 cs.LG stat.ML
Measuring the Algorithmic Convergence of Randomized Ensembles: The Regression Setting
University of California, Davis(加州大学戴维斯分校)
当随机集成方法,如装袋和随机森林的实施,一个基本的问题出现了:是合奏足够大?特别是,从业者希望严格保证给定的合奏将执行几乎以及理想的无限合奏(在相同的数据上训练)。本文的目的是在回归的背景下开发一种解决这个问题的自助方法-这补充了我们在分类背景下的配套论文(Lopes 2019)。与分类设置相反,本文表明,在弱得多的假设下,可以建立所提出的自举的理论保证。此外,我们说明了该方法的灵活性,显示它可以适应于测量算法的收敛变量的选择。最后,我们提供的数值结果表明,该方法在一系列的情况下工作良好。
2019-08-04 cs.LG math.ST stat.ME
On the Functional Equivalence of TSK Fuzzy Systems to Neural Networks, Mixture of Experts, CART, and Stacking Ensemble Regression
Huazhong University of Science and Technology(华中科技大学);University of Technology, Sydney(悉尼科技大学)
模糊系统在许多应用中取得了巨大的成功。然而,在设计最优模糊系统方面仍然存在许多挑战,例如,如何有效地优化其参数,如何平衡规则之间的合作与竞争之间的权衡,如何克服维数灾难,如何提高其泛化能力,等等。文献表明,通过在模糊系统和其他机器学习方法之间建立适当的联系,可以使用其他领域的良好实践来改进模糊系统,反之亦然。本文概述了Takagi-Sugeno-Kang模糊系统与四种经典机器学习方法--神经网络、混合专家模型、分类和回归树以及堆叠集成回归--在回归问题上的功能等价性。我们还指出了一些有前途的新的研究方向,灵感来自功能等效,这可能会导致解决上述问题。据我们所知,这是迄今为止关于模糊系统和其他流行的机器学习方法之间联系的最全面的概述,并希望能激发不同机器学习算法之间的更多杂交。
2019-07-13 cs.AI cs.LG stat.ML
Enhancing Predictive Accuracy in Pharmaceutical Sales Through An Ensemble Kernel Gaussian Process Regression Approach
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学);Swanson School of Engineering, University of Pittsburgh(匹兹堡大学斯旺森工程学院);Duquesne University(杜肯大学)
本文提出一种融合指数平方、修正Matérn和有理二次核的集成核高斯过程回归方法,通过贝叶斯优化确定权重,在药品销售预测中取得接近1.0的R²并显著降低误差。
2024-04-15 cs.LG
Boosting Ridge Regression for High Dimensional Data Classification
Data Science Research Center, Department of Computer Science, Chiang Mai University(清迈大学计算机科学系数据科学研究中心);Chiang Mai University(清迈大学)
岭回归是一种成熟的回归估计,可以方便地适用于分类问题。一个令人信服的原因可能是岭回归发出一个封闭形式的解决方案,从而促进了训练阶段。然而,在高维问题的情况下,涉及反转正则化协方差矩阵的封闭形式的解决方案是相当昂贵的计算。这种操作的高计算要求也使得构造岭回归系综的难度增加。在本文中,我们考虑学习岭回归器的集成,其中每个回归器在其自己的随机投影子空间中进行训练。随后通过自适应提升方法组合子空间回归量。基于五个高维分类问题的实验证明了所提出的方法在学习时间方面的有效性,并且在某些情况下可以观察到改进的预测性能。
2020-03-25 cs.LG stat.ML
Soft Rule Ensembles for Statistical Learning
Cornell University(康奈尔大学);Limagrain Europe(利马格兰欧洲);USDA-ARS(美国农业部农业研究局)
在这篇文章中,监督学习问题是使用软规则集成来解决的。我们首先回顾了重要性抽样学习集成(ISLE)的方法,这是有用的生成硬规则。软规则,然后获得与逻辑斯谛回归从相应的硬规则。为了处理与逻辑斯谛回归有关的完全分离问题,使用了Firth的偏差校正似然。各种例子和仿真结果表明,软规则集成可以提高预测性能比硬规则集成。
2013-02-22 cs.LG stat.AP stat.ML
Extending Explainable Ensemble Trees (E2Tree) to regression contexts
Department of Economics and Statistics, University of Naples Federico II(那不勒斯费德里科二世大学经济学与统计学系);Institute of Psychology, Leiden University(莱顿大学心理学研究所)
本文通过引入新的不相似度度量,将可解释集成树方法从分类扩展到回归,并在真实数据集上验证其解释能力。
2024-09-10 cs.LG stat.CO stat.ML
Distributional Regression U-Nets for the Postprocessing of Precipitation Ensemble Forecasts
Université de Franche Comté(弗朗什-孔泰大学);CNRS(法国国家科学研究中心);Laboratoire des Sciences du Climat et de l’Environnement(气候与环境科学实验室);CEA(法国原子能和替代能源委员会);UVSQ(凡尔赛大学);IPSL(巴黎地球物理研究所);CNRM(法国国家气象研究中心);Université de Toulouse(图卢兹大学);Météo-France(法国气象局)
提出基于 U-Net 的分布回归全局后处理方法,通过评分规则最小化预测降水参数化边际分布,并在 AROME-EPS 法国南部数据上验证其竞争力与强降水预测优势。
2024-07-02 cs.LG stat.AP stat.ML
Ensemble Maximum Entropy Classification and Linear Regression for Author Age Prediction
California Institute of Technology(加州理工学院);Jet Propulsion Laboratory(喷气推进实验室)
互联网的发展在网络上创造了大量的非结构化数据,其中很大一部分是文本。作者侧写的任务是仅仅从文本中基于语言和内容的特征来发现人们的人口统计学特征。描述作者特征的能力在安全和取证以及营销等领域都有应用。我们没有把年龄仅仅看作是一个分类问题,而是把年龄看作是一个回归问题,而是使用了一种集成链方法,结合了分类和回归的力量来学习作者的确切年龄。
2016-10-04 cs.CL cs.LG
Towards Reliable Uncertainty Quantification via Deep Ensembles in Multi-output Regression Task
Korea Advanced Institute of Science and Technology(韩国科学技术院);Seoul National University(首尔大学)
本研究针对导弹气动性能预测的多输出回归任务,提出结合事后校准的深度集成框架以解决不确定性低估问题,在精度、可靠性和效率上优于高斯过程回归,且可扩展至任意回归任务。
2023-11-24 cs.CE cs.LG
Uncertainty Voting Ensemble for Imbalanced Deep Regression
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
本文提出 UVOTE,用负对数似然训练专家并以任意不确定性加权融合预测,在不平衡回归基准上提升精度与不确定性校准。
2024-10-25 cs.LG
Factor-augmented tree ensembles
Imperial College London(帝国理工学院)
本研究提出用状态空间法提取的潜平稳因子扩展时间序列回归树的信息集,从两维度推广该类回归树,其集成模型可有效解决宏观金融问题,并以美股波动率和商业周期的领先滞后效应为例验证。
2023-06-12 cs.LG econ.EM stat.ML
A hybrid ensemble method with negative correlation learning for regression
Beihang University(北京航空航天大学);IMT Atlantique(大西洋国立高等工业技术与矿业学校)
本研究提出一种混合集成回归方法,通过内点滤波线性搜索优化目标函数,引入负相关学习惩罚项自动选择并加权异构子模型,构建NCL集成,兼顾多样性与准确性,性能优于现有加权方法。
2023-05-15 cs.LG
Diversity and degrees of freedom in regression ensembles
University of Manchester(曼彻斯特大学)
包围方法是现代机器学习的基石。合奏的表现取决于其组成学习者之间的多样性水平至关重要。本文建立了多样性和自由度(即模型的容量)之间的联系,表明多样性可以被视为逆正则化的一种形式。这是通过专注于以前发表的算法负相关学习(NCL),其中模型的多样性是明确鼓励通过多样性惩罚项的损失函数。给出了固定基函数的NCL系综有效自由度的精确公式,证明了它是多样性参数的连续、凸和单调递增函数.我们证明了一个连接到吉洪诺夫正则化,并表明,与适当选择的多样性参数,NCL合奏可以始终优于非正则合奏噪声的存在。我们证明了我们的方法的实际效用,推导出一种方法来有效地调整多样性参数。最后,我们使用蒙特卡洛估计器将多样性和自由度之间的联系扩展到深度神经网络的集成。
2018-03-01 cs.LG
Discovery and inference beyond linearity for epidemiological data by integrating Bayesian regression, tree ensembles and Shapley values
Amsterdam UMC Leiden University(阿姆斯特丹大学医学中心-莱顿大学);Leiden University(莱顿大学);Amsterdam UMC(阿姆斯特丹大学医学中心)
提出RuleSHAP框架,结合贝叶斯稀疏回归、改进的树规则生成器和Shapley值,实现非线性与交互效应的检测及个体水平的不确定性量化,应用于流行病学数据发现高胆固醇和血压的影响因素。
2026-06-11 cs.LG stat.ML
Super ensemble learning for daily streamflow forecasting: Large-scale demonstration and comparison with multiple machine learning algorithms
National Technical University of Athens(雅典国家技术大学);Air Force Support Command, Hellenic Air Force(希腊空军支援司令部);University of Patras(帕特雷大学)
通过数据驱动的方法进行的日常径流预测传统上是使用单个机器学习算法进行的。现有的应用程序大多局限于少数案例研究的检查,不允许准确评估所涉及的算法的预测性能。在这里,我们提出了超级学习(一种集成学习),通过组合10个机器学习算法。我们应用该算法在一步提前预测模式。为了应用,我们利用了一个大的数据集,包括10年的时间序列的日径流量,降水量和温度从511个流域。超级学习器比线性回归算法的性能提高了20.06%,优于“实践中难以击败”的等权重组合器。后者比线性回归算法的性能提高了19.21%。性能最好的单个机器学习算法是神经网络,它比线性回归算法的性能提高了16.73%,其次是极度随机化的树(16.40%)、XGBoost(15.92%)、黄土(15.36%)、随机森林(12.75%)、polyMARS(12.36%)、MARS(4.74%)、lasso(0.11%)和支持向量回归(-0.45%)。基于所获得的大规模的结果,我们提出了超级学习每日径流预测。
2021-03-22 cs.LG stat.ML
A Generalized Stacking for Implementing Ensembles of Gradient Boosting Machines
Peter the Great St.Petersburg Polytechnic University(圣彼得堡彼得大帝理工大学)
梯度提升机是求解回归问题的有力工具之一。针对其不足,提出了一种构造梯度提升模型集成的方法。该方法背后的主要思想是使用堆叠算法来学习第二级元模型,该第二级元模型可以被视为用于实现梯度提升模型的各种集合的模型。首先,梯度提升模型的线性回归被认为是在线性模型关于其系数(权重)可微的条件下的元模型的最简单实现。然后,它表明,所提出的方法可以简单地扩展到任意可微的组合模型,例如,神经网络是可微的,可以实现任意功能的梯度提升模型。各种数值例子说明了所提出的方法。
2020-10-12 cs.LG stat.ML
Optimally Weighted Ensembles of Regression Models: Exact Weight Optimization and Applications
Leiden University(莱顿大学);TH Cologne(科隆应用技术大学)
自动模型选择通常被建议给用户以选择将哪个机器学习模型(或方法)应用于给定的回归任务。在本文中,我们表明,结合不同的回归模型可以产生更好的结果比选择一个单一的(“最好的”)回归模型,并概述了一个有效的方法,获得最佳加权凸线性组合从一个异构的回归模型。更具体地说,在本文中,启发式权重优化,在前面的会议论文中使用的,被替换为一个精确的优化算法,使用凸二次规划。我们证明了凸性的二次规划制定的直接制定和制定加权数据点。新的权重优化不仅更精确,而且更有效。我们在本文中开发的方法通过github-open source实现并提供。它们可以在常用硬件上执行,并提供透明且易于解释的界面。结果表明,该方法在一系列数据集上优于模型选择方法,包括来自药物发现应用的混合变量类型的数据集。
2022-06-22 cs.LG
Robust Regression with Ensembles Communicating over Noisy Channels
针对分布式回归中噪声信道通信导致的可靠性问题,提出优化聚合系数的方法,适用于装袋和梯度提升集成方法,并在合成及真实数据集上验证有效性。
2024-08-20 cs.DC cs.IT cs.LG
Uncertainty separation via ensemble quantile regression
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出一种基于分位数回归模型集成(E-QR)的可扩展框架,通过渐进采样算法迭代改进偶然与认知不确定性的分离,在大型数据集和合成基准上超越Deep Ensembles和MC dropout等方法。
2024-12-18 cs.AI cs.CE cs.LG
Ensemble Method for Censored Demand Prediction
National Research University Higher School of Economics(国立研究型大学高等经济学院)
包括最优定价和库存管理在内的许多经济应用都需要根据销售数据预测需求,并估计销售对价格变化的反应。有一个广泛的计量经济学方法,用于纠正偏差的需求参数的估计删失的销售数据。这些方法也可以应用到各类机器学习模型中,以减少销量的预测误差。在这项研究中,我们构建了两个集成模型的需求预测和不占需求审查。销售审查的核算基于审查分位数回归方法的思想,其中模型估计分为两个单独的部分:a)分类模型预测零销售额; b)回归模型预测非零销售额。考虑审查和不考虑审查的模型是基于最小二乘、岭回归和拉索回归以及随机森林模型的预测聚合。在估计了这两个模型的预测特性之后,我们根据经验测试了考虑到需求的删失性质的模型的最佳预测能力。我们还表明,机器学习方法与审查会计提供偏差校正的估计价格变化的需求敏感性类似的计量经济学模型。
2018-10-22 cs.LG stat.ML
Differentially Private Ensemble Classifiers for Data Streams
Simon Fraser University(西蒙弗雷泽大学)
通过分类/回归从连续数据流中学习在许多领域都很普遍。适应不断变化的数据特征(概念漂移),同时保护数据所有者的私人信息是一个公开的挑战。我们提出了一个差分私有集成解决方案,这个问题有两个显着的特点:它允许一个\textit{unbounded}数量的集成更新,以处理潜在的永无止境的数据流在一个固定的隐私预算,它是\textit{model agnostic},因为它对待任何预先训练的差分私有分类/回归模型作为一个黑盒子。我们的方法在真实世界和模拟数据集上的性能优于竞争对手,这些数据集具有不同的隐私设置,概念漂移和数据分布。
2021-12-09 cs.CR cs.LG stat.ML
MetaBags: Bagged Meta-Decision Trees for Regression
NEC Laboratories Europe(欧洲NEC实验室);Josef Stefan Institute(约瑟夫·斯特凡研究所)
集成是解决实际监督学习问题的常用方法。它们降低了生产级软件中模型表现不佳的风险。虽然至关重要,但用于学习异构回归集成的方法尚未大规模提出,而在经典ML文献中,堆叠,级联和投票大多仅限于分类问题。回归带来了不同的学习挑战,可能导致性能不佳,即使使用良好的同质集成模式,如bagging或boosting。在本文中,我们介绍了MetaBags,这是一种新颖的,实用的回归堆栈框架。MetaBags是一种元学习算法,它学习一组Meta决策树,旨在为每个查询选择一个基本模型(即专家),并专注于归纳偏差减少。一组Meta决策树是使用不同类型的元特征来学习的,这些元特征是专门为此目的而创建的,然后在元级别被打包。这个过程的目的是学习一个模型与公平的偏差方差权衡,其改善基础模型的性能与不同的专家对特定的输入空间子区域的预测多样性。所提出的方法和元特征被设计成使得它们即使在可用的训练数据中没有充分表示的空间的子区域中也能够实现良好的预测性能。对该方法进行了详尽的实证测试,评估了合成,开放和真实世界的应用程序数据集上的泛化误差和方法的可扩展性。所获得的结果表明,我们的方法显着优于现有的最先进的方法。
2018-04-17 cs.LG stat.ML
Efficient Epistemic Uncertainty Estimation in Regression Ensemble Models Using Pairwise-Distance Estimators
Department of Computer Science(计算机科学系);McGill University(麦吉尔大学)
本文提出利用成对距离估计器(PaiDEs)高效估计回归集成模型的认知不确定性,加速BALD主动学习,在多个基准上验证了其在高维任务中的优越性能。
2025-09-26 cs.AI cs.LG
Random Forest Ensemble of Support Vector Regression Models for Solar Power Forecasting
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
为了减轻可变可再生资源的不确定性,部署了两个现成的机器学习工具来预测太阳能光伏系统的太阳能功率输出。支持向量机生成的预测和随机森林作为一个集成学习方法来结合预测。风能和太阳能发电预测中常见的集合技术是混合来自几个来源的气象数据。在这项研究中,虽然,现在和过去的太阳能发电预测从几个模型,以及相关的气象数据,被纳入到随机森林结合和提高准确性的一天前的太阳能发电预测。综合模型的性能进行评估,在整个一年,并与其他结合技术进行比较。
2017-04-27 cs.CE cs.LG
Empirical Asset Pricing via Ensemble Gaussian Process Regression
École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院);Swiss Finance Institute(瑞士金融研究所);Indian Institute of Technology Ropar(印度理工学院罗帕尔分校)
本文提出了一种基于高斯过程回归的集成学习方法,用于预测股票收益率,并在实证分析中展示了其在预测精度和夏普比率上的优越性。
2026-03-07 cs.LG q-fin.RM q-fin.ST
Persistent Homology-induced Graph Ensembles for Time Series Regressions
University of Würzburg(维尔茨堡大学);Center for Artificial Intelligence and Data Science (CAIDAS)(人工智能与数据科学中心);Osnabrück University(奥斯纳布吕克大学);Leibniz Institute of Agricultural Engineering and Bio-economy (ATB)(莱布尼茨农业工程与生物经济研究所);Technical University of Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心)
针对时空图神经网络依赖固定人工图结构的局限,提出基于持久同调滤过构建多尺度图并结合注意力路由的图集成方法,在地震与交通预测任务上性能优于单图基线且具备可解释性。
2025-03-19 cs.LG
Towards an Ensemble Regressor Model for Anomalous ISP Traffic Prediction
University of Western Ontario(西安大略大学);Juniper Networks(瞻博网络)
网络流量行为预测对于现代电信网络的有效管理具有重要意义。然而,使用管理经验和市场分析数据预测网络流量的直观方法对于有效的预测框架是不够的。因此,人们研究了许多不同的数学模型来捕捉网络流量的总体趋势并进行相应的预测。但是,不同的回归模型和他们的集成的综合性能分析还没有研究之前,用于分析现实世界的异常流量。本文分析了几种回归模型,如XGBoost、LightGBM、随机梯度下降、梯度提升回归量(GBR)和CatBoost回归量,并将其应用于无异常和有异常的实际流量预测中,说明了异常检测在实际流量预测中的重要性。此外,我们还展示了集合回归模型优于个体预测模型的表现。我们比较了基于长度为6、9、12、15和18的五个不同特征集的不同回归模型的性能。我们的集成回归模型实现了实际流量和预测流量之间的最小平均差距为5.04%,有9个离群值调整输入。总的来说,我们的实验结果表明,数据中的离群值会显著影响预测的质量。因此,离群值检测和缓解有助于回归模型学习总体趋势并做出更好的预测。
2022-05-03 cs.LG cs.NI
Efficient Bayesian Deep Ensembles via Analytic Predictive Inference
Wm Michael Barnes ’64 Department of Industrial and Systems Engineering(工业与系统工程系)
该研究提出一种高效贝叶斯深度集成方法用于预测回归,结合贝叶斯推理与深度集成优势。通过低维集成表示、闭式贝叶斯聚合和独立集成训练三个关键组件,在保持可靠不确定性估计时实现了有竞争力的预测性能。
2026-07-09 cs.LG stat.ME