Diversity and degrees of freedom in regression ensembles
University of Manchester(曼彻斯特大学)
包围方法是现代机器学习的基石。合奏的表现取决于其组成学习者之间的多样性水平至关重要。本文建立了多样性和自由度(即模型的容量)之间的联系,表明多样性可以被视为逆正则化的一种形式。这是通过专注于以前发表的算法负相关学习(NCL),其中模型的多样性是明确鼓励通过多样性惩罚项的损失函数。给出了固定基函数的NCL系综有效自由度的精确公式,证明了它是多样性参数的连续、凸和单调递增函数.我们证明了一个连接到吉洪诺夫正则化,并表明,与适当选择的多样性参数,NCL合奏可以始终优于非正则合奏噪声的存在。我们证明了我们的方法的实际效用,推导出一种方法来有效地调整多样性参数。最后,我们使用蒙特卡洛估计器将多样性和自由度之间的联系扩展到深度神经网络的集成。
2018-03-01 cs.LG
(Decision and regression) tree ensemble based kernels for regression and classification
AbbVie Inc.(艾伯维公司);Merck & Co., Inc.(默沙东公司)
基于树的集成,例如Breiman的随机森林(RF)和梯度提升树(GBT)可以被解释为隐式内核生成器,其中随后的邻近矩阵表示数据驱动的树集成内核。RF的内核的角度来看,已被用来开发一个原则性的框架,其统计特性的理论研究。最近,它已被证明,内核的解释是密切相关的其他基于树的合奏,如GBT。然而,内核和树集成之间的联系的实际效用还没有得到广泛的探索和系统的评估。我们的工作重点是研究核方法和基于树的集成(包括RF和GBT)之间的相互作用。我们阐明的RF和GBT为基础的内核在一个全面的模拟研究,包括连续和二进制目标的性能和属性。我们表明,对于连续的目标,RF/GBT内核在高维场景中,特别是在具有大量噪声特征的情况下,与它们各自的合奏具有竞争力。对于二进制目标,RF/GBT内核及其各自的集成表现出相当的性能。我们提供了来自现实生活数据集的回归和分类结果,以展示如何在实践中利用这些见解。总体而言,我们的研究结果支持树集成为基础的内核作为一个有价值的除了从业者的工具箱。最后,我们讨论了基于树集成的生存目标,可解释的原型和地标分类和回归的内核的扩展。我们概述了未来的研究路线的内核提供的贝叶斯同行的频率论树合奏。
2020-12-19 cs.LG stat.ML
Optimally Weighted Ensembles of Regression Models: Exact Weight Optimization and Applications
Leiden University(莱顿大学);TH Cologne(科隆应用技术大学)
自动模型选择通常被建议给用户以选择将哪个机器学习模型(或方法)应用于给定的回归任务。在本文中,我们表明,结合不同的回归模型可以产生更好的结果比选择一个单一的(“最好的”)回归模型,并概述了一个有效的方法,获得最佳加权凸线性组合从一个异构的回归模型。更具体地说,在本文中,启发式权重优化,在前面的会议论文中使用的,被替换为一个精确的优化算法,使用凸二次规划。我们证明了凸性的二次规划制定的直接制定和制定加权数据点。新的权重优化不仅更精确,而且更有效。我们在本文中开发的方法通过github-open source实现并提供。它们可以在常用硬件上执行,并提供透明且易于解释的界面。结果表明,该方法在一系列数据集上优于模型选择方法,包括来自药物发现应用的混合变量类型的数据集。
2022-06-22 cs.LG
Contextualized Hybrid Ensemble Q-learning: Learning Fast with Control Priors
RWTH Aachen University(亚琛工业大学);Institute for Data Science in Mechanical Engineering(机械工程数据科学研究所)
本文提出CHEQ算法,通过将自适应权重作为情境变量、利用评论家集成不确定性动态调整权重,并结合集成加速,在赛车任务上实现了比现有自适应混合RL方法更高的数据效率、探索安全性和迁移能力。
2024-07-01 cs.LG
Deep Regression Ensembles
Swiss Finance Institute(瑞士金融研究所);Yale University(耶鲁大学);University of Lausanne(洛桑大学);AQR Capital Management(AQR资本管理公司);EPFL(洛桑联邦理工学院)
我们介绍了一种设计和训练深度神经网络(DNN)的方法,我们称之为“深度回归集成”(DRE)。它弥补了DNN和用随机特征回归训练的两层神经网络之间的差距。DRE的每一层都有两个组成部分,随机抽取的输入权重和使用线性岭回归进行近视训练的输出权重(就像最终输出层一样)。在一个层中,每个神经元使用不同的输入子集和不同的岭惩罚,构成随机特征岭回归的集合。我们的实验表明,在许多数据集中,单个DRE架构与最先进的DNN相当或超过DNN。然而,由于DRE神经权重要么以封闭形式已知,要么随机抽取,因此其计算成本比DNN小几个数量级。
2022-03-10 cs.LG stat.ML
Hybrid Ensemble Deep Graph Temporal Clustering for Spatiotemporal Data
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
针对复杂多元时空数据,提出混合集成深度图时序聚类方法,整合同质与异质集成及双重共识和图注意力自编码器,在三个真实数据集上优于现有模型,提升聚类性能与稳定性。
2024-09-19 cs.LG
Incremental Hybrid Ensemble with Graph Attention and Frequency-Domain Features for Stable Long-Term Credit Risk Modeling
Columbia University in the City of New York(哥伦比亚大学(纽约市))
针对长期信用风险预测中数据漂移问题,提出HYDRA-EI混合集成增量学习框架,结合图注意力与频域特征,每周更新并动态调整权重,提升模型稳定性与泛化能力。
2025-10-09 cs.LG
Generative Ensemble Regression: Learning Particle Dynamics from Observations of Ensembles with Physics-Informed Deep Generative Models
Brown University(布朗大学);Massachusetts Institute of Technology(麻省理工学院);Pacific Northwest National Laboratory(西北太平洋国家实验室)
提出了一种通过观测离散和稀疏时刻的粒子系综来推断控制随机常微分方程(SODE)的新方法,即,多个“快照”。单个时刻的粒子坐标(可能有噪声或截断)记录在每个快照中,但在快照中不成对。通过训练一个生成“假”样本路径的物理生成模型,我们的目标是用概率测度空间中的曲线拟合观察到的粒子系综分布,该曲线是从推断的粒子动力学中推导出来的。我们采用不同的指标来量化分布之间的差异,例如,切片Wasserstein距离和生成对抗网络(GANs)中的对抗损失。我们把这种方法称为生成的“集合回归”(GER),类似于经典的“点回归”,在那里我们通过在欧几里得空间中执行回归来推断动态。我们说明GER通过学习的漂移和扩散项的粒子系综与布朗运动和Levy过程的SODE高达100维。我们还讨论了如何处理噪声或截断观测的情况。除了由独立粒子组成的系统,我们还通过构造物理信息的损失函数来处理具有未知相互作用势参数的非局部相互作用粒子系统。最后,我们调查的情况下,成对的观察,并讨论如何减少在这种情况下,通过证明收敛定理,提供理论支持的维数。
2021-03-21 cs.LG stat.ML
HARRIS: Hybrid Ranking and Regression Forests for Algorithm Selection
Paderborn University(帕德博恩大学);Leibniz University Hannover(汉诺威莱布尼茨大学)
众所周知,不同的算法在算法问题的实例上表现不同,这激发了算法选择(AS):给定算法问题的实例,哪种算法最适合解决它?因此,AS问题受到了相当大的关注,导致了各种方法-其中许多方法在引擎盖下解决回归或排名问题。虽然这两种公式都产生了非常自然的方法来解决AS,但它们都有相当大的弱点。一方面,正确地预测算法在实例上的性能是产生对算法的正确排名的充分条件,但不是必要条件,特别是首先排名最好的算法。另一方面,经典的排名方法通常不考虑训练数据中可用的具体性能值,而仅利用由这些数据组成的排名。我们提出哈里斯-混合rAnking和RegRessIon foreSts -一个新的算法选择器,利用特殊的森林,结合这两种方法的优势,同时减轻他们的弱点。哈里斯的决策是基于森林模型,其树是基于混合排名和回归损失函数优化的分裂创建的。正如我们对ASLib的初步实验研究所示,HARRIS在某些情况下改进了标准算法选择方法,这表明在树中结合排名和回归确实对AS有希望。
2022-10-31 cs.LG
Unsupervised Ensemble Regression
Weizmann Institute of Science(魏茨曼科学研究所);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Yale University School of Medicine(耶鲁大学医学院)
考虑一个回归问题,其中没有标记数据,唯一的观测值是$m$专家$f_{i}$对许多样本$x_j$的预测$f_i(x_j)$。在不了解专家的准确性的情况下,是否仍然可以准确地估计未知的响应$y_{j}$?人们还能发现最不准确或最准确的专家吗?在这项工作中,我们提出了一个框架来研究这些问题,假设的基础上,$m$专家有不相关的偏差,从最佳的预测。假设响应的前两个时刻是已知的,我们开发的方法来检测最好和最坏的回归,并推导出U-PCR,一种新的主成分方法,用于无监督集成回归。我们为U-PCR提供了理论支持,并说明了它在各种回归问题上的集合平均值和中位数的精度提高。
2017-03-08 cs.LG stat.ML
Persistent Homology-induced Graph Ensembles for Time Series Regressions
University of Würzburg(维尔茨堡大学);Center for Artificial Intelligence and Data Science (CAIDAS)(人工智能与数据科学中心);Osnabrück University(奥斯纳布吕克大学);Leibniz Institute of Agricultural Engineering and Bio-economy (ATB)(莱布尼茨农业工程与生物经济研究所);Technical University of Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心)
针对时空图神经网络依赖固定人工图结构的局限,提出基于持久同调滤过构建多尺度图并结合注意力路由的图集成方法,在地震与交通预测任务上性能优于单图基线且具备可解释性。
2025-03-19 cs.LG
Ensemble Maximum Entropy Classification and Linear Regression for Author Age Prediction
California Institute of Technology(加州理工学院);Jet Propulsion Laboratory(喷气推进实验室)
互联网的发展在网络上创造了大量的非结构化数据,其中很大一部分是文本。作者侧写的任务是仅仅从文本中基于语言和内容的特征来发现人们的人口统计学特征。描述作者特征的能力在安全和取证以及营销等领域都有应用。我们没有把年龄仅仅看作是一个分类问题,而是把年龄看作是一个回归问题,而是使用了一种集成链方法,结合了分类和回归的力量来学习作者的确切年龄。
2016-10-04 cs.CL cs.LG
Towards Reliable Uncertainty Quantification via Deep Ensembles in Multi-output Regression Task
Korea Advanced Institute of Science and Technology(韩国科学技术院);Seoul National University(首尔大学)
本研究针对导弹气动性能预测的多输出回归任务,提出结合事后校准的深度集成框架以解决不确定性低估问题,在精度、可靠性和效率上优于高斯过程回归,且可扩展至任意回归任务。
2023-11-24 cs.CE cs.LG
Random Machines Regression Approach: an ensemble support vector regression model with free kernel choice
Federal University of Bahia(巴伊亚联邦大学);Federal Institute of Pernambuco(伯南布哥联邦学院);University of São Paulo(圣保罗大学)
机器学习技术总是以减少广义预测误差为目标。为了减少它,集成方法提出了一个很好的方法,结合几个模型,结果在一个更大的预测能力。随机机已经被证明是一种强大的技术,即:高预测能力,分类任务,在这篇文章中,我们提出了一个过程,使用袋加权支持向量模型回归问题。仿真研究是在人工数据集和真实数据基准上实现的。结果表明,回归随机机具有较低的泛化误差,在调整过程中无需选择最佳的核函数,具有良好的性能。
2020-03-27 cs.LG stat.AP stat.ML
Gradient Boosted Binary Histogram Ensemble for Large-scale Regression
University of Twente(特文特大学);Renmin University of China(中国人民大学);Peking University(北京大学)
在本文中,我们提出了一个梯度提升算法的大规模回归问题称为\textit{Gradient Boosted Binary Histogram Ensemble}(GBBHE)的基础上二进制直方图分区和集成学习。从理论的角度来看,通过假设目标函数的Hölder连续性,我们建立了GBBHE在空间$C^{0,α}$和$C^{1,0}$中的统计收敛速度,其中基本学习器的收敛速度的下限证明了提升的优势。此外,在$C^{1,0}$空间中,我们证明了使用集成回归器作为基学习器可以减少迭代次数以达到快速收敛速度,从而提高了计算效率。在实验中,与其他国家的最先进的算法,如梯度提升回归树(GBRT),Breiman的森林,和基于核的方法相比,我们的GBBHE算法表现出良好的性能与更少的运行时间在大规模数据集上。
2021-06-03 cs.LG stat.ML
CRHT: A Continuous Regression Hybrid Transformer for Vessel Trajectory Prediction with Online Cluster Sampling
针对船舶轨迹预测的地理偏差与真实性问题,提出CRHT框架,结合在线K-means聚类采样与混合架构,在短期预测中表现最优,平衡了精度与机动跟踪能力。
2026-08-12 cs.LG
Ensemble Consensus-based Representation Deep Reinforcement Learning for Hybrid FSO/RF Communication Systems
Atlantic Technological University(大西洋理工大学);Al Yamamah University(亚马玛大学);Lahore Leads University(拉合尔利兹大学);National University of Technology(国立理工大学)
FSO/RF混合系统需要一种有效的FSO和RF链路切换机制,以实现两者的优势互补,从而提高系统容量。网络条件的动态变化,如雾、灰尘和沙尘暴,使链路切换问题和控制复杂性变得更加复杂。为了解决这个问题,我们开始研究深度强化学习(DRL)的混合FSO/RF系统的链路切换。具体来说,在这项工作中,我们专注于演员/评论称为演员/评论FSO/RF和深度Q网络(DQN)称为DQN-FSO/RF的FSO/RF链路切换下的大气干扰。要制定的问题,我们定义的状态,行动,和奖励功能的混合FSO/RF系统。DQN-FSO/RF频繁更新与混合FSO/RF系统中的环境交互的部署策略,导致高切换成本。为了克服这个问题,我们将这个问题提升到基于集成共识的表示学习来进行深度强化,称为DQNEnsemble-FSO/RF。所提出的新颖的DQNEnsemble-FSO/RF DRL方法使用基于异步线程集合的共识学习特征表示来更新部署的策略。实验结果证实,建议的DQNEnsemble-FSO/RF的共识学习功能切换实现更好的性能比演员/关键FSO/RF,DQN-FSO/RF,和MyOpic FSO/RF链路切换,同时保持切换成本显着较低。
2022-11-07 cs.LG
One-Class Classification by Ensembles of Regression models -- a detailed study
College of Information Technology, United Arab Emirates University(阿联酋大学信息技术学院)
单类分类(OCC)处理的分类问题,其中的训练数据的数据点只属于目标类。在本文中,我们研究了一类分类算法,一类分类集成回归模型(OCCER),使用回归方法来解决OCC问题。OCCER将OCC问题转化为原始特征空间中的多个回归问题,使得原始特征空间的每个特征都用作其中一个回归问题的目标变量。其他特征被用作因变量所依赖的变量。所有回归模型对数据点的回归误差用于计算数据点的离群值得分。通过在多个数据集上对OCCER算法与现有OCC算法进行比较,验证了该方法的有效性。我们还证明了OCCER算法可以很好地与自动编码器为图像数据集创建的潜在特征空间一起工作。OCCER的实现可在https://github.com/srikanthBezawada/OCCER上获得。
2020-03-07 cs.LG stat.ML
Confident Neural Network Regression with Bootstrapped Deep Ensembles
Radboud University(拉德堡德大学)
本文提出一种计算成本低廉的Bootstrapped Deep Ensembles方法,通过修改的参数自举显式建模有限数据效应,显著提升了回归任务中标准深度集成的不确定性估计性能。
2023-08-03 cs.LG stat.ML
RELF: Robust Regression Extended with Ensemble Loss Function
Ferdowsi University of Mashhad(马什哈德菲尔多西大学)
包围技术是一种强大的方法,它将几个弱学习器组合起来,构建一个更强的学习器。集成技术作为一种元学习框架,可以很容易地应用到许多机器学习方法中。受集成技术的启发,本文提出了一种适用于简单回归量的集成损失函数。然后,我们提出了一个半二次学习算法,以找到参数的回归和最佳的权重与每个损失函数。此外,我们表明,我们提出的损失函数是强大的噪声环境中。对于一类特殊的损失函数,我们表明,我们提出的合奏损失函数是贝叶斯一致的和强大的。几个数据集上的实验评估表明,我们提出的集成损失函数显着提高了性能的一个简单的回归相比,国家的最先进的方法。
2018-10-25 cs.LG stat.ML
Hybrid additive modeling with partial dependence for supervised regression and dynamical systems forecasting
University of Liège(列日大学)
本研究提出一种基于偏依赖的混合加性建模训练方法,无需复杂正则化,在标准回归与动力系统预测任务上验证了其优于传统方法的性能。
2025-01-16 cs.LG
A hybrid data driven-physics constrained Gaussian process regression framework with deep kernel for uncertainty quantification
The Chinese University of Hong Kong(香港中文大学)
针对传统高斯过程回归依赖大量数据的问题,提出融合深度核的数据驱动-物理约束混合GPR框架,通过Boltzmann-Gibbs分布编码物理约束、深度神经网络构成协方差函数,在少量标注数据的高维UQ任务中实现良好精度与不确定性传递效果。
2022-11-10 cs.LG
Semi-Supervised Regression using Cluster Ensemble and Low-Rank Co-Association Matrix Decomposition under Uncertainties
Sobolev Institute of mathematics(索博列夫数学研究所);Novosibirsk State University(新西伯利亚国立大学);RWTH Aachen(亚琛工业大学)
在本文中,我们解决了一个半监督回归问题。由于缺乏有关数据结构的知识和随机噪声的存在,所考虑的数据模型是不确定的。我们提出了一种方法,结合图拉普拉斯正则化和聚类集成方法。在标记和未标记数据上计算集成的协关联矩阵;该矩阵用作正则化框架中的相似性矩阵以导出预测输出。我们使用低秩分解的协关联矩阵显着加快计算和减少内存。使用蒙特卡罗方法的数值实验表明,所提出的方法的鲁棒性,效率和可扩展性。
2020-11-30 cs.LG stat.ML
Ensemble Methods for Convex Regression with Applications to Geometric Programming Based Circuit Design
Duke University(杜克大学)
本文提出集成方法(如bagging、smearing和随机划分)来改进分段线性凸回归的稳定性,并应用于基于几何规划的电路设计中的器件建模和约束近似。
2012-06-18 cs.LG cs.NA math.NA
Portfolio optimization using local linear regression ensembles in RapidMiner
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
在本文中,我们实现了一个局部线性回归委员会(LOLREC)来预测标准普尔500指数中453种资产的1天前收益率。委员会的估计和历史回报被用来计算453只股票的投资组合权重。所提出的方法优于基准投资组合选择策略,优化资本的增长率。我们研究了算法参数m的影响:选定股票的数量对实现的平均年收益率。结果表明该算法在日常交易中的实用性。
2015-06-29 cs.LG q-fin.PM stat.ML
Regression Prior Networks
Yandex(Yandex(俄罗斯互联网公司));Higher School of Economics(高等经济学院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);University of Cambridge(剑桥大学)
先验网络是最近开发的一类模型,它产生可解释的不确定性度量,并已被证明在一系列任务上优于最先进的集成方法。它们还可以用于通过Encampaign Distribution Distillation(EnD $^2$)提取模型的集合,从而将其准确度、校准和不确定性估计保留在单个模型中。然而,到目前为止,先验网络仅用于分类任务。这项工作通过考虑Normal-Wishart分布将先验网络和EnD $^2$扩展到回归任务。回归先验网络的属性在合成数据、选定的UCI数据集和单眼深度估计任务上得到了证明,在这些任务中,它们产生的性能与集成方法具有竞争力。
2020-12-09 cs.LG stat.ML
Twin Neural Network Regression
Perimeter Institute for Theoretical Physics(圆周理论物理研究所);University of Ottawa(渥太华大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);University of Waterloo(滑铁卢大学);National Research Council of Canada(加拿大国家研究委员会)
介绍了孪生神经网络(TNN)回归方法。该方法预测两个不同数据点的目标值之间的差异,而不是目标本身。然后,通过在未看见的数据点的目标和所有训练数据点的目标之间的所有预测差异的集合上求平均来获得传统回归问题的解。尽管集合的产生通常是昂贵的,但TNN回归本质上创建了两倍于训练集大小的预测集合,同时只训练单个神经网络。由于集成已被证明是更准确的比单一的模型,这个属性自然转移到TNN回归。我们表明,与其他最先进的方法相比,TNN能够竞争或产生更准确的预测不同的数据集。此外,TNN回归受到自洽条件的约束。我们发现,违反这些条件提供了一个估计的预测不确定性。
2020-12-29 cs.LG stat.ML
Stochastic tree ensembles for regularized nonlinear regression
City University of Hong Kong(香港城市大学);Arizona State University(亚利桑那州立大学)
本文提出了一种新的随机树集成方法,用于非线性回归,我们称之为XBART,简称加速贝叶斯加性回归树。通过将贝叶斯建模的正则化和随机搜索策略与递归分区方法的计算效率技术相结合,新方法获得了最先进的性能:在许多设置中,它比广泛使用的XGBoost算法更快,更准确。通过仔细的模拟研究,我们证明了我们的新方法提供了平均函数的精确逐点估计,并且比流行的替代方案(如BART,XGBoost和神经网络(使用Keras))更快。我们还证明了一些基本的理论结果,包括单树版本的模型的一致性和平稳性的马尔可夫链产生的集成版本。此外,我们表明,初始化标准贝叶斯加性回归树马尔可夫链蒙特卡罗(MCMC)在XBART拟合树大大提高了可信区间覆盖率,减少总运行时间。
2021-06-03 cs.LG stat.ME stat.ML
Interpretable Reinforcement Learning with Ensemble Methods
University of New Hampshire(新罕布什尔大学)
我们建议使用提升回归树作为一种方法来计算人类可解释的解决方案,以解决强化学习问题。Boosting结合了几个回归树,以提高其准确性,而不会显着降低其固有的可解释性。先前的工作分别集中在强化学习和可解释的机器学习上,但在可解释的强化学习方面进展甚微。我们的实验结果表明,增强回归树计算的解决方案既可解释,又符合领先的强化学习方法的质量。
2018-09-19 cs.LG stat.ML
Nonlinear regression based on a hybrid quantum computer
South China Normal University(华南师范大学);Nanjing University(南京大学);The University of Hong Kong(香港大学)
将非线性引入量子机器学习对于学习复杂的输入输出映射至关重要。在这里,我们提出了量子算法的非线性回归,其中非线性引入的特征映射时,载入经典数据到量子态。我们的实现基于混合量子计算机,利用离散和连续变量,因为它们能够编码新的特征和处理信息的效率。我们提出的编码方案,可以实现著名的多项式和高斯核岭回归,与指数加速的样本数。
2018-08-29 cs.LG quant-ph
Electric Load and Power Forecasting Using Ensemble Gaussian Process Regression
Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出了一种新的负荷需求预测和发电调度的预测方法。准确的负荷需求预测和最佳发电量是电网系统高效运行的关键。在这项工作中,我们使用一个合成数据集描述了一个电网700总线和134发电机在365天的时间内与数据合成产生的每小时的速度。所提出的方法为一周的预测是基于高斯过程回归(GPR)方法,与先前的协方差矩阵的感兴趣的数量(QoI)计算从合奏形成的前20周的QoI观测。然后,我们在GPR框架内使用这些协方差来预测下周的生活质量。我们证明了所提出的集成GPR(EGPR)方法能够准确地预测每周总负荷需求和发电剖面。EGPR方法优于传统的预测方法,包括标准的GPR和自回归综合移动平均(ARIMA)方法。
2019-10-09 cs.LG stat.ML
Binary Classifier Calibration using an Ensemble of Near Isotonic Regression Models
在数据采掘的许多实际任务中,从数据中学习精确的概率模型是至关重要的。在本文中,我们提出了一种新的非参数校准方法称为\textit{ensemble of near isotonic regression}(ENIR)。该方法可以被认为是BBQ,最近提出的校准方法,以及常用的基于保序回归的校准方法的扩展。ENIR旨在解决保序回归的关键限制,即预测的单调性假设。与BBQ类似,该方法对二元分类器的输出进行后处理以获得校准的概率。因此,它可以与许多现有的分类模型相结合。我们证明了ENIR的性能合成和真实的数据集上常用的二进制分类模型。实验结果表明,该方法优于几种常用的二元分类器标定方法。特别是在真实数据上,ENIR通常在统计学上显著优于其他方法,并且永远不会更差。它能够提高分类器的校准能力,同时保持其区分能力。该方法对于大规模数据集也是计算上易处理的,因为它是$O(N \log N)$时间,其中$N$是样本的数量。
2015-11-16 cs.LG stat.ML
Uncertainty separation via ensemble quantile regression
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出一种基于分位数回归模型集成(E-QR)的可扩展框架,通过渐进采样算法迭代改进偶然与认知不确定性的分离,在大型数据集和合成基准上超越Deep Ensembles和MC dropout等方法。
2024-12-18 cs.AI cs.CE cs.LG
Efficient Epistemic Uncertainty Estimation in Regression Ensemble Models Using Pairwise-Distance Estimators
Department of Computer Science(计算机科学系);McGill University(麦吉尔大学)
本文提出利用成对距离估计器(PaiDEs)高效估计回归集成模型的认知不确定性,加速BALD主动学习,在多个基准上验证了其在高维任务中的优越性能。
2025-09-26 cs.AI cs.LG
Hybrid Ensemble for Fake News Detection: An attempt
Punjab Engineering College(旁遮普工程学院)
虚假新闻检测一直是机器学习领域的一个具有挑战性的问题。研究人员已经通过使用旧的统计分类模型和现代深度学习的几种技术来接近它。今天,随着数据量的不断增长,NLP和ML领域的发展,以及可处理的计算能力的增加,有无限的排列和组合可以从不同的角度来解决这个问题。在本文中,我们尝试了不同的方法来解决假新闻,并尝试构建并提出了将经典机器学习技术与现代深度学习方法相结合的混合Ensemble的可能性
2022-06-13 cs.CL cs.LG
Random Forest Ensemble of Support Vector Regression Models for Solar Power Forecasting
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
为了减轻可变可再生资源的不确定性,部署了两个现成的机器学习工具来预测太阳能光伏系统的太阳能功率输出。支持向量机生成的预测和随机森林作为一个集成学习方法来结合预测。风能和太阳能发电预测中常见的集合技术是混合来自几个来源的气象数据。在这项研究中,虽然,现在和过去的太阳能发电预测从几个模型,以及相关的气象数据,被纳入到随机森林结合和提高准确性的一天前的太阳能发电预测。综合模型的性能进行评估,在整个一年,并与其他结合技术进行比较。
2017-04-27 cs.CE cs.LG
HAELT: A Hybrid Attentive Ensemble Learning Transformer Framework for High-Frequency Stock Price Forecasting
针对高频股价预测的非平稳、噪声与波动难题,提出融合ResNet降噪、时间自注意力与LSTM-Transformer混合核心的自适应集成框架HAELT,在AAPL小时级数据上取得最高F1分数,可有效识别涨跌走势。
2025-06-09 cs.AI cs.LG
Robust Regression with Ensembles Communicating over Noisy Channels
针对分布式回归中噪声信道通信导致的可靠性问题,提出优化聚合系数的方法,适用于装袋和梯度提升集成方法,并在合成及真实数据集上验证有效性。
2024-08-20 cs.DC cs.IT cs.LG
Yield Optimization using Hybrid Gaussian Process Regression and a Genetic Multi-Objective Approach
Technische Universität Darmstadt(达姆施塔特工业大学)
量化和最小化不确定性是电磁设备设计中的重要任务,这伴随着高计算量。我们提出了一种混合的方法结合的可靠性和准确性的蒙特卡罗分析的效率的代理模型的基础上高斯过程回归。我们提出了两种优化方法。一个自适应牛顿MC,以减少不确定性的影响和遗传多目标的方法,以优化性能和鲁棒性在同一时间。对于介质波导,作为一个基准问题,所提出的方法优于经典的方法。
2020-10-08 cs.CE cs.LG
Hybrid Building/Floor Classification and Location Coordinates Regression Using A Single-Input and Multi-Output Deep Neural Network for Large-Scale Indoor Localization Based on Wi-Fi Fingerprinting
Xi’an Jiaotong-Liverpool University(西交利物浦大学)
在本文中,我们提出了混合建筑物/楼层分类和楼层级二维位置坐标回归使用单输入多输出(SIMO)深度神经网络(DNN)的大规模室内定位的基础上的Wi-Fi指纹。所提出的方案利用了建筑物/楼层和楼层位置坐标估计的不同性质,并为每个任务使用不同的估计框架,具有由SIMO DNN架构启用的专用输出和隐藏层。我们使用芬兰坦佩雷理工大学(TUT)提供的新Wi-Fi众包指纹数据集对混合楼层分类和楼层级二维位置坐标回归的性能进行了初步评估,覆盖了一栋五层楼的建筑。实验结果表明,所提出的基于SIMO-DNN的混合分类/回归方案优于现有的计划在地板检测率和平均定位误差。
2018-10-13 cs.LG stat.ML
Measuring the Algorithmic Convergence of Randomized Ensembles: The Regression Setting
University of California, Davis(加州大学戴维斯分校)
当随机集成方法,如装袋和随机森林的实施,一个基本的问题出现了:是合奏足够大?特别是,从业者希望严格保证给定的合奏将执行几乎以及理想的无限合奏(在相同的数据上训练)。本文的目的是在回归的背景下开发一种解决这个问题的自助方法-这补充了我们在分类背景下的配套论文(Lopes 2019)。与分类设置相反,本文表明,在弱得多的假设下,可以建立所提出的自举的理论保证。此外,我们说明了该方法的灵活性,显示它可以适应于测量算法的收敛变量的选择。最后,我们提供的数值结果表明,该方法在一系列的情况下工作良好。
2019-08-04 cs.LG math.ST stat.ME
Segmentation over Complexity: Evaluating Ensemble and Hybrid Approaches for Anomaly Detection in Industrial Time Series
在这项研究中,我们研究了先进的特征工程和混合模型架构的有效性异常检测在一个多变量的工业时间序列,专注于汽轮机系统。我们评估了变化点派生的统计特征,基于聚类的子结构表示,和混合学习策略对检测性能的影响。尽管它们在理论上很有吸引力,但与在分割数据上训练的简单随机森林+ XGBoost集成相比,这些复杂的方法始终表现不佳。总体实现了0.976的AUC-ROC,0.41的F1评分,以及在定义的时间窗内100%的早期检测。我们的研究结果强调,在具有高度不平衡和时间不确定数据的情况下,模型简单性与优化分割相结合可以胜过更复杂的架构,提供更高的鲁棒性,可解释性和操作实用性。
2025-10-30 cs.AI cs.LG
Ensemble Kalman Variational Objectives: Nonlinear Latent Trajectory Inference with A Hybrid of Variational Inference and Ensemble Kalman Filter
Meiji University(明治大学);Chuo University(中央大学)
变分推断(VI)结合贝叶斯非线性滤波产生潜在的时间序列建模的最先进的结果。最近的大量工作集中在序贯蒙特卡罗(SMC)及其变体上,例如,前向滤波后向模拟(FFBSi)。虽然这些研究取得了成功,严重的问题仍然存在于粒子退化和有偏梯度估计。在本文中,我们提出了Ensemble卡尔曼变分目标(EnKO),VI和集合卡尔曼滤波(EnKF)的混合方法,推断状态空间模型(SSM)。我们提出的方法可以有效地识别潜在的动态,因为它的粒子多样性和无偏梯度估计。我们证明了我们的EnKO优于SMC为基础的方法在预测能力和粒子效率的三个基准非线性系统识别任务。
2021-11-09 cs.LG stat.CO stat.ML
Ensemble Kalman Filtering for Online Gaussian Process Regression and Learning
The University of Sheffield(谢菲尔德大学);University of Canterbury(坎特伯雷大学);The University of Oxford(牛津大学)
高斯过程回归是一种机器学习方法,已被证明其对未知函数的估计的能力。然而,高斯过程具有高计算复杂性,因为在基本形式中,它们随着观测的数量而立方地缩放。提出了几种基于诱导点的方法来处理静态环境中的这个问题。然而,这些方法面临着实时任务的挑战,并且当数据随着时间顺序接收时。提出了一种新的稀疏高斯过程模型在线训练算法。它把高斯过程的均值和超参数分别作为集合卡尔曼滤波器的状态和参数。对新的即将到来的数据样本执行参数和状态的在线评估。该过程迭代地提高了参数估计的准确性。集合卡尔曼滤波器降低了获得具有高斯过程的预测所需的计算复杂度,从而保持这些预测的准确性水平。所提出的方法的性能证明在合成数据集和真正的大数据集的英国房价。
2018-07-09 cs.LG stat.ML
Histogram Transform Ensembles for Large-scale Regression
Samsung Research China - Beijing(三星中国研究院-北京)
我们提出了一种新的算法,称为直方图变换集成(HTE),由随机旋转,拉伸和平移的大规模回归问题。首先,我们研究了当回归函数位于Hölder空间$C^{k,α}$,$k \in \mathbb{N}_0$,$α\in (0,1]$中时HTE的理论性质.在$k=0, 1$的情况下,我们采用常数回归,并开发了朴素直方图变换(NHT)。在空间$C^{0,α}$,虽然几乎最优的收敛速度可以得出单一和合奏NHT,我们没有表现出的好处,理论上单一的估计合奏。相反,在子空间$C^{1,α}$,我们证明了,如果$d \geq 2(1+α)/α$,单一的NHT的收敛速度的下限原来是更糟糕的集合NHT的收敛速度的上限。在$k \geq 2$的另一种情况下,NHT可能不再适合于预测更平滑的回归函数。相反,我们应用内核直方图变换(KHT)配备了更平滑的回归,如支持向量机(SVM),事实证明,无论是单一的和合奏KHT享有几乎最佳的收敛速度。然后通过数值实验验证了上述理论结果。一方面,模拟结果表明,系综NHT优于单一NHT。另一方面,面元大小对NHT和KHT精度的影响也与理论分析一致。最后,在真实数据实验中,将集成KHT与自适应直方图变换和其他最先进的大规模回归估计器进行了比较,验证了我们算法的有效性和准确性。
2019-12-08 cs.LG math.ST stat.ML
Ensemble Multi-task Gaussian Process Regression with Multiple Latent Processes
Tufts University(塔夫茨大学);Dept. of Electrical and Computer Engineering(电气与计算机工程系)
多任务/多输出学习试图利用任务之间的相关性来提高学习或独立解决每个任务的性能。在本文中,我们调查这个问题的背景下,高斯过程(GP),并提出了一个新的模型,学习的混合物的潜在过程分解的协方差阵到结构化的隐藏组件的总和,每个控制的潜在GP的输入功能和“重量”的任务。从这个总和结构,我们提出了一个可并行化的参数学习算法与预定的初始化的“权重”。我们还注意到,使用小批量训练数据的集成参数学习方法不仅降低了学习的计算复杂度,而且提高了回归性能。我们在两个数据集上评估了我们的模型,一个是较小的瑞士Jura数据集,另一个是来自NOAA的相对较大的ATMS数据集。与现有的替代品相比,有了很大的改进。
2018-05-09 cs.LG stat.ML
Structure Learning for Relational Logistic Regression: An Ensemble Approach
Indiana University, Bloomington(印第安纳大学伯明顿分校);The University of Texas at Dallas(德克萨斯大学达拉斯分校);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of British Columbia(不列颠哥伦比亚大学);TU Darmstadt University(达姆施塔特工业大学)
我们考虑学习关系逻辑回归(RLR)的问题。与标准逻辑回归不同,RLR的特征是具有相关权重向量而不是标量权重的一阶公式。我们把学习RLR的问题转化为学习这些向量加权公式,并基于最近成功的概率逻辑模型的泛函-梯度提升方法,提出了一种学习算法。我们推导出函数梯度,并展示了如何以有效的方式同时学习权重。我们对标准和新数据集的实证评估表明,我们的方法优于其他方法学习RLR。
2018-08-06 cs.AI cs.LG stat.ML
Optimizing Ensemble Weights and Hyperparameters of Machine Learning Models for Regression Problems
Iowa State University(爱荷华州立大学)
通过集成模型聚合多个学习者旨在通过更准确地捕获数据的底层分布来做出更好的预测。不同的组合方法,如装袋、增压和堆叠/混合,已在研究和实践中被广泛研究和采用。bagging和boosting分别更侧重于减少方差和偏差,而stacking方法则通过找到组合基本学习器的最佳方式来实现这两个目标。在使用加权平均值进行堆叠时,从多个基本学习器的加权平均值创建集合。众所周知,在集成权重优化过程中调整每个基学习器的超参数可以产生性能更好的集成。为此,设计了一种基于优化的嵌套算法,该算法考虑调整超参数以及找到组合集成的最佳权重(具有内部调整超参数的广义加权集成(GEM-ITH))。此外,贝叶斯搜索被用来加快优化过程,并实施启发式生成多样化和性能良好的基础学习器。通过对10个公开数据集的分析,证明了该算法可推广到真实数据集。
2020-10-31 cs.LG stat.ME stat.ML
Towards an Ensemble Regressor Model for Anomalous ISP Traffic Prediction
University of Western Ontario(西安大略大学);Juniper Networks(瞻博网络)
网络流量行为预测对于现代电信网络的有效管理具有重要意义。然而,使用管理经验和市场分析数据预测网络流量的直观方法对于有效的预测框架是不够的。因此,人们研究了许多不同的数学模型来捕捉网络流量的总体趋势并进行相应的预测。但是,不同的回归模型和他们的集成的综合性能分析还没有研究之前,用于分析现实世界的异常流量。本文分析了几种回归模型,如XGBoost、LightGBM、随机梯度下降、梯度提升回归量(GBR)和CatBoost回归量,并将其应用于无异常和有异常的实际流量预测中,说明了异常检测在实际流量预测中的重要性。此外,我们还展示了集合回归模型优于个体预测模型的表现。我们比较了基于长度为6、9、12、15和18的五个不同特征集的不同回归模型的性能。我们的集成回归模型实现了实际流量和预测流量之间的最小平均差距为5.04%,有9个离群值调整输入。总的来说,我们的实验结果表明,数据中的离群值会显著影响预测的质量。因此,离群值检测和缓解有助于回归模型学习总体趋势并做出更好的预测。
2022-05-03 cs.LG cs.NI
Empirical Asset Pricing via Ensemble Gaussian Process Regression
École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院);Swiss Finance Institute(瑞士金融研究所);Indian Institute of Technology Ropar(印度理工学院罗帕尔分校)
本文提出了一种基于高斯过程回归的集成学习方法,用于预测股票收益率,并在实证分析中展示了其在预测精度和夏普比率上的优越性。
2026-03-07 cs.LG q-fin.RM q-fin.ST
Ensemble Kernel Methods, Implicit Regularization and Determinantal Point Processes
KU Leuven(荷语鲁汶大学)
利用行列式点过程(DPPs)的框架,可以得到关于多样性和正则化之间相互作用的一些理论结果。在本文中,我们表明,采样子集与kDPPs的结果在隐式正则化的上下文中的无脊核回归。此外,我们利用最先进的DPP算法的常见设置来采样多个小子集,并将它们用于无脊回归的集合中。我们的第一个实证结果表明,集成的无脊回归可能是有趣的,用于数据集,包括冗余信息。
2020-07-07 cs.LG stat.ML
On the Functional Equivalence of TSK Fuzzy Systems to Neural Networks, Mixture of Experts, CART, and Stacking Ensemble Regression
Huazhong University of Science and Technology(华中科技大学);University of Technology, Sydney(悉尼科技大学)
模糊系统在许多应用中取得了巨大的成功。然而,在设计最优模糊系统方面仍然存在许多挑战,例如,如何有效地优化其参数,如何平衡规则之间的合作与竞争之间的权衡,如何克服维数灾难,如何提高其泛化能力,等等。文献表明,通过在模糊系统和其他机器学习方法之间建立适当的联系,可以使用其他领域的良好实践来改进模糊系统,反之亦然。本文概述了Takagi-Sugeno-Kang模糊系统与四种经典机器学习方法--神经网络、混合专家模型、分类和回归树以及堆叠集成回归--在回归问题上的功能等价性。我们还指出了一些有前途的新的研究方向,灵感来自功能等效,这可能会导致解决上述问题。据我们所知,这是迄今为止关于模糊系统和其他流行的机器学习方法之间联系的最全面的概述,并希望能激发不同机器学习算法之间的更多杂交。
2019-07-13 cs.AI cs.LG stat.ML
Zero-Shot Uncertainty Quantification using Diffusion Probabilistic Models
Carnegie Mellon University(卡内基梅隆大学)
本文研究扩散回归模型的集成预测能否实现零样本不确定性量化,通过一维和二维实验表明集成可稳定提升精度,并揭示预测误差与方差的统计相关性。
2024-08-08 cs.LG stat.ML
Trainability-Oriented Hybrid Quantum Regression via Geometric Preconditioning and Curriculum Optimization
Shanghai Jiao Tong University-Chongqing Institute of Artificial Intelligence(上海交通大学-重庆人工智能研究院);Department of Mathematics, National University of Singapore(新加坡国立大学数学系)
本文提出了一种几何预条件和课程优化方法,用于改进可训练的变分量子回归的训练性能,通过控制经典嵌入能力和逐步增加电路深度来提升模型效果。
2026-09-14 cs.LG quant-ph