The Theory and Practice of Highly Scalable Gaussian Process Regression with Nearest Neighbours
本文提出基于最近邻的高斯过程回归方法,理论分析其预测误差、校准系数和负对数似然的渐近行为,并证明其统计一致性及达到Stone的最小最大率。
2026-04-08 cs.LG stat.ML
A PyTorch Framework for Scalable Non-Crossing Quantile Regression
Arizona Department of Education(亚利桑那州教育部门)
本文提出基于PyTorch的CJQR-ALM框架,通过增广拉格朗日方法和可微pinball损失实现非交叉分位数回归,显著降低计算复杂度并提升大规模数据处理效率。
2025-12-12 cs.LG stat.ML
Fast and Scalable Estimator for Sparse and Unit-Rank Higher-Order Regression Models
Southeast University(东南大学)
由于张量数据越来越频繁地出现在各种科学研究和实际应用中,分析张量特征与单变量结果之间的关系成为许多领域的一项基本任务。为了解决这个问题,我们提出了基于单位秩CANDECOMP/PARAFAC分解的\underline{Fa} st \underline{S} parse \underline{T} ensor \underline{R} egression model(FasTR). FasTR首先将张量系数分解为分量向量,然后使用$\ell_1$正则化回归估计每个向量。由于各分量向量的独立性,FasTR能够并行求解,其时间复杂度优于以往的模型。我们评估了几个模拟数据集和真实世界的fMRI数据集上的性能。实验结果表明,与四种基线模型相比,在每种情况下,FasTR都能在更短的时间内计算出更好的解。
2019-11-29 cs.LG stat.ML
Understanding and Comparing Scalable Gaussian Process Regression for Big Data
Nanyang Technological University(南洋理工大学);Rolls-Royce(罗尔斯·罗伊斯)
高斯过程(GP)作为一种非参数贝叶斯模型,能够产生信息量丰富的预测分布,在回归、分类、优化等领域有着广泛的应用。然而,标准GP的立方复杂性导致可扩展性差,这在大数据时代带来了挑战。因此,在文献中已经开发了各种可扩展的GP,以便在保持期望的预测精度的同时提高可扩展性。本文从可扩展性、能力、可控性和鲁棒性四个方面研究了具有代表性的全局和局部可扩展GP(包括稀疏近似和局部聚集)的方法学特征和性能。在两个玩具例子和五个真实世界的数据集上进行的数值实验,最多25万个点,提供了以下发现。在可扩展性方面,大多数可扩展GP的时间复杂度与训练大小呈线性关系。在能力方面,稀疏近似捕获长期的空间相关性,局部聚集捕获局部模式,但在某些情况下遭受过拟合。在可控性方面,我们可以通过简单地增加诱导大小来提高稀疏近似的性能。但对于本地聚合,情况并非如此。在鲁棒性方面,由于局部注意机制,局部聚集对各种超参数的初始化具有鲁棒性。最后,我们强调,全球和本地可扩展的GP的适当的混合可能是一个有前途的方式来提高大数据的模型能力和可扩展性。
2018-11-03 cs.LG stat.ML
Trigonometric Quadrature Fourier Features for Scalable Gaussian Process Regression
Duke University(杜克大学)
提出三角求积傅里叶特征(TQFF)方法,利用新型非高斯求积规则解决高度振荡求积导致的病态问题,在更少特征下实现更精确的高斯过程近似。
2023-10-23 cs.LG stat.ML
Efficient and Scalable Multi-task Regression on Massive Number of Tasks
NEC Labs Europe(NEC欧洲实验室)
许多现实世界中的大规模回归问题可以被表述为具有大量任务的多任务学习(MTL)问题,例如在零售和运输领域。然而,现有的MTL方法仍然无法提供这类问题的泛化性能和可扩展性。将MTL方法扩展到具有大量任务的问题是一个很大的挑战。在这里,我们提出了一种新的算法,称为凸聚类多任务回归学习(CCMTL),它集成了凸聚类的k-最近邻图的预测模型。此外,CCMTL有效地解决了一个新提出的优化方法的基本凸问题。CCMTL对训练是准确的、高效的,并且根据经验在任务数量上线性缩放。在合成和真实世界的数据集上,所提出的CCMTL在预测精度和计算效率方面优于七种最先进的(SoA)多任务学习方法。在一个包含23,812个任务的真实零售数据集上,CCMTL只需要大约30秒就可以在一个线程上进行训练,而SoA方法需要长达几个小时甚至几天。
2018-11-14 cs.LG stat.ML
Advantage-Weighted Regression: Simple and Scalable Off-Policy Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
在本文中,我们的目标是开发一个简单的和可扩展的强化学习算法,使用标准的监督学习方法作为子程序。我们的目标是一个算法,只利用简单和收敛的最大似然损失函数,同时也能够利用政策外的数据。我们提出的方法,我们称之为加权回归(AWR),由两个标准的监督学习步骤:一个回归到目标值的价值函数,另一个回归到加权目标行动的政策。该方法简单而通用,可以适应连续和离散的动作,并且可以在标准监督学习方法之上仅用几行代码实现。我们提供了一个理论上的动机AWR和分析其属性时,将关闭政策的数据从经验重放。我们在一套标准的OpenAI Gym基准测试任务上评估了AWR,并表明与许多成熟的最先进的RL算法相比,它实现了具有竞争力的性能。AWR还能够在从纯静态数据集学习时获得比大多数非策略算法更有效的策略,而无需额外的环境交互。此外,我们证明了我们的算法具有高度复杂的模拟字符的挑战性的连续控制任务。
2019-10-07 cs.LG stat.ML
Scalable Spatiotemporally Varying Coefficient Modelling with Bayesian Kernelized Tensor Regression
McGill University(麦吉尔大学)
针对时空变系数模型计算成本高难以大规模应用的问题,提出贝叶斯核化张量回归框架,结合低秩张量分解与高斯过程先验,搭配高效MCMC算法,在合成和真实数据上实现了更优的模型估计性能与效率。
2024-04-13 cs.LG stat.ML
Modeling Massive Spatial Datasets Using a Conjugate Bayesian Linear Regression Framework
UCLA(加州大学洛杉矶分校)
地理信息系统(GIS)和相关技术引起了统计人员对分析大型空间数据集的可扩展方法的极大兴趣。已经提出了各种可扩展的空间过程模型,可以很容易地嵌入到一个分层的建模框架,进行贝叶斯推断。虽然统计研究的重点主要是针对创新和更复杂的模型开发,相对有限的注意力已被给予的做法,易于实施的可扩展的层次模型的实践科学家或空间分析师。本文讨论了如何将点参考空间过程模型转换为共轭贝叶斯线性回归,以快速提供空间过程的推断。该方法允许直接从回归参数、潜在过程和预测随机变量的联合后验分布中进行精确采样(避免了马尔可夫链蒙特卡罗等迭代算法),并可在R.
2021-09-09 cs.LG stat.ML
Scalable Gaussian Process Regression for Kernels with a Non-Stationary Phase
Institute for Electrical Engineering in Medicine, Universität zu Lübeck(吕贝克大学医用电工研究所)
高斯过程(GPs)的应用,以大数据集是有限的,由于沉重的内存和计算要求。已经提出了各种方法来实现可伸缩性,其中之一是利用内核矩阵中的结构。然而,以前的方法,不能很容易地处理非平稳过程。本文提出了一个有效的GP框架,扩展结构核插值方法的GP与非平稳相位。我们特别对待混合物的非平稳过程,这是常用的分离问题的背景下,例如在生物医学信号处理。我们的方法采用多组非等距诱导点占的非平稳性和检索Toeplitz和Kronecker结构的核矩阵,允许有效的推理。核学习是通过优化边际似然来完成的,边际似然可以使用随机迹估计方法有效地近似。我们的方法证明了数值例子和大型生物医学数据集。
2019-12-25 cs.LG stat.ML
$p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets
TU Dortmund University(多特蒙德工业大学);Dortmund Data Science Center(多特蒙德数据科学中心)
本文研究了$p$ -广义概率单位回归模型,它是一个二元响应的广义线性模型。它扩展了标准的概率单位模型,用$p$-$p\in[1, \infty)$的广义正态分布替换其链接函数,标准正态cdf。$p$ -广义正态分布\citep{Sub23}在统计建模中具有特殊意义,因为它们更灵活地拟合数据。它们的尾部行为可以通过选择参数$p$来控制,该参数影响模型对离群值的敏感性。特殊情况包括拉普拉斯分布、高斯分布和均匀分布。我们进一步展示了如何最大似然估计$p$ -广义概率回归可以有效地近似到$(1+\varepsilon)$的大数据的一个因素,通过结合草图技术与重要性子采样,以获得一个小的数据摘要称为coreset。
2022-03-25 cs.DS cs.LG stat.ML
Scalable High-Dimensional Multivariate Linear Regression for Feature-Distributed Data
Booth School of Business(布斯商学院);University of Chicago(芝加哥大学)
针对特征分布式数据的高维多变量线性回归需求,提出通信复杂度不依赖特征维度的两阶段松弛贪心算法TSRGA,可生成低秩系数估计,经仿真验证收敛快,在金融10-K报告数据场景中有效。
2024-03-11 cs.DC cs.LG stat.ML
Normative Modeling of Neuroimaging Data using Scalable Multi-Task Gaussian Processes
Radboud University Medical Centre(拉德堡德大学医学中心);Radboud University(拉德堡德大学)
规范建模最近被提出作为一种替代的病例对照方法在临床队列内的异质性建模。规范建模基于单输出高斯过程回归,其提供该方法所需的不确定性的相干估计,但不考虑空间协方差结构。在这里,我们介绍了一个可扩展的多任务高斯过程回归(S-MTGPR)的方法来解决这个问题。为此,我们利用空间协方差阵的低秩近似与克罗内克积的代数性质的组合,以减少在高维输出空间中的高斯过程回归的计算复杂度。在一个公开的fMRI数据集上,我们发现S-MTGPR:1)导致了大量的计算改进,使我们能够估计高维fMRI数据的规范模型,同时考虑数据中的空间结构; 2)通过对空间和跨样本方差进行建模,它在新颖的检测场景中提供了更高的灵敏度。
2018-06-05 cs.LG stat.ML
Accurate and Scalable Stochastic Gaussian Process Regression via Learnable Coreset-based Variational Inference
Columbia University(哥伦比亚大学);BCAM & Ikerbasque(BCAM与伊克尔巴斯克基金会)
提出基于可学习核心集变分推断的高斯过程回归方法CVGP,通过先验与似然定义后验,推导出适用于随机优化的变分下界,将参数搜索空间降至线性复杂度并确保数值稳定性。
2025-03-04 cs.LG stat.ML
Kernel Packet: An Exact and Scalable Algorithm for Gaussian Process Regression with Matérn Correlations
Texas A&M University(得克萨斯农工大学)
本文提出了一种精确的、可扩展的Matérn相关的一维高斯过程回归算法,其平滑参数$ν$为半整数。该算法只需要$\mathcal{O}(ν^3 n)$操作和$\mathcal{O}(νn)$存储。由于$ν$被选择为固定的,并且在大多数应用中通常非常小,因此这导致线性成本求解器。该方法可以应用于多维问题,如果使用全网格或稀疏网格设计。该方法是基于一种新的理论Matérn相关函数。我们发现,这些相关函数的一个适当的重新安排可以产生一个compensated支持的功能,称为“内核包”。使用一组核包作为基函数导致协方差阵的稀疏表示,从而导致所提出的算法。仿真研究表明,所提出的算法,适用时,是显着优于现有的替代品的计算时间和预测精度。
2022-03-09 cs.LG stat.ME stat.ML
Scalable Sparse Regression for Model Discovery: The Fast Lane to Insight
School of Physics, Georgia Institute of Technology(佐治亚理工学院物理学院)
针对动力学系统数据充足但数学描述不足的问题,提出通用稀疏回归算法SPRINT,通过带解析界的二分法加速零向量最优秩1修正识别,大幅提升模型发现效率。
2024-05-14 cs.LG physics.data-an stat.ML
Scalable Penalized Regression for Noise Detection in Learning with Noisy Labels
Fudan University(复旦大学)
噪声训练集通常会导致神经网络的泛化能力和鲁棒性下降。在本文中,我们提出了使用一个理论上有保证的噪声标签检测框架来检测和删除噪声数据的学习与噪声标签(LNL)。具体来说,我们设计了一个惩罚回归模型来模拟网络特征和独热标签之间的线性关系,其中噪声数据由回归模型中求解的非零均值漂移参数来识别。为了使框架可扩展到包含大量类别和训练数据的数据集,我们提出了一种分裂算法,将整个训练集分成可以通过惩罚回归并行求解的小块,从而形成可扩展惩罚回归(SPR)框架。我们提供了SPR正确识别噪声数据的非渐近概率条件。虽然SPR可以被视为标准监督训练管道的样本选择模块,但我们进一步将其与半监督算法相结合,以进一步利用噪声数据作为未标记数据的支持。在多个基准数据集和真实噪声数据集上的实验结果表明了该框架的有效性。我们的代码和预训练模型在https://github.com/Yikai-Wang/SPR-LNL上发布。
2022-03-19 cs.CV cs.LG
Leveraging Locality and Robustness to Achieve Massively Scalable Gaussian Process Regression
Bristol University(布里斯托大学);Alan Turing Institute(艾伦·图灵研究所);IBM Research(IBM研究院)
本文提出一种基于局部性和鲁棒性的高斯过程回归近似方法,通过理论证明和实验表明,在数据规模增大时,只需少量参数估计即可获得高精度预测,并可通过校正噪声方差实现良好校准的不确定性,算法在大型数据集上以极低计算成本达到领先性能。
2023-12-27 cs.LG stat.ML
Scalable Logistic Gaussian Process Density Regression with Kinetic Langevin Sampling
Nanyang Technological University(南洋理工大学);Eötvös Loránd University (ELTE)(厄特沃什·罗兰大学(ELTE));HUN-REN Institute for Computer Science and Control (SZTAKI)(匈牙利国家研究网络计算机科学与控制研究所(SZTAKI))
本文提出一种基于逻辑高斯过程的可扩展贝叶斯条件密度估计器,采用动力学朗之万采样高效推断,在光度红移基准上媲美最先进模型。
2026-10-08 cs.LG stat.ML
Scalable Decision-Focused Learning in Restless Multi-Armed Bandits with Application to Maternal and Child Health
Google Research(谷歌研究院)
本文针对不安多臂老虎机问题中训练目标与评估目标不匹配的问题,提出一种直接优化 Whittle 指数解质量的决策聚焦学习方法,并首次实现可扩展到真实世界母婴健康问题规模。
2023-08-13 cs.AI cs.LG
Scalable Neural Symbolic Regression using Control Variables
School of Computer Science(计算机科学学院);GaTech(佐治亚理工学院);School of Computing and Data Science(计算与数据科学学院);UIUC(伊利诺伊大学厄巴纳-香槟分校);William & Mary(威廉玛丽学院);Department of EECS(电子工程与计算机科学系);University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校);Wake Forest University(维克森林大学)
针对现有符号回归方法处理多变量复杂方程时的可扩展性问题,提出ScaleSR模型,通过控制变量将多变量SR分解为单变量问题自底向上组合,在多基准集上性能优于SOTA且大幅缩减搜索空间。
2024-07-09 cs.LG
Scalable Variational Bayesian Kernel Selection for Sparse Gaussian Process Regression
National University of Singapore(新加坡国立大学);Shenzhen University(深圳大学)
针对稀疏高斯过程回归(SGPR)模型,提出了一种变分贝叶斯核选择(VBKS)算法。与现有的GP核选择算法,旨在选择只有一个内核与最高的模型证据相比,我们提出的VBKS算法认为内核作为一个随机变量,并从数据中学习它的信念,使内核的不确定性可以解释和利用,以避免过于自信的GP预测。为了实现这一点,我们将概率核表示为SGPR模型的变分推理(VI)框架中的附加变分变量,其中其后验信念与其他变分变量的后验信念一起学习(即,诱导变量和内核超参数)。特别是,我们通过重新参数化将离散的核信念转换为连续的参数分布,以便应用VI。虽然它是计算上的挑战,以共同优化大量的超参数,由于许多内核同时评估我们的VBKS算法,我们表明,变分下限的对数边际似然可以分解成一个附加的形式,使每个附加项只依赖于一个不相交的子集的变分变量,因此可以独立优化。然后使用随机优化来最大化变分下限,通过随机梯度上升迭代地改进精确后验信念的变分近似,这导致每次迭代的时间恒定,因此可以扩展到大数据。我们经验性地评估我们的VBKS算法在合成和大量真实世界数据集上的性能。
2019-12-05 cs.LG stat.ML
Ab Initio Nonparametric Variable Selection for Scalable Symbolic Regression with Large $p$
Shengbin Ye(谢圣彬);Meng Li(李萌)
本文提出PAN+SR方法,通过从头非参数变量选择预筛选高维输入空间,以提升符号回归在大p场景下的可扩展性与准确性,并在扩展的SRBench基准上验证其能增强19种现有SR方法的性能。
2025-06-06 cs.LG stat.ME stat.ML
Scalable Decision Focused Learning via Online Trainable Surrogates
University of Bologna(博洛尼亚大学)
本文提出了一种基于在线可训练替代者的决策聚焦学习方法,通过减少昂贵的损失函数评估来提升可扩展性,同时保持解决方案质量。
2025-12-03 cs.AI cs.LG
Scalable Multi-Task Gaussian Process Tensor Regression for Normative Modeling of Structured Variation in Neuroimaging Data
RadboudUMC(拉德堡德大学医学中心);Donders Institute(唐德斯研究所);University of Oxford(牛津大学);King’s College London(伦敦国王学院)
大多数大脑疾病在其基础生物学方面是非常异质的,开发分析方法来模拟这种异质性是一个重大挑战。一种有希望的方法是使用概率回归方法来估计使用(f)MRI数据的脑功能的规范模型,然后使用这些来映射临床人群中个体之间的变化(例如,经由异常检测)。为了充分捕捉个体差异,对不同大脑区域和个体之间的相关模式进行统计建模至关重要。然而,这对于神经成像数据来说是非常具有挑战性的,因为多个轴之间的高维和高度结构化的相关模式。在这里,我们提出了一个通用的和灵活的多任务学习框架来解决这个问题。我们的模型在贝叶斯混合效应模型中使用张量变量高斯过程,并利用Kronecker代数和低秩近似来有效地扩展到全脑水平的多路神经成像数据。在一个公开的临床fMRI数据集上,我们证明了我们的计算负担得起的方法大大提高了检测灵敏度,超过了一个质量单变量规范模型和一个分类器,与我们的方法不同,它可以完全访问临床标签。
2018-11-30 cs.LG stat.AP stat.ML
Federated Bayesian Neural Regression: A Scalable Global Federated Gaussian Process
University of Waterloo(滑铁卢大学);Vector Institute for AI(Vector人工智能研究院);Noah’s Ark Lab, Huawei Technologies(华为技术诺亚方舟实验室)
在应用联邦学习(FL)框架的典型场景中,客户端通常没有足够的训练数据来生成准确的模型。因此,不仅提供点估计,而且还提供某种置信度概念的模型是有益的。高斯过程(GP)是一个强大的贝叶斯模型,具有自然校准的方差估计。然而,学习一个独立的全局GP是具有挑战性的,因为合并局部内核会导致隐私泄漏。为了保护隐私,以前考虑联邦GP的作品通过关注个性化设置或学习局部模型的集合来避免学习全局模型。我们提出了联邦贝叶斯神经回归(FedBNR),这是一种学习可扩展的独立全球联邦GP的算法,该算法尊重客户的隐私。我们通过定义统一的随机内核,将深度内核学习和随机特性结合起来,以实现可扩展性。我们表明,这种随机内核可以恢复任何平稳内核和许多非平稳内核。然后,我们推导出一种学习全局预测模型的原则性方法,就好像所有客户端数据都是集中的一样。我们还学习全局内核与知识蒸馏方法的非相同和独立分布(非i.i.d.)客户.在真实世界的回归数据集上进行了实验,与其他联邦GP模型相比,实验显示出统计上的显着改进。
2022-06-13 cs.LG
Scalable Signature-Based Distribution Regression via Reference Sets
King’s College London(伦敦国王学院);University of Oxford(牛津大学)
本文提出了一种基于参考集的可扩展签名分布回归方法,通过新颖的距离近似器解决现有方法内存消耗大、计算成本高及估计不确定性问题,并构建了适用于多领域和未见状态的通用学习流水线。
2024-10-11 cs.LG q-fin.MF stat.ML
Scaling Gaussian Process Regression with Full Derivative Observations
Base26
DSoftKI通过局部温度向量改进插值方案,实现可扩展的高斯过程回归,支持一阶和二阶导数的近似,适用于高维分子力场预测。
2026-02-02 cs.LG stat.ML
Secure multi-party linear regression at plaintext speed
Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学博德研究所)
我们详细介绍了分布式算法的可扩展性,安全的多方线性回归和特征选择在基本上相同的速度作为明文回归。虽然核心的几何思想很简单,但认识到它们在组合时的广泛用途是新颖的。我们的方案为跨多个生物库的高效和安全的全基因组关联研究打开了大门。
2019-07-10 cs.CR cs.LG stat.ML
Generic Coreset for Scalable Learning of Monotonic Kernels: Logistic Regression, Sigmoid and more
University of Haifa(海法大学)
Coreset(或core-set)是输入集$P$相对于给定\emph{monotonic}函数$f:\mathbb{R}\to\mathbb{R}$的小加权\emph{subset} $Q$,\emph{provably}将其拟合损失$\sum_{p\in P}f(p\cdot x)$近似为给定$x\in\mathbb{R}^d$的\emph{any}。使用$Q$,通过在$Q$上运行\emph{existing}优化算法,我们可以获得使该损失最小化的$x^*$的近似值。在这项工作中,我们提供:(i)证明了对于一般单调损失函数,存在没有小于$n=|P|$的余集的集合的下界。(ii)一个证明,在一个自然的假设下,例如逻辑回归和S形激活函数,一个小coreset存在于\emph{any}输入$P$。(iii)一个通用的coreset建设算法,计算这样一个小coreset $Q$在$O(nd+n\log n)$的时间,和(iv)实验结果表明,我们的coresets是有效的,在实践中比理论预测小得多。
2021-12-23 cs.DS cs.LG
Scalable Cross Validation Losses for Gaussian Process Models
Broad Institute(博德研究所);Columbia University(哥伦比亚大学)
我们介绍了一个简单的和可扩展的方法来训练高斯过程(GP)模型,利用交叉验证和最近邻截断。为了适应二进制和多类分类,我们利用Psyllya-Gamma辅助变量和变分推断。在与许多可扩展GP回归和分类的替代方法进行的广泛实证比较中,我们发现我们的方法提供了快速的训练和出色的预测性能。我们认为,良好的预测性能可以追溯到所得到的预测分布的非参数性质,以及交叉验证损失,这提供了对模型误指定的鲁棒性。
2022-03-09 cs.LG stat.ML
A Novel Large-scale Ordinal Regression Model
University of Chinese Academy of Sciences(中国科学院大学);The Chinese University of Hong Kong(香港中文大学)
有序回归(OR)是一种特殊的多类分类问题,其中标签之间存在顺序关系。近年来,人们通过社交网络和电子商务方便地分享自己的观点和情感判断,从而产生了大量的大规模OR问题。然而,很少有研究集中在这类问题。非平行支持向量有序回归(NPSVOR)是一种基于SVM的OR模型,它通过求解一系列独立的子优化问题来学习每个秩的超平面,然后将这些学习到的超平面集成起来进行预测。以往的研究主要集中在非线性的情况下,并取得了较好的测试性能,但其训练耗时,特别是对于大规模数据。在本文中,我们考虑NPSVOR的线性情况下,设计了一个有效的训练方法的基础上的双坐标下降法(DCD)。为了利用标签间的顺序信息进行预测,提出了一种新的预测函数。在文本OR数据集上的大量对比实验表明,精心实现的DCD非常适合于训练大数据。
2018-12-19 cs.AI cs.LG stat.ML
A Fast and Scalable Pathwise-Solver for Group Lasso and Elastic Net Penalized Regression via Block-Coordinate Descent
Stanford University(斯坦福大学)
本研究提出基于块坐标下降的快速可扩展算法,结合Newton法与自适应二分法求解组Lasso及组弹性网正则化路径,开发的adelie包速度比同类最快工具快3-10倍,且lasso求解性能媲美glmnet。
2024-05-14 cs.LG cs.MS cs.SE
Uncertainty-Aware (UNA) Bases for Deep Bayesian Regression Using Multi-Headed Auxiliary Networks
Harvard University(哈佛大学)
神经线性模型(NLM)是深度贝叶斯模型,通过从数据中学习特征,然后对这些特征执行贝叶斯线性回归,从而产生预测不确定性。尽管他们的流行,很少有作品集中在有条不紊地评估这些模型的预测不确定性。在这项工作中,我们证明了NLM的传统训练程序大大低估了分布外输入的不确定性,因此它们不能天真地部署在风险敏感的应用程序中。我们确定了这种行为的根本原因,并提出了一个新的训练框架,捕捉有用的预测不确定性的下游任务。
2021-12-15 cs.LG stat.ML
Scalable Hybrid Classification-Regression Solution for High-Frequency Nonintrusive Load Monitoring
National Renewable Energy Laboratory(国家可再生能源实验室);Enphase(恩相);University of Minnesota(明尼苏达大学)
具有监测和控制其净负荷(负荷和发电量之和)能力的住宅建筑可以为电网运营商提供宝贵的灵活性。我们提出了一种新的多类非侵入式负载监测(NILM)的方法,使有效的净负载监测功能,在高频率,最小的额外设备和成本。所提出的基于机器学习的解决方案提供了准确的多类状态预测,同时以更快的时间尺度运行(能够为美国电网中使用的每个60 Hz交流周期提供预测),而不依赖于事件检测技术。我们还介绍了一种创新的混合分类回归方法,不仅允许通过分类预测负载的开/关状态,还可以通过回归预测单个负载的工作功率水平。一个测试床与八个住宅电器用于验证NILM的方法。实验结果表明,该方法具有较高的精度,良好的尺度和泛化能力。此外,该方法被证明有足够的响应时间(在160毫秒内,对应于10个交流周期),以支持建设电网互动控制在快速的时间尺度相关的电网频率支持服务的提供。
2022-08-22 cs.LG cs.SY eess.SY
Analysis of Network Lasso for Semi-Supervised Regression
Aalto University(阿尔托大学)
我们将网络Lasso应用于涉及网络结构化数据的半监督回归问题。这种方法非常自然地适用于高度可扩展的学习算法,其形式是通过代表数据网络结构的经验图传递消息。通过使用一个简单的非参数回归模型,这是由聚类假设的动机,我们提供了一个网络Lasso的估计误差的分析。该分析揭示了保证网络Lasso准确的网络结构和可用训练数据的条件。值得注意的是,网络Lasso的准确性与经验图上存在足够大的网络流有关。因此,我们的分析揭示了网络Lasso和最大流问题之间的联系。
2018-12-27 cs.LG stat.ML
Scalable Kernel Logistic Regression with Nyström Approximation: Theoretical Analysis and Application to Discrete Choice Modelling
University of Castilla-La Mancha(卡斯蒂利亚-拉曼恰大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
针对核机器学习技术在大型离散选择建模中面临的可扩展性挑战,本文提出Nyström近似的核逻辑回归方法,通过理论分析与计算验证,证明其能高效处理超20万观测值的数据集且性能稳健。
2024-12-02 cs.LG stat.ML
Scalable Multi-Task Gaussian Processes with Neural Embedding of Coregionalization
Dalian University of Technology(大连理工大学)
多任务回归试图利用任务的相似性,以实现相关任务之间的知识转移,以提高绩效。高斯过程(GP)在这种情况下的应用程序产生的非参数,但信息贝叶斯多任务回归范例。多任务GP(MTGP)不仅提供了预测均值,而且还提供了相关的预测方差来量化不确定性,因此在各种场景中越来越受欢迎。协同区域化的线性模型(LMC)是一种著名的MTGP范式,它通过线性组合多个独立的、不同的GP来利用任务的依赖性。然而,LMC在处理复杂的多任务情况时,模型复杂度高,模型能力有限。为此,我们开发了共区域化的神经嵌入,将潜在的GP转换为高维潜在空间,以诱导丰富而多样的行为。此外,我们使用先进的变分推断以及稀疏近似设计一个紧密和紧凑的证据下限(ELBO)更高质量的可扩展模型推理。大量的数值实验已经进行了验证,我们的模型,命名为NSVLMC,在各种现实世界的多任务数据集和非稳态流化床的跨流体建模更高的预测质量和更好的泛化。
2021-09-20 cs.LG stat.ML
Scaling up the Automatic Statistician: Scalable Structure Discovery using Gaussian Processes
University of Oxford(牛津大学);DeepMind
自动化统计建模是人工智能领域的一个具有挑战性的问题。自动统计学家在这个方向上迈出了第一步,通过采用高斯过程(GP)的核搜索算法为回归问题提供可解释的统计模型。但是,由于模型选择的$O(N^3)$运行时间,这不会扩展。我们提出了可扩展的内核组成(SKC),一个可扩展的内核搜索算法,扩展自动统计更大的数据集。在这样做时,我们推导出一个便宜的上限的GP边际似然,三明治的边际似然与变分下限。我们表明,上界是显着更紧密的下界,因此有用的模型选择。
2018-02-14 cs.LG stat.ML
A Dual Perspective on Decision-Focused Learning: Scalable Training via Dual-Guided Surrogates
Harvard University(哈佛大学);University of California, Berkeley(加州大学伯克利分校)
本文提出双引导损失DGL,利用下游问题的对偶变量周期性地构建可微代理目标,在保持决策对齐的同时大幅减少组合优化器调用次数和训练时间,并在匹配、背包和最短路径等组合选择问题上验证了其有效性与可扩展性。
2025-11-07 cs.AI cs.LG
Scalable Cox Regression via Grouped Risk Sets and Sharper LogSumExp Rates
HSE University(高等经济大学)
针对大规模Cox回归的计算挑战,提出基于分组风险集和softplus替代的随机优化方法,获得更优收敛速率,并保持渐近分布匹配,实验验证性能优越。
2026-10-01 cs.LG math.OC
Scalable Bid Landscape Forecasting in Real-time Bidding
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Adobe Research(Adobe研究院);Adobe Advertising Cloud(Adobe广告云)
在程序化广告中,广告位通常使用第二价格(SP)拍卖实时的【形】出售。出价最高的广告客户获胜,但只支付第二高的出价(称为获胜价格)。在SP中,对于单个项目,每个投标人的主导策略是从投标人的角度出价的真实价值。然而,在一个实际的设置,与预算限制,投标的真实价值是一个次优策略。因此,为了设计最优的投标策略,准确地了解中标价格的分布是至关重要的。此外,一个代表广告商投标的需求方平台(DSP),如果它赢得了拍卖,它会观察获胜价格。对于失败的拍卖,DSP只能将其投标价格视为未知获胜价格的下限。在文献中,通常使用删失回归来对此类部分观测数据进行建模。删失回归中的一个常见假设是,获胜价格来自固定方差(同方差)单峰分布(通常是高斯分布)。然而,在现实中,这些假设往往被违反。我们放松这些假设,并提出了异方差全参数删失回归方法,以及一个混合密度删失网络。我们的方法不仅推广了删失回归,而且还提供了灵活性,任意分布的真实世界的数据建模。在公开的中标价格估计数据集上的实验结果表明了该方法的有效性。此外,我们评估我们的算法在一个最大的需求方平台和显着的改善已经取得了比较基线的解决方案。
2020-01-18 cs.GT cs.LG stat.ML
A Factor Graph Approach to Scalable Multi-Output Gaussian Process Regression
Eindhoven University of Technology(埃因霍温理工大学);Lazy Dynamics B.V.(拉齐动力公司)
该研究提出一种因子图方法实现可扩展多输出高斯过程回归,通过链上高斯消息传递降低计算成本,在低输入维度任务中性能接近精确方法,在电力时间序列预测中兼具准确率与线性扩展性。
2026-08-20 cs.LG
Uncertainty separation via ensemble quantile regression
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出一种基于分位数回归模型集成(E-QR)的可扩展框架,通过渐进采样算法迭代改进偶然与认知不确定性的分离,在大型数据集和合成基准上超越Deep Ensembles和MC dropout等方法。
2024-12-18 cs.AI cs.CE cs.LG
Scalable Membership Inference Attacks via Quantile Regression
Amazon AWS AI/ML(亚马逊AWS人工智能与机器学习);University of Pennsylvania(宾夕法尼亚大学);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于分位数回归的成员推理攻击方法,仅需训练一个模型即可达到与影子模型攻击相当的效果,同时无需知道被攻击模型架构,显著降低了计算成本并实现真正的黑盒攻击。
2023-07-07 cs.AI cs.CR cs.LG
Bias-Scalable Near-Memory CMOS Analog Processor for Machine Learning
Indian Institute of Science(印度科学学院);Washington University in St. Louis(圣路易斯华盛顿大学)
偏置可扩展模拟计算对于实现具有不同功率性能规格的机器学习(ML)处理器是有吸引力的。例如,服务器工作负载的ML实现专注于更高的计算吞吐量以实现更快的训练,而边缘设备的ML实现则专注于节能推理。在本文中,我们演示了实现偏置可扩展的近似模拟计算电路使用的广义的边缘传播原理称为基于形状的模拟计算(S-AC)。所得到的S-AC核集成了若干近存储器计算元件,其包括:(a)非线性激活函数;(b)内积计算电路;以及(c)混合信号压缩存储器,所有这些都可以针对性能或功率进行缩放,同时保留其功能。使用在180 nm CMOS工艺制造的原型的测量结果,我们证明了计算模块的性能仍然强大的晶体管偏置和温度的变化。在本文中,我们还展示了偏差可扩展性和计算精度对简单ML回归任务的影响。
2023-01-04 cs.AI cs.AR cs.ET
Scalable Gaussian Process Inference with Finite-data Mean and Variance Guarantees
Harvard University(哈佛大学);University of British Columbia(英属哥伦比亚大学);University of Luxembourg(卢森堡大学);MIT(麻省理工学院)
高斯过程(GP)为非参数贝叶斯回归提供了一种灵活的先验类别,但流行的GP后验推理方法通常非常缓慢或缺乏理想的有限数据质量保证。我们开发了一种方法,可扩展的近似GP回归有限数据保证逐点后验均值和方差估计的准确性。我们的主要贡献是一个新的目标近似推理的非参数设置:预处理的Fisher(PF)的分歧。我们发现,不同于库尔贝克-莱布勒散度(用于变分推断),pF发散边界的2-瓦瑟斯坦距离,这反过来又提供了严格的边界的逐点差的均值和方差函数。我们证明,对于稀疏GP似然近似,我们可以有效地最小化pF发散。我们的实验表明,优化pF发散具有与变分稀疏GP相同的计算要求,同时提供可比的经验性能-除了我们新的有限数据质量保证。
2019-03-27 cs.LG stat.CO stat.ME
FePySR: A Neural Feature Extraction Framework for Efficient and Scalable Symbolic Regression
School of Mathematical Sciences, Zhejiang University, Hangzhou, Zhejiang, China(浙江大学数学科学学院,杭州,浙江,中国);Faculty of Medicine and Health Technology, Tampere University, Tampere, Finland(塔尔库大学医学与健康技术学院,塔尔库,芬兰)
FePySR通过神经网络提取有效特征,优化符号回归搜索空间,提升方程恢复率和计算效率,适用于复杂科学领域。
2026-05-12 cs.AI cs.LG cs.SC
Unsupervised Path Regression Networks
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
我们证明了具有挑战性的最短路径问题可以通过直接样条回归从神经网络,在无监督的方式训练(即不需要地面实况最佳路径的训练)。为了实现这一点,我们推导出一个几何相关的最优成本函数,其最小值保证无碰撞的解决方案。我们的方法击败了最短路径规划的最先进的监督学习基线,具有更可扩展的训练管道,以及推理时间的显着加速。
2021-03-09 cs.CV cs.LG cs.RO
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London(帝国理工学院)
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的,分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化,同时保持内存消耗小。如果有足够的计算资源,我们的模型可以处理任意大的数据集,没有显式稀疏近似。我们提供了强有力的实验证据表明,我们的模型可以应用于规模远远超过数百万的大型数据集。因此,我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
Accurate Molecular-Orbital-Based Machine Learning Energies via Unsupervised Clustering of Chemical Space
California Institute of Technology(加州理工学院)
我们引入了一种无监督聚类算法,以提高使用基于分子轨道的机器学习(MOB-ML)预测能量的训练效率和准确性。这项工作通过高斯混合模型(GMM)以完全自动的方式确定聚类,并简化了早期的监督聚类方法[J. Chem. Theory Comput.,15,6668(2019)]通过消除对用户指定的参数和训练附加分类器的必要性。GMM的无监督聚类结果具有准确再现前沿分子轨道的化学直观分组的优点,并且随着训练示例数量的增加而具有改进的性能。从监督或无监督聚类得到的聚类进一步与可扩展高斯过程回归(GPR)或线性回归(LR)相结合,以通过在每个聚类中生成局部回归模型来准确地学习分子能量。在所有四种回归量和聚类方法的组合中,GMM与可扩展精确高斯过程回归(GMM/GPR)相结合是MOB-ML最有效的训练协议。在类药物分子的热化数据集上进行的分子能量学习的数值测试证明了GMM/GPR不仅比MOB-ML的其他训练协议(即,有监督的回归-聚类结合GPR(RC/GPR)和无聚类的GPR。GMM/GPR还提供了最好的分子能量预测与文献中相同的基准数据集。与训练大小为6500个QM 7 b-T分子的可扩展精确GPR相比,在较低的缩放比例下,GMM/GPR在挂钟训练时间上具有10.4倍的加速。
2022-04-21 cs.LG physics.chem-ph
Variation-Incentive Loss Re-weighting for Regression Analysis on Biased Data
University of Warwick(华威大学);South China University of Technology(华南理工大学)
分类和回归任务都容易受到训练数据的有偏分布的影响。然而,现有的方法都集中在类不平衡学习,不能适用于学习目标是连续值而不是离散标签的数值回归问题。在本文中,我们的目标是通过解决模型训练过程中的数据偏度/偏差来提高回归分析的准确性。我们首先引入了两个度量,唯一性和异常性,以反映本地化数据分布的角度来看,他们的特点(即,输入)空间和目标(即,输出)空间。结合这两个指标,我们提出了一个变化激励损失重新加权方法(VILoss),以优化基于梯度下降的模型训练回归分析。我们对合成和真实世界的数据集进行了全面的实验。结果表明,当使用VILoss作为训练中的损失标准时,模型质量得到了显着改善(误差减少高达11.9%)。
2021-09-14 cs.LG
Scalable and Safe Remediation of Defective Actions in Self-Learning Conversational Systems
Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文提出一种利用历史回归事件报告高精度样本的方法,在策略在线部署前进行验证与保护,解决了自学习对话系统中策略改进与体验连续性的平衡问题。
2023-05-17 cs.AI cs.CL cs.LG