Scalable penalized spatiotemporal land-use regression for ground-level nitrogen dioxide
二氧化氮(NO $_2$)是交通相关空气污染的主要成分,并具有公认的有害环境和人类健康影响。了解NO $_2$的时空分布对于暴露和风险评估至关重要。评估空气污染暴露的一种常用方法是涉及空间参考协变量的线性回归,称为土地利用回归。我们开发了一种可扩展的方法,同时变量选择和估计的LUR模型的时空相关的错误,通过结合一个通用的韦奇亚高斯过程近似与惩罚的LUR系数。与使用模拟数据的现有方法相比,我们的方法具有更高的模型选择特异性和灵敏度,并且在校准和锐度方面具有更好的预测,适用于各种相关设置。在我们的时空分析日常,美国范围内,地面NO $_2$数据,我们的方法是更准确的,并产生了一个稀疏和更可解释的模型。我们的日常预测阐明了美国各地NO $_2$浓度的时空模式,包括城市之间的显着变化和城市内的变化。因此,我们的预测将是有用的流行病学和风险评估研究寻求每日,国家规模的预测,他们可以用于急性结果的健康风险评估。
2020-11-16 stat.AP
Regularized Learning for Fractional Brownian Motion via Path Signatures
针对分数布朗运动路径的不规则性,本文提出基于路径签名的Lasso正则化方法,推导了不同赫斯特参数下的一致性,并在合成与真实数据上验证其优于传统回归。
2025-06-19 math.ST stat.TH
Sliding-Window Signatures as Features for Time Series Forecasting
organization= EDF R\&D, Lab Paris-Saclay , country= France
针对时间序列预测中协变量的非线性和延迟效应,提出基于岭回归与滑动窗口签名特征的预测框架,并证明其逼近普适性与平稳性,在电力需求预测中表现出与专家知识相媲美的准确性。
2026-10-27 stat.ME stat.ML
Scalable Sparse Subspace Clustering via Ordered Weighted $\ell_1$ Regression
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文的主要贡献是一种新的子空间聚类方法,该方法比现有的最先进的方法具有更高的计算效率和可扩展性。其中心思想是修改稀疏子空间聚类(SSC)中的回归技术,通过用称为有序加权$\ell_1$(OWL)最小化的泛化来替换$\ell_1$最小化,该泛化同时执行相关变量的回归和聚类。利用随机几何图理论,我们证明了OWL回归在每个子空间内选择更多的点,从而产生更好的聚类结果。这允许基于仅针对总数据集的一小部分的回归解决方案的精确子空间聚类,与SSC相比显著降低了计算复杂性。在实验中,我们发现我们的OWL方法可以实现20 $\times$到30 $\times$的合成问题和4 $\times$到8 $\times$的实际数据问题的加速比。
2018-07-10 cs.LG stat.ML
Scalable Holistic Linear Regression
Sloan School of Management and Operations Research Center, Massachusetts Institute of Technology(麻省理工学院斯隆管理学院和运筹学中心);Operations Research Center, Massachusetts Institute of Technology(麻省理工学院运筹学中心)
我们在Bertsimas & King(2016)的基础上提出了一种新的整体线性回归可扩展算法。具体来说,我们开发了新的理论来建模的意义和多重共线性的懒惰的约束,而不是反复检查的条件。与先前框架中的低100 s相比,所得到的算法随着10,000 s中的样本数$n$而缩放。在真实数据集和人工数据集上的计算结果表明,该算法在准确率、误检率、计算时间和可扩展性等方面都有很大提高。
2020-03-04 cs.LG math.OC stat.ML
Adaptively Truncated Signature-based Logistic Regression for Semi-parametric Functional Classification
Institute of Mathematical Sciences, ShanghaiTech University(数学科学研究院,上海科技大学)
提出路径签名逻辑回归(PSLR)半参数框架用于向量值功能数据分类。利用路径签名特性,有半参数加法结构及数据驱动的签名截断阶数自适应选择方法,实验表明其性能优于传统方法。
2026-09-29 cs.LG stat.ML
Scalable Matrix-valued Kernel Learning for High-dimensional Nonlinear Multivariate Regression and Granger Causality
IBM Research(IBM研究院);Istituto Italiano di Tecnologia(意大利理工学院)
本文提出了一个通用的矩阵值多核学习框架,用于高维非线性多元回归问题。这个框架允许一个广泛的混合范数正则化,包括那些诱导稀疏性,被施加在向量值再生核希尔伯特空间的字典。我们开发了一个高度可扩展的和eigendecomposition免费的算法,编排两个不精确的求解器,同时学习可分离矩阵值内核的输入和输出组件。作为我们的框架启用的一个关键应用程序,我们展示了高维因果推理任务如何自然地转换为稀疏函数估计问题,从而导致一类图形格兰杰因果关系技术的新的非线性扩展。我们的算法的发展和广泛的实证研究的补充,理论分析方面的Rademacher推广的界限。
2014-08-09 cs.LG stat.ML
OKRidge: Scalable Optimal k-Sparse Ridge Regression
Duke University(杜克大学)
本文提出OKRidge算法,通过鞍点下界计算与ADMM近端算子高效求解稀疏岭回归问题,用于识别非线性动力系统的稀疏控制方程,实验表明其运行时间比Gurobi求解的MIP方法快数个数量级。
2024-01-11 cs.LG stat.ML
Scalable Matrix-valued Kernel Learning for High-dimensional Nonlinear Multivariate Regression and Granger Causality
IBM Research(IBM研究院);Italian Institute of Technology(意大利理工学院)
本文提出了一个通用的矩阵值多核学习框架,用于高维非线性多元回归问题。这个框架允许一个广泛的混合范数正则化,包括那些诱导稀疏性,被施加在向量值再生核希尔伯特空间的字典。我们开发了一个高度可扩展的和eigendecomposition免费的算法,编排两个不精确的求解器,同时学习可分离矩阵值内核的输入和输出组件。作为我们的框架启用的一个关键应用程序,我们展示了如何高维的因果推断任务可以自然地铸造稀疏函数估计问题,导致一类图形格兰杰因果关系技术的新的非线性扩展。我们的算法的发展和广泛的实证研究的补充Rademacher泛化界方面的理论分析。
2013-03-08 cs.LG stat.ML
Scalable Variational Gaussian Process Regression Networks
University of Utah(犹他大学);School of Computing(计算学院);Scientific Computing and Imaging Institute(科学计算与成像研究所)
高斯过程回归网络(GPRN)是多输出回归的强大贝叶斯模型,但其推理是棘手的。为了解决这个问题,现有方法在所有输出和潜函数上使用完全分解的结构(或这种结构的混合)进行后验近似,然而,这可能会错过潜变量之间的强后验依赖性并损害推理质量。此外,变分参数的更新是低效的,并且对于大量的输出来说可能是非常昂贵的。为了克服这些局限性,我们提出了一个可扩展的变分推理算法的GPRN,它不仅捕获了丰富的后验依赖关系,但也是更有效的大规模输出。我们张量化的输出空间,并引入张量/矩阵正常变分后验捕获的后验相关性,并减少参数。我们共同优化所有的参数,并利用固有的克罗内克积结构的变分模型证据下界,以加快计算。我们证明了我们的方法在几个现实世界中的应用的优势。
2020-05-18 cs.LG stat.ML
The Theory and Practice of Highly Scalable Gaussian Process Regression with Nearest Neighbours
本文提出基于最近邻的高斯过程回归方法,理论分析其预测误差、校准系数和负对数似然的渐近行为,并证明其统计一致性及达到Stone的最小最大率。
2026-04-08 cs.LG stat.ML
A PyTorch Framework for Scalable Non-Crossing Quantile Regression
Arizona Department of Education(亚利桑那州教育部门)
本文提出基于PyTorch的CJQR-ALM框架,通过增广拉格朗日方法和可微pinball损失实现非交叉分位数回归,显著降低计算复杂度并提升大规模数据处理效率。
2025-12-12 cs.LG stat.ML
Fast and Scalable Estimator for Sparse and Unit-Rank Higher-Order Regression Models
Southeast University(东南大学)
由于张量数据越来越频繁地出现在各种科学研究和实际应用中,分析张量特征与单变量结果之间的关系成为许多领域的一项基本任务。为了解决这个问题,我们提出了基于单位秩CANDECOMP/PARAFAC分解的\underline{Fa} st \underline{S} parse \underline{T} ensor \underline{R} egression model(FasTR). FasTR首先将张量系数分解为分量向量,然后使用$\ell_1$正则化回归估计每个向量。由于各分量向量的独立性,FasTR能够并行求解,其时间复杂度优于以往的模型。我们评估了几个模拟数据集和真实世界的fMRI数据集上的性能。实验结果表明,与四种基线模型相比,在每种情况下,FasTR都能在更短的时间内计算出更好的解。
2019-11-29 cs.LG stat.ML
Understanding and Comparing Scalable Gaussian Process Regression for Big Data
Nanyang Technological University(南洋理工大学);Rolls-Royce(罗尔斯·罗伊斯)
高斯过程(GP)作为一种非参数贝叶斯模型,能够产生信息量丰富的预测分布,在回归、分类、优化等领域有着广泛的应用。然而,标准GP的立方复杂性导致可扩展性差,这在大数据时代带来了挑战。因此,在文献中已经开发了各种可扩展的GP,以便在保持期望的预测精度的同时提高可扩展性。本文从可扩展性、能力、可控性和鲁棒性四个方面研究了具有代表性的全局和局部可扩展GP(包括稀疏近似和局部聚集)的方法学特征和性能。在两个玩具例子和五个真实世界的数据集上进行的数值实验,最多25万个点,提供了以下发现。在可扩展性方面,大多数可扩展GP的时间复杂度与训练大小呈线性关系。在能力方面,稀疏近似捕获长期的空间相关性,局部聚集捕获局部模式,但在某些情况下遭受过拟合。在可控性方面,我们可以通过简单地增加诱导大小来提高稀疏近似的性能。但对于本地聚合,情况并非如此。在鲁棒性方面,由于局部注意机制,局部聚集对各种超参数的初始化具有鲁棒性。最后,我们强调,全球和本地可扩展的GP的适当的混合可能是一个有前途的方式来提高大数据的模型能力和可扩展性。
2018-11-03 cs.LG stat.ML
$p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets
TU Dortmund University(多特蒙德工业大学);Dortmund Data Science Center(多特蒙德数据科学中心)
本文研究了$p$ -广义概率单位回归模型,它是一个二元响应的广义线性模型。它扩展了标准的概率单位模型,用$p$-$p\in[1, \infty)$的广义正态分布替换其链接函数,标准正态cdf。$p$ -广义正态分布\citep{Sub23}在统计建模中具有特殊意义,因为它们更灵活地拟合数据。它们的尾部行为可以通过选择参数$p$来控制,该参数影响模型对离群值的敏感性。特殊情况包括拉普拉斯分布、高斯分布和均匀分布。我们进一步展示了如何最大似然估计$p$ -广义概率回归可以有效地近似到$(1+\varepsilon)$的大数据的一个因素,通过结合草图技术与重要性子采样,以获得一个小的数据摘要称为coreset。
2022-03-25 cs.DS cs.LG stat.ML
Scalable High-Dimensional Multivariate Linear Regression for Feature-Distributed Data
Booth School of Business(布斯商学院);University of Chicago(芝加哥大学)
针对特征分布式数据的高维多变量线性回归需求,提出通信复杂度不依赖特征维度的两阶段松弛贪心算法TSRGA,可生成低秩系数估计,经仿真验证收敛快,在金融10-K报告数据场景中有效。
2024-03-11 cs.DC cs.LG stat.ML
Trigonometric Quadrature Fourier Features for Scalable Gaussian Process Regression
Duke University(杜克大学)
提出三角求积傅里叶特征(TQFF)方法,利用新型非高斯求积规则解决高度振荡求积导致的病态问题,在更少特征下实现更精确的高斯过程近似。
2023-10-23 cs.LG stat.ML
Efficient and Scalable Multi-task Regression on Massive Number of Tasks
NEC Labs Europe(NEC欧洲实验室)
许多现实世界中的大规模回归问题可以被表述为具有大量任务的多任务学习(MTL)问题,例如在零售和运输领域。然而,现有的MTL方法仍然无法提供这类问题的泛化性能和可扩展性。将MTL方法扩展到具有大量任务的问题是一个很大的挑战。在这里,我们提出了一种新的算法,称为凸聚类多任务回归学习(CCMTL),它集成了凸聚类的k-最近邻图的预测模型。此外,CCMTL有效地解决了一个新提出的优化方法的基本凸问题。CCMTL对训练是准确的、高效的,并且根据经验在任务数量上线性缩放。在合成和真实世界的数据集上,所提出的CCMTL在预测精度和计算效率方面优于七种最先进的(SoA)多任务学习方法。在一个包含23,812个任务的真实零售数据集上,CCMTL只需要大约30秒就可以在一个线程上进行训练,而SoA方法需要长达几个小时甚至几天。
2018-11-14 cs.LG stat.ML
Kernel Packet: An Exact and Scalable Algorithm for Gaussian Process Regression with Matérn Correlations
Texas A&M University(得克萨斯农工大学)
本文提出了一种精确的、可扩展的Matérn相关的一维高斯过程回归算法,其平滑参数$ν$为半整数。该算法只需要$\mathcal{O}(ν^3 n)$操作和$\mathcal{O}(νn)$存储。由于$ν$被选择为固定的,并且在大多数应用中通常非常小,因此这导致线性成本求解器。该方法可以应用于多维问题,如果使用全网格或稀疏网格设计。该方法是基于一种新的理论Matérn相关函数。我们发现,这些相关函数的一个适当的重新安排可以产生一个compensated支持的功能,称为“内核包”。使用一组核包作为基函数导致协方差阵的稀疏表示,从而导致所提出的算法。仿真研究表明,所提出的算法,适用时,是显着优于现有的替代品的计算时间和预测精度。
2022-03-09 cs.LG stat.ME stat.ML
Advantage-Weighted Regression: Simple and Scalable Off-Policy Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
在本文中,我们的目标是开发一个简单的和可扩展的强化学习算法,使用标准的监督学习方法作为子程序。我们的目标是一个算法,只利用简单和收敛的最大似然损失函数,同时也能够利用政策外的数据。我们提出的方法,我们称之为加权回归(AWR),由两个标准的监督学习步骤:一个回归到目标值的价值函数,另一个回归到加权目标行动的政策。该方法简单而通用,可以适应连续和离散的动作,并且可以在标准监督学习方法之上仅用几行代码实现。我们提供了一个理论上的动机AWR和分析其属性时,将关闭政策的数据从经验重放。我们在一套标准的OpenAI Gym基准测试任务上评估了AWR,并表明与许多成熟的最先进的RL算法相比,它实现了具有竞争力的性能。AWR还能够在从纯静态数据集学习时获得比大多数非策略算法更有效的策略,而无需额外的环境交互。此外,我们证明了我们的算法具有高度复杂的模拟字符的挑战性的连续控制任务。
2019-10-07 cs.LG stat.ML
Scalable Spatiotemporally Varying Coefficient Modelling with Bayesian Kernelized Tensor Regression
McGill University(麦吉尔大学)
针对时空变系数模型计算成本高难以大规模应用的问题,提出贝叶斯核化张量回归框架,结合低秩张量分解与高斯过程先验,搭配高效MCMC算法,在合成和真实数据上实现了更优的模型估计性能与效率。
2024-04-13 cs.LG stat.ML
Modeling Massive Spatial Datasets Using a Conjugate Bayesian Linear Regression Framework
UCLA(加州大学洛杉矶分校)
地理信息系统(GIS)和相关技术引起了统计人员对分析大型空间数据集的可扩展方法的极大兴趣。已经提出了各种可扩展的空间过程模型,可以很容易地嵌入到一个分层的建模框架,进行贝叶斯推断。虽然统计研究的重点主要是针对创新和更复杂的模型开发,相对有限的注意力已被给予的做法,易于实施的可扩展的层次模型的实践科学家或空间分析师。本文讨论了如何将点参考空间过程模型转换为共轭贝叶斯线性回归,以快速提供空间过程的推断。该方法允许直接从回归参数、潜在过程和预测随机变量的联合后验分布中进行精确采样(避免了马尔可夫链蒙特卡罗等迭代算法),并可在R.
2021-09-09 cs.LG stat.ML
Scalable Sparse Regression for Model Discovery: The Fast Lane to Insight
School of Physics, Georgia Institute of Technology(佐治亚理工学院物理学院)
针对动力学系统数据充足但数学描述不足的问题,提出通用稀疏回归算法SPRINT,通过带解析界的二分法加速零向量最优秩1修正识别,大幅提升模型发现效率。
2024-05-14 cs.LG physics.data-an stat.ML
Scalable Gaussian Process Regression for Kernels with a Non-Stationary Phase
Institute for Electrical Engineering in Medicine, Universität zu Lübeck(吕贝克大学医用电工研究所)
高斯过程(GPs)的应用,以大数据集是有限的,由于沉重的内存和计算要求。已经提出了各种方法来实现可伸缩性,其中之一是利用内核矩阵中的结构。然而,以前的方法,不能很容易地处理非平稳过程。本文提出了一个有效的GP框架,扩展结构核插值方法的GP与非平稳相位。我们特别对待混合物的非平稳过程,这是常用的分离问题的背景下,例如在生物医学信号处理。我们的方法采用多组非等距诱导点占的非平稳性和检索Toeplitz和Kronecker结构的核矩阵,允许有效的推理。核学习是通过优化边际似然来完成的,边际似然可以使用随机迹估计方法有效地近似。我们的方法证明了数值例子和大型生物医学数据集。
2019-12-25 cs.LG stat.ML
Scalable Penalized Regression for Noise Detection in Learning with Noisy Labels
Fudan University(复旦大学)
噪声训练集通常会导致神经网络的泛化能力和鲁棒性下降。在本文中,我们提出了使用一个理论上有保证的噪声标签检测框架来检测和删除噪声数据的学习与噪声标签(LNL)。具体来说,我们设计了一个惩罚回归模型来模拟网络特征和独热标签之间的线性关系,其中噪声数据由回归模型中求解的非零均值漂移参数来识别。为了使框架可扩展到包含大量类别和训练数据的数据集,我们提出了一种分裂算法,将整个训练集分成可以通过惩罚回归并行求解的小块,从而形成可扩展惩罚回归(SPR)框架。我们提供了SPR正确识别噪声数据的非渐近概率条件。虽然SPR可以被视为标准监督训练管道的样本选择模块,但我们进一步将其与半监督算法相结合,以进一步利用噪声数据作为未标记数据的支持。在多个基准数据集和真实噪声数据集上的实验结果表明了该框架的有效性。我们的代码和预训练模型在https://github.com/Yikai-Wang/SPR-LNL上发布。
2022-03-19 cs.CV cs.LG
Normative Modeling of Neuroimaging Data using Scalable Multi-Task Gaussian Processes
Radboud University Medical Centre(拉德堡德大学医学中心);Radboud University(拉德堡德大学)
规范建模最近被提出作为一种替代的病例对照方法在临床队列内的异质性建模。规范建模基于单输出高斯过程回归,其提供该方法所需的不确定性的相干估计,但不考虑空间协方差结构。在这里,我们介绍了一个可扩展的多任务高斯过程回归(S-MTGPR)的方法来解决这个问题。为此,我们利用空间协方差阵的低秩近似与克罗内克积的代数性质的组合,以减少在高维输出空间中的高斯过程回归的计算复杂度。在一个公开的fMRI数据集上,我们发现S-MTGPR:1)导致了大量的计算改进,使我们能够估计高维fMRI数据的规范模型,同时考虑数据中的空间结构; 2)通过对空间和跨样本方差进行建模,它在新颖的检测场景中提供了更高的灵敏度。
2018-06-05 cs.LG stat.ML
Accurate and Scalable Stochastic Gaussian Process Regression via Learnable Coreset-based Variational Inference
Columbia University(哥伦比亚大学);BCAM & Ikerbasque(BCAM与伊克尔巴斯克基金会)
提出基于可学习核心集变分推断的高斯过程回归方法CVGP,通过先验与似然定义后验,推导出适用于随机优化的变分下界,将参数搜索空间降至线性复杂度并确保数值稳定性。
2025-03-04 cs.LG stat.ML
Scalable Neural Symbolic Regression using Control Variables
School of Computer Science(计算机科学学院);GaTech(佐治亚理工学院);School of Computing and Data Science(计算与数据科学学院);UIUC(伊利诺伊大学厄巴纳-香槟分校);William & Mary(威廉玛丽学院);Department of EECS(电子工程与计算机科学系);University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校);Wake Forest University(维克森林大学)
针对现有符号回归方法处理多变量复杂方程时的可扩展性问题,提出ScaleSR模型,通过控制变量将多变量SR分解为单变量问题自底向上组合,在多基准集上性能优于SOTA且大幅缩减搜索空间。
2024-07-09 cs.LG
Ab Initio Nonparametric Variable Selection for Scalable Symbolic Regression with Large $p$
Shengbin Ye(谢圣彬);Meng Li(李萌)
本文提出PAN+SR方法,通过从头非参数变量选择预筛选高维输入空间,以提升符号回归在大p场景下的可扩展性与准确性,并在扩展的SRBench基准上验证其能增强19种现有SR方法的性能。
2025-06-06 cs.LG stat.ME stat.ML
Scalable Multi-Task Gaussian Process Tensor Regression for Normative Modeling of Structured Variation in Neuroimaging Data
RadboudUMC(拉德堡德大学医学中心);Donders Institute(唐德斯研究所);University of Oxford(牛津大学);King’s College London(伦敦国王学院)
大多数大脑疾病在其基础生物学方面是非常异质的,开发分析方法来模拟这种异质性是一个重大挑战。一种有希望的方法是使用概率回归方法来估计使用(f)MRI数据的脑功能的规范模型,然后使用这些来映射临床人群中个体之间的变化(例如,经由异常检测)。为了充分捕捉个体差异,对不同大脑区域和个体之间的相关模式进行统计建模至关重要。然而,这对于神经成像数据来说是非常具有挑战性的,因为多个轴之间的高维和高度结构化的相关模式。在这里,我们提出了一个通用的和灵活的多任务学习框架来解决这个问题。我们的模型在贝叶斯混合效应模型中使用张量变量高斯过程,并利用Kronecker代数和低秩近似来有效地扩展到全脑水平的多路神经成像数据。在一个公开的临床fMRI数据集上,我们证明了我们的计算负担得起的方法大大提高了检测灵敏度,超过了一个质量单变量规范模型和一个分类器,与我们的方法不同,它可以完全访问临床标签。
2018-11-30 cs.LG stat.AP stat.ML
Leveraging Locality and Robustness to Achieve Massively Scalable Gaussian Process Regression
Bristol University(布里斯托大学);Alan Turing Institute(艾伦·图灵研究所);IBM Research(IBM研究院)
本文提出一种基于局部性和鲁棒性的高斯过程回归近似方法,通过理论证明和实验表明,在数据规模增大时,只需少量参数估计即可获得高精度预测,并可通过校正噪声方差实现良好校准的不确定性,算法在大型数据集上以极低计算成本达到领先性能。
2023-12-27 cs.LG stat.ML
Federated Bayesian Neural Regression: A Scalable Global Federated Gaussian Process
University of Waterloo(滑铁卢大学);Vector Institute for AI(Vector人工智能研究院);Noah’s Ark Lab, Huawei Technologies(华为技术诺亚方舟实验室)
在应用联邦学习(FL)框架的典型场景中,客户端通常没有足够的训练数据来生成准确的模型。因此,不仅提供点估计,而且还提供某种置信度概念的模型是有益的。高斯过程(GP)是一个强大的贝叶斯模型,具有自然校准的方差估计。然而,学习一个独立的全局GP是具有挑战性的,因为合并局部内核会导致隐私泄漏。为了保护隐私,以前考虑联邦GP的作品通过关注个性化设置或学习局部模型的集合来避免学习全局模型。我们提出了联邦贝叶斯神经回归(FedBNR),这是一种学习可扩展的独立全球联邦GP的算法,该算法尊重客户的隐私。我们通过定义统一的随机内核,将深度内核学习和随机特性结合起来,以实现可扩展性。我们表明,这种随机内核可以恢复任何平稳内核和许多非平稳内核。然后,我们推导出一种学习全局预测模型的原则性方法,就好像所有客户端数据都是集中的一样。我们还学习全局内核与知识蒸馏方法的非相同和独立分布(非i.i.d.)客户.在真实世界的回归数据集上进行了实验,与其他联邦GP模型相比,实验显示出统计上的显着改进。
2022-06-13 cs.LG
A Fast and Scalable Pathwise-Solver for Group Lasso and Elastic Net Penalized Regression via Block-Coordinate Descent
Stanford University(斯坦福大学)
本研究提出基于块坐标下降的快速可扩展算法,结合Newton法与自适应二分法求解组Lasso及组弹性网正则化路径,开发的adelie包速度比同类最快工具快3-10倍,且lasso求解性能媲美glmnet。
2024-05-14 cs.LG cs.MS cs.SE
Scalable Logistic Gaussian Process Density Regression with Kinetic Langevin Sampling
Nanyang Technological University(南洋理工大学);Eötvös Loránd University (ELTE)(厄特沃什·罗兰大学(ELTE));HUN-REN Institute for Computer Science and Control (SZTAKI)(匈牙利国家研究网络计算机科学与控制研究所(SZTAKI))
本文提出一种基于逻辑高斯过程的可扩展贝叶斯条件密度估计器,采用动力学朗之万采样高效推断,在光度红移基准上媲美最先进模型。
2026-10-08 cs.LG stat.ML
Scalable Decision-Focused Learning through Cost-Sensitive Regression
Delft University of Technology(代尔夫特理工大学);KU Leuven(库尔勒大学);Independent Researcher(独立研究者)
本文提出了一种基于成本敏感多输出回归的方法,用于解决包含多个不确定参数的组合优化问题,通过引入成本敏感的损失函数组件,提高了决策聚焦学习的效率和可扩展性。
2026-05-18 cs.LG stat.ML
Generic Coreset for Scalable Learning of Monotonic Kernels: Logistic Regression, Sigmoid and more
University of Haifa(海法大学)
Coreset(或core-set)是输入集$P$相对于给定\emph{monotonic}函数$f:\mathbb{R}\to\mathbb{R}$的小加权\emph{subset} $Q$,\emph{provably}将其拟合损失$\sum_{p\in P}f(p\cdot x)$近似为给定$x\in\mathbb{R}^d$的\emph{any}。使用$Q$,通过在$Q$上运行\emph{existing}优化算法,我们可以获得使该损失最小化的$x^*$的近似值。在这项工作中,我们提供:(i)证明了对于一般单调损失函数,存在没有小于$n=|P|$的余集的集合的下界。(ii)一个证明,在一个自然的假设下,例如逻辑回归和S形激活函数,一个小coreset存在于\emph{any}输入$P$。(iii)一个通用的coreset建设算法,计算这样一个小coreset $Q$在$O(nd+n\log n)$的时间,和(iv)实验结果表明,我们的coresets是有效的,在实践中比理论预测小得多。
2021-12-23 cs.DS cs.LG
Secure multi-party linear regression at plaintext speed
Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学博德研究所)
我们详细介绍了分布式算法的可扩展性,安全的多方线性回归和特征选择在基本上相同的速度作为明文回归。虽然核心的几何思想很简单,但认识到它们在组合时的广泛用途是新颖的。我们的方案为跨多个生物库的高效和安全的全基因组关联研究打开了大门。
2019-07-10 cs.CR cs.LG stat.ML
Learning Scalable Structural Representations for Link Prediction with Bloom Signatures
Rice University(Rice大学);Purdue University(Purdue大学)
针对现有图神经网络链接预测表达不足、边级模型扩展性差的问题,提出融入Bloom签名的GNN结构链接表示方法,兼具强表达力与高扩展性,在基准上性能优异且推理速度提升显著。
2023-12-28 cs.LG cs.SI
Scalable Hybrid Classification-Regression Solution for High-Frequency Nonintrusive Load Monitoring
National Renewable Energy Laboratory(国家可再生能源实验室);Enphase(恩相);University of Minnesota(明尼苏达大学)
具有监测和控制其净负荷(负荷和发电量之和)能力的住宅建筑可以为电网运营商提供宝贵的灵活性。我们提出了一种新的多类非侵入式负载监测(NILM)的方法,使有效的净负载监测功能,在高频率,最小的额外设备和成本。所提出的基于机器学习的解决方案提供了准确的多类状态预测,同时以更快的时间尺度运行(能够为美国电网中使用的每个60 Hz交流周期提供预测),而不依赖于事件检测技术。我们还介绍了一种创新的混合分类回归方法,不仅允许通过分类预测负载的开/关状态,还可以通过回归预测单个负载的工作功率水平。一个测试床与八个住宅电器用于验证NILM的方法。实验结果表明,该方法具有较高的精度,良好的尺度和泛化能力。此外,该方法被证明有足够的响应时间(在160毫秒内,对应于10个交流周期),以支持建设电网互动控制在快速的时间尺度相关的电网频率支持服务的提供。
2022-08-22 cs.LG cs.SY eess.SY
Scalable Variational Bayesian Kernel Selection for Sparse Gaussian Process Regression
National University of Singapore(新加坡国立大学);Shenzhen University(深圳大学)
针对稀疏高斯过程回归(SGPR)模型,提出了一种变分贝叶斯核选择(VBKS)算法。与现有的GP核选择算法,旨在选择只有一个内核与最高的模型证据相比,我们提出的VBKS算法认为内核作为一个随机变量,并从数据中学习它的信念,使内核的不确定性可以解释和利用,以避免过于自信的GP预测。为了实现这一点,我们将概率核表示为SGPR模型的变分推理(VI)框架中的附加变分变量,其中其后验信念与其他变分变量的后验信念一起学习(即,诱导变量和内核超参数)。特别是,我们通过重新参数化将离散的核信念转换为连续的参数分布,以便应用VI。虽然它是计算上的挑战,以共同优化大量的超参数,由于许多内核同时评估我们的VBKS算法,我们表明,变分下限的对数边际似然可以分解成一个附加的形式,使每个附加项只依赖于一个不相交的子集的变分变量,因此可以独立优化。然后使用随机优化来最大化变分下限,通过随机梯度上升迭代地改进精确后验信念的变分近似,这导致每次迭代的时间恒定,因此可以扩展到大数据。我们经验性地评估我们的VBKS算法在合成和大量真实世界数据集上的性能。
2019-12-05 cs.LG stat.ML
On Consistency of Signature Using Lasso
UC Berkeley Department of Industrial Engineering and Operations Research(伯克利大学工业工程与运筹学系);Peking University School of Mathematical Sciences and Laboratory for Mathematical Economics and Quantitative Finance(北京大学数学科学学院及数学经济学与量化金融实验室);Peking University School of Mathematical Sciences, Center for Statistical Science, National Engineering Laboratory for Big Data Analysis and Applications, and Laboratory for Mathematical Economics and Quantitative Finance(北京大学数学科学学院、统计科学中心、大数据分析与应用国家工程实验室及数学经济学与量化金融实验室);MIT Sloan School of Management and Laboratory for Financial Engineering(麻省理工学院斯隆管理学院及金融工程实验室)
本文研究了使用Lasso回归的签名一致性,理论和数值分析表明,Lasso在有限样本和渐近情况下的一致性取决于时间序列过程与布朗运动的接近程度及维度相关性。
2026-03-22 cs.LG math.ST stat.AP
Scaling Gaussian Process Regression with Full Derivative Observations
Base26
DSoftKI通过局部温度向量改进插值方案,实现可扩展的高斯过程回归,支持一阶和二阶导数的近似,适用于高维分子力场预测。
2026-02-02 cs.LG stat.ML
Likelihood-Free Gaussian Process for Regression
本文提出无似然高斯过程(LFGP)框架,通过聚类和最大似然估计量的渐近正态性,在无需直接设定似然函数的情况下表示兴趣参数的后验分布,从而减少概率模型假设并降低可扩展问题的计算成本。
2025-07-19 cs.LG stat.ML
Scalable Cox Regression via Grouped Risk Sets and Sharper LogSumExp Rates
HSE University(高等经济大学)
针对大规模Cox回归的计算挑战,提出基于分组风险集和softplus替代的随机优化方法,获得更优收敛速率,并保持渐近分布匹配,实验验证性能优越。
2026-10-01 cs.LG math.OC
Scalable Bid Landscape Forecasting in Real-time Bidding
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Adobe Research(Adobe研究院);Adobe Advertising Cloud(Adobe广告云)
在程序化广告中,广告位通常使用第二价格(SP)拍卖实时的【形】出售。出价最高的广告客户获胜,但只支付第二高的出价(称为获胜价格)。在SP中,对于单个项目,每个投标人的主导策略是从投标人的角度出价的真实价值。然而,在一个实际的设置,与预算限制,投标的真实价值是一个次优策略。因此,为了设计最优的投标策略,准确地了解中标价格的分布是至关重要的。此外,一个代表广告商投标的需求方平台(DSP),如果它赢得了拍卖,它会观察获胜价格。对于失败的拍卖,DSP只能将其投标价格视为未知获胜价格的下限。在文献中,通常使用删失回归来对此类部分观测数据进行建模。删失回归中的一个常见假设是,获胜价格来自固定方差(同方差)单峰分布(通常是高斯分布)。然而,在现实中,这些假设往往被违反。我们放松这些假设,并提出了异方差全参数删失回归方法,以及一个混合密度删失网络。我们的方法不仅推广了删失回归,而且还提供了灵活性,任意分布的真实世界的数据建模。在公开的中标价格估计数据集上的实验结果表明了该方法的有效性。此外,我们评估我们的算法在一个最大的需求方平台和显着的改善已经取得了比较基线的解决方案。
2020-01-18 cs.GT cs.LG stat.ML
Scalable Kernel Logistic Regression with Nyström Approximation: Theoretical Analysis and Application to Discrete Choice Modelling
University of Castilla-La Mancha(卡斯蒂利亚-拉曼恰大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
针对核机器学习技术在大型离散选择建模中面临的可扩展性挑战,本文提出Nyström近似的核逻辑回归方法,通过理论分析与计算验证,证明其能高效处理超20万观测值的数据集且性能稳健。
2024-12-02 cs.LG stat.ML
Quasi-Bayesian Dual Instrumental Variable Regression
Tsinghua University(清华大学);UT Austin(得克萨斯大学奥斯汀分校)
近年来,人们对采用灵活的机器学习模型进行工具变量(IV)回归的兴趣激增,但仍然缺乏不确定性量化方法的发展。在这项工作中,我们提出了一种新的准贝叶斯程序IV回归,建立在最近开发的核IV模型和双重/极大极小IV回归制定。通过建立$L_2$和Sobolev范数下的minimax最优收缩率,分析了该方法的频率论行为,并讨论了可信球的频率论有效性.我们进一步推导出一个可扩展的推理算法,可以扩展到广泛的神经网络模型。实证评估表明,我们的方法产生信息的不确定性估计复杂的高维问题。
2021-11-03 cs.LG stat.ML
Scalable Multi-Task Gaussian Processes with Neural Embedding of Coregionalization
Dalian University of Technology(大连理工大学)
多任务回归试图利用任务的相似性,以实现相关任务之间的知识转移,以提高绩效。高斯过程(GP)在这种情况下的应用程序产生的非参数,但信息贝叶斯多任务回归范例。多任务GP(MTGP)不仅提供了预测均值,而且还提供了相关的预测方差来量化不确定性,因此在各种场景中越来越受欢迎。协同区域化的线性模型(LMC)是一种著名的MTGP范式,它通过线性组合多个独立的、不同的GP来利用任务的依赖性。然而,LMC在处理复杂的多任务情况时,模型复杂度高,模型能力有限。为此,我们开发了共区域化的神经嵌入,将潜在的GP转换为高维潜在空间,以诱导丰富而多样的行为。此外,我们使用先进的变分推断以及稀疏近似设计一个紧密和紧凑的证据下限(ELBO)更高质量的可扩展模型推理。大量的数值实验已经进行了验证,我们的模型,命名为NSVLMC,在各种现实世界的多任务数据集和非稳态流化床的跨流体建模更高的预测质量和更好的泛化。
2021-09-20 cs.LG stat.ML
Uncertainty separation via ensemble quantile regression
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出一种基于分位数回归模型集成(E-QR)的可扩展框架,通过渐进采样算法迭代改进偶然与认知不确定性的分离,在大型数据集和合成基准上超越Deep Ensembles和MC dropout等方法。
2024-12-18 cs.AI cs.CE cs.LG
Scalable Signature Kernel Computations for Long Time Series via Local Neumann Series Expansions
Seminar for Applied Mathematics & AI Center ETH Zurich(应用数学与人工智能中心,苏黎世联邦理工学院);Department of Mathematics Technical University of Munich(数学系,慕尼黑技术大学);Department of Mathematics RWTH Aachen University(数学系,亚琛工业大学)
针对签名核计算长时序数据时的效率问题,本文基于Goursat PDE解特征提出自适应截断递归局部Neumann级数展开方法,实现精度与成本平衡,大幅降低内存需求并支持单GPU处理百万级数据点,性能优于现有方法。
2025-11-11 cs.LG cs.NA math.AP
Scalable Membership Inference Attacks via Quantile Regression
Amazon AWS AI/ML(亚马逊AWS人工智能与机器学习);University of Pennsylvania(宾夕法尼亚大学);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于分位数回归的成员推理攻击方法,仅需训练一个模型即可达到与影子模型攻击相当的效果,同时无需知道被攻击模型架构,显著降低了计算成本并实现真正的黑盒攻击。
2023-07-07 cs.AI cs.CR cs.LG
A Factor Graph Approach to Scalable Multi-Output Gaussian Process Regression
Eindhoven University of Technology(埃因霍温理工大学);Lazy Dynamics B.V.(拉齐动力公司)
该研究提出一种因子图方法实现可扩展多输出高斯过程回归,通过链上高斯消息传递降低计算成本,在低输入维度任务中性能接近精确方法,在电力时间序列预测中兼具准确率与线性扩展性。
2026-08-20 cs.LG
FePySR: A Neural Feature Extraction Framework for Efficient and Scalable Symbolic Regression
School of Mathematical Sciences, Zhejiang University, Hangzhou, Zhejiang, China(浙江大学数学科学学院,杭州,浙江,中国);Faculty of Medicine and Health Technology, Tampere University, Tampere, Finland(塔尔库大学医学与健康技术学院,塔尔库,芬兰)
FePySR通过神经网络提取有效特征,优化符号回归搜索空间,提升方程恢复率和计算效率,适用于复杂科学领域。
2026-05-12 cs.AI cs.LG cs.SC
Extracting latent representations from X-ray spectra. Classification, regression, and accretion signatures of Chandra sources
Department of Electronics, Information;Center for Astrophysics Harvard \& Smithsonian, 60 Garden Street, Cambridge, MA 02138, USA
本文利用深度学习从Chandra X射线光谱中提取紧凑且物理意义明确的表示,通过分类、回归和可解释性分析验证其有效性,并测量光谱与时间域属性间的互信息,用于未来识别暂现事件。
2026-05-17 astro-ph.IM cs.AI cs.LG