Fast Gaussian Process Regression for Big Data
Chennai Mathematical Institute(金奈数学研究所);Indian Statistical Institute(印度统计研究所)
高斯过程广泛用于回归任务。高斯过程应用于回归任务的一个已知限制是解的计算需要执行矩阵求逆。该解决方案还需要在存储器中存储大型矩阵。这些因素限制了高斯过程回归在中小规模数据集上的应用。我们提出了一种算法,结合使用的方式类似的引导获得的数据的子集开发的模型的估计。样本量是该算法的关键参数。在详细的实验研究的基础上,为算法参数的合理选择提供了指导。已经提出了各种技术来将高斯过程扩展到大规模回归任务。最合适的选择取决于问题的上下文。所提出的方法是最适合的问题,其中添加剂模型工作良好,响应依赖于少量的功能。这种问题的极小极大收敛速度是有吸引力的,我们可以用一小部分数据建立有效的模型。随机变分高斯过程和稀疏高斯过程也是这类问题的合适选择。这些方法基于理论考虑选择数据的子集。该算法使用装袋和随机抽样。作为本研究的一部分进行的实验结果表明,在这项工作中提出的算法可以作为有效的这些方法。模型堆叠可用于将用所提出的方法开发的模型与来自用于大规模回归的其他方法(例如梯度提升树)的模型相结合。这可以产生性能增益。
2017-08-19 cs.LG stat.ML
Distributed Variational Inference in Sparse Gaussian Process Regression and Latent Variable Models
University of Cambridge(剑桥大学)
高斯过程(GP)是函数概率推理的有力工具。它们已被应用于回归和非线性降维,并提供理想的属性,如不确定性估计,过拟合的鲁棒性,以及调整超参数的原则性方法。然而,这些模型对大数据集的可扩展性仍然是一个活跃的研究课题。我们介绍了一种新的重新参数化的变分推断稀疏GP回归和潜变量模型,允许一个有效的分布式算法。这是通过利用给定诱导点的数据解耦来重新制定Map-Reduce设置中的证据下限来完成的。我们表明,推理规模以及数据和计算资源,同时保持平衡的节点之间的负载分布。我们进一步展示了将高斯过程扩展到大数据的实用性。我们表明,GP的性能随着回归(200万记录的飞行数据)和潜变量建模(MNIST)中数据量的增加而提高。结果表明,GP的表现优于许多常用于大数据的常见模型。
2014-09-29 cs.LG stat.ML
Convex Relaxation Regression: Black-Box Optimization of Smooth Functions by Learning Their Convex Envelopes
Northwestern University(西北大学)
寻找有效且可证明的方法来解决非凸优化问题是机器学习和优化理论中的一个突出挑战。用于解决非凸问题的一种流行方法是使用凸松弛技术来寻找问题的凸替代。不幸的是,凸松弛通常必须在逐个问题的基础上找到。因此,提供一种通用的策略来估计凸松弛将具有广泛的影响。在这里,我们介绍凸松弛回归(CoRR),一种学习一类光滑函数凸松弛的方法。我们的方法背后的主要思想是通过在一组$T$随机点处评估$f$,然后将凸函数拟合到这些函数评估来估计函数$f$的凸包络。我们证明了在概率大于$1-δ$的情况下,对于某些$α> 0$,算法的解收敛到$f$的全局最优解,且误差为$\mathcal{O} \Big( \big(\frac{\log(1/δ) }{T} \big)^α \Big)$.我们的方法使使用凸优化工具来解决一类非凸优化问题。
2016-03-03 cs.LG stat.ML
Learning Theory of Distributed Regression with Bias Corrected Regularization Kernel Network
Zhejiang University(浙江大学);Fudan University(复旦大学);Middle Tennessee State University(中田纳西州立大学)
分布式学习是分析大数据的有效方法。在分布式回归中,一种典型的方法是将大数据划分为多个块,对每个块应用基本回归算法,然后简单地对从这些块中学习的输出函数进行平均。由于平均过程将减少方差,而不是偏差,如果基本回归算法是有偏的,则偏差校正有望改善学习性能。正则化核网络是非线性回归分析的一种有效且广泛应用的方法。在本文中,我们将研究正则化核网络的偏差校正版本。当它被应用到一个单一的数据集,当它被应用为分布式回归的基本算法,我们推导出的误差界。我们表明,在某些适当的条件下,最佳的学习率可以达到在这两种情况下。
2017-08-07 cs.LG stat.ML
Parallel Gaussian Process Regression for Big Data: Low-Rank Representation Meets Markov Approximation
National University of Singapore(新加坡国立大学);Singapore-MIT Alliance for Research and Technology(新加坡-麻省理工学院研究与技术联盟);Massachusetts Institute of Technology(麻省理工学院)
高斯过程(GP)模型的表达能力是以数据大小的可伸缩性差为代价的。为了提高其可扩展性,本文提出了一种低秩和马尔可夫近似(LMA)的GP模型,这是新颖的,利用双重计算优势,来自补充的低秩近似表示的满秩GP的基础上的支持集的输入与马尔可夫近似的结果产生的残差过程;后一种近似在受到某种约束的Kullback-Leibler距离准则中保证是最接近的,并且比利用低-秩表示由于其更宽松的条件独立性假设(特别是对于较大的数据)。因此,我们的LMA方法可以在支持集的大小和马尔可夫性的阶数之间进行权衡,以(a)产生比这种稀疏GP模型更低的计算成本,同时实现与它们相当的预测性能,以及(b)准确地表示任何尺度的特征/模式。有趣的是,改变马尔可夫阶数会产生一个在两个极端具有PIC近似和满秩GP的LMA谱。我们的LMA方法的一个优点是,它是服从多个机器/核心上的并行化,从而获得更大的可扩展性。在多达32个计算节点的集群中对三个真实世界数据集的实证评估表明,我们的集中式和并行LMA方法比最先进的稀疏和满秩GP回归方法具有更高的时间效率和可扩展性,同时实现了相当的预测性能。
2014-11-17 cs.DC cs.LG stat.ML
Outlier detection in regression: conic quadratic formulations
University of Southern California(南加州大学);Télécom SudParis(南巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
针对线性回归异常值检测中含二元变量与二次项乘积的混合整数优化问题,提出不含 big-M 约束的更强二阶锥松弛公式,计算速度较现有方法快数个数量级。
2023-07-12 cs.LG math.OC stat.ME
Anchor-MoE: A Mean-Anchored Mixture of Experts For Probabilistic Regression
Institut Polytechnique de Paris(巴黎理工学院);Linkconn Electronics Co., Ltd(联康电子有限公司)
本文提出Anchor-MoE模型,以任意点回归器的预测为锚定均值,通过可学习度量窗口核和软路由器将样本分派给混合密度网络专家进行异方差校正,在理论上达到极小极大最优L²风险速率,并在UCI回归基准上取得领先的概率回归性能。
2025-08-22 cs.LG
Federated Learning From Big Data Over Networks
Aalto University(阿尔托大学)
本文提出并研究了一种新的基于局部数据集的联邦学习算法。该算法利用了一个内在的网络结构,通过一个无向的“经验”图的本地数据集。我们使用网络线性回归模型对网络上的大数据进行建模。每个局部数据集都有单独的回归权重。局部数据集的紧密子集合的权重被强制为仅略微偏离。这自然会导致网络套索问题,我们使用原始-对偶方法解决这个问题。我们得到一个分布式的联邦学习算法通过消息传递实现这种原始-对偶方法。我们提供了一个详细的分析所产生的联邦学习算法的统计和计算特性。
2020-10-27 cs.LG
Differentially Private Sparse Linear Regression with Heavy-tailed Responses
Provable Responsible AI and Data Analytics (PRADA) Lab(可证明责任AI与数据分析实验室);King Abdullah University of Science and Technology(卡布斯科学技术大学);Utrecht University(乌得勒支大学);University at Buffalo(布法罗大学);Technical University Berlin(柏林技术大学)
本文研究高维重尾响应下的差分隐私稀疏线性回归,提出基于Huber损失与私有迭代硬阈值的DP-IHT-H和DP-IHT-L,改进误差界并在合成及真实数据上验证优势。
2025-06-07 cs.CR cs.LG
Meta-learning for mixed linear regression
University of Washington(华盛顿大学);Princeton University(普林斯顿大学);Institute for Advanced Study(高等研究院)
在现代监督学习中,存在大量的任务,但其中许多任务只与少量的标记数据相关联。这些包括来自医学图像处理和机器人交互的数据。尽管每个任务都不能孤立地进行有意义的训练,但人们试图通过利用一些相似之处,从过去的经验中跨任务进行元学习。我们研究一个基本的问题:什么时候小数据的丰富任务可以弥补大数据任务的不足?我们专注于一个典型的情况下,每个任务是从混合物的$k$线性回归,并确定充分的条件,这样一个优雅的交换举行,只有小数据任务所需的例子的总数规模类似于当大数据任务可用。为此,我们引入了一种新的光谱方法,并表明,我们可以有效地利用小数据任务的帮助下,$\tildeΩ(k^{3/2})$中等数据任务的$\tildeΩ(k^{1/2})$的例子。
2020-02-20 cs.LG stat.ML
Optimize TSK Fuzzy Systems for Regression Problems: Mini-Batch Gradient Descent with Regularization, DropRule and AdaBound (MBGD-RDA)
Huazhong University of Science and Technology(华中科技大学)
Takagi-Sugeno-Kang(TSK)模糊系统是解决回归问题的非常有用的机器学习模型。然而,据我们所知,目前还没有一种有效的训练算法来确保它们的泛化性能,并使它们能够处理大数据。受TSK模糊系统和神经网络之间联系的启发,我们扩展了三种强大的神经网络优化技术,即,小批量梯度下降,正则化,AdaBound,TSK模糊系统,并提出了三种新的技术(DropRule,DropMF,和DropMembership)专门用于训练TSK模糊系统。我们的最终算法,mini-batch梯度下降正则化,DropRule和AdaBound(MBGD-RDA),可以实现快速收敛训练TSK模糊系统,并在测试中也具有优越的泛化性能。它可以用于在任何大小的数据集上训练TSK模糊系统;然而,它对大数据集特别有用,目前还没有其他有效的训练算法存在。
2019-12-01 cs.AI cs.LG cs.NE
Localized Linear Regression in Networked Data
Aalto University(阿尔托大学)
网络Lasso(nLasso)最近被提出作为用于大规模网络数据集(网络上的大数据)的有效学习算法。它将著名的最小绝对收缩和选择算子(Lasso)从学习稀疏(广义)线性模型扩展到网络模型。nLasso的高效实现已经使用凸优化方法获得,从而提供可扩展的消息传递协议。在本文中,我们分析了nLasso应用于涉及网络数据的局部线性回归问题时的统计特性。我们的主要结果是一个关于网络结构和可用标签信息的充分条件,使得nLasso可以从一些标记的数据点中准确地学习局部线性回归模型。我们还提供了一个本地化线性回归的nLasso的实现,专门用于解决凸(非光滑)nLasso问题的原始对偶方法。
2019-05-21 cs.LG stat.ML
Efficient and robust high-dimensional sparse logistic regression via nonlinear primal-dual hybrid gradient algorithms
逻辑斯谛回归是一种广泛使用的统计模型,用于描述数据集中二元响应变量和预测变量之间的关系。它通常用于机器学习,以识别重要的预测变量。这个任务,变量选择,通常相当于拟合由$\ell_1$和$\ell_{2}^{2}$惩罚的凸组合正则化的逻辑斯谛回归模型。由于现代大数据集可能包含数十万到数十亿个预测变量,因此变量选择方法依赖于高效和强大的优化算法来执行。然而,最先进的变量选择算法传统上并不是为了处理大数据集而设计的;它们要么规模很小,要么容易产生不可靠的数值结果。因此,在无法获得足够且昂贵的计算资源的情况下对大数据集执行变量选择仍然具有挑战性。在本文中,我们提出了一个非线性的原始对偶法,解决这些缺点。具体而言,我们提出了一种迭代算法,可证明计算的解决方案,逻辑斯谛回归问题的正则化弹性净罚款在$O(T(m,n)\log(1/ε))$操作,其中$ε\in (0,1)$表示的公差和$T(m,n)$表示的算术运算的数量与$m$样本,每个包括$n$功能的数据集上执行矩阵向量乘法。这一结果改善了一阶优化方法,如经典的原始-对偶混合梯度或向前-向后分裂方法的$O(\min(m^2n,mn^2)\log(1/ε))$的已知复杂性界。
2021-12-28 cs.LG math.OC
Mixtures of Gaussian Processes for regression under multiple prior distributions
Otto-Friedrich-University(奥托-弗里德里希大学)
在构建贝叶斯机器学习模型时,我们可能会面临多个不同的先验分布,因此需要在模型中以合理的方式适当考虑它们。虽然这种情况在经典贝叶斯统计中得到了很好的探索,但对于复杂的机器学习问题,开发相应的方法似乎很有用。考虑到它们的基本贝叶斯框架及其广泛的流行性,高斯过程是解决这一任务的良好候选者。因此,我们扩展了高斯过程回归的混合模型的思想,以便同时处理多个先验信念-分析回归公式和稀疏变分方法都被考虑。此外,我们考虑使用我们的方法,另外占功能回归问题中的先验误指定的问题。
2021-04-19 cs.LG stat.ML
Distributed and parallel time series feature extraction for industrial big data applications
Blue Yonder GmbH(Blue Yonder公司);University of Auckland(奥克兰大学);University of Freiburg(弗莱堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
特征选择的全相关问题是所有强相关和弱相关属性的识别。这个问题对于工业应用中的时间序列分类和回归特别难以解决,例如预测性维护或生产线优化,对于这些应用,每个标签或回归目标同时与多个时间序列和元信息相关联。在这里,我们提出了一个有效的,可扩展的特征提取算法的时间序列,过滤可用的功能在早期阶段的机器学习管道相对于其重要性的分类或回归任务,同时控制预期的百分比选择,但不相关的功能。该算法结合了已建立的特征提取方法与特征重要性过滤器。它具有低的计算复杂性,允许开始一个问题,只有有限的领域知识可用,可以trivially并行化,是高度可扩展的,并基于充分研究的非参数假设检验。我们基准我们提出的算法上的所有二进制分类问题的UCR时间序列分类存档,以及时间序列从生产线优化项目和模拟随机过程与潜在的定性变化的动态。
2017-05-19 cs.LG
Data-driven formulation of natural laws by recursive-LASSO-based symbolic regression
NEC Corporation(日本电气株式会社);National Institute of Advanced Industrial Science and Technology (AIST)(日本国立研究开发法人产业技术综合研究所)
长期以来,新的自然规律的发现一直依赖于某些天才的灵感。然而,最近,机器学习技术在没有人类偏见和偏见的情况下分析大数据,有望发现新的自然规律。在这里,我们证明了我们提出的机器学习,基于递归LASSO的符号(RLS)回归,使数据驱动的自然规律从噪声数据的制定。RLS回归循环重复特征生成和特征选择,最终构建具有高度非线性特征的数据驱动模型。这种数据驱动的公式化方法具有很强的通用性,因此可以在各个科学领域发现新的规律。
2021-02-18 cs.LG physics.data-an stat.ML
Random Forests for Big Data
INRIA(法国国家信息与自动化研究所);INSERM(法国国家健康与医学研究院);Univ. Bordeaux(波尔多大学);Univ. Paris-Sud Orsay(巴黎第十一大学);Univ. Paris Descartes(巴黎第五大学);Université Côte d’Azur(蔚蓝海岸大学);CNRS(法国国家科学研究中心);Université de Toulouse(图卢兹大学);INRA(法国国家农业研究院)
大数据是统计科学的主要挑战之一,从算法和理论角度来看,它有许多后果。大数据总是涉及大量数据,但它们也经常包括在线数据和数据异构性。最近,一些统计方法已被用于处理大数据,如线性回归模型,聚类方法和自举方案。基于决策树结合聚合和自助思想,随机森林是由Breiman在2001年提出的。它们是一种功能强大的非参数统计方法,可以在单一和通用的框架中考虑回归问题,以及两类和多类分类问题。聚焦于分类问题,本文提出了一个有选择性的审查现有的建议,处理大数据问题的随机森林扩展。这些建议依赖于并行环境或随机森林的在线适应。我们还描述了如何相关的数量-如出袋错误和变量的重要性-在这些方法中得到解决。然后,我们在大数据背景下为随机森林制定了各种注释。最后,我们在两个大规模数据集(1500万和1.2亿个观测值)上试验了五种变体,一个是模拟数据集,另一个是真实世界数据集。一个变体依赖于子采样,而其他三个变体与随机森林的并行实现有关,并且涉及对大数据的自举或“分而治之”方法的各种适应。第五个变体涉及随机森林的在线学习。这些数值实验突出了不同变体的相对性能,以及它们的一些局限性。
2017-03-22 cs.LG math.ST stat.ML
Classifying variety of customer's online engagement for churn prediction with mixed-penalty logistic regression
利用大数据分析消费者行为可以为客户关系管理(CRM)中防止客户流失(流失)提供有效的决策工具。关注具有影响客户异质性的几种不同类别因素的CRM数据集(即,自助服务渠道的使用、服务持续时间和对营销行动的响应),我们提供了基于机器学习方法的客户流失率的新预测分析,该方法通过添加混合惩罚项来增强逻辑斯谛回归的分类。提出的惩罚性逻辑斯谛回归可以防止处理大数据时的过拟合,并在平衡中位数(绝对值)和均值(平方值)正则化的成本时最小化损失函数。我们展示了所提出的方法的分析特性及其在本研究中的计算优势。此外,我们研究了所提出的方法的性能与CRM数据集(具有大量的功能)在不同的设置下,有效地消除干扰(1)最不重要的功能和(2)敏感性从少数(流失)类。我们的实证结果证实了所提出的方法的预期性能完全符合常见的分类标准(即,准确度、精确度和召回率)来评估机器学习方法。
2021-07-13 cs.LG econ.EM stat.ML
Feature Selection with Annealing for Computer Vision and Big Data Learning
Florida State University(佛罗里达州立大学)
许多计算机视觉和医学成像问题都面临着从大规模数据集中学习的问题,这些数据集包含数百万个观察和特征。在本文中,我们提出了一种新的有效的学习计划,收紧稀疏性约束逐步删除变量的基础上的标准和时间表。在整个迭代过程中,问题大小不断下降,这一有吸引力的事实使其特别适合大数据学习。我们的方法一般适用于任何可微损失函数的优化,并发现在回归,分类和排名的应用。由此产生的算法建立变量筛选到估计,是非常简单的实现。我们提供了理论保证的收敛性和选择的一致性。此外,一维分段线性响应函数被用来考虑非线性和二阶先验施加在这些功能,以避免过拟合。在真实数据和合成数据上的实验表明,该方法在回归、分类和排序等方面与其他方法相比具有很好的性能,同时计算效率高,可扩展性好。
2016-03-17 cs.CV cs.LG math.ST
Efficient Multiple Incremental Computation for Kernel Ridge Regression with Bayesian Uncertainty Modeling
Monash University(莫纳什大学);Chungang University(中央大学)
这项研究提出了一种基于核岭回归(KRR)的大数据流的有效增量/减量方法,KRR是云中心常用的数据分析方法。为了避免在传感器接收到新的训练数据时重新分析整个数据集,典型的增量KRR使用单实例机制来更新现有系统。然而,这不可避免地增加了冗余的计算时间,更不用说对大数据流的适用性。为此,所提出的机制支持针对单个和多个样本的增量/减量处理(即,批处理)。大规模的数据可以分成批次,由机器处理,而不会牺牲准确性。此外,在本研究中还提出了经验和内在空间的增量/减量分析,以处理不同类型的数据,无论是大量的样本或高特征维度,而典型的方法只集中在一种类型。在这项研究的最后,我们进一步提出的机制,统计核贝叶斯回归,使不确定性建模与增量/减量计算变得适用。实验结果表明,该方法的计算时间明显缩短,优于原有的非增量设计和典型的单增量方法。此外,拟议方法的准确性与基线相同。这意味着该系统在不牺牲精度的情况下提高了效率。这些结果证明了所提出的方法适用于可变流数据分析,从而证明了所提出的方法的有效性。
2017-11-09 cs.LG stat.ML
Multiple functional regression with both discrete and continuous covariates
INRIA Lille - Nord Europe(法国国家信息与自动化研究所里尔-北欧研究中心);Université de Lille(里尔大学);Ecole Centrale de Lille(里尔中央理工学院);INSA de Rouen(鲁昂国立应用科学学院)
在本文中,我们提出了一个非参数方法扩展功能回归方法的情况下,一个以上的功能协变量被用来预测功能反应。借用Kadri et al.(2010 a)的思想,该方法支持混合离散和连续解释变量,基于借助于正算子值核估计再生核希尔伯特空间中的函数值函数。
2013-01-12 cs.LG stat.ML
Cross-Paradigm Knowledge Distillation: A Comprehensive Study of Bidirectional Transfer Between Random Forests and Deep Neural Networks for Big Data Applications
BrightMind AI Research(BrightMind AI研究院)
本文研究了随机森林与深度神经网络之间双向知识蒸馏,提出了新的方法,通过144次实验展示了双向RF-DL蒸馏在分类和回归任务中的竞争力,同时提供了可解释性和表达性的互补优势。
2026-05-19 cs.LG
Statistique et Big Data Analytics; Volumétrie, L'Attaque des Clones
Université de Toulouse – INSA(图卢兹大学-INSA);INRA(法国国家农业研究院)
本文假设获得了统计学家在无监督(NMF,k-means,SVD)和监督学习(回归,CART,随机森林)方面的技能和专业知识。统计学家必须掌握哪些技能和知识才能达到大数据的“卷”规模?在快速概述了可用的不同策略,特别是Hadoop施加的策略之后,概述了一些可用学习方法的算法,以了解它们如何适应Map-Reduce功能的强大压力
2014-10-05 cs.LG math.ST stat.OT
Evaluation of Tree Based Regression over Multiple Linear Regression for Non-normally Distributed Data in Battery Performance
电池性能数据集通常是非正态和多重共线性的。外推这些数据集进行模型预测需要注意这些特征。本研究探讨了数据正态性对构建机器学习模型的影响。在这项工作中,基于树的回归模型和多元线性回归模型分别建立了一个高度偏斜的非正态数据集与多重共线性和比较。有几种技术是必要的,如数据转换,以实现一个良好的多元线性回归模型与此数据集,最有用的技术进行了讨论。使用这些技术,最佳多元线性回归模型达到了R^2 = 81.23%,并且对于本研究中使用的数据集没有表现出多重共线性效应。基于树的模型在此数据集上表现更好,因为它们是非参数的,能够处理变量之间的复杂关系,并且不受多重共线性的影响。我们表明,装袋,在使用随机森林,减少过拟合。我们最好的基于树的模型达到了R^2 = 97.73%的准确率。这项研究解释了为什么基于树的回归承诺作为一个机器学习模型的非正态分布,多共线性数据。
2021-11-03 cs.AI cs.LG
Multiple Kernel Clustering via Local Regression Integration
本文提出多核局部回归聚类方法CMKLR,通过构建并聚合各候选核的局部回归稀疏系数来刻画流形结构并提升鲁棒性,在基准数据集上优于10种现有多核聚类方法。
2024-10-20 cs.LG
Differentially-Private Logistic Regression for Detecting Multiple-SNP Association in GWAS Databases
Carnegie Mellon University(卡内基梅隆大学);Institute of Science and Technology Austria(奥地利科学技术研究所)
在霍默等人发表了对全基因组关联研究(GWAS)数据的攻击之后,已经对开发用于以隐私保护方式发布GWAS数据的方法给予了相当大的关注。在这里,我们开发了一种端到端的差分私有方法,用于解决具有凸罚函数的回归问题,并通过交叉验证选择罚参数。特别是,我们专注于惩罚逻辑斯谛回归与弹性网络正则化,一种广泛用于GWAS分析,以确定致病基因的方法。我们展示了如何将弹性网络正则化惩罚逻辑斯谛回归的差分私有程序应用于GWAS数据的分析并评估我们的方法的性能。
2014-07-30 cs.LG stat.AP stat.ML
Local Uncertainty Sampling for Large-Scale Multi-Class Logistic Regression
Tencent AI Lab(腾讯人工智能实验室);University of Minnesota(明尼苏达大学);Rutgers University(罗格斯大学)
大数据时代构建统计模型的一大挑战是可用数据量远远超过计算能力。解决这个问题的一种常见方法是采用可以由可用计算资源处理的二次采样数据集。在本文中,我们提出了一个一般的子抽样方案的大规模多类逻辑斯谛回归和检查所得的估计量的方差。我们表明,渐近,所提出的方法总是实现一个较小的方差比均匀随机抽样。此外,当类是有条件的不平衡,显着改善均匀采样可以实现。在模拟和真实数据集上将该方法的经验性能与其他方法进行了比较,这些结果与我们的理论分析相匹配并证实了我们的理论分析。
2018-09-13 cs.LG stat.CO stat.ML
Real-Time Regression with Dividing Local Gaussian Processes
Technical University of Munich(慕尼黑工业大学);Tecnológico de Costa Rica(哥斯达黎加理工学院);FRANKA EMIKA GmbH(弗兰卡埃米卡有限公司);Peking University(北京大学)
对在线预测的需求增加以及大型数据集的可用性不断增长,推动了对计算效率高的模型的需求。虽然精确高斯过程回归显示出各种有利的理论性质(不确定性估计、无限的表达能力),但相对于训练集大小的差的缩放限制了其在大数据制度中的实时的【形】应用。因此,本文提出了划分局部高斯过程,这是一种新的,计算效率高的建模方法的基础上高斯过程回归。由于输入空间的迭代、数据驱动的划分,它们在实践中实现了训练点总数的次线性计算复杂性,同时提供了出色的预测分布。对真实数据集的数值评估表明,它们在准确性以及预测和更新速度方面优于其他最先进的方法。
2021-07-30 cs.LG cs.RO stat.ML
Adversarial Regression with Multiple Learners
Vanderbilt University(范德堡大学);Amherst College(阿默斯特学院)
尽管机器学习技术在实践中取得了相当大的成功,但许多研究表明,许多方法容易受到攻击。此类攻击的一个重要类别涉及攻击者在测试时更改功能以导致错误的预测。以前对这个问题的研究让一个学习者与一个对手对抗。然而,在许多情况下,对手的决定是针对一个学习者的集合,而不是专门针对每个独立的。我们研究了多个学习者的对抗线性回归问题。我们近似产生的游戏,表现出上界的学习损失函数,并表明,产生的游戏有一个独特的对称均衡。我们提出了一个算法来计算这个平衡,并通过大量的实验表明,平衡模型是显着更强大的比传统的正则化线性回归。
2018-06-06 cs.AI cs.LG cs.MA
Penalized Fair Regression for Multiple Groups in Chronic Kidney Disease
Department of Health Policy, Stanford University(健康政策系,斯坦福大学);Stanford University(斯坦福大学);Department of Epidemiology and Population Health, Stanford University(流行病学与人口健康系,斯坦福大学)
本文提出了一种针对多重群体慢性肾病的惩罚公平回归方法,通过优化公平性与准确性,提升了不同种族和民族群体在医疗决策中的公平性。
2026-10-23 cs.CY cs.LG stat.AP
Prediction of Hydraulic Blockage at Cross Drainage Structures using Regression Analysis
SMART Infrastructure Facility, University of Wollongong(卧龙岗大学SMART基础设施学院)
涵洞等交叉排水结构的水力堵塞被认为是引发城市山洪的主要因素之一。然而,由于缺乏洪水期间的数据和高度非线性的碎片相互作用,传统的水力堵塞模型是不可能的。本文提出了利用机器学习回归分析预测水力堵塞。相关数据已通过进行规模化的实验室研究和复制不同的堵塞情况收集。根据回归分析,人工神经网络(ANN)在水力堵塞预测中表现最好,其$R^2$为0.89。随着智能城市中液压传感器的部署以及大数据的可用性,回归分析可能有助于解决传统实验和水文方法难以解决的堵塞检测问题。
2021-03-06 cs.LG physics.geo-ph
PRIMO: Private Regression in Multiple Outcomes
Harvard Business School(哈佛商学院)
针对多结果私有回归场景中直接复用现有方法误差随任务数根号倍增长的问题,提出结合充分统计量扰动与几何投影的可扩展算法,实现大任务数下误差与任务数无关,且在多表型基因组风险预测任务中准确率优于无投影变体。
2025-01-15 cs.CR cs.LG
MLRM: A Multiple Linear Regression based Model for Average Temperature Prediction of A Day
National Sun Yat-sen University(国立中山大学);National Institute of Technology(国家理工学院)
天气是一种每天都会影响我们周围的一切和每个人的现象。几十年来,天气预报一直是一个重要的研究点,因为研究人员试图使用传统的气象技术来预测天气和气候变化。随着现代技术和计算能力的出现,我们可以在机器学习技术的帮助下做到这一点。我们的目标是预测天气的一个地区使用过去的气象数据和功能使用多元线性回归模型。对模型的性能进行了评价,并得出了结论。该模型能够成功地预测一天的平均温度,误差为2.8摄氏度。
2022-03-11 cs.LG
Big Data analytics. Three use cases with R, Python and Spark
Université de Toulouse – INSA(图卢兹大学 – INSA);Université de Toulouse – UT3(图卢兹大学 – UT3)
大数据的管理和分析系统地与Hadoop和现在的Spark框架中的数据分布式架构相关联。本文通过比较直接使用三种参考环境(R,Python Scikit-learn,Spark MLlib)在三个公共用例(字符识别,推荐电影,分类产品)上获得的性能,为统计学家介绍了这些技术。作为主要结果,似乎,如果Spark通过协同过滤(非负因子分解)非常有效地进行数据整理和推荐,那么MLlib或SparkML中的传统学习方法(逻辑斯谛回归,随机森林)的当前实现不会在集成或非分布式架构中与这些方法(R,Python Scikit-learn)的习惯使用竞争
2016-09-30 cs.LG stat.AP
Winning the Big Data Technologies Horizon Prize: Fast and reliable forecasting of electricity grid traffic by identification of recurrent fluctuations
Biofisika Institute (CSIC, UPV/EHU)(生物物理研究所(西班牙国家研究委员会、巴斯克大学));University of the Basque Country (UPV/EHU)(巴斯克大学);IKERBASQUE, Basque Foundation for Science(巴斯克科学基金会(IKERBASQUE))
本文描述了我在赢得欧盟大数据技术地平线奖时使用的方法和方法,该奖项是关于电网流量的数据驱动预测。该方法依赖于确定典型的短期经常性波动,随后通过波动回归法加以完善。还讨论了导致选择或放弃不同方法方面的关键点和战略考虑。这些准则包括对变化条件的适应性、对异常值和缺失数据的可靠性、对噪声的鲁棒性以及执行效率。
2019-02-12 cond-mat.stat-mech cs.CE cs.LG