Online covariance estimation for stochastic gradient descent under Markovian sampling
University of California San Diego(加州大学圣迭戈分校);University of California, Davis(加州大学戴维斯分校)
该研究针对马尔可夫采样下的SGD提出在线重叠批均值协方差估计器,推导了匹配i.i.d场景最优水平的收敛速度,还得到SGD误差矩的相关结果,并通过数值实验和策略分类应用验证了方法的有效性。
2023-11-05 cs.LG math.OC math.ST
Random Bits Regression: a Strong General Predictor for Big Data
Fudan University(复旦大学);University of Texas Houston Health Sciences Center(德克萨斯大学休斯顿健康科学中心)
为了提高回归和分类的精度和速度,我们提出了一种基于数据的预测方法,随机位回归(RBR)。该方法首先基于原始输入矩阵生成大量随机二进制中间/派生特征,然后对这些中间/派生特征进行正则化线性/逻辑斯谛回归来预测结果。对模拟数据集、UCI机器学习存储库数据集和GWAS数据集的基准分析表明,RBR在准确性和鲁棒性方面优于其他流行方法。RBR(可在https://sourceforge.net/projects/rbr/上获得)非常快,需要合理的内存,因此,在大数据时代提供了强大,强大和快速的预测器。
2015-01-13 cs.LG stat.ML
Parametric Gaussian Process Regression for Big Data
Brown University(布朗大学)
这项工作介绍了参数高斯过程(PGP)的概念,这是建立在看似自相矛盾的思想,使高斯过程参数。参数高斯过程,通过构造,被设计为在“大数据”制度中操作,其中人们对量化与噪声数据相关联的不确定性感兴趣。所提出的方法规避了既定的需要随机变分推断,一个可扩展的算法近似后验分布。所提出的方法的有效性证明了使用一个说明性的例子与模拟数据和基准数据集在航空业约600万条记录。
2017-05-04 cs.LG stat.ML
Big Data analytics. Three use cases with R, Python and Spark
Université de Toulouse – INSA(图卢兹大学 – INSA);Université de Toulouse – UT3(图卢兹大学 – UT3)
大数据的管理和分析系统地与Hadoop和现在的Spark框架中的数据分布式架构相关联。本文通过比较直接使用三种参考环境(R,Python Scikit-learn,Spark MLlib)在三个公共用例(字符识别,推荐电影,分类产品)上获得的性能,为统计学家介绍了这些技术。作为主要结果,似乎,如果Spark通过协同过滤(非负因子分解)非常有效地进行数据整理和推荐,那么MLlib或SparkML中的传统学习方法(逻辑斯谛回归,随机森林)的当前实现不会在集成或非分布式架构中与这些方法(R,Python Scikit-learn)的习惯使用竞争
2016-09-30 cs.LG stat.AP
Big Data Regression Using Tree Based Segmentation
Chennai Mathematical Institute(金奈数学研究所)
将回归扩展到大型数据集是许多应用领域中的常见问题。我们提出了一个两步的方法来扩展回归到大型数据集。使用回归树(CART)分割大数据集构成了这种方法的第一步。这种方法的第二步是为每个部分开发合适的回归模型。由于段的大小不是很大,如果需要,我们有能力应用复杂的回归技术。这种两步方法的一个很好的特点是,它可以产生具有良好解释能力和良好预测性能的模型。像梯度提升树这样的嵌入方法可以提供出色的预测性能,但可能无法提供可解释的模型。在本研究报告的实验中,我们发现所提出的方法的预测性能与梯度提升树的预测性能相匹配。
2017-07-25 cs.LG stat.ML
Multiple Learning for Regression in big data
Purdue University(普渡大学)
具有封闭形式解决方案的回归问题很容易理解,并且当数据集足够小以全部加载到RAM中时可以轻松实现。当数据太大而无法存储在RAM中以计算封闭形式的解决方案时,就会出现挑战。许多技术被提出来克服或减轻内存障碍问题,但解决方案往往是局部最优的。此外,大多数方法需要在更新模型时再次访问原始数据。如果需要同时计算多个模型,也期望并行计算集群。我们提出了多种学习方法,利用一系列足够的统计数据(SS)来解决这一大数据挑战。当计算具有封闭形式解的回归时,这种记忆遗忘方法打破了记忆障碍,包括但不限于线性回归、加权线性回归、具有Box-Cox变换的线性回归(Box-Cox回归)和岭回归模型。SS数组的计算和更新可以在每行级别或每个小批量级别处理。更新模型就像矩阵加减一样简单。此外,不同模型的多个SS阵列可以很容易地同时计算,以在一次通过数据集时获得多个模型。我们在Spark上实现了我们的方法,并在模拟数据集上进行了评估。实验结果表明,该方法可以获得多个模型的封闭解,而训练时间仅为传统方法的一半。
2019-10-05 cs.DC cs.LG stat.ML
Online Censoring for Large-Scale Regressions with Application to Streaming Big Data
线性回归可以说是统计推断方法中最突出的,因其简单性和广泛的适用性而流行。与数据密集型应用程序一样,线性回归问题的庞大规模导致了对快速且经济高效的求解器的需求不断增长。幸运的是,可以省略很大一部分累积的数据,同时以可承受的计算预算保持一定质量的统计推断。本文介绍了基于随机逼近和数据截尾原理,以在线和数据自适应方式识别和省略“信息量较少”观察结果的方法。提出了基于一阶和二阶随机逼近的极大似然估计算法,用于估计删失观测的回归系数。在线算法也提出了自适应执行审查以及估计,以减少整体的复杂性。新的算法需要简单的封闭形式的更新,并有可证明的(非)渐近收敛保证。此外,特定的规则进行了研究,调整到所需的审查模式和降维水平。在真实和合成数据集上的模拟测试证实了所提出的数据自适应方法与基于数据不可知的随机投影的替代方法相比的有效性。
2015-07-27 stat.AP stat.ML
Understanding and Comparing Scalable Gaussian Process Regression for Big Data
Nanyang Technological University(南洋理工大学);Rolls-Royce(罗尔斯·罗伊斯)
高斯过程(GP)作为一种非参数贝叶斯模型,能够产生信息量丰富的预测分布,在回归、分类、优化等领域有着广泛的应用。然而,标准GP的立方复杂性导致可扩展性差,这在大数据时代带来了挑战。因此,在文献中已经开发了各种可扩展的GP,以便在保持期望的预测精度的同时提高可扩展性。本文从可扩展性、能力、可控性和鲁棒性四个方面研究了具有代表性的全局和局部可扩展GP(包括稀疏近似和局部聚集)的方法学特征和性能。在两个玩具例子和五个真实世界的数据集上进行的数值实验,最多25万个点,提供了以下发现。在可扩展性方面,大多数可扩展GP的时间复杂度与训练大小呈线性关系。在能力方面,稀疏近似捕获长期的空间相关性,局部聚集捕获局部模式,但在某些情况下遭受过拟合。在可控性方面,我们可以通过简单地增加诱导大小来提高稀疏近似的性能。但对于本地聚合,情况并非如此。在鲁棒性方面,由于局部注意机制,局部聚集对各种超参数的初始化具有鲁棒性。最后,我们强调,全球和本地可扩展的GP的适当的混合可能是一个有前途的方式来提高大数据的模型能力和可扩展性。
2018-11-03 cs.LG stat.ML
Fast Gaussian Process Regression for Big Data
Chennai Mathematical Institute(金奈数学研究所);Indian Statistical Institute(印度统计研究所)
高斯过程广泛用于回归任务。高斯过程应用于回归任务的一个已知限制是解的计算需要执行矩阵求逆。该解决方案还需要在存储器中存储大型矩阵。这些因素限制了高斯过程回归在中小规模数据集上的应用。我们提出了一种算法,结合使用的方式类似的引导获得的数据的子集开发的模型的估计。样本量是该算法的关键参数。在详细的实验研究的基础上,为算法参数的合理选择提供了指导。已经提出了各种技术来将高斯过程扩展到大规模回归任务。最合适的选择取决于问题的上下文。所提出的方法是最适合的问题,其中添加剂模型工作良好,响应依赖于少量的功能。这种问题的极小极大收敛速度是有吸引力的,我们可以用一小部分数据建立有效的模型。随机变分高斯过程和稀疏高斯过程也是这类问题的合适选择。这些方法基于理论考虑选择数据的子集。该算法使用装袋和随机抽样。作为本研究的一部分进行的实验结果表明,在这项工作中提出的算法可以作为有效的这些方法。模型堆叠可用于将用所提出的方法开发的模型与来自用于大规模回归的其他方法(例如梯度提升树)的模型相结合。这可以产生性能增益。
2017-08-19 cs.LG stat.ML
Distributed Variational Inference in Sparse Gaussian Process Regression and Latent Variable Models
University of Cambridge(剑桥大学)
高斯过程(GP)是函数概率推理的有力工具。它们已被应用于回归和非线性降维,并提供理想的属性,如不确定性估计,过拟合的鲁棒性,以及调整超参数的原则性方法。然而,这些模型对大数据集的可扩展性仍然是一个活跃的研究课题。我们介绍了一种新的重新参数化的变分推断稀疏GP回归和潜变量模型,允许一个有效的分布式算法。这是通过利用给定诱导点的数据解耦来重新制定Map-Reduce设置中的证据下限来完成的。我们表明,推理规模以及数据和计算资源,同时保持平衡的节点之间的负载分布。我们进一步展示了将高斯过程扩展到大数据的实用性。我们表明,GP的性能随着回归(200万记录的飞行数据)和潜变量建模(MNIST)中数据量的增加而提高。结果表明,GP的表现优于许多常用于大数据的常见模型。
2014-09-29 cs.LG stat.ML
Convex Relaxation Regression: Black-Box Optimization of Smooth Functions by Learning Their Convex Envelopes
Northwestern University(西北大学)
寻找有效且可证明的方法来解决非凸优化问题是机器学习和优化理论中的一个突出挑战。用于解决非凸问题的一种流行方法是使用凸松弛技术来寻找问题的凸替代。不幸的是,凸松弛通常必须在逐个问题的基础上找到。因此,提供一种通用的策略来估计凸松弛将具有广泛的影响。在这里,我们介绍凸松弛回归(CoRR),一种学习一类光滑函数凸松弛的方法。我们的方法背后的主要思想是通过在一组$T$随机点处评估$f$,然后将凸函数拟合到这些函数评估来估计函数$f$的凸包络。我们证明了在概率大于$1-δ$的情况下,对于某些$α> 0$,算法的解收敛到$f$的全局最优解,且误差为$\mathcal{O} \Big( \big(\frac{\log(1/δ) }{T} \big)^α \Big)$.我们的方法使使用凸优化工具来解决一类非凸优化问题。
2016-03-03 cs.LG stat.ML
Learning Theory of Distributed Regression with Bias Corrected Regularization Kernel Network
Zhejiang University(浙江大学);Fudan University(复旦大学);Middle Tennessee State University(中田纳西州立大学)
分布式学习是分析大数据的有效方法。在分布式回归中,一种典型的方法是将大数据划分为多个块,对每个块应用基本回归算法,然后简单地对从这些块中学习的输出函数进行平均。由于平均过程将减少方差,而不是偏差,如果基本回归算法是有偏的,则偏差校正有望改善学习性能。正则化核网络是非线性回归分析的一种有效且广泛应用的方法。在本文中,我们将研究正则化核网络的偏差校正版本。当它被应用到一个单一的数据集,当它被应用为分布式回归的基本算法,我们推导出的误差界。我们表明,在某些适当的条件下,最佳的学习率可以达到在这两种情况下。
2017-08-07 cs.LG stat.ML
Compressed Gaussian Process
大量样本(n)和特征(p)的非参数回归是一个越来越重要的问题。在大n设置中,常见的策略是划分特征空间,然后分别将简单模型应用于每个划分集。我们提出了一种替代方法,它避免了这样的分区和相关的敏感性邻域选择和距离度量,通过使用随机压缩结合高斯过程回归。所提出的方法是特别动机的设置中的响应是有条件的独立的功能给出的投影到一个低维流形。通过引入随机压缩矩阵和光滑度参数,得到了回归曲面的后验分布和后验预测分布。对许多随机压缩矩阵和平滑度参数并行运行分析,使用模型平均来组合结果。该算法可以快速实现,即使在非常大的n和p的问题,具有很强的理论依据,并发现产生最先进的预测性能。
2014-06-07 stat.ML
Outlier detection in regression: conic quadratic formulations
University of Southern California(南加州大学);Télécom SudParis(南巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
针对线性回归异常值检测中含二元变量与二次项乘积的混合整数优化问题,提出不含 big-M 约束的更强二阶锥松弛公式,计算速度较现有方法快数个数量级。
2023-07-12 cs.LG math.OC stat.ME
Confidence Intervals for Algorithmic Leveraging in Linear Regression
大数据时代已经产生了分析和存储计算成本高昂的数据集。数学杠杆提出我们从原始数据集中采样观察结果以生成代表性数据集,然后对代表性数据集进行分析。在本文中,我们提出了有效的算法,为每个算法利用估计的回归系数,渐近覆盖保证有限样本置信区间。在模拟中,我们根据经验确认置信区间具有期望的覆盖概率,而自举置信区间可能没有。
2018-03-10 stat.AP stat.ML
Meta-learning for mixed linear regression
University of Washington(华盛顿大学);Princeton University(普林斯顿大学);Institute for Advanced Study(高等研究院)
在现代监督学习中,存在大量的任务,但其中许多任务只与少量的标记数据相关联。这些包括来自医学图像处理和机器人交互的数据。尽管每个任务都不能孤立地进行有意义的训练,但人们试图通过利用一些相似之处,从过去的经验中跨任务进行元学习。我们研究一个基本的问题:什么时候小数据的丰富任务可以弥补大数据任务的不足?我们专注于一个典型的情况下,每个任务是从混合物的$k$线性回归,并确定充分的条件,这样一个优雅的交换举行,只有小数据任务所需的例子的总数规模类似于当大数据任务可用。为此,我们引入了一种新的光谱方法,并表明,我们可以有效地利用小数据任务的帮助下,$\tildeΩ(k^{3/2})$中等数据任务的$\tildeΩ(k^{1/2})$的例子。
2020-02-20 cs.LG stat.ML
A Unified Parallel Algorithm for Regularized Group PLS Scalable to Big Data
偏最小二乘(PLS)方法已被大量利用来分析两组数据之间的关联。这些强大的方法可以应用于数据集的变量的数量大于观察的数量,并在变量之间存在高度共线性。不同的稀疏版本的PLS已被开发来整合多个数据集,同时选择的贡献变量。稀疏建模是获得更好的估计值和识别多个数据集之间关联的关键因素。PLS方法的稀疏版本的基石是矩阵的SVD(从原始数据矩阵的收缩版本构建)和线性回归中的最小二乘最小化之间的联系。我们在这里提出了最流行的PLS方法的准确描述,以及它们的数学证明。提出了一种统一的算法来执行所有四种类型的PLS,包括其正则化版本。提供了减少计算时间的各种方法,我们展示了整个过程如何可扩展到大数据集。
2017-02-23 stat.ML
Parallel Gaussian Process Regression for Big Data: Low-Rank Representation Meets Markov Approximation
National University of Singapore(新加坡国立大学);Singapore-MIT Alliance for Research and Technology(新加坡-麻省理工学院研究与技术联盟);Massachusetts Institute of Technology(麻省理工学院)
高斯过程(GP)模型的表达能力是以数据大小的可伸缩性差为代价的。为了提高其可扩展性,本文提出了一种低秩和马尔可夫近似(LMA)的GP模型,这是新颖的,利用双重计算优势,来自补充的低秩近似表示的满秩GP的基础上的支持集的输入与马尔可夫近似的结果产生的残差过程;后一种近似在受到某种约束的Kullback-Leibler距离准则中保证是最接近的,并且比利用低-秩表示由于其更宽松的条件独立性假设(特别是对于较大的数据)。因此,我们的LMA方法可以在支持集的大小和马尔可夫性的阶数之间进行权衡,以(a)产生比这种稀疏GP模型更低的计算成本,同时实现与它们相当的预测性能,以及(b)准确地表示任何尺度的特征/模式。有趣的是,改变马尔可夫阶数会产生一个在两个极端具有PIC近似和满秩GP的LMA谱。我们的LMA方法的一个优点是,它是服从多个机器/核心上的并行化,从而获得更大的可扩展性。在多达32个计算节点的集群中对三个真实世界数据集的实证评估表明,我们的集中式和并行LMA方法比最先进的稀疏和满秩GP回归方法具有更高的时间效率和可扩展性,同时实现了相当的预测性能。
2014-11-17 cs.DC cs.LG stat.ML
Concordance probability in a big data setting: application in non-life insurance
一致性概率或C指数是一种常用的衡量回归模型的区分能力的指标。在本文中,此度量的定义适用于频率和严重性模型的特定需求,通常在非寿险产品的技术定价期间使用。由于频率数据的典型大样本量,特别是,两个不同的适应的估计过程的一致性概率。注意,后面的过程可以应用于一致性概率的所有不同版本。
2019-11-14 math.AP stat.ML
Optimize TSK Fuzzy Systems for Regression Problems: Mini-Batch Gradient Descent with Regularization, DropRule and AdaBound (MBGD-RDA)
Huazhong University of Science and Technology(华中科技大学)
Takagi-Sugeno-Kang(TSK)模糊系统是解决回归问题的非常有用的机器学习模型。然而,据我们所知,目前还没有一种有效的训练算法来确保它们的泛化性能,并使它们能够处理大数据。受TSK模糊系统和神经网络之间联系的启发,我们扩展了三种强大的神经网络优化技术,即,小批量梯度下降,正则化,AdaBound,TSK模糊系统,并提出了三种新的技术(DropRule,DropMF,和DropMembership)专门用于训练TSK模糊系统。我们的最终算法,mini-batch梯度下降正则化,DropRule和AdaBound(MBGD-RDA),可以实现快速收敛训练TSK模糊系统,并在测试中也具有优越的泛化性能。它可以用于在任何大小的数据集上训练TSK模糊系统;然而,它对大数据集特别有用,目前还没有其他有效的训练算法存在。
2019-12-01 cs.AI cs.LG cs.NE
Localized Linear Regression in Networked Data
Aalto University(阿尔托大学)
网络Lasso(nLasso)最近被提出作为用于大规模网络数据集(网络上的大数据)的有效学习算法。它将著名的最小绝对收缩和选择算子(Lasso)从学习稀疏(广义)线性模型扩展到网络模型。nLasso的高效实现已经使用凸优化方法获得,从而提供可扩展的消息传递协议。在本文中,我们分析了nLasso应用于涉及网络数据的局部线性回归问题时的统计特性。我们的主要结果是一个关于网络结构和可用标签信息的充分条件,使得nLasso可以从一些标记的数据点中准确地学习局部线性回归模型。我们还提供了一个本地化线性回归的nLasso的实现,专门用于解决凸(非光滑)nLasso问题的原始对偶方法。
2019-05-21 cs.LG stat.ML
Data-driven formulation of natural laws by recursive-LASSO-based symbolic regression
NEC Corporation(日本电气株式会社);National Institute of Advanced Industrial Science and Technology (AIST)(日本国立研究开发法人产业技术综合研究所)
长期以来,新的自然规律的发现一直依赖于某些天才的灵感。然而,最近,机器学习技术在没有人类偏见和偏见的情况下分析大数据,有望发现新的自然规律。在这里,我们证明了我们提出的机器学习,基于递归LASSO的符号(RLS)回归,使数据驱动的自然规律从噪声数据的制定。RLS回归循环重复特征生成和特征选择,最终构建具有高度非线性特征的数据驱动模型。这种数据驱动的公式化方法具有很强的通用性,因此可以在各个科学领域发现新的规律。
2021-02-18 cs.LG physics.data-an stat.ML
Sparse linear regression with compressed and low-precision data via concave quadratic programming
我们考虑的问题,从压缩的线性测量数据时,被破坏的量化噪声的k-稀疏向量的恢复。当测量的数目不是足够大时,不同的$k$稀疏解可能存在于可行集中,并且经典的l1方法可能是不成功的。为此,我们提出了一种非凸二次规划方法,利用先验信息的大小的非零参数。这导致更有效的支持恢复。我们提供了成功恢复的充分条件和数值模拟,以说明所提出的方法的实际可行性。
2019-09-09 cs.LG math.OC stat.ML
Classifying variety of customer's online engagement for churn prediction with mixed-penalty logistic regression
利用大数据分析消费者行为可以为客户关系管理(CRM)中防止客户流失(流失)提供有效的决策工具。关注具有影响客户异质性的几种不同类别因素的CRM数据集(即,自助服务渠道的使用、服务持续时间和对营销行动的响应),我们提供了基于机器学习方法的客户流失率的新预测分析,该方法通过添加混合惩罚项来增强逻辑斯谛回归的分类。提出的惩罚性逻辑斯谛回归可以防止处理大数据时的过拟合,并在平衡中位数(绝对值)和均值(平方值)正则化的成本时最小化损失函数。我们展示了所提出的方法的分析特性及其在本研究中的计算优势。此外,我们研究了所提出的方法的性能与CRM数据集(具有大量的功能)在不同的设置下,有效地消除干扰(1)最不重要的功能和(2)敏感性从少数(流失)类。我们的实证结果证实了所提出的方法的预期性能完全符合常见的分类标准(即,准确度、精确度和召回率)来评估机器学习方法。
2021-07-13 cs.LG econ.EM stat.ML
Feature Selection with Annealing for Computer Vision and Big Data Learning
Florida State University(佛罗里达州立大学)
许多计算机视觉和医学成像问题都面临着从大规模数据集中学习的问题,这些数据集包含数百万个观察和特征。在本文中,我们提出了一种新的有效的学习计划,收紧稀疏性约束逐步删除变量的基础上的标准和时间表。在整个迭代过程中,问题大小不断下降,这一有吸引力的事实使其特别适合大数据学习。我们的方法一般适用于任何可微损失函数的优化,并发现在回归,分类和排名的应用。由此产生的算法建立变量筛选到估计,是非常简单的实现。我们提供了理论保证的收敛性和选择的一致性。此外,一维分段线性响应函数被用来考虑非线性和二阶先验施加在这些功能,以避免过拟合。在真实数据和合成数据上的实验表明,该方法在回归、分类和排序等方面与其他方法相比具有很好的性能,同时计算效率高,可扩展性好。
2016-03-17 cs.CV cs.LG math.ST
Efficient Multiple Incremental Computation for Kernel Ridge Regression with Bayesian Uncertainty Modeling
Monash University(莫纳什大学);Chungang University(中央大学)
这项研究提出了一种基于核岭回归(KRR)的大数据流的有效增量/减量方法,KRR是云中心常用的数据分析方法。为了避免在传感器接收到新的训练数据时重新分析整个数据集,典型的增量KRR使用单实例机制来更新现有系统。然而,这不可避免地增加了冗余的计算时间,更不用说对大数据流的适用性。为此,所提出的机制支持针对单个和多个样本的增量/减量处理(即,批处理)。大规模的数据可以分成批次,由机器处理,而不会牺牲准确性。此外,在本研究中还提出了经验和内在空间的增量/减量分析,以处理不同类型的数据,无论是大量的样本或高特征维度,而典型的方法只集中在一种类型。在这项研究的最后,我们进一步提出的机制,统计核贝叶斯回归,使不确定性建模与增量/减量计算变得适用。实验结果表明,该方法的计算时间明显缩短,优于原有的非增量设计和典型的单增量方法。此外,拟议方法的准确性与基线相同。这意味着该系统在不牺牲精度的情况下提高了效率。这些结果证明了所提出的方法适用于可变流数据分析,从而证明了所提出的方法的有效性。
2017-11-09 cs.LG stat.ML
The biglasso Package: A Memory- and Computation-Efficient Solver for Lasso Model Fitting with Big Data in R
University of Iowa(爱荷华大学)
本文提出biglasso包,通过内存映射文件技术解决高维数据拟合中的内存限制问题,并采用更高效的特征筛选规则提升计算效率,实验证明其在内存和计算效率上的优势。
2018-03-11 stat.CO stat.ML
A Case-Study on the Impact of Dynamic Time Warping in Time Series Regression
University College Dublin(都柏林大学学院)
众所周知,动态时间规整(DTW)在揭示不完全对齐的时间序列之间的相似性方面是有效的。在本文中,我们说明了光谱时间序列数据。我们表明,DTW是有效的,在回归任务时,只有一个单一的波长被认为是提高精度。当与k-最近邻结合时,DTW具有额外的优点,即它可以在时间序列的水平上揭示样本之间的相似性和差异。然而,在这个问题中,我们认为这里的数据可以在波长的光谱中获得。如果在许多波长上使用聚合统计(均值、方差),DTW的优势就不再明显。我们将此作为大数据在机器学习中胜过复杂模型的另一个例子。
2020-10-11 cs.LG stat.ML
Review of Recent Advances in Gaussian Process Regression Methods
本文综述了近年发展的关键分解型高斯过程回归方法,介绍了高斯过程方法的核心优势,并通过示例从准确率和计算复杂度层面说明这类方法的性能。
2024-09-12 stat.ME stat.ML
Local Uncertainty Sampling for Large-Scale Multi-Class Logistic Regression
Tencent AI Lab(腾讯人工智能实验室);University of Minnesota(明尼苏达大学);Rutgers University(罗格斯大学)
大数据时代构建统计模型的一大挑战是可用数据量远远超过计算能力。解决这个问题的一种常见方法是采用可以由可用计算资源处理的二次采样数据集。在本文中,我们提出了一个一般的子抽样方案的大规模多类逻辑斯谛回归和检查所得的估计量的方差。我们表明,渐近,所提出的方法总是实现一个较小的方差比均匀随机抽样。此外,当类是有条件的不平衡,显着改善均匀采样可以实现。在模拟和真实数据集上将该方法的经验性能与其他方法进行了比较,这些结果与我们的理论分析相匹配并证实了我们的理论分析。
2018-09-13 cs.LG stat.CO stat.ML
Unbiased Bayes for Big Data: Paths of Partial Posteriors
University College London(伦敦大学学院);University of Oxford(牛津大学);University of Warwick(华威大学)
在贝叶斯推断中,一个关键的感兴趣的量是函数关于后验分布的期望。马尔可夫链蒙特卡罗是一个基本的工具,通过平均从一个近似的后验样本一致地计算这些期望。然而,它的可行性在所谓的大数据时代受到挑战,因为所有数据都需要在每次迭代中处理。意识到这样的模拟是一个不必要的困难的问题,如果目标是估计,我们构建了一个计算可扩展的方法,允许无偏估计所需的期望-没有明确的模拟从完整的后验。该方案的方差是有限的建设和简单的控制,导致算法是可证明的无偏的,自然达到所需的误差容限。这是在平均计算复杂度下实现的,该平均计算复杂度在数据集的大小上是次线性的,并且其自由参数易于调整。我们展示了一系列常见的统计模型应用于大规模的基准和现实世界的数据集的实用性和通用性的方法。
2015-02-09 cs.LG stat.ME stat.ML
Real-Time Regression with Dividing Local Gaussian Processes
Technical University of Munich(慕尼黑工业大学);Tecnológico de Costa Rica(哥斯达黎加理工学院);FRANKA EMIKA GmbH(弗兰卡埃米卡有限公司);Peking University(北京大学)
对在线预测的需求增加以及大型数据集的可用性不断增长,推动了对计算效率高的模型的需求。虽然精确高斯过程回归显示出各种有利的理论性质(不确定性估计、无限的表达能力),但相对于训练集大小的差的缩放限制了其在大数据制度中的实时的【形】应用。因此,本文提出了划分局部高斯过程,这是一种新的,计算效率高的建模方法的基础上高斯过程回归。由于输入空间的迭代、数据驱动的划分,它们在实践中实现了训练点总数的次线性计算复杂性,同时提供了出色的预测分布。对真实数据集的数值评估表明,它们在准确性以及预测和更新速度方面优于其他最先进的方法。
2021-07-30 cs.LG cs.RO stat.ML
Kernel Mode Decomposition and programmable/interpretable regression networks
Caltech(加州理工学院)
模式分解是一个典型的模式识别问题,可以从数值近似、统计推断和深度学习的(先验的)角度来解决。通过这些综合视角进行的分析是否可以作为罗塞塔石碑,用于破译深度学习中起作用的机制?出于这个问题,我们引入可编程和可解释的回归网络模式识别和地址模式分解作为一个原型问题。这些网络的编程是通过组装基本模块、分解和重组内核和数据来实现的。这些基本步骤在抽象层次上重复,并从最佳恢复、博弈论和高斯过程回归(GPR)的等效角度进行解释。原型模式/核分解模块根据对和$v:=v_1+\cdots+v_m$的观察来产生公共Hilbert空间的Hilbert子空间的积的元素$(v_1,v_2,\ldots,v_m)$的最佳逼近$(w_1,w_2,\cdots,w_m)$。原型模式/内核重组模块基于每个恢复的模式$w_i$和数据$v$之间的对齐来执行恢复的模式$w_i$的部分求和。我们说明了所提出的框架,通过编程回归网络逼近模式$v_i= a_i(t)y_i\big(θ_i(t)\big)$的(可能有噪声的)信号$\sum_i v_i$时的幅度$a_i$,瞬时相位$θ_i$和周期波形$y_i$可能都是未知的,并显示近机精度恢复下的规律性和分离的假设瞬时幅度$a_i$和频率$\dotθ_i$。其中一些网络的结构与卷积神经网络有着有趣的相似之处,同时具有可解释性,可编程性和理论分析性。
2020-08-05 cs.LG cs.NA math.NA
Distributed High-Dimensional Quantile Regression: Estimation Efficiency and Support Recovery
School of Statistics and Management, Shanghai University of Finance and Economics(上海财经大学统计与管理学院)
本文研究高维线性分位数回归的分布式估计与支持恢复,通过双平滑方法将其转化为最小二乘优化,扩展了Newton型分布式方法并放宽独立性假设,提出兼具高计算与通信效率的算法,实现近预言机收敛速率与高支持恢复精度。
2024-06-01 cs.LG stat.ME stat.ML
Federated Sufficient Dimension Reduction Through High-Dimensional Sparse Sliced Inverse Regression
University of Science and Technology of China(中国科学技术大学);Quzhou University(衢州学院)
联邦学习已经成为当今大数据时代的流行工具。它基于来自不同客户端的数据训练集中式模型,同时保持数据分散。本文首次提出了一种联邦稀疏切片逆回归算法。我们的方法可以同时估计中央降维子空间,并在联邦设置进行变量选择。通过安全、无损地构造协方差阵,将联合高维稀疏切片逆回归问题转化为凸优化问题。然后,我们使用一个线性化的交替方向方法的乘子算法估计的中心子空间。给出了确定中心子空间维数和算法超参数的贝叶斯信息准则和保持验证方法。我们建立了一个上界的统计误差率的估计下的异质设置。我们证明了我们的方法的有效性,通过模拟和现实世界中的应用。
2023-01-23 cs.LG math.ST stat.ML
Sorting Big Data by Revealed Preference with Application to College Ranking
International Monetary Fund(国际货币基金组织)
在对美国大学等大数据进行排名时,不同的消费者表现出不同的偏好。本文的目的是整理出一个线性排序,这些意见,并建议策略,以提高其相对位置的排名。一个适当的解决方案可以帮助消费者做出正确的选择,政府做出明智的政策决定。以前的研究人员采用外生加权或多元回归方法对大数据对象进行排序,忽略了它们的多样性和可变性。通过认识到观察者和消费者之间的多样性和异质性,我们转而将内生权重应用于这些矛盾的显示偏好。结果是这些矛盾中的平衡均衡的一致稳态解。该解决方案考虑了观测之间的多步相互作用的溢出效应。当来自数据的信息在偏好中被有效地揭示时,所揭示的偏好极大地减少了排序过程中所需的数据量。所采用的方法可以应用于许多其他领域,如运动队排名,学术期刊排名,投票和实际有效汇率。
2020-03-27 cs.LG econ.GN q-fin.EC