Simple one-pass algorithm for penalized linear regression with cross-validation on MapReduce
在本文中,我们提出了一个一遍MapReduce算法的惩罚线性回归\[f_λ(α, β) = \|Y - α\mathbf{1} - Xβ\|_2^2 + p_λ(β)\]其中$α$是截距,可以根据应用省略; $β$是系数和$p_λ$是惩罚函数与惩罚参数$λ$。$f_λ(α, β)$包括有趣的类,如Lasso,岭回归和弹性网络。与最新的需要多个MapReduce作业的迭代分布式算法相比,我们的算法实现了巨大的性能提升;此外,我们的算法与并行随机梯度下降等近似算法相比是精确的。此外,我们的算法区别于其他人的是,它训练模型的交叉验证选择最佳的$λ$,而不是用户指定的。关键词:惩罚线性回归,lasso,弹性网络,岭,MapReduce
2016-04-14 cs.DC cs.LG stat.ML
Efficient Cross-Validation for Sparse Linear Regression
Department of Analytics, Marketing and Operations, Imperial Business School, London, UK(分析、营销与运营系,帝国商务学院,伦敦,英国);Department of Industrial and Systems Engineering, Viterbi School of Engineering, University of Southern California, CA(工业与系统工程系,维特比工程学院,美国南加州大学,CA)
针对高维协变量矩阵和响应向量的稀疏线性回归,为选超参数常用k折交叉验证,但计算成本高。本文推导k折交叉验证损失的易处理松弛形式,减少计算量,结果表明其与成熟软件包有竞争力。
2026-07-07 cs.LG math.OC stat.ME
Fast Computation of Leave-One-Out Cross-Validation for $k$-NN Regression
EURECOM(欧洲电信研究与教育中心)
本文提出 $k$-NN 回归 LOOCV 的闭式快速算法,证明其可由一次 $(k+1)$-NN 拟合乘以缩放因子得到,避免逐样本重复训练。
2024-12-04 cs.DS cs.LG stat.CO
An analysis of the cost of hyper-parameter selection via split-sample validation, with applications to penalized regression
University of Washington(华盛顿大学)
在回归设置中,给定一组超参数,模型估计过程从训练数据构建模型。使模型泛化误差最小化的最优超参数通常是未知的。在实践中,它们通常使用分裂样本验证来估计。到目前为止,有一个悬而未决的问题,关于所选择的模型的泛化误差如何随着要估计的超参数的数量而增长。为了回答这个问题,我们建立有限样本预言不等式选择基于一个单一的训练/测试分裂和交叉验证的基础上。我们表明,如果模型估计过程是顺利参数化的超参数,调整超参数所产生的误差收缩在近一个参数率。因此,对于具有固定数量的超参数的半参数和非参数模型估计过程,这种额外的误差可以忽略不计。对于参数模型估计过程,添加超参数大致相当于向模型本身添加参数。此外,我们专门这些想法的惩罚回归问题的多个惩罚参数。我们建立的拟合模型是Lipschitz的惩罚参数,因此我们的预言不等式适用。这一结果鼓励了具有许多惩罚参数的正则化方法的发展。
2019-03-28 cs.LG stat.ML
Spectroscopy Analysis with Machine Learning Regression for the Quantification of Carbon and Nitrogen Contents in Inceptisol and Oxisol Soil Types: Comparing Different Preprocessing and Validation methods as well as Feature Importance
Graduate Program in Electrical and Computer Engineering, Federal University of Technology - Paraná(巴拉那联邦科技大学电气与计算机工程研究生项目);Academic Department of Chemistry, Federal University of Technology-Paraná(巴拉那联邦科技大学化学系);Graduate Program in Production and Systems Engineering, Federal University of Technology-Paraná(巴拉那联邦科技大学生产与系统工程研究生项目)
提出机器学习方法,利用便携式MyNIR设备获取的NIR光谱数据,结合SG滤波、NIPALS异常值去除等预处理和堆叠集成学习模型,实现Oxisol和Inceptisol土壤中碳氮含量的快速定量,RPD>2.0且过拟合低。
2026-07-02 cs.LG
Optimizing for Generalization in Machine Learning with Cross-Validation Gradients
Department of Electrical Engineering(电气工程系);Stanford University(斯坦福大学)
交叉验证是现代应用统计学和机器学习的主力,因为它为选择最大化泛化性能的模型提供了原则性框架。在本文中,我们证明了交叉验证风险对于许多常见的机器学习算法,包括逻辑斯谛回归,弹性网络回归和支持向量机的超参数和训练数据是可区分的。利用这种可微性,我们提出了一种用于超参数优化的交叉验证梯度方法(CVGM)。我们的方法可以在高维超参数空间中有效地优化交叉验证风险,这是我们学习算法真正泛化能力的最佳替代。
2018-05-18 cs.LG stat.ML
Optimizing Approximate Leave-one-out Cross-validation to Tune Hyperparameters
University of Washington(华盛顿大学)
对于一个大类的正则化模型,留一法交叉验证可以有效地估计与近似留一法公式(ALO)。我们考虑调整超参数的问题,以优化ALO。我们推导出有效的公式来计算ALO的梯度和海森,并展示了如何应用二阶优化器来寻找超参数。我们证明了所提出的方法的实用性,通过寻找超参数的正则化逻辑斯谛回归和岭回归在各种现实世界的数据集。
2020-11-20 cs.LG stat.ML
Can we globally optimize cross-validation loss? Quasiconvexity in ridge regression
MIT(麻省理工学院);Cornell(康奈尔大学)
像LASSO和岭回归这样的模型由于其可解释性、易用性和强有力的理论保证而在实践中被广泛使用。交叉验证(CV)被广泛用于这些模型中的超参数调整,但实际的优化方法是否能最大限度地减少真实的样本外损失?最近的一系列研究有望表明,CV损失的最佳值与样本外损失的最佳值相匹配(可能经过简单的校正)。还有待证明最大限度地减少CV损失是多么容易处理。在本文中,我们表明,在岭回归的情况下,CV损失可能无法拟凸,从而可能有多个局部最优。我们可以保证CV损失在至少一种情况下是拟凸的:当协变量矩阵的谱几乎是平坦的,并且观察到的响应中的噪声不太高时。更一般地说,我们表明,quasiconvexity状态是独立的许多属性的观测数据(响应范数,协变量矩阵右奇异向量和奇异值缩放),并有一个复杂的依赖少数剩余。我们经验证实我们的理论使用模拟实验。
2022-11-01 cs.LG stat.ME stat.ML
A General $\mathcal{O}(n^2)$ Hyper-Parameter Optimization for Gaussian Process Regression with Cross-Validation and Non-linearly Constrained ADMM
Shenzhen Research Institute of Big Data(深圳大数据研究院)
超参数优化是机器学习中高斯过程的核心问题。使用极大似然(ML)估计和梯度下降(GD)的基准方法由于其$O(n^3)$复杂性而不适用于处理大数据。许多复杂的全局或局部近似模型,如稀疏GP,分布式GP,已被提出来解决这样的复杂性问题。在本文中,我们提出了两个新的和通用的GP超参数训练计划(GPCV-ADMM)的替代ML与交叉验证(CV)作为拟合准则和替代GD与非线性约束交替方向的乘法器(ADMM)作为优化方法。所提出的方案是$O(n^2)$复杂性的任何协方差阵没有特殊的结构。我们进行各种实验的基础上合成和真实的数据集,其中所提出的计划表现出优异的性能,在收敛性,超参数估计精度,计算时间与传统的ML为基础的例程在GPML工具箱。
2019-06-07 cs.LG stat.ML
Comparing AutoML and Deep Learning Methods for Condition Monitoring using Realistic Validation Scenarios
Saarland University(萨尔兰大学)
本研究用AutoML工具对比状态监测的传统机器学习与深度学习方法,发现真实验证场景存在域偏移,分析了两类方法的可扩展性与可解释性,指出低复杂度模型适用于类别变化有限的任务,为该领域提供了基准与方法选择参考。
2023-08-28 cs.LG eess.SP
Bayes beats Cross Validation: Efficient and Accurate Ridge Regression via Expectation Maximization
Monash University(莫纳什大学)
针对岭回归超参数调优中 LOOCV 易陷局部极小且计算昂贵的问题,提出贝叶斯 EM 联合估计方法,可保证大样本下唯一最优,并将单次迭代复杂度降至 $O(\min(n,p))$。
2023-11-03 cs.LG stat.ML
Comparing Multilayer Perceptron and Multiple Regression Models for Predicting Energy Use in the Balkans
Mathematical Institute of the S.A.S.A(塞尔维亚科学与艺术学院数学研究所);University of Calabria(卡拉布里亚大学)
全球人口和经济变化对能源消耗总量产生关键影响,这就是为什么在预测能源消耗时必须考虑人口和经济参数。本研究是基于应用多元线性回归模型和神经网络模型,特别是多层感知器,预测能源消耗。1995-2014年期间的分析考虑了来自五个巴尔干国家的数据。以国内生产总值、人口总数和CO2排放量为预测变量,以能源消费量为因变量。分析表明,CO2排放量对能源消耗的影响最大,其次是国内生产总值,而人口数量的影响最小。然后将两种分析的结果用于对相同数据进行预测,然后将获得的值与实际值进行比较。据观察,多层感知器模型预测更好的能源消耗比回归模型。
2018-10-26 cs.LG stat.ML
A Novel Approach for Machine Learning-based Load Balancing in High-speed Train System using Nested Cross Validation
Türk Telekom R&D Department(土耳其电信研发部门);Faculty of Electrical Engineering Czech Technical University in Prague(布拉格捷克技术大学电气工程学院)
针对5G高速列车系统频繁切换影响服务质量的问题,提出采用嵌套交叉验证的机器学习性能建模方法,避免过拟合,经多种算法对比验证,提升类方法性能显著优于传统交叉验证方案。
2023-10-02 cs.LG cs.NI
Gradient-based bilevel optimization for multi-penalty Ridge regression through matrix differential calculus
IDSIA Dalle Molle Institute for Artificial Intelligence(IDSIA 达莱·莫勒人工智能研究所);USI-SUPSI(提契诺大学-瑞士南部应用科学与艺术大学)
本文针对每个输入变量关联不同正则化超参数的l2正则化线性回归问题,提出基于矩阵微分计算解析求解交叉验证准则梯度的双层优化方法,并引入防过拟合策略,数值实验证明其优于LASSO等方法且计算高效。
2023-11-23 cs.LG stat.ML
Evaluation and Prognostic Validation of Deep Regression Models for WSI-Based Gene-Expression Prediction
Karolinska Institutet(卡罗林斯卡学院);University of Oxford(牛津大学);Lund University(隆德大学)
研究对基于全切片图像的基因表达预测的深度回归模型进行评估与验证,采用基于注意力的多实例学习与PFM特征提取器的直接回归,在多个数据集及队列中验证,证明该方法可泛化并恢复有意义分子结构,支持其用于转录组表型分析和风险分层。
2026-07-24 cs.CV cs.LG q-bio.GN
Risk and cross validation in ridge regression with correlated samples
Department of Physics, Harvard University(哈佛大学物理系);Center for Brain Science, Harvard University(哈佛大学脑科学中心);Society of Fellows, Harvard University(哈佛大学 fellows 会);John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保罗森工程与应用科学学院);Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University(哈佛大学自然与人工智能研究学院)
利用随机矩阵理论和自由概率,研究了数据点具有任意相关性时岭回归的渐近风险,并提出了修正的广义交叉验证估计器CorrGCV,同时扩展到测试点与训练集相关的情况。
2026-06-02 cond-mat.dis-nn cs.LG stat.ML
A Low-Cost Robot Science Kit for Education with Symbolic Regression for Hypothesis Discovery and Validation
University of Maryland, College Park(马里兰大学帕克分校);National Institute of Standards and Technology(美国国家标准与技术研究院)
下一代物理科学涉及机器人科学家-能够在闭环中进行实验设计,执行和分析的自主物理科学系统。这些系统已经在科学探索和发现方面取得了现实世界的成功,包括首次发现了一流的材料。为了构建和使用这些系统,下一代劳动力需要不同领域的专业知识,包括ML,控制系统,测量科学,材料合成,决策理论等。然而,教育滞后。教育工作者需要一个低成本、易于使用的平台来教授所需的技能。工业界也可以利用这样一个平台来开发和评估自主的物理科学方法。我们提出了科学教育的下一代,一个工具包,用于建立一个低成本的自主科学家。该工具包在马里兰大学的两门课程中使用,教授本科生和研究生自主的物理科学。我们讨论了它的使用过程中,其更大的能力,教自主模型探索,优化和确定的双重任务,自主实验“发现”的亨德森-哈塞尔巴赫方程的一个例子。
2022-06-13 cond-mat.mtrl-sci cs.LG cs.RO
Concentration inequalities for leave-one-out cross validation
Uppsala University(乌普萨拉大学)
本文证明估计器稳定性足以保证留一法交叉验证的可靠性,通过一般框架下的集中界,并利用对数Sobolev不等式,涵盖线性回归、核密度估计等例子。
2026-10-14 cs.LG math.ST stat.ML
Comparing Classes of Estimators: When does Gradient Descent Beat Ridge Regression in Linear Models?
Amazon(亚马逊);University of Oxford(牛津大学);University of Pennsylvania(宾夕法尼亚大学);Oxford University(牛津大学)
从数据中学习的方法取决于各种类型的调优参数,例如惩罚强度或步长。由于性能可以强烈地依赖于这些参数,重要的是要比较类的估计,通过考虑规定的有限组的调整参数,而不仅仅是特别调整的方法。在这项工作中,我们调查类的方法通过类中最好的方法的相对性能。我们认为,线性回归的核心问题-随机各向同性地面真相-和调查的两个基本方法,梯度下降和岭回归的估计性能。我们揭示了以下现象。(1)对于一般设计,当经验数据协方差阵的特征值衰减缓慢时,常数步长梯度下降优于岭回归,呈指数小于1的幂律。相反,如果特征值衰减迅速,作为幂律指数大于单位或指数,我们表明,岭回归优于梯度下降。(2)对于正交设计,我们计算精确的最小最大最优估计类(实现最小-最大-最小最优性),表明它等价于具有衰减学习率的梯度下降。我们发现次优的岭回归和梯度下降恒定步长。我们的研究结果强调,统计性能可以强烈依赖于调整参数。特别是,虽然最佳调整岭回归是我们设置中的最佳估计器,但当两种方法都只在200多个正则化参数上进行调整时,它可以通过梯度下降的任意/无界量进行优化。
2022-06-12 cs.LG math.OC math.ST
Cross validation in sparse linear regression with piecewise continuous nonconvex penalties and its acceleration
Department of Statistical Science, The Graduate University for Advanced Science (SOKENDAI), Hayama-cho, Kanagawa 240-0193, Japan(日本神奈川县叶山町综合研究大学院大学(SOKENDAI)统计科学系)
研究了在噪声存在下,使用分段连续非凸罚函数时稀疏线性回归的信号重构性能。在这些处罚中,我们重点关注SCAD处罚。本研究的贡献是三方面的:我们首先提出了一个典型的重建性能的理论分析,使用副本的方法,假设每个组件的设计矩阵是作为一个独立的和同分布(i.i.d.)高斯变量这阐明了优越性的SCAD估计相比,$\ell_1$在一个很宽的参数范围内,虽然非凸性质的惩罚往往会导致解决方案的多重性在某些地区。这种多重性被证明是连接到副本对称性破缺的自旋玻璃理论。我们还证明了估计器和真实信号之间的均方误差的全局最小值位于副本对称相位。其次,我们开发了一个近似公式,有效地计算交叉验证误差,而无需实际进行交叉验证,这也适用于非独立同分布。设计矩阵结果表明,该公式只适用于唯一解区域,在多解区域趋于不稳定。我们实现不稳定性检测程序,它允许近似公式独立,resultant使我们能够绘制任何特定数据集的相图。第三,我们提出了一个退火过程,称为非凸退火,以获得有效的解决方案的路径。在模拟数据集上进行了数值模拟,验证了理论结果的一致性和近似公式的有效性。另一个真实世界的数据集进行数值实验,其结果是一致的,与早期的研究使用的$\ell_0$制定。
2019-12-25 cond-mat.dis-nn cs.LG stat.ML
Explainable Online Validation of Machine Learning Models for Practical Applications
University of Tübingen(图宾根大学);Liebherr-Elektronik GmbH(利勃海尔电子有限公司);Scheidt MessTechnik(沙伊特测量技术公司)
我们提出了一个重新制定的回归和分类,其目的是验证结果的机器学习算法。我们的重新制定简化了原来的问题,并验证了机器学习算法使用的训练数据的结果。由于机器学习算法的验证必须始终是可解释的,我们执行我们的实验与kNN算法以及与基于条件概率的算法,这是在这项工作中提出的。为了评估我们的方法,三个公开的数据集,三个分类和两个回归问题进行了评估。所提出的算法的基础上的条件概率也是在线的能力,只需要一小部分的内存相比,kNN算法。
2021-01-17 cs.AI cs.CV cs.LG
Implementing Fair Regression In The Real World
AXA, AI Research(安盛人工智能研究院)
大多数公平回归算法减轻了对敏感子群体的偏见,从而提高了群体水平的公平性。在本文中,我们调查的影响,这样的实施公平回归对个人。更确切地说,我们评估的演变连续预测从一个无约束的公平算法,通过比较基线算法的结果与公平的回归算法相同的数据点。基于我们的研究结果,我们提出了一套后处理算法,以提高现有的公平回归方法的效用。
2021-04-09 cs.AI cs.LG
Understanding and Comparing Scalable Gaussian Process Regression for Big Data
Nanyang Technological University(南洋理工大学);Rolls-Royce(罗尔斯·罗伊斯)
高斯过程(GP)作为一种非参数贝叶斯模型,能够产生信息量丰富的预测分布,在回归、分类、优化等领域有着广泛的应用。然而,标准GP的立方复杂性导致可扩展性差,这在大数据时代带来了挑战。因此,在文献中已经开发了各种可扩展的GP,以便在保持期望的预测精度的同时提高可扩展性。本文从可扩展性、能力、可控性和鲁棒性四个方面研究了具有代表性的全局和局部可扩展GP(包括稀疏近似和局部聚集)的方法学特征和性能。在两个玩具例子和五个真实世界的数据集上进行的数值实验,最多25万个点,提供了以下发现。在可扩展性方面,大多数可扩展GP的时间复杂度与训练大小呈线性关系。在能力方面,稀疏近似捕获长期的空间相关性,局部聚集捕获局部模式,但在某些情况下遭受过拟合。在可控性方面,我们可以通过简单地增加诱导大小来提高稀疏近似的性能。但对于本地聚合,情况并非如此。在鲁棒性方面,由于局部注意机制,局部聚集对各种超参数的初始化具有鲁棒性。最后,我们强调,全球和本地可扩展的GP的适当的混合可能是一个有前途的方式来提高大数据的模型能力和可扩展性。
2018-11-03 cs.LG stat.ML
Detecting Label Noise via Leave-One-Out Cross-Validation
University of California, Merced(加州大学默塞德分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们提出了一个简单的算法,用于识别和纠正实值噪声标签的混合使用高斯过程回归的干净和损坏的样本点。采用异方差噪声模型,其中具有独立方差的加性高斯噪声项与每个和所有观察到的标签相关联。利用最大似然估计对噪声模型进行优化,在留一交叉验证中,通过后验标准差抑制了GPR模型的预测误差。针对非负约束下的极大似然估计问题,提出了一种乘性更新方案。虽然我们提供了某些特殊情况下的收敛性证明,乘法方案的经验证明单调收敛行为,在几乎所有的数值实验。我们表明,所提出的方法可以精确定位损坏的样本点,并在合成和真实世界的科学数据集上训练时,得到更好的回归模型。
2021-03-28 cs.LG math.OC stat.ML
Neural Predictor for Neural Architecture Search
Google Brain(谷歌大脑);Duke University(杜克大学)
神经架构搜索方法是有效的,但通常使用复杂的算法来提出最佳架构。我们提出了一种方法,有三个基本步骤,在概念上要简单得多。首先,我们训练N个随机架构以生成N个(架构,验证精度)对,并使用它们来训练回归模型,该回归模型基于架构预测精度。接下来,我们使用这个回归模型来预测大量随机架构的验证精度。最后,我们训练top-K预测架构,并部署具有最佳验证结果的模型。虽然这种方法看起来很简单,但在NASBench-101基准测试中,它的样本效率是正则化进化的20倍以上,并且可以在ImageNet上与基于权重共享的更复杂的方法(如ProxylessNAS)竞争。
2019-12-02 cs.LG stat.ML
Learning "best" kernels from data in Gaussian process regression. With application to aerodynamics
ONERA–The French Aerospace Lab(法国航空航天实验室(ONERA));California Institute of Technology(加州理工学院)
介绍了高斯过程回归/克里格替代建模技术中核函数的选择和设计算法。我们采用核方法在特定的函数空间,即再生核希尔伯特空间(RKHS)中设置解,来解决给定观测值的正则目标函数的逼近问题,即监督学习。第一类算法是核流,其在机器学习中的分类的上下文中被引入。它可以被看作是一个交叉验证过程,其中一个“最好的”内核被选择,使得删除数据集的一部分(通常是一半)所带来的准确性损失最小化。第二类算法被称为谱核岭回归,其目的是选择“最佳”核,使得要近似的函数的范数在相关联的RKHS中是最小的。在默瑟定理的框架内,我们得到了一个明确的建设,“最好的”内核的主要功能的目标函数。这两种方法的学习核数据的合成测试功能的数值例子说明,并在一个经典的测试情况下,跨音速流动的二维翼型的湍流模型验证。
2022-08-31 cs.LG stat.ML
Early stopping and polynomial smoothing in regression with reproducing kernels
Inria(法国国家信息与自动化研究所);Paris 1 Panthéon-Sorbonne University(巴黎第一先贤祠-索邦大学)
本文针对再生核希尔伯特空间中的迭代学习算法,提出一种基于最小差异原则且无需验证集的数据驱动早停规则,并证明其在有限秩和Sobolev类核空间上具有极小极大最优性,模拟实验表明其性能与V折交叉验证相当。
2024-11-22 cs.LG math.ST stat.ML
Consistent Risk Estimation in Moderately High-Dimensional Linear Regression
Columbia University(哥伦比亚大学);Baruch College, City University of New York(纽约城市大学巴鲁克学院)
风险评估是许多学习系统的核心。这个问题的重要性促使研究人员提出不同的方案,如交叉验证,广义交叉验证和Bootstrap。这种估计的理论性质已经在低维环境中得到了广泛的研究,其中预测因子$p$的数量远小于观测值$n$的数量。然而,一个统一的方法,伴随着一个严格的理论是缺乏在高维设置。本文研究了中等高维渐近设置$n,p \rightarrow \infty$和$n/p \rightarrow δ>1$($δ$为固定数)下的风险估计问题,证明了在数值研究中已经成功的三种风险估计的相容性,即,留一交叉验证(LOOCV)、近似留一(ALO)和基于近似消息传递(AMP)的技术。我们分析的基石是一个界限,我们从AMP和LOOCV获得的“残差”的差异。这种连接不仅使我们能够获得更精确的信息的估计AMP,ALO和LOOCV,但也提供了上界的收敛速度的每个估计。
2021-01-18 cs.LG math.ST stat.ML
Calibration of prediction rules for life-time outcomes using prognostic Cox regression survival models and multiple imputations to account for missing predictor data with cross-validatory assessment
Leiden University Medical Center(莱顿大学医学中心)
在本文中,我们扩大了方法,在Mertens等。al(2020,Biometrical Journal)的研究,该研究受删失的影响,并且当插补用于解释缺失值时。我们考虑的问题,缺失值可能会发生在校准数据以及新的预测观测(验证)。我们关注的是考克斯模型。描述了在删失的生存建模中将插补与预测校准相结合的方法。交叉验证的应用进行了讨论。我们展示了结论如何广泛地证实了第一篇仅限于二元结果研究的论文。具体来说,预测平均似乎具有优越的统计特性,特别是较小的预测变化,而不是直接应用鲁宾的规则。当使用鲁宾的基于规则的方法时,讨论了处理基线危险的不同方法。
2021-05-04 cs.LG stat.AP stat.ME
Comparing Classical and Quantum Machine Learning for Regression in High Energy Physics Collision Data
University of the Punjab(旁遮普大学);Universidad Michoacana de San Nicolás de Hidalgo(米却肯州圣尼古拉斯德伊达尔戈大学);Universidad del Bío-Bío(比奥比奥大学)
本研究对比经典与量子机器学习模型在高能物理对撞数据回归任务中的表现,发现量子模型参数效率更高,经典模型当前硬件下性能略优,为相关研究提供基准。
2026-08-31 cs.LG hep-ex hep-ph
Comparing Semi-Parametric Model Learning Algorithms for Dynamic Model Estimation in Robotics
German Aerospace Center (DLR)(德国航空航天中心(DLR))
机器人系统行为的物理建模是对许多机器人机构进行满意控制的基础。机构的设计通常也是以这样的方式进行的,即用相对简单的模型和模型识别策略就可以实现良好的模型精度。如果使用基于物理模型的建模精度不够或太复杂,基于机器学习技术的无模型方法可以提供帮助。因此,我们特别感兴趣的问题是,半参数建模技术,即物理模型与机器学习的结合,在多大程度上提高了逆动力学模型的建模精度,这些模型通常用于机器人控制。为此,我们评估了半参数高斯过程回归和一种新的基于模型的神经网络架构,并将其建模精度与一系列朴素的半参数、仅参数和非仅参数回归方法进行了比较。比较已进行了三个测试方案,一个涉及到一个真正的试验台和两个涉及到模拟的情况下,最复杂的情况下,针对模拟机器人的逆动力学模型建模。我们发现,除了一种情况外,在所有情况下,半参数高斯过程回归都能产生最准确的模型,而且训练过程几乎不需要调整。
2019-06-27 cs.LG cs.RO stat.ML