Functional Output Regression with Infimal Convolution: Exploring the Huber and $ε$-insensitive Losses
KU Leuven(鲁汶大学);Telecom Paris(巴黎电信学院);London School of Economics(伦敦政治经济学院)
本文的重点是函数输出回归(FOR)与卷积损失。虽然大多数现有的工作考虑平方损失设置,我们利用扩展的Huber和$ε$ -不敏感的损失(引起的infimal卷积),并提出了一个灵活的框架,能够处理各种形式的离群值和稀疏的FOR家庭。我们推导出计算上易于处理的算法依赖于对偶来解决由此产生的任务的上下文中的向量值再生核希尔伯特空间。该方法的效率证明和对比与经典的平方损失设置在合成和现实世界的基准。
2022-06-16 cs.LG stat.ML
$\ell_1$-regression with Heavy-tailed Distributions
Nanjing University(南京大学)
本文研究了重尾分布下的线性回归问题。与以往研究中使用损失平方来衡量绩效不同,本文选择了能够估计条件中位数的绝对损失。为了解决输入和输出都可能是重尾的挑战,我们提出了一个截断最小化问题,并证明了它具有$\widetilde{O}(\sqrt{d/n})$超额风险,其中$d$是维数,$n$是样本数。与传统的$\ell_1$ -回归方法相比,本文的主要优点是在不需要输入和输出的指数矩条件下,得到了高概率的风险界。此外,如果输入是有界的,我们表明,经典的经验风险最小化是称职的$\ell_1$ -回归,即使当输出是重尾。
2018-10-25 cs.LG stat.ML
A Unified Comparative Study with Generalized Conformity Scores for Multi-Output Conformal Regression
University of Mons(蒙斯大学);Royal Holloway, University of London(伦敦大学皇家霍洛威学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文在统一框架下比较了九种多输出共形回归方法,并提出两类广义一致性分数,在13个数据集上验证其覆盖性能与计算效率。
2025-02-03 cs.LG stat.ML
Elastic-Net Regularization in Learning Theory
在统计学习理论的框架内,我们详细分析了Zou和Hastie提出的用于选择相关变量组的所谓弹性网正则化方案。为了研究该方案的统计性质,特别是其一致性,我们建立了一个合适的数学框架。我们的设置是随机设计回归,其中我们允许响应变量是向量值,并且我们考虑预测函数,其是无限维字典中元素({ \em特征})的线性组合。假设回归函数在字典上有一个稀疏表示,我们证明了回归函数存在一个特定的"{ \em弹性网表示}“,使得如果数据数量增加,弹性网估计不仅对于预测而且对于变量/特征选择都是一致的。我们的结果包括有限样本界和自适应方案来选择正则化参数。此外,使用凸分析工具,我们推导出一个迭代阈值算法计算弹性网的解决方案,这是不同于最初提出的优化程序由邹和Hastie
2008-07-22 math.ST stat.ML stat.TH
The Regression Tsetlin Machine: A Tsetlin Machine for Continuous Output Problems
Centre for Artificial Intelligence Research(人工智能研究中心);University of Agder(阿格德大学)
最近推出的Tsetlin Machine(TM)在几个基准测试中提供了具有竞争力的模式分类精度,在命题逻辑中使用易于解释的合取子句组成模式。在本文中,我们超越模式分类,通过引入一种新的类型的TM,即回归Tsetlin机(RTM)。总之,我们修改了TM的内部推理机制,以便将输入模式转换为单个连续输出,而不是不同的类别。我们通过以下方式实现这一目标:(1)使用TM的合取子句来捕获任意复杂的模式;(2)通过新颖的投票和归一化机制将这些模式映射到连续输出;以及(3)采用更新TM子句的反馈方案来最小化回归误差。反馈方案使用一个新的激活概率函数,稳定更新的条款,而整个系统收敛到一个准确的输入输出映射。RTM的性能进行了评估,使用六个不同的人工数据集,有和没有噪音,与经典Tsetlin机(CTM)和多类Tsetlin机(MTM)。我们的实证结果表明,RTM获得了最好的训练和测试结果的噪声和无噪声数据集,具有较少的条款。这反过来又转化为更高的回归精度,使用更少的计算资源。
2019-06-21 cs.AI cs.LG stat.ML
Dynamic Structure Embedded Online Multiple-Output Regression for Stream Data
IBM Research-China(IBM中国研究院);Nanjing University of Information Science and Technology(南京信息工程大学);East China Normal University(华东师范大学)
在线多输出回归是一种重要的机器学习技术,用于建模、预测和压缩多维相关数据流。在本文中,我们提出了一种新的在线多输出回归方法,称为MORES,流数据。MORES可以\emph{dynamically}学习在每个更新步骤中系数变化的结构,以促进模型的连续细化。我们观察到,有限的表达能力的回归模型,特别是在初步阶段的在线更新,往往会导致变量的残差是相依的。鉴于这一点,MORES打算\emph{dynamically}学习并利用残差的结构来提高预测精度。此外,我们定义了三个统计变量\emph{exactly}来代表所有已知的样本,用于\emph{incrementally}计算每轮在线更新的预测损失,避免了将所有训练数据加载到内存中进行模型更新,也有效地防止了模型在噪声存在下的剧烈波动。此外,我们还引入了遗忘因子,对样本设置不同的权重,以便从最新的样本中快速跟踪数据流的演化特征。在一个合成数据集和三个真实数据集上的实验验证了该方法的有效性。此外,MORES的更新速度在三个真实世界的数据集上每秒至少处理2000个样本,比最先进的在线学习算法快15倍以上。
2015-09-08 cs.LG
Dictionary-Free MRI PERK: Parameter Estimation via Regression with Kernels
本文介绍了一种快速、通用的无字典核回归(PERK)参数估计方法,用于定量磁共振成像(QMRI)中的参数估计。PERK首先使用先验分布和非线性MR信号模型来模拟许多参数测量对。受机器学习的启发,PERK将这些参数-测量值对作为标记的训练点,并使用核函数和凸优化从中学习非线性回归函数。PERK承认一个简单的实现,即MRI测量值的每体素非线性提升,然后是线性最小均方误差回归。我们展示了PERK的$T_1,T_2$估计,一个经过充分研究的应用程序,它是简单的比较PERK估计对基于字典的网格搜索估计。数值模拟以及单片体模和体内实验表明,PERK和网格搜索产生相当的$T_1,T_2$估计在白质和灰质,但PERK始终是至少$23\times$更快。对于涉及每个体素更多潜在参数的全体积QMRI估计问题,该加速因子将增加几个数量级。
2017-10-06 eess.SP physics.med-ph stat.ML
From STLS to Projection-based Dictionary Selection in Sparse Regression for System Identification
AI Institute in Dynamic Systems, Department of Mechanical Engineering, University of Washington(动态系统人工智能研究所,机械工程系,华盛顿大学);Department of Mechanical Engineering, University of Hawai‘i at Mānoa(机械工程系,夏威夷大学马诺阿分校);Departamento de Matemática e Computação, Faculdade de Ciências e Tecnologia, Universidade Estadual Paulista “Júlio de Mesquita Filho”(数学与计算系,科技学院,保罗斯州立大学“朱利奥·梅斯奎塔·弗洛雷斯”分校)
本文提出基于评分的字典选择方法,提升动态系统识别的准确性和可解释性,适用于SINDy算法的改进。
2025-12-16 cs.LG math.OC physics.comp-ph
Pack only the essentials: Adaptive dictionary learning for kernel ridge regression
SequeL team, INRIA Lille - Nord Europe(SequeL团队,INRIA里尔-北欧)
本文提出SQUEAK算法,通过使用未归一化的RLS实现更高效的核岭回归近似,减少空间复杂度并简化计算过程。
2026-04-24 cs.LG stat.ML
Dynamic Screening: Accelerating First-Order Algorithms for the Lasso and Group-Lasso
最近的计算策略的基础上筛选测试已被提出来加速算法解决惩罚稀疏回归问题,如套索。这种方法建立在这样的想法上,即值得投入一些小的计算工作来定位不活跃的原子并在预处理阶段将它们从字典中移除,使得与较小的字典一起工作的回归算法随后将更快地收敛到初始问题的解决方案。我们相信有一种更有效的方法来筛选字典并获得更大的加速:在回归算法的每次迭代中,可以利用算法计算来免费获得新的筛选测试,并在迭代过程中增加筛选效果。从此以后,在第一次迭代之前,字典被动态地筛选,而不是被静态地、一劳永逸地筛选。我们正式这个动态筛选原则,在一个通用的算法方案,并应用它通过嵌入在一些一阶算法适应现有的筛选测试,以解决套索或新的筛选测试,以解决组套索。在大量的合成数据以及真实世界的声音和图像实验中评估了计算增益。它们显示了筛选效率和运行时间方面的增益。
2014-12-12 cs.LG stat.ML
Conditional Sparse Coding and Grouped Multivariate Regression
Carnegie Mellon University(卡内基梅隆大学);University of Chicago(芝加哥大学)
我们研究的问题,多元回归的数据是自然分组,回归矩阵是估计为每组。我们提出了一种方法,在该方法中,低秩参数矩阵的字典估计跨组,和字典元素的稀疏线性组合估计在每个组内形成一个模型。我们将该方法称为条件稀疏编码,因为它是以协变量向量X为条件的响应向量Y的编码过程。这种方法捕获跨组的共享信息,同时适应每个组内的结构。它利用了在计算机视觉和计算神经科学中成功开发的稀疏编码背后的相同直觉。我们提出了一种算法的条件稀疏编码,分析其理论性质的预测精度,并提出了模拟和脑成像实验的结果,比较新技术,以减少秩回归。
2012-06-27 cs.LG stat.ML
Self-Dictionary Sparse Regression for Hyperspectral Unmixing: Greedy Pursuit and Pure Pixel Search are Related
本文考虑了最近出现的高光谱解混配方的基础上稀疏回归的自字典多测量向量(SD-MMV)模型,其中测量的高光谱像素被用作字典。在纯像素假设下操作,这种SD-MMV形式主义是特殊的,因为它允许同时识别端元光谱特征和端元的数量。以前的SD-MMV研究主要集中在凸松弛。在这项研究中,我们探讨了贪婪追求的替代方案,它通常提供了高效和简单的算法。特别是,我们设计了一个贪婪的SD-MMV算法使用同时正交匹配追踪。有趣的是,所提出的贪婪算法被证明是密切相关的一些现有的纯像素搜索算法,特别是,连续投影算法(SPA)。因此,SD-MMV和纯像素搜索之间的联系被揭示出来。然后,我们进行精确的恢复分析,并证明所提出的贪婪算法是强大的噪声-包括其识别的(未知)数量的端元-在一个足够低的噪声水平。通过仿真实验和实际数据实验验证了该算法的辨识性能。
2015-03-03 cs.IT math.IT math.OC
Semiblind Hyperspectral Unmixing in the Presence of Spectral Library Mismatches
字典辅助稀疏回归(SR)方法最近出现作为一个有前途的替代高光谱分解(HU)在遥感。通过使用可用的光谱库作为字典,SR方法通过选择字典中的光谱样本的小子集来表示整个图像,从而识别给定高光谱图像中的底层材料。当前SR发展的缺点是场景中的实际光谱签名通常被假设为其对应的字典样本具有零失配,并且这种假设在实践中被认为太理想。在本文中,我们提出了一个字典调整的非凸稀疏鼓励回归(DANSER)框架来解决光谱签名失配问题。其主要思想是将字典校正变量在SR制定。针对DANSER的实际实现,设计了一种简单且每次迭代复杂度低的算法。利用相同的字典校正思想,我们还提出了一个强大的子空间解决方案的字典修剪。大量的仿真和实际数据实验表明,所提出的方法是有效的,在减轻不良的光谱特征失配的影响。
2015-07-07 stat.ML
Multi-task additive models with shared transfer functions based on dictionary learning
Ecole Polytechnique Federale de Lausanne (EPFL)(洛桑联邦理工学院);IBM Research(IBM研究院)
加法模型是一类广泛流行的回归模型,它将协变量和响应变量之间的关系表示为低维传递函数之和。除了灵活性和准确性之外,这些模型的一个主要优点是它们的可解释性:传递函数提供了检查模型和识别输入和输出之间特定领域关系的可视化手段。然而,在涉及许多相关任务预测的大规模问题中,独立学习加性模型会导致模型可解释性的丧失,并且在训练数据稀缺时可能导致过拟合。我们介绍了一种新的多任务学习方法,该方法为大量相关的预测任务提供了准确和可解释的添加剂模型。我们的核心思想是在模型之间共享传递函数,以降低模型的复杂性和简化语料库的探索。我们建立了与稀疏字典学习的连接,并提出了一种新的高效拟合算法,该算法在稀疏编码和传递函数更新之间交替进行。前一步是解决通过正交匹配追踪,其性质进行了分析,使用一种新的恢复条件,扩展现有的文献中的结果的扩展。后一步使用传统的字典更新规则来解决。在真实数据上的实验表明,我们的方法与基线方法相比毫不逊色,同时产生了可解释的模型语料库,揭示了各个任务之间的结构,并且在训练数据稀缺时更加鲁棒。因此,我们的框架将添加剂模型的众所周知的好处扩展到可能涉及数千个任务的常见回归设置。
2015-05-19 cs.LG stat.ML
Bayesian Nonparametric Covariance Regression
虽然有丰富的文献中的方法,允许在一个单变量回归模型的方差随预测因子,时间和其他因素而变化,相对较少的多变量的情况下做。我们的重点是发展一类非参数协方差回归模型,它允许一个未知的p × p协方差阵灵活地改变预测。所提出的建模框架通过因子模型中依赖于预测因子的载荷矩阵的先验,在由预测因子索引的协方差阵集合上诱导先验。特别地,依赖于预测器的加载被表征为未知字典函数(例如,高斯过程随机函数)的集合的稀疏组合。然后,诱导协方差是这些字典元素的正则化二次函数。我们提出的框架导致了一个高度灵活的,但计算上易于处理的配方与简单的共轭后验更新,可以很容易地处理缺失数据。理论特性进行了讨论,并通过模拟研究和应用程序的谷歌流感趋势数据的方法进行说明。
2011-02-08 stat.ME stat.ML
Fast multi-output relevance vector regression
Adam Smith Business School, University of Glasgow(格拉斯哥大学亚当·斯密商学院)
将多输出相关向量回归的时间复杂度从O(VM^3)降低到O(V^3+M^3),其中V是输出维数,M是基函数个数,V<M.实验结果表明,该方法是更有竞争力的比现有的方法,在计算时间方面。MATLAB代码可在http://www.mathworks.com/matlabcentral/fileexchange/49131上获得。
2017-04-17 cs.LG stat.ML
Gradient tree boosting with random output projections for multi-label classification and multi-output regression
University of Liège(列日大学)
在监督学习的许多应用中,必须联合预测多个分类或回归输出。我们考虑几个扩展的梯度提升来解决这些问题。我们首先提出了一个简单的适应梯度提升利用多个输出回归树作为基本学习者。然后,我们认为,这种方法预计只有在输出完全相关时才是最优的,因为它迫使树基学习器引起的分区被所有输出共享。然后,我们提出了一种新的梯度树提升扩展来专门解决这个问题。在这种新方法的每次迭代中,生长回归树结构以拟合当前残差的单个随机投影,并且该树的预测独立地线性拟合所有输出的当前残差。由于这种线性拟合,该方法可以自动适应任何输出相关结构。用这种方法进行了广泛的实验,以及其他算法的变种,在几个人工和真实的问题。随机投影的输出空间,以提供一个更好的适应不同的输出相关模式,因此在大多数情况下,最好的其他方法的竞争力。由于模型共享,收敛速度也得到了提高,减少了计算时间(或模型的复杂性),以达到特定的精度。
2019-05-18 cs.LG stat.ML
Deep Ordinal Regression using Optimal Transport Loss and Unimodal Output Probabilities
Yale University(耶鲁大学);Bar Ilan University(巴伊兰大学)
通常期望有序回归模型产生单峰预测。然而,在最近的许多作品中,这种特性要么不存在,要么使用软目标实现,这并不能保证推理时的单峰输出。此外,我们认为,标准的极大似然目标是不适合的顺序回归问题,最佳运输更适合这项任务,因为它自然捕捉类的顺序。在这项工作中,我们提出了一个框架,深度有序回归,基于单峰输出分布和最优运输损失。受著名的比例赔率模型的启发,我们建议修改其设计,通过使用一个架构机制,保证模型的输出分布将是单峰的。我们实证分析了我们提出的方法的不同组成部分,并展示了它们对模型性能的贡献。在八个真实世界数据集上的实验结果表明,我们提出的方法与最近提出的几种具有单峰输出概率的深度有序回归深度学习方法的性能一致,并且往往优于这些深度学习方法,同时保证了输出单峰性。此外,我们证明了所提出的方法是不那么过度自信比目前的基线。
2021-11-18 cs.LG stat.ML
Vector-Valued Least-Squares Regression under Output Regularity Assumptions
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI);INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research(PSL研究大学);Université de Toulouse(图卢兹大学);INRAE(法国国家农业食品与环境研究院);Aalto University(阿尔托大学)
提出并分析了一种求解无穷维输出最小二乘回归问题的降秩方法。我们推导出我们方法的学习界限,并研究与满秩方法相比,在哪些设置下统计性能得到提高。我们的分析扩展了降秩回归的兴趣超出了标准的低秩设置更一般的输出规律性假设。我们说明了我们的理论见解合成最小二乘问题。然后,我们提出了一个替代结构化预测方法来自这种降秩方法。我们评估了它在三个不同问题上的好处:图像重建,多标签分类和代谢物识别。
2022-11-16 cs.LG stat.ML
Leveraging Probabilistic Circuits for Nonparametric Multi-Output Regression
TU Darmstadt(达姆施塔特工业大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Aalto University(阿尔托大学);Centre for Cognitive Science TU Darmstadt(达姆施塔特工业大学认知科学中心);Hessian Center for AI (hessian.AI)(黑森人工智能中心(hessian.AI))
受高斯过程(GP)的专家近似领域的最新进展的启发,我们提出了一种基于专家的方法,使用单输出GP专家的大规模多输出回归。采用通过概率电路编码的单输出GP的深度结构化混合物,使我们能够准确地捕获多个输出维度之间的相关性。通过递归地划分协变量空间和输出空间,我们模型中的后验推理简化为对单输出GP专家的推理,这只需要以观察结果的一小部分为条件。我们表明,在我们的模型中可以准确有效地进行推理,它可以捕获输出维度之间的相关性,因此,通常优于不包含输出间相关性的方法,如在负对数预测密度方面的几个数据集上所示。
2021-08-01 cs.LG stat.ML
Weakly-supervised Multi-output Regression via Correlated Gaussian Processes
University of Michigan(密歇根大学)
提出基于相关高斯过程的弱监督多输出回归模型,利用不完整组别标签或先验信念提升预测精度,在缺失标签场景表现优异并具公平推断潜力。
2022-05-23 cs.LG stat.ML
Generalized Multi-Output Gaussian Process Censored Regression
Technical University of Denmark(丹麦技术大学)
当对删失观测建模时,当前回归方法中的典型方法是使用删失高斯(即Tobit)模型来描述条件输出分布。在本文中,在缺失数据的情况下,我们认为,利用多个输出之间的相关性,可以使模型更好地解决由删失数据引入的偏差。为此,我们引入了一个异方差多输出高斯过程模型,该模型结合了GP的非参数灵活性和在依赖于输入的噪声条件下利用相关输出信息的能力。为了解决由此产生的推理棘手,我们进一步设计了一个变分的边界适合于随机最优化的边际对数似然。我们根据经验评估我们的模型对其他生成模型的审查数据的合成和现实世界的任务,并进一步展示它如何可以推广到处理任意似然函数。结果表明,增加的灵活性如何使我们的模型能够更好地估计潜在的非删失(即真实)过程下潜在的复杂的删失动态。
2022-05-04 cs.LG stat.ML
Determining input variable ranges in Industry 4.0: A heuristic for estimating the domain of a real-valued function or trained regression model given an output range
Vicomtech;Dominion Solutions
工业过程控制系统试图将输出变量保持在目标值周围的给定容差内。PID控制系统在工业中已被广泛用于控制输入变量,以达到这一目标。然而,这种基于传递函数的方法不能扩展到复杂的过程,其中输入数据可能是非数字的、高维的、稀疏的等。在这种情况下,仍然需要确定产生给定范围内的输出的输入数据的子空间。本文提出了一种非随机启发式方法来确定给定输出范围的数学函数或训练回归模型的输入值。所提出的方法创建具有指示输出是否在给定目标范围内的类标签的输入组合的合成训练数据集合。然后,使用决策树分类器来确定感兴趣的输入数据的子空间。这种方法比传统的控制器更通用,因为输出的目标范围不必以参考值为中心,并且它可以应用于给定输出变量的回归模型,该模型可以具有分类变量作为输入,并且可以是高维的,稀疏的。所提出的启发式验证与一个真实的用例,其中的层压工厂的质量建立,以确定合适的子空间的生产变量值的概念证明。
2019-04-03 cs.LG stat.ML
Enforcing Calibration in Multi-Output Probabilistic Regression with Pre-rank Regularization
本研究提出一种通用正则化框架,通过惩罚预秩概率积分变换偏离均匀分布,在训练中强制多输出概率回归的多元校准,并引入PCA预秩,在18个数据集上显著提升校准且不损精度。
2025-10-27 cs.LG stat.ML
Adversarial Orthogonal Regression: Two non-Linear Regressions for Causal Inference
Sharif University of Technology(谢里夫理工大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出了两种非线性回归方法,命名为对抗正交回归(AdOR)的加性噪声模型和对抗正交结构方程模型(AdOSE)的一般情况下的结构方程模型。这两种方法都试图使回归残差与回归变量无关,同时不对噪声分布作任何假设。在这两种方法中,同时训练两个对抗网络,其中回归网络输出预测,损失网络估计互信息(在AdOR中)和KL发散(在AdOSE中)。这些方法可以被公式化为一个极大极小两人博弈;在均衡时,AdOR发现输入和输出之间的确定性映射,并估计残差和输入之间的互信息,而AdOSE估计给定输入的输出的条件概率分布。所提出的方法可以用作子程序来解决因果关系中的几个学习问题,例如因果方向确定(或更一般地,因果结构学习)和因果模型估计。合成和真实世界的实验表明,所提出的方法具有显着的性能相对于以前的解决方案。
2019-09-10 cs.LG stat.ML
Scalable Variational Gaussian Process Regression Networks
University of Utah(犹他大学);School of Computing(计算学院);Scientific Computing and Imaging Institute(科学计算与成像研究所)
高斯过程回归网络(GPRN)是多输出回归的强大贝叶斯模型,但其推理是棘手的。为了解决这个问题,现有方法在所有输出和潜函数上使用完全分解的结构(或这种结构的混合)进行后验近似,然而,这可能会错过潜变量之间的强后验依赖性并损害推理质量。此外,变分参数的更新是低效的,并且对于大量的输出来说可能是非常昂贵的。为了克服这些局限性,我们提出了一个可扩展的变分推理算法的GPRN,它不仅捕获了丰富的后验依赖关系,但也是更有效的大规模输出。我们张量化的输出空间,并引入张量/矩阵正常变分后验捕获的后验相关性,并减少参数。我们共同优化所有的参数,并利用固有的克罗内克积结构的变分模型证据下界,以加快计算。我们证明了我们的方法在几个现实世界中的应用的优势。
2020-05-18 cs.LG stat.ML
Multi-Step-Ahead Time Series Prediction using Multiple-Output Support Vector Regression
对未来较长时间内的时间序列进行准确预测是一项具有挑战性的工作,对从业者和学者都有很大的兴趣。支持向量回归机(SVR)作为一种著名的智能算法,其标准形式可用于时间序列的多步预测,只需依赖迭代策略或直接策略。提出了一种新的基于多输入多输出(MIMO)预测策略的多输出支持向量回归(M-SVR)时间序列预测方法。此外,还对支持向量回归机的三种主要预测策略的排序进行了比较,为支持向量回归机作为建模技术时多步预测策略的选择提供了实际意义。所提出的方法进行了验证与模拟和真实的数据集。根据预测精度和计算成本进行定量和综合评估。结果表明:1)采用MIMO策略的M-SVR在计算量较大的情况下获得了最佳的预测精度; 2)采用直接策略的标准SVR获得了次佳的预测精度,但计算量最大; 3)采用迭代策略的标准SVR在预测精度方面最差,但计算量最小。
2014-01-11 cs.LG stat.ML
Solving Sparse \& High-Dimensional-Output Regression via Compression
National University of Singapore(新加坡国立大学);Google(谷歌)
本文针对高维多输出回归的可解释性与计算扩展性问题,提出稀疏高维输出回归模型SHORE及基于输出压缩的两阶段优化框架,在保持损失同阶的前提下实现高效求解。
2024-10-21 cs.LG math.OC stat.ML
Deep Sketched Output Kernel Regression for Structured Prediction
LTCI, Télécom Paris(电信巴黎理工学院 LTCI 实验室);IP Paris(巴黎理工学院);University of Milan(米兰大学)
本文提出深度草图输出核回归,用随机近似核协方差算子的特征函数构造有限维输出子空间,使神经网络可借助核诱导损失和梯度下降完成结构化预测。
2024-06-13 cs.LG stat.ML
Conformal Prediction via Regression-as-Classification
RIKEN Center for AI Project(理化学研究所人工智能项目中心);SambaNova Systems(桑巴诺瓦系统公司);Salesforce(赛富时公司);Apple(苹果公司)
针对回归共形预测在异方差等输出分布下的不稳定问题,提出将回归转分类并优化损失与分类CP技术的方法,在多基准上取得优异效果。
2024-04-12 cs.LG stat.ML
Stability of Multi-Task Kernel Regression Algorithms
Aix-Marseille University(艾克斯-马赛大学);CNRS(法国国家科学研究中心)
在具有算子核的再生Hilbert空间中研究了非线性多任务回归的稳定性。这样的内核,也称为多任务内核适用于具有非标量输出的学习问题,如多任务学习和结构化输出预测。我们证明了多任务核回归算法在无限维输出空间的一般情况下是一致稳定的。然后,我们推导出在温和的假设下的核广义界的算法,我们证明了它们的一致性,甚至与非Hilbert-Schmidt算子值的内核。我们演示了如何将结果应用于各种多任务核回归方法,如向量值SVR和函数岭回归。
2013-06-17 cs.LG stat.ML
Active Learning for Regression with Aggregated Outputs
NTT Communication Science Laboratories(NTT通信科学实验室)
由于隐私保护或数据收集的困难,我们无法观察每个实例的单独输出,但我们可以观察在一些现实世界应用程序中对多个实例进行汇总的聚合输出。为了降低这种聚合数据的回归模型训练的标记成本,我们提出了一种主动学习方法,该方法顺序选择要标记的集合,以提高具有较少标记集合的预测性能。对于选择度量,该方法使用互信息,通过观察聚合输出来量化模型参数的不确定性的减少。利用贝叶斯线性基函数对给定输入的输出进行建模,包括近似高斯过程和神经网络,我们可以有效地计算封闭形式的互信息。通过使用不同数据集的实验,我们证明了所提出的方法比现有方法具有更少的标记集,实现了更好的预测性能。
2022-10-04 cs.AI cs.LG stat.ML
Gaussian Process Latent Factor Regression for Low-Data, High-Dimensional Output Problems
University of Cambridge(剑桥大学);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Oxford(牛津大学);University of Exeter(埃克塞特大学)
提出高斯过程潜在因子回归(GPLFR)模型,通过将输出表示为低维潜在状态的线性高斯解码,联合优化压缩与预测,解决低数据高维输出回归问题,并首次构建岩石系外行星全球气候模型的空间分辨仿真器。
2026-07-08 astro-ph.EP astro-ph.IM cs.LG
The Gaussian Process Autoregressive Regression Model (GPAR)
多输出回归模型必须利用输出之间的依赖关系,以最大限度地提高预测性能。将高斯过程(GP)应用于这种设置通常会产生计算要求高且代表性有限的模型。我们提出了高斯过程自回归回归(GPAR)模型,一个可扩展的多输出GP模型,能够捕获非线性,可能是输入变化,输出之间的依赖关系,在一个简单和易于处理的方式:产品规则是用来分解的联合分布的输出到一组条件,其中每个是由一个标准的GP建模。GPAR的功效在各种合成和现实世界的问题上得到了证明,表现优于现有的GP模型,并在既定的基准上实现了最先进的性能。
2019-02-25 stat.ML
Output-weighted optimal sampling for Bayesian regression and rare event statistics using few samples
Massachusetts Institute of Technology(麻省理工学院)
对于许多重要问题,感兴趣的量是参数的未知函数,这是具有已知统计量的随机向量。由于输出对该随机向量的依赖性是未知的,因此挑战在于使用最少数量的函数求值来识别其统计信息。这个问题可以在主动学习或最佳试验设计的背景下看到。我们采用贝叶斯回归表示由于有限和少量的输入输出对导出的模型的不确定性。在这种情况下,我们评估现有的最佳样本选择方法,如模型误差最小化和互信息最大化。我们发现,对于已知的输出方差的情况下,在文献中常用的标准不考虑现有的输入输出对的输出值,而对于未知的输出方差的情况下,这种依赖性可以是非常弱的。我们引入了一个标准,考虑到现有的样本的输出值,并自适应地选择输入的参数空间的区域有重要贡献的输出。新方法允许应用到高维输入,铺平了道路,在高维的最佳试验设计。
2019-11-30 cs.LG stat.AP stat.CO
Multiple Output Regression with Latent Noise
在高维数据中,由同时影响多个目标变量的观测和未观测因素引起的结构化噪声通过掩盖通常较弱的信号而对建模提出了严峻的挑战。因此,(1)解释多输出回归中的结构噪声是至关重要的。此外,(2)需要对回归权重的相关结构进行假设。我们注意到,两者都可以在潜变量模型中以自然的方式制定,其中感兴趣的信号和噪声都是通过相同的潜因子介导的。在这种假设下,信号模型通过鼓励对相关目标的类似影响,从噪声模型中借用强度。我们引入了一个超参数的\emph{latent signal-to-noise ratio},这是重要的建模弱信号,和一个有序的无限维收缩前,解决了旋转不可识别的降秩回归模型。代谢物,基因表达,功能磁共振成像测量,和宏观经济时间序列数据的模拟和预测实验表明,我们的模型等于或超过国家的最先进的性能,特别是,优于假设独立的噪声和信号模型的标准方法。
2016-02-03 stat.ML
Multivariate Gaussian and Student$-t$ Process Regression for Multi-output Prediction
向量值函数的高斯过程模型已被证明是有用的多输出预测。该模型的现有方法是将矩阵变量高斯分布重新表示为多元正态分布。虽然它在许多情况下是有效的,但重新公式化并不总是可行的,并且难以应用于其他分布,因为不是所有的矩阵变量分布都可以转换为相应的多变量分布,例如矩阵变量Student $-t$分布的情况。在本文中,我们提出了一个统一的框架,它不仅用于引入一个新的多元学生$-t$过程回归模型(MV-TPR)的多输出预测,但也重新制定的多元高斯过程回归(MV-GPR),克服了现有方法的一些局限性。MV-GPR和MV-TPR在这个统一的框架下都具有边缘似然和预测分布的封闭形式表达式,因此可以采用与常规GPR中使用的相同的优化方法。通过几个模拟和真实数据的例子说明了所提出的方法的实用性。特别是,我们通过经验验证MV-TPR对于所考虑的数据集具有优越性,包括空气质量预测和自行车租金预测。最后,所提出的方法被证明是在股票市场上产生有利可图的投资策略。
2019-01-06 stat.ML
Ultra-high Dimensional Multiple Output Learning With Simultaneous Orthogonal Matching Pursuit: A Sure Screening Approach
我们提出了一个新的应用程序的同时正交匹配追踪(S-OMP)过程中的稀疏变量选择超高维多任务回归问题。在\cite{fan08sis}中引入的变量筛选是一种有效且高度可扩展的方法,用于从所有变量的集合中删除许多不相关的变量,同时保留所有相关变量。S-OMP可以应用于具有数十万个变量的问题,并且一旦变量的数量减少到可管理的大小,则可以使用计算要求更高的程序来识别每个回归输出的相关变量。据我们所知,这是第一次尝试利用多个输出的相关性来执行相关变量的快速筛选。作为我们的主要理论贡献,我们证明,渐近,S-OMP是保证减少超高数量的变量,低于样本量,而不会失去真正的相关变量。我们还提供了正式的证据表明,修改后的贝叶斯信息准则(BIC)可以用来有效地确定在S-OMP的迭代次数。我们进一步提供经验证据的好处,变量选择使用多个回归输出联合,而不是单独执行变量选择每个输出。S-OMP的有限样本性能证明了广泛的模拟研究,并在遗传关联映射问题。$Keywords$自适应套索;贪婪前向回归;正交匹配追踪;多输出回归;多任务学习;同时正交匹配追踪;确定筛选;变量选择
2010-12-17 stat.ML
Exact and Approximate Conformal Inference for Multi-Output Regression
Air Force Institute of Technology(空军理工学院);Georgia Institute of Technology(佐治亚理工学院);Apple(苹果公司)
针对多输出回归中共形推断计算成本高的问题,推导了线性预测模型下共形推断p值的精确形式,并提出unionCP与多元rootCP两种高效近似方法,经理论和实验验证有效。
2024-06-22 cs.LG math.ST stat.CO