Intrinsic Gaussian Process Regression Modeling for Manifold-valued Response Variable
International Institute of Finance, School of Management, University of Science and Technology of China（中国科学技术大学管理学院国际金融学院）；Department of Statistics and Data Science, College of Science, Southern University of Science and Technology（南方科技大学理学院统计与数据科学系）
针对流形值响应变量复杂数据缺乏内在高斯过程方法的问题，本文提出基于黎曼流形平行传输算子的内在协方差结构及新回归模型，建立其渐近性质并通过数值研究验证效果。
2025-02-09 cs.LG stat.ML
Optimal Rates for Vector-Valued Spectral Regularization Learning Algorithms
Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学单元）；University College London（伦敦大学学院）；Merantix Momentum
本研究针对向量值谱正则化算法，推导了岭回归饱和效应的新下界，并给出了设定正确与错误情形下极小极大最优的有限样本风险上界，支持无限维输出。
2024-05-23 cs.LG stat.ML
Vector-Valued Least-Squares Regression under Output Regularity Assumptions
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research（PSL研究大学）；Université de Toulouse（图卢兹大学）；INRAE（法国国家农业食品与环境研究院）；Aalto University（阿尔托大学）
提出并分析了一种求解无穷维输出最小二乘回归问题的降秩方法。我们推导出我们方法的学习界限，并研究与满秩方法相比，在哪些设置下统计性能得到提高。我们的分析扩展了降秩回归的兴趣超出了标准的低秩设置更一般的输出规律性假设。我们说明了我们的理论见解合成最小二乘问题。然后，我们提出了一个替代结构化预测方法来自这种降秩方法。我们评估了它在三个不同问题上的好处：图像重建，多标签分类和代谢物识别。
2022-11-16 cs.LG stat.ML
Stability of Multi-Task Kernel Regression Algorithms
Aix-Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
在具有算子核的再生Hilbert空间中研究了非线性多任务回归的稳定性。这样的内核，也称为多任务内核适用于具有非标量输出的学习问题，如多任务学习和结构化输出预测。我们证明了多任务核回归算法在无限维输出空间的一般情况下是一致稳定的。然后，我们推导出在温和的假设下的核广义界的算法，我们证明了它们的一致性，甚至与非Hilbert-Schmidt算子值的内核。我们演示了如何将结果应用于各种多任务核回归方法，如向量值SVR和函数岭回归。
2013-06-17 cs.LG stat.ML
Sample Compression for Real-Valued Learners
Princeton（普林斯顿大学）；Ben-Gurion University（本-古里安大学）
我们在Moran和Yehudayoff（2016）中给出了学习者到压缩方案转换的算法有效版本。在将这种技术扩展到实值假设时，我们还获得了一个高效的回归到有界样本压缩转换器。据我们所知，这是第一个一般的压缩回归结果（无论效率或有界性），保证一致的近似重建。一路上，我们开发了一个通用的程序，用于构建弱实值学习抽象回归;这可能是独立的利益。特别是，这一结果揭示了一个开放的问题H。Simon（1997年）。我们展示了两个回归问题的应用：学习Lipschitz和有界变差函数。
2018-05-21 cs.LG stat.ML
Towards Optimal Sobolev Norm Rates for the Vector-Valued Regularized Least-Squares Algorithm
Gatsby Computational Neuroscience Unit（盖特立计算神经科学单元）；University College London（伦敦大学学院）；Merantix Momentum；Merantix AI Campus（Merantix AI园区）
本文研究无穷维向量值核岭回归，利用向量值插值空间的张量积构造刻画光滑性，在错误设定下建立与输出维数无关且多数情形最优的连续范数速率。
2024-08-06 cs.LG stat.ML
Metric space valued Fréchet regression
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Université Paris-Saclay, CNRS, Univ Evry, Laboratoire de Mathématiques et Modélisation d’Evry（巴黎萨克雷大学，法国国家科学研究中心，埃夫里大学，埃夫里数学与建模实验室）；Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189, CRIStAL（里尔大学，法国国家信息与自动化研究所，法国国家科学研究中心，里尔中央理工学院，CRIStAL实验室）；LPSM of Sorbonne University（索邦大学LPSM）
本文提出适用于任意分离度量空间的弗雷歇均值估计器，以及适用于巴纳赫空间的条件弗雷歇均值估计器，均证明了其通用一致性。
2026-02-05 math.ST stat.ML stat.TH
Dimension Reduction for Fréchet Regression
随着数据采集技术的快速发展，在新的统计应用中经常会遇到不在欧氏空间中的复杂数据对象。Fréchet回归模型（Peterson & Müller 2019）为具有度量空间值响应的回归分析提供了一个有前途的框架。本文提出了一种灵活的充分降维（SDR）方法，用于Fréchet回归，以达到两个目的：减轻高维预测因子引起的维数灾难和为Fréchet回归提供一种直观的检验工具。我们的方法足够灵活，可以将任何现有的欧氏（X，Y）SDR方法转换为欧氏X和度量空间值Y的SDR方法。基本思想是首先使用一类函数将度量空间值随机对象$Y$映射到实值随机变量$f(Y)$，然后对变换后的数据执行经典SDR。如果函数的类足够丰富，那么我们保证可以发现Fréchet SDR空间。我们证明了这样一个类，我们称之为合奏，可以产生一个通用的内核。我们建立了所提出的方法的一致性和渐近收敛速度。所提出的方法的有限样本性能的几个常见的度量空间，包括Wasserstein空间，对称正定矩阵的空间，和球的模拟研究。我们通过探索各国的人类死亡率分布数据和研究血肿密度的分布来说明我们方法的数据可视化方面。
2022-12-06 math.ST stat.ME stat.ML
Robust Geodesic Regression
Seoul National University（首尔大学）
研究了黎曼流形上数据的稳健回归问题。测地线回归是将线性回归推广到具有流形值因变量和一个或多个实值自变量的设置。现有的测地线回归工作使用平方和误差来找到解决方案，但在经典的欧几里德的情况下，最小二乘法是高度敏感的离群值。在本文中，我们使用M-型估计，包括$L_1$，Huber和Tukey双权估计，进行稳健测地回归，并描述如何计算后两者的调整参数。我们还表明，在紧凑的对称空间，所有的M型估计是极大似然估计，并认为整体的优越性的$L_1$估计的$L_2$和Huber估计的高维流形和Tukey biwight估计紧凑的高维流形。数值例子的结果，包括真实的神经影像数据的分析，证明了所提出的方法有前途的经验性质。
2022-01-25 cs.LG stat.ME stat.ML
Partial Trace Regression and Low-Rank Kraus Decomposition
Aix-Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；LIS（计算机科学与系统实验室）；Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）；Université Rouen Normandie（鲁昂诺曼底大学）；LITIS（信息处理与系统实验室）；Criteo AI Lab（Criteo人工智能实验室）
迹回归模型是线性回归模型的直接扩展，允许将矩阵映射到实值输出。我们在这里介绍一个更一般的模型，即部分迹回归模型，一个从矩阵值输入到矩阵值输出的线性映射族;这个模型包含迹回归模型，因此包含线性回归模型。借用工具，从量子信息论，其中部分跟踪运营商已被广泛研究，我们提出了一个框架，学习部分跟踪回归模型的数据，利用所谓的低秩克劳斯表示完全正的地图。我们展示了我们的框架与合成和真实世界实验的相关性，这些实验针对i）矩阵到矩阵回归和ii）半正定矩阵完成，这两个任务可以被公式化为部分迹回归问题。
2020-08-25 cs.LG quant-ph stat.ML
Learning nonparametric differential equations with operator-valued kernels and gradient matching
IRSN（法国辐射防护与核安全研究所）；Institut Mines-Télécom（矿业电信学院）；Télécom ParisTech（巴黎高等电信学校）
用常微分方程对动态系统建模意味着对动态过程的机械论观点。然而，在许多情况下，这些知识是不可用的。为了克服这个问题，我们引入了一个一般的框架，非参数常微分方程模型，使用惩罚回归再生核希尔伯特空间（RKHS）的基础上操作值的内核。此外，我们将梯度匹配方法的范围扩展到非参数常微分方程。建立了一个光滑的估计的解决方案ODE提供一个近似的导数的ODE解决方案，这反过来又被用来学习非参数ODE模型。这种方法受益于RKHS中惩罚回归的灵活性，允许岭或（结构化）稀疏回归。在3个不同的ODE系统上显示了非常好的结果。
2014-11-19 cs.LG stat.ML
Proper Complex Gaussian Processes for Regression
University of Seville（塞维利亚大学）
复值信号用于工程和科学中许多系统的建模，因此具有根本的意义。通常，随机复值信号被认为是适当的。一个真正的复随机变量或过程与它的复共轭是不相关的。在许多问题中，这个假设是基本物理的一个很好的模型，并且简化了计算。虽然线性处理和神经网络已被广泛研究这些信号，复值非线性核方法的发展仍然是一个悬而未决的问题。在本文中，我们提出回归高斯过程作为开发1）适当复值核回归的解决方案和2）使用互协方差的卷积方法设计复值输入的再生核的框架。在这种设计中，我们注意保持，在复杂的域，附近的输入之间的相似性的措施。学习核的超参数，使用Wirtinger导数最大化边际似然。此外，该方法连接到多输出学习场景。在包括的实验中，我们首先解决了一个适当的复高斯过程，其中互协方差不抵消，当处理适当的复信号时，这是一个具有挑战性的场景。然后，我们成功地使用这些新的结果来解决以前提出的一些问题，在文献中作为基准，报告的估计误差显着改善。
2015-02-18 cs.LG stat.ML
Evolutionary Inference for Function-valued Traits: Gaussian Process Regression on Phylogenies
Imperial College London（帝国理工学院）；University of Manchester（曼彻斯特大学）
生物学数据对象通常具有以下两个特征：（i）它们是函数而不是单个数字或向量，以及（ii）它们由于系统发育关系而相关。在本文中，我们给出了一个灵活的统计模型，这样的数据，通过结合假设从遗传学与高斯过程。我们描述了它作为一个非参数贝叶斯先验分布的使用，无论是预测（放置后验分布的祖先的功能）和模型选择（比较进化率跨越一个遗传，或确定最有可能的遗传与观察到的数据一致）。我们的工作是综合性的，将流行的系统发育布朗运动和Ornstein-Uhlenbeck模型扩展到功能数据和贝叶斯推断，并将高斯过程回归扩展到遗传学。我们提供了一个简单的说明我们的方法的应用。
2012-08-03 cs.LG physics.data-an q-bio.QM
Metric-valued regression
本文提出了一种在两个度量空间间学习映射的高效算法，基于度量中位数，解决了无界损失情况下非理想设定下的可学习性问题。
2022-02-07 cs.LG stat.ML
Convergence analysis of online algorithms for vector-valued kernel regression
Fraunhofer Institute for Algorithms and Scientific Computing (SCAI)（弗劳恩霍夫算法与科学计算研究所）
该研究针对向量值核回归的在线学习问题，在软学习场景下利用标准正则化在线算法，证明了RKHS范数下期望平方误差的阶最优收敛估计，证明仅用基础希尔伯特空间技巧且假设极少。
2025-10-02 cs.NA math.NA stat.ML
Fréchet random forests for metric space valued regression with non euclidean predictors
epoch intelligence；Univ. Bordeaux（波尔多大学）；INSERM（法国国家健康与医学研究院）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立综合理工学院）；IMB（数学与基础科学研究所）
本文提出Fréchet树和Fréchet随机森林，通过引入新的节点分裂方法和推广预测过程，支持输入输出变量在一般度量空间取值的异构数据回归，并验证了其一致性与有效性。
2024-02-16 cs.LG stat.ME stat.ML
Multiple functional regression with both discrete and continuous covariates
INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧研究中心）；Université de Lille（里尔大学）；Ecole Centrale de Lille（里尔中央理工学院）；INSA de Rouen（鲁昂国立应用科学学院）
在本文中，我们提出了一个非参数方法扩展功能回归方法的情况下，一个以上的功能协变量被用来预测功能反应。借用Kadri et al.（2010 a）的思想，该方法支持混合离散和连续解释变量，基于借助于正算子值核估计再生核希尔伯特空间中的函数值函数。
2013-01-12 cs.LG stat.ML
A Generalized Representer Theorem for Hilbert Space - Valued Functions
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
给出了Hilbert空间值函数广义表示定理存在的充分必要条件。涉及显式基函数和再生核的表示定理在各种机器学习算法中很常见，例如广义最小二乘法、支持向量机、高斯过程回归和基于核的深度神经网络等。由于基本变分问题的更一般的结构，该理论也与其他应用领域有关，如最优控制，信号处理和决策。我们提出的广义代表作为一个统一的观点，监督和半监督学习方法，使用线性算子和子空间值映射的理论。该定理的含义与多输入多输出回归，基于内核的深度神经网络，随机回归和稀疏学习问题的例子作为特殊情况下，在这个统一的观点。
2018-09-19 cs.AI cs.LG eess.SP
The Earth Mover's Pinball Loss: Quantiles for Histogram-Valued Regression
The University of Sydney（悉尼大学）；Sydney Institute for Astronomy（悉尼天文研究所）
虽然直方图数据在科学中无处不在，但它并没有受到深度学习社区的广泛关注。虽然标量和矢量数据的回归和分类任务通常由神经网络解决，但文献中缺乏用于估计作为输入矢量或图像的函数的直方图标签的原理性方法。我们提出了一种用于基于深度学习的直方图回归的专用方法，该方法结合了交叉箱信息并产生可能直方图上的分布，由每个箱中累积直方图的分位数$τ$表示。我们的方法的关键是通过将弹球损失应用于累积直方图而获得的新损失函数，其对于1D直方图在中值（$τ= 0.5$）的特殊情况下减少到地球移动器的距离（EMD），并将其推广到任意分位数。我们验证我们的方法与说明性的玩具的例子，足球相关的任务，和天体物理学的计算机视觉的问题。我们表明，与我们的损失函数，预测的中值直方图的准确性是非常相似的标准EMD的情况下（和高于每箱损失函数，如交叉熵），而预测变得更加翔实，几乎没有额外的计算成本。
2021-06-03 astro-ph.IM cs.LG stat.ML
A randomized algorithm to solve reduced rank operator regression
Istituto Italiano di Tecnologia（意大利理工学院）；University of Novi Sad（诺维萨德大学）；University College London（伦敦大学学院）
本文提出随机化降秩回归（R4）算法，利用高斯草图技术高效求解可能无限维的向量值回归问题，理论证明风险接近最优，实验展示在神经科学和Koopman算子回归中的优势。
2023-12-28 cs.LG cs.NA math.NA
Diagonalized Attention for Individualized Regression: Latent-Row Localization and Prediction
University of Hong Kong（香港大学）；Renmin University of China（中国人民大学）
本文提出对角化注意力机制，用于矩阵值数据中样本特定行的定位与个体化回归，理论保证恢复潜在行，实验验证预测与定位性能。
2026-09-21 cs.LG stat.ML
Determining input variable ranges in Industry 4.0: A heuristic for estimating the domain of a real-valued function or trained regression model given an output range
Vicomtech；Dominion Solutions
工业过程控制系统试图将输出变量保持在目标值周围的给定容差内。PID控制系统在工业中已被广泛用于控制输入变量，以达到这一目标。然而，这种基于传递函数的方法不能扩展到复杂的过程，其中输入数据可能是非数字的、高维的、稀疏的等。在这种情况下，仍然需要确定产生给定范围内的输出的输入数据的子空间。本文提出了一种非随机启发式方法来确定给定输出范围的数学函数或训练回归模型的输入值。所提出的方法创建具有指示输出是否在给定目标范围内的类标签的输入组合的合成训练数据集合。然后，使用决策树分类器来确定感兴趣的输入数据的子空间。这种方法比传统的控制器更通用，因为输出的目标范围不必以参考值为中心，并且它可以应用于给定输出变量的回归模型，该模型可以具有分类变量作为输入，并且可以是高维的，稀疏的。所提出的启发式验证与一个真实的用例，其中的层压工厂的质量建立，以确定合适的子空间的生产变量值的概念证明。
2019-04-03 cs.LG stat.ML
Fenton-Wilkinson Order Statistics and German Tanks: A Case Study of an Orienteering Relay Race
有序回归介于离散值分类和连续值回归之间。有序目标变量可以与排序的随机变量相关联。这些随机变量被称为顺序统计量，它们与有序回归密切相关。然而，使用顺序统计量进行有序回归预测的挑战是找到合适的父分布。在这项工作中，我们提供了一个真实世界的定向越野接力赛的案例研究，将其视为一个随机过程。对于这个过程中，我们表明，准确的顺序统计有序回归预测的最终团队排名，或地方，可以通过假设一个对数正态分布的个人腿时间。此外，我们应用芬顿-威尔金森近似中间转换时间旁边的估计队的总人数在臭名昭著的德国坦克问题。这项工作的目的是，在某种程度上，引发兴趣，在有序回归问题的适用性研究顺序统计量。
2019-12-10 cs.LG stat.ML
The Generalized Complex Kernel Least-Mean-Square Algorithm
Universidad de Sevilla（塞维利亚大学）；The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）
提出了一种新的基于自适应核的复值信号回归方法：广义复值核最小均方（gCKLMS）。我们借用了作者最近提出的关于非线性回归和复值信号的宽线性再生核Hilbert空间（WL-RKHS）的新结果。本文表明，在自适应版本的核回归复值信号，我们需要包括另一个核心项，所谓的伪核。这种新的解决方案被赋予更好的表示能力，在复值领域，因为它可以有效地解耦的实部和虚部的学习。此外，我们回顾了以前实现的复杂KLMS算法及其增强版本，以证明它们可以被重写为gCKLMS的特殊情况。此外，核设计的重要结论，有助于大大提高算法的收敛性。在实验中，我们重新审视了非线性信道均衡问题，以突出gCKLMS比以前的解决方案更好的收敛性。此外，所提出的广义方法的灵活性进行了测试，在第二个实验与非独立的实部和虚部。结果表明，当复值信号的实部和虚部具有不同的特性时，gCKLMS方法的性能得到了显着改善。
2019-02-22 cs.LG stat.ML
Conformal Graph Prediction with Z-Gromov-Wasserstein Distances
本文提出一种基于Z-格罗莫夫瓦瑟斯坦距离的图值输出符合性预测框架，通过融合格罗莫夫-瓦瑟斯坦方法实现图结构的置换不变比较，并引入Score Conformalized Quantile Regression方法以适应复杂输出空间。
2026-07-20 cs.LG stat.ML
Bivariate Matrix-valued Linear Regression (BMLR): Finite-sample performance under Identifiability and Sparsity Assumptions
Cornell University（康奈尔大学）；Capital Fund Management（资本基金管理公司）
本文提出双变量矩阵值线性回归模型，通过显式优化免费估计器在可识别性和稀疏性假设下实现参数高效估计，并通过实验验证其在有限样本下的性能。
2025-12-04 math.ST stat.ML stat.TH
Graph Distribution-valued Signals: A Wasserstein Space Perspective
Nanyang Technological University（南洋理工大学）；Technical University of Munich（慕尼黑工业大学）
本文提出一种新的图信号处理框架，将信号建模为图分布值信号，通过瓦瑟斯坦空间中的概率分布解决传统向量基方法的局限性，包括同步观测假设、无法捕捉不确定性以及图滤波的严格对应要求。
2026-03-23 eess.SP stat.ML
Vector-Valued Graph Trend Filtering with Non-Convex Penalties
Carnegie Mellon University（卡内基梅隆大学）；Tandon School of Engineering, New York University（纽约大学坦登工程学院）
这项工作研究了分段光滑图信号的去噪，这些信号在图上表现出不均匀的光滑度，其中每个节点处的值可以是向量值。我们扩展了图趋势滤波框架，使用一系列非凸正则化器对向量值图信号进行去噪，这些正则化器比现有的凸正则化器具有更好的恢复性能。利用预言不等式，我们建立了一般图的非凸方法的一阶稳定点的统计错误率。此外，我们提出了一个基于ADMM的算法来解决所提出的方法，并建立其收敛性。在合成和真实数据上进行了数值实验，用于去噪，支持恢复，事件检测和半监督分类。
2019-11-18 cs.LG eess.SP stat.ML
The Optimality of Polynomial Regression for Agnostic Learning under Gaussian Marginals
University of Wisconsin Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
研究了高斯分布下的不可知学习问题。我们开发了一种方法，通过使用LP对偶寻找硬家庭的例子，为广泛的一类问题。对于布尔值的概念类，我们表明，$L^1$ -回归算法基本上是最好的可能，因此，不可知学习的概念类的计算难度是密切相关的多项式的程度近似任何函数从类中的$L^1$ -范数。使用这种特性以及其他分析工具，我们获得了最佳SQ下界不可知学习线性阈值函数和第一个非平凡的SQ下界多项式阈值函数和半空间的交集。我们还开发了一个类似的理论不可知学习实值函数，并作为一个应用程序证明不可知学习ReLU和sigmoids的近最优SQ下界。
2021-02-08 cs.DS cs.LG math.ST
Error Bounds for Learning with Vector-Valued Random Features
California Institute of Technology（加州理工学院）
本文对向量值随机特征岭回归提出直接风险泛函分析，避免随机矩阵公式，在无限维设置下证明模型误设时的强相合性及设定正确时的极小极大最优收敛速率，复杂度与蒙特卡洛直觉一致。
2023-11-15 cs.LG math.ST stat.ML
