Stability of Multi-Task Kernel Regression Algorithms
Aix-Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
在具有算子核的再生Hilbert空间中研究了非线性多任务回归的稳定性。这样的内核，也称为多任务内核适用于具有非标量输出的学习问题，如多任务学习和结构化输出预测。我们证明了多任务核回归算法在无限维输出空间的一般情况下是一致稳定的。然后，我们推导出在温和的假设下的核广义界的算法，我们证明了它们的一致性，甚至与非Hilbert-Schmidt算子值的内核。我们演示了如何将结果应用于各种多任务核回归方法，如向量值SVR和函数岭回归。
2013-06-17 cs.LG stat.ML
Sample Compression for Real-Valued Learners
Princeton（普林斯顿大学）；Ben-Gurion University（本-古里安大学）
我们在Moran和Yehudayoff（2016）中给出了学习者到压缩方案转换的算法有效版本。在将这种技术扩展到实值假设时，我们还获得了一个高效的回归到有界样本压缩转换器。据我们所知，这是第一个一般的压缩回归结果（无论效率或有界性），保证一致的近似重建。一路上，我们开发了一个通用的程序，用于构建弱实值学习抽象回归;这可能是独立的利益。特别是，这一结果揭示了一个开放的问题H。Simon（1997年）。我们展示了两个回归问题的应用：学习Lipschitz和有界变差函数。
2018-05-21 cs.LG stat.ML
Towards Optimal Sobolev Norm Rates for the Vector-Valued Regularized Least-Squares Algorithm
Gatsby Computational Neuroscience Unit（盖特立计算神经科学单元）；University College London（伦敦大学学院）；Merantix Momentum；Merantix AI Campus（Merantix AI园区）
本文研究无穷维向量值核岭回归，利用向量值插值空间的张量积构造刻画光滑性，在错误设定下建立与输出维数无关且多数情形最优的连续范数速率。
2024-08-06 cs.LG stat.ML
Smooth Symbolic Regression: Transformation of Symbolic Regression into a Real-valued Optimization Problem
University of Applied Sciences Upper Austria（上奥地利应用科学大学）
符号回归的典型方法在候选解中产生相当突然的变化。在这项工作中，我们试图将符号回归从一个优化问题，一个如此崎岖的景观，典型的分析方法不会产生有意义的结果，一个可以与典型的和非常平滑的实值问题进行比较。虽然坚固性可能不会干扰优化的性能，但它限制了分析的可能性。在这里，我们探索了转换的不同方面，并提出了一个简单的过程来创建从符号回归问题的实值优化问题。
2021-08-06 cs.LG
Learning nonparametric differential equations with operator-valued kernels and gradient matching
IRSN（法国辐射防护与核安全研究所）；Institut Mines-Télécom（矿业电信学院）；Télécom ParisTech（巴黎高等电信学校）
用常微分方程对动态系统建模意味着对动态过程的机械论观点。然而，在许多情况下，这些知识是不可用的。为了克服这个问题，我们引入了一个一般的框架，非参数常微分方程模型，使用惩罚回归再生核希尔伯特空间（RKHS）的基础上操作值的内核。此外，我们将梯度匹配方法的范围扩展到非参数常微分方程。建立了一个光滑的估计的解决方案ODE提供一个近似的导数的ODE解决方案，这反过来又被用来学习非参数ODE模型。这种方法受益于RKHS中惩罚回归的灵活性，允许岭或（结构化）稀疏回归。在3个不同的ODE系统上显示了非常好的结果。
2014-11-19 cs.LG stat.ML
Proper Complex Gaussian Processes for Regression
University of Seville（塞维利亚大学）
复值信号用于工程和科学中许多系统的建模，因此具有根本的意义。通常，随机复值信号被认为是适当的。一个真正的复随机变量或过程与它的复共轭是不相关的。在许多问题中，这个假设是基本物理的一个很好的模型，并且简化了计算。虽然线性处理和神经网络已被广泛研究这些信号，复值非线性核方法的发展仍然是一个悬而未决的问题。在本文中，我们提出回归高斯过程作为开发1）适当复值核回归的解决方案和2）使用互协方差的卷积方法设计复值输入的再生核的框架。在这种设计中，我们注意保持，在复杂的域，附近的输入之间的相似性的措施。学习核的超参数，使用Wirtinger导数最大化边际似然。此外，该方法连接到多输出学习场景。在包括的实验中，我们首先解决了一个适当的复高斯过程，其中互协方差不抵消，当处理适当的复信号时，这是一个具有挑战性的场景。然后，我们成功地使用这些新的结果来解决以前提出的一些问题，在文献中作为基准，报告的估计误差显着改善。
2015-02-18 cs.LG stat.ML
Multiple functional regression with both discrete and continuous covariates
INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧研究中心）；Université de Lille（里尔大学）；Ecole Centrale de Lille（里尔中央理工学院）；INSA de Rouen（鲁昂国立应用科学学院）
在本文中，我们提出了一个非参数方法扩展功能回归方法的情况下，一个以上的功能协变量被用来预测功能反应。借用Kadri et al.（2010 a）的思想，该方法支持混合离散和连续解释变量，基于借助于正算子值核估计再生核希尔伯特空间中的函数值函数。
2013-01-12 cs.LG stat.ML
Complex-Valued Gaussian Processes for Regression
Universidad de Sevilla（塞维利亚大学）；Swiss Data Science Center（瑞士数据科学中心）；University Carlos III de Madrid（马德里卡洛斯三世大学）；Stevens Institute of Technology（史蒂文斯理工学院）
在本文中，我们提出了一种新的贝叶斯解决方案的非线性回归在复杂的领域。核方法的以前的解决方案通常假设复杂化方法，其中实值核被复值核取代。这种方法是有限的。基于复值线性理论和高斯随机过程中的结果，我们证明了伪核必须包括在内。这是发展高斯回归过程（CGPR）的新复值公式的起点。我们面对的协方差和伪协方差的设计基于卷积方法和几种情况。只有在输出正确的特定情况下，伪内核才会取消。此外，协方差的超参数{可以学习}使用Wirtinger演算和模式化复值矩阵导数最大化边际似然。在包括的实验中，我们展示了CGPR如何成功地解决实部和虚部相关的系统。此外，我们成功地解决了非线性信道均衡问题，通过开发一个递归的解决方案与基删除。与以前的解决方案相比，我们报告了显着的改进：MSE降低了2-4 dB，而以前的方法使用的训练样本仅为{四分之一}。
2018-02-28 cs.LG
Partial Trace Regression and Low-Rank Kraus Decomposition
Aix-Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；LIS（计算机科学与系统实验室）；Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）；Université Rouen Normandie（鲁昂诺曼底大学）；LITIS（信息处理与系统实验室）；Criteo AI Lab（Criteo人工智能实验室）
迹回归模型是线性回归模型的直接扩展，允许将矩阵映射到实值输出。我们在这里介绍一个更一般的模型，即部分迹回归模型，一个从矩阵值输入到矩阵值输出的线性映射族;这个模型包含迹回归模型，因此包含线性回归模型。借用工具，从量子信息论，其中部分跟踪运营商已被广泛研究，我们提出了一个框架，学习部分跟踪回归模型的数据，利用所谓的低秩克劳斯表示完全正的地图。我们展示了我们的框架与合成和真实世界实验的相关性，这些实验针对i）矩阵到矩阵回归和ii）半正定矩阵完成，这两个任务可以被公式化为部分迹回归问题。
2020-08-25 cs.LG quant-ph stat.ML
Diagonalized Attention for Individualized Regression: Latent-Row Localization and Prediction
University of Hong Kong（香港大学）；Renmin University of China（中国人民大学）
本文提出对角化注意力机制，用于矩阵值数据中样本特定行的定位与个体化回归，理论保证恢复潜在行，实验验证预测与定位性能。
2026-09-21 cs.LG stat.ML
Determining input variable ranges in Industry 4.0: A heuristic for estimating the domain of a real-valued function or trained regression model given an output range
Vicomtech；Dominion Solutions
工业过程控制系统试图将输出变量保持在目标值周围的给定容差内。PID控制系统在工业中已被广泛用于控制输入变量，以达到这一目标。然而，这种基于传递函数的方法不能扩展到复杂的过程，其中输入数据可能是非数字的、高维的、稀疏的等。在这种情况下，仍然需要确定产生给定范围内的输出的输入数据的子空间。本文提出了一种非随机启发式方法来确定给定输出范围的数学函数或训练回归模型的输入值。所提出的方法创建具有指示输出是否在给定目标范围内的类标签的输入组合的合成训练数据集合。然后，使用决策树分类器来确定感兴趣的输入数据的子空间。这种方法比传统的控制器更通用，因为输出的目标范围不必以参考值为中心，并且它可以应用于给定输出变量的回归模型，该模型可以具有分类变量作为输入，并且可以是高维的，稀疏的。所提出的启发式验证与一个真实的用例，其中的层压工厂的质量建立，以确定合适的子空间的生产变量值的概念证明。
2019-04-03 cs.LG stat.ML
Evolutionary Inference for Function-valued Traits: Gaussian Process Regression on Phylogenies
Imperial College London（帝国理工学院）；University of Manchester（曼彻斯特大学）
生物学数据对象通常具有以下两个特征：（i）它们是函数而不是单个数字或向量，以及（ii）它们由于系统发育关系而相关。在本文中，我们给出了一个灵活的统计模型，这样的数据，通过结合假设从遗传学与高斯过程。我们描述了它作为一个非参数贝叶斯先验分布的使用，无论是预测（放置后验分布的祖先的功能）和模型选择（比较进化率跨越一个遗传，或确定最有可能的遗传与观察到的数据一致）。我们的工作是综合性的，将流行的系统发育布朗运动和Ornstein-Uhlenbeck模型扩展到功能数据和贝叶斯推断，并将高斯过程回归扩展到遗传学。我们提供了一个简单的说明我们的方法的应用。
2012-08-03 cs.LG physics.data-an q-bio.QM
Multi-view Metric Learning in Vector-valued Kernel Spaces
Aix Marseille Univ（艾克斯-马赛大学）；Université de Toulon（土伦大学）；CNRS（法国国家科学研究中心）；LIS（信息科学实验室）
我们考虑多视图数据的度量学习问题，并提出了一种新的方法来学习视图内以及视图间的度量向量值核空间，作为一种方法来捕捉多模态结构的数据。我们制定了两个凸优化问题，共同学习的度量和分类器或回归核特征空间。从最优化问题出发，提出了一种迭代的三步多视点度量学习算法。为了将计算扩展到大的训练集，引入了多视图核矩阵的分块Nystr{<$}m近似。我们从理论和实验上证明了我们的方法，并展示了它在现实世界的数据集上对相关的最先进的方法的性能。
2018-03-21 cs.LG stat.ML
Fenton-Wilkinson Order Statistics and German Tanks: A Case Study of an Orienteering Relay Race
有序回归介于离散值分类和连续值回归之间。有序目标变量可以与排序的随机变量相关联。这些随机变量被称为顺序统计量，它们与有序回归密切相关。然而，使用顺序统计量进行有序回归预测的挑战是找到合适的父分布。在这项工作中，我们提供了一个真实世界的定向越野接力赛的案例研究，将其视为一个随机过程。对于这个过程中，我们表明，准确的顺序统计有序回归预测的最终团队排名，或地方，可以通过假设一个对数正态分布的个人腿时间。此外，我们应用芬顿-威尔金森近似中间转换时间旁边的估计队的总人数在臭名昭著的德国坦克问题。这项工作的目的是，在某种程度上，引发兴趣，在有序回归问题的适用性研究顺序统计量。
2019-12-10 cs.LG stat.ML
The Generalized Complex Kernel Least-Mean-Square Algorithm
Universidad de Sevilla（塞维利亚大学）；The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）
提出了一种新的基于自适应核的复值信号回归方法：广义复值核最小均方（gCKLMS）。我们借用了作者最近提出的关于非线性回归和复值信号的宽线性再生核Hilbert空间（WL-RKHS）的新结果。本文表明，在自适应版本的核回归复值信号，我们需要包括另一个核心项，所谓的伪核。这种新的解决方案被赋予更好的表示能力，在复值领域，因为它可以有效地解耦的实部和虚部的学习。此外，我们回顾了以前实现的复杂KLMS算法及其增强版本，以证明它们可以被重写为gCKLMS的特殊情况。此外，核设计的重要结论，有助于大大提高算法的收敛性。在实验中，我们重新审视了非线性信道均衡问题，以突出gCKLMS比以前的解决方案更好的收敛性。此外，所提出的广义方法的灵活性进行了测试，在第二个实验与非独立的实部和虚部。结果表明，当复值信号的实部和虚部具有不同的特性时，gCKLMS方法的性能得到了显着改善。
2019-02-22 cs.LG stat.ML
Conformal Graph Prediction with Z-Gromov-Wasserstein Distances
本文提出一种基于Z-格罗莫夫瓦瑟斯坦距离的图值输出符合性预测框架，通过融合格罗莫夫-瓦瑟斯坦方法实现图结构的置换不变比较，并引入Score Conformalized Quantile Regression方法以适应复杂输出空间。
2026-07-20 cs.LG stat.ML
Second-Order Bounds for [0,1]-Valued Regression via Betting Loss
Department of Computer Science University of Arizona（计算机科学系亚利桑那大学）
本文针对[0,1]值回归问题提出一种名为投注损失的新型损失函数，在无需任何方差先验知识的情况下实现了方差自适应的二阶泛化界，严格改进了一阶界。
2025-07-16 cs.LG
MELCOT: A Hybrid Learning Architecture with Marginal Preservation for Matrix-Valued Regression
National University of Singapore（新加坡国立大学）；University of Science - VNUHCM（科学大学 - VNUHCM）
针对高维矩阵值回归易丢失空间结构且存储开销大的问题，提出融合 ME 与 LCOT 的混合架构 MELCOT，在多领域实验中持续优于基线并保持高效。
2025-09-27 cs.AI cs.LG
The Earth Mover's Pinball Loss: Quantiles for Histogram-Valued Regression
The University of Sydney（悉尼大学）；Sydney Institute for Astronomy（悉尼天文研究所）
虽然直方图数据在科学中无处不在，但它并没有受到深度学习社区的广泛关注。虽然标量和矢量数据的回归和分类任务通常由神经网络解决，但文献中缺乏用于估计作为输入矢量或图像的函数的直方图标签的原理性方法。我们提出了一种用于基于深度学习的直方图回归的专用方法，该方法结合了交叉箱信息并产生可能直方图上的分布，由每个箱中累积直方图的分位数$τ$表示。我们的方法的关键是通过将弹球损失应用于累积直方图而获得的新损失函数，其对于1D直方图在中值（$τ= 0.5$）的特殊情况下减少到地球移动器的距离（EMD），并将其推广到任意分位数。我们验证我们的方法与说明性的玩具的例子，足球相关的任务，和天体物理学的计算机视觉的问题。我们表明，与我们的损失函数，预测的中值直方图的准确性是非常相似的标准EMD的情况下（和高于每箱损失函数，如交叉熵），而预测变得更加翔实，几乎没有额外的计算成本。
2021-06-03 astro-ph.IM cs.LG stat.ML
Kernel Regression with Sparse Metric Learning
East China Normal University（华东师范大学）
核回归是一种流行的非参数拟合技术。它旨在学习一个函数，该函数尽可能精确地估计测试输入的目标。通常，通过周围训练样本的加权平均来估计测试输入的函数值。权重通常由基于距离的核函数计算，并且它们强烈依赖于示例之间的距离。本文首先回顾了稀疏度量学习和核回归的最新进展。在此基础上，提出了一种新的基于稀疏度量学习的核回归方法--稀疏度量学习核回归（KR $\_$ SML）。通过对度量矩阵进行混合$(2,1)$范数正则化，建立稀疏核回归模型.它通过梯度下降过程学习马氏距离度量，可以同时进行降维，并导致良好的预测结果。我们的工作是第一个结合核回归与稀疏度量学习。为了验证所提出的方法的有效性，它是在19个数据集进行回归评估。并将该方法应用于短时交通流预测的实际问题中。最后，在两种准则下的所有测试数据集上，将该方法与其他三种相关的核回归方法进行了比较。实验结果表明，该方法具有更强的竞争力。
2017-12-25 cs.LG stat.ML
A Generalized Representer Theorem for Hilbert Space - Valued Functions
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
给出了Hilbert空间值函数广义表示定理存在的充分必要条件。涉及显式基函数和再生核的表示定理在各种机器学习算法中很常见，例如广义最小二乘法、支持向量机、高斯过程回归和基于核的深度神经网络等。由于基本变分问题的更一般的结构，该理论也与其他应用领域有关，如最优控制，信号处理和决策。我们提出的广义代表作为一个统一的观点，监督和半监督学习方法，使用线性算子和子空间值映射的理论。该定理的含义与多输入多输出回归，基于内核的深度神经网络，随机回归和稀疏学习问题的例子作为特殊情况下，在这个统一的观点。
2018-09-19 cs.AI cs.LG eess.SP
Multiple-output support vector regression with a firefly algorithm for interval-valued stock price index forecasting
股票价格指数的高度准确的区间预测是在做出投资决策时成功获利的基础，它提供了一系列的值，而不是一个点估计。在这项研究中，我们研究的可能性，预测一个区间值的股票价格指数序列在短期和长期的视野，使用多输出支持向量回归（MSVR）。此外，本研究提出了一种萤火虫算法（FA）为基础的方法，建立在已建立的MSVR，用于确定参数的MSVR（简称FA-MSVR）。三个全球交易的广泛的市场指数被用来比较所提出的FA-MSVR方法与选定的同行的性能。定量和全面的评估是在统计标准，经济标准和计算成本的基础上进行的。在统计准则方面，我们比较了样本外预测的预测优度的措施和测试方法。在经济标准方面，我们用一个简单的交易策略来评估相对的预测表现。在这项研究中得到的结果表明，建议FA-MSVR方法是一个很有前途的替代预测区间值金融时间序列。
2014-01-09 cs.CE cs.LG q-fin.ST
Robust Geodesic Regression
Seoul National University（首尔大学）
研究了黎曼流形上数据的稳健回归问题。测地线回归是将线性回归推广到具有流形值因变量和一个或多个实值自变量的设置。现有的测地线回归工作使用平方和误差来找到解决方案，但在经典的欧几里德的情况下，最小二乘法是高度敏感的离群值。在本文中，我们使用M-型估计，包括$L_1$，Huber和Tukey双权估计，进行稳健测地回归，并描述如何计算后两者的调整参数。我们还表明，在紧凑的对称空间，所有的M型估计是极大似然估计，并认为整体的优越性的$L_1$估计的$L_2$和Huber估计的高维流形和Tukey biwight估计紧凑的高维流形。数值例子的结果，包括真实的神经影像数据的分析，证明了所提出的方法有前途的经验性质。
2022-01-25 cs.LG stat.ME stat.ML
Neural Regression For Scale-Varying Targets
University of Pennsylvania（宾夕法尼亚大学）；Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）
在这项工作中，我们证明了使用均方误差损失的回归的一个主要限制是其对目标规模的敏感性。这使得由目标的值具有不同尺度的目标组成的学习设置具有挑战性。最近提出的替代损失函数，称为直方图损失，避免了这个问题。然而，它的计算成本随着直方图中桶的数量线性增长，这使得对实值目标的预测变得难以处理。为了解决这个问题，我们提出了一种新的方法来训练实值回归目标的深度学习模型，自回归回归，它通过利用自回归目标分解来学习高保真分布。我们证明，这个训练目标使我们能够解决涉及不同尺度目标的回归任务。
2023-01-19 cs.LG
A randomized algorithm to solve reduced rank operator regression
Istituto Italiano di Tecnologia（意大利理工学院）；University of Novi Sad（诺维萨德大学）；University College London（伦敦大学学院）
本文提出随机化降秩回归（R4）算法，利用高斯草图技术高效求解可能无限维的向量值回归问题，理论证明风险接近最优，实验展示在神经科学和Koopman算子回归中的优势。
2023-12-28 cs.LG cs.NA math.NA
Interval Forecasting of Electricity Demand: A Novel Bivariate EMD-based Support Vector Regression Modeling Framework
在电力系统规划和运行决策中，高精度的电力需求区间预测是通过提供范围而不是点估计来成功降低风险的基础。在这项研究中，一种新的建模框架集成双变量经验模式分解（BEMD）和支持向量回归（SVR），扩展了成熟的经验模式分解（EMD）为基础的时间序列建模框架的能源需求预测文献，提出了电力需求的区间预测。本研究的新颖性来自就业BEMD，一个新的扩展经典经验模型分解（EMD）注定要处理二元时间序列作为复值时间序列，作为分解方法，而不是经典的EMD只能分解一维单值时间序列。该建模框架被赋予BEMD同时分解的下限和上限的时间序列，构建在复值时间序列的形式，电力需求每月每小时的基础上，从而捕捉潜在的相互关系的下限和上限。建议的建模框架是合理的，每月间隔值的电力需求数据每小时在宾夕法尼亚州新泽西州马里兰州互联，表明它是一个很有前途的方法，区间值的电力需求预测。
2014-06-15 cs.LG stat.AP
Fréchet random forests for metric space valued regression with non euclidean predictors
epoch intelligence；Univ. Bordeaux（波尔多大学）；INSERM（法国国家健康与医学研究院）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立综合理工学院）；IMB（数学与基础科学研究所）
本文提出Fréchet树和Fréchet随机森林，通过引入新的节点分裂方法和推广预测过程，支持输入输出变量在一般度量空间取值的异构数据回归，并验证了其一致性与有效性。
2024-02-16 cs.LG stat.ME stat.ML
Latent-space metrics for Complex-Valued VAE out-of-distribution detection under radar clutter
本文提出复值VAE中的潜在空间度量用于雷达杂波中的分布外检测，比较了CVAE-MSE、马哈拉诺夫距离和KLD等方法与ANMF-FP的性能。
2025-11-25 cs.LG eess.SP stat.ML
Regression-Based Elastic Metric Learning on Shape Spaces of Elastic Curves
University of California, Santa Barbara（加州大学圣巴巴拉分校）
我们提出了一种度量学习范式，即基于回归的弹性度量学习（REML），它优化了离散曲线流形上测地线回归的弹性度量。测地线回归是最准确的，当所选择的度量模型的数据轨迹接近离散曲线流形上的测地线。当在细胞形状轨迹上进行测试时，使用REML的学习度量的回归具有比传统使用的平方根速度（SRV）度量更好的预测能力。
2022-11-22 cs.LG
Metric on random dynamical systems with vector-valued reproducing kernel Hilbert spaces
RIKEN（理化学研究所）；Keio University（庆应义塾大学）；Kyushu University（九州大学）
在机器学习和相关领域中，为结构化数据生成机制开发度量是基础。在本文中，我们给出了一个一般的框架来构造随机非线性动力系统的度量，定义与向量值再生核希尔伯特空间（vvRKHS）中的Perron-Frobenius算子。我们采用vvRKHS设计数学上可管理的指标，并引入算子值内核，这使我们能够处理系统中的随机性。我们的度量提供了一个扩展的现有度量确定性系统，并给出了一个规格的核最大均值差异的随机过程。此外，通过考虑随机过程的时间独立性，我们澄清了我们的度量和独立性准则之间的联系与内核，如希尔伯特-施密特独立性准则。我们凭经验说明我们的度量与合成数据，并评估它的背景下，随机过程的独立性测试。我们还评估了性能与实时序列数据通过集群任务。
2019-10-27 cs.LG math.DS math.PR
Physics-Informed Optical Kernel Regression Using Complex-valued Neural Fields
Chinese University of Hong Kong（香港中文大学）；nVIDIA（英伟达）；HKUST(GZ)（香港科技大学（广州））
提出基于复值神经场的光核回归范式，将光刻模型分解为非参数掩模操作和学习光核，以更少参数和小规模数据实现高精度与强泛化。
2023-04-09 cs.CV cs.LG eess.IV
DFNN: A Deep Fréchet Neural Network Framework for Learning Metric-Space-Valued Responses
Rutgers University–New Brunswick（新布伦斯维克罗切斯特大学）；University of Southern California（南加州大学）
提出深度Fréchet神经网络框架，通过最小化Fréchet风险逼近条件均值，实现度量空间值响应回归，并给出通用逼近与泛化理论，实证优于现有方法。
2026-09-10 cs.LG stat.ME stat.ML
Regression Discontinuity Design with Distribution-Valued Outcomes
Department of Economics University of Michigan（密歇根大学经济学系）
本文提出R3D方法，将断点回归设计扩展至结果为分布的设定，通过局部多项式回归和局部Fréchet回归估计局部平均分位数处理效应，并应用于研究美国州长党派控制对州内收入分布的影响。
2025-04-04 cs.LG econ.EM math.ST
Nonparametric Online Regression while Learning the Metric
EPFL（洛桑联邦理工学院）；Universitá degli Studi di Milano（米兰大学）
我们研究在线非参数回归算法，学习回归函数更平滑的方向。我们的算法学习的Mahalanobis度量的基础上的梯度外积矩阵$\boldsymbol{G}$的回归函数（自动适应此矩阵的有效秩），而同时绑定的遗憾-在相同的数据序列-在$\boldsymbol{G}$的频谱方面。在我们的分析作为一个初步的步骤，我们扩展了非参数在线学习算法哈赞和Megiddo，使其能够竞争对函数的Lipschitzness测量相对于任意Mahalanobis度量。
2017-10-23 cs.LG
The Optimality of Polynomial Regression for Agnostic Learning under Gaussian Marginals
University of Wisconsin Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
研究了高斯分布下的不可知学习问题。我们开发了一种方法，通过使用LP对偶寻找硬家庭的例子，为广泛的一类问题。对于布尔值的概念类，我们表明，$L^1$ -回归算法基本上是最好的可能，因此，不可知学习的概念类的计算难度是密切相关的多项式的程度近似任何函数从类中的$L^1$ -范数。使用这种特性以及其他分析工具，我们获得了最佳SQ下界不可知学习线性阈值函数和第一个非平凡的SQ下界多项式阈值函数和半空间的交集。我们还开发了一个类似的理论不可知学习实值函数，并作为一个应用程序证明不可知学习ReLU和sigmoids的近最优SQ下界。
2021-02-08 cs.DS cs.LG math.ST
Sasaki Metric for Spline Models of Manifold-Valued Trajectories
Zuse Institute Berlin（柏林Zuse研究所）；Freie Universität Berlin（柏林自由大学）
本文提出用复合 Bézier 样条表示黎曼流形轨迹，并以 Sasaki 度量比较轨迹、估计组平均趋势，在飓风路径实验中验证了样条方法在强度分类上的优势。
2023-03-30 cs.LG math.DG stat.AP
Exact Recovery Thresholds for Weighted Data Selection in Vector-Valued Linear Regression
该研究解决了COLT 2025开放问题中向量值线性回归加权数据选择的阈值问题，确定了精确恢复全数据损失的最小样本预算及多个加权选择分布取值，给出了中间单元的取值范围并验证相关推测，同时纠正了预印本中的错误论断。
2026-10-05 cs.LG math.ST stat.TH
