Fréchet regression extends classical regression methods to non-Euclidean metric spaces, enabling the analysis of data relationships on complex structures such as manifolds and graphs. This work establishes a rigorous theoretical analysis for Fréchet regression through the lens of comparison geometry which leads to important considerations for its use in practice. The analysis provides key results on the existence, uniqueness, and stability of the Fréchet mean, along with statistical guarantees for nonparametric regression, including exponential concentration bounds and convergence rates. Additionally, insights into angle stability reveal the interplay between curvature of the manifold and the behavior of the regression estimator in these non-Euclidean contexts. Empirical experiments validate the theoretical findings, demonstrating the effectiveness of proposed hyperbolic mappings, particularly for data with heteroscedasticity, and highlighting the practical usefulness of these results.
Efficient Methods for Online Multiclass Logistic Regression
Google Research(谷歌研究院)
多类逻辑回归是机器学习中的一个基本任务,在分类和提升中有应用。先前的工作(Foster等人,2018)强调了不适当的预测因子对于在线多类逻辑回归问题中实现“快速率”的重要性,而不会受到次要问题参数的指数影响,例如比较类中预测因子的范数。虽然Foster et al.(2018)引入了一种统计上最优的算法,但实际上它在计算上是难以处理的,因为它的运行时复杂度是输入特征向量的时间范围和维度的大多项式。在本文中,我们开发了一种新的算法,FOLKLORE,运行速度显着比福斯特等人的算法的问题。(2018)-每次迭代的运行时间在维度上呈二次缩放-代价是对遗憾界中预测因子的范数具有线性依赖性。这产生了第一个实用的在线多类逻辑回归算法,解决了一个开放的问题福斯特等人。(2018年)。此外,我们表明,我们的算法可以应用于在线强盗多类预测和在线多类提升,产生更实用的算法相比,在福斯特等人的这两个问题。(2018年)具有类似的性能保证。最后,我们还提供了一个在线到批量转换的结果,我们的算法。
Department of Statistics and Data Science(统计学与数据科学系);Washington University in St Louis(圣路易斯华盛顿大学);Department of Statistics(统计学系);University of California, Los Angeles(加州大学洛杉矶分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Mathematics and Information Sciences, Yantai University(烟台大学数学与信息科学学院)
SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives
ETH Zürich(苏黎世联邦理工学院);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学院学习系统中心);Max Planck Institute for Intelligent Systems, Tübingen(图宾根马克斯·普朗克智能系统研究所)
Regression with Comparisons: Escaping the Curse of Dimensionality with Ordinal Information
Machine Learning Department(机器学习系);Department of Statistics and Data Science(统计与数据科学系);Auton Lab, The Robotics Institute(奥顿实验室(机器人研究所));Carnegie Mellon University(卡内基梅隆大学)
在监督学习中,我们通常利用完全标记的数据集来设计函数估计或预测的方法。在许多实际情况下,我们能够以较低的成本获得替代反馈。一个广泛的目标是了解有用的,并设计算法来利用,这种替代反馈。在本文中,我们考虑一个半监督回归设置,在那里我们获得额外的顺序(或比较)信息的未标记的样本。我们考虑不同质量的有序反馈,其中我们有一个完美的排序的样本,一个嘈杂的排序的样本或嘈杂的样本之间的成对比较。我们对这些类型的有序反馈在非参数和线性回归中的有用性进行了精确的量化,表明在许多情况下,可以用非常小的标记集准确地估计底层函数,实际上是\emph{escaping the curse of dimensionality}。我们还提出了下限,建立任务的基本限制,并表明我们的算法是最佳的各种设置。最后,我们提出了新的数据集,证明我们的算法的有效性和实用性,并研究其鲁棒性的各种来源的噪声和模型误指定的广泛的实验。
Budapest University of Technology and Economics(布达佩斯技术与经济大学);Université Paris-Saclay, CNRS, Univ Evry, Laboratoire de Mathématiques et Modélisation d’Evry(巴黎萨克雷大学,法国国家科学研究中心,埃夫里大学,埃夫里数学与建模实验室);Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189, CRIStAL(里尔大学,法国国家信息与自动化研究所,法国国家科学研究中心,里尔中央理工学院,CRIStAL实验室);LPSM of Sorbonne University(索邦大学LPSM)