Beyond Covariance Matrix: The Statistical Complexity of Private Linear Regression
本文揭示私有线性回归的统计复杂度由协方差矩阵的 L1 类似物而非协方差矩阵本身刻画，提出信息加权回归方法达到极小极大最优速率，并应用于私有线性上下文赌博机，证明联合隐私几乎无额外代价。
2025-11-05 cs.AI cs.CR cs.LG
High-dimensional classification by sparse logistic regression
我们考虑高维二进制分类稀疏逻辑斯谛回归。我们提出了一个模型/特征选择过程的基础上惩罚的最大似然模型大小的复杂性罚款，并推导出非渐近界所产生的误分类超额风险。在附加的低噪声条件下，可以减小边界。所提出的复杂性惩罚是显着相关的VC维的一组稀疏线性分类器。然而，任何基于复杂性惩罚的标准的实现都需要对所有可能的模型进行组合搜索。为了找到一个模型选择程序计算上可行的高维数据，我们延长了逻辑斯谛回归的斜率估计，并表明，在一个额外的加权限制特征值条件下，它是率最优的极大极小意义上。
2018-11-18 math.ST stat.ML stat.TH
Local Fr'echet Regression via RKHS embedding and Its Applications to Data Analysis on Manifolds
本文将局部Fr'echet回归推广到希尔伯特空间并推导其渐近分布，提出基于RKHS嵌入的新估计方法，并应用于流形数据分析和度量空间置信区域构造。
2025-07-04 math.ST stat.TH
Partial Least Square Regression via Three-factor SVD-type Manifold Optimization for EEG Decoding
Southern University of Science and Technology（南方科技大学）
偏最小二乘回归（PLSR）是一种广泛使用的统计模型，用来揭示自变量和因变量中潜在因素之间的线性关系。然而，传统的求解PLSR模型的方法通常是基于欧氏空间的，容易陷入局部极小。为此，我们提出了一种新的方法来解决偏最小二乘回归，命名为PLSR通过优化双格拉斯曼流形（PLSRbiGr）。具体地说，我们首先利用定义在bi-Grassmann流形上的互协方差矩阵的三因子SVD型分解，将正交约束优化问题转化为bi-Grassmann流形上的无约束优化问题，然后结合矩阵缩放的黎曼预处理来调节每次迭代中的黎曼度量。PLSRbiGr的验证与各种实验解码运动想象（MI）和稳态视觉诱发电位（SSVEP）任务的EEG信号。实验结果表明，PLSRbiGr优于竞争算法在多个EEG解码任务，这将大大有助于小样本数据学习。
2022-08-15 cs.LG
Extrinsic Kernel Ridge Regression Classifier for Planar Kendall Shape Space
Florida State University（佛罗里达州立大学）
核方法在统计学和机器学习中取得了巨大的成功。尽管他们越来越受欢迎，但是，较少的努力已经提请对发展核分类方法的黎曼流形由于难以处理非欧几里德几何。本文在流形值数据分析的外部框架下，提出了一种新的平面Kendall形空间$Σ_2^k$上的正定核，称为外部Veronese Whitney Gaussian核.我们表明，我们的方法可以扩展到任何嵌入式流形上开发高斯核。在此基础上，实现了核岭回归分类器（KRRC）来解决$Σ_2^k$的形状分类问题，并通过实际数据分析验证了其良好的性能。
2020-10-01 cs.LG stat.ML
Dimension-free uniform concentration bound for logistic regression
本文为受限逻辑回归经验风险函数提出一种无维数一致集中界，基于PAC-Bayes二阶展开与残差项界推导，比Rademacher复杂度与McDiarmid不等式条件更温和。
2024-10-14 math.ST stat.ML stat.TH
Random Forest regression for manifold-valued responses
越来越多的生物医学和计算机视觉应用需要对复杂数据（例如图像和形状）进行预测建模。预测这些物体的主要挑战在于它们不符合欧几里得几何的假设。相反，它们占据了非线性空间，也就是流形，其中难以定义诸如坐标、向量和期望值之类的概念。在这项工作中，我们构建了一个非参数的预测方法的流形值的对象，基于距离修改的随机森林算法。我们的方法是通用的，可以应用在响应空间是一个定义良好的流形的情况下，而且当这样的知识是不可用的。模型拟合和预测阶段只需要为观察到的响应定义一个合适的距离函数。我们使用模拟验证我们的方法，并将其应用于一系列说明性的图像完成应用程序，展示了优越的预测性能，与各种既定的回归方法相比。
2017-02-15 stat.ME stat.ML
Kernel Regression with Tensor Trains and Hadamard Overparameterization
Institute of Science Tokyo（东京科学研究所）；University of Piraeus（比雷埃克斯大学）；Florida Atlantic University（佛罗里达亚特兰大大学）
介绍用于多向数据插补的KReTTaH框架，将插补问题转化为RKHS中的回归，通过哈达玛超参数化促进稀疏性等，在黎曼积流形框架内联合优化，在两个应用测试中建模精度优于现有基线。
2026-07-22 cs.LG eess.SP stat.ML
Vector Quantile Regression on Manifolds
Sapienza, University of Rome（罗马第一大学（萨皮恩扎大学））；Technion（以色列理工学院）；Sibylla（西比拉（机构名））
本文利用最优传输和c-凹函数，将向量分位数回归推广到流形上，定义了条件向量分位数函数，支持分位数估计、回归及置信集计算，并通过实验验证了方法的有效性。
2024-02-07 cs.LG stat.ME
On the Sample Complexity of Rank Regression from Pairwise Comparisons
Northeastern University（东北大学）
我们考虑秩回归设置，其中具有$\mathbb{R}^d$中的特征的$N$样本的数据集由Oracle通过$M$成对比较进行排名。具体来说，存在一个潜在的总排序的样本;当一对样本，一个嘈杂的预言机识别排名较高的一个相对于底层的总排序。学习者观察这种比较的数据集，并希望从它们的特征回归样本排名。我们表明，学习模型参数与$ε> 0$的准确性，它足以进行$M \in Ω(dN\log^3 N/ε^2)$比较均匀随机$N$时，$Ω(d/ε^2)$。
2021-05-04 cs.LG stat.ML
Optimal Function-on-Scalar Regression over Complex Domains
在这项工作中，我们考虑的问题，估计函数标量回归模型时，观察到的功能在多维或流形域和潜在的多变量输出。我们建立了极小极大收敛速度，并提出了一个估计的基础上再生核希尔伯特空间，实现极小极大速度。为了更好地解释派生率，我们将RKHS和索伯列夫空间之间的著名联系扩展到域是紧致黎曼流形的情况。这是完成使用一个有趣的连接到外尔定律从偏微分方程。最后，我们的数值研究和应用程序的3D面部成像。
2019-02-19 math.ST stat.TH
Learning Mixtures of Linear Regressions with Nearly Optimal Complexity
Princeton University（普林斯顿大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
混合线性回归（MLR）是一种重要的混合模型，有着广泛的应用。在这个模型中，每个观测值都是从几个未知的线性回归分量之一生成的，其中生成的分量的身份也是未知的。以前的作品要么假设强的假设数据分布或具有较高的复杂性。本文在一般条件下提出了一个固定参数的易处理算法，该算法具有全局收敛性，样本复杂度在维数上近似线性地变化。特别是，不同于以往的作品，要求数据是从标准的高斯，该算法允许的数据来自不同的协方差的高斯。当协方差的条件数和分量数固定时，该算法具有接近最优的样本复杂度$N = \tilde{O}(d)$和接近最优的计算复杂性度$\tilde{O}(Nd)$，其中$d$是数据空间的维数.据我们所知，这种方法为这种一般情况提供了第一个这样的恢复保证。
2020-03-28 cs.LG
Query Complexity of Least Absolute Deviation Regression via Robust Uniform Convergence
George Mason University（乔治梅森大学）；University of California, Berkeley（加州大学伯克利分校）
考虑一个回归问题，其中学习器被给予大量的$d$维数据点，但只能查询实值标签的一个小子集。需要多少次查询才能获得最佳值的$1+ε$相对误差近似值？虽然这个问题已被广泛研究的最小二乘回归，很少有人知道其他损失。一个重要的例子是最小绝对偏差回归（$\ell_1$回归），与最小二乘法相比，它对离群值具有更好的鲁棒性。我们开发了一个新的框架来分析回归问题中的重要性采样方法，这使我们能够证明最小一乘偏差回归的查询复杂性是$Θ(d/ε^2)$的对数因子。我们进一步扩展我们的技术，以显示查询复杂性的第一个界限的任何$\ell_p$损失与$p\in(1,2)$。在我们的分析中，作为一个关键的新颖性，我们引入了鲁棒一致收敛的概念，这是一个新的近似保证的经验损失。虽然它受到统计学习中的一致收敛的启发，但我们的方法还包含了一个校正项，以避免由于离群值而导致的不必要的方差。这可以被看作是统计学习理论和随机优化中的方差缩减技术之间的新联系，这应该是独立的兴趣。
2021-06-28 cs.DS cs.LG
Impact of Positional Encoding: Clean and Adversarial Rademacher Complexity for Transformers under In-Context Regression
Michigan State University（密歇根州立大学）
本文分析了位置编码对Transformer在上下文回归中的泛化能力的影响，提出清洁和对抗Rademacher复杂性的理论框架，证明位置编码扩大了泛化差距，并通过实验验证了其在对抗攻击下的脆弱性。
2026-03-24 cs.LG stat.ML
A Distribution Dependent and Independent Complexity Analysis of Manifold Regularization
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
流形正则化是半监督学习中常用的一种技术。它强制分类规则相对于数据流形是平滑的。在这里，我们基于模型的伪维数推导出样本复杂度边界，该模型将凸数据相关正则化项添加到监督学习过程中，特别是在流形正则化中。然后，我们将这些半监督方法的界限与纯监督方法进行比较，并讨论了半监督方法只能不断改进的设置，忽略对数项。通过查看流形正则化作为一个核心的方法，然后我们推导出Rademacher界限，允许分布相关的分析。最后，我们说明，这些界限可能是有用的选择一个适当的流形正则化参数的情况下，非常稀疏的标记数据。
2019-11-27 cs.LG stat.ML
Theoretical and Practical Analysis of Fréchet Regression via Comparison Geometry
School of Mathematics and Statistics, The University of Melbourne（墨尔本大学数学与统计学院）
本文利用比较几何为Fréchet回归建立严格理论分析，给出均值存在性、唯一性、稳定性及非参数回归的指数集中界和收敛速率，并通过实验验证双曲映射在异方差数据上的有效性。
2025-02-04 cs.AI cs.LG stat.ML
The Sample Complexity of Meta Sparse Regression
Purdue University（普渡大学）
本文研究了稀疏线性回归中的元学习问题。我们假设学习者可以访问几个类似的任务。学习者的目标是将先前任务中的知识转移到类似但新颖的任务中。对于p参数，支持集k的大小，和l个任务的样本，我们表明，T \in O（（k log（p）/l）任务是足够的，以恢复所有任务的共同支持。利用恢复的支持度，我们可以大大降低估计新任务参数的样本复杂度，即，l \in O（1）关于T和p .我们还证明了我们的利率是minimax最优的。元学习与经典的多任务学习的一个关键区别在于，元学习只关注新任务参数的恢复，而多任务学习估计所有任务的参数，这要求l随T增长。相反，我们的高效元学习估计器允许l相对于T是恒定的（即，少样本学习）。
2020-06-21 cs.LG stat.ML
Robust Regularized Low-Rank Matrix Models for Regression and Classification
University of Central Florida（中佛罗里达大学）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）
虽然矩阵变量回归模型已经在许多现有的工作中进行了研究，经典的统计和计算方法的分析的回归系数估计的高度影响高维和噪声矩阵值的预测。为了解决这些问题，本文提出了一个基于秩约束的矩阵变量回归模型框架，向量正则化（例如，稀疏性），以及考虑了三种特殊情况的一般损失函数：普通矩阵回归、稳健矩阵回归和矩阵逻辑斯谛回归。我们还提出了一个交替投影梯度下降算法。通过对有界曲率流形上目标函数的分析，证明了算法的收敛性，迭代的所有聚点都有$O(1/\sqrt{n})$阶的估计误差，且渐近地达到极大极小率.我们的理论分析可以应用到一般的优化问题的流形上有界曲率，可以被认为是一个重要的技术贡献，这项工作。我们通过仿真研究和实际图像数据的例子验证了所提出的方法。
2022-05-14 cs.LG stat.ML
Learnability, Sample Complexity, and Hypothesis Class Complexity for Regression Models
Toronto Metropolitan University（多伦多都会大学）
学习算法的目标是接收一个训练数据集作为输入，并提供一个假设，该假设可以推广到域集中所有可能的数据点。假设是从具有潜在不同复杂性的假设类别中选择的。线性回归建模是一类重要的学习算法。目标样本的实际不确定性影响学习模型的泛化性能。未能选择适当的模型或假设类可能会导致严重的问题，如欠拟合或过拟合。这些问题已经通过交替成本函数或利用交叉验证方法来解决。这些方法可能会引入新的超参数，带来新的挑战和不确定性，或者增加学习算法的计算复杂度。另一方面，可能近似正确理论（PAC）旨在基于概率设置定义可学习性。尽管它的理论价值，PAC不解决实际的学习问题在许多场合。这项工作的灵感来自PAC的基础，并受到现有回归学习问题的激励。该方法利用库尔贝克-莱布勒散度（相对熵），并在超参数集合中提出了一个新的相关典型集合，以解决可学习性问题。此外，它使学习者能够比较不同复杂性顺序的假设类，并在其中选择最佳的最小的假设类中的最小复杂性CoAC框架。该方法不仅克服了过拟合和欠拟合问题，而且在时间消耗和准确性方面都优于传统的交叉验证方法。
2023-03-28 cs.IT cs.LG math.IT
The Interplay Between Interpolation and Aggregation in Regression: Optimal Sample Complexity
Department of Computer Science, Aarhus University（奥胡斯大学计算机科学系）；Department of Statistics, University of Oxford（牛津大学统计学系）
本文从理论上研究回归中插值与聚合的相互作用，证明γ-图维度刻画了广泛自然聚合过程的可学习性，并发现通过中位数聚合三个插值假设的简单过程在所有聚合过程中最优，且严格强于恰当学习。
2026-07-28 cs.LG
The Exact Sample Complexity Gain from Invariances for Kernel Regression
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；TU Munich（慕尼黑工业大学）
本文从理论角度研究了核回归中利用不变性提升样本复杂性的机制，推导了在紧致流形上核岭回归的最小最大最优速率，并揭示了群作用对样本复杂性的影响。
2023-11-06 cs.LG
Estimation of a regression function on a manifold by fully connected deep neural networks
考虑了独立同分布数据的回归函数的估计问题。相对于预测变量的分布积分的$L_2$误差用作误差标准。针对光滑回归函数，分析了基于具有ReLU激活函数的深度神经网络的全连通空间的最小二乘估计收敛速率。它示出的情况下，预测变量的分布集中在一个流形上，这些估计实现的收敛速率，这取决于流形的尺寸，而不是预测变量的组件的数量。
2021-07-20 math.ST stat.ML stat.TH
Time-adaptive infinite-dimensional Gaussian process regression on manifolds
本文提出基于经验贝叶斯方法的功能高斯过程回归新框架，利用流形上的紧致高斯测度和拉普拉斯-贝尔特里运算符的特征函数实现时间变化角谱的降维，通过截断方案提升回归性能。
2026-10-01 cs.LG stat.ML
Minimax-optimal semi-supervised regression on unknown manifolds
Weizmann Institute of Science（魏茨曼科学研究所）
我们考虑半监督回归时，预测变量是从一个未知的流形。解决这个问题的一个简单的两步方法是：（i）使用标记和未标记的实例来估计任何一对点之间的流形测地线距离;以及（ii）基于这些距离估计应用k最近邻回归量。我们证明了足够多的未标记的点，这种简单的方法测地线kNN回归达到最佳的有限样本极大极小界的均方误差，如果已知的流形。此外，我们展示了如何可以有效地实现这种方法，只需要O（k N log N）的操作来估计所有N个标记和未标记点的回归函数。我们在两个具有流形结构的数据集上说明了这种方法：使用WiFi指纹的室内定位和面部姿态估计。在这两种情况下，测地线kNN比流行的拉普拉斯特征向量回归更准确，更快。
2017-03-06 cs.LG stat.ML
Implicit Manifold Gaussian Process Regression
EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
针对高维数据下高斯过程回归效果不佳的问题，提出一种可直接从数据中以全可微方式推断隐式流形结构的高斯过程回归方法，可扩展至数十万数据点，提升高维场景下的预测性能与校准效果。
2024-02-01 cs.LG stat.ML
Intrinsic Gaussian Process Regression Modeling for Manifold-valued Response Variable
International Institute of Finance, School of Management, University of Science and Technology of China（中国科学技术大学管理学院国际金融学院）；Department of Statistics and Data Science, College of Science, Southern University of Science and Technology（南方科技大学理学院统计与数据科学系）
针对流形值响应变量复杂数据缺乏内在高斯过程方法的问题，本文提出基于黎曼流形平行传输算子的内在协方差结构及新回归模型，建立其渐近性质并通过数值研究验证效果。
2025-02-09 cs.LG stat.ML
Local Fréchet functional regression in manifolds from time-correlated bivariate curve data
organization= 1 University of Granada 2 University of M\'alaga , country= Spain
本文在可分离希尔伯特空间中推导了响应和回归变量的最小二乘局部线性Fréchet曲线预测器，并提出了基于加权Fréchet均值的流形内蕴局部线性Fréchet曲线预测器，证明了其渐近最优性。
2026-08-12 cs.LG math.ST stat.ML
A Unified Analysis of Multi-task Functional Linear Regression Models with Manifold Constraint and Composite Quadratic Penalty
本文研究多任务函数线性回归模型，提出具有矩阵流形约束和复合二次惩罚的双重正则化通用模型，推导出统一的收敛上界并应用于降秩和图拉普拉斯正则化等特例。
2023-08-01 math.ST stat.ML stat.TH
Skeleton Regression: A Graph-Based Approach to Estimation with Manifold Structure
本文提出了一种新的回归框架，用于处理具有噪声的低维流形上的大规模复杂数据，通过构建图结构并应用非参数回归技术来估计回归函数。
2026-03-14 cs.LG stat.ME stat.ML
Conformal inference for regression on Riemannian Manifolds
本文将共形推断扩展到响应变量位于黎曼流形、协变量位于欧几里得空间的回归场景，提出分布无关的非参数预测集，并证明其经验版本几乎必然渐近收敛到总体版本，通过模拟和真实数据验证了方法有效性。
2025-07-16 cs.LG stat.ML
Manifold Gaussian Processes for Regression
Technische Universität Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
现成的高斯过程（GP）协方差函数对要建模的函数的结构上的平滑性假设进行编码。为了对复杂和不可微的函数建模，这些平滑性假设通常限制太多。缓解这种限制的一种方法是通过引入特征空间来找到数据的不同表示。这个特征空间通常是以无监督的方式学习的，这可能会导致数据表示对整个回归任务没有用处。在本文中，我们提出了流形高斯过程，这是一种新的监督方法，它联合学习数据到特征空间的变换和从特征空间到观察空间的GP回归。Manifold GP是一个完整的GP，允许学习数据表示，这对整个回归任务很有用。作为一个概念验证，我们评估了我们的方法在复杂的非光滑功能，标准的GP表现不佳，如步骤功能和机器人任务的接触。
2016-04-11 cs.LG stat.ML
Active Learning for Manifold Gaussian Process Regression
Dept. of Applied Mathematics（应用数学系）；Illinois Institute of Technology（伊利诺伊理工学院）；Dept. of Mathematics and Statistics（数学与统计学系）；University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）；Dept. of Mathematics（数学系）；University of California Riverside（加州大学河滨分校）
本文提出一种结合manifold学习和策略性数据选择的主动学习框架，用于高维空间中的高斯过程回归。通过联合优化神经网络和高斯过程回归器，提升预测准确性，实验显示优于随机顺序学习。
2025-06-26 cs.LG stat.ML
Ridge Regression on Riemannian Manifolds for Time-Series Prediction
Zuse Institute Berlin（柏林祖斯研究所）
本文提出面向时间序列预测的黎曼流形岭回归方法，结合贝塞尔曲线拟合、流形协方差与马氏距离正则化，推导梯度显式公式实现高效优化，经合成实验与飓风预报验证可有效降低预测误差。
2025-11-19 cs.NA math.DG math.NA
Multivariate Regression with Gross Errors on Manifold-valued Data
Bioinformatics Institute, A*STAR（新加坡科技研究局生物信息学研究所）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Singapore Institute for Neurotechnology, National University of Singapore（新加坡国立大学新加坡神经技术研究所）
我们考虑流形值输出的多元回归问题，即对于一个多元观测，其输出响应位于一个流形上。此外，我们提出了一个新的回归模型来处理存在严重损坏的流形值的响应，在实际情况中经常遇到的瓶颈问题。我们的模型首先通过流形上的测地线曲线对严重损坏的响应进行校正，然后对校正后的数据进行多元线性回归。这导致流形上的非凸和非光滑优化问题。为此，我们提出了一个专用的方法命名为PALMR，通过利用和扩展的近端交替线性化最小化技术。在理论上，我们研究了它的收敛性，证明了它在较弱的条件下收敛到一个临界点。从经验上讲，我们测试我们的模型合成和真实的扩散张量成像数据，并表明，我们的模型优于其他多元回归模型时，流形值的响应包含粗差，是有效的识别粗差。
2017-09-11 cs.CV math.OC stat.ML
Robust Geodesic Regression
Seoul National University（首尔大学）
研究了黎曼流形上数据的稳健回归问题。测地线回归是将线性回归推广到具有流形值因变量和一个或多个实值自变量的设置。现有的测地线回归工作使用平方和误差来找到解决方案，但在经典的欧几里德的情况下，最小二乘法是高度敏感的离群值。在本文中，我们使用M-型估计，包括$L_1$，Huber和Tukey双权估计，进行稳健测地回归，并描述如何计算后两者的调整参数。我们还表明，在紧凑的对称空间，所有的M型估计是极大似然估计，并认为整体的优越性的$L_1$估计的$L_2$和Huber估计的高维流形和Tukey biwight估计紧凑的高维流形。数值例子的结果，包括真实的神经影像数据的分析，证明了所提出的方法有前途的经验性质。
2022-01-25 cs.LG stat.ME stat.ML
On the complexity of switching linear regression
CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用实验室）
本技术说明将最近关于全局最小化分段仿射模型误差的计算复杂性的结果扩展到最小化切换线性回归模型误差的相关问题。特别是，我们表明，一方面的问题是NP-难的，但在另一方面，它承认一个多项式时间算法的数据点的数量为任何固定的数据维数和模式的数量。
2016-07-04 cs.CC cs.LG stat.ML
Sparse Reduced-Rank Regression for Simultaneous Rank and Variable Selection via Manifold Optimization
The University of Electro-Communications（电气通信大学）
针对高真实秩下降秩回归系数估计失效的问题，提出基于稀疏正则化与流形优化的同时秩与变量选择算法，实现准确估计并验证有效性。
2019-11-01 cs.LG stat.ME stat.ML
Solving weakly supervised regression problem using low-rank manifold regularization
Sobolev Institute of Mathematics（索博列夫数学研究所）；Novosibirsk State University（新西伯利亚国立大学）；RWTH Aachen（亚琛工业大学）
我们解决了一个弱监督回归问题。在“弱”下，我们理解对于一些训练点，标签是已知的，对于一些未知的，对于其他由于随机噪声或其他原因（如缺乏资源）而不确定的。求解过程需要优化某个目标函数（损失函数），它结合了流形正则化和低秩矩阵分解技术。这些低秩近似使我们能够加快所有矩阵计算并减少存储需求。这对于大型数据集尤其重要。包围聚类用于获得共关联矩阵，我们认为这是相似性矩阵。这些技术的使用使我们能够提高解决方案的质量和稳定性。在数值部分，我们使用Monte-Carlo建模将建议的方法应用于人工和真实数据集。
2021-04-13 cs.LG cs.NA math.NA
Semisupervised regression in latent structure networks on unknown manifolds
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Pennsylvania（宾夕法尼亚大学）；Indiana University（印第安纳大学）
本文研究潜在位置位于未知一维流形上的随机点积图半监督回归问题，提出结合流形学习与图嵌入的预测方法，并给出收敛性保证。
2023-05-04 cs.LG stat.ML
Curvature Enhanced Data Augmentation for Regression
Ilya Kaufman Omri Azencot
针对回归任务数据增强不足的问题，提出基于数据流形二阶表示的CEMS采样方法，在分布内外场景中均以极小开销取得优于现有方法的性能。
2025-06-07 cs.LG stat.ML
The gradient complexity of linear regression
Princeton University（普林斯顿大学）；Google AI Princeton（谷歌AI普林斯顿）；UC Berkeley（加州大学伯克利分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们调查的计算复杂性的几个基本的线性代数原语，包括最大的特征向量计算和线性回归，在计算模型，允许访问的数据，通过矩阵向量产品的oracle。我们表明，多项式的准确性，$Θ(d)$调用的Oracle是必要的和足够的，即使是一个随机算法。我们的下界是基于减少估计随机Wishart矩阵的最小特征值。这个简单的分布使得能够利用随机Wishart集合的一些关键属性来进行简洁的证明。
2021-05-23 cs.DS cs.LG math.OC
Low Complexity Approximate Bayesian Logistic Regression for Sparse Online Learning
Google（谷歌）；Purdue University（普渡大学）
理论结果表明，贝叶斯方法可以实现在线逻辑回归的遗憾下界。然而，在实践中，这种技术可能不可行，特别是对于非常大的特征集。对于巨大的稀疏特征集，必须使用各种近似，从而减少理论上的优势。通常，他们应用随机梯度方法，超参数必须根据一些替代损失进行调整，从而击败贝叶斯方法的理论优势。替代损失，定义为近似的混合，需要的技术，如蒙特卡罗抽样，增加每个例子的计算。我们提出了低复杂度的分析近似稀疏在线逻辑和概率回归。与变分推理和其他方法不同，我们的方法使用解析闭合形式，大大降低了计算量。与密集的解决方案不同，作为高斯混合，我们的方法允许具有巨大特征集的稀疏问题，而不会增加复杂性。使用解析闭合形式，也不需要对代理损失应用随机梯度方法，也不需要调整和平衡学习和正则化超参数。经验结果顶部的性能更涉及计算的方法。像这样的方法，我们的方法仍然揭示每个功能和每个例子的不确定性措施。
2021-01-28 cs.LG stat.ML
Differentially Private Geodesic Regression
Department of Physics, University of Massachusetts, Amherst, USA（马萨诸塞大学物理系）；Department of Mathematics and Statistics, University of Massachusetts, Amherst, USA（马萨诸塞大学数学与统计学系）；Humboldt University of Berlin , Berlin, Germany（柏林洪堡大学）；Zuse Institute Berlin, Berlin, Germany（柏林祖布研究所）
本文提出了一种在黎曼流形上使用K-Norm Gradient机制实现微分隐私保护的测地回归方法，适用于医学影像和计算机视觉等数据领域。
2026-02-08 cs.LG stat.ML
Splitting Gaussian Process Regression for Streaming Data
University of Washington（华盛顿大学）
高斯过程为回归提供了灵活的核方法。虽然高斯过程具有许多有用的理论性质，并已被证明在实际中是有用的，但它们在观测数量上的缩放性很差。特别地，更新标准高斯过程模型的立方时间复杂度使得它们通常不适合应用于流数据。我们提出了一种算法，用于顺序划分输入空间和拟合局部高斯过程的每个不相交的区域。该算法被证明具有优越的时间和空间复杂性，现有的方法，其顺序的性质允许应用到流数据。该算法构造了一个模型，其更新的时间复杂度由一个预先指定的参数严格限制。据我们所知，该模型是第一个达到线性记忆复杂度的局部高斯过程回归模型。证明了模型的理论连续性。我们证明了所得到的模型对流数据的多维回归任务的有效性。
2020-10-06 cs.LG stat.ME stat.ML
Wasserstein F-tests for Fréchet regression on Bures-Wasserstein manifolds
本文针对Bures-Wasserstein流形上的Fréchet回归问题，提出Wasserstein F检验方法，推导了估计量收敛速率与检验统计量渐近性质，通过模拟和单细胞基因表达数据验证了方法有效性。
2024-09-15 stat.ME stat.ML
Linking Gaussian Process regression with data-driven manifold embeddings for nonlinear data fusion
Johns Hopkins University（约翰斯·霍普金斯大学）；Brown University（布朗大学）
在使用高斯过程回归的统计建模中，已经表明，与仅基于少数高保真数据的预测相比，将（少数）高保真数据与（许多）低保真数据组合可以提高预测精度。这种用于多保真度数据的信息融合技术通常将高保真度模型$f_h(t)$作为两个变量$(t,y)$的函数来逼近，然后使用$f_l(t)$作为$y$数据。更一般地说，高保真度模型可以写成几个变量$(t,y_1,y_2....)$的函数;低保真度模型$f_l$和它的一些衍生物可以代替这些变量。在本文中，我们将探讨多保真度信息融合的数学算法，使用这种方法来提高只有少数几个训练数据点的高保真度函数的表示。鉴于$f_h$可能不是一个简单的功能-有时甚至不是一个功能-的$f_l$，我们证明，使用额外的功能$t$，如衍生物或移位的$f_l$，可以大大提高近似的$f_h$通过高斯过程。我们还指出了一个连接与“嵌入”技术的拓扑结构和动力系统。
2018-12-16 cs.LG physics.comp-ph stat.ML
Fréchet Regression on the Bures-Wasserstein Manifold
Rice University（莱斯大学）
本文研究了在正定矩阵布雷-瓦瑟斯坦流形上条件均值的存在性和计算，提出了存在性条件并设计了无投影算法，验证了在生物网络和大规模扩散张量成像中的有效性。
2026-11-05 math.OC stat.ML
On the complexity of logistic regression models
The Kavli Institute for Systems Neuroscience and Centre for Neural Computation, NTNU（挪威科技大学卡夫利系统神经科学研究所与神经计算中心）；The Abdus Salam International Centre for Theoretical Physics (ICTP)（阿卜杜勒·萨拉姆国际理论物理中心）
我们研究了逻辑斯谛回归模型的复杂性，该模型通过计算模型可以表示的不可区分分布的数量来定义（Balasubramanian，1997）。我们发现，Logistic模型的复杂性与二进制输入不仅取决于参数的数量，但也对输入的分布在一个非平凡的方式，复杂性的标准处理不解决。特别是，我们观察到，输入之间的相关性诱导有效的参数之间的依赖关系，从而约束模型，从而降低其复杂性。我们推导出简单的关系的上界和下界的复杂性。此外，我们分析表明，在有限的支持，而不是整个轴上定义的模型参数，降低了复杂性的方式，严重依赖于域的大小。基于我们的研究结果，我们提出了一种新的模型选择标准，它考虑了输入分布的熵。在贝叶斯模型选择框架下，我们对逻辑斯谛回归模型的输入变量选择问题进行了测试。在我们的数值测试中，我们发现，虽然标准模型选择方法（AIC，BIC，$\ell_1$正则化）的重建误差强烈依赖于地面真实的稀疏性，我们的方法的重建误差总是接近最小的稀疏性，数据大小和输入相关性的强度的所有条件。最后，我们观察到，当考虑分类而不是二进制输入时，在一个简单的和数学上易于处理的情况下，字母表大小对复杂性的贡献与参数空间维度相比非常小。我们进一步探讨了这个问题，通过分析的数据集的“13把钥匙到白宫”，这是一种预测美国总统选举结果的方法。
2019-03-01 cond-mat.dis-nn cs.LG physics.data-an
Regression Trees on Grassmann Manifold for Adapting Reduced-Order Models
低维和计算成本较低的降阶模型（ROM）已被广泛用于捕捉高维系统的主导行为。ROM可以使用众所周知的本征正交分解（POD）通过将全阶模型投影到由从实验、模拟或观测数据学习的模态基模态所跨越的子空间来获得，即，训练数据然而，最优基可以随着参数设置而改变。当使用从训练数据获得的POD基构造的ROM被应用于新的参数设置时，该模型通常缺乏对设计、控制和其他实时操作问题中的参数变化的鲁棒性。本文提出使用格拉斯曼流形上的回归树来学习参数与POD基之间的映射，POD基跨越全阶模型投影到的低维子空间。出于这样一个事实，即跨越的POD基础的子空间可以被看作是在格拉斯曼流形上的一个点，我们建议通过反复分裂树节点，以最大限度地提高黎曼距离的两个子空间跨越的预测POD基础上的左，右子节点。五个数值例子，全面展示所提出的方法的性能，并比较所提出的基于树的方法，现有的插值方法POD基和使用全球POD基。结果表明，所提出的基于树的方法是能够建立参数和POD基地之间的映射，从而适应新的参数ROM。
2022-06-22 cs.CE stat.AP stat.ML
Variable subset selection via GA and information complexity in mixtures of Poisson and negative binomial regression models
计数数据，例如一个城市中观察到的疾病病例数，通常出现在医疗分析和流行病学领域。在本文中，我们考虑对多变量数据进行回归，其中我们的结果是计数。具体来说，我们推导出对数似然函数的有限混合回归模型，涉及计数来自泊松分布，以及负二项分布时，计数显着过度分散。在我们提出的建模框架内，我们使用信息标准得分AIC，BIC，CAIC和ICOMP进行最优组件选择。我们展示了我们的方法在模拟数据上的应用，以及从2010年开始在田纳西州各县的艾滋病毒病例的真实数据集。最后，在我们的框架内使用遗传算法，我们进行变量子集选择，以确定最负责分类田纳西州县的协变量。这导致了一些有趣的见解的特点，县有高艾滋病毒计数。
2015-05-20 stat.ME stat.ML
