Rank-Based Multi-task Learning for Fair Regression
The University of Texas at Dallas（得克萨斯大学达拉斯分校）；Department of Computer Science（计算机科学系）
在这项工作中，我们开发了一种新的公平性学习方法，用于基于有偏训练数据集的多任务回归模型，使用流行的基于秩的非参数独立性检验，即，Mann Whitney U统计量，用于测量目标变量和保护变量之间的依赖性。为了有效地解决这个学习问题，我们首先将这个问题重新表述为一个新的非凸优化问题，其中基于单个对象的分组排序函数定义了一个非凸约束。然后，我们开发了一个有效的模型训练算法的框架下的非凸交替方向的乘法器（NC-ADMM），其中的主要挑战之一是实现一个有效的投影预言机的基础上定义的排名功能的前一个非凸集。通过对合成数据集和真实数据集的广泛实验，我们验证了我们的新方法在与公平学习相关的几个流行指标上与几种最先进的竞争方法相比的出色性能。
2020-09-23 cs.LG stat.ML
A randomized algorithm to solve reduced rank operator regression
Istituto Italiano di Tecnologia（意大利理工学院）；University of Novi Sad（诺维萨德大学）；University College London（伦敦大学学院）
本文提出随机化降秩回归（R4）算法，利用高斯草图技术高效求解可能无限维的向量值回归问题，理论证明风险接近最优，实验展示在神经科学和Koopman算子回归中的优势。
2023-12-28 cs.LG cs.NA math.NA
Spectral Algorithm for Low-rank Multitask Regression
Google Research（谷歌研究院）；The Hebrew University（希伯来大学）；Bar-Ilan University（巴伊兰大学）；Tel-Aviv University（特拉维夫大学）
多任务学习，即利用单个任务的相关性来提高所有任务的性能，是机器学习领域的核心挑战。我们专注于矩阵回归任务，其中权重矩阵的秩受到约束，以降低样本的复杂性。我们引入了通用机制回归（CMR）模型，该模型假设所有任务都有一个共享的左低秩分量，但允许每个任务有一个单独的右低秩分量。这大大减少了准确估计所需的样本数量。共同和局部分量的联合恢复问题具有非凸双线性结构。我们克服了这个障碍，并提供了一个可证明有益的非迭代谱算法。吸引人的是，该解决方案具有良好的行为，这是相关任务数量和每个任务可用样本数量的函数。我们证明了我们的方法的有效性，在多个河流站点，每个任务的数据是自然稀缺的远程河流流量估计的挑战性任务。在这种情况下，在任务之间共享低秩分量转化为水的共享光谱反射，这是真正的底层物理模型。我们还显示了显着不同的设置图像分类的共同组成部分可以被解释为共享的卷积滤波器的方法的好处。
2019-10-27 cs.LG stat.ML
Regression on fixed-rank positive semidefinite matrices: a Riemannian approach
University of Liège（列日大学）；Mines ParisTech（巴黎矿业学院）
本文讨论了由固定秩半正定矩阵参数化的回归模型的学习问题。重点是非线性性质的搜索空间和高维问题的可扩展性。数学的发展依赖于适应于黎曼几何的梯度下降算法的理论，黎曼几何是固定秩半正定矩阵的基础。与文献中以前的贡献相比，学习矩阵的范围空间上没有任何限制。由此产生的算法保持线性复杂度的问题大小，并享有重要的不变性。我们提出的算法学习的问题，由一个半正定矩阵参数化的距离函数。在经典基准测试中观察到良好的性能。
2011-01-31 cs.LG
Stochastic Low-Rank Kernel Learning for Regression
CNRS（法国国家科学研究中心）；Aix-Marseille Université（艾克斯-马赛大学）；Université du Sud-Toulon-Var（南土伦瓦尔大学）
我们提出了一种新的方法来学习基于核的回归函数。它是基于useof圆锥组合的数据为基础的参数化内核和一个新的随机凸优化程序，我们建立收敛保证。整个学习过程具有良好的性质，a）学习的圆锥组合被自动设计为执行手头的回归任务，以及b）优化过程所涉及的更新非常便宜。为了阐明我们的学习策略的恰当性，我们提出了在各种基准数据集上进行实验的经验结果。
2012-01-11 cs.LG
Rank-one Convexification for Sparse Regression
University of California, Berkeley（加州大学伯克利分校）；University of Pittsburgh（匹兹堡大学）
稀疏回归模型由于其易于解释性和出色的样本外性能而日益流行。然而，稀疏回归的精确模型与$\ell_0$约束限制的支持的估计是一个具有挑战性的（\NP硬）非凸优化问题。在本文中，我们得到了新的强凸松弛稀疏回归。这些松弛是基于理想的（凸包）配方秩一二次项与指标变量。新的松弛可以制定为半定优化问题在一个扩展的空间，更强大和更一般的比国家的最先进的配方，包括透视重构和配方与反向休伯罚款和极小极大凹罚函数。此外，建议的秩一加强可以被解释为一个\textit{non-separable, non-convex, unbiased}稀疏诱导正则化，它动态地调整其惩罚根据误差函数的形状，而不会引起偏见的稀疏解决方案。在我们的基准数据集的计算实验中，提出的二次曲线公式在几秒钟内解决，并导致非凸$\ell_0$ -问题的接近最优的解决方案（0.4\%的最优性差距）。此外，从统计的角度来看，所得到的估计也优于其他凸方法，实现了高预测精度和良好的可解释性。
2020-10-18 cs.LG math.OC stat.ME
Ranking over Regression for Bayesian Optimization and Molecule Selection
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；CIFAR Lebovic Fellow（CIFAR 莱博维奇 Fellow）；Canada（加拿大）；Chair, Director of Acceleration Consortium（150 职位，加速联盟主任）
本文提出基于排序的贝叶斯优化（RBO），用排序模型替代回归代理，在化学数据集上取得相似或更优的优化性能，尤其适用于结构-性质景观粗糙和存在活性悬崖的分子优化任务。
2024-10-11 cs.AI cs.LG stat.ML
Distributed Convolutional Rank Regression over Decentralized Networks
School of Mathematics and Statistics, Changchun University of Technology（长春工业大学数学与统计学院）
研究分散式网络上的卷积秩回归，提出含核平滑秩损失的分散式CRR框架，依赖本地与邻节点信息，实现隐私保护与高效通信，建立误差界与恢复保证，用广义共识ADMM求解，经实验验证性能良好。
2026-07-29 cs.LG stat.ME
Tensor-on-Tensor Regression: Riemannian Optimization, Over-parameterization, Statistical-computational Gap, and Their Interplay
Data Science Institute, University of Chicago（芝加哥大学数据科学研究所）
本文研究未知秩张量对张量回归，提出黎曼梯度下降和黎曼高斯-牛顿方法，证明其在秩过度参数化下仍能线性或二次收敛到统计最优估计，并揭示高阶张量场景中适度过度参数化在样本量上几乎零成本。
2024-01-15 cs.LG math.OC math.ST
On Low-rank Trace Regression under General Sampling Distribution
Stanford University（斯坦福大学）
本文提出一般采样分布下低秩迹回归的尖峰性概念，证明交叉验证选择正则化参数的近最优误差界，并通过模拟验证其优于理论阈值方法。
2023-08-29 cs.IT cs.LG math.IT
Beyond UCB: Optimal and Efficient Contextual Bandits with Regression Oracles
Massachusetts Institute of Technology（麻省理工学院）
上下文强盗的一个根本挑战是开发灵活的通用算法，其计算要求不低于经典的监督学习任务，如分类和回归。基于回归的算法已经显示出有希望的经验成功，但理论保证仍然难以捉摸，除非在特殊情况下。我们提供了第一个普遍的和最佳的减少从上下文强盗在线回归。我们将展示如何将任何具有给定价值函数类的在线回归的Oracle转换为具有诱导策略类的上下文强盗的算法，在运行时或内存要求中没有开销。我们的特点是极大极小利率的上下文土匪一般，潜在的非参数函数类，并表明我们的算法是极大极小最优的预言机获得最佳的回归率。与以前的结果相比，我们的算法不需要超出可实现性的分布假设，并且即使在上下文选择对抗时也有效。
2020-06-23 cs.LG math.ST stat.ML
Efficient Group Lasso Regularized Rank Regression with Simulation-Based Tuning
Engineering Systems and Design, Singapore University of Technology and Design, Singapore（新加坡科技设计大学工程系统与设计系）；School of Mathematics and Statistics, Henan University（河南大学数学与统计学院）；School of Mathematics and Statistics & Center for Applied Mathematics of Henan Province, Henan University（河南大学数学与统计学院及河南省应用数学中心）
针对高维回归受重尾噪声和异常值影响的问题，提出基于非光滑威尔科克森得分秩目标与组稀疏正则化的方法，引入模拟调优规则并建立误差界，开发近端增广拉格朗日方法，实验证明该方法的鲁棒性、有效性、效率及可扩展性。
2026-07-14 cs.LG math.OC math.ST
Gradient-based Optimization for Regression in the Functional Tensor-Train Format
我们考虑低多线性秩函数回归的任务，即，从分散的实值数据中学习函数的低秩参数表示。我们的第一个贡献是开发和分析一个有效的梯度计算，使基于梯度的优化程序，包括随机梯度下降和拟牛顿方法，学习的参数的功能张量列车（FT）。泛函张量列使用低秩数组的张量列（TT）表示作为一类低多线性秩函数的一种表示。FT由一组包含一组单变量函数的矩阵值函数表示，回归任务是学习这些单变量函数的参数。我们的第二个贡献表明，使用非线性参数化单变量函数，例如，在每个核内具有移动中心的对称核可以优于使用基函数的线性展开的标准方法。我们最后的贡献是新的秩自适应和组稀疏正则化程序，以尽量减少过拟合。我们使用几个基准问题来证明，在低样本数情况下，基于梯度的优化方法的准确性比标准交替最小二乘方法至少低一个数量级。我们还证明了一个数量级减少的精度测试问题，使用线性参数化的非线性参数化。最后，我们比较了回归性能与其他22个非参数和参数回归方法在10个真实世界的数据集。我们在七个数据集上达到了前五名的准确度，在两个数据集上达到了最好的准确度。这些排名是参数模型中最好的，并与最好的非参数方法竞争。
2018-01-11 math.OC stat.CO stat.ML
Faster Low-Rank Approximation and Kernel Ridge Regression via the Block-Nyström Method
Computer Science and Engineering, University of Michigan（计算机科学与工程系，密歇根大学）
本文提出Block-Nyström算法，通过在Nyström方法中引入块对角结构降低计算成本，用于改进二阶优化预条件子和高效求解核岭回归，并在相同预算下获得更强的谱尾部估计。
2025-07-19 cs.DS cs.LG
Nonparametric Trace Regression in High Dimensions via Sign Series Representation
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of Arizona（亚利桑那大学）
矩阵值数据的学习最近在一系列科学和商业应用中激增。迹回归是一种广泛使用的方法来建模矩阵预测的影响，并在矩阵学习中取得了巨大的成功。然而，几乎所有现有的迹回归解决方案都依赖于两个假设：（i）条件均值的已知函数形式，以及（ii）回归函数的整个范围内的全局低秩结构，这两个假设在实践中都可能被违反。在这篇文章中，我们放松这些假设，通过开发一个通用的框架，非参数跟踪回归模型，通过结构化的符号序列表示的高维函数。新模型包括线性和非线性跟踪效应，并享有秩不变的保序变换的响应。在矩阵补全的背景下，我们的框架导致了一个更丰富的模型，基于我们所谓的矩阵的“符号秩”。我们表明，符号系列可以统计特征加权分类任务。基于这种连接，我们提出了一种学习减少的方法来学习回归模型通过一系列的分类器，并开发了一个并行计算算法来实现符号系列聚合。我们建立了超额风险的界限，估计误差率，和样本的复杂性。我们的建议提供了一个广泛的非参数范式，许多重要的矩阵学习问题，包括矩阵回归，矩阵完成，多任务学习和压缩传感。我们通过模拟和两个应用程序，一个大脑连接的研究和其他高等级的图像完成证明了我们的方法的优势。
2021-05-04 cs.LG math.ST stat.ME
