Accelerating Non-Negative and Bounded-Variable Linear Regression Algorithms with Safe Screening
INRAE（法国国家农业食品与环境研究院）；CNRS（法国国家科学研究中心）；University of Toulouse（图卢兹大学）
本文提出一种基于安全筛选的加速技术，通过在迭代中识别饱和坐标来加速非负和有界变量线性回归求解器，并提供理论保证和实验验证。
2023-06-26 cs.LG stat.ML
A Wasserstein Minimax Framework for Mixed Linear Regression
MIT（麻省理工学院）；Weizmann Institute of Science（魏茨曼科学研究所）
多模态分布通常用于在统计学习任务中对聚类数据建模。本文研究混合线性回归（MLR）问题。我们提出了一个最佳的基于运输的框架MLR问题，Wasserstein混合线性回归（WMLR），它最小化学习和目标混合回归模型之间的瓦瑟斯坦距离。通过基于模型的对偶分析，WMLR将底层的MLR任务减少为非凸-凹极大极小优化问题，该问题可以通过梯度下降上升（GDA）算法证明求解以找到极大极小平稳点。在混合两个线性回归模型的特殊情况下，我们证明了WMLR具有全局收敛性和推广保证。我们证明了WMLR的样本复杂度与数据的维数成线性增长。最后，我们讨论了WMLR在联邦学习任务中的应用，其中训练样本由网络中的多个代理收集。与期望最大化算法不同，WMLR直接扩展到分布式、联邦学习设置。我们通过几个数值实验来支持我们的理论结果，这些实验突出了我们的框架处理混合模型联邦学习设置的能力。
2021-06-16 cs.LG math.OC stat.ML
How Data Augmentation affects Optimization for Linear Regression
Princeton University（普林斯顿大学）；University of Chicago（芝加哥大学）
虽然数据增强已迅速成为现代机器学习中优化的关键工具，但增强时间表如何影响优化并与优化超参数（如学习率）相互作用的清晰画面刚刚出现。在经典凸优化和最近的工作隐式偏差的精神，目前的工作分析了增广优化的效果在简单的凸设置的线性回归MSE损失。我们发现联合时间表的学习率和数据增强计划下，增强梯度下降可证明收敛和特征所产生的最小值。我们的研究结果适用于任意增强方案，揭示了复杂的学习率和增强之间的相互作用，即使在凸设置。我们的方法解释增广（S）GD作为一个随机优化方法的代理损失随时间变化的序列。这给出了一个统一的方法来分析学习率，批量大小，以及从加性噪声到随机投影的增强。从这个角度来看，我们的结果，这也给出了收敛速度，可以被视为Monro-Robbins型条件增广（S）GD。
2021-10-27 cs.LG math.OC stat.ML
An Efficient Minimax Optimal Estimator For Multivariate Convex Regression
Electrical Engineering and Computer Science, Massachusetts Institute of Technology（麻省理工学院电气工程与计算机科学系）；Department of Mathematics, Tel Aviv University（特拉维夫大学数学系）
本文提出了一种高效且最小最大最优的多变量凸回归估计器，适用于高维数据和多面体支持条件，解决了传统方法的最小二乘估计器次优问题。
2025-12-28 cs.LG math.MG math.ST
Alternating Minimization for Mixed Linear Regression
混合线性回归涉及从未标记的线性测量中恢复两个（或更多）未知向量;也就是说，每个样本来自其中一个向量，但我们不知道是哪一个。这是一个经典的问题，自然和经验最流行的方法，其解决方案一直是期望最大化算法。与其他设置一样，这很容易出现糟糕的局部最小值;然而，每次迭代都非常快（在猜测标签和使用这些标签求解之间交替）。在本文中，我们提供了一个新的EM初始化过程，基于找到适当的矩阵的两个特征向量。然后，我们表明，与此，一个重新采样的版本的期望最大化算法可证明收敛到正确的向量，自然假设下的采样分布，并与近最佳的（不可改进的）样本的复杂性。这不仅提供了EM的性能的第一表征，而且与标准（随机初始化）EM和用于该问题的其他方法相比，还提供了低得多的样本复杂度。
2014-02-07 stat.ML
Statistical Inference on Panel Data Models: A Kernel Ridge Regression Method
在核岭回归框架下提出了交互固定效应面板数据模型的统计推断方法，与传统的筛法相比，该方法不需要选择基函数和截断参数，模型复杂性由一个连续的正则化参数控制，该参数可以通过广义交叉验证自动选择.基于经验过程理论和泛函分析工具，我们得到了非均匀背景下估计量的联合渐近分布。这些联合渐近的结果，然后使用构造置信区间的回归平均值和预测区间的未来的观察，都是第一个可证明的有效区间在文献中。在齐次背景下，得到了函数估计的边缘渐近正态性。仿真和实际数据分析证明了该方法的优越性。
2017-03-08 math.ST stat.TH
Iterative Least Trimmed Squares for Mixed Linear Regression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
给定线性回归设置，迭代最小二乘（ILTS）涉及在（a）选择具有最低电流损耗的样本子集与（b）仅在该子集上重新拟合线性模型之间交替。这两个步骤都非常快速和简单。在本文中，我们分析ILTS设置的混合线性回归与腐败（MLR-C）。我们首先建立确定性条件（关于特征等）。在此条件下，ILTS的最小值线性收敛到最接近的混合分量。我们还提供了一个全球性的算法，使用ILTS作为一个子程序，完全解决混合线性回归腐败。然后，我们评估它的广泛研究设置的各向同性高斯特征，并建立我们匹配或更好的样本复杂性方面的现有结果。最后，我们提供了一个ODE分析的梯度下降的ILTS变体，具有最佳的时间复杂度。我们的研究结果提供了初步的理论证据，迭代拟合样本的最佳子集-一个潜在的广泛适用的想法-可以证明在坏的训练数据设置提供最先进的性能。
2019-11-12 cs.LG stat.ML
Empirical Bayes mean estimation with nonparametric errors via order statistic regression on replicated data
本文研究了$K$噪声观测值对$N$单元效应量的经验Bayes估计。我们表明，它是可能实现近贝叶斯最优的均方误差，没有任何假设或知识的影响大小分布或噪声。噪声分布可以是异方差的，并且从单元到单元任意变化。我们的建议，我们称之为极光，利用复制固有的$K$观察每单位和重铸的效果大小估计问题作为一个一般的回归问题。具有线性回归的Aurora可证明地匹配广泛的估计器的性能，包括样本均值、修剪均值、样本中位数以及其James-Stein收缩版本。Aurora自动化了互联网规模数据集的效应大小估计，正如我们在一家大型科技公司的数据上所展示的那样。
2021-08-10 stat.ME
Conformal Prediction using Conditional Histograms
本文提出了一种计算非参数回归预测区间的保角方法，该方法可以自动适应偏斜数据。利用黑盒机器学习算法来使用直方图估计结果的条件分布，它将其输出转换为具有近似条件覆盖的最短预测区间。所得的预测区间可证明在有限样本中具有边际覆盖，而如果黑箱模型是一致的，则渐近地实现条件覆盖和最优长度。模拟和真实数据的数值实验表明，改进的性能相比，国家的最先进的替代品，包括保形分位数回归和其他分布共形预测的方法。
2021-10-24 stat.ME stat.ML
Optimal designs for Lasso and Dantzig selector using Expander Codes
研究了利用非平衡膨胀图的邻接矩阵的高维回归问题。在这个框架中，我们证明了$\ell_{2}$ -预测误差和$\ell_{1}$ -风险的套索和Dantzig选择器是最佳的显式乘法常数。因此，我们可以估计一个高维目标向量的误差项类似于在一个已知的情况下，其中一个最大的坐标的支持提前获得。此外，我们证明了这些设计矩阵有一个明确的限制特征值。精确地说，它们满足约束特征值假设和具有显式常数的相容条件。最后，我们利用最近的建设不平衡的扩展图由于Guruswami，乌曼斯，和Vadhan，提供一个确定性的多项式时间这些设计矩阵的建设。
2014-07-22 cs.IT math.IT math.PR
Robust Linear Regression: Gradient-descent, Early-stopping, and Beyond
Facebook AI Research（脸书人工智能研究院）
在这项工作中，我们研究了对抗性攻击的鲁棒性，早期停止策略的梯度下降（GD）方法的线性回归。更准确地说，我们表明，早期停止GD是最佳的鲁棒性（绝对常数）对欧几里德范数对抗攻击。然而，我们表明，这种策略可以任意次优的情况下，一般的马氏攻击。这一观察结果与最近发现的分类~ \cite{Vardi2022GradientMP}的情况下，表明GD可证明收敛到非鲁棒模型是兼容的。为了缓解这个问题，我们建议改为应用GD方案对适应攻击的数据进行变换。这种数据转换相当于应用依赖于特征的学习率，我们证明了这种修改后的GD能够处理任何Mahalanobis攻击，以及在某些条件下更一般的攻击。不幸的是，对于一般攻击来说，选择这样的适应性变换可能很难。为了拯救，我们设计了一个简单易行的估计，其对抗风险在人口制度中的乘法常数1.1124内是最佳的，并且适用于任何规范。
2023-01-31 cs.LG stat.ML
Factorisable Multitask Quantile Regression
提出了一种具有因子结构的多元分位数回归模型，用于研究具有多个感兴趣响应的数据。因子结构可以随分位数水平的变化而变化，这使得我们的框架比经典的因子模型更具灵活性。该模型估计与核范数正则化，以适应高维数据，但所产生的优化问题只能有效地解决了近似的方式，现成的优化方法。当经验风险是非光滑的或数值过程涉及昂贵的子程序（如奇异值分解）时，经常会出现这种情况。为了保证近似估计量能准确估计模型，建立了近似估计量误差的非渐近界。为了实现，提出了一种可证明边缘化近似误差的数值方法。通过蒙特卡罗实验和金融应用程序，涉及大量的资产回报证明了我们的模型和建议的数值程序的优点。
2020-01-18 stat.CO stat.ME
Bayes optimal learning in high-dimensional linear regression with network side information
本文研究带网络边信息的高维线性回归问题，提出 Reg-Graph 生成模型和基于 AMP 的可证明贝叶斯最优算法，并通过互信息刻画和数值实验验证了网络边信息的统计价值与算法性能。
2024-10-23 math.ST stat.ML stat.TH
High-Dimensional Quantile Regression: Convolution Smoothing and Concave Regularization
$\ell_1$惩罚分位数回归被广泛用于分析具有异质性的高维数据。现在认识到，$\ell_1$ -罚分引入了不可忽略的估计偏差，而适当使用凹正则化可以导致随着信号增强具有精细收敛速率和预言属性的估计器。虽然强凸损失函数下的折叠凹惩罚$M$ -估计已经得到了很好的研究，但关于分位数回归的现有文献相对沉默。主要的困难是分位数损失是分段线性的：它是非光滑的，并且曲率集中在一个点上。为了克服光滑性和强凸性的不足，我们提出并研究了一种卷积型光滑分位数回归与迭代加权$\ell_1$ -正则化。由此产生的平滑经验损失是两次连续可微和（可证明）局部强凸的高概率。我们证明了迭代重加权$\ell_1$ -惩罚光滑分位数回归估计，经过几次迭代，达到最佳的收敛速度，而且，预言率和强预言性质几乎必要和充分的最小信号强度条件下。大量的数值研究证实了我们的理论结果。
2021-09-12 math.ST stat.ME stat.TH
Linear regression and its inference on noisy network-linked data
网络关联观测值的线性回归是利用附加网络结构对响应和协变量之间的关系进行建模的重要工具。以前的方法要么缺乏推理工具，要么依赖于对社会效应的限制性假设，并且通常假设网络被观察到没有错误。本文提出了一个具有非参数网络效应的回归模型。该模型不假设关系数据或网络结构被精确观察，并且可以证明对网络扰动具有鲁棒性。在网络观测误差的一般要求下，建立了渐近推理框架，并在特定的环境下，研究了误差来源于随机网络模型时，该方法的鲁棒性。我们发现了一个相变现象的推理有效性有关的网络密度时，没有先验知识的网络模型是可用的，同时也显示出一个显着的改善，通过知道网络模型。仿真研究进行了验证这些理论结果，并证明了所提出的方法的优势，现有的工作在不同的数据生成模型下的精度和计算效率。然后，将该方法应用于中学生的网络数据，研究教育研讨会在减少学校冲突的有效性。
2022-08-19 stat.ME
Robust Regression under Adversarial Contamination: Theory and Algorithms for the Welsch Estimator
CREST, ENSAE；ESSEC Business School（ESSEC商学院）；The University of Melbourne（墨尔本大学）
本文提出了一种在对抗污染下具有鲁棒性的回归方法，通过理论分析和实验验证展示了Welsch估计器在消除偏置和提高效率方面的优势。
2025-11-27 math.ST stat.TH
Guessing Facets: Polytope Structure and Improved LP Decoder
Feldman等人最近提出了一种新的基于松弛码字多胞形的线性规划（LP）译码方法，本文研究了LP松弛译码中所使用的多胞形的结构。我们首先表明，对于扩展码，每一个分数伪码字总是至少有一个恒定的分数的非整数位。然后，我们证明了扩展码，任何分数伪码字的活动集小于一个常数的分数比任何码字的活动集。我们利用这一事实，设计一个解码算法，证明优于有限块长度的LP解码器。它通过猜测多面体的方面，并解决这些方面的线性规划。虽然LP解码器成功，只有当ML码字具有最高的可能性在所有的伪码字，我们证明了扩展码的算法成功，即使有一个常数的伪码字的可能性更高。此外，所提出的算法的复杂度只是一个常数的因子大于LP解码器。
2006-08-11 cs.IT math.IT
Heterogeneous transfer learning for high-dimensional regression with feature mismatch
Department of Statistics, The Ohio State University（统计学系，俄亥俄州立大学）
本文提出了一种异质迁移学习方法，通过特征映射和填补缺失特征，解决高维回归中特征不匹配问题，并提供了误差上界。
2026-08-13 cs.LG stat.ML
Robust and Tuning-Free Sparse Linear Regression via Square-Root Slope
针对高维稀疏线性回归中的对抗污染与重尾噪声，提出改进的 Square-Root Slope 凸估计量，实现匹配 minimax 下界、自适应稀疏度与方差且计算可行的稳健估计。
2023-12-08 math.ST stat.TH
Upper Counterfactual Confidence Bounds: a New Optimism Principle for Contextual Bandits
Columbia University（哥伦比亚大学）
针对现有乐观算法难处理通用函数类与大上下文空间的问题，提出在策略空间构建置信界的UCCB原则，可高效处理相关场景并拓展至无限动作上下文赌博机。
2024-03-09 cs.LG math.ST stat.ML
Least quantile regression via modern optimization
我们使用现代优化方法解决最小二乘分位数（LQS）（特别是最小二乘中位数）回归问题。我们提出了一个混合优化（MIO）制定的LQS问题，使我们能够找到一个可证明的全局最优解的LQS问题。我们的MIO框架具有吸引人的特点，如果我们提前终止算法，我们将获得一个保证其次优性的解决方案。我们还提出了连续优化方法的基础上，一阶次微分方法，序列线性优化和混合组合，它们获得接近最优的解决方案的LQS问题。MIO算法被发现受益于我们的持续优化的方法提供的高质量的解决方案显着。我们进一步表明，MIO方法导致（a）任何数据集的最佳解决方案，其中的数据点$(y_i,\mathbf{x}_i)$的不一定在一般的位置，（b）一个简单的证明，故障点的LQS目标值，适用于任何数据集和（c）的情况下，有多面体的限制的回归系数向量的扩展。我们报告的计算结果与合成和现实世界的数据集显示，从连续优化方法的MIO算法解决小（$n=100$）和中等（$n=500$）大小的问题，以证明在两个小时内的最优性，并优于所有公开可用的大规模（$n={}$ 10，000）LQS问题的方法。
2014-11-19 stat.CO
Efficient Learning and Symmetry Discovery under Exact Invariances
MIT Laboratory for Information and Decision Systems (LIDS)（麻省理工学院信息与决策系统实验室）；Harvard John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Technical University of Munich（慕尼黑工业大学）；MIT Computer Science and Artificial Intelligence Laboratory (CSAIL)（麻省理工学院计算机科学与人工智能实验室）
本文提出首个统一适用于有限与无限群的多项式时间精确不变学习算法，并解决未知对称性发现，证明可恢复对称性且匹配最优样本复杂度。
2026-09-09 cs.LG stat.ML
Efficient Tuning-Free $\ell_1$-Regression of Nonnegative Compressible Signals
在压缩感知中，目标是从尽可能少的噪声、线性测量中恢复信号。一般的假设是信号只有少数非零项。恢复可以由多个不同的解码器执行，但是它们中的大多数依赖于一些调谐。给定噪声水平的估计，恢复信号的常见凸方法是基追踪去噪。如果测量矩阵具有关于$\ell_2$范数的鲁棒零空间性质，则基追踪去噪服从稳定和鲁棒恢复保证。在未知噪声水平的情况下，如果测量矩阵满足附加属性（有时称为$M^+$准则），则非负最小二乘法恢复非负信号。然而，如果测量矩阵是随机左正则二部图的双邻接矩阵，则它以高概率服从关于具有最优参数的$\ell_1$ -范数的零空间性质。因此，我们讨论非负最小一乘偏差（NNLAD）。对于这些测量矩阵，我们证明了一个统一的，稳定的和强大的恢复保证，而不需要调整。这种保证是重要的，因为二进制扩展矩阵是稀疏的，因此允许快速绘制和恢复。我们将进一步提出一种方法来解决NNLAD数值，并表明这是最先进的方法相媲美。最后，我们解释了NNLAD如何在最近的COVID-19危机中用于病毒检测。
2020-10-06 cs.IT math.IT math.OC
New approach to Bayesian high-dimensional linear regression
考虑在$X^n$的分布已知的假设下，从$m$响应变量$Y^m = AX^n+Z^m$估计由平稳过程生成的参数$X^n \in \mathbb{R}^n $的问题。这是贝叶斯线性回归问题的最一般版本。缺乏计算上可行的算法，可以采用通用的先验分布，并提供一个很好的估计$X^n$，限制了研究人员用来模拟数据的分布集。本文提出了一种新的方案Q-MAP。新方法具有以下特点：（i）它与无噪声环境下流行的MAP估计有相似之处。(ii)在无噪声环境下，当$X^n$具有独立同分布的分量时，它实现了“渐近最优性能”。(iii)它的规模有利的尺寸的问题，因此适用于高维设置。(iv)Q-MAP优化的解决方案可以通过所提出的迭代算法来找到，该算法对响应变量中的误差（噪声）具有可证明的鲁棒性。
2017-04-06 cs.IT math.IT math.ST
Smoothly Giving up: Robustness for Simple Models
Arizona State University（亚利桑那州立大学）；Google Research（谷歌研究院）
对于可解释的并且具有降低的能量和计算成本的模型（例如，医疗保健分析和联邦学习）。训练这种模型的算法的示例包括逻辑回归和提升。然而，这些算法面临的一个挑战是，他们证明遭受标签噪声，这已被归因于经常使用的凸损失函数和更简单的假设类之间的联合相互作用，导致过于强调被放在离群值。在这项工作中，我们使用基于裕度的$α$ -损失，它不断调整之间的规范凸和准凸损失，强大的训练简单的模型。我们表明，$α$超参数顺利地引入非凸性，并提供了“放弃”嘈杂的训练样本的好处。我们还提供了用于增强的Long-Servedio数据集和用于逻辑回归的COVID-19调查数据集的结果，突出了我们在多个相关领域的方法的有效性。
2023-02-17 cs.IT cs.LG math.IT
