A statistical perspective of sampling scores for linear regression
本文考虑了从噪声样本中学习线性模型的统计问题。现有的工作集中在近似最小二乘解决方案，通过使用基于分数的重要性抽样分布。然而，没有有限样本的统计保证，没有计算效率的最佳采样策略已被提出。为了评估不同抽样策略的统计特性，我们提出了一个简单而有效的估计，这是易于理论分析，是有用的多任务线性回归。对于任何给定的抽样分数，我们推导出所提出的估计的精确均方误差。基于最小化均方误差，我们提出了估计器和预测器的最佳采样分数，并表明它们受到噪声信号比的影响。数值模拟结果与理论分析吻合较好。
2016-02-10 stat.ML
Group-Average and Convex Clustering for Partially Heterogeneous Linear Regression
本文引入子群最小二乘和凸聚类方法，推导出一种在精准营销和精准医疗领域具有潜在应用价值的部分异质线性回归。利用子群最小二乘法可以一致地估计齐次参数和非齐次参数的子群平均值，而不需要对非齐次参数作稀疏性假设。通过凸聚类可以对异质参数进行一致性聚类。与现有的回归聚类方法不同，我们的聚类过程是一个标准的均值聚类，尽管所研究的模型是一种回归类型，相应的算法只涉及低维参数。因此，即使样本量很大，也是简单和稳定的。通过仿真研究和对汽车销售数据的分析，进一步说明了该方法的优越性。
2017-11-01 stat.ME
Nonparametric Least Squares Estimation of a Multivariate Convex Regression Function
本文讨论了预测变量为多维时凸回归函数的最小二乘估计的相合性。我们的特点和讨论这样的估计通过某些二次和线性规划的解决方案的计算。温和的充分条件的一致性，这个估计和它的次微分在固定和随机设计回归设置。我们还考虑了一个回归函数，这是已知的凸和分量非增，并讨论其最小二乘估计的特征，计算和一致性。
2012-02-28 math.ST stat.TH
Convex Regression in Multidimensions: Suboptimality of Least Squares Estimators
本文证明当维数d≥5时，凸函数类上的最小二乘估计量在平方误差损失下达到n^{-2/d}速率，次优于n^{-4/(d+4)}的极小极大速率，并建立了无约束凸LSE在多面体域固定设计下的首个收敛速率结果。
2024-09-03 math.ST stat.ML stat.TH
Towards the study of least squares estimators with convex penalty
惩罚最小二乘估计是高维统计中的一种常用方法。它包括LASSO，组LASSO和核范数惩罚最小二乘法等方法。这些方法的现有理论是不完全令人满意的，因为它允许人们证明预言不等式与固定的高概率，只有估计依赖于这个概率。此外，出现在预言界的兼容性因素的控制往往是不明确的。最近的一些发展表明，预言不等式理论可以用一种改进的方式进行修正。在本文中，我们提供了一个概述的想法和工具，导致这样一个改进的理论。我们表明，随着克服上述缺点，该方法扩展到希尔伯特框架，它适用于一大类凸处罚。本文件是部分简要的。特别是，我们提供了适应的证据，从其他最近的工作的一些结果。
2017-07-07 math.ST stat.TH
On Suboptimality of Least Squares with Application to Estimation of Convex Bodies
Massachusetts Institute of Technology（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
我们开发了一种技术，建立下界的样本复杂性最小二乘（或经验风险最小化）的大类功能。作为一个应用，我们解决了一个公开的问题，最小二乘最优估计的凸集从噪音的支撑函数的测量尺寸$d\geq 6$。具体来说，我们建立最小二乘法是最小最大次优的，并实现了$\tildeΘ_d(n^{-2/(d-1)})$的速率，而最小最大速率是$Θ_d(n^{-4/(d+3)})$。
2020-06-07 cs.CG cs.LG math.MG
On the risk of convex-constrained least squares estimators under misspecification
我们考虑的问题估计的平均值的噪声向量。当均值位于凸约束集时，随机向量在约束集上的最小二乘投影是一个自然的估计量。这个估计的风险的性质，如其渐近行为的噪声趋于零，已经得到了很好的研究。相反，我们研究的行为，这个估计下的误指定，也就是说，没有假设的意思是在约束集。对于适当定义的概念的风险在错误的设置，我们证明了一个概括的低噪声表征的风险，由于Oymak和Hassibi的情况下的多面体约束集。我们的研究结果的一个有趣的结果是，在错误指定的设置比在良好指定的设置的风险可以小得多。我们还讨论了我们的结果保序回归的后果。
2017-06-13 math.ST stat.TH
Bounds on the prediction error of penalized least squares estimators with convex penalty
本文研究了具有任意凸罚的罚最小二乘估计。当观测噪声为高斯噪声时，我们证明了预测误差是一个集中在其中值附近的亚高斯随机变量。我们应用这个浓度属性，得到尖锐的预言不等式的预测误差的LASSO，组LASSO和斜率估计，无论是在概率和期望。与以前的工作LASSO型方法相比，我们的预言不等式的概率得到在任何置信水平的调整参数，不依赖于置信水平的估计。这也是为什么我们能够建立稀疏预言界的预期LASSO型估计，而以前已知的技术不允许控制的预期风险。此外，我们还证明了预言不等式中的集中率比以前通常理解的要好。
2016-09-21 math.ST stat.TH
Optimistic lower bounds for convex regularized least-squares
极小极大下界本质上是悲观的：对于任何给定的估计量，极小极大下界产生最坏情况目标向量$β^*_{worst}$的存在，对于该最坏情况目标向量，给定估计量的预测误差从下面有界。然而，极小极大下界并没有阐明给定估计器对于不同于$β^*_{worst}$的目标向量的预测误差。给出了任意凸正则化最小二乘预测误差的一个特征。该特征提供了预测误差的下界和上界。这产生了适用于任何目标向量的下界，而不仅仅适用于单个最差情况$β^*_{worst}$。最后，将这些预测误差的上界应用于Lasso稀疏线性回归。我们得到一个下界涉及的兼容常数的任何调谐参数，匹配的上界和下界的普遍选择的调谐参数，和一个下界的Lasso与小调谐参数。
2017-10-06 math.ST stat.TH
Sharp oracle inequalities for Least Squares estimators in shape restricted regression
研究了保序、单峰和凸回归中最小二乘（LS）估计的性能。我们的结果有尖锐的预言不等式的形式，占模型的误指定错误。在保序和单峰回归中，LS估计量实现非参数率$n^{-2/3}$以及阶数为$k/n$的参数率，直到对数因子，其中$k$是真实参数的常数段的数量。在单变量凸回归中，LS估计量满足阶数为$q/n$直到对数因子的自适应风险界，其中$q$是真实回归函数的仿射片段的数量。这种自适应风险界限适用于任何设计点。虽然Guntuboyina和Sen（2013）确定了凸回归的非参数速率对于等间距设计点为$n^{-4/5}$阶，但我们证明了凸回归的非参数速率对于某些最差情况设计点可能与$n^{-2/3}$一样慢。这种现象可以解释如下：虽然凸性比单峰性带来更多的结构，但对于某些最差情况的设计点，这种额外的结构是没有信息的，单峰回归和凸回归的非参数率都是$n^{-2/3}$。
2016-08-08 math.ST stat.TH
Least-Squares Linear Dilation-Erosion Regressor Trained using a Convex-Concave Procedure
University of Campinas（坎皮纳斯大学）
本文提出了一种用于回归任务的混合形态神经网络，称为线性膨胀-侵蚀回归器（$\ell$ -DER）。一个$\ell$ -DER是由线性和形态算子的组合的凸组合。它们产生连续的分段线性函数，因此是通用的逼近器。除了介绍$\ell$ -DER模型，我们制定了他们的培训作为一个差异的凸（DC）规划问题。准确地说，$\ell$ -DER是通过使用凹凸过程（CCP）最小化最小二乘来训练的。使用几个回归任务的计算实验证实了所提出的回归器的功效，优于其他混合形态模型和最先进的方法，如多层感知器网络和径向基支持向量回归器。
2022-09-06 cs.AI cs.LG math.OC
Optimal tuning-free convex relaxation for noisy matrix completion
本文针对含噪矩阵补全问题，提出无调参的平方根矩阵补全估计器，证明其在均匀采样下达到最优统计性能，且不依赖噪声大小，并通过与非凸估计器的联系进行分析。
2023-06-06 cs.IT math.IT math.ST
Convex Combination of Ordinary Least Squares and Two-stage Least Squares Estimators
在混杂因素的存在下，普通最小二乘（OLS）估计量是有偏的。这个问题可以通过使用两阶段最小二乘（TSLS）估计，有效的工具变量（IV）的可用性的基础上得到补救。然而，这种偏差的减少被方差的增加所抵消。在标准假设下，OLS估计量确实比TSLS估计量有更大的偏差;而且，可以证明OLS估计量的样本方差不大于TSLS估计量的样本方差。因此，很自然地会问，是否可以结合OLS和TSLS估计的理想属性。这种权衡可以通过这两个估计的凸组合来实现，从而产生我们提出的凸最小二乘（CLS）估计。这里选择OLS和TSLS估计量的相对贡献，以最小化它们的凸组合的均方误差（MSE）的样本估计。证明了当OLS和TSLS的MSE不同时，该比例参数是唯一的。值得注意的是，我们表明，这个比例参数可以从数据中估计，并且由此产生的CLS估计是一致的。我们还展示了CLS框架如何将其他渐近无偏估计量，如刀切IV估计（JIVE）。CLS估计的有限样本性质进行了研究，使用蒙特卡罗模拟，在其中，我们独立地改变混杂量和强度的工具。总体而言，CLS估计被发现优于TSLS估计的MSE。该方法也适用于一个经典的数据集，从计量经济学，模型的金融回报教育。
2015-04-13 math.ST stat.AP stat.ME
Testing convexity of a discrete distribution
基于凸最小二乘估计，我们提出了两种不同的程序来测试的概率质量函数的凸性支持在一个未知的有限支持。所示的程序是渐近校准。
2017-01-16 math.ST stat.TH
Identifiable Convex-Concave Regression via Sub-gradient Regularised Least Squares
本文提出ICCNLS方法，通过正交约束和次梯度正则化实现凸-凹分解的可识别非参数回归，在合成与真实数据上提升预测精度和模型简洁性。
2026-09-29 cs.LG math.ST stat.AP
Shape-Constrained Regression using Sum of Squares Polynomials
我们提出了一个层次的半定程序（SDPs）的问题拟合的形状约束（多元）多项式的噪声评价一个未知的形状约束函数。这些形状约束包括凸性或单调性的框。我们表明，多项式函数是最佳的任何固定水平，我们的层次结构形成一致的估计的基本形状约束的功能。作为证明的副产品，我们建立了平方和凸多项式是稠密的多项式是凸的一个任意框。对单调多项式建立了一个类似的平方和型密度结果。此外，我们分类的复杂性，凸和单调的多项式回归的多项式回归的次数的函数。虽然我们的结果显示了这些问题在三度或更大程度上的NP-硬度，但我们可以通过数值检验我们基于SDP的回归器通常在层次结构的低级别上实现类似的训练错误。最后，在计算方面，我们提出了一个经验比较我们的基于SDP的凸回归与凸最小二乘估计在[Hildreth，1954]和[Holloway，1979]，并表明我们的回归是有价值的设置中的数据点的数量是大的，尺寸是相对较小的。我们证明了我们的回归计算最优输运地图的颜色转移任务的问题，估计一个圆锥规划的最优值函数的性能。后一个问题的库存管理合同谈判的实时应用。
2022-10-28 cs.CC math.OC math.ST
On asymptotics of the discrete convex LSE of a pmf
在这篇文章中，我们得到了凸概率质量函数（pmf）的最小二乘估计（LSE）的弱极限分布。我们表明，它可以定义通过一定的凸投影的高斯向量。此外，可以使用高效的Dykstra-like算法从该极限分布生成任何给定大小的样本。
2014-04-11 math.ST stat.TH
Multivariate Gaussians, Semidefinite Matrix Completion, and Convex Algebraic Geometry
我们研究了由协方差阵的逆矩阵上的线性约束描述的多元正态模型。这种模型的极大似然估计导致的问题，最大化的决定性功能在一个spectrahedron，并在任意线性投影下的正定锥的图像的特征的问题。这些问题的统计和优化的接口在这里检查凸代数几何的角度来看。
2009-06-18 math.AG math.OC math.ST
Learning with Square Loss: Localization through Offset Rademacher Complexity
University of Pennsylvania（宾夕法尼亚大学）；Cornell University（康奈尔大学）
我们考虑回归平方损失和一般类的功能没有有界性假设。我们引入了一个概念的偏移拉德马赫复杂度，提供了一个透明的方式来研究本地化的期望和高概率。对于任何（可能是非凸的）类，两步估计的超额损失被证明是通过一个新的几何不等式的偏移复杂性的上界。在凸的情况下，估计减少到经验风险最小化。该方法恢复的结果\citep{RakSriTsy15}的有界的情况下，同时也提供保证，没有有界性假设。
2015-06-15 cs.LG math.ST stat.ML
