Orthogonality conditions for convex regression
针对凸回归中识别正交性条件未知的问题，基于拉格朗日对偶理论建立样本正交性条件，并提出混合工具变量条件函数方法以减轻内生性影响。
2025-06-26 econ.EM stat.ME
Non-crossing convex quantile regression
针对凸分位数回归中的分位数交叉问题，本文提出惩罚凸分位数回归方法，在避免交叉的同时保持分位数性质，蒙特卡洛实验验证其优越性。
2022-04-04 stat.AP stat.ME
pyStoNED: A Python Package for Convex Regression and Frontier Estimation
形状约束非参数回归是计量经济学、统计学、运筹学、机器学习和相关领域中一个不断发展的领域。在生产率和效率分析领域，最近发展的多元凸回归和相关技术，如凸分位数回归和凸期望回归，弥补了传统的确定性非参数和随机参数方法之间的长期差距。不幸的是，沉重的计算负担和缺乏强大的，可靠的，完全开放的计算包已经减缓了这些先进的估计技术的扩散到经验的做法。Python包pyStoNED的目的是通过为多变量凸回归、凸分位数回归、凸期望回归、保序回归、数据的随机非参数化以及相关方法提供免费可用且用户友好的工具来解决这一挑战。本文介绍了pyStoNED软件包的教程，并说明了其应用，重点是前沿成本和生产函数的估计。
2021-09-27 stat.AP stat.CO stat.ME
Bayesian model selection for linear regression
在这篇笔记中，我们介绍了线性回归与基函数，以应用贝叶斯模型选择。我们的目标是结合贝叶斯分析提供的奥卡姆剃刀，以便自动选择能够最佳地解释数据而不过度拟合的模型。
2015-12-15 math.ST stat.ME stat.TH
Convex Support Vector Regression
受凸性或非凸性约束的非参数回归在经济学、金融学、运筹学、机器学习和统计学中越来越受欢迎。然而，传统的基于最小二乘损失函数的凸回归往往存在过拟合和野值问题。本文提出通过引入凸支持向量回归（CSVR）方法来解决这两个问题，该方法有效地结合了凸回归和支持向量回归的关键元素。数值实验表明，CSVR的预测精度和鲁棒性的表现，毫不逊色于其他国家的最先进的方法。
2022-09-26 stat.ME
Variable selection in convex quantile regression: L1-norm or L0-norm regularization?
维数灾难是非参数估计中公认的挑战。本文提出了一种新的L0-范数正则化方法，用于凸分位数和期望回归的子集变量选择。我们展示了如何使用混合整数规划来解决实践中提出的L0范数正则化方法，并建立了一个链接到常用的L1范数正则化方法。利用蒙特卡罗方法比较了L0-惩罚凸分位数和期望回归方法与L1-范数正则化方法在有限样本下的性能。该方法进一步应用于衡量OECD国家的可持续发展绩效，并实证分析了变量降维的准确性。仿真和应用结果表明，在多维空间中，L0范数正则化方法比L1范数正则化方法能更有效地解决维数灾难问题.
2021-07-07 stat.AP stat.ME
Minimum Sample Size for Developing a Multivariable Prediction Model using Multinomial Logistic Regression
多项逻辑斯谛回归模型允许预测具有2个以上类别的分类结局的风险。在开发这样的模型时，研究人员应该确保参与者的数量（n）相对于每个类别k的事件数量（E. k）和预测参数数量（p. k）是适当的。我们提出了三个标准，以确定所需的最小n在现有的标准开发的二元结果。第一个准则旨在最小化模型过拟合。第二个目标是尽量减少观察到的和调整后的R2 Nagelkerke之间的差异。第三个标准旨在确保准确估计总体风险。对于标准（i），我们表明样本量必须基于与多项式逻辑斯谛回归的子模型对应的不同一对一逻辑斯谛回归模型的预期Cox-snell R2，而不是基于多项式逻辑斯谛回归的总体Cox-snell R2。我们通过模拟研究测试了所提出的标准（i）的性能，发现它导致了期望的过拟合水平。标准（ii）和（iii）是以前提出的二元结果标准的自然扩展。我们说明了如何实施样本量标准，通过一个工作的例子考虑发展的多项风险预测模型的肿瘤类型时，提出了卵巢肿块。并给出了仿真代码和算例。我们将把我们提出的标准嵌入到pmsampsize R库和Stata模块中。
2022-07-26 stat.AP stat.ME
Proposal for the Application of Fractional Operators in Polynomial Regression Models to Enhance the Determination Coefficient $R^2$ on Unseen Data
针对多项式回归模型易过拟合导致未见数据$R^2$为负的问题，提出引入分数阶算子构建分数阶回归模型以缓解过拟合、提升未见数据决定系数，并给出构建方法与两类算子的应用示例。
2025-03-20 cs.NA math.NA math.ST
Multivariate convex regression with adaptive partitioning
我们提出了一种新的，非参数方法的多元回归受凸或凸约束的响应函数。凸性约束在经济学、统计学、运筹学、金融工程和优化中很常见，但目前还没有一种多变量方法可以计算超过几百个观测值。我们介绍了凸自适应分区（CAP），它创建一个全局凸回归模型从局部线性估计适合自适应选择的协变量分区。CAP计算效率高，与当前方法形成鲜明对比。最流行的方法是最小二乘估计，其计算复杂度为$\mathcal{O}(n^3)$。我们证明了CAP的计算复杂度为$\mathcal{O}(n \log(n)\log(\log(n)))$，并给出了一致性结果。将CAP应用于价值函数逼近，对具有大量标的资产的美式一篮子期权进行定价。
2011-11-13 stat.ME
A non-convex regularization approach for stable estimation of loss development factors
本文利用非凸正则化方法得到了保险赔款准备金中损失发展因子的稳定估计。在非凸正则化方法中，我们重点讨论了对数调整绝对偏差（LAAD）惩罚的使用，并讨论了LAAD惩罚回归模型的优化，我们证明了在温和的条件下，用坐标下降算法收敛。这样做的好处是，可以获得回归系数的相合估计量，同时又可以选择变量，这与损失发展系数的稳定估计有关。我们校准我们提出的模型使用多线保险数据集从财产和意外伤害保险公司，我们观察到报告的总损失沿事故年份和发展时期。与其他回归模型相比，我们的LAAD惩罚回归模型提供了非常有前途的结果。
2020-12-07 stat.AP stat.ME
Group-Average and Convex Clustering for Partially Heterogeneous Linear Regression
本文引入子群最小二乘和凸聚类方法，推导出一种在精准营销和精准医疗领域具有潜在应用价值的部分异质线性回归。利用子群最小二乘法可以一致地估计齐次参数和非齐次参数的子群平均值，而不需要对非齐次参数作稀疏性假设。通过凸聚类可以对异质参数进行一致性聚类。与现有的回归聚类方法不同，我们的聚类过程是一个标准的均值聚类，尽管所研究的模型是一种回归类型，相应的算法只涉及低维参数。因此，即使样本量很大，也是简单和稳定的。通过仿真研究和对汽车销售数据的分析，进一步说明了该方法的优越性。
2017-11-01 stat.ME
Variational Inference for Count Response Semiparametric Regression: A Convex Solution
University of Technology Sydney（悉尼科技大学）
本文提出了一种基于Polya-Gamma增强和结构化均场变分贝叶斯方法的变分推断框架，用于解决计数响应半参数回归问题，实现了数值稳定且高效的模型拟合。
2026-02-24 stat.ME
Ensemble Methods for Convex Regression with Applications to Geometric Programming Based Circuit Design
Duke University（杜克大学）
本文提出集成方法（如bagging、smearing和随机划分）来改进分段线性凸回归的稳定性，并应用于基于几何规划的电路设计中的器件建模和约束近似。
2012-06-18 cs.LG cs.NA math.NA
On Univariate Convex Regression
当（a）某一阶导数在目标点处为零，且（b）真实的回归函数是局部仿射函数时，我们得到了一维凸回归函数的最小二乘估计的局部收敛速度.在每种情况下，我们得到的极限分布的LSE及其衍生物。点态极限分布依赖于具有多项式漂移的双边布朗运动的积分的“反函数”在0处的二阶和三阶导数。我们还研究了最小二乘估计的不一致性及其导数在协变量空间域边界处的无界性。提出了凸回归函数的argmin的一个估计，并导出了它的渐近分布。此外，我们提出了一些新的结果的凸LSE，可能是独立的兴趣的特征。
2016-11-16 math.ST stat.ME stat.TH
Softplus Regressions and Convex Polytopes
为了构造灵活的非线性预测分布，本文介绍了一个家庭的softplus函数为基础的回归模型，卷积，堆叠，或结合这两种操作通过卷积可数无限堆叠Γ分布，其规模取决于协变量。广义逻辑斯谛回归使用单个超平面将协变量空间划分为两半，softplus回归使用多个超平面来构建一个有限空间，该有限空间与由多个半空间的交集或多个凸多面体的并集定义的单个凸多面体相关，以将一个类与另一个类分开。引入伽马过程以支持可数无限（堆叠）协变量依赖的Γ分布的卷积。对于贝叶斯推断，使用经由新颖的数据增强和边缘化技术导出的吉布斯抽样来对高度复杂的非线性预测分布进行去卷积和/或去混合。实例结果表明，softplus回归提供灵活的非线性决策边界，实现分类精度相媲美的内核支持向量机，同时需要显着减少计算的样本预测。
2016-08-23 stat.ME stat.ML
A Computational Framework for Multivariate Convex Regression and its Variants
研究了多元凸回归函数的非参数最小二乘估计。作为具有$O(n^2)$线性约束（$n$是样本量）的二次规划的解给出的LSE对于大型问题是难以计算的。利用问题的具体结构，我们提出了一个可扩展的算法框架的基础上增广拉格朗日方法来计算LSE。我们开发了一种新的方法来获得光滑的凸逼近拟合（分段仿射）凸LSE和提供正式的边界上的质量近似。当样本的数量不是太大相比，预测的维度，我们提出了一个正则化计划- Lipschitz凸回归-我们约束的次梯度的范数，并研究所获得的LSE的收敛速度。我们的算法框架是简单和灵活的，可以很容易地适应处理变量：非减/非增凸/凹（有或没有Lipschitz界）函数的估计。我们进行数值研究，说明所提出的算法的可扩展性。
2015-09-28 math.OC stat.CO stat.ME
Convex Reparameterization and Self-Concordant Algorithms for Multivariate Regression with Covariance Estimation
School of Statistics, University of Minnesota Twin Cities（明尼苏达大学双城分校统计学院）；Department of Applied Mathematics & Statistics, Stony Brook University（石溪大学应用数学与统计系）
该研究提出结合协方差估计的多元回归的凸重参数化方法，证明其缩放高斯损失为标准自协调，推导两种算法，模拟及蛋白质表达应用显示其预测误差相近且稠密精度矩阵时速度显著提升。
2026-08-20 stat.CO stat.ME
Optimal resource allocation: Convex quantile regression approach
本文提出基于凸分位数回归的分位数分配模型，利用影子价格优化资源分配，在芬兰商业部门实证中显示显著生产率提升潜力。
2023-11-11 econ.GN q-fin.EC stat.AP
On the variability of regression shrinkage methods for clinical prediction models: simulation study on predictive performance
在开发风险预测模型时，建议使用收缩法，特别是在样本量有限的情况下。一些早期的研究表明，模型系数的收缩可以减少预测模型的过拟合，从而平均产生更好的预测性能。在这项模拟研究中，我们的目的是研究回归收缩对二元结果预测性能的变异性，重点是校准斜率。斜率表示风险预测是否过于极端（斜率< 1）或不够极端（斜率> 1）。与标准极大似然估计相比，我们研究了以下收缩方法：均匀收缩（基于似然和基于自举），岭回归，惩罚极大似然，LASSO回归，自适应LASSO，非负绞喉，和Firth校正。有三个主要发现。首先，收缩平均改善了校准斜率。其次，校准斜率的样本间变异性通常相对于极大似然增加。在收缩方法中，基于引导的均匀收缩总体上工作得很好。与其他收缩方法相比，Firth的校正只有很小的收缩效果，但变化性很低。第三，估计的收缩率和去除过拟合的最佳收缩率之间的相关性通常是负的。因此，尽管收缩平均改善了预测，但它在单个数据集中的效果往往很差，特别是在最需要收缩的时候。观察到的收缩方法的变异性意味着这些方法不能解决与小样本量或每个变量的事件数量少相关的问题。
2019-07-26 stat.ME
Bayesian nonparametric multivariate convex regression
在经济学、运筹学和强化学习等许多应用中，经常需要估计受凸性约束的多元回归函数f。例如，在顺序决策过程中，在最优后续决策下的状态值可以已知为凸或凹。我们提出了一种新的贝叶斯非参数多元方法的基础上表征未知的回归函数的最大值的随机收集的未知超平面。该规范在凸函数空间上诱导了具有Kullback-Leibler意义上的大支持的先验，同时也导致了强后验一致性。虽然我们假设f定义在R^p上，但我们证明了当f实际上是一个d维线性子空间映射到R时，该模型在经验L2范数下的收敛速度为log（n）^{-1} n^{-1/（d+2）}.我们设计了一个有效的可逆跳MCMC算法的后验计算，并通过应用价值函数逼近的方法来证明。
2011-09-01 math.OC stat.ME stat.ML
Rank-one Convexification for Sparse Regression
University of California, Berkeley（加州大学伯克利分校）；University of Pittsburgh（匹兹堡大学）
稀疏回归模型由于其易于解释性和出色的样本外性能而日益流行。然而，稀疏回归的精确模型与$\ell_0$约束限制的支持的估计是一个具有挑战性的（\NP硬）非凸优化问题。在本文中，我们得到了新的强凸松弛稀疏回归。这些松弛是基于理想的（凸包）配方秩一二次项与指标变量。新的松弛可以制定为半定优化问题在一个扩展的空间，更强大和更一般的比国家的最先进的配方，包括透视重构和配方与反向休伯罚款和极小极大凹罚函数。此外，建议的秩一加强可以被解释为一个\textit{non-separable, non-convex, unbiased}稀疏诱导正则化，它动态地调整其惩罚根据误差函数的形状，而不会引起偏见的稀疏解决方案。在我们的基准数据集的计算实验中，提出的二次曲线公式在几秒钟内解决，并导致非凸$\ell_0$ -问题的接近最优的解决方案（0.4\%的最优性差距）。此外，从统计的角度来看，所得到的估计也优于其他凸方法，实现了高预测精度和良好的可解释性。
2020-10-18 cs.LG math.OC stat.ME
Piece-wise linear isotonic regression
Turku School of Economics, University of Turku（图尔库经济学院，图尔库大学）；Miguel Hernández University of Elche（埃尔切米格尔·埃尔南德斯大学）；Surrey Business School, University of Surrey（萨里商学院，萨里大学）
本文提出分段线性平滑框架，解决传统单调回归无法提供边际属性的问题，通过双层优化方法在凸非凸情况下提升估计精度。
2026-05-16 stat.ME
Convex Optimization Methods for Dimension Reduction and Coefficient Estimation in Multivariate Linear Regression
本文研究了多元线性回归迹模正则化最小二乘估计的凸优化方法。最近由Yuan等人[22]提出的所谓的因子估计和选择（FES）方法同时进行参数估计和因子选择，并且已被证明在大样本和有限样本中都具有良好的特性。然而，由于高维数和迹范数约束，计算估计在实践中可能非常具有挑战性。在本文中，我们探索了Nesterov平滑方法[20]和内点方法的一种变体，用于计算惩罚最小二乘估计。然后使用一组随机生成的实例比较这些方法的性能。我们表明Nesterov平滑方法的变体[20]通常大大优于SDPT3版本4.0（beta）[19]中实现的内点方法。此外，前一种方法的内存效率要高得多。
2009-04-04 stat.CO stat.ME
Totally Concave Regression
本文提出基于总凹性的多变量形状约束回归方法，以解决高维数据中的过拟合问题，同时保留协变量交互作用并提高收敛效率。
2025-11-28 math.ST stat.ME stat.TH
Sparse Convexification for High-Dimensional Constrained Regression
Department of Statistics and Data Science, Northwestern University（西北大学统计与数据科学系）
针对高维线性回归，提出稀疏凸化层次结构，通过惩罚最小二乘估计自适应于目标的最佳稀疏凸近似，在次高斯假设下得到平方误差率。
2026-08-18 math.ST stat.ME stat.TH
