Model-Robust Designs for Quantile Regression
当研究的目的是条件分位数函数的估计，估计方法是分位数回归时，本文给出了线性模型设计的构造方法。该设计对错误指定的响应函数和意外异方差具有鲁棒性。举例说明的方法，并在一个案例研究中，他们被应用到增长图。
2014-09-16 stat.ME
Three-group variance-ratio tests for heteroscedasticity in linear regression: an exact null distribution and an outlier-resistant version
Alexandria University（亚历山大大学）
提出一种线性回归异方差性检验方法，通过排序分组比较误差尺度，精确零分布且抗离群值，在多种模拟设置中功效优于现有检验，并支持沿时间变化的方差检测。
2026-10-02 stat.AP stat.ME
Bootstrap inference in functional linear regression models with scalar response under heteroscedasticity
针对异方差函数线性回归模型，提出去偏配对Bootstrap方法，建立中心极限定理，实现更有效的置信区间与假设检验。
2024-05-23 math.ST stat.TH
A Simplified Condition For Quantile Regression
本文针对经济金融风险预测中的异方差性问题，在三种概率模型下提出识别条件，从而建立了分位回归的简化条件。
2025-04-26 math.PR math.ST stat.TH
Nonparametric Depth and Quantile Regression for Functional Data
当响应和协变量都是函数时，我们研究了基于空间深度和分位数的非参数回归方法。与有限维数据的经典分位数回归一样，本文开发的回归技术提供了对功能协变量对功能响应的条件分布的不同部分（如中心和尾部）的影响的深入了解。基于深度和分位数的非参数回归对于检测函数回归中的异方差性是有用的。我们推导出非参数深度和分位数回归估计的渐近行为，它依赖于协变量空间中的小球概率。我们的非参数回归程序被用来分析一个数据集的人均国内生产总值对储蓄率的影响，为125个国家，和另一个数据集的影响，人均净可支配收入对卷烟销售在美国的一些州。
2018-02-07 stat.ME
Improved conformalized quantile regression
University of Aveiro（阿威罗大学）
针对保形分位数回归单一保形步骤缺乏自适应性的问题，提出基于排列重要性加权解释变量的优化k-means聚类并执行k个保形步骤，在开放数据集上验证其更适应异方差且优于经典方法。
2022-11-06 cs.LG stat.ML
Conformalized Quantile Regression
共形预测是一种构造预测区间的技术，该预测区间在有限样本中达到有效覆盖，而无需进行分布假设。尽管有这种吸引力，现有的保形方法可能是不必要的保守，因为它们形成的区间恒定或弱变化的长度跨越输入空间。在本文中，我们提出了一种新的方法，是完全适应异方差。它结合了共形预测和经典的分位数回归，继承了两者的优点。我们建立了有效覆盖的理论保证，并在流行的回归数据集上进行了广泛的实验。我们比较了保形分位数回归的效率，其他保形方法，表明我们的方法往往产生较短的间隔。
2019-05-08 stat.ME stat.ML
A new GEE method to account for heteroscedasticity, using asymmetric least-square regressions
广义估计方程（GEE）被广泛用于分析纵向数据;然而，它们不适用于异方差数据，因为它们仅估计回归变量对平均响应{ \textemdash }的影响，因此不考虑数据异质性。在这里，我们结合GEE与非对称最小二乘（期望）回归，得到一类新的估计，我们称之为广义期望估计方程（Gestival）。GARCH模型估计回归变量对响应分布的期望值的影响，它提供了回归变量对整个响应分布的影响的详细视图。除了捕获数据异方差性，GARCH扩展了各种工作相关结构，以考虑受试者内的依赖性。我们推导出Gestival估计量的渐近性质，并提出了一个用于推断的协方差阵的鲁棒估计量（参见我们的R包，github.com/AmBarry/expectgee）。我们的模拟表明，Gestival估计是无偏和有效的，我们的实际数据分析表明，它捕捉异方差。
2020-12-24 stat.ME
Homoscedasticity tests for both low and high-dimensional fixed design regressions
本文证明了当样本量$n$趋于无穷大，协变量个数$p$固定或趋于无穷大时，检验线性回归模型异方差存在性的统计量的渐近正态性.此外，我们的方法表明，它的渐近正态性成立，即使没有同方差。
2016-03-12 math.ST stat.TH
On estimators of the mean of infinite dimensional data in finite populations
本文研究了无限维数据下有限总体均值的HT、RHC和GREG估计量，证明了GREG估计量的渐近有效性，并揭示了异方差程度对抽样设计选择及GREG估计量性能的影响。
2023-05-24 math.ST stat.TH
A projection approach for multiple monotone regression
形状约束推理在生物检测、医学、经济学、风险评估等领域有着广泛的应用。虽然在单调约束的单变量曲线估计方面已经有了大量的工作，但多变量形状约束问题更具挑战性，并且在这个方向上取得的进展较少。针对多预测变量的单调回归问题，提出了一种投影方法来估计多单调回归函数。一个初始的无约束估计-如局部多项式估计或样条估计-首先获得，然后将其投影到形状约束空间。通过沿每个单变量方向顺序投影（调整后的）初始估计量来获得形状约束估计（具有多个预测因子）。与初始无约束估计器相比，投影估计导致在$L^p$（$p\geq 1$）距离和上确界距离方面的估计误差减小。我们还得到了投影估计的渐近分布。简单的计算算法可用于实现在一维和高维情况下的投影。我们的工作提供了一个简单的配方，从业人员在实际应用中使用，并说明了一个联合行动的例子，从环境毒理学。
2019-11-18 stat.ME
Optimal Sparse Sliced Inverse Regression via Random Projection
针对大 $p$ 小 $n$ 场景，提出基于随机投影的稀疏切片逆回归方法，通过广义特征值框架实现高效并行计算，理论证明达到极小极大最优收敛速度，并采用重新加权方案增强可识别性。
2023-08-03 stat.ME
A longest run test for heteroscedasticity in univariate regression model
本文的范围是介绍一个测试，使检测异方差单变量回归模型。该测试是简单的计算和非常普遍的，因为没有假设的规律性的响应函数或正态性的错误。仿真结果表明，我们的测试公平以及其他不太一般的非参数检验。
2010-03-22 math.ST stat.ME stat.TH
Conditional Transformation Models
回归分析的最终目标是获得关于给定一组解释变量的响应的条件分布的信息。然而，这一目标很少实现，因为大多数已建立的回归模型只估计作为解释变量的函数的条件均值，并假设较高的矩不受回归变量的影响。这种限制的根本原因是信号和噪声的可加性假设。我们建议在转换模型的框架中放松这一常见假设。本文提出的一类新的半参数回归模型允许转换函数依赖于解释变量。这些转换函数通过概率预测的评分规则的正则化优化来估计，例如连续排名的概率得分。相应的估计条件分布函数是一致的。条件转换模型在描述可能的异方差性、比较空间变化分布、识别极端事件、推导预测区间和选择超出平均回归效应的变量等方面可能很有用。基于异方差变系数模拟模型的实证研究表明，半参数估计的条件分布函数可以更有益于基于核的非参数方法或参数广义加性模型的位置，规模和形状。
2012-11-28 stat.ME
A projection-based adaptive-to-model test for regressions
现有的基于经验过程的回归检验的一个长期存在的问题是，当协变量的数量大于1时，它们要么没有易处理的极限零分布，要么不是综合的。为了解决这个问题，本文提出了一种基于投影的自适应模型方法。当假设模型为参数单指标时，该方法可充分利用协变量为一维的原假设下的降维模型结构，使得基于鞅变换的检验具有渐近分布自由性。此外，测试可以自动地适应于基础模型结构，使得测试可以是综合的，并且因此在假设检验中以最快的可能速率检测与假设模型不同的替代模型。该方法通过模拟研究进行了检查，并说明了一个真实的数据分析。
2016-04-07 stat.ME
A Non-Parametric Box-Cox Approach to Robustifying High-Dimensional Linear Hypothesis Testing
针对高维线性假设检验的模型误设问题，提出非参数Box-Cox框架及对应稀疏估计算法与三类检验方法，证明其极限分布性质，通过模拟和超市数据验证了方法的有效性与必要性。
2024-05-21 stat.ME
Renewable estimation in linear expectile regression models with streaming data sets
School of Economics and Management, Beihang University（北京航空航天大学经济管理学院）；MOE Key Laboratory of Complex System Analysis and Management Decision, Beihang University（北京航空航天大学复杂系统分析与管理决策教育部重点实验室）
本文提出了一种基于期望值回归的在线可再生方法，用于流数据中高效估计异方差和不均匀协变量效应，兼具高计算效率和低存储成本。
2026-02-26 stat.CO stat.ME
Conformalized Unconditional Quantile Regression
UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
本文提出一种结合保形预测与无条件分位数回归的预测推断程序，通过拟合重新中心化影响函数的机器学习模型，生成具有局部频率覆盖保证的自适应预测区间，有效适应异方差性并在效率上具竞争力。
2023-04-04 cs.LG stat.ME
Detection of latent heteroscedasticity and group-based regression effects in linear models via Bayesian model selection
标准线性建模方法可能会对分类效应的结构做出过于简单的假设，这可能会混淆管理数据的更复杂关系。例如，最近的工作集中在双向无重复布局表明，隐藏的分组之间的水平的一个分类预测因子经常与未分组的因素。我们将“潜在分组因子”的概念推广到一般的线性模型。拟议的工作使研究人员能够确定是否一个明显的分类预测的水平分组揭示了一个合理的隐藏结构给定的观察数据。具体来说，我们提供贝叶斯模型选择为基础的方法，以揭示潜在的基于组的异方差，回归效应，和/或相互作用。如果不考虑这些结构，可能会得出误导性的结论。由于潜在的组结构的存在往往是未知的先验的研究人员，我们使用分数贝叶斯因子方法和混合$g$先验，以克服缺乏先验信息。
2019-03-04 stat.AP stat.ME
Optimal resource allocation: Convex quantile regression approach
本文提出基于凸分位数回归的分位数分配模型，利用影子价格优化资源分配，在芬兰商业部门实证中显示显著生产率提升潜力。
2023-11-11 econ.GN q-fin.EC stat.AP
Inference for non-stationary time series quantile regression with inequality constraints
针对带不等式约束的非平稳线性分位数回归，本文利用投影几何不变性构造Wald、似然比和基于秩的一致推断方法，并通过模拟与电力需求数据验证其优势。
2024-04-04 stat.ME
Randomized tests for high-dimensional regression: A more efficient and powerful solution
研究了当特征维数$p$与观测值$n$的个数成比例增长时，高维回归模型的全局零检验问题.尽管先前的一些工作研究这个问题，是否存在一个测试，是模型不可知的，有效的计算和享受高功率，仍然没有解决。在本文中，我们肯定地回答这个问题，利用随机投影技术，并提出了一个测试程序，融合了经典的$F$测试与随机投影步骤。当结合系统的选择的投影维数，所提出的方法被证明是最小最大优化，同时，减少了计算和数据存储的要求。我们说明了我们的结果在各种情况下，当底层特征矩阵表现出内在的低维结构（如近似块结构或具有指数/多项式特征衰减），事实证明，所提出的测试实现了尖锐的自适应率。我们的理论研究结果进一步验证了比较其他国家的最先进的测试的合成数据。
2020-10-03 stat.ME
A Copula-Based Regression Framework for Enhanced Prediction under Heteroscedasticity
Postgraduate Institute of Science, University of Peradeniya（佩拉德尼亚大学研究生科学学院）；Department of Computer Science and Statistics, University of Peradeniya（佩拉德尼亚大学计算机科学与统计系）
研究针对实际数据中常出现的异方差问题，提出基于Copula的回归框架，无需严格分布假设，通过模拟研究和真实数据应用对比其他模型，证明该框架能有效处理异方差数据，提升预测准确性。
2026-09-02 stat.CO stat.ME
On a log-symmetric quantile tobit model applied to female labor supply data
经典的删失回归模型（tobit模型）在经济文献中得到了广泛的应用。此模型假定误差分布为正态分布，不建议用于存在正偏度的情况。此外，在回归分析中，众所周知，分位数回归方法允许我们考虑不同的分位数来研究解释变量对因变量的影响。因此，本文提出了一个基于分位对数对称分布的分位tobit回归模型。所提出的方法允许我们对具有正偏度（这不适合经典的tobit模型）的数据进行建模，并研究感兴趣的分位数的影响，此外还可以容纳异方差。使用极大似然法估计模型参数，并进行详细的蒙特卡罗研究以评估估计值的性能。最后，使用两个女性劳动力供给数据集说明了所提出的方法。结果表明，对数对称分位数tobit模型比经典tobit模型具有更好的拟合效果。
2021-03-07 econ.EM stat.ME
A Percentile-Focused Regression Method for Applied Data with Irregular Error Structures
Kingdom of Bahrain（巴林王国）
本文提出一种基于CDF的贝塔回归方法，通过建模响应的完整条件分布，有效处理应用数据中的不规则误差结构，提升模型的分布准确性和预测区间校准。
2026-03-04 stat.ME
Retire: Robust Expectile Regression in High Dimensions
由于异方差或协变量效应的不齐性，高维数据通常会显示异质性。惩罚分位数和期望回归方法为高维数据的异方差检测提供了有用的工具。前者由于校验丢失的非平滑性质而在计算上具有挑战性，而后者对重尾误差分布敏感。在本文中，我们提出和研究（惩罚）鲁棒期望回归（退休），重点是迭代加权$\ell_1$ -惩罚，减少估计偏差从$\ell_1$ -惩罚，并导致预言的性质。在理论上，我们建立了退休估计在两种状态下的统计性质：（i）低维状态，其中$d \ll n$ ;（ii）高维状态，其中$s\ll n\ll d$和$s$表示显著预测变量的数量。在高维环境中，我们仔细地描述了迭代重加权$\ell_1$ -惩罚退休估计的解路径，该估计来自折叠凹正则化的局部线性近似算法。在一个温和的最小信号强度的条件下，我们表明，经过尽可能多的$\log(\log d)$迭代的最后的迭代享有预言收敛速度。在每一步迭代中，加权$\ell_1$ -惩罚凸规划可以用半光滑牛顿坐标下降算法有效地求解。数值研究表明，所提出的程序相比，无论是非鲁棒或分位数回归为基础的替代品的竞争力表现。
2023-03-22 stat.ME stat.ML
Robust estimation of heteroscedastic regression models: a brief overview and new proposals
针对数据分析中非线性与异方差性共存导致异常值处理困难的问题，本文梳理了异方差回归模型的稳健估计方案，并提出结合加权MM-回归估计量与稳健方差函数参数估计的迭代估计方法。
2023-11-07 stat.ME
Precise Asymptotics for Dense High-Dimensional Huber Regression under Heteroscedasticity
University of Manchester（曼彻斯特大学）；University of Cambridge（剑桥大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
该研究在异方差高维线性模型下，采用矩阵近似消息传递（AMP）框架推导了Huber估计量的精确渐近经验分布刻画，构建了中心位移检验并通过模拟验证其性能。
2026-10-16 math.ST stat.ME stat.TH
Localized Conformal Multi-Quantile Regression
Department of Biostatistics, Georgetown University（乔治城大学生物统计学系）
本文提出LCMQR框架，结合多分位信息与核定位，构建高效适应性预测区间，并通过GC-LCMQR实现组级覆盖，提升预测效率与有效性。
2025-11-30 cs.AI cs.LG stat.ME
Designing to detect heteroscedasticity in a regression model
我们考虑的问题，设计实验来检测存在一个指定的异方差在非线性高斯回归模型。在这个框架中，我们专注于${\rm D}_s$ -和KL-标准和研究它们的关系与非中心参数的渐近卡方分布的似然检验，为当地的替代品。具体来说，我们发现，当方差函数只取决于一个参数，这两个标准渐近一致，特别是，${\rm D}_1$ -标准是成比例的非中心参数。相应地，如果方差函数依赖于参数向量，则KL最优设计收敛于使非中心参数最大化的设计。此外，我们证实了我们的理论研究结果，通过模拟研究有关的计算渐近和精确的权力的对数似然比统计。
2022-06-30 math.ST stat.ME stat.TH
Robust Distributional Regression with Automatic Variable Selection
通常会遇到具有极端观测值和/或重尾误差分布的数据集，应从统计学角度仔细考虑这些特征进行分析。与假设模型的微小偏差，例如离群值的存在，可能会导致经典回归程序崩溃，从而可能导致不可靠的推断。其他分布偏差，如异方差，可以通过超出平均值并根据协变量对尺度参数进行建模来处理。我们提出了一种方法，占重尾和异方差通过使用广义正态分布（GND）。GND包含一个表征峰度的形状参数，可使模型在正态分布和带尾拉普拉斯分布之间平滑移动，从而涵盖经典回归和稳健回归。统计推断的一个关键组成部分是确定影响响应变量的协变量集。虽然正确解释峰度和异方差是至关重要的，这一努力，变量选择的程序仍然是必要的。为此，我们使用了一种新的惩罚估计过程，避免了典型的计算要求高的网格搜索调整参数。这在位置和尺度参数依赖于协变量的分布回归设置中特别有价值，因为标准方法将具有多个调优参数（每个分布参数一个）。我们通过使用可以直接优化的“平滑信息准则”来实现这一点，其中在BIC情况下，调谐参数固定为log（n）。
2023-01-11 stat.ME
Quantile Predictions for Equity Premium using Penalized Quantile Regression with Consistent Variable Selection across Multiple Quantiles
本文提出一种跨分位数一致变量选择的惩罚分位数回归方法，用于股票溢价预测，解决均值回归在异方差和重尾下的问题，并通过模拟和实证验证其优于基准方法，且发现预测变量关系随分位数反转。
2025-05-21 q-fin.ST stat.AP stat.ME
Conformalized Regression for Continuous Bounded Outcomes
University College London（伦敦大学学院）
针对连续有界结果的回归问题，提出基于变换回归模型的共形预测区间，使用分位数残差得分处理异方差性和边界不对称性，并证明边际有效性和渐近条件有效性。
2026-10-01 cs.LG stat.ME stat.ML
On Measuring Model Complexity in Heteroscedastic Linear Regression
异方差在现实世界的应用中很常见，通常通过将案例权重纳入建模过程来处理。直观地说，采用不同权重方案的模型将具有不同的复杂程度，这取决于权重与误差方差的倒数的匹配程度。然而，现有的模型复杂性统计理论，也被称为模型自由度，主要是建立在等误差方差的假设下。在这项工作中，我们专注于线性回归程序，并寻求将现有的措施，以异方差设置。我们的加权最小二乘法的分析揭示了一些有趣的性质的扩展措施。特别是，我们发现，它们取决于用于模型拟合和模型评估的权重。此外，建模异方差数据的最佳权重通常会导致较少的自由度比相同的权重，减少的大小取决于误差方差的不均匀性。这为加权建模过程提供了额外的见解，这些建模过程在风险估计和模型选择中非常有用。
2022-04-14 math.ST stat.TH
Thresholding Projection Estimators in Functional Linear Models
考虑了泛函线性回归模型中回归函数的估计问题，提出了一种新的结合降维和阈值的投影估计。阈值规则的引入允许在广泛的假设下得到一致性，以及在额外的正则性假设下得到极大极小收敛率。我们还考虑了三角基所产生的Sobolev空间的特殊情况，它允许很容易地得到预测的均方误差以及回归函数的导数的估计。我们证明了这些估计是极大极小的，并给出了某些特殊情况下的收敛速度。
2008-12-17 math.ST stat.ME stat.TH
High-dimensional analysis of double descent for linear regression with random projections
Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们考虑线性回归问题与不同数量的随机投影，我们证明表现出一个固定的预测问题的双下降曲线，高维分析的基础上随机矩阵理论。我们首先考虑岭回归估计和审查早期的结果，使用经典的概念，从非参数统计，即自由度，也被称为有效维数。然后，我们计算渐近等价的泛化性能（在平方偏差和方差方面）的最小范数最小二乘拟合与随机投影，提供简单的表达式的双下降现象。
2023-03-14 cs.LG stat.ML
Honest confidence sets for high-dimensional regression by projection and shrinkage
在非参数回归中，构造置信集的诚实性问题产生了。虽然非参数估计中的最优率可以用来构造尖锐的置信集，但在估计光滑度后，置信水平往往会严重下降。类似地，对于高维回归，稀疏估计的预言不等式可以用来构造尖锐的置信集。然而，稀疏度本身是未知的，需要估计，导致诚实问题。为了解决这个问题，我们开发了一种新的方法来构建诚实的信心集稀疏高维线性回归。我们构造的关键思想是将信号分为强组和弱组，然后分别为每组构造置信集。这是通过投影和收缩方法实现的，后者通过Stein估计和相关的Stein无偏风险估计来实现。我们的置信集是诚实的，在整个参数空间没有任何稀疏约束，而其直径适应最佳速率的$n^{-1/4}$时，真正的参数确实是稀疏的。通过广泛的数值比较，我们证明了我们的方法优于其他竞争对手，具有有限样本的大利润，包括基于底层模型的真正稀疏性的Oracle方法。
2019-05-03 math.ST stat.ME stat.TH
A Two-Step Projection-Based Goodness-of-Fit Test for Ultra-High Dimensional Sparse Regressions
本文提出了一种针对超高维稀疏回归的两步投影型适配性检验方法，通过构建投影统计量并结合p值组合程序，提高了在高维数据下的检验功效。
2025-12-28 math.ST stat.ME stat.TH
Nonparametric specification for non-stationary time series regression
我们研究了广义似然比检验（GLRT）的行为（范，张和张[安。29（2001）153-193]），其中回归量和误差是非平稳时间序列并且可以互相关。研究发现，在弱相关和非平稳的情况下，广义似然比保持了局部选择检测的极大极小率。然而，在一般情况下，Wilks现象以及经典的残差自助法是敏感的条件异方差的错误，非平稳性或时间依赖性。平均测试建议，以减轻带宽的选择测试的敏感性，并示出比基于单一带宽的测试更强大。提出了一种可供选择的自举方法，并证明了该方法在对非平稳时间序列的时变系数模型进行推断时是一致的。
2014-02-04 math.ST stat.TH
Wavelet regression in random design with heteroscedastic dependent errors
本文研究了具有异方差相关噪声和随机设计的非参数回归模型中的函数估计。翘曲小波非线性逼近的自适应特性研究了在广泛的Besov尺度，$f\in\mathcal{B}^s_{π,r}$，并为各种$L^p$误差措施。我们考虑误差分布与长程相关参数$α,0<α\leq1$异方差建模与设计相关的功能$σ$。我们规定了一种调整范式，在该范式下，扭曲小波估计以极小极大收敛率的速率实现部分或完全自适应结果。对于$p>2$，可以看出，根据$s,p,π$和$α$的相对值，存在三个速率阶段，即密集、稀疏和长程相关阶段。此外，我们表明，长范围的依赖性不起作用的形状估计$f-\int f$。最后用数值例子说明了该理论。
2009-09-02 math.ST stat.TH
High-dimensional robust approximated M-estimators for mean regression with asymmetric data
随着数据维数的增加，非对称性和异方差或污染现象经常出现。在超高维数据分析中，这种不规则的设置通常被忽略的理论和计算的方便。在本文中，我们建立了一个框架，估计在高维回归模型中使用惩罚稳健近似二次M-估计（PRAM）。该框架允许一般设置，如随机误差缺乏对称性和均匀性，或协变量不是亚高斯。为了减少均值回归中由于数据的不规则性而可能引起的偏差，PRAM采用了一个损失函数，其稳健性参数随样本量的增加而变化。在理论上，我们首先证明，在超高的维度设置，PRAM估计有本地估计的一致性在极大极小率享受的LS-Lasso。然后，我们证明了具有适当的非凸惩罚的PRAM实际上与局部预言解一致，从而获得了它的预言性质。在计算上，我们证明了六个PRAM估计使用三种类型的损失函数近似（胡贝尔，Tukey的双权和柯西损失）结合两种类型的罚函数（拉索和MCP）的性能。我们的模拟研究和实际数据分析表明，令人满意的有限样本性能的PRAM估计在一般的不规则设置。
2022-07-18 math.ST stat.TH
On linear regression models in infinite dimensional spaces with scalar response
在函数线性回归中，参数估计涉及到求解一个非必要的适定问题，它与一系列方法有着密切的联系，包括统计平滑、反卷积和有限维子空间上的投影。我们讨论的标准方法的基础上明确的功能主成分分析，但选择的基础组件的数量仍然是主观的，并不总是适当的讨论和合理的。在这项工作中，我们讨论了推断性质的最小二乘估计在这种情况下，不同的选择投影子空间，以及我们研究的渐近行为增加子空间的维数。
2015-02-02 math.ST stat.ME stat.TH
Benchmarking Tabular Foundation Models for Conditional Density Estimation in Regression
Department of Statistics, Federal University of São Carlos (UFSCar)（圣卡洛斯联邦大学统计系）；Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔国立理工学院、让·库尔坦数学实验室）
本文评估了三种表格基础模型变体在39个真实数据集上的条件密度估计性能，发现基础模型在大多数数据集上表现最佳，但校准在小样本时竞争，大样本时不如任务特定神经基线。
2026-03-27 cs.LG stat.ME stat.ML
Estimation of scale functions to model heteroscedasticity by support vector machines
回归的一个主要目标是得出关于给定输入值x的输出变量Y的条件分布的统计结论。单一分布的两个最重要的特征是位置和规模。支持向量机（SVM）已经很好地建立起来，以估计位置函数，如条件中值或条件均值。我们还研究了在条件中值未知的情况下，支持向量机对尺度函数的估计。尺度函数的估计是重要的，例如估计金融的波动性。我们认为中位数绝对偏差（MAD）和分位数间距（IQR）作为尺度的措施。我们的主要结果表明MAD型支持向量机的一致性。
2011-11-08 stat.ME stat.ML
Projection-based multifidelity linear regression for data-scarce applications
Santa Fe Institute（圣塔菲研究所）
本文提出基于投影的多保真度线性回归方法，通过低保真度数据增强和线性修正提升高维输出下的回归精度，实验证明在数据有限时能显著提高预测准确性。
2026-08-18 cs.CE cs.LG stat.ML
Online A-Optimal Design and Active Linear Regression
ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Inria（法国国家信息与自动化研究所）；Deepmind（深度思维）；ENSAE（法国国家统计与经济管理学院）；Criteo AI Lab（Criteo人工智能实验室）
本文考虑了最优试验设计问题，其中决策者可以选择哪些点进行采样，以获得潜在线性模型的隐参数$β^{\star}$的估计$\hatβ$。这项工作的关键挑战在于我们所做的异方差假设，这意味着每个协变量都有一个不同的未知方差。然后，决策者的目标是找出在协变量之间分配$T$样本的总预算的最佳方法，因为对特定样本进行多次采样将减少其周围估计模型的方差（但以其他地方可能更高的方差为代价）。通过尝试最小化$\ell^2$ -损失$\mathbb{E} [\lVert\hatβ-β^{\star}\rVert^2]$，决策者实际上是最小化问题的协方差阵的迹，这对应于在线A-最优设计。结合强盗和凸优化技术，我们提出了一个新的主动采样算法，我们比较它与现有的。我们在不同的设置，包括$\mathcal{O}(T^{-2})$遗憾的情况下，协变量形成的基础上的特征空间，推广和改进现有的结果，该算法提供了理论保证。数值实验验证了我们的理论研究结果。
2020-12-30 cs.LG math.OC stat.ML
Privacy-Utility Trade-off of Linear Regression under Random Projections and Additive Noise
UCLA（加利福尼亚大学洛杉矶分校）
数据隐私是机器学习中的一个重要问题，并且从根本上与训练有用的学习模型的任务不一致，这通常需要获取大量的私有用户数据。在保护用户隐私的同时完成机器学习任务的一种可能的方法是在数据的变换的噪声版本上训练模型，这不会直接向训练过程揭示数据本身。在这项工作中，我们分析了两个这样的计划的线性回归问题的隐私效用权衡：加性噪声和随机投影。与以前的工作相比，我们考虑了最近提出的差分隐私的概念是基于条件互信息（MI-DP），这是强于传统的$(ε, δ)$ -差分隐私，并使用相对客观误差作为效用度量。我们发现，在添加噪声之前将数据投影到低维子空间通常会获得更好的权衡。我们还建立了隐私问题和（非相干）SIMO之间的联系，SIMO在无线通信中已被广泛研究，并使用工具进行分析。我们提出的数值结果表明该计划的性能。
2019-02-13 cs.CR cs.IT cs.LG
Projection-type estimation for varying coefficient regression models
本文介绍了变系数回归模型中系数函数的新估计。通过将系数函数的全维核加权局部多项式估计向量投影到具有适当范数的希尔伯特空间上，得到了该估计.我们提供了一个后拟合算法来计算估计。我们证明了该算法在弱条件下以几何速度收敛。我们得到了估计量的渐近分布，并证明了估计量具有预言性质。这是为了局部多项式拟合的一般阶数和系数函数的导数的估计，以及系数函数本身。的估计结果有几个理论和数值上的优势，杨，公园，薛和Härdle [J. Amer.统计学研究的边际积分估计。101（2006）1212- 1227]。
2012-03-02 math.ST stat.TH
Linear Regression without computing pseudo-inverse matrix
我们提出了一种基于Gram-Schmidt正交投影的线性回归方法，该方法不计算伪逆矩阵。这在我们为了模拟的目的想要用随机数据向量进行几次回归时很有用。
2013-11-06 math.ST stat.CO stat.TH
Prediction based on conditional distributions of vine copulas
Vine Copula是一个灵活的工具，用于多变量非高斯分布。对于来自观测研究的数据，其中解释变量和响应变量一起测量，建议的葡萄树copula回归方法使用常规葡萄树并处理混合的连续和离散变量。该方法可以有效地计算给定解释变量的响应变量的条件分布。所提出的方法的性能进行评估模拟数据集和真实数据集。实验表明，在条件异方差的情况下，vine copula回归方法优于线性回归。
2019-04-29 stat.ME
Two-way Clustering Robust Variance Estimator in Quantile Regression Models
University at Albany – State University of New York（纽约州立大学奥尔巴尼分校）
针对双向聚类数据，提出一种基于核密度估计和投影分解的双向聚类稳健三明治方差估计量，并证明其在高斯机制下的一致性及推断有效性。
2026-07-07 econ.EM stat.AP
Inference for Projection Parameters in Linear Regression: beyond $d = o(n^{1/2})$
本文研究高维线性回归投影参数的推断，提出最小二乘估计量的偏差校正方法并证明其渐近正态性，在 $d=o(n^{2/3})$ 条件下给出有限样本 Berry-Esseen 界，并利用无需方差估计的推断方法实现更优的覆盖误差控制。
2024-01-11 math.ST stat.TH
Nonparametric regression with the scale depending on auxiliary variable
研究了在均数积分平方误差（MISE）准则下异方差非参数多元回归中单变量分量的估计问题。目的是了解尺度函数应如何用于单变量分量的估计。它是已知的，尺度函数不影响MISE收敛的速度，并作为一个结果尖锐的常数进行了探索。本文首先发展了一个关键模型$Y=f(X)+σ(X,\mathbf{Z})\varepsilon$的sharp-minimax理论，其中$\varepsilon$是标准正态的，并且独立于预测变量X和辅助向量协变量$\mathbf{Z}$。证明了如果尺度$σ(x,\mathbf{z})$依赖于辅助变量，则利用尺度（或其估计）的一个特殊估计量是渐近尖锐的minimax，并且对f（x）的未知光滑性是自适应的.这是一个有趣的结论，因为如果尺度不依赖于辅助协变量$\mathbf{Z}$，则忽略异方差可以产生尖锐的极小极大估计。枢轴模型作为一般加法模型$Y=f(X)+g(\mathbf{Z})+σ(X,\mathbf{Z})\varepsilon$的自然基准，其中$\varepsilon$可以依赖于$(X,\mathbf{Z})$并且只有有限的四阶矩。它表明，对于这个模型的数据驱动的估计可以执行以及基准。此外，估计，建议连续响应，也可以用于离散响应的情况下。伯努利和泊松回归，这是固有的异方差，是特别考虑的例子，其中尖锐的极大极小下界，以及获得。数值研究表明，渐近理论揭示了小样本。
2013-08-13 math.ST stat.TH
Bayesian Projection Pursuit Regression
在投影寻踪回归（PPR）中，未知响应函数由M个“脊函数”的和来近似，所述脊函数是多变量输入空间的一维投影的灵活函数。传统上，优化例程用于经由顺序算法来估计投影方向和脊函数，并且M通常经由交叉验证来选择。我们介绍了第一个贝叶斯版本的PPR，它具有准确的不确定性量化的好处。为了学习投影方向和脊函数，我们应用了用于单脊函数情况（M=1）的新方法，称为单指数模型，贝叶斯实现确实存在;然后使用可逆跳MCMC来学习脊函数M的数量。我们评估了我们的模型在20个模拟场景和23个真实数据集中的预测能力，并与一系列最先进的回归方法进行了对比。它的有效性能表明贝叶斯投影寻踪回归是对现有回归工具箱的一个有价值的补充。
2022-10-17 stat.ME
