Inference for Joint Quantile and Expected Shortfall Regression
分位数和预期缺口是金融风险管理中常用的风险度量方法。这两种测量方法既有相关性又有各自的特点。在本计画中，我们的主要目标是发展稳定且实用的条件期望亏绌推论方法。为了便于统计推断过程，我们考虑了条件分位数和期望短缺的联合建模。虽然回归系数可以通过最小化一类严格一致的联合损失函数来联合估计，但由于损失函数既不是可微的也不是凸的，特别是当参数的维数很大时，计算是具有挑战性的。为了减少计算量，我们提出了一个两步估计过程，首先估计分位数回归参数与标准的分位数回归。我们证明了两步估计与联合估计具有相同的渐近性质，但前者在数值上更有效。我们进一步发展了一个分数型推理方法的假设检验和置信区间建设。与Wald型方法相比，评分方法对异质性具有鲁棒性，在有限样本中更优越，特别是对于具有大量混杂因素的情况。我们通过数值研究证明了所提出的方法比现有方法的优势。
2022-08-22 stat.ME
High-Dimensional Expected Shortfall Regression
本文针对高维稀疏模型提出lasso惩罚的期望损失回归方法，建立非渐近误差界，并构造去偏估计量以实现协变量的渐近有效统计推断。
2024-12-30 stat.ME
With random regressors, least squares inference is robust to correlated errors with unknown correlation structure
该研究针对随机回归元下的线性回归场景，突破传统固定回归元理论框架，通过自归一化统计量的概率分析证明t统计量渐近正态性，发现误差相关在弱信号下可提升检验势，拓展了线性回归适用范围，印证了随机化对推断鲁棒性的价值。
2024-10-10 math.ST stat.ME stat.TH
Renewable high-dimensional expected shortfall regression
School of Statistics, Beijing Normal University（北京师范大学统计学院）；Department of Statistics, Pennsylvania State University（宾夕法尼亚州立大学统计学系）
针对流数据场景下高维ES回归的离线方法依赖完整数据的缺陷，本文提出可再生估计与推断框架，模拟及保险数据集应用验证了其良好性能。
2026-08-04 stat.ME
Expected Shortfall Panel Regression
Shandong University（山东大学）；Southeast University（东南大学）；University of Science and Technology of China（中国科学技术大学）
本文提出面板期望损失回归模型，通过潜在因子结构捕捉横截面依赖，开发两阶段估计方法以应对厚尾误差，理论上证明了估计量的一致性和渐近正态性，并通过模拟和实证显示方法在参数估计和因子恢复上具有显著优势。
2026-04-14 stat.ME
Bayesian bandwidth estimation for a nonparametric functional regression model with mixed types of regressors and unknown error density
在误差密度未知的框架下，研究了具有函数值、连续实值和离散值回归变量的非参数函数回归模型的带宽估计问题.从Shang（2013，Computational Statistics & Data Analysis）的最近工作扩展，我们通过残差的核密度估计来近似未知误差密度，其中回归函数由允许混合类型回归变量的函数Nadaraya-Watson估计器估计。在核形式误差密度下，推导了带宽参数的核似然和后验密度，提出了一种同时估计带宽的贝叶斯带宽估计方法。仿真研究表明，所提出的贝叶斯方法的回归函数和误差密度的估计精度。以食品质量控制中的光谱数据集为例，我们应用贝叶斯方法来选择具有混合类型回归变量的非参数函数回归模型中的最佳带宽。
2014-03-08 stat.CO stat.ME
Power analysis for a linear regression model when regressors are matrix sampled
多重矩阵抽样是一种调查方法技术，它随机选择一个相对较小的项目子集向调查受访者提供，以减轻受访者的负担。产生的数据是完全随机缺失的（MCAR），在线性回归和其他多元统计分析中应使用特殊的缺失数据技术。我们推导出回归参数估计值的渐近方差，使我们能够对通过多矩阵抽样设计获得的数据拟合的线性回归模型进行功效分析。这些想法是通过大五心理特质清单的一个变体来证明的。回归参数空间的探索表明，不稳定的样本量的要求，和大量的损失与矩阵采样回归的精度。非正态数据的模拟表明了半参数多重插补方案的优点。
2017-09-30 stat.ME stat.OT
Beyond the Oracle Property: Adaptive LASSO in Cointegrating Regressions with Local-to-Unity Regressors
Institute of Statistics and Mathematical Methods in Economics, TU Wien（维也纳工业大学统计与数学方法经济学研究所）
本文提出了一种在协整回归中适用于局部至单位回归器的自适应LASSO方法，通过构建有效且可靠的置信区间，解决了传统Oracle性质在有限样本下的局限性。
2026-03-12 econ.EM math.ST stat.ME
Estimation of Complier Expected Shortfall Treatment Effects with a Binary Instrumental Variable
在许多生物医学和经济学研究中，估计治疗或暴露对亚群的因果效应具有极大的意义。预期不足，也称为超分位数，是一种有吸引力的效应大小度量，可以适应数据异质性并聚合结果分布的某个感兴趣区域上的局部效应信息。在这篇文章中，我们提出了一个工具变量框架下的符合预期不足的处理效应（CRESTE）模型来量化CRESTE的二元内生治疗变量。利用二元工具变量的特殊性质和Neyman正交化的特殊形式，提出了一种两步估计方法，该方法可以通过简单地求解加权最小二乘回归和加权分位数回归来实现。我们开发的估计的渐近性质，并使用数值模拟，以确认其有效性和强大的有限样本性能。一个国家的就业培训合作伙伴关系法研究的说明性分析，以显示所提出的方法的实际效用。
2023-03-22 stat.ME
Quantile regression approach to conditional mode estimation
在本文中，我们考虑估计的条件模式的结果变量给定的回归。为此，我们提出并分析了一个计算可扩展的估计来自一个线性分位数回归模型，并发展渐近分布理论的估计。具体来说，我们发现，逐点极限分布是一个规模的转换，尽管存在的回归的Dalloff的分布。此外，我们考虑分析和基于子采样的置信区间的建议估计。我们还进行蒙特卡罗模拟来评估所提出的估计量的有限样本性能以及分析和子采样置信区间。最后，我们应用所提出的估计预测净小时发电量使用联合循环电厂数据。
2019-07-29 math.ST stat.ME stat.TH
Cointegrated Regressors: Where Folded Concave Penalties Go Beyond LASSO
Hunan University（湖南大学）；The Chinese University of Hong Kong（香港中文大学）；University of Macau（澳门大学）
本文针对高维协整回归中LASSO凸惩罚过度抑制系数的问题，采用折叠凹惩罚（SCAD、MCP），建立两类oracle性质，经模拟和欧元区失业率预测验证，其变量选择与样本外预测性能优于LASSO。
2026-10-30 econ.EM stat.ME stat.ML
Functional Lagged Regression with Sparse Noisy Observations
函数（滞后）时间序列回归模型涉及标量响应时间序列对由一系列随机函数组成的回归量时间序列的回归。在实践中，潜在的回归曲线时间序列并不总是直接可访问的，而是仅在离散测量位置处观察（采样）的潜在过程。在本文中，我们考虑了所谓的稀疏观测场景，其中只有相对较少的测量位置已被观察到，每个曲线可能不同。测量结果可能进一步受到附加测量误差的污染。被认为是一种谱的方法来估计模型的动态。利用核平滑方法从稀疏观测值中估计回归量时间序列的谱密度以及回归量与响应时间序列之间的互谱密度。滞后回归模型的脉冲响应回归系数然后通过岭回归（Tikhonov正则化）或PCA回归（谱截断）来估计。然后通过预测恢复潜在功能时间序列，条件是所有观察到的观察数据。我们的方法的性能和实施说明通过模拟研究和气象数据的分析。
2020-03-31 stat.ME
Linear Regression with Weak Exogeneity
本文研究大量回归元下弱外生性导致的 OLS 偏差与不一致问题，提出一种新的偏差校正估计量，并证明其一致性、条件渐近高斯性及相应推断方法。
2024-01-17 econ.EM stat.ME
Scalar-on-function regression with measurement error in the functional regressors
Columbia University（哥伦比亚大学）
本文针对函数型协变量存在测量误差时的标量对函数回归问题，提出模拟-外推方法校正系数函数估计的衰减，并通过模拟和扩散张量成像数据验证其有效性。
2026-10-02 stat.ME
L1-Penalized Quantile Regression in High-Dimensional Sparse Models
我们考虑中位数回归，更一般地说，在高维稀疏模型的分位数回归的可能无限的集合。在这些模型中，回归量$p$的总数非常大，可能大于样本量$n$，但这些回归量中只有$s$对响应变量的条件分位数具有非零影响，其中$s$的增长速度慢于$n$。我们考虑分位数回归惩罚的$\ell_1$ -范数的系数（$\ell_1$ -QR）。首先，我们证明了$\ell_1$ -QR在速率$\sqrt{s/n} \sqrt{\log p}$上是一致的。回归变量$p$的总数仅通过$\log p$因子影响速率，因此零影响回归变量的数量几乎呈指数增长性增长。速率结果在相对弱的条件下成立，要求$s/n$以超对数速度收敛到零，并且正则化参数满足某些理论约束。其次，我们提出了一个关键的，数据驱动的正则化参数的选择，并表明它满足这些理论约束。第三，我们表明，$\ell_1$ -QR正确地选择真正的最小模型作为一个有效的子模型，当非零系数的真实模型是从零分离。我们还证明了$\ell_1$ -QR中非零系数的个数与$s$具有相同的随机序.第四，我们分析了两步估计的收敛速率，该估计将普通分位数回归应用于所选模型。第五，我们评估的性能$\ell_1$ -QR在蒙特卡洛实验，并说明其使用的国际经济增长的应用。
2019-09-26 econ.EM math.PR math.ST
Inference for function-on-function regression: central limit theorem and residual bootstrap
Kent State University（肯特州立大学）
本文研究了函数-函数回归模型的渐近推断，通过基于函数主成分分析的估计器，改进了中心极限定理并引入残差自助法以提升置信区间校准，通过数值实验验证了其优越性。
2026-03-12 math.ST stat.ME stat.TH
Tensor-variate Gaussian process regression for efficient emulation of complex systems: comparing regressor and covariance structures in outer product and parallel partial emulators
本文系统发展张量变量高斯过程回归，统一外积与并行偏仿真器，并通过案例比较二者在矩阵输出下的协方差依赖结构与性能。
2025-02-14 stat.CO stat.ME
Inference for High-Dimensional Sparse Econometric Models
本文主要研究计量经济学中高维稀疏回归模型的估计和推断方法。高维稀疏模型出现的情况下，许多回归（或系列项）是可用的，回归函数是很好的近似由一个简约的，但未知的回归集。后一个条件使得有可能通过搜索近似正确的回归量集合来有效地估计整个回归函数。我们讨论的方法来确定这一组回归和估计其系数的基础上$\ell_1$ -惩罚和描述的关键理论结果。为了捕捉现实的实际情况下，我们明确允许不完美的回归选择，并研究这种不完美的选择对估计和推断结果的影响。文章的主体部分主要介绍了HDS模型和方法在工具变量模型和部分线性模型中的应用。我们提出了一组新的推理结果，这些模型，并说明其使用的应用程序返回到学校教育和增长回归。
2011-12-31 econ.EM stat.AP stat.ME
Generated outcomes as generated regressors: Equivalences in recursive causal estimation
CEMFI（马德里欧洲大学经济研究所）；Harvard University（哈佛大学）
本文研究递归因果估计中三种标准估计量（递归插入、递归平衡权重和递归双重稳健）在有限样本下的等价性，并分析岭惩罚下双重稳健估计量的向后递归性质。
2026-06-27 econ.EM stat.ME
The Loss Rank Principle for Model Selection
我们介绍了一个新的原则，在回归和分类模型的选择。许多回归模型由一些平滑性或灵活性或复杂性参数c控制，例如，在k最近邻（kNN）回归中要平均的邻居的数量或在多项式回归中的多项式次数。设f_D^c是数据D上复杂度c的（最佳）回归量。一个更灵活的回归变量可以比一个更刚性的回归变量更好地拟合更多的数据D'。我们将f_D^c的损失秩定义为其他（虚构的）数据D'的数量，这些数据D'被f_D ^c拟合得比D被f_D ^c拟合得更好。我们建议选择具有最小损失秩（LoRP）的模型复杂度c。与大多数惩罚最大似然变量（AIC、BIC、MDL）不同，LoRP仅取决于回归函数和损失函数。它在没有随机噪声模型的情况下工作，并且直接适用于任何非参数回归量，如kNN。在本文中，我们形式化，讨论和激励LoRP，研究它的特定回归问题，特别是线性的，并将其与其他模型选择方案进行比较。
2007-02-27 cs.LG math.ST stat.ME
Testing the Exogeneity of Instrumental Variables and Regressors in Linear Regression Models Using Copulas
本文提出基于 Copula 的线性回归工具变量外生性 Wald 检验，并通过模拟验证其在内生情形下具有较高检验力、在外生情形下误拒率随样本量下降。
2024-01-27 econ.EM stat.ME
Selection consistency of Lasso-based procedures for misspecified high-dimensional binary model and random regressors
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）；Warsaw University of Technology（华沙理工大学）
本文考虑了一般损失函数下二元响应的高维回归问题的随机预测变量的选择问题。重要的特殊情况是二元模型为半参数模型，并且在参数模型拟合下错误指定了响应函数。选择这样一个场景的目的是恢复支持的相关风险最小化的大概率。我们提出了一个两步选择过程，包括筛选和排序预测的Lasso方法，然后选择一个子集的预测，最小化相应的嵌套系列的模型的广义信息准则。我们证明的选择方法的条件下，允许更大的预测数量比观察的一致性。对于半参数情形，当随机预测变量的分布满足线性回归条件时，真实参数和估计参数是共线的，并且它们的公共支持度可以一致地确定。
2019-06-10 cs.LG math.ST stat.ME
A Robust Permutation Test for Subvector Inference in Linear Regressions
提出一种用于线性模型系数子向量推断的稳健置换检验，证明其在独立条件下精确，放宽条件后渐近正确且具功效，模拟表明层数较小时实际功效良好。
2023-09-12 econ.EM stat.ME
Identification of Linear Regressions with Errors in all Variables
本文研究所有变量均含测量误差的线性回归模型，给出系数可识别的充要条件，并提出基于对数特征函数二阶导数的连续矩新估计量，模拟表现良好且稳健，应用结果与广义矩方法相似。
2021-03-23 stat.ME
Generation of new exciting regressors for consistent on-line estimation of unknown constant parameters
研究了在回归量中缺乏充分激励的情况下，由标准向量线性回归方程估计参数估计的问题。解决这个问题的第一步是使用著名的动态回归扩展和混合技术将这个方程转化为一组标量方程。然后提出了一种新的方法来产生新的标量激励回归。一个经典的梯度估计，使用这个新的回归，而不是原来的，具有全面的模拟说明了优越的性能。
2022-03-11 cs.SY eess.SY stat.ME
Relation between PLS and OLS regression in terms of the eigenvalue distribution of the regressor covariance matrix
Universidad Autónoma de Madrid（马德里自治大学）；Instituto de Ciencias Matemáticas ICMAT (CSIC-UAM-UCM-UC3M)（数学科学研究所（ICMAT，西班牙国家研究委员会-马德里自治大学-马德里康普顿斯大学-马德里卡洛斯三世大学））
本文利用 Krylov 子空间表述分析 PLS 与 OLS 系数估计量的 Mahalanobis 距离，给出仅依赖回归变量协方差矩阵特征值分布的界，并通过数值实验说明特征值聚类数量的影响。
2023-12-03 cs.LG stat.ME stat.ML
A new GEE method to account for heteroscedasticity, using asymmetric least-square regressions
广义估计方程（GEE）被广泛用于分析纵向数据;然而，它们不适用于异方差数据，因为它们仅估计回归变量对平均响应{ \textemdash }的影响，因此不考虑数据异质性。在这里，我们结合GEE与非对称最小二乘（期望）回归，得到一类新的估计，我们称之为广义期望估计方程（Gestival）。GARCH模型估计回归变量对响应分布的期望值的影响，它提供了回归变量对整个响应分布的影响的详细视图。除了捕获数据异方差性，GARCH扩展了各种工作相关结构，以考虑受试者内的依赖性。我们推导出Gestival估计量的渐近性质，并提出了一个用于推断的协方差阵的鲁棒估计量（参见我们的R包，github.com/AmBarry/expectgee）。我们的模拟表明，Gestival估计是无偏和有效的，我们的实际数据分析表明，它捕捉异方差。
2020-12-24 stat.ME
Case-control studies for rare diseases: improved estimation of several risks and of feature dependences
为了捕捉疾病对几个风险因素的依赖性，一个挑战是将基于模型的估计与基于证据的论点相结合。标准病例对照方法允许通过逻辑斯谛回归估计罕见疾病对几个回归因子的依赖性。对于病例对照研究，抽样设计导致样本来自两个不同的人群，对于每个逻辑斯谛回归中的回归变量集，然后将这些样本混合并作为给定的观察结果。但是，正是病例和对照回归变量的独立性结构的差异可以改善逻辑斯谛回归估计，并指导我们发现疾病特有的重要特征依赖性。以喉癌病例对照研究为例。
2012-03-08 stat.ME
A non-inferiority test for R-squared with random regressors
确定结果变量和许多不同的解释变量之间缺乏相关性通常是必要的，以便忽略所提出的模型。本文提出了一种非劣性检验的决定系数（或平方多重相关系数），R平方，在线性回归分析与随机预测。该检验是通过基于比例中心F分布反转单侧置信区间得出的。
2020-02-21 stat.ME
Functional Factor Regression with an Application to Electricity Price Curve Modeling
本文提出一种对回归量施加因子结构的函数型线性回归模型，通过函数型特征值差异检验确定因子数并建立渐近正态性，应用于三个能源市场的电价曲线预测，精度媲美机器学习方法且提供有效推断。
2025-08-07 econ.EM stat.ME
Models as Approximations I: Consequences Illustrated with Linear Regression
在20世纪80年代早期，Halbert White开创了一种基于标准误的“三明治估计量”的“模型稳健”形式的统计推断。该估计量已知是“异方差一致的”，但它的“非线性一致性”也不太为人所知。然而，非线性引起了根本性的问题，因为在它的存在下，回归量不是辅助的，因此不能被视为固定的。其后果是深刻的：（1）总体斜率需要被重新解释为从OLS得到的统计泛函，其拟合很大程度上是任意的联合$\xy$分布;（2）斜率参数的含义需要重新考虑;（3）回归变量分布影响斜率参数;（4）回归变量的随机性成为斜率估计中抽样变异性的来源;（5）~推断需要基于模型稳健的标准误，包括夹心估计或$\xy$ ~bootstrap。理论上，模型稳健和模型信任标准误可以以任意幅度偏离。在实践中，它们之间的显著偏差可以通过诊断测试来检测。
2019-07-06 stat.ME
Prediction-Powered Causal Inference by Automatic Debiased Machine Learning and Semi-Supervised Riesz Regression
University of Tokyo（东京大学）
研究半监督设置下因果参数的半参数有效估计，通过结合去偏机器学习和半监督Riesz回归，提出DML-PPCI和TMLE-PPCI方法，实现比仅用标注数据更小的渐近方差。
2026-06-12 cs.LG econ.EM math.ST
Sparse Linear Regression With Missing Data
Wisconsin Institutes for Discovery（威斯康星发现研究院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出了一种在有缺失数据的情况下进行稀疏回归的快速、准确的方法。底层统计模型封装了不完整数据矩阵的低维结构和回归系数的稀疏性，所提出的算法联合学习数据的低维结构和具有稀疏系数的线性回归器。建议的随机最优化方法，稀疏线性回归与缺失数据（SLRM），执行交替最小化过程和规模以及与问题的大小。大偏差不等式揭示了各种问题相关参数对学习回归量的预期平方损失的影响。在合成数据集和真实数据集上进行的大量仿真表明，SLRM在各种情况下都优于竞争算法。
2015-03-28 cs.LG stat.ME stat.ML
Readouts for Echo-state Networks Built using Locally Regularized Orthogonal Forward Regression
回声状态网络（ESN）被看作是一个时间非正交扩展与伪随机参数。这种扩展自然会产生与教师输出相关的各种回归变量。我们说明，往往只有一定数量的生成的回声回归有效地解释教师输出的方差，也是唯一的局部正则化是无法提供深入的信息，所生成的回归的重要性。因此，通过使用局部正则化正交前向回归（LROFR）算法联合计算个体方差贡献和贝叶斯相关性来确定重要性。该信息可以有利地以各种方式用于深入分析ESN结构及其与潜在问题的未知动态相关的状态空间参数。我们提出了使用LROFR构建的局部正则化线性读出。读出可以具有与ESN模型本身不同的维度，并且除了提高ESN的鲁棒性和准确性之外，它还将回波回归量与训练数据的不同特征相关联，并且可以确定什么类型的附加读出适合于手头的任务。此外，由于线性读出的灵活性有局限性，有时可能不足以满足某些任务，我们还提出了一个径向基函数（RBF）读出使用LROFR。它是一个灵活的和吝啬的读出具有良好的泛化能力，是一个可行的替代读出基于前馈神经网络（FFNN）或RBF网络建立使用相关向量机（RVM）。
2012-07-02 stat.ME stat.ML
Nonlinear Granger Causality using Kernel Ridge Regression
本文提出名为 mlcausality 的新型算法及 Python 库，利用灵活插件架构识别非线性 Granger 因果关系。在采用径向基函数核岭回归时，该方法在模拟数据上取得了具竞争力的 AUC 分数、更精细的 p 值及更高准确率，且计算时间比现有算法缩短了一个数量级。
2023-09-10 cs.LG econ.EM stat.ME
Bias Reduction as a Remedy to the Consequences of Infinite Estimates in Poisson and Tobit Regression
数据分离是一种得到充分研究的现象，它可能会导致二进制响应模型的估计和推断出现问题。完全或准完全分离发生在模型中有回归变量的组合，其值可以完美地预测一个或两个结果。在这种情况下，并且仅在这种情况下，最大似然估计和相应的标准误是无穷大的。人们不太清楚的是，在进一步的微观计量经济学模型中也会发生同样的情况。Santos Silva和Tenreyro（2010）是该领域为数不多的工作之一，他们指出泊松回归中最大似然估计的有限性取决于数据配置，并提出了一种检测和克服数据分离后果的策略。然而，当回归变量相关时，他们的方法可能会导致参数估计值的显著偏差。我们说明了如何减少偏差调整的极大似然评分方程可以克服的后果分离泊松和Tobit回归模型。
2021-01-18 stat.CO stat.ME
Three-group variance-ratio tests for heteroscedasticity in linear regression: an exact null distribution and an outlier-resistant version
Alexandria University（亚历山大大学）
提出一种线性回归异方差性检验方法，通过排序分组比较误差尺度，精确零分布且抗离群值，在多种模拟设置中功效优于现有检验，并支持沿时间变化的方差检测。
2026-10-02 stat.AP stat.ME
