Assumption-lean weak limits and tests for two-stage adaptive experiments
Department of Statistics and Data Science, University of Pennsylvania（宾夕法尼亚大学统计与数据科学系）
本文提出轻假设弱收敛结果，统一了两阶段自适应实验设计中的碎片化结果，通过量化收敛速率揭示探索与推断稳定性之间的权衡，并提出高效模拟方法进行非正态极限检验。
2026-04-14 math.ST stat.ME stat.TH
The Projected Covariance Measure for assumption-lean variable significance testing
本文针对模型错误设定下变量显著性检验功效差的问题，提出一种基于投影协方差测度的无模型条件均值独立性检验框架，可结合非参数或机器学习方法，并证明样条回归版本达到极小极大最优速率。
2024-05-07 math.ST stat.ME stat.ML
Indirect multivariate response linear regression
我们提出了一类新的估计的多元响应线性回归系数矩阵，利用假设的响应和预测有一个联合的多元正态分布。这使得我们能够通过对逆回归的参数进行收缩估计，或者通过给定响应的预测因子的条件分布来间接估计回归系数矩阵。我们建立了一个收敛速度界估计在我们的类，我们研究了两个例子。第一示例估计器利用逆回归的系数矩阵是稀疏的假设。第二示例估计器利用逆回归的系数矩阵是秩亏的假设。这些估计不需要流行的假设，即前向回归系数矩阵是稀疏的或具有小的Frobenius范数。使用模拟研究，我们表明，我们的例子估计优于一些数据生成模型的相关竞争对手。
2015-07-16 stat.ME
Group-bound: confidence intervals for groups of variables in sparse high-dimensional regression without assumptions on the design
在不对设计矩阵进行严格或无法验证的假设的情况下，为高维回归中的单个变量提供置信区间通常具有挑战性。我们在这里表明，一个“组界”的置信区间可以推导出没有任何假设的设计矩阵。个别变量的回归系数的下限可以通过线性规划导出。该想法还可以自然地推广到变量组，其中我们可以推导出一组联合效应的单侧置信区间。虽然个别变量的置信区间是由问题的性质往往很宽，它被证明是可以检测到的贡献组的高度相关的预测变量，即使没有变量单独显示出显着的效果。检测变量组的影响所需的假设被证明是弱于最弱的已知假设，以检测单个变量的影响。
2014-06-11 stat.ME
Statistical Estimation for Covariance Structures with Tail Estimates using Nodewise Quantile Predictive Regression Models
本文针对带尾部估计的协方差结构，提出用分位数预测回归估计VaR-CoVaR风险矩阵，还构建了无调优参数、具有一致性的FOCE变量选择算法，经真实与模拟数据集验证可用于网络系统性风险建模。
2023-07-24 econ.EM stat.ME
Semiparametric Mixture Regression with Unspecified Error Distributions
在混合线性回归模型的拟合中，传统的方法是采用正态假设来建立误差模型，然后用极大似然估计来估计回归参数。如果违反了正常假设，则此程序无效。为了放松误差分布的正态假设，从而降低建模偏差，我们提出了具有未知误差分布的半参数混合线性回归模型。在比已有结果更弱的条件下，我们建立了一个更一般的可辨识性结果，构造了一类新的估计量，并建立了它们的渐近性质。这些渐近结果也适用于许多现有的半参数混合回归估计的渐近性质仍然未知，由于在获得它们的固有困难。利用模拟研究，我们证明了所提出的估计的优越性超过极大似然估计时，违反了正常的错误假设和可比性时，错误是正常的。对2017年新收集的马传染性贫血病毒数据进行分析，以说明新估计量的有效性。
2018-11-02 stat.ME
Bayesian Endogenous Tobit Quantile Regression
本研究提出$p$ -th Tobit分位数回归模型，并加入内生变数.在内生变量对外生变量的第一阶段回归中，引入了误差项的第$α$分位数为零的假设。然后，将该回归模型的残差包含在第$p$分位数回归模型中，以使新误差项的第$p$条件分位数为零。第一阶段回归的误差分布模型周围的零$α$ -th分位数的假设，通过使用参数和半参数的方法。由于$α$的值是先验未知的，因此将其视为附加参数，并根据数据进行估计。然后，通过使用模拟数据和实际数据的已婚妇女的劳动力供应的建议模型进行了演示。
2015-12-05 stat.ME
Generalized Reduced-Rank Regression with Homogeneity Pursuit
本文在广义线性模型下统一研究同质性、低秩和稀疏性假设，提出正则化极大似然估计方法，证明统计一致性，并通过模拟和树种数据验证其有效性。
2025-01-25 stat.ME
Assessing the Impact of Model Assumptions in Network Meta-Regression: A Simulation Study
University of Freiburg（弗赖堡大学）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
该模拟研究评估网络Meta回归中模型假设影响，比较标准无交互NMA模型与四种NMR参数化，发现存在效应修饰时标准NMA模型高估效果，不同NMR模型在不同网络结构等下有不同表现，合理匹配可减少偏差，支持可靠医学决策。
2026-07-21 stat.ME
Empirical Likelihood Estimation for Linear Regression Models with AR(p) Error Terms
线性回归模型是分析几个不同领域数据集的有用统计工具。有几种方法可以估计线性回归模型的参数。这些方法通常在具有零均值和恒定方差的正态分布和不相关误差下执行。然而，对于某些数据集，误差项可能不满足这些或其中一些假设。如果误差项是相关的，如具有自回归（AR（p））误差项的回归模型，通常采用正态性假设下的条件极大似然（CML）或最小二乘（LS）方法来估计参数。对于CML估计，需要对误差项作分布假设来进行估计，但在实际中，这种分布假设可能是不合理的。因此，在这种情况下，需要一些替代的分布自由的方法来进行参数估计。本文提出了一种基于经验Likestive（EL）方法的无分布估计方法来估计带AR（p）误差项的线性回归模型的参数。一个小的模拟研究和数值例子提供了评估所提出的估计方法的CML方法的性能。仿真研究结果表明，在几乎所有的仿真配置下，基于EL方法的估计量在均方误差（均方误差）和偏差方面都明显优于CML方法的估计量.这些发现也证实了数值和实际数据的例子的结果。
2020-07-26 stat.ME
Equivalence of regression curves sharing common parameters
在临床试验中，两个不同人群的比较是一个经常解决的问题。非线性（参数）回归模型通常用于描述两组中协变量（如剂量和反应变量）之间的关系。在某些情况下，假设某些模型参数相同是合理的，例如安慰剂效应或最大处理效应。在本文中，我们开发了一个（参数）bootstrap检验建立两个回归曲线共享一些共同的参数的相似性。我们通过理论论证和模拟研究表明，新的测试控制其水平，并实现了合理的权力。此外，它表明，在共同参数的假设下，可以构造一个相当强大的测试相比，不使用此假设的测试。最后，我们通过一个临床试验的例子说明了新方法的潜在应用。
2019-02-09 stat.ME
Sparse departures from independence in two-way tables: a heteroscedasticity profile and detection boundary, an adaptive higher-criticism gate, and an assumption-lean exact anchor
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
本文针对双向表独立性的稀疏偏离问题，提出含异方差轮廓与检测边界的理论，给出自适应高阶批评门限及精确锚点检验，验证了5543个表格语料库中三分之二采用精确锚点的结论。
2026-09-10 math.ST stat.ME stat.TH
Assumption-Lean Analysis of Cluster Randomized Trials in Infectious Diseases for Intent-to-Treat Effects and Network Effects
整群随机试验（CRT）是一种流行的设计，以研究在传染病环境中的干预措施的效果。然而，CRT的标准分析主要依赖于强参数方法，通常是混合效应模型来解释聚类结构，并侧重于总体意向治疗（ITT）效应来评价有效性。本文提出了两种改进的方法来分析CRT中的两类效应，即ITT效应和知名依从性群体之间的网络效应。对于ITT效应，我们研究了观察到的协变量之间的整体和异质ITT效应，其中我们没有对聚类大小施加参数模型或渐近限制。对于依从性组之间的网络效应，我们提出了一种新的基于边界的方法，该方法使用预处理协变量，分类算法和线性规划来获得清晰的边界。我们的方法的一个关键特征是，随着分类算法的改进，界限可以变得更窄，并且该方法也可以用于工具变量的部分识别的研究。最后，我们重新分析了CRT研究口罩和洗手液对2008年流感在香港的传播的影响。
2021-09-22 stat.ME
Dependable Exploitation of High-Dimensional Unlabeled Data in an Assumption-Lean Framework
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Cornell University（康奈尔大学）；Yale University（耶鲁大学）
本文研究了在半监督学习中高维回归参数估计效率提升的条件，提出一种保证效率的新型估计器，通过模拟和实际数据验证了方法有效性。
2026-03-29 stat.ME
Hypothesis testing for varying coefficient models in tail index regression
针对尾指数回归缺乏变系数模型检验方法的问题，本文研究估计量的渐近性质，提出用于判断系数函数是否显著随协变量变化的假设检验方法。
2023-12-11 math.ST stat.TH
Regression and Causality
干预的因果效应（治疗/暴露）对结果的影响可以通过以下方式进行估计：i）指定关于数据生成过程的知识; ii）评估在给定指定知识的情况下可以在什么假设下识别目标量，例如因果比值比（并且给定测量数据）;以及然后，iii）使用适当的统计估计技术来估计期望的感兴趣参数。由于回归是统计分析的基石，似乎很明显要问：使用估计的回归参数进行因果效应估计是否合适？事实证明，使用回归进行效果估计是可能的，但通常需要比竞争方法更多的假设。这份手稿提供了一个全面的总结，需要确定和估计的因果参数使用回归的假设，同样重要的是，讨论了统计实践的影响。
2021-03-04 math.ST stat.ME stat.TH
A Mathematical Programming Approach for Integrated Multiple Linear Regression Subset Selection and Validation
多元线性回归的子集选择旨在通过选择少量解释变量来构建误差最小的回归模型。一旦建立了模型，就会进行各种统计测试和诊断，以验证模型并确定是否符合回归假设。大多数传统方法在这一步需要人为决策。例如，用户添加或删除变量，直到获得满意的模型。然而，这种试错策略不能保证一个子集，最大限度地减少了错误，同时满足所有的回归assumptions.In本文中，我们提出了一个完全自动化的多个线性回归子集的选择，集成模型的建立和验证数学规划的基础上的模型建设过程。该模型最大限度地减少了均方误差，同时确保大多数重要的回归假设得到满足。我们还提出了一个有效的约束来近似系数t检验的约束。当没有子集满足所有考虑的回归假设时，我们的模型提供了一个替代子集，满足大多数假设。计算结果表明，我们的模型产生更好的解决方案（即，满足更多的回归假设），同时保持类似的解释能力。
2020-07-26 stat.ML
Censored quantile regression processes under dependence and penalization
我们考虑相依数据结构下截尾数据的分位数回归过程，并推导出这些过程的统一Bahadur表示。我们还考虑了分位数回归模型中参数的维数很大的情况。它表明，传统的惩罚估计，如自适应套索产量次优率，如果分位数回归系数过零。新的惩罚技术的介绍，能够处理特定的问题，删失数据和产量估计的最佳速率。与大多数文献不同的是，渐近分析不需要独立观测的假设，而是基于相当弱的假设，这对许多种相关数据都是满意的。
2013-06-12 math.ST stat.ME stat.TH
Standard LSParameter Estimators Ensure Finite Convergence Time for Linear Regression Equations Under an Interval Excitation Assumption
本文阐明在区间激励条件下，标准最小二乘估计器能使线性回归方程参数在满足该条件所需时长内有限收敛。
2025-06-09 cs.SY eess.SY math.ST
Assumption-lean inference for generalised linear model parameters
对广义线性模型的参数索引的推断通常是基于模型是正确的和先验指定的假设。这是不令人满意的，因为所选择的模型通常是数据自适应模型选择过程的结果，这可能会导致通常不被承认的过度不确定性。此外，编码在所选模型中的假设很少代表一些先验已知的基本事实，这使得标准推断容易出现偏差，但也无法纯粹反映数据中包含的信息。受所谓的投影参数的无偏推理的发展的启发，我们在这里提出了新的非参数定义的主效应估计和效果修正估计。当这些模型被正确指定时，这些简化为广义线性模型中的标准主效应和效应修改参数，但其优点是它们继续分别捕获两个变量之间的主要（条件）关联，或两个变量在其对结果的影响中相互作用（在统计意义上）的程度，即使这些模型被错误指定。我们通过在非参数模型下导出它们的影响曲线并调用灵活的数据自适应（例如，机器学习）过程。
2020-06-15 stat.ME stat.ML
Panel Data Quantile Regression for Treatment Effect Models
在这项研究中，我们开发了一种新的估计方法的分位数处理效应（QTE）的秩不变和秩平稳性假设。Ishihara（2020）在这些假设下探索了不可分离面板数据模型的识别，并提出了基于最小距离方法的参数估计。然而，当协变量的维数很大时，使用该过程的最小距离估计在计算上要求很高。为了克服这个问题，我们提出了一个两步估计方法的基础上的分位数回归和最小距离方法。然后，我们展示了我们的估计的一致渐近性质和非参数自助的有效性。蒙特卡罗研究表明，我们的估计在有限样本表现良好。最后，我们提出了两个实证说明，估计分配效果的保险提供对家庭生产和电视观看对儿童认知发展。
2021-11-17 econ.EM stat.ME
Sequential linear regression for conditional mean imputation of longitudinal continuous outcomes under reference-based assumptions
本文提出在条件均值填补框架下采用序贯线性回归实现参考基填补，通过理论证明和模拟验证其有效性，并应用于真实数据，为纵向临床试验缺失数据提供确定性估计与正确推断。
2023-10-17 stat.AP stat.ME
An Upper Bound of the Bias of Nadaraya-Watson Kernel Regression under Lipschitz Assumptions
Technische Universität Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
Nadaraya-Watson核估计是最流行的非参数回归技术之一，这要归功于它的简单性。Rosenblatt在1969年研究了它的渐近偏差，并在许多相关文献中报道。然而，Rosenblatt的分析仅对无穷小带宽有效。相比之下，我们在本文中提出了一个上限的偏见，持有有限的带宽。此外，相反的经典分析，我们允许不连续的一阶导数的回归函数，我们扩展我们的边界的多维域，我们包括知识的界的回归函数时，它存在，如果它是已知的，以获得更严格的限制。我们相信，这项工作在那些需要对误差进行一些硬保证的领域中具有潜在的应用价值
2020-01-30 cs.LG stat.ML
Applying Regression Conformal Prediction with Nearest Neighbors to time series data
在本文中，我们应用共形预测的时间序列数据。共形预测是一种在给定置信水平的情况下产生预测区域的方法。区域输出在交换假设下总是有效的。然而，这个假设并不适用于时间序列数据，因为过去、当前和未来的观测值之间存在联系。因此，将共形预测器应用于时间序列数据问题的挑战在于，时间序列的观测值是相关的，因此不满足交换假设。本文提出了一种在时间序列中利用共形预测子构造可靠预测区间的方法。我们使用基于加权最近邻方法中的快速参数调整技术的最近邻方法（FPTO-WNN）作为底层算法。数据分析证明了该方法的有效性。
2021-10-25 stat.CO stat.ME stat.ML
Efficiency of conformalized ridge regression
保形预测是一种产生预测集的方法，可以应用于各种预测算法之上。该方法在标准IID假设下具有保证的覆盖概率，而不管底层算法的假设（通常限制性更大）是否满足。然而，为了使该方法真正有用，希望在满足基础算法的假设的情况下，与基础算法相比，适形预测器在效率上损失很少（而作为适形预测器，它具有更强的有效性保证）。在本文中，我们探讨在贝叶斯岭回归的情况下，这种额外的要求是满足的程度，我们发现，渐近共形预测集不同的岭回归预测区间时，标准的贝叶斯假设得到满足。
2014-04-08 cs.LG stat.ML
Kernel regression, minimax rates and effective dimensionality: beyond the regular case
我们调查，如果核正则化方法可以实现极小极大收敛率在源条件正则性假设的目标函数。这些问题已被认为是在过去的文献中，但只有在特定的假设下的衰减，通常是多项式，核映射协方差算子的频谱。从无分布结果的角度来看，我们在对特征值衰减的更弱假设下研究了这个问题，允许更复杂的行为，可以反映不同尺度下数据的不同结构。
2016-11-12 stat.ML
Statistically Significant Linear Regression Coefficients Solely Driven By Outliers In Finite-sample Inference
本研究通过R模拟验证单个异常值可使线性回归不显著系数呈现统计显著性，对比稳健Huber回归，分析异常值影响与诊断方法，关联正态性假设并警示仅用p值的风险，梳理回归方法与高斯-马尔可夫定理的关系。
2025-05-19 econ.EM math.ST stat.ME
A Two-Stage Approach to Multivariate Linear Regression with Sparsely Mismatched Data
George Mason University（乔治梅森大学）；Baidu Research（百度研究院）；U.S. Census Bureau（美国人口普查局）
线性回归中的一个默认假设是（响应，预测）对对应于相同的观察单位。最近的一系列工作已经研究了违反这一假设的情况，如“未标记的感知和未知置换回归”。在本文中，我们研究了多个响应变量的设置和不匹配的概念，概括排列，以允许丢失的匹配以及一对多的匹配。一个两阶段的方法提出的假设下，大多数对正确匹配。在第一阶段中，通过将失配处理为污染来估计回归参数，随后通过匹配的基本变体来估计广义置换。该方法是计算方便，并配备了有利的统计保证。具体而言，它表明，置换恢复的条件变得相当不严格的响应$m$每次观察的数量增加。特别是，对于$m = Ω(\log n)$，所需信噪比不再取决于样本量$n$。合成和真实数据的数值结果支持我们的分析的主要结果。
2020-06-28 cs.IT cs.LG math.IT
Assumption-Lean Differential Variance Inference for Heterogeneous Treatment Effect Detection
McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）；Lund University（隆德大学）；University of Toronto（多伦多大学）
提出通过潜在结果方差对比推断治疗效果异质性，即使缺失效应修饰变量也能检测，并推导出双重稳健的因果机器学习估计量。
2026-10-14 stat.ME
Convergence of least squares estimators in the adaptive Wynn algorithm for a class of nonlinear regression models
本文继续了作者在非线性回归模型中的自适应Wynn算法的工作。本文证明了当均值响应函数满足Pronzato \cite{Pronzato}提出的“饱和可辨识性”条件时，自适应最小二乘估计是强相合的.该条件表明回归参数在任何饱和设计下都是可识别的，即，在任何$p$不同设计点处的平均响应函数的值唯一地确定参数点，其中通常，$p$是回归参数向量的维数。进一步的基本假设是实验区域和参数空间的紧性以及一些自然连续性假设。若真参数点是参数空间的内点，则在一定的光滑性假设和随机误差的渐近同方差下，得到了自适应最小二乘估计的渐近正态性.
2019-09-09 math.ST stat.TH
Improving Estimations in Quantile Regression Model with Autoregressive Errors
一个重要的问题是，呼吸道死亡率可能是空气污染的结果，空气污染可以通过以下变量来测量：温度、相对湿度、一氧化碳、二氧化硫、二氧化氮、碳氢化合物、臭氧和颗粒物。通常的方法是使用普通最小二乘回归来拟合模型，它对回归模型的误差项表示白噪声过程有一些假设，也称为高斯-马尔可夫假设。然而，在许多应用中，特别是对于本示例，这些假设并不满足。因此，在本研究中，采用分位数回归方法，使用上述解释变量对呼吸死亡率进行建模。此外，改进的估计技术，如初步测试和收缩策略时，误差是自回归的。通过蒙特卡罗模拟实验，对Lasso、Ridge和弹性网等分位数惩罚估计方法进行了性能评估。最后给出了所列估计量的理论风险。
2017-07-04 stat.AP
Optimal link prediction with matrix logistic regression
我们考虑的链接预测问题，基于一个大的网络的部分观察，并与其顶点的边信息。生成模型被公式化为矩阵逻辑斯谛回归。该模型的性能进行了分析，在一个高维制度下的结构假设。Frobenius范数风险的极大极小率的建立和惩罚的最大似然方法的基础上的组合估计被证明来实现it.Frobenius范数风险的极大极小率，并且证明了在计算复杂性的假设下，任何（随机）算法都不能在多项式时间内计算出该极大极小率。
2018-03-19 math.ST stat.ML stat.TH
Additive inverse regression models with convolution-type operators
在最近的一篇论文中，Birke和Bissantz（2008）考虑了具有卷积型算子的逆回归模型中的非参数估计问题。对于多变量预测，非参数方法受到维数灾难的影响，我们考虑逆回归模型与附加的定性假设的可加性。在这些模型中，几个加性估计进行了研究。特别是，我们调查的随机设计假设下，适用于观察时，网格上不可用的估计。最后，我们通过模拟研究，比较了这种估计与边际积分和非可加估计。它表明，新的方法产生了实质性的改善，目前可用的程序。
2013-03-18 math.ST stat.TH
Asymptotic properties in the Probit-Zero-inflated Binomial regression model
零膨胀回归模型近年来得到了广泛的应用，并被证明在建模具有许多零的数据时是有用的。零膨胀二项分布（ZIB）回归模型是普通二项分布的推广，它考虑了零的过剩。在比较的概率单位模型的逻辑模型，许多作者认为，在大多数情况下，涉及二进制响应选择一个配方在其他几乎没有理论依据。Logit模型被认为在计算上更简单，但它基于一个更严格的误差独立性假设，尽管许多其他概括也处理了这个假设。相比之下，概率单位模型假设随机误差服从多元正态分布。这个假设使得概率单位模型具有吸引力，因为正态分布提供了许多其他分布的良好近似。本文给出了两个分量都具有概率单位连接函数的零膨胀二项回归模型参数的极大似然估计方法。我们建立了估计量的相合性和渐近正态性。
2021-05-02 math.ST stat.TH
An Empirical Comparison of Parametric and Permutation Tests for Regression Analysis of Randomized Experiments
基于线性模型的假设检验被监管临床试验的组织广泛接受。这些测试是使用关于数据生成过程的强假设导出的，因此所得到的推断可以基于参数分布。因为这些方法很好理解，而且很强大，所以它们有时会应用于偏离假设的数据，例如序数整数分数。排列检验是一种非参数替代方法，需要最少的假设，这通常由进行的随机化来保证。我们比较协方差分析（ANCOVA），一个特殊的情况下，线性回归，包括分层，几个排列测试的基础上，控制预处理协变量的线性模型。在使用违反某些参数回归假设的模型进行随机化实验的模拟中，置换检验保持了与ANCOVA相当的功效。我们说明了使用这些排列检验与ANCOVA使用的数据从临床试验比较两种治疗胃食管反流病的有效性。考虑到临床试验的可观成本和科学重要性，额外的非参数方法（如线性模型置换检验）可作为主要研究终点统计推断的稳健性检查。
2017-10-10 stat.AP
Pretest and Stein-Type Estimations in Quantile Regression Model
在本研究中，我们考虑分位数回归模型的初步检验和收缩估计策略。在经典的最小二乘估计（LSE）方法中，解释变量和被解释变量在坐标平面上的关系是用一条平均回归线来估计的。为了使用LSE，必须满足关于显示回归模型的白噪声过程的误差项的三个主要假设，也称为Gauss-Markov假设：（1）误差项具有零均值，（2）误差项的方差是常数，以及（3）误差之间的协方差是零，即，不存在自相关。然而，许多领域的数据，包括计量经济学、生存分析和生态学等，并没有提供这些假设。分位数回归是由Koenker首先提出来的，它弥补了经典回归分析的不足，并改进了最小二乘估计。摘要本研究的目的是借由使用预测试与收缩策略来改善分位数回归估计的效能。蒙特卡罗模拟研究，包括比较与分位数$L_1$ -型估计，如拉索，岭和弹性网络的设计，以评估估计的性能。为了说明的目的，给出了两个实际数据的例子。最后，我们得到了所建议的估计量的渐近结果
2017-09-06 math.ST stat.TH
General bound of overfitting for MLP regression models
具有一个隐藏层的多层感知器（MLP）已经被用于处理非线性回归很长一段时间。然而，在某些任务中，MLP的是太强大的模型和一个小的均方误差（MSE）可能更多地是由于过拟合比实际建模。如果回归模型的噪声是高斯的，则模型的过拟合完全由似然比检验统计量（LRTS）的行为确定，然而在许多情况下，噪声的正态性假设如果不是假的，则是任意的。本文在较弱的假设下给出了该模型过拟合的普适界，该界在没有高斯或可辨识性假设的情况下也是有效的。这个界限的主要应用是给出一个提示，当数据数量达到无穷大时，确定MLP模型的真正架构。作为一个例子，我们使用这个理论结果，提出和比较有效的标准，找到真正的架构的MLP。
2012-01-03 math.ST stat.TH
Multivariate linear regression without prior assumptions
Indian Institute of Technology Madras（印度马德拉斯理工学院）
本文提出QZ-IPCA迭代广义特征值算法，无需先验假设即可从含噪数据同时恢复多元线性系统的噪声划分、方差、关系数和回归系数，实验证明其优于传统最小二乘方法。
2026-09-10 cs.SY eess.SY stat.AP
Nonparametric regression with martingale increment errors
我们考虑的问题，自适应估计的回归函数在一个框架中，我们取代遍历性假设（如独立或混合）的模型上的另一个结构性假设。也就是说，我们提出了自适应上界的核估计与数据驱动的带宽（Lepski的选择规则）的回归模型中的噪声是一个增量的鞅。它包括，作为非常特殊的情况下，通常的i.i.d.回归和自回归模型。这项研究的基石工具是一个新的结果自归一化鞅，称为“稳定性”，这是独立的利益。在第一部分中，我们只使用了噪声的鞅增量结构。我们给出了一个自适应的上界使用一个随机率，其中包括占用时间附近的估计点。由于这种方法，统计过程的理论研究与通常的遍历性质（如混合）无关。然后，在第二部分，我们与通常的极小极大理论的确定性利率。在协变量过程的β-混合假设下，我们证明了第一部分中考虑的随机速率是等价的，具有很大的概率，确定性速率是通常的极大极小自适应速率。
2010-10-29 math.PR math.ST stat.TH
Testing additivity in nonparametric regression under random censorship
本文研究了右删失数据下多元回归函数的非参数估计。更确切地说，我们提出了一个统计量，被证明是渐近正态分布下的添加剂的假设，并可以用来测试在删失回归设置的可加性。
2008-02-07 math.ST stat.TH
Non-Asymptotic Guarantees for Robust Statistical Learning under Infinite Variance Assumption
University of Macau（澳门大学）；Zhuhai UM Science & Technology Research Institute（珠海澳大科技研究院）；Peking University（北京大学）
在统计学和机器学习中，对于具有重尾和有界方差数据的模型，人们对开发鲁棒估计器的兴趣激增，而很少有工作施加无界方差。本文提出了两类稳健估计：岭对数截尾M估计和弹性网对数截尾M估计。第一个估计器应用于凸回归，如分位数回归和广义线性模型，而另一个估计器应用于高维非凸学习问题，如通过深度神经网络的回归。模拟和实际数据分析证明了对数截尾估计相对于标准估计的稳健性。
2022-10-11 cs.LG math.ST stat.ML
A Convex Program for Mixed Linear Regression with a Recovery Guarantee for Well-Separated Data
我们介绍了一个凸的混合线性回归的方法在$d$功能。这种方法是一种基于L1最小化的二阶锥规划，它为每个数据点在$\mathbb{R}^{d}$中分配一个估计回归系数。然后，可以使用例如$k$均值对这些估计进行聚类。对于两个或两个以上的混合物类的问题，我们证明了凸计划完全恢复所有的混合物成分在无噪声设置的技术条件下，包括一个良好的分离假设的数据。在这些假设下，如果每个类至少具有$d$独立测量，则恢复是可能的。我们还探讨了一个迭代重新加权最小二乘实现这种方法的真实和合成数据。
2017-12-21 math.OC stat.ML
Assumption-lean logistic regression with missing covariates
Georgia Institute of Technology（佐治亚理工学院）；University of Southern California（南加州大学）；University of Cambridge（剑桥大学）
针对协变量缺失的逻辑回归，提出基于新颖单调算子的随机逼近方法，在协变量分布未知的假设精简设置下实现参数速率信号恢复，并优于完整案例估计器。
2026-10-07 cs.IT cs.LG math.IT
Optimal inference in a class of regression models
本文研究了线性或部分线性回归中回归函数的线性泛函的置信区间的构造问题，如线性泛函在某一点的值、回归不连续参数、回归系数等。我们的主要假设是，回归函数是已知的谎言在一个凸函数类，其中涵盖了大多数平滑和/或形状的假设，在计量经济学。我们推导出有限样本的最优CI和尖锐的效率界下的正常误差与已知的方差。我们表明，这些结果转化为一致的（在函数类）渐近结果时，误差分布是未知的。当函数类是中心对称的时，这些效率界限意味着在光滑回归函数上极大极小CI接近于有效。这特别意味着，不可能使用依赖于数据的调优参数来形成更紧密的CI，并保持对整个函数类的覆盖。我们专门研究我们的结果回归不连续参数的推断，并说明他们在模拟和实证应用。
2017-11-22 math.ST stat.AP stat.TH
Revisiting Révész's stochastic approximation method for the estimation of a regression function
Révész（1973）在一项开创性的工作中引入了随机逼近方法来建立回归函数$x\mapsto E(Y|X=x)$的递归核估计。然而，根据Révész（1977），他的估计量有两个主要缺点：一方面，它的收敛速度小于非递归Nadaraya-Watson核回归估计量，另一方面，对随机变量$X$密度的假设比回归估计框架中通常需要的假设更强。我们首先回到对Révész估计量的收敛速度的研究。证明中的一种方法与Révész（1977）中使用的方法完全不同，这使我们能够证明Révész的递归估计量可以达到与Nadaraya-Watson估计量相同的最优收敛速度，但是对$X$的密度所需的假设仍然比通常的假设更强，这是Révész估计量的定义所固有的。为了克服这个缺点，我们引入随机逼近算法的平均原理，构造了平均Révész回归估计，并给出了它的渐近性质.我们对$X$密度的假设通常在回归估计的框架中。我们证明了平均Révész回归估计可以达到与Nadaraya-Watson估计相同的最优收敛速度。此外，我们表明，根据置信区间的估计的观点，它是更好地使用平均Révész的估计，而不是Nadaraya-Watson的估计。
2008-12-20 math.ST stat.TH
Minimax-optimal nonparametric regression in high dimensions
在两个稀疏性假设下推导了高维非参数回归的极小极大$L_2$风险：（1）真实回归曲面是一个稀疏函数，它只依赖于$p$预测变量列表中的$d=O(\log n)$重要预测变量，其中包含$\log p=o(n)$ ;（二）真正的回归曲面取决于$O(n)$预测器，但它是一个加法函数，其中每个加法分量是稀疏的，但可能包含两个或更多个相互作用的分量预测器，并且可以具有不同于其他分量的平滑度。对于任何一个建模假设，一个切实可行的扩展广泛使用的贝叶斯高斯过程回归方法，自适应地达到最佳极小极大率（$\log n$条款）渐近的$n,p\to\infty$与$\log p=o(n)$。
2015-04-01 math.ST stat.TH
Scalable simultaneous inference in high-dimensional linear regression models
高维线性回归模型的同时推理方法的计算复杂性随着变量的增加而迅速增加。本文提出了一种基于Moore-Penrose伪逆的计算效率高的方法。在对可用回归量的对称性假设下，估计量是正态分布的，并且伴随着无调谐参数的标准误差的封闭形式的表达式。我们研究的数值性能，模拟现代应用程序的大小，现有的方法是计算上不可行的蒙特卡罗实验。我们发现接近名义上的覆盖范围，即使在设置强加的对称性假设不成立。正规化的伪逆通过脊调整，以产生可能的效率增益。
2021-02-01 math.ST stat.TH
Robust Nonparametric Regression with Deep Neural Networks
本文研究了具有重尾误差分布的回归模型的深度神经网络稳健非参数估计的性质。在适当的回归函数光滑性条件和误差项温和条件下，利用带有ReLU激活的深度神经网络建立了一类稳健非参数回归估计的非渐近误差界.特别地，我们仅假设误差分布具有有限的p阶矩，其中p大于1。我们还表明，深度稳健回归估计是能够规避灾难的维数时，预测的分布支持一个近似的低维集。我们的误差界的一个重要特征是，对于网络宽度和网络大小（参数数量）不超过预测器维度d的平方的数量级的ReLU神经网络，我们的超额风险界次线性地依赖于d。我们的假设放宽了精确流形支持假设，这在实践中可能是限制性的和不切实际的。我们还放宽了一些关键的假设数据分布，目标回归函数和神经网络在最近的文献中所要求的。我们的模拟研究表明，鲁棒方法可以显着优于最小二乘方法时，误差具有重尾分布，并说明损失函数的选择是很重要的背景下，深度非参数回归。
2021-07-21 math.ST stat.TH
Deep Nonparametric Regression on Approximate Manifolds: Non-Asymptotic Error Bounds with Polynomial Prefactors
我们使用深度神经网络研究非参数最小二乘回归的性质。我们推导出前馈深度神经回归的经验风险最小化器的预测误差的非渐近上界。我们的误差界实现最小最大的最佳速率和显着改善现有的意义上，他们依赖于多项式的维度上的预测，而不是指数的维度。我们表明，神经回归估计可以规避灾难的维数的假设下，预测支持一个近似的低维流形或一组具有低Minkowski维。我们还建立了最佳的收敛速度下的确切流形支持假设。本文研究了神经网络结构对神经回归估计器预测误差的影响，提出了两类神经网络之间的网络相对效率的概念，为评价不同网络结构的优劣提供了一种定量的度量。为了建立这些结果，我们使用ReLU激活的神经网络导出了具有正光滑指数的Hölder光滑函数的新近似误差界，这可能是独立的兴趣。我们的结果是在比现有文献中的数据分布和神经网络结构更弱的假设下得出的。
2023-01-14 math.ST stat.TH
Minimax Optimal Rates for Regression on Manifolds and Distributions
针对协变量与响应均位于低维流形的分布回归问题，本文推导 minimax 下界，并提出结合对抗学习和同步最小二乘的混合估计量以获得匹配上界。
2025-06-09 math.ST stat.TH
Asymptotic normality and strong consistency of kernel regression estimation in q-calculus
本文基于q-微积分构造非参数核回归估计量，并在适当假设下证明了其渐近正态性与强相合性。
2025-03-10 math.ST stat.TH
Generative Modelling via Quantile Regression
本文将条件生成建模与分位数回归相联系，提出损失函数并推导极小极大收敛速率，通过非参数回归子问题建立下界，还讨论了多元分布数据生成扩展。
2024-09-06 math.ST stat.TH
Estimation of Conditional Mean Operator under the Bandable Covariance Structure
本文考虑高维多元线性回归模型，其中协变量和响应变量的联合分布是一个多元正态分布，其协方差阵是可带的。本文的主要目标是估计回归系数矩阵，它是一个函数的带宽协方差阵。虽然递减估计的协方差具有极小极大最优收敛速度的类的可带协方差，我们表明，它有一个次优收敛速度的回归系数，也就是说，极小极大估计类的可带协方差可能不是一个极小极大估计其泛函。本文提出了回归系数的分块渐缩估计，在协方差可带的假设下，该估计具有回归系数的minimax最优收敛速度。我们还提出了一个贝叶斯过程称为块逐渐减少后处理后的后验的回归系数，并表明，所提出的贝叶斯过程具有极小极大最优收敛速度的回归系数下的带宽协方差假设。我们表明，所提出的方法优于现有的方法，通过数值研究。
2021-03-11 math.ST stat.TH
Assumption-Lean Inference for Spectral Differential Network Analysis of High-Dimensional Time Series
University of Washington（华盛顿大学）；Sookmyung Women’s University（淑明女子大学）
本文提出一种假设精简的推断框架，直接估计高维时间序列逆谱密度之差，建立高斯近似误差界并开发高效算法，用于分析不同条件下网络变化，如脑连接网络。实验验证了方法的有效性。
2026-09-15 math.ST stat.ME stat.ML
