Algorithms for adaptive and heteroskedastic linear regression at the computational threshold
Stanford University（斯坦福大学）
该研究针对异方差、自适应线性回归模型，设计多项式时间估计器并给出计算下界，还提出植入式线性回归问题以探究信息-计算间隙。
2026-09-16 cs.DS cs.LG math.ST
Simultaneous Mean-Variance Regression
我们提出了同时均值-方差回归的线性估计和近似的条件均值函数。在未知形式的异方差的存在下，我们的方法通过使用与平均回归参数共同确定的权重来解释在条件变量的支持下回归结果的不同分散度。同时性生成保证改善普通最小二乘法预测误差的结果预测，以及自动有效的相应参数标准误差。根据形状误指定的条件均值和方差函数，我们建立的存在性和唯一性的近似和表征其形式的解释和鲁棒性。特别是，我们表明，相应的均值-方差回归位置尺度模型弱主导的普通最小二乘法的位置模型下的Kullback-Leibler措施的分歧，严格改善的异方差的存在。同时均值-方差回归损失函数是全局凸的，相应的估计量易于实现。我们建立了它的一致性和渐近正态性下的误设定，提供强大的推理方法，并提出了数值模拟，表现出很大的改进普通和加权最小二乘在有限样本的估计和推断。我们进一步说明了我们的方法与两个实证应用，以估计1500年和今天的经济繁荣之间的关系，并在美国的汽油需求。
2019-01-02 econ.EM math.ST stat.ME
Statistical Limits for Finite-Rank Tensor Estimation
本文提出统一分析框架，推导有限秩高维张量估计在 Bayes 最优设置下的互信息、自由能与最小均方误差渐近公式，并刻画异方差噪声和高阶分配问题的统计阈值。
2025-06-07 cs.IT math.IT math.ST
Adaptive estimation for the nonparametric bivariate additive model in random design with long-memory dependent errors
研究了随机设计和长记忆误差下的非参数二元可加回归估计，构造了基于小波级数的自适应阈值估计。当未知函数及其单变量可加分量属于Besov空间时，该方法获得了渐近近最优的收敛速度。我们考虑两种噪声结构下的问题：（1）同方差高斯长记忆误差和（2）异方差高斯长记忆误差。在同性长记忆误差的情况下，估计是完全自适应的长记忆参数。在异方差长记忆的情况下，估计可能不是自适应的，除非异方差是多项式形式的长记忆参数。无论哪种情况，只有当长记忆足够强时，收敛速度才取决于长记忆参数，否则，收敛速度与i.i. d下的收敛速度相同。错误.所提出的方法被扩展到一般的$r$ -维加法的情况下，与$r>2$，和相应的收敛速度是免费的维数灾难。
2022-05-22 math.ST stat.ME stat.TH
Prewhitened Long-Run Variance Estimation Robust to Nonstationarity
本文提出一种对非平稳性稳健的非参数非线性VAR预白化长期方差估计量，用于构造自相关和异方差稳健标准误，并建立更精确的MSE界以确定数据依赖带宽，从而改善假设检验的原假设拒绝率和功效。
2024-08-07 econ.EM math.ST stat.TH
Estimation of the $l_2$-norm and testing in sparse linear regression with unknown variance
本文研究了方差未知的稀疏线性回归的$l_2$ -范数和平方$l_2$ -范数的估计问题，以及在$l_2$分离的稀疏替代下回归参数为零的假设检验问题.我们建立了这三个问题的最优估计率（分别为检验率）。
2020-10-26 math.ST stat.TH
High-dimensional properties for empirical priors in linear regression with unknown error variance
我们研究了高维线性回归的全贝叶斯过程。我们采用[1]中介绍的数据依赖的经验先验。在他们的论文中，这些先验具有很好的后验收缩特性，并且易于计算。本文将他们的理论结果推广到误差方差未知的情况。在适当的稀疏性假设下，通过分析多元t分布，我们得到了模型选择的一致性、后验收缩率以及Bernstein von-Mises定理。
2022-02-11 math.ST stat.TH
High-dimensional regression with unknown variance
我们回顾了最近的结果，高维稀疏线性回归在实际情况下的未知方差。涵盖了不同的稀疏设置，包括坐标稀疏，组稀疏和变化稀疏。重点放在非渐近分析和可行的程序。此外，一个小的数值研究比较了三个计划调整的Lasso估计的实际性能和一些参考收集一些更一般的模型，包括多元回归和非参数回归。
2012-02-20 math.ST stat.TH
Adaptive posterior concentration rates for sparse high-dimensional linear regression with random design and unknown error variance
本文研究了随机设计与未知误差方差下的稀疏高维线性回归，证明了后验集中速率对未知稀疏度的自适应能力，并利用 fractional posterior 和 oracle inequalities 将分析扩展至模型误设情况。
2024-05-29 math.ST stat.ML stat.TH
Mixing Least-Squares Estimators when the Variance is Unknown
我们提出了一个过程来处理高斯回归问题时，方差是未知的。我们根据Leung和Barron（2007）启发的程序混合来自各种模型的最小二乘估计。我们表明，在某些情况下，由此产生的估计是一个简单的收缩估计。然后，我们将此程序应用于各种统计设置，如线性回归或自适应估计Besov空间。我们的结果提供了非渐近风险界的估计的欧氏风险。
2007-11-02 math.ST stat.TH
Variance reduction for estimation of Shapley effects and adaptation to unknown input distribution
Shapley效应是全局敏感性指数：它们量化模型中每个输入变量对输出变量的影响。在这项工作中，我们提出了新的估计这些敏感性指数。当输入分布是已知的，我们调查已经存在的估计，并建议一个新的具有较低的方差。然后，当输入的分布是未知的，我们扩展这些估计。最后，我们给出了本文所研究的估计量的渐近性质。
2020-02-13 math.ST stat.TH
Asymptotic approximation of nonparametric regression experiments with unknown variances
非参数回归实验的渐近等价性结果总是假设观测值的方差是已知的。然而，在实践中，每个观测的方差通常被认为是未知的冗余参数。我们建立了一个渐近逼近的非参数回归实验时的方差值是一个额外的参数估计或测试。这个渐近等价的实验有两个组成部分：第一个包含关于方差的所有信息，第二个包含关于均值的所有信息。结果可以扩展到方差从观察到观察缓慢变化的回归问题。
2007-10-19 math.ST stat.TH
Simultaneous Bandwidths Determination for DK-HAC Estimators and Long-Run Variance Estimation in Nonparametric Settings
我们考虑双核异方差和自相关一致（DK-HAC）估计的数据相关的同时带宽的推导。除了对经典HAC估计的滞后自协方差进行通常的平滑外，DK-HAC估计还对时间方向进行平滑。我们得到的最佳带宽，共同最小化的全球渐近MSE标准和讨论之间的权衡偏差和方差平滑滞后自协方差和随着时间的推移。与Andrews（1991）的MSE结果不同，我们建立了非平稳性如何影响偏差-方差权衡。我们使用插件方法为DK-HAC估计器构建数据相关带宽，并将其与Casini（2021）的DK-HAC估计器进行比较，Casini（2021）使用从顺序MSE标准获得的数据相关带宽。前者在大小控制方面表现更好，特别是对于平稳和接近平稳的数据。最后，我们考虑长期方差估计，假设该序列是一个非参数估计的函数，而不是一个半参数估计，享有通常的T^（1/2）收敛速度。因此，我们也建立了一致的长期方差估计在非参数参数估计设置的有效性。
2021-02-26 econ.EM math.ST stat.TH
Inadmissibility of the best equivariant predictive density in the unknown variance case
在这项工作中，我们关注的是估计的预测密度的高斯随机向量的均值和方差都是未知的。在这样的背景下，我们证明了最好的同变预测密度下的Kullback-Leibler风险的非渐近框架中的不容许性。无论向量的维数d是多少，我们的结果都成立，即使d<=2，与已知的方差设置相比，这可能有点令人惊讶。我们还提出了一类先验导致贝叶斯预测密度占主导地位的最佳同变的。在整篇文章中，我们给出了几个我们认为有助于建立预测和估计问题之间的平行关系的元素，因为它是在已知方差框架中完成的。
2014-05-24 math.ST stat.TH
Sparse recovery with unknown variance: a LASSO-type approach
当方差$\sg^{2}$未知时，我们解决了在通用$s$ -稀疏线性模型$y = Xβ+z$中估计回归向量$β$的问题，其中$β\in\R^{p}$，$y\in\R^{n}$，$z\sim\mathcal N(0,\sg^2 I)$和$p> n$。我们研究两个LASSO型的方法，共同估计$β$和方差。这些估计量是$\ell_1$惩罚最小二乘泛函的最小值，其中松弛参数根据两种不同的策略进行调整。在第一种策略中，松弛参数为$\chσ \sqrt{\log p}$阶，其中$\chσ^2$是经验方差。%由此产生的优化问题可以通过仅运行几个连续的LASSO实例来解决，并递归更新松弛参数。在第二种策略中，松弛参数的选择，以便执行之间的权衡的保真度和惩罚条款的最优性。对于这两个估计量，我们的假设类似于Candès和Plan在{ \it Ann. Stat.（2009）}，对于$\sg^{2}$已知的情况。我们证明，我们的估计确保准确恢复的支持和符号模式的$β$以高概率。我们目前的模拟结果表明，第一估计享有几乎相同的性能在实践中的标准LASSO（已知方差的情况下）的信号噪声比的范围很广。我们的第二个估计优于这两个方面的错误检测，当信号噪声比低。
2012-11-05 math.ST stat.ML stat.TH
$L_2$-norm posterior contraction in Gaussian models with unknown variance
针对方差未知的高斯模型中 Hellinger 度量无法直接应用的问题，本文基于 $L_2$ 度量推导了适用于方差未知设置的测试函数，提供了后验收缩的充分条件，并应用于分析高维回归和非参数回归。
2025-06-25 math.ST stat.TH
Admissibility of the usual confidence set for the mean of a univariate or bivariate normal population: The unknown-variance case
在高斯线性回归模型（均值和方差未知）中，我们证明了一个或两个回归系数的标准置信集在Joshi（1969）意义下是可容许的。这解决了数理统计中一个长期存在的开放问题，这对现代推理程序后模型选择或后收缩的性能具有重要影响，特别是在参数数量大于样本量的情况下。作为独立兴趣的技术贡献，我们引入了一类新的共轭先验的高斯位置尺度模型。
2018-09-21 math.ST stat.TH
Sensor fusion for bimodal generalized likelihood ratio test with unknown noise variances
在本文中，我们解决传感器融合的问题。我们制定了联合检测问题，使用一般的线性观测模型和模态间的独立性假设的噪声。推导了基于广义似然比原理的融合结构，并计算了信号存在和零假设下的检验统计量分布表达式。为了获得这些结果，我们开发了一种基于Meijer G函数理论的联合检测算法分析方法。
2013-09-04 math.ST stat.TH
High dimensional matrix estimation with unknown variance of the noise
提出了一种新的估计高维矩阵的关键方法。假设我们观察到被噪声破坏的未知矩阵$A\_0$的一小组项或项的线性组合。我们提出了一种新的方法来估计$A\_0$，它不依赖于知识或噪声$σ$的标准差的估计。我们的估计达到，对数因子，最佳的收敛速度下的Frobenius风险，因此，具有相同的预测性能，如以前提出的估计依赖于知识的$σ$。我们的方法是基于一个凸优化问题的解决方案，这使得它的计算吸引力。
2015-01-31 math.ST stat.TH
Locally Optimal Fixed-Budget Best Arm Identification in Two-Armed Gaussian Bandits with Unknown Variances
University of Tokyo（东京大学）
针对方差未知的两臂高斯老虎机固定预算最佳臂识别问题，提出基于估计方差的NA-AIPW策略，证明在小差距机制下其错误识别概率匹配下界，实现渐近最优。
2024-03-17 cs.LG econ.EM math.ST
Selective inference with unknown variance via the square-root LASSO
当噪声水平已知时，模型选择后的推理最近已经有了很多工作，然而，$σ$在实践中很少知道，并且在高维设置中其估计是困难的。在这项工作中，我们建议使用的平方根LASSO（也称为缩放LASSO）进行选择性的推断系数和噪声水平的同时。平方根LASSO具有选择合理的调谐参数是无标度的性质，即它不依赖于数据中的噪声水平。我们为选择后的系数提供有效的p值和置信区间，并估计模型特定方差。我们的估计比其他估计的$σ^2$在模拟中表现得更好。
2017-02-09 math.ST stat.ME stat.TH
Bayesian Predictive Density Estimation for a Chi-squared Model Using Information from a Normal Observation with Unknown Mean and Variance
本文考虑了在Kullback-Leibler散度下，基于另一个卡方变量和一个正态变量的观测值估计另一个卡方变量的密度函数的问题.我们假设这些变量有一个共同的未知尺度参数，并且正态变量的均值也是未知的。我们比较了两个贝叶斯预测密度的风险函数：一个相对于一个分层收缩先验，另一个基于无信息先验。分层贝叶斯预测密度依赖于正态变量，而基于无信息先验的贝叶斯预测密度不依赖于正态变量。得到了前者优于后者的充分条件。这些预测密度进行了比较模拟。
2020-07-19 math.ST stat.ME stat.TH
Semiparametric mean and variance joint models with Laplace link functions for count time series
针对计数时间序列条件方差难以独立建模的局限，提出 RRC-GARCH 半参数均值与方差联合模型，利用 Laplace 链接函数灵活捕捉均值-方差结构，证明了其理论性质，并通过模拟与真实数据验证了其预测准确性。
2024-04-29 math.ST stat.ME stat.TH
Nonparametric Estimation of Variance Function for Functional Data
本文研究均值函数未知时函数型数据方差函数的非参数估计。我们得到的核估计的平方残差的基础上的渐近结果。与有限维情形类似，我们的渐近结果表明未知均值函数的光滑性对收敛速度有影响。仿真结果表明，基于残差的估计量比基于响应的条件二阶矩的估计量有更好的性能。
2008-12-14 math.ST stat.ME stat.TH
Variance estimation in nonparametric regression via the difference sequence method
考虑一个均值函数和方差函数均未知的高斯非参数回归问题。本文给出了方差函数的一类基于差分的核估计。最佳的收敛速度是均匀的广泛的功能类和带宽的充分特点，渐近正态性也成立。我们还表明，适当的渐近公式，我们的估计达到极大极小率。
2007-12-06 math.ST stat.TH
Gaussian model selection with an unknown variance
设$Y$是高斯向量，其分量与公共未知方差无关。我们考虑通过模型选择估计$Y$的平均$μ$的问题。更确切地说，我们从$\mathbb{R}^n$的线性子空间的集合$\mathcal{S}=\{S_m,m\in\mathcal{M}\}$开始，并将$S_m$上的$μ$的最小二乘估计与每个线性子空间相关联。然后，我们使用一个数据驱动的惩罚标准，以选择其中一个估计。我们的第一个目标是分析与经典标准，如FPE，AIC，BIC和AMDL估计的性能。我们的第二个目标是提出更好的惩罚，是通用的，足以考虑到收集的复杂性$\mathcal{S}$和样本量。然后，我们应用这些来解决各种统计问题，如变量选择，变点检测和信号估值等。我们的研究结果是基于非渐近风险界相对于欧几里德损失的选定估计。对于Kullback损失也建立了一些类似的结果。
2009-04-01 math.ST stat.TH
Admissible estimators of a multivariate normal mean vector when the scale is unknown
在尺度二次损失下，研究了方差未知时多元法向量的广义Bayes估计的一个子类的容许性。Minimaxity也建立了某些这些估计。
2020-03-19 math.ST stat.TH
Anytime-valid t-tests and confidence sequences for Gaussian means with unknown variance
Carnegie Mellon University（卡内基梅隆大学）
本文针对未知方差高斯均值，基于Lai的构造，提出两个新的e过程与置信序列，并证明其宽度对误差概率的多项式依赖不可避免且优于固定样本t检验。
2024-11-06 cs.LG math.ST stat.ME
A sharp boundary for SURE-based admissibility for the Normal means problem under unknown scale
考虑了多元正态分布均值的Stein型收缩估计的拟容许/不容许性，其中协方差阵是单位元的未知倍数.拟容许/不容许定义在不存在/存在的微分不等式的解决方案的基础上斯坦的无偏风险估计（SURE）。我们发现一个尖锐的边界之间的准容许和准不可接受的估计有关的最佳James-Stein估计。我们还发现了一类先验相关的Strawderman类在已知方差的情况下，准容许性和准不可容许性之间的边界对应于在已知方差的情况下，容许性和不可容许性之间的边界。此外，我们还简要地考虑了一般球对称分布的情况下，残留向量的推广。
2016-09-12 math.ST stat.TH
On estimation of the noise variance in high-dimensional linear models
考虑了线性回归模型中未知噪声方差的恢复问题。为了估计滋扰（一个向量的回归系数），我们使用一个家庭的谱正则的最大似然估计。噪声估计基于平方误差的自适应归一化。我们推导出所提出的方法的浓度的上界周围的理想估计（零滋扰的情况下）。
2017-11-25 math.ST stat.TH
Sharp Empirical Bernstein Bounds for the Variance of Bounded Random Variables
Carnegie Mellon University（卡内基梅隆大学）
针对有界随机变量方差，提出在常数条件方差和均值下无需独立同分布假设的尖锐经验伯恩斯坦不等式，适用于批量与序贯设定，渐近最优且可推广至希尔伯特空间。
2026-09-28 math.ST stat.TH
One-Bit Distributed Mean Estimation with Unknown Variance
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
针对方差未知的分布式均值估计问题，提出简单非自适应和自适应协议，证明渐近正态性并推导均方误差界，通过下界证明自适应协议的最优性。
2026-06-24 cs.IT math.IT math.ST
Instance-Optimal Estimation with Multiple LLM Judges on a Budget
KAIST AI（韩国科学技术院人工智能研究所）；ICL EEE（国际计算机语言研究所电子工程系）；KTH EECS（皇家理工学院电子工程系）
针对预算限制下异构裁判的评估分配问题，提出基于乐观偏差方差估计的自适应算法EST-IVWE，并证明其达到实例最优的局部极小极大下界。
2026-11-09 cs.IT cs.LG math.IT
Optimal Robust Mean-Variance Hedging in Incomplete Financial Markets
对小噪声扩散型过程漂移系数中的多维参数，构造了最优B-稳健估计。最优均值-方差稳健（最优V -稳健）交易策略是在不完全金融市场中，在任意信息结构和错误指定资产价格波动率的条件下，利用多维连续半鞅模型，在均值-方差意义下对未定权益进行套期保值.将所得结果应用于随机波动率模型，其中潜波动过程模型的漂移系数中含有未知的多维参数，扩散项中含有小参数。
2008-05-01 math.PR math.ST q-fin.PM
