On F-Modelling based Empirical Bayes Estimation of Variances
本文考虑了在有样本方差的情况下，多元方差的经验Bayes估计问题.假设一个任意的方差先验，我们得到不同版本的贝叶斯估计使用不同的损失函数。对于一个特定的损失函数，得到的贝叶斯估计只依赖于样本方差的边际累积分布函数。当用经验分布函数代替它时，我们得到了一个经验贝叶斯版本，称为基于F-建模的经验贝叶斯方差估计。我们提供了这个估计的理论性质，并通过大量的模拟和实际数据分析进一步证明了它的优点。
2022-02-26 math.ST stat.TH
Improving Tree Probability Estimation with Stochastic Optimization and Variance Reduction
针对子分裂贝叶斯网络参数学习中EM难以扩展的问题，提出高效随机训练方法并引入方差缩减，同时改进VBPI中的参数优化，实验显示在树拓扑概率估计和贝叶斯系统发育推断上均优于基线。
2024-09-09 q-bio.PE stat.CO stat.ML
Generic Variance Bounds on Estimation and Prediction Errors in Time Series Analysis: An Entropy Perspective
KTH Royal Institute of Technology（瑞典皇家理工学院）；Tokyo Institute of Technology（东京工业大学）；New York University（纽约大学）
在本文中，我们通过信息论的方法，得到了时间序列分析中的估计和预测误差的方差的一般界。通常可以看出，误差界限由给定边信息或过去观测的待估计或预测的数据点的条件熵确定。此外，我们发现，为了达到渐近的预测误差界，必要和充分条件是“新息”是渐近白高斯。当仅限于高斯过程和一步预测时，我们的界被证明可以简化为线性预测理论中的Kolmogorov-Szegö公式和Wiener-Masani公式。
2021-05-11 cs.IT cs.LG eess.SP
Variance Estimation Under Local Pivotal Methods
Rutgers University（罗格斯大学）
针对空间平衡抽样中方差估计的难题，提出基于蒙特卡洛修正和模型辅助自助法的两种方法，后者性能更稳定，二者具有互补优势。
2026-10-06 stat.ME
Correcting spatial Gaussian process parameter and prediction variance estimation under informative sampling
信息性抽样设计可以通过两种重要方式影响空间预测或克里金法。首先，抽样设计可能会使空间协方差参数估计产生偏差，而空间协方差参数估计反过来又会使空间克里金估计产生偏差。其次，即使使用空间协方差参数的无偏估计，由于克里金方差是观测位置的函数，因此这些估计值将根据样本而变化，并高估了基于总体的估计值。在这项工作中，我们开发了一个加权的复合似然方法，以提高空间协方差参数估计下的信息抽样设计。然后，给出这些参数估计，我们提出了三种方法来量化空间预测中的方差估计的抽样设计的影响。这些结果可用于为基于群体的推理做出明智的决策。我们用一个全面的模拟研究来说明我们的方法。然后，我们应用我们的方法进行空间预测位于整个加州中部的井中的硝酸盐浓度。
2021-08-27 stat.ME
A spatial variance-smoothing area level model for small area estimation of demographic rates
准确估计国家以下各级的卫生和人口指标对于为卫生政策决定提供信息至关重要。许多国家利用复杂的住户调查收集相关数据，但在数据有限的情况下，小地区比例的直接调查加权估计数可能不可靠。将这些直接估计值作为响应数据处理的区域水平模型可以提高精度，但通常需要所有区域的直接估计值的已知抽样方差。在实践中，抽样方差通常是估计的，因此标准方法不考虑不确定性的关键来源。为了解释估计的抽样方差的变异性，我们提出了一个分层贝叶斯空间区域水平模型，平滑估计的均值和抽样方差，以产生小面积比例的点和区间估计。我们的模型明确的目标是估计小面积的比例，而不是连续变量的平均值，我们考虑了中度和低度流行事件的例子。我们证明了我们的方法的性能，通过模拟和应用到疫苗接种覆盖率和艾滋病毒流行率数据的人口与健康调查。
2022-09-06 stat.ME
On improving the estimates of the sampling variances via Global-Local priors in Small Area Estimation
Department of Statistics, University of California, Davis（加州大学戴维斯分校统计系）
研究小区域估计中抽样方差估计问题，提出纳入全局-局部先验的新贝叶斯模型改进后验估计，研究其理论性质并开发算法，通过模拟和实际应用验证该模型性能。
2026-07-10 stat.ME
Bayesian Estimation of Variance under Fine Stratification via Mean-Variance Smoothing
Florida International University（佛罗里达国际大学）；Keio University（庆应义塾大学）
本文提出了一种基于惩罚样条的非参数方法，用于细分层调查中无偏估计方差，通过均值-方差平滑提升估计精度。
2026-03-03 stat.AP stat.CO stat.ME
Variance estimation and asymptotic confidence bands for the mean estimator of sampled functional data with high entropy unequal probability sampling designs
对于具有高熵的固定大小抽样设计，众所周知，Horvitz-Thompson估计量的方差可以通过Hájek公式近似。这种渐近方差近似的有趣之处在于它只涉及统计单元的一阶包含概率。当研究的变量是函数时，我们推广了这个方差公式，并证明了在一般的个体轨迹和抽样设计的规律性条件下，我们可以得到均值函数的Horvitz-Thompson估计的方差函数的一致收敛估计。给出了拒绝抽样法收敛到真方差函数的速度。我们推导出，在抽样设计的熵的条件下，它是可能的，通过模拟高斯过程的方差函数由哈耶克公式，建立的置信带的覆盖范围是渐近的期望的。最后，建议的方差估计的准确性进行评估，在一个星期内每半小时测量的电力消耗数据的样本。
2013-06-28 math.ST stat.TH
Confidence Interval Construction and Conditional Variance Estimation with Dense ReLU Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）；Hong Kong University of Science and Technology（香港科技大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
本文提出基于残差的框架，利用密集ReLU网络在非参数回归中实现条件方差估计，放宽噪声假设并推导非渐近界，同时开发了具有覆盖率理论保证的稳健自助法置信区间构造方法。
2025-01-01 cs.LG stat.ML
Reward-estimation variance elimination in sequential decision processes
Harik Shazeer Labs（哈里克·沙齐尔实验室）
策略梯度方法在强化学习中非常有吸引力，因为它们的无模型性质和收敛保证。然而，这些方法在梯度估计中具有高方差，导致差的样本效率。为了缓解这个问题，已经提出了一些减少方差的方法。不幸的是，在具有延迟奖励的挑战性问题中，这些方法要么带来相对适度的改进，要么以引入偏差和破坏收敛为代价来减少方差。一般来说，梯度估计的无偏方法仅部分地减少方差，即使在价值函数和问题动态的精确知识的限制下，也没有完全消除方差，正如人们可能希望的那样。在这项工作中，我们提出了一个无偏的方法，完全消除方差在一些常见的条件下。具有实际意义的是确定性动态的极限和小的政策随机性。在二次价值函数的情况下，如在线性二次高斯模型中，策略随机性不需要很小。我们使用这样的模型来分析所提出的方差消除方法的性能，并将其与标准方差缩减方法进行比较。该方法背后的核心思想是在轨迹的所有未来时间使用控制变量。我们提出了基于模型和无模型的配方。
2018-11-15 cs.LG stat.ML
Stochastic Variance Reduction for Policy Gradient Estimation
Baidu Research（百度研究院）；Dartmouth College（达特茅斯学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
策略梯度方法和深度学习的最新进展已经证明了它们对复杂强化学习问题的适用性。然而，从仿真获得的性能梯度估计的方差通常过大，导致差的样本效率。在本文中，我们应用随机方差降低梯度下降（SVRG）的无模型策略梯度，显着提高采样效率。SVRG估计被纳入到一个信赖域牛顿共轭梯度框架的政策优化。在几个Mujoco任务上，我们的方法与机器人连续控制中最先进的无模型策略梯度方法（如信赖域策略优化（TRPO））相比，实现了更好的性能。
2018-03-29 cs.LG stat.ML
Analysis of Noise Contrastive Estimation from the Perspective of Asymptotic Variance
Harvard University（哈佛大学）；The University of Tokyo（东京大学）
有许多模型，通常被称为非归一化模型，其归一化常数不是以封闭形式计算的。极大似然估计不直接适用于非归一化模型。分数匹配法、对比发散法、伪似然法、蒙特卡罗极大似然法和噪声对比估计法是估计这类模型参数的常用方法。在本文中，我们专注于NCE。从NCE导出的估计量是一致的和渐近正态的，因为它是一个M-估计量。NCE的特点是使用辅助分布来计算归一化常数，其精神与重要性抽样相同。此外，有几个候选人作为NCE的目标函数。我们专注于如何减少渐近方差。首先，我们提出了一种方法，通过估计辅助分布的参数来减少渐近方差。然后，我们确定目标函数的形式，其中渐近方差在原始估计类和建议的估计类中取最小值。我们进一步分析了估计的鲁棒性。
2018-08-24 cs.LG stat.ML
Variance reduced Shapley value estimation for trustworthy data valuation
Virginia Tech（弗吉尼亚理工大学）；China Aerospace Academy of Systems Science and Engineering（中国航天系统科学与工程研究院）；Southern University of Science and Technology（南方科技大学）
针对数据估值中排列采样算法方差过大的问题，提出基于分层采样的方差缩减数据 Shapley（VRDS）方法，并从理论上分析了其分层策略与样本复杂度，实验证明其在多类数据集和数据移除应用中有效。
2023-05-22 cs.LG stat.ML
Instance-optimality in optimal value estimation: Adaptivity via variance-reduced Q-learning
UC Berkeley（加州大学伯克利分校）
强化学习中的各种算法在其收敛速度和最终精度方面表现出显着的变化，作为问题结构的函数。这种特定于实例的行为不会被现有的全局极大极小边界捕获，这些边界本质上是最坏情况。我们分析的问题，估计最佳的$Q$ -值函数的折扣马尔可夫决策过程的离散状态和行动，并确定一个依赖于实例的功能，控制估计的难度在$\ell_\infty$ -范数。使用一个局部极小极大框架，我们表明，这一功能出现在任何估计过程的准确性的下界。在另一个方向，我们建立我们的下界的锐度，在状态和动作空间的对数因子，通过分析方差减少版本的$Q$学习。我们的理论提供了一个精确的方式区分“容易”的问题，从“硬”的背景下，$Q$ -学习，如所示的合奏与连续的难度。
2021-06-28 cs.LG stat.ML
Accuracy-Reliability Cost Function for Empirical Variance Estimation
Centrum Wiskunde & Informatica（数学与信息中心）；Multiscale Dynamics（多尺度动力学）
在本文中，我们专注于分配单点预测的不确定性的问题。我们引入了一个成本函数，编码概率预测的准确性和可靠性之间的权衡。我们推导出解析公式的情况下，预测的连续标量变量表示的高斯分布。精度-可靠性成本函数可用于通过求解双目标优化问题来经验地估计异方差回归问题（输入相关噪声）中的方差。这一策略背后的简单理念是，基于估计方差的预测应该准确可靠（即与观测值在统计学上一致）。我们展示了几个合成数据的例子，其中潜在的隐藏噪声函数可以准确地恢复，无论是在一维还是多维问题。该方法的实际实施已经完成，使用神经网络，在一维的情况下，与一个简单的多项式拟合。
2018-03-12 cs.LG stat.ML
Variance function estimation in regression model via aggregation procedures
Université Gustave Eiffel（古斯塔夫·埃菲尔大学）；LAMA, UMR-CNRS 8050（LAMA（法国国家科学研究中心联合研究单位））
在回归问题中，我们考虑用聚集方法估计方差函数的问题。我们专注于两个特定的聚合设置：模型选择聚合（MS）和凸聚合（C）的目标是选择最好的候选人，并建立最好的凸组合的候选人分别在一组候选人。在这两种情况下，估计量的构建依赖于两步程序，需要两个独立的样本。第一步利用第一个样本通过基于残差的方法构建方差函数的候选估计量，然后使用第二个数据集执行聚集步骤。我们显示的一致性，所提出的方法相对于MS和C聚合的L2错误。我们评估了这两种方法在异方差模型中的性能，并说明了它们在带拒绝选项的回归问题中的作用。
2021-10-06 cs.LG stat.ML
Optimal Variance and Covariance Estimation under Differential Privacy in the Add-Remove Model and Beyond
LY Corporation（LY 公司）
本文针对增删模型下的差分隐私方差与协方差估计，提出基于贝塞尔机制的高效方法，证明其在高隐私区间极小极大最优，并展示其在其他统计任务中的适用性。
2025-09-05 cs.DS cs.LG stat.ML
Riemannian Optimization for Variance Estimation in Linear Mixed Models
University of Trier（特里尔大学）
线性混合模型中随机效应协方差阵的正定性约束使得许多经典的非线性优化算法难以参数估计。我们采取了一个全新的观点，在线性混合模型的参数估计，利用内在的几何参数空间。我们将残差极大似然估计问题表示为黎曼流形上的优化问题。在此基础上，通过黎曼梯度和黎曼海森矩阵给出了问题的几何高阶信息。在此基础上，我们测试我们的方法与黎曼优化算法数值。与现有方法相比，我们的方法产生了更高质量的方差参数估计。
2022-12-18 cs.LG stat.CO stat.ME
Variance-Based Risk Estimations in Markov Processes via Transformation with State Lumping
Concordia Institute of Information System Engineering（康考迪亚信息系统工程研究院）；Concordia University（康考迪亚大学）
方差在风险敏感强化学习中起着至关重要的作用，大多数风险度量都可以通过方差进行分析。在本文中，我们考虑两个法律不变的风险作为例子：均值方差风险和指数效用风险。借助于状态增强变换（SAT），我们证明了这两种风险可以在具有随机转移报酬和随机策略的马尔可夫决策过程（MDP）中得到估计.为了缓解状态空间的扩大，提出了一种新的同位素态的定义状态集总，考虑到特殊的结构转换的转移概率。在数值实验中，我们说明了状态集总在SAT，错误从一个天真的奖励简化，和SAT的有效性的两个风险估计。
2019-07-09 cs.AI cs.LG stat.ML
A generalization gap estimation for overparameterized models via the Langevin functional variance
The Institute of Statistical Mathematics（统计数学研究所）；RIKEN AIP（理化学研究所人工智能研究中心）
本文讨论了包括神经网络在内的过参数化模型的泛化性能和训练性能之间的差异--泛化间隙的估计。我们首先表明，一个功能的方差，一个关键的概念，在定义一个广泛适用的信息标准，即使在overparameterized设置，传统的理论不能应用的泛化差距的特点。由于函数方差的计算成本是昂贵的过参数化模型，我们提出了一个有效的近似的函数方差，Langevin近似的函数方差（Langevin FV）。该方法仅利用平方损失函数的$1$第一阶梯度，而不参考$2$第二阶梯度;这确保了计算是高效的，并且实现与基于梯度的优化算法一致。我们证明了Langevin FV数值估计的泛化间隙过参数化的线性回归和非线性神经网络模型，其中包含超过一千个参数。
2023-03-20 cs.LG stat.ME stat.ML
Low-Variance Policy Gradient Estimation with World Models
Universiteit van Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
在本文中，我们提出了世界模型政策梯度（WMPG），一种使用学习世界模型（WM）来减少政策梯度估计方差的方法。在WMPG中，WM在线训练并用于想象轨迹。想象的轨迹有两种用途。首先，计算策略梯度的无替换估计。其次，想象轨迹的返回被用作知情基线。我们比较了所提出的方法与AC和MAC上的一组环境的复杂性增加（CartPole，LunarLander和Pong），并发现WMPG具有更好的采样效率。基于这些结果，我们得出结论，WMPG可以产生增加的样本效率的情况下，一个强大的潜在的环境表示可以学习。
2020-10-29 cs.AI cs.LG stat.ML
On Variance Estimation of Random Forests with Infinite-Order U-statistics
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
无限阶U-统计量（IOUS）已被广泛用于子打包集成学习算法，如随机森林，以量化其不确定性。虽然IOUS的正态性结果已被广泛研究，但其方差估计方法和理论性质仍大多未被探索。现有的方法主要利用Hoeffding分解中的主导项优势属性。然而，当核大小较大或样本量较小时，这种观点通常会导致有偏估计。另一方面，虽然文献中存在一些无偏估计量，但它们之间的关系和理论性质，特别是比率相合性，从未被研究过。这些限制导致构造的置信区间的性能无法保证。为了弥合这些差距，在文献中，我们提出了一个新的观点Hoeffding分解方差估计，导致一个无偏估计量。我们的观点利用了峰值区域的优势，而不是主导项的优势。此外，我们建立了我们的估计与现有的几个无偏方差估计的联系和等价性。从理论上讲，我们是第一个建立这样的方差估计的比率一致性，这证明了覆盖率的置信区间从随机森林构造。数值上，我们进一步提出了一个局部平滑过程，以提高估计的有限样本性能。广泛的模拟研究表明，我们的估计享有较低的偏见和存档目标覆盖率。
2023-02-14 cs.LG stat.CO stat.ME
Stochastic Gradient Variance Reduction by Solving a Filtering Problem
School of Electrical and Computer Engineering University of California, San Diego（加州大学圣地亚哥分校电气与计算机工程学院）
深度神经网络（DNN）通常使用随机梯度下降（SGD）进行优化。然而，使用随机样本的梯度估计往往是噪声和不可靠的，导致梯度方差大，收敛性差。本文提出了\textbf{Filter Gradient Decent} ~（FGD）算法，它通过求解不同滤波器设计的自适应滤波问题，实现了局部梯度的一致估计。我们的方法减少了方差随机梯度下降，结合历史状态，以提高当前的估计。该算法不仅能校正带噪的梯度方向，而且能加快学习的收敛速度。我们证明了所提出的滤波器梯度下降的数值优化和训练神经网络的有效性，它实现了优越的和强大的性能相比，传统的基于动量的方法。据我们所知，我们是第一个提供一个实用的解决方案，集成到梯度估计的梯度估计和信号处理中的滤波问题之间的类比过滤。(The代码见https：//github.com/Adamdad/Filter-Decent-Decent）
2021-05-15 cs.CV cs.LG stat.ML
Conditional Mean and Variance Estimation via \textit{k}-NN Algorithm with Automated Variance Selection
Harvard T.H. Chan School of Public Health（哈佛大学T.H. Chan公共卫生学院）；University of Santiago de Compostela（圣西蒙大学）；University of California, Los Angeles（加州大学洛杉矶分校）
提出一种结合数据驱动变量选择的k-NN回归方法，联合估计条件均值与方差，实现快速收敛并在模拟和生物医学应用中优于传统k-NN。
2025-10-27 cs.LG stat.CO stat.ME
Variance-Aware Estimation of Kernel Mean Embedding
Waseda University（早稻田大学）；ESSEC Business School（埃塞克商学院）
针对核均值嵌入（KME）的收敛速率问题，提出利用再生核希尔伯特空间方差信息加速收敛的方法，即使方差信息未知也可从数据中高效估计，还将结果扩展至平稳混合序列，在假设检验等场景验证效果。
2025-04-16 cs.LG math.ST stat.ML
Jackknife Variance Estimation for Hájek-Dominated Generalized U-Statistics
University of Wisconsin -- Madison（威斯康星大学麦迪逊分校）
针对一类广义U统计量，证明Jackknife方差估计量的比率相合性，并应用于两尺度分布最近邻回归估计器，在更弱条件下得到一致方差估计。
2026-06-15 math.ST stat.ML stat.TH
Variance function estimation in high-dimensions
我们考虑高维异方差回归模型，其中均值和对数方差被建模为输入变量的线性组合。关于高维线性回归模型的现有文献在很大程度上忽略了非常数误差方差，尽管它们通常出现在从生物统计学到金融的各种应用中。本文研究了一类均值和方差参数的非凸惩罚伪随机估计。我们证明了异方差迭代惩罚伪随机优化器（HIPPO）实现了预言属性，也就是说，我们证明了收敛速度是相同的，如果真正的模型是已知的。我们证明了数值特性的模拟研究和现实世界的数据的程序。
2012-05-21 stat.ME stat.ML
Multivariate Density Estimation via Variance-Reduced Sketching
Committee on Computational and Applied Mathematics, University of Chicago（芝加哥大学计算与应用数学委员会）；Department of Statistics, University of Chicago（芝加哥大学统计学系）；Department of Applied and Computational Mathematics and Statistics, University of Notre Dame（南达科他大学应用与计算数学与统计学系）
本文提出名为 VRS 的新框架，将多元函数视为无限尺寸矩阵/张量并引入受数值线性代数启发的草图技术以降低方差，有效缓解了多元密度估计中的维度灾难，其性能显著优于现有神经网络与核方法。
2025-05-02 cs.LG cs.NA math.NA
Variance estimation in graphs with the fused lasso
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究一般图结构中的方差估计问题，提出线性时间估计量并证明其在特定条件下达到 minimax 速率，同时推广了 fused lasso 的均方误差上界并扩展至更广分布，最后提出异方差方差估计量并证明其一致性与最优性。
2024-02-18 cs.LG math.ST stat.ML
Spectral Clustering with Variance Information for Group Structure Estimation in Panel Data
针对面板数据中未知分组估计问题，提出利用个体系数估计方差信息的谱聚类方法，计算高效且适用于个体数据缺失场景，模拟和实证均优于现有方法。
2024-02-08 stat.ME stat.ML
Near-Optimal Mean Estimation with Unknown, Heteroskedastic Variances
本文针对未知异方差高斯数据的共同均值估计问题，提出一种直观高效且在信号子集模型下达到近最优误差的算法，将所需方差有界样本数从 Ω̃(n^{1/2}) 降至 Õ(n^{1/4})，并推广到多维情形。
2023-12-05 cs.DS math.ST stat.ML
