The $m$th Gini index estimator: Unbiasedness for gamma populations
本文证明了样本第 $m$ 个基尼指数是伽马分布总体第 $m$ 个基尼指数的无偏估计量，并通过蒙特卡洛模拟在有限样本下验证了其无偏性。
2025-04-27 stat.ME
Unbiased estimators and multilevel Monte Carlo
McLeish最近提出的多级蒙特卡罗（MLMC）和无偏估计量（蒙特卡罗方法应用，2011）和Rhee和Glynn（Oper.结果：2015年，密切相关。这种连接阐述了提出一个新的一般类的无偏估计量，承认以前的去偏方案作为特殊情况。提出了新的低方差估计，这是早期的无偏方案的分层版本。在一般条件下，基本上当MLMC承认典型的平方根蒙特卡罗错误率，所提出的新计划被证明是渐近有效的MLMC，无论是在方差和成本。实验表明，新方案提供的方差减少可以是实质性的。
2017-05-11 math.PR stat.CO
Particle filter with rejection control and unbiased estimator of the marginal likelihood
我们考虑在序贯蒙特卡罗方法中结合使用剩余和部分拒绝控制，也称为粒子滤波器。虽然方差减少性能的拒绝控制是已知的，有没有（据我们所知）在这种类型的粒子滤波器的边际似然（也称为模型证据或归一化常数）的无偏估计的任何工作。能够无偏差地估计边际似然对于模型比较、可解释和可靠置信区间的计算以及精确近似方法（例如粒子马尔可夫链蒙特卡罗）是高度相关的。在本文中，我们提出了一个粒子滤波器与拒绝控制，使无偏估计的边际似然。
2020-03-04 stat.CO stat.ML
Unbiased Multilevel Monte Carlo methods for intractable distributions: MLMC meets MCMC
从马尔可夫链蒙特卡罗（MCMC）输出构造无偏估计量是一个困难的问题，最近在统计学和机器学习界受到了很多关注。然而，目前的无偏MCMC框架仅适用于兴趣量是期望的情况，这排除了许多实际应用。本文提出了一种构造期望函数无偏估计量的一般方法，并将其推广到构造套期望的无偏估计量。我们的方法结合和推广了无偏MCMC和多层蒙特卡罗（MLMC）方法。与传统的顺序方法相比，我们的估计器可以在并行处理器上实现。我们表明，我们的估计有一个有限的方差和计算复杂性，并可以实现$\varepsilon$ -在温和的条件下，在最佳的$O(1/\varepsilon^2)$计算成本的准确性。我们的数值实验证实了我们的理论研究结果，并证明了无偏估计量在大规模并行制度的好处。
2022-12-23 cs.NA math.NA stat.CO
When are Unbiased Monte Carlo Estimators More Preferable than Biased Ones?
本文建立数学框架比较无偏与有偏蒙特卡洛估计器在完成时间和总体计算成本上的表现，揭示无偏方法通常完成时间更优但未必显著节省总成本，并应用于MCMC与MLMC方法以指导实践选择。
2024-04-01 cs.NA math.NA stat.CO
Unbiased Smoothing using Particle Independent Metropolis-Hastings
我们考虑的期望值的近似分布的潜在马尔可夫过程噪声测量。这被称为平滑问题，通常使用粒子和马尔可夫链蒙特卡罗（MCMC）方法来处理。这些方法在有限时间内运行时提供一致但有偏的估计。我们提出了一种简单的方法耦合两个MCMC链使用粒子独立的Metropolis-Hastings（PIMH）生成无偏平滑估计。无偏估计量在并行计算的背景下是有吸引力的，并且便于构造置信区间。该方案只需要访问现成的粒子滤波器（PF），因此更容易实现比最近提出的无偏平滑。该方法证明了一个Lévy驱动的随机波动率模型和随机动力学模型。
2019-02-05 stat.CO stat.ME stat.ML
Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains
DeepMind（深度思维）
变分自动编码器（VAE）是一种深度潜变量模型，在类似自动编码器的架构中有两个神经网络;其中一个参数化模型的可能性。通过最大似然（ML）拟合其参数具有挑战性，因为边缘似然的计算涉及潜在空间上的棘手积分;因此VAE通过最大化变分下限来训练。在这里，我们通过引入对数似然梯度的无偏估计来开发VAE的ML训练方案。我们得到的估计通过增加一组重要性样本的潜在空间，类似的重要性加权自动编码器（IWAE），然后构建一个马尔可夫链蒙特卡罗耦合过程在这个增强的空间。我们提供的条件下，估计可以计算在有限的时间和有限的方差。我们的实验表明，采用无偏估计量拟合的VAE具有更好的预测性能。
2021-06-02 cs.LG stat.ML
Efficient implementation of Markov chain Monte Carlo when using an unbiased likelihood estimator
当一个无偏估计量的可能性内使用的大都会-黑斯廷斯链，它是必要的权衡的数量的蒙特卡罗样本用于构建这个估计对渐近方差的平均值计算在这个链。许多蒙特卡罗样本通常会导致Metropolis-Hastings平均值的渐近方差低于使用较少样本的相应Metropolis-Hastings平均值。然而，构造似然估计量所需的计算时间随着蒙特卡罗样本的数量而增加。假设对数似然估计引入的加性噪声的分布是高斯分布，方差与蒙特卡罗样本的数量成反比，并且与评估的参数值无关，我们提供了选择样本数量的指南。我们证明了我们的结果，考虑随机波动模型应用于股票指数收益。
2014-09-13 stat.ME
Unbiased Monte Carlo estimation for the expected value of partial perfect information
部分完全信息期望值（EVPPI）表示决策模型中未知参数子集的不确定性消除值。EVPPI可以看作是决策理论的灵敏度指标，并已被广泛用于识别相对重要的未知参数。然而，从Jensen不等式可以看出，EVPPI的标准嵌套蒙特卡罗计算会导致有偏估计。本文介绍了Heinrich（1998）和Giles（2008）提出的基于多层蒙特卡罗方法的EVPPI的两种无偏蒙特卡罗估计，以及Rhee和Glynn（2012，2015）的扩展。我们的无偏估计量是简单和直接的实现，因此是非常实用的。数值实验表明，我们的无偏估计量的收敛性甚至优于标准的套蒙特卡罗估计。
2016-04-05 stat.CO stat.ME
On the bias of the Gini estimator: Poisson and geometric cases, a characterization of the gamma family, and unbiasedness under gamma distributions
University of Brasília（巴西利亚大学）；Federal University of Pelotas（佩洛塔斯联邦大学）
本文分析了Gini估计量在泊松和几何分布中的偏差问题，特征化了伽马族，并在伽马分布下证明了其无偏性，同时提出了偏差校正估计量并评估了其性能。
2025-12-21 stat.ME
Unbiased Optimal Stopping via the MUSE
我们提出了一个新的无偏估计量估计的效用的最优停止问题。MUSE是Multilevel Unbiased Stopping Estimate的缩写，它以向后递归的方式在最优停止问题的每个阶段构造无偏的多级蒙特卡罗（MLMC）估计。与传统的顺序方法相比，MUSE可以并行实现。我们证明了MUSE具有有限的方差，有限的计算复杂度，并达到$ε$ -精度与$O(1/ε^2)$计算成本在温和的条件下。我们证明MUSE经验的期权定价问题，涉及高维输入和使用许多并行处理器。
2022-12-26 math.PR q-fin.CP stat.CO
Unbiased centroiding of point targets close to the Cramer Rao limit
针对小ROI和PSF下重心测量系统误差主导的问题，提出无偏估计器，在低光子数下精度接近克拉美-罗极限，且计算效率高。
2023-12-20 astro-ph.IM physics.ins-det physics.optics
A New Unbiased and Efficient Class of LSH-Based Samplers and Estimators for Partition Function Computation in Log-Linear Models
Rice University（莱斯大学）
对数线性模型可以说是大规模应用中最成功的一类图形模型，因为它们的简单性和易处理性。使用这些模型进行学习和推理需要计算配分函数，这对于大的状态空间来说是一个主要的瓶颈和棘手的问题。重要性抽样（IS）和基于MCMC的方法是有利可图的。然而，在实践中，具有“良好”建议分布的条件常常得不到满足。在本文中，我们增加了一个新的维度，有效的估计通过抽样。我们提出了一个新的抽样方案和一个无偏估计量，估计的分区函数准确地在次线性时间。我们的样本是使用局部敏感哈希（LSH）在接近恒定的时间内生成的，因此是相关的和未归一化的。我们证明了我们所提出的方法的有效性，通过比较的准确性和速度估计的分区函数对其他国家的最先进的估计技术，包括IS和Gumbel-Max采样的有效变体。通过我们高效的采样方案，我们仅用1-2%的计算就能准确地训练真实世界的语言模型。
2017-03-15 cs.DB cs.DS cs.LG
Unbiased Approximations for Stationary Distributions of McKean-Vlasov SDEs
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；City University of Hong Kong（香港城市大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出了一种无偏估计器，用于近似麦肯-瓦拉索夫随机微分方程的平稳分布，通过开发遍历性结果和数值实验验证其有效性。
2026-02-02 cs.NA math.NA math.PR
A Complete Characterization of Linear Estimators for Offline Policy Evaluation
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）；Harvard University（哈佛大学）
离线策略评估是强化学习中的一个基本统计问题，涉及估计由潜在不同策略收集的数据的某些决策策略的价值函数。为了解决复杂的高维观测问题，理论家和实践者都对理解强化学习中函数逼近的可能性感兴趣。尽管有大量的研究，一个尖锐的特点，当我们可能会期望离线政策评估是易于处理的，即使在最简单的设置线性函数近似，迄今为止仍然难以捉摸，与一个令人惊讶的数量强烈的负面结果最近出现在文献中。在这项工作中，我们确定了简单的控制理论和线性代数条件是必要的和充分的经典方法，特别是拟合Q迭代（FQI）和最小二乘时间差学习（LSTD），成功地在离线政策评估。使用这种特性，我们建立了一个精确的层次制度下，这些估计成功。我们证明了LSTD的工作条件严格弱于FQI。此外，我们建立，如果一个问题是不可解决的通过LSTD，那么它不能解决的广泛的一类线性估计，即使在无限的数据的限制。总之，我们的研究结果提供了一个完整的离线政策评估的线性估计的行为，统一以前不同的分析规范的算法，并提供了显着更清晰的概念离线政策评估的基本统计复杂性。
2022-12-19 cs.LG stat.ML
On Unbiased Estimation for Discretized Models
在这篇文章中，我们考虑计算期望值w.r.t.受离散化误差影响的概率测度。例子包括部分观察到的扩散过程或逆问题，其中可能必须离散时间和/或空间，以便实际上与感兴趣的概率一起工作。由于只访问这些离散化，我们认为建设无偏蒙特卡罗估计的期望w.r.t.这种目标概率分布。它示出了如何获得这样的估计使用一种新的适应随机化方案和马尔可夫模拟方法。在适当的假设下，这些估计具有有限的方差和有限的期望成本。这种方法有两个重要的结果：（i）在规范复杂度下实现无偏推理，以及（ii）所得到的估计量可以独立生成，从而允许对任意多个并行处理器进行强缩放。提出了几种算法，并应用于贝叶斯推断问题的一些例子，与模拟和真实的观测数据。
2021-02-24 cs.NA math.NA stat.CO
Multivariate extensions of the Multilevel Best Linear Unbiased Estimator for ensemble-variational data assimilation
该研究采用方差最小化方法重新引入MLBLUE框架，提出多种复杂度递增的多维期望及协方差矩阵多级估计器，并针对大维度应用提出带最优多级局地化的协方差估计器，丰富了多级估计方法体系。
2024-09-12 physics.data-an stat.ME
Unbiased Recommender Learning from Missing-Not-At-Random Implicit Feedback
Tokyo Institute of Technology（东京工业大学）；SMN Corporation（SMN公司）
推荐系统广泛使用隐式反馈，如点击数据，因为它的普遍可用性。虽然点击的存在在某种程度上表明了用户的偏好，但没有这种点击并不一定表示用户的负面响应，因为用户可能没有接触到这些项目（正面-未标记问题）。这导致难以从隐式反馈中预测用户的偏好。以前的研究解决了积极的未标记的问题，通过统一的权重的损失的正反馈数据或估计的信心，通过EM算法的相关信息的每个数据。然而，这些方法未能解决非随机缺失问题，其中流行或频繁推荐的项目比其他项目更可能被点击，即使用户对它们没有相当大的兴趣。为了克服这些限制，我们首先定义一个理想的损失函数进行优化，以实现最大化的相关性的建议，并提出了一个无偏估计量的理想损失。随后，我们分析了所提出的无偏估计量的方差，并进一步提出了一个裁剪估计，其中包括作为特殊情况的无偏估计量。我们证明了裁剪估计预计将提高推荐系统的性能，通过考虑偏差方差权衡。我们进行半合成和真实世界的实验，并证明所提出的方法在很大程度上优于基线。特别是，所提出的方法对于训练数据中不太频繁观察到的罕见项目效果更好。实验结果表明，该方法可以更好地实现推荐具有最高相关性的项目的目标。
2020-02-09 cs.IR cs.LG stat.ML
Unbiased Hamiltonian Monte Carlo with couplings
我们提出了一种方法来并行化哈密顿蒙特卡罗估计。我们的方法构造了一对哈密顿蒙特卡罗链，它们以这样一种方式耦合，即它们在经过一些随机数的迭代后完全相遇。然后可以将这些链组合起来，以便得到的估计量是无偏的。这使得我们可以并行地产生独立的重复，并对它们进行平均，以获得在重复次数限制下一致的估计量，而不是通常的马尔可夫链迭代次数限制。我们调查的可扩展性，我们的耦合在高维度上的一个玩具的例子。算法参数的选择和我们提出的方法的效率，然后说明了一个逻辑斯谛回归与300协变量，和低到细粒度离散化的对数高斯Cox点过程模型。
2018-08-27 stat.CO
An Improved Unbiased Particle Filter
在本文中，我们考虑部分观察到的多维扩散过程，定期观察在离散时间的过滤。我们假设，由于数值的原因，一个时间离散的扩散过程，这通常会导致过滤，是受到离散化的偏见。[16]中的方法确定，当仅访问时间离散化扩散时，可以使用有限方差的估计量来消除离散化偏差。本文在文献[17]的基础上，引入了一个改进的估计量，改进了文献[16]的方法。我们证明了这个新的估计是无偏的，并具有有限的方差。此外，我们推测并验证在数值模拟中，获得了可观的收益。也就是说，对于给定的均方误差（MSE）和特定类别的多维扩散，实现所述MSE的成本下降。
2023-02-20 cs.NA math.NA stat.CO
Unbiased estimation of normalized scale-invariant indices under the Gamma distribution
University of Brasilia（巴西利亚大学）；Federal University of Pelotas（佩洛塔斯联邦大学）
提出由齐次函数生成的一类归一化尺度不变指标，包括基尼系数等，并基于U统计量导出伽马分布下的简单无偏估计，通过模拟和实际数据验证其性能。
2026-10-06 stat.ME
Unbiased approximations of products of expectations
我们考虑的问题，近似产品的$n$的期望相对于一个共同的概率分布$μ$。这种产品通常出现在统计学中，作为潜在变量模型中的可能性值。受伪边缘马尔可夫链蒙特卡罗方法的启发，我们研究了这类产品的无偏估计量。标准方法是从$μ$中采样$N$粒子，并将每个粒子分配给一个期望值。这是浪费的，并且通常需要粒子数量与期望数量成二次方增长。我们提出了一种替代估计，近似每个期望使用大多数粒子，同时保持无偏性。我们仔细研究了它的属性，表明在潜变量的背景下，所提出的估计只需要$\mathcal{O}(n)$粒子匹配的性能与$\mathcal{O}(n^{2})$粒子的标准方法。我们演示了两个潜在变量的例子，从近似贝叶斯计算和单细胞基因表达分析，观察计算收益的数量级的期望，即数据点，$n$的程序。
2017-09-04 stat.CO
Unbiased Markov chain Monte Carlo with couplings
马尔可夫链蒙特卡罗（MCMC）方法提供了一致的积分的迭代次数达到无穷大。MCMC估计量通常在任何固定次数的迭代后都有偏。我们建议通过使用马尔可夫链的耦合以及Glynn和Rhee（2014）的伸缩和参数来消除这种偏差。得到的无偏估计量可以独立地并行计算。我们讨论流行的MCMC算法的实际耦合。我们建立了理论上的有效性，建议估计和研究其效率相对于底层MCMC算法。最后，我们说明了玩具的例子，在伊辛模型的临界温度附近的方法的性能和局限性，在一个高维变量选择问题，并在近似的切割分布所产生的贝叶斯推断模型的多个模块。
2019-07-17 stat.CO stat.ME
Unbiased Markov chain Monte Carlo for intractable target distributions
在统计分析中，尤其是在具有难处理的似然函数的模型的贝叶斯推断中，当被积函数本身不能逐点计算时执行数值积分是一项具有挑战性的任务。马尔可夫链蒙特卡罗（MCMC）算法已经提出了这种设置，如隐变量模型的伪边缘方法和一类无向图模型的交换算法。与任何MCMC算法一样，所得到的估计量在迭代次数的限制下是渐近合理的，但是由于马尔可夫链在平稳性之外开始，因此对于任何固定的迭代次数都表现出偏差。这种“老化”偏差使MCMC计算的并行处理器的使用复杂化。我们展示了如何使用耦合技术来生成无偏估计量在有限时间内，通用MCMC算法的最新进展的基础上。我们建立了理论上的有效性，其中一些程序通过扩展现有的结果，以涵盖的情况下，多项式遍历马尔可夫链。所提出的估计的效率与标准的MCMC估计，理论参数和数值实验，包括状态空间模型和伊辛模型。
2020-06-15 stat.CO
Solving the Poisson equation using coupled Markov chains
SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris（巴黎理工学院，电信南巴黎学院，SAMOVAR）；ESSEC Business School（ESSEC高等商学院）；University of Bristol（布里斯托大学）；IIT Kanpur（坎普尔印度理工学院）
本文提出利用耦合马尔可夫链生成泊松方程解的无偏估计器，并分析了其矩有限性及收敛性，通过数值实验验证了方法的有效性。
2025-12-09 stat.CO
A U-statistic estimator for the variance of resampling-based error estimators
我们重新讨论了二进制分类中的误差估计在U-统计方面的restaurant程序。特别是，我们利用的事实，差错率估计，涉及所有的学习测试分裂是一个U-统计量。因此，它在所有无偏估计量中具有最小方差，并且是渐近正态分布的。此外，如果总样本量至少是双倍学习集大小加2，则存在此最小方差的无偏估计量。在这种情况下，我们展示了这样一个估计量，它是另一个U-统计量。它享有，再次，各种最优属性，并产生一个渐近精确的假设检验的平等差错率时，两个学习算法进行比较。我们的陈述适用于弱非退化假设下的任何确定性学习算法。
2013-12-18 math.ST stat.ML stat.TH
Unbiased Derivative Estimation for Stationary Mean of Parameterized Markov chains
提出一种针对参数化马尔可夫链平稳均值梯度的无偏估计方法，在慢混合率下高效，无需密度函数先验知识，适用于神经网络参数化。
2026-06-11 math.PR math.ST stat.ML
Wasserstein-Cramér-Rao Theory of Unbiased Estimation
University of Wisconsin Madison（威斯康星大学麦迪逊分校）；Columbia University（哥伦比亚大学）
本文提出基于Wasserstein几何的敏感度理论，建立无偏估计的Wasserstein-Cramér-Rao下界，刻画可精确达到下界的模型，并证明Wasserstein投影估计量渐近达到下界，从而在多个统计示例中发现新最优性质或全新估计量。
2026-10-27 math.OC math.ST stat.ME
Unbiased estimators for the variance of MMD estimators
最大平均差异（MMD）是在许多应用中有用的概率分布之间的基于核的距离（Gretton et al. 2012），具有令人满意的计算和统计特性的简单估计量。能够有效地估计该估计量的方差，对解决双样本检验中的各种问题都有很大的帮助。为此，Bounliphone等人。（2016）使用U-统计量理论来推导MMD估计量方差的估计量，以及两个这样的估计量之间的差异。然而，他们的估计器丢弃了低阶项，并且不必要地存在偏差。我们在这篇笔记中表明-扩展和纠正Sutherland等人的工作。（2017）-我们可以找到一个真正的无偏估计量，用于平方MMD估计量和两个相关平方MMD估计量之差的实际方差，基本上没有额外的计算成本。
2022-11-15 cs.LG stat.ML
SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models
Tsinghua University（清华大学）；Princeton University（普林斯顿大学）；Google（谷歌）；University of Toronto（多伦多大学）
用于训练潜变量模型的标准变分下界对大多数感兴趣的量产生有偏估计。本文在无穷级数随机截断的基础上，给出了潜变量模型的对数边际似然及其梯度的一个无偏估计。如果由编码器-解码器架构参数化，则编码器的参数可以被优化以最小化该估计器的方差。我们表明，使用我们的估计器训练的模型比基于标准重要性抽样的方法提供更好的测试集似然性相同的平均计算成本。该估计器还允许使用潜变量模型的任务，其中无偏估计，而不是边际似然下限，是首选，如最小化反向KL分歧和估计得分函数。
2020-07-10 cs.LG stat.ML
Constructing unbiased gradient estimators with finite variance for conditional stochastic optimization
针对条件随机优化中嵌套期望梯度难以无偏估计的问题，论文证明 multilevel Monte Carlo 梯度估计器可在一定条件下实现无偏、有限方差与有限期望成本，并给出另一特殊构造。
2022-09-13 cs.NA math.NA stat.ME
Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels
National Taiwan University（国立台湾大学）；RIKEN（理化学研究所）；The University of Tokyo（东京大学）
在弱监督学习中，当训练数据和测试数据来自不同的分布时，无偏风险估计器（URE）是训练分类器的有力工具。然而，当模型像深度网络一样复杂时，URES会在许多问题设置中导致过拟合。在本文中，我们通过研究一个称为互补标签学习的弱监督问题来研究这种过拟合的原因。我们认为梯度估计的质量在风险最小化中更重要。从理论上讲，我们证明了一个URE给出了一个无偏梯度估计（UGE）。然而，实际上，UGE可能遭受巨大的方差，这导致经验梯度通常远离真实梯度在最小化期间。为此，我们提出了一种新的替代互补损失（SCL）框架，交易零偏差减少方差，使经验梯度更符合真实梯度的方向。由于这一特性，SCL成功地缓解了过拟合问题，并改进了基于URE的方法。
2020-08-21 cs.LG stat.ML
Unbiased Gradient Estimation with Balanced Assignments for Mixtures of Experts
University of Amsterdam（阿姆斯特丹大学）；DeepMind
在现代硬件上有效地训练大规模混合专家模型需要将数据点批量分配给不同的专家，每个专家的容量有限。最近提出的分配程序缺乏概率的解释，并使用有偏估计的培训。作为替代方案，我们提出了两种基于原则性随机分配程序的无偏估计：一种是跳过超过专家能力的数据点，另一种是使用Gumbel匹配分布的扩展对完全平衡的分配进行采样[29]。这两种估计量都是无偏的，因为它们对所使用的抽样程序进行了校正。在一个玩具实验中，我们发现“跳跃”估计是更有效的平衡抽样的，都是更强大的解决任务比有偏见的替代品。
2021-12-08 cs.LG stat.ML
Unbiased least squares regression via averaged stochastic gradient descent
ESCP Business School（ESCP商学院）
针对在线最小二乘回归问题，提出基于随机化多水平蒙特卡洛的无偏时间平均SGD估计量，实现k阶步数下O(1/k)超额风险，还给出风险估计及平均起始版本，理论结果经数值实验验证。
2024-06-26 cs.LG stat.ME stat.ML
An Unbiased Risk Estimator for Learning with Augmented Classes
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
本文研究了增广类学习问题，其中在测试阶段可能会出现在训练数据中未观察到的增广类。以往的研究一般试图通过利用几何性质来发现增广类，取得了令人鼓舞的经验性能，但缺乏理论理解，特别是在泛化能力。在本文中，我们表明，通过使用未标记的训练数据来近似的潜在分布的增广类，一个无偏的风险估计的测试分布可以建立在温和的假设下的LAC问题，这铺平了道路，发展一个健全的方法与理论保证。此外，所提出的方法可以适应复杂变化的环境中，增广类可能会出现和已知类的先验可能会同时发生变化。大量的实验证实了我们所提出的方法的有效性。
2020-11-27 cs.LG stat.ML
Unbiased estimators for random design regression
University of Michigan（密歇根大学）；Google Inc.（谷歌公司）；Columbia University（哥伦比亚大学）
在线性回归中，我们希望基于小样本估计$d$维输入点和实值响应的分布的最佳线性最小二乘预测因子。在标准随机设计分析中，样本是i.i.d.根据输入分布，该样本的最小二乘解可以被视为最优值的自然估计。不幸的是，这种估计几乎总是会产生来自输入点的随机性的不期望的偏差，这是模型平均的一个重要瓶颈。在本文中，我们表明，这是可能的，以绘制一个非独立同分布。输入点的样本，无论响应模型如何，最小二乘解都是最优值的无偏估计量。此外，该样品可以通过增加先前绘制的i.i.d.带有一组额外的$d$点的样本，根据某个确定的点过程共同绘制，该过程从由点跨越的平方体积重新缩放的输入分布构建。受此启发，我们开发了一个理论框架，研究体积重新标度抽样，并在此过程中证明了一些新的矩阵期望恒等式。我们用它们来表明，对于任何输入分布和$ε>0$有一个随机设计组成的$O(d\log d+ d/ε)$点，从它可以构造一个无偏估计，其预期的平方损失在整个分布是有界的$1+ε$倍的最佳损失。我们提供了有效的算法，产生这样的无偏估计量在一些实际的设置，并支持我们的索赔实验。
2022-06-07 cs.LG stat.ML
Leveraging Deep Stein's Unbiased Risk Estimator for Unsupervised X-ray Denoising
Information Technology University（信息技术大学）；University of Toronto（多伦多大学）
在众多旨在抑制医学图像中噪声流行的技术中，基于深度学习的方法表现出最大的希望。然而，这些基于深度学习的去噪器的一个关键限制是需要高质量的无噪声地面实况图像，这在许多医学成像应用（例如X射线）中难以获得。为了规避这个问题，我们利用最近提出的方法[7]，该方法结合了Stein的无偏风险估计（SURE）来训练深度卷积神经网络，而不需要去噪的地面真实X射线数据。我们的实验结果表明，基于SURE的方法去噪X射线图像的有效性。
2018-11-29 cs.CV cs.LG stat.ML
Unbiased Estimation of the Value of an Optimized Policy
Bing Ads（必应广告（Bing Ads））；Microsoft（微软（Microsoft））
随机试验，也被称为A/B测试，用于在两种策略之间进行选择：控制和治疗。给定一组相应的特征，我们可以理想地学习一个优化的策略P，它将A/B测试数据特征映射到动作空间并优化奖励。然而，尽管A/B测试为部署B的价值提供了无偏估计（即，从策略A切换到B），直接应用这些样本来学习优化的策略P通常不提供P的值的无偏估计，因为在构造P时观察到样本。在与部署策略相关联的成本和风险高的情况下，这种无偏估计是非常期望的。我们提出了一个学习优化策略的过程，并获得无偏估计部署它们的价值。我们包装任何策略学习程序与装袋过程，并获得袋外的政策包含决策的每个样本。然后，我们证明了逆倾向加权效应估计是无偏的，当应用到优化的子集。同样，我们应用相同的思想来获得独立于随机化处理的测量的袋外无偏每个样本值估计，并使用这些估计来构建无偏双稳健效应估计。最后，我们的经验表明，即使平均治疗效果是负的，我们可以找到一个积极的优化政策。
2018-06-07 cs.AI cs.LG stat.ML
An Unbiased Symmetric Matrix Estimator for Topology Inference under Partial Observability
网络拓扑推断是网络科学许多应用中的一个基本问题，例如定位假新闻的来源，大脑连接网络检测等。许多现实世界的情况下，只有有限的一部分观察到的节点是可用的。本文在部分能观性框架下研究了网络拓扑推断问题。基于向量自回归模型，提出了一种新的具有高斯噪声和拉普拉斯组合规则的对称网络拓扑结构的无偏估计量。理论上证明了它依概率收敛于网络组合矩阵。在此基础上，利用高斯混合模型算法，提出了一种有效的网络推理高斯算法。最后，通过数值实验与现有方法进行了比较，结果表明该算法在小样本量的情况下具有更好的性能。
2022-05-16 stat.AP stat.ML
Unbiased and Biased Variance-Reduced Forward-Reflected-Backward Splitting Methods for Stochastic Composite Inclusions
Department of Statistics and Operations Research（统计与运筹学系）；The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Hanes Hall, UNC-Chapel Hill, NC 27599-3260（UNC-教堂山分校318号哈尼斯楼，NC 27599-3260）
本文提出新的方差减少技术用于前向-反射-后向分裂方法，解决可能非单调的随机复合包含物问题。设计新框架处理无偏和有偏估计器，证明无偏估计器收敛率和有偏估计器的Oracle复杂度。
2026-09-10 cs.LG math.OC stat.ML
PLUMAGE: Probabilistic Low rank Unbiased Min Variance Gradient Estimator for Efficient Large Model Training
Technion（以色列理工学院）
PLUMAGE 提出一种概率低秩无偏最小方差梯度估计器，解决现有低秩方法的偏差、方差和优化器状态错位问题，在相似资源下显著缩小全秩优化差距。
2025-05-23 cs.LG stat.ML
