Sample Selection Bias Correction Theory
Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
本文对样本选择偏差校正进行了理论分析。机器学习中常用的样本偏差校正技术包括重新加权偏差样本的每个训练点上的错误成本，以更接近地反映无偏分布。这依赖于通过基于有限样本的各种估计技术导出的权重。我们分析了估计误差对两种估计技术的学习算法返回的假设的准确性的影响：基于聚类的估计技术和核均值匹配。我们还报告了使用这些技术的几个数据集的样本偏差校正实验的结果。我们的分析是基于新的概念，分布稳定性，推广现有的概念点为基础的稳定性。我们的大部分工作和证明技术可用于分析其他重要性加权技术及其对使用分布稳定算法时精度的影响。
2008-05-19 cs.LG
Doubly Robust Bias Reduction in Infinite Horizon Off-Policy Estimation
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Google Research（谷歌研究院）
由于典型的重要性采样（IS）估计量的方差过大，无限时域离策略策略评估是一项极具挑战性的任务。最近，Liu等人（2018 a）提出了一种方法，该方法通过估计静态密度比来显着降低无限视野政策外评估的方差，但代价是由于密度比估计的误差而引入潜在的高偏差。在本文中，我们开发了一个偏差减少增强他们的方法，它可以利用一个学习的价值函数，以获得更高的精度。当密度比或价值函数估计是完美的时，我们的方法是双重鲁棒的，偏差消失。一般来说，当它们中的任何一个是准确的，偏差也可以减少。理论和实验结果表明，我们的方法产生显着的优势，比以前的方法。
2019-10-16 cs.AI cs.LG stat.ML
An Investigation of the Bias-Variance Tradeoff in Meta-Gradients
University of Oxford（牛津大学）；DeepMind（深度思维）
元梯度为优化强化学习（RL）算法的元参数提供了一种通用方法。元梯度的估计对于这些元算法的性能至关重要，并且已经在MAML风格的短期元RL问题的设置中进行了研究。在这种情况下，先前的工作已经研究了RL目标的Hessian的估计，以及通过进行采样校正来解决信用分配到预适应行为的问题。然而，我们表明，海森估计，例如由DiCE及其变体实现，总是增加偏差，也可以增加方差的元梯度估计。同时，元梯度估计在重要的长视野设置中研究较少，其中通过完整的内部优化轨迹的反向传播是不可行的。我们研究了截断反向传播和采样校正所产生的偏差和方差权衡，并与演化策略进行了比较，这是最近流行的长期元学习的替代策略。虽然以前的工作隐含地选择点在这个偏差方差空间，我们解开的偏差和方差的来源，并提出了一个实证研究，现有的估计相互关联。
2022-09-22 cs.LG
Refining Covariance Matrix Estimation in Stochastic Gradient Descent Through Bias Reduction
Department of Statistics（统计系）；University of Chicago（芝加哥大学）；University of California, Irvine（加州大学尔湾分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出一种全新的在线去偏差协方差估计器，无需二阶导数即可显著提升估计精度，收敛速度为n^{(α-1)/2}√logn，优于现有无Hessian方法。
2026-04-23 cs.LG stat.ML
Mitigating Estimation Bias with Representation Learning in TD Error-Driven Regularization
School of Automation, Central South University（自动化学院，中南大学）；School of Engineering, University of Newcastle（工程学院，新castle大学）
本文提出了一种基于表示学习的双演员-批评者框架，通过三种凸组合策略和增强的表示来缓解TD误差驱动正则化中的估计偏差，实现灵活的偏差控制和性能提升。
2025-11-20 cs.AI cs.LG
Parameter-free Reduction of the Estimation Bias in Deep Reinforcement Learning for Deterministic Policy Gradients
在基于值的深度强化学习中，价值函数的近似会导致高估偏差，从而导致次优策略。我们发现，当代理人收到的强化信号有很高的方差，深演员批评的方法，克服高估偏见导致大量低估偏见。我们首先解决现有的方法，旨在克服这种低估错误的有害问题。然后，通过广泛的统计分析，我们引入了一种新的、无参数的深度Q学习变体，以减少确定性策略梯度中的这种低估偏差。通过从高度收缩的估计偏差区间中对两个近似批评者的线性组合的权重进行采样，我们的Q值更新规则不受代理在整个学习过程中收到的奖励方差的影响。我们测试了一组MuJoCo和Box2D连续控制任务的性能改进，并证明它大大优于现有的方法，并提高了国家的最先进的显着保证金。
2022-05-19 cs.AI cs.LG stat.ML
Bounds on Representation-Induced Confounding Bias for Treatment Effect Estimation
本文提出了一种新的反驳框架，用于估计由降维或其他限制引起的表示诱导混淆偏置的界限，通过理论分析和实验验证其有效性。
2026-03-12 cs.AI cs.LG stat.ML
Bias-Reduced Uncertainty Estimation for Deep Neural Classifiers
Technion – Israel Institute of Technology（以色列理工学院）
我们考虑（非贝叶斯）深度神经分类背景下的不确定性估计问题。在这种情况下，所有已知的方法都是基于从经过优化的训练网络中提取不确定性信号，以解决当前的分类问题。我们证明，这种技术往往会引入有偏估计的情况下，其预测应该是高度自信的。我们认为，这种缺陷是SGD类优化器训练动态的产物，它具有一些类似于过拟合的性质。基于这一观察，我们开发了一种不确定性估计算法，该算法使用训练模型的早期快照选择性地估计高度置信点的不确定性，然后再进行抖动估计（并且在它们准备好进行实际分类之前）。我们提出了广泛的实验表明，该算法提供的不确定性估计，始终优于所有已知的方法。
2019-04-24 cs.LG stat.ML
Mitigating Pooling Bias in E-commerce Search via False Negative Estimation
The Pennsylvania State University（宾夕法尼亚州立大学）；Instacart
针对电商搜索负采样存在的池化偏差问题，提出基于假阴性估计的BHNS策略，经Instacart场景及公开数据集验证，兼具实用效果与跨领域应用潜力。
2024-08-17 cs.IR cs.LG
Doubly-Robust Estimation for Correcting Position-Bias in Click Feedback for Unbiased Learning to Rank
Radboud University（拉德堡德大学）
排名上的点击受到位置偏见的影响：通常排名较低的项目不太可能被用户检查-从而点击-尽管他们对项目的实际偏好。无偏的基于点击的学习排名（LTR）的流行方法是基于反事实的逆倾向评分（IPS）估计。与一般的强化学习相比，反事实双鲁棒（DR）估计尚未应用于基于点击的LTR在以前的文献。在本文中，我们介绍了一种新的DR估计，这是第一个DR方法专门设计的位置偏差。位置偏差的困难在于，在点击数据中无法直接观察到治疗-用户检查。作为解决方案，我们的估计器使用每个秩的预期处理，而不是现有DR估计器使用的实际处理。我们的新DR估计器比现有的IPS方法具有更强大的无偏性条件，此外，提供了巨大的方差降低：我们的实验结果表明，它需要几个数量级的数据点收敛到最佳性能。对于无偏LTR领域，我们的DR估计有助于提高最先进的性能和最强大的理论保证所有已知的LTR估计。
2022-10-30 cs.IR cs.LG
Reward-Biased Maximum Likelihood Estimation for Neural Contextual Bandits
National Yang Ming Chiao Tung University（国立阳明交通大学）
奖励偏置最大似然估计（RBMLE）是自适应控制文献中解决探索-利用权衡的经典原理。本文研究了具有一般有界报酬函数的随机上下文强盗问题，提出了NeuralRBMLE算法，该算法在RBMLE原理的基础上，通过在对数似然函数中增加一个偏置项来加强探索。NeuralRBMLE利用了神经网络的表示能力，并直接在参数空间中对探索行为进行编码，而无需构建估计回报的置信区间。我们提出了NeuralRBMLE算法的两个变体：第一个变体通过梯度上升直接获得RBMLE估计，第二个变体通过近似将RBMLE简化为一个简单的索引策略。我们表明，这两种算法实现$\widetilde{\mathcal{O}}(\sqrt{T})$遗憾。通过大量的实验，我们证明了NeuralRBMLE算法在具有非线性奖励函数的真实数据集上实现了与最先进的方法相当或更好的经验遗憾。
2022-05-29 cs.LG stat.ML
Adaptive Ensemble Q-learning: Minimizing Estimation Bias via Error Feedback
Arizona State University（亚利桑那州立大学）
本文提出自适应集成Q学习（AdaEQ），通过误差反馈动态调整集成大小以最小化估计偏差，并在MuJoCo基准上验证了其优于现有方法的学习性能。
2023-06-20 cs.AI cs.LG
Direct Bias-Correction Term Estimation for Average Treatment Effect Estimation
本文提出通过直接最小化Bregman散度来估计平均处理效应的偏置校正项，扩展了现有方法并确保协变量平衡性。
2026-01-30 cs.LG econ.EM math.ST
Revisiting Estimation Bias in Policy Gradients for Deep Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Tencent Inc.（腾讯公司）；The University of Manchester（曼彻斯特大学）
本文从深度强化学习（DRL）的角度重新审视了折扣情景马尔可夫决策过程（MDP）的策略梯度估计偏差。理论上，该目标被表述为在时间范围内贴现的预期收益。一个主要的策略梯度偏差是状态分布偏移：用于估计梯度的状态分布与理论公式不同，因为它没有考虑贴现因子。现有关于该偏倚影响的讨论仅限于文献中的表格和softmax病例。因此，在本文中，我们将其扩展到DRL设置的政策参数化，并证明这种偏见如何可能导致次优政策理论。然后，我们讨论了为什么经验不准确的实现与移位状态分布仍然是有效的。我们表明，尽管这样的状态分布偏移，策略梯度估计偏差可以减少以下三种方式：1）一个小的学习率; 2）自适应学习率为基础的优化器;和3）KL正则化。具体来说，我们表明，一个较小的学习率，或自适应学习率，如亚当和RSMProp优化器使用的，使政策优化的偏见。我们进一步绘制优化器和优化正则化之间的联系，以表明KL和反向KL正则化都可以显着纠正这种偏差。此外，我们提供了大量的连续控制任务的实验，以支持我们的分析。我们的论文揭示了成功的PG算法如何在DRL设置中优化策略，并有助于深入了解DRL中的实际问题。
2023-02-10 cs.AI cs.LG
Reducing Selection Bias in Counterfactual Reasoning for Individual Treatment Effects Estimation
University of Alberta（阿尔伯塔大学）
反事实推理是一个重要的范式，适用于许多领域，如医疗保健，经济学和教育。在这项工作中，我们提出了一种新的方法来解决这个问题的\textit{selection bias}。我们学习了两组潜在随机变量，其中一组对应于仅导致选择偏差的变量，另一组与结果预测相关。它们由自动编码器学习，其中基于Pearson相关系数（PCC）的额外正则化损失鼓励两组随机变量之间的去相关。这允许通过仅保留与估计个体治疗效果相关的潜在变量来明确减轻选择偏倚。在合成玩具数据集和基准数据集上的实验结果表明，我们的算法能够实现最先进的性能，并改善其对应的结果，没有明确的模型的选择偏差。
2019-12-19 cs.LG stat.ML
Consistent Position Bias Estimation without Online Interventions for Learning-to-Rank
Cornell University（康奈尔大学）
呈现偏差是从搜索引擎中的隐式反馈中学习时的关键挑战之一，因为它由于排名中的位置、显著性和其他呈现因素而将相关性信号与无信息信号混淆。虽然最近显示了如何反事实的学习排序（LTR）方法\cite{Joachims/etal/17a}可以证明克服演示偏差，如果观察倾向是已知的，它仍然显示如何准确地估计这些倾向。在本文中，我们提出了第一种方法来产生一致的倾向估计没有手动相关性判断，破坏性干预，或限制性的相关性建模假设。我们只需要我们有来自多个不同排名函数的隐式反馈数据。此外，我们认为，我们的估计技术适用于扩展类的上下文基于位置的倾向模型，其中倾向不仅取决于位置，但也可观察到的查询和文档的功能。初步的模拟研究证实，该方法是可扩展的，准确的，和强大的。
2018-06-09 cs.IR cs.LG stat.ML
Bias-Reduced Estimation of Finite Mixtures: An Application to Latent Group Structures in Panel Data
本文提出了一种减少有限混合估计偏差的方法，通过分类混合似然函数和一致分类器，提高了估计精度，并在实证应用中降低了预测误差。
2026-02-03 cs.LG econ.EM stat.CO
On the Estimation Bias in Double Q-Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）
双Q学习是一种经典的降低Bellman运算中取最大估计值而引起的高估偏差的方法。它在深度Q学习范式中的变体在产生可靠的值预测和提高学习性能方面表现出了巨大的潜力。然而，如先前的工作所示，双Q学习不是完全无偏的，并且存在低估偏差。在本文中，我们表明，这种低估偏差可能会导致多个非最优不动点下的近似Bellman算子。为了解决收敛到非最优静态解的问题，我们提出了一种简单但有效的方法，作为双Q学习中低估偏差的部分修复。该方法利用近似动态规划来约束目标值。我们广泛评估我们提出的方法在Atari基准任务，并证明其显着改善基线算法。
2022-01-14 cs.AI cs.LG stat.ML
Understanding the Under-Coverage Bias in Uncertainty Estimation
Salesforce Research（赛富时研究院）；University of California, Berkeley（加州大学伯克利分校）
估计回归任务中的数据不确定性通常通过学习分位数函数或以输入为条件的真实标签的预测区间来完成。经常观察到分位数回归--一种学习具有渐近保证的分位数的普通算法--倾向于\emph{under-cover}而不是现实中期望的覆盖水平。虽然已经提出了各种解决方案，但对于为什么这种覆盖不足的偏见首先发生的更根本的理解仍然难以捉摸。本文对分位数学习中的不确定性估计算法的覆盖率进行了严格的理论研究。我们证明了分位数回归存在固有的覆盖不足偏差，在香草设置中，我们学习了一个可实现的线性分位数函数，并且数据比参数多。更定量地，对于$α>0.5$和小$d/n$，通过分位数回归学习的$α$分位数大致实现覆盖$α- (α-1/2)\cdot d/n$，而不管噪声分布如何，其中$d$是输入维度，而$n$是训练数据的数量。我们的理论表明，这种覆盖不足的偏见源于一定的高维参数估计误差，这是不暗示现有的理论分位数回归。模拟和真实数据上的实验验证了我们的理论，并进一步说明了各种因素，如样本大小和模型容量的影响下覆盖偏差在更实际的设置。
2021-06-10 cs.LG math.ST stat.ML
