Energy-based Surprise Minimization for Multi-Agent Value Factorization
University of Toronto（多伦多大学）；Center for Management of Technology & Entrepreneurship（技术管理与创业中心）；RBC Capital Markets（加拿大皇家银行资本市场）
多智能体强化学习（MARL）通过利用价值因子分解方法，在以集中的方式训练分散的策略方面取得了显著的成功。然而，解决跨虚假状态和近似偏差的惊喜仍然是多智能体设置的开放问题。为了实现这一目标，我们引入了基于能量的混合器（EMIX），一种利用跨代理的能量最大限度地减少惊喜的算法。我们的贡献有三方面：（1）EMIX在多智能体部分可观察设置的情况下引入了一种新的跨多智能体的惊喜最小化技术。(2)EMIX强调了MARL中能量函数的实际应用，并对能量算子进行了理论保证和实验验证。最后，（3）EMIX扩展了Maxmin Q-学习，以解决MARL中跨代理的高估偏差。在一项具有挑战性的星际争霸II微观管理场景研究中，EMIX展示了多智能体惊喜最小化的稳定性能。此外，我们的消融研究强调了基于能量的方案的必要性和消除MARL高估偏倚的必要性。我们的EMIX实现可以在karush17.github.io/emix-web/上找到。
2021-01-18 cs.LG cs.MA stat.ML
Controlling Underestimation Bias in Constrained Reinforcement Learning for Safe Exploration
Shanghai Jiao Tong University, Shanghai, China（上海交通大学）
本文提出MICE方法，通过引入内在成本和偏差校正策略，有效控制约束强化学习中的低估偏差，减少约束违反并保持策略性能。
2026-01-17 cs.LG
Gauging, Measuring, and Controlling Critic Complexity in Actor-Critic Reinforcement Learning
Peking University（北京大学）
提出用谱有效秩熵衡量评论家模型复杂度，在TD3和PPO实验中追踪复杂度与回报、偏差的关系，并通过谱熵惩罚实现复杂度控制。
2026-07-02 cs.AI cs.LG
Ensemble Elastic DQN: A Step Dependent Ensemble Approach for Reducing Overestimation in Deep Value-Based Reinforcement Learning
研究基于深度Q网络的高估偏差问题，提出集成弹性深度Q网络算法，结合自适应弹性多步回报与基于集成的目标聚合，改进回报构建并应用视域相关的集成聚合，在多环境评估中表现良好。
2026-07-07 cs.AI cs.LG
SPQR: Controlling Q-ensemble Independence with Spiked Random Model for Reinforcement Learning
Seoul National University（首尔大学）；Hodoo AI Labs（Hodoo AI实验室）
本文针对深度强化学习中的高估偏差问题，基于随机矩阵理论提出了 spiked Wishart Q-ensemble 独立性正则化（SPQR），通过将独立性假设检验转化为谱分布间的 KL 散度，在多个在线和离线 RL 基准上优于基线算法。
2024-01-06 cs.AI cs.LG stat.ML
Generalized Emphatic Temporal Difference Learning: Bias-Variance Analysis
本文研究了具有函数逼近的马尔可夫决策过程中的离政策评价问题。我们提出了一个泛化最近推出的\emph{emphatic temporal differences}（ETD）算法\citep{SuttonMW15}，其中包括原来的ETD（$λ$），以及其他几个特殊情况下的政策评估算法。我们将此框架称为\ETD，其中我们引入的参数$β$控制重要性采样项的衰减速率。我们研究的条件下，投影不动点方程的基础\ETD \涉及到一个收缩算子，使我们能够提出的第一个渐近误差界（偏差）\ETD。我们的结果表明，原来的ETD算法总是涉及到一个压缩算子，其偏见是有界的。此外，通过控制$β$，我们提出的推广允许权衡偏差方差减少，从而实现较低的总误差。
2015-11-27 cs.LG stat.ML
Controlling Overestimation Bias with Truncated Mixture of Continuous Distributional Quantile Critics
Samsung AI center（三星人工智能中心）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
高估偏差是精确离策略学习的主要障碍之一。本文研究了一种新的方法，以减轻在连续控制设置的高估偏差。我们的方法-截断分位数批评，TQC，-融合了三个想法：分布式表示的批评，截断的批评预测，和合奏的多个批评。分布表示和截断允许任意粒度的高估控制，而集成提供了额外的分数改进。TQC在连续控制基准测试套件的所有环境中的表现都优于当前最先进的技术，在最具挑战性的Humanoid环境中表现出25%的改进。
2020-05-08 cs.AI cs.LG stat.ML
Mitigating Bias in RAG: Controlling the Embedder
Carnegie Mellon University（卡内基梅隆大学）
本研究通过偏见冲突理论及120个微调嵌入器实验，发现控制嵌入器偏见比提高其公平性更能有效缓解RAG系统整体偏见。
2025-02-24 cs.CL cs.LG
FairGen: Controlling Sensitive Attributes for Fair Generations in Diffusion Models via Adaptive Latent Guidance
UIUC（伊利诺伊大学）；AWS AI Labs（亚马逊AI实验室）
针对文本到图像扩散模型的人口群体偏见问题，提出自适应潜变量引导机制FairGen，结合记忆模块实现公平生成，并构建HBE基准，实验证明其偏见缓解效果优于现有方法。
2025-10-22 cs.AI cs.CV cs.LG
Controlling the Inductive Bias of Wide Neural Networks by Modifying the Kernel's Spectrum
Weizmann Institute of Science（魏茨曼科学研究所）；Meta AI
针对宽神经网络学习偏置影响梯度下降收敛与可达函数的问题，提出利用MSKs近似核与预条件梯度下降方法改变GD轨迹，实现多项式或指数级训练加速且不改变最终解。
2024-03-20 cs.LG
Controlling Gender Bias in Retrieval via a Backpack Architecture
Sharif University of Technology（谢里夫理工大学）；University of Amsterdam（阿姆斯特丹大学）
针对LLMs嵌入排序系统导致的性别偏见问题，提出基于Backpack Language Models的去偏框架，通过非上下文词汇方面加权组合有效缓解文本检索与排序中的性别偏见且性能损失极小。
2025-11-02 cs.IR cs.LG
How much does your data exploration overfit? Controlling bias via information usage
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
现代数据是混乱和高维的，通常不清楚应该提出什么样的问题。相反，分析师通常需要使用数据来搜索要执行的有趣分析和要测试的假设。这是一个自适应过程，其中接下来要执行的分析的选择取决于先前对相同数据的分析结果。最终，报告的结果可能会受到数据的严重影响。人们普遍认识到，这一过程，即使是善意的，也可能导致偏见和错误的发现，导致科学的可重复性危机。但是，尽管探索的适应性本质使标准统计理论失效，但经验表明，不同类型的探索性分析可能导致不同程度的偏差，而偏差的程度也取决于数据集的细节。在本文中，我们提出了一个通用的信息使用框架来量化和可证明的约束任意探索性分析的偏差和其他错误度量。我们证明，我们的互信息为基础的界限是紧在自然环境中，然后用它来提供严格的见解时，常用的程序做或不导致实质性的偏见估计。通过信息使用的镜头，我们分析了特定的探索程序，如过滤，排名选择和聚类的偏见。我们的一般框架也自然地激励随机化技术，可证明减少探索偏差，同时保持数据分析的效用。我们讨论了我们的方法与差分隐私和盲数据分析的相关想法之间的联系，并用说明性模拟补充了我们的结果。
2019-10-08 cs.LG stat.ML
Controlling for Omitted Variable Bias in Deep Neural Networks
Humboldt-Universität zu Berlin（柏林洪堡大学）；Hertie Institute for AI in Brain Health（赫蒂脑健康人工智能研究所）；Universität Tübingen（蒂宾根大学）
针对深度学习中遗漏变量偏差问题，提出基于广义加性模型的控制变量方法，通过交叉拟合岭惩罚重拟合预训练网络最后一层，在模拟与真实神经影像数据上验证了方法的有效性。
2026-08-27 cs.CV cs.LG stat.ME
Controlling Complexity in Part-of-Speech Induction
INESC-ID Lisboa（里斯本INESC-ID研究所）；Google Inc.（谷歌公司）；University of Pennsylvania（宾夕法尼亚大学）
我们考虑的问题，完全无监督学习的语法（部分的语音）类别从无标签的文本。标准的最大似然隐马尔可夫模型执行此任务不佳，因为它的弱归纳偏差和大的模型容量。我们通过改进模型和修改学习目标来解决这个问题，以通过参数和非参数约束来控制其容量。我们的方法强制执行词类别关联稀疏，增加了形态和正字法的功能，并消除了难以估计的参数罕见的话。我们开发了一种高效的学习算法，它的计算强度并不比标准训练高。我们还提供了一个开源的算法实现。我们对五种不同语言（保加利亚语，丹麦语，英语，葡萄牙语，西班牙语）的实验与以前的方法相比，实现了显着的改善相同的任务。
2014-01-16 cs.CL cs.LG
Identifying Statistical Bias in Dataset Replication
MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
数据集复制是一个有用的工具，用于评估特定基准测试准确性的提高是否与模型可靠概括能力的提高相对应。在这项工作中，我们提出了不直观但重要的方式，其中标准的数据集复制方法引入了统计偏差，使所得的观察结果发生偏差。我们研究了ImageNet v2，这是ImageNet数据集的复制，即使在控制了标准的数据质量人工测量之后，模型的准确性也会显着下降（11-14%）。我们发现，在纠正识别的统计偏差，只有估计的$3.6\% \pm 1.5\%$的原始$11.7\% \pm 1.0\%$准确性下降仍然无法解释。最后，我们提出了识别和避免数据集复制偏差的具体建议。我们研究的代码可在http://github.com/MadryLab/dataset-replication-analysis上公开获得。
2020-09-02 cs.CV cs.LG stat.ML
The Effect of Mini-Batch Noise on the Implicit Bias of Adam
Princeton University（普林斯顿大学）
本文研究了小批量噪声如何影响Adam优化器中记忆的隐式偏差，发现大批次时高β₂会降低泛化能力，而小批次时需调整β₁和β₂以提升验证精度。
2026-05-07 cs.AI cs.LG math.OC
Gradient-Leaks: Understanding and Controlling Deanonymization in Federated Learning
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
联邦学习（FL）系统作为从个人设备上收集的大规模用户数据（例如，智能手机），而它们的原始数据不离开设备。FL的核心是一个匿名用户设备网络，共享在个人数据上本地计算的训练信息（模型参数更新）。然而，在模型更新中编码的用户特定信息的类型和程度却知之甚少。在本文中，我们确定模型更新编码用户捕获和生成数据的细微变化。这些变化提供了一个强大的统计信号，允许对手使用有限的辅助数据集有效地对参与设备进行去匿名化。我们分析了在一系列封闭和开放世界场景中对真实世界（匿名）用户生成数据的各种任务进行的去匿名化攻击。我们研究了各种策略来减轻去匿名化的风险。由于随机扰动方法不能提供令人信服的操作点，我们提出了数据增强策略，该策略在设备数据中引入了对抗性偏见，从而提供了对去匿名化威胁的实质性保护，而对效用的影响很小。
2020-09-13 cs.AI cs.CR cs.CV
