Maximum Likelihood with Bias-Corrected Calibration is Hard-To-Beat at Label Shift Adaptation
Stanford University（斯坦福大学）
标签偏移是指先验类概率p（y）在训练分布和测试分布之间变化，而条件概率p（x）在训练分布和测试分布之间变化的现象。|y）保持固定。标签偏移出现在医疗诊断等环境中，其中训练用于预测给定症状的疾病的分类器必须适应疾病的基线患病率不同的情况。给定p（y）的估计|x），Saerens等人提出了一种有效的最大似然算法来校正不需要模型再训练的标签偏移，但是该算法的限制性假设是p（y| x）被校准，这对现代神经网络来说是不正确的。最近，黑箱移位学习（BBSL）和标签移位下的正则化学习（RLLS）已经成为最先进的技术，以应对分类器不输出校准概率时的标签偏移，但这两种方法都需要使用重要性权重进行模型再训练，并且都没有针对最大似然进行基准测试。在这里，我们（1）表明，结合最大似然与一种类型的校准，我们称之为偏差校正校准优于BBSL和RLLS在不同的数据集和分布偏移，（2）证明，最大似然目标是凹的，（3）介绍了一个原则性的战略，估计源域先验，提高鲁棒性差校准。这项工作表明，最大似然与适当的校准是一个强大的和有效的基线标签偏移适应;笔记本重现实验可在https://github.com/kundajelab/labelshiftexperiments
2020-06-27 cs.LG stat.ML
When Are Learning Biases Equivalent? A Unifying Framework for Fairness, Robustness, and Distribution Shift
针对机器学习中公平性、鲁棒性等失效模式被单独研究的问题，提出统一理论框架，通过信息论度量将偏差形式化为条件独立性违反，证明多种偏差的等价条件，实证验证等价性并支持去偏方法跨域迁移。
2025-11-09 cs.AI cs.LG stat.ML
Ask Your Distribution Shift if Pre-Training is Right for You
MIT（麻省理工学院）
研究预训练对分布偏移的适用性，发现预训练能缓解外推能力差但无法解决数据集偏差，且与去偏差干预互补，小规模去偏差数据微调更鲁棒。
2024-12-23 cs.LG
Bias as a Virtue: Rethinking Generalization under Distribution Shifts
Tsinghua University（清华大学）；University of Southern California（南加州大学）
挑战传统验证范式，提出ADB框架通过在训练中引入受控统计多样性利用分布内偏差，显著提升了模型在分布偏移下的泛化能力并降低误差。
2025-05-31 cs.AI cs.LG stat.ML
Do Physics Foundation Models Learn Generalizable Physics? A Bias-Aware Benchmark Across Physical Regimes and Distribution Shifts
The Ohio State University（俄亥俄州立大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
通过构建包含8种物理动力学、3种训练数据混合和25种测试机制的基准，评估五种物理基础模型架构，发现当前模型是条件性而非通用性泛化者，其泛化能力依赖于物理机制、时间尺度、初始条件、预训练、模型大小和架构，并指出改进需超越缩放模型或扩展数据，转向学习跨机制、时间尺度和分布偏移的可迁移物理知识。
2026-07-03 cs.AI cs.LG
Should Bias be Eliminated? A General Framework to Use Bias for OOD Generalization
Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）；Zhejiang University（浙江大学）
本文提出了一种通用框架，通过利用偏见来提升OOD泛化的性能，通过生成模型识别偏见因素并构建偏见感知预测器，结合不同环境的预测器以提高鲁棒性和适应性。
2026-02-05 cs.LG
Understanding Disparities in Post Hoc Machine Learning Explanation
New York University（纽约大学）
该研究探究数据与模型属性对事后机器学习解释差异的影响，通过模拟和Adult收入数据集实验验证多种因素的作用，并为缓解解释差异的方法设计提供建议。
2024-01-25 cs.CY cs.LG stat.ML
How to Shift Bias: Lessons from the Baldwin Effect
归纳学习算法将一组数据作为输入，并生成一个假设作为输出。一组数据通常与无限数量的假设一致;因此，必须有除数据之外的因素来确定学习算法的输出。在机器学习中，这些其他因素被称为学习者的偏见。经典的学习算法有一个固定的偏差，隐含在它们的设计中。最近开发的学习算法在搜索假设时动态地调整它们的偏差。以这种方式转移偏差的算法不像经典算法那样容易理解。在本文中，我们证明了鲍德温效应对偏差转移算法的设计和分析具有影响。鲍德温效应是在1896年提出的，用来解释那些看起来需要拉马克进化（获得性特征的遗传）的现象是如何从纯粹的达尔文进化中产生的。Hinton和Nowlan在1987年提出了一个鲍德温效应的计算模型。我们探讨了他们的模型，我们明确地构建了一个变化，以说明鲍德温效应在偏置移位算法的研究的教训。主要的教训是，似乎在学习算法中转移偏差的一个好策略是从弱偏差开始，然后逐渐转移到强偏差。
2002-12-10 cs.LG cs.NE
Identifying Structural Biases from Causal Mechanism Shifts
CISPA Helmholtz Center for Information Security（CISPA赫尔姆霍茨信息安全中心）
提出利用环境间机制变化识别隐藏混淆和选择偏差，基于互信息构建可检验准则，并设计StruBI算法，在合成和真实数据上显著优于现有方法。
2026-06-18 cs.LG
How to Fine-tune the Model: Unified Model Shift and Model Bias Policy Optimization
Tongji University（同济大学）
本文提出了一种统一模型偏移与模型偏差的优化目标及微调过程，并开发了USB-PO算法，通过自适应调整模型更新在避免过拟合的同时保证性能改进，在多个基准任务上取得最优表现。
2023-10-24 cs.AI cs.LG
Kernel Robust Bias-Aware Prediction under Covariate Shift
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在协变量偏移下，训练（源）数据和测试（目标）数据在输入空间分布上不同，但共享相同的条件标签分布。这提出了一个具有挑战性的机器学习任务。鲁棒偏差感知（RBA）预测提供了条件标签分布，该条件标签分布对目标分布的最坏情况对数损失是鲁棒的，同时匹配来自源分布的特征期望约束。然而，采用具有不足特征约束的RBA可能导致针对大部分源数据的高确定性预测，同时为目标数据预测留下太多不确定性。为了克服这个问题，我们扩展的代表定理的RBA设置，使正则化的预期目标风险最小化的源分布下的重新加权的内核期望。通过应用核方法，我们建立了一致性保证，并证明了更好的性能的RBA分类器比竞争的方法在综合偏置UCI数据集，以及数据集，有自然的协变量偏移。
2017-12-28 cs.AI cs.LG stat.ML
Limitations of Public Chest Radiography Datasets for Artificial Intelligence: Label Quality, Domain Shift, Bias and Evaluation Challenges
研究指出公共胸部X光数据集在标签质量、领域偏移、偏见和评估方面存在局限，通过跨模型架构分析发现外部性能显著下降，且专家审查揭示标签存在显著分歧，强调需更公平的评估框架和临床验证数据集。
2026-03-16 cs.DL cs.LG
Bias-Corrected Adaptive Conformal Inference for Multi-Horizon Time Series Forecasting
Equal contribution（共同贡献）
本文提出 BC-ACI 方法，通过在线指数加权移动平均估计预测偏差，校正非一致性分数并重新定位预测区间，提升在分布转移下的预测性能。
2026-04-14 cs.LG stat.ME stat.ML
Embedding-Bias in Conditional Independence Testing
University of Copenhagen（哥本哈根大学）
本文研究条件独立性检验中用嵌入替代原始变量导致的偏差问题，提出基于残差相关检验的稳健方法，在合成数据、文本嵌入及语言模型生成文本上验证了该方法的有效性。
2026-10-09 cs.LG stat.ML
High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；University of Warwick（华威大学）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文研究协变量偏移下的高维核岭回归，通过偏差-方差分解证明重要性重加权能降低方差，并揭示其可视为一种数据依赖的隐式正则化。
2024-06-05 cs.LG stat.ML
Fighting Quantization Bias With Bias
Hailo Technologies（海洛科技）
深度神经网络（DNN）的低精度表示对于在嵌入式平台上高效部署深度学习应用至关重要，然而，将网络转换为低精度会降低其性能。至关重要的是，为嵌入式应用设计的网络通常会遭受更大的退化，因为它们具有更少的冗余。这对于无处不在的MobileNet架构最为明显，该架构需要昂贵的量化感知训练周期，以便在量化为8位时实现可接受的性能。在本文中，我们跟踪MobileNet中的退化的来源，平均激活值的变化。这种偏移是由量化过程中的固有偏差引起的，该偏差在各层之间建立，使所有网络统计数据远离学习的分布。我们发现，这种现象也发生在其他建筑。我们提出了一个简单的补救措施-通过增加一个常数，每个通道的附加偏置项的量化引起的移位补偿。我们开发了两种简单的方法来估计校正常数-一种是使用量化网络的迭代评估，另一种是使用短训练阶段设置常数。这两种方法都很快速，只需要少量的未标记数据，这使得它们对神经网络的快速部署很有吸引力。使用上述方法，我们能够以一小部分成本匹配MobileNets的基于训练的量化的性能。
2019-06-07 cs.LG stat.ML
PowerBench: Measuring Language Model Bias in Power-shifting Requests
Universidad de Buenos Aires（布宜诺斯艾利斯大学）；Buenos Aires AI Safety Hub（布宜诺斯艾利斯AI安全中心）；The World Bank（世界银行）；Universidad Nacional de General San Martín（国立圣马丁大学）
PowerBench是一个评估语言模型在权力转移请求中偏见的基准，通过区分自我赋权、去权和权力攫取，发现模型拒绝权力攫取多于去权，且存在国籍和用户类型相关的系统性偏见。
2026-10-05 cs.LG
Counterfactual Reasoning for Bias Evaluation and Detection in a Fairness under Unawareness setting
Polytechnic University of Bari（巴里理工大学）；Università degli Studi di Bari Aldo Moro（巴里大学阿尔多·莫罗）
本研究针对无意识公平场景下算法仍可能通过代理特征产生歧视的问题，提出基于反事实推理的黑盒模型偏差检测方法，可识别敏感代理特征，实验证实无敏感特征训练的模型仍常存歧视偏差。
2023-08-26 cs.AI cs.CY cs.LG
Counterfactual Auditing of Bias in Open-Source Large Language Models for Clinical Triage
Virginia Tech（弗吉尼亚理工大学）；University of Washington（华盛顿大学）
本研究对十个开源大语言模型进行反事实审计，评估其在儿科急诊分诊中的偏见，发现微调模型敏感性最低，支持反事实审计作为临床部署前的公平性评估框架。
2026-10-02 cs.AI cs.CL cs.LG
Bias Amplification in Multi-Agent Network: How Biased Agents Shape Opinions and Rhetoric
Institut Polytechnique de Paris（巴黎综合理工学院）；Télécom Paris（巴黎电信学院）；University of Salerno（萨莱诺大学）
本研究通过多智能体LLM交互实验，发现少数有偏智能体即可显著影响多数无偏智能体的观点，且Llama 3.2中偏移更快，修辞一致性与数值收敛部分解耦，揭示偏差与语言协同演化。
2026-09-17 cs.LG
Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training Data
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
最近，人们对为半监督学习任务设计图神经网络（GNN）的兴趣激增。不幸的是，这项工作假设标记用于训练的节点是随机均匀选择的（即是IID样本）。然而，在许多现实世界的场景中，为图节点收集标签既昂贵又固有地有偏见-因此无法满足此假设。当这种情况发生时，GNN可能会受到不良的泛化影响，这是由于对训练数据中存在的多余数据进行过拟合。在这项工作中，我们提出了一种方法，移位鲁棒GNN（SR-GNN），旨在占有偏见的训练数据和图的真实推理分布之间的分布差异。SR-GNN调整GNN模型，以适应具有用于训练的标签的节点与数据集的其余部分之间存在的分布变化。我们在半监督学习的常见GNN基准数据集上使用有偏训练数据集进行的各种实验中说明了SR-GNN的有效性，其中我们看到SR-GNN在准确性方面优于其他GNN基线，消除了至少（~40%）由有偏训练数据引入的负面影响。在我们考虑的最大数据集ogb-arxiv上，我们观察到比基线有2%的绝对改善，并减少了30%的负面影响。
2021-10-26 cs.LG
De-biasing Skeleton-based Action Recognition with Convex Hull Adaptive Shift
针对骨架动作识别中因世界坐标系原点选择导致的实体偏差问题，提出基于凸包自适应平移的归一化方法CHASE，通过参数化网络和辅助目标减少偏差，在7个数据集上显著提升多种骨干网络的识别性能。
2026-09-29 cs.AI cs.CV cs.LG
It's the humans, not the data: Geopolitical bias in LLMs originates in post-training, amplified by the language of the prompt
Alibaba（阿里巴巴）；seven AI labs（七家人工智能实验室）
研究发现大语言模型的地缘政治偏见主要源于后训练阶段而非预训练，且偏见方向与模型开发者所在国一致，提示语言会放大该偏见。
2026-05-22 cs.AI cs.LG
Bias Analysis in Unconditional Image Generative Models
Mila（米拉）
该研究针对无条件图像生成模型的偏差产生机制不明确的问题，定义了属性偏差并通过实验发现属性偏移幅度小且对评估用的属性分类器敏感，指出需改进标注实践、审视评估框架并考虑属性的社会复杂性。
2025-06-10 cs.CV cs.LG
Frequency Bias and OOD Generalization in Neural Operators under a Variable-Coefficient Wave Equation
Independent Researcher（独立研究者）；School of Statistics, University of Minnesota, MN, USA（明尼苏达大学统计学系）
研究变量系数波动方程中神经算子在频率偏置和领域外泛化中的表现，通过FNO和DeepONet两种架构对比，揭示架构表示偏置对泛化能力的影响。
2026-05-13 cs.LG
Semantic Shift Estimation via Dual-Projection and Classifier Reconstruction for Exemplar-Free Class-Incremental Learning
South China University of Technology（华南理工大学）；The Hong Kong Polytechnic University（香港理工大学）
针对无样本类别增量学习中的语义偏移与决策偏差问题，提出结合可学习变换与行空间投影的双投影偏移估计及岭回归分类器重构的DPCR方法，有效平衡新旧任务，性能超越现有最优方法。
2025-05-18 cs.AI cs.CV cs.LG
Curriculum-enhanced GroupDRO: Challenging the Norm of Avoiding Curriculum Learning in Subpopulation Shift Setups
Bitdefender, Bucharest, Romania（比特防御公司，布加勒斯蒂，罗马尼亚）；University of Bucharest, Romania（布加勒斯特大学，罗马尼亚）
本文提出CeGDRO方法，通过课程学习优化子群体转移任务，提升模型在偏见识别上的性能。
2026-03-04 cs.AI cs.LG
Revisiting Estimation Bias in Policy Gradients for Deep Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Tencent Inc.（腾讯公司）；The University of Manchester（曼彻斯特大学）
本文从深度强化学习（DRL）的角度重新审视了折扣情景马尔可夫决策过程（MDP）的策略梯度估计偏差。理论上，该目标被表述为在时间范围内贴现的预期收益。一个主要的策略梯度偏差是状态分布偏移：用于估计梯度的状态分布与理论公式不同，因为它没有考虑贴现因子。现有关于该偏倚影响的讨论仅限于文献中的表格和softmax病例。因此，在本文中，我们将其扩展到DRL设置的政策参数化，并证明这种偏见如何可能导致次优政策理论。然后，我们讨论了为什么经验不准确的实现与移位状态分布仍然是有效的。我们表明，尽管这样的状态分布偏移，策略梯度估计偏差可以减少以下三种方式：1）一个小的学习率; 2）自适应学习率为基础的优化器;和3）KL正则化。具体来说，我们表明，一个较小的学习率，或自适应学习率，如亚当和RSMProp优化器使用的，使政策优化的偏见。我们进一步绘制优化器和优化正则化之间的联系，以表明KL和反向KL正则化都可以显着纠正这种偏差。此外，我们提供了大量的连续控制任务的实验，以支持我们的分析。我们的论文揭示了成功的PG算法如何在DRL设置中优化策略，并有助于深入了解DRL中的实际问题。
2023-02-10 cs.AI cs.LG
Robust Correction of Sampling Bias Using Cumulative Distribution Functions
California Institute of Technology（加州理工学院）
不同的域和有偏数据集可能导致训练分布和目标分布之间的差异，称为协变量偏移。目前用于缓解这种情况的方法通常依赖于估计训练和目标概率密度函数的比率。这些技术需要参数调整，并且在不同的数据集上可能不稳定。我们提出了一种新的方法来处理协变量的移动使用的经验累积分布函数估计的目标分布的一个严格的概括最近提出的想法Vapnik和Izmailov。此外，我们通过实验表明，我们的方法在预测方面更鲁棒，不依赖于参数调整，并且与当前最先进的合成和真实数据集技术相比，显示出类似的分类性能。
2020-10-23 cs.IT cs.LG math.IT
Geometric bias in eigenspace perturbation under random heterogeneous noise
Department of Mathematics, Hong Kong University of Science and Technology（香港科技大学数学系）；Department of Statistics and Data Science, National University of Singapore（新加坡国立大学统计与数据科学系）
针对稀疏、异质方差噪声下的信号加噪声矩阵，研究发现经验特征向量存在经典扰动界无法捕捉的系统性几何偏差，并通过二次向量方程和精细各向同性局部律推导了最优非渐近扰动界。
2026-08-26 cs.LG cs.NA math.NA
