Explanatory Interactive Machine Learning for Bias Mitigation in Visual Gender Classification
Johannes Kepler University Linz（约翰内斯·开普勒大学林茨）；Institute of Creative Media Technologies（创意媒体技术研究所）；St. Pölten University of Applied Sciences（施蒂利克大学应用科学学院）；Institute of Computational Perception（计算感知研究所）
Nathanya Satriani, Djordje Slijepčević, Markus Schedl, Matthias Zeppelzauer
备注：
8 pages, 4 figures, CBMI2025
发表信息：
International Conference on Content-Based Multimedia Indexing (2025) 1-8
可解释性交互式学习（XIL）通过让用户对模型的解释提供反馈，从而引导模型训练，帮助模型关注与用户视角相关的预测相关特征。在本研究中，我们探讨了这种学习范式在缓解视觉分类器中的偏见和伪相关性方面的能力，特别是在容易产生数据偏见的场景中，如性别分类。我们研究了两种方法上不同的最新XIL策略，即CAIPI和Right for the Right Reasons（RRR），以及一种结合这两种策略的新混合方法。结果通过比较使用梯度加权类激活映射（GradCAM）和有界日志it注意（BLA）生成的分割掩码进行定量评估。实验结果表明，这些方法在（i）引导ML模型关注相关图像特征，特别是当使用CAIPI时，以及（ii）减少模型偏见（即平衡男性和女性预测的误分类率）方面是有效的。我们的分析进一步支持了XIL方法在提高性别分类器公平性方面的潜力。总体而言，XIL获得的增加透明度和公平性导致了轻微的性能下降，除了CAIPI外，后者显示出甚至可能提高分类准确性的潜力。
英文摘要：
Explanatory interactive learning (XIL) enables users to guide model training in machine learning (ML) by providing feedback on the model's explanations, thereby helping it to focus on features that are relevant to the prediction from the user's perspective. In this study, we explore the capability of this learning paradigm to mitigate bias and spurious correlations in visual classifiers, specifically in scenarios prone to data bias, such as gender classification. We investigate two methodologically different state-of-the-art XIL strategies, i.e., CAIPI and Right for the Right Reasons (RRR), as well as a novel hybrid approach that combines both strategies. The results are evaluated quantitatively by comparing segmentation masks with explanations generated using Gradient-weighted Class Activation Mapping (GradCAM) and Bounded Logit Attention (BLA). Experimental results demonstrate the effectiveness of these methods in (i) guiding ML models to focus on relevant image features, particularly when CAIPI is used, and (ii) reducing model bias (i.e., balancing the misclassification rates between male and female predictions). Our analysis further supports the potential of XIL methods to improve fairness in gender classifiers. Overall, the increased transparency and fairness obtained by XIL leads to slight performance decreases with an exception being CAIPI, which shows potential to even improve classification accuracy.
Gender Classification and Bias Mitigation in Facial Images
Visa Inc.（Visa公司）；Harvard John A. Paulson School Of Engineering And Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；FM: Systems（FM: Systems公司）；Autodesk（Autodesk公司）
Fairness Without Labels: Pseudo-Balancing for Bias Mitigation in Face Gender Classification
National Institute of Informatics, Japan（日本信息机构国家研究所）；INESC-ID, Instituto Superior Técnico, University of Lisbon, Portugal（里斯本大学技术高等学院、INESC-ID，葡萄牙）；University of Amsterdam, The Netherlands（荷兰阿姆斯特丹大学）；LIMSI, CNRS / Université Paris-Saclay, France（法国CNRS/巴黎萨克雷大学LIMSI）
Mitigating Gender Bias Amplification in Distribution by Posterior Regularization
Tsinghua University（清华大学）；University of California, Los Angeles（加州大学洛杉矶分校）
先进的机器学习技术提高了自然语言处理的性能。然而，最近的研究，例如，Zhao et al.（2017）表明，这些技术无意中捕获了隐藏在语料库中的社会偏见，并进一步放大了它。然而，他们的分析仅针对模型的最佳预测。在本文中，我们从分布的角度研究了性别偏见放大问题，并证明了偏见是放大的标签上的预测概率分布的观点。我们进一步提出了一种基于后验正则化的偏差缓解方法。在性能损失很小的情况下，我们的方法几乎可以消除分布中的偏置放大。我们的研究有助于理解偏差放大效应。
BiasMap: Leveraging Cross-Attentions to Discover and Mitigate Hidden Social Biases in Text-to-Image Generation
Institute for Clarity in Documentation（清晰文档研究所）；Inria Paris-Rocquencourt（巴黎-罗克琴court研究所）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕勒尔研究实验室）；University of North Carolina at Charlotte（北卡罗来纳大学教堂山分校）；Utah State University（犹他州立大学）
