Probing Gender Bias in Multilingual LLMs: A Case Study of Stereotypes in Persian
University of Tehran(德黑兰大学);Tehran Institute for Advanced Studies(德黑兰高等研究院)
本研究提出基于模板的探测方法和DS-GSI指标,评估四个多语言大模型在波斯语中的性别刻板印象,发现所有模型均存在偏见且波斯语差异大于英语,体育领域最严重。
2025-09-24 cs.CL
Assessing Algorithmic Bias in Language-Based Depression Detection: A Comparison of DNN and LLM Approaches
Computer Science University of Colorado Boulder Boulder, CO, USA;Inst. Cognitive Science \& Computer Science University of Colorado Boulder Boulder, CO, USA
本文比较了DNN和LLM在抑郁症检测中的性能与公平性,发现LLM在少数群体表现更优,但种族差异仍存在。
2025-10-07 cs.CL
Are Large Language Models Really Bias-Free? Jailbreak Prompts for Assessing Adversarial Robustness to Bias Elicitation
University of Calabria(卡拉布里亚大学)
本研究探究最新大型语言模型(LLMs)中的固有偏见,测试其对偏见诱导越狱提示的对抗性鲁棒性,通过实验证实LLMs仍可被操纵生成偏见响应,强调需增强缓解技术以提升AI公平性与可靠性。
2025-02-13 cs.AI cs.CL
Automated Coding of Communication Data Using ChatGPT: Consistency Across Subgroups
ETS Research Institute(ETS研究机构)
本文研究了使用ChatGPT进行通信数据编码在不同性别和种族/族裔群体间的一致性,发现其编码结果与人类评分者一致,为大规模评估协作与沟通提供了可能。
2026-05-18 cs.AI cs.CL
An Empirical Study of Gendered Stereotypes in Emotional Attributes for Bangla in Multilingual Large Language Models
Bangladesh University of Engineering and Technology (BUET)(孟加拉工程技术大学)
本研究首次针对闭源与开源大语言模型,全面调查孟加拉语语境下的性别情感归因偏见,证实该类偏见存在并揭示其随性别角色选择的变化规律,公开相关资源以支持孟加拉语NLP研究。
2024-07-08 cs.CL
Argument Quality Annotation and Gender Bias Detection in Financial Communication through Large Language Models
First Author Affiliation(第一作者机构);Second Author Affiliation(第二作者机构)
本文探讨了GPT-4o、Llama 3.1和Gemma 2在金融交流中标注论点质量的能力,评估了其标注一致性并引入对抗性攻击检测性别偏见,发现LLM标注一致性高于人类但存在偏见,为未来更可靠的标注方法提供了建议。
2025-07-22 cs.CL
Automated Evaluation of Gender Bias Across 13 Large Multimodal Models
Aymara
本研究提出Aymara图像公平性评估基准,测试13个大型多模态模型,发现它们普遍放大职业性别刻板印象且存在默认男性偏见,但模型间差异显著,表明高偏见可通过设计选择避免。
2025-09-08 cs.AI cs.CV cs.CY
Diverse, but Divisive: LLMs Can Exaggerate Gender Differences in Opinion Related to Harms of Misinformation
University of Texas at Austin(德克萨斯大学奥斯汀分校);Northeastern University(东北大学)
本研究构建TopicMisinfo数据集,探究大语言模型辅助事实核查优先级排序时的观点性别差异反映情况,发现GPT 3.5-Turbo会放大实证存在的观点性别差异,并公开数据集以支持相关研究。
2024-01-29 cs.CL cs.CY
Q-Pain: A Question Answering Dataset to Measure Social Bias in Pain Management
Stanford University(斯坦福大学);Harvard University(哈佛大学)
自然语言处理(NLP)的最新进展,特别是自动化问答(QA)系统,已经证明了令人印象深刻的语言流畅性和反映社会偏见的有害趋势。在这项研究中,我们介绍了Q-Pain,这是一个用于评估疼痛管理背景下医疗QA偏差的数据集,疼痛管理是临床决策中最具挑战性的形式之一。随着数据集,我们提出了一个新的,严格的框架,包括一个样本实验设计,以衡量潜在的偏见时,作出治疗决定。我们通过评估两个参考人工智能系统GPT-2和GPT-3来展示其使用,并发现交叉种族-性别亚组之间的治疗存在统计学显著差异,从而重申了人工智能在医疗环境中带来的风险,以及在部署医疗人工智能应用程序之前需要像我们这样的数据集来确保安全性。
2021-08-03 cs.AI cs.CL
DiversityMedQA: Assessing Demographic Biases in Medical Diagnosis using Large Language Models
Algoverse AI Research(Algoverse人工智能研究院)
本文提出 DiversityMedQA 基准,通过扰动 MedQA 考题并加入验证过滤策略,评估 LLM 在不同性别、族裔患者设定下的诊断表现差异,为发现和缓解人口统计学偏见提供资源。
2024-12-06 cs.CL
A Stereotype Content Analysis on Color-related Social Bias in Large Vision Language Models
Department of Artificial Intelligence, Chung-Ang University(人工智能系, Chung-Ang 大学)
针对大型视觉语言模型(LVLMs)的刻板印象评估在实词和颜色影响上的局限,本研究提出基于SCM的新评估指标和BASIC基准,对8个LVLMs进行测试,发现模型存在颜色、性别和种族刻板印象,且架构与参数规模的交互作用对此有影响。
2025-05-27 cs.AI cs.CL
Assessing the Reliability of Word Embedding Gender Bias Measures
Utrecht University(乌得勒支大学)
人们已经提出了各种措施来量化词嵌入中类似人类的社会偏见。然而,基于这些措施的偏见得分可能会遭受测量误差。衡量质量的一个指标是可靠性,即衡量产生一致结果的程度。本文对词嵌入性别偏差测量的三种类型的信度进行了评估,即重测信度、评分者间一致性和内部一致性。具体来说,我们调查的一致性偏见分数在不同的选择随机种子,评分规则和单词。此外,我们还分析了各种因素对这些测量的信度得分的影响。我们的研究结果通知更好的设计词嵌入性别偏见的措施。此外,我们敦促研究人员对这些措施的应用持更严格的态度。
2021-09-10 cs.CL
Harmful Speech Detection by Language Models Exhibits Gender-Queer Dialect Bias
University of Southern California ISI(南加州大学信息科学研究所)
本研究针对内容审核中性别酷儿方言的偏见问题,构建QueerReclaimLex数据集评估5款现成语言模型,发现模型易误标性别酷儿文本,且对目标群体文本的F1值≤0.24,呼吁提升内容审核的公平包容性。
2024-06-21 cs.CL cs.CY
Whose wife is it anyway? Assessing bias against same-gender relationships in machine translation
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Michigan(密歇根大学)
该研究针对机器翻译系统是否存在对同性关系的偏见问题,利用多种名词性别语言的职业名词模板句测试三款主流服务,发现其同性关系句翻译准确率低且受语境、职业女性占比影响,为NLP系统社会关系内在偏见评估提供案例。
2024-07-12 cs.CL
"I'm fully who I am": Towards Centering Transgender and Non-Binary Voices to Measure Biases in Open Language Generation
UCLA(加州大学洛杉矶分校);Amazon Alexa AI-NU(亚马逊Alexa人工智能-西北(团队));Amazon Global Diversity, Equity, & Inclusion(亚马逊全球多元、公平与包容部)
本文构建源自 TGNB 社区的 TANGO 数据集,从错认性别与性别披露回应两方面评估 LLM,揭示其偏向二元性别规范并对 TGNB 群体产生污名化伤害。
2023-06-01 cs.AI cs.CL cs.CY
Assessing LLMs for Moral Value Pluralism
Smart Information Flow Technologies(智能信息流技术公司);Google Inc.(谷歌公司);University of Florida(佛罗里达大学)
本研究借鉴社会科学的世界价值观调查(WVS),结合价值共鸣识别(RVR)NLP模型量化评估大语言模型(LLMs)的隐性道德价值观,发现LLMs存在西方中心的价值偏差,呼吁构建适配价值多元性的技术方案。
2023-12-08 cs.AI cs.CL
Assessing Group-level Gender Bias in Professional Evaluations: The Case of Medical Student End-of-Shift Feedback
Carnegie Mellon University(卡内基梅隆大学);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心);Harvard Medical School(哈佛医学院);Indiana University(印第安纳大学)
虽然今天大约50%的医学院毕业生是女性,但女医生在高级职位上的代表性往往不足,比男医生赚的钱少,晋升机会也少。有越来越多的文献表明,在各种形式的医学评价中存在性别偏见,但这项工作主要是通过使用LIWC等固定词典寻找特定单词进行的,并侧重于推荐信。我们使用了一个数据集的书面和定量评估医学生的表现对个别轮班的工作,收集了多个机构,调查在何种程度上存在的性别偏见在一天到一天的背景下,医学生。我们调查的差异,在叙述性的评论给予男性和女性学生的男性或女性教师评估员,使用微调BERT模型。这使我们能够检查组是否以系统的不同方式编写,而不依赖于手工制作的单词列表或主题模型。我们将这些结果与传统LIWC方法的结果进行了比较,发现尽管我们在该数据集中没有发现组级性别偏见的证据,但在给予女性的反馈中,与家庭和儿童相关的术语使用得更多。
2022-06-01 cs.CL
Who are you, ChatGPT? Personality and Demographic Style in LLM-Generated Content
The Academic College of Tel Aviv--Yaffo(特拉维夫-亚法夫学术学院)
本研究提出一种不依赖自我报告的数据驱动方法,通过自动分类器分析Reddit开放问答的模型回复,发现LLM表现出更高的宜人性和更低的神经质,并贡献了新数据集与大规模比较分析。
2025-10-13 cs.CL
Let's Unlearn Stereotypes Before Decision-Making: Assessing the Impact of Intrinsic Bias Mitigation on Downstream Fairness in LLMs
本研究提出公平感知概念忘却(FACU)方法,在保留预测性能的同时缓解LLM内在偏差,可提升下游公平性,结合反事实数据增强效果更佳,为LLM公平性优化提供了新路径。
2026-08-10 cs.CL cs.CY cs.LG
Assessing Gender Bias in Machine Translation -- A Case Study with Google Translate
Federal University of Rio Grande do Sul(南里奥格兰德州联邦大学)
最近,人们越来越关注机器偏见,其中训练的统计模型增长以反映有争议的社会不对称性,例如性别或种族偏见。最近有大量的人工智能工具被认为对某些少数民族有有害的偏见,有报道称种族主义犯罪行为预测器,iPhone X无法区分两个亚洲人,谷歌照片错误地将黑人分类为大猩猩。尽管对这种偏见进行系统的研究可能很困难,但我们相信,可以通过性别中立的语言来利用自动翻译工具,从而为人工智能中的性别偏见现象提供一个窗口。在本文中,我们从美国劳工统计局(BLS)的一份全面的工作职位列表开始,并用它来构建12种不同性别中性语言(如匈牙利语,汉语,约鲁巴语等)中的句子,如“他/她是一名工程师”。我们使用Google Translate API将这些句子翻译成英语,并收集有关翻译输出中女性,男性和性别中性代词频率的统计数据。我们发现,GT表现出强烈的男性默认倾向,特别是在与性别分布不平衡有关的领域,如STEM工作。我们将这些统计数据与劳工统计局关于女性参与每个工作岗位的频率的数据进行了比较,结果表明GT未能再现女性工人的真实分布。我们提供的实验证据表明,即使人们不期望在原则上50:50代词性别分布,GT产生男性默认更频繁地比预期的人口数据。我们希望这项工作将引发一场辩论,即需要用科学文献中已经存在的去偏置技术来增强当前的统计翻译工具。
2019-03-11 cs.CL cs.CY
Assessing gender bias in medical and scientific masked language models with StereoSet
SIU School of Medicine(南伊利诺伊大学医学院)
NLP系统使用语言模型,例如Masked语言模型(MLM),这些模型在大量文本(例如Wikipedia)上进行预训练,以创建语言表示。BERT是一个强大而灵活的通用MLM系统,使用未标记的文本开发。对大量文本进行预训练也有可能将源文本中的文化和社会偏见透明地嵌入到传销系统中。本研究的目的是比较一般用途和医疗MLMs与StereoSet偏差评估工具的偏差。通用MLMs总体上显示出显著偏倚,BERT评分为57,RoBERTa评分为61。性别偏见类别是发现表现最好的类别,BERT为63,RoBERTA为73。专业,种族和宗教的表现是相似的总体偏见分数为通用MLMs.医疗MLMs显示更多的偏见,在所有类别比通用MLMs除了科学BERT,它显示了种族偏见得分为55,这是优于种族偏见得分为53 BERT。医学多层膜中发现了更多的性别(医学54-58比一般63-73)和宗教(46-54比58)偏见。这四个医疗MLMs关于种族,性别,宗教和职业的刻板印象评估的评价显示,一般用途的MLMs性能较差。这些以医学为重点的MLM在训练源数据方面差异很大,这可能是StereoSet工具对刻板偏见评级差异的根本原因。
2021-11-15 cs.CL cs.CY
Evaluating Gender Bias in the Translation of Gender-Neutral Languages into English
Microsoft(微软)
针对中性性别语言英译时性别偏见缺乏评估基准的问题,研究团队构建了含四种语言对、带多性别变体的GATE X-E扩展语料库,并基于GPT-3.5 Turbo提出英语性别改写方案且完成评估,相关成果已开源。
2023-12-13 cs.AI cs.CL
GATE X-E : A Challenge Set for Gender-Fair Translations from Weakly-Gendered Languages
Microsoft(微软公司)
本文提出GATE X-E基准,扩展GATE语料库以评估从四种弱性别语言到英语的翻译性别偏见,并基于GPT-4构建改写方案进行评测,开源数据以推动性别去偏研究。
2024-02-22 cs.AI cs.CL
A Benchmark for Audio Reasoning Capabilities of Multimodal Large Language Models
Adam Mickiewicz University(亚当·密克维茨大学);Samsung R&D Institute Poland(三星波兰研发中心)
本文提出Audio Reasoning Tasks基准测试,用于评估多模态模型在结合不同音频任务进行推理方面的能力。
2026-01-27 cs.AI cs.SD
Revealing Hidden Bias in AI: Lessons from Large Language Models
Fluxus Thailand(Fluxus泰国)
本研究通过比较四个大型语言模型生成的招聘面试报告,评估匿名化对减少性别、种族和年龄偏见的有效性,发现 Llama 3.1 405B 总体偏见最低,并提出了一种超越招聘场景的 LLM 固有偏见评估新方法。
2024-10-22 cs.AI cs.CY
Large Language Models Still Exhibit Bias in Long Text
Yonsei University(延世大学);Seoul National University(首尔国立大学)
针对现有公平性基准忽视长文本生成偏见的问题,提出LTF-TEST框架评估LLM在长文本中的偏见,并设计FT-REGARD微调方法,显著降低性别偏见并提升性能。
2025-08-07 cs.CL
StereoSet: Measuring stereotypical bias in pretrained language models
Massachusetts Institute of Technology(麻省理工学院);Intel AI(英特尔人工智能);Mila;McGill University(麦吉尔大学)
刻板印象是对特定人群的过度概括的信念,例如,亚洲人擅长数学,或者亚洲人是糟糕的司机。众所周知,这种信念(偏见)会伤害目标群体。由于预训练的语言模型是在大量的真实世界数据上训练的,因此它们被称为捕获刻板偏见。为了评估这些模型的不利影响,重要的是要量化其中的偏差。现有的量化偏见的文献评估预训练的语言模型上的一小组人工构建的偏见评估句子。我们提出了StereoSet,一个大规模的英语自然数据集来衡量四个领域的刻板偏见:性别,职业,种族和宗教。我们在我们的数据集上评估了流行的模型,如BERT,GPT-2,RoBERTa和XLNet,并表明这些模型表现出强烈的刻板偏见。我们还在https://stereoset.mit.edu上提供了一个带有隐藏测试集的排行榜,用于跟踪未来语言模型的偏差
2020-04-20 cs.AI cs.CL cs.CY
Assessing the Human-Likeness of LLM-Driven Digital Twins in Simulating Health Care System Trust
West China Hospital(华西医院);University of Michigan(密歇根大学);Sichuan University(四川大学)
本研究评估了由大语言模型驱动的数字双胞胎在模拟医疗系统信任方面的类人程度,发现其在主要人口统计学模式上表现良好,但对教育水平等细微差异的捕捉能力有限。
2025-10-27 cs.AI cs.CY cs.HC
Gender Bias in Machine Translation
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
机器翻译(MT)技术为收集、阐述和交流信息提供了方便的快捷方式,为我们的日常任务提供了便利。然而,它可能会受到偏见的影响,损害用户和整个社会。作为一个相对较新的研究领域,机器翻译中的性别偏见仍然缺乏内部凝聚力,这需要一个统一的框架来方便未来的研究。为此,我们:i)批判性地审查当前概念化的偏见,从相关学科的理论见解,ii)总结以前的分析,旨在评估性别偏见的MT,iii)讨论缓解战略提出迄今为止,和iv)指向未来工作的潜在方向。
2021-05-07 cs.CL
Evaluating Moral Beliefs across LLMs through a Pluralistic Framework
School of Information Science, Beijing Language and Culture University(北京语言大学信息科学学院);School of Humanities, Tsinghua University(清华大学人文学院)
本研究提出三模块框架,评估四个大型语言模型的道德信念,发现英语模型偏向个人主义且决策坚定,中文模型偏向集体主义且存在模糊性,并揭示性别偏见。
2024-11-06 cs.AI cs.CL
A Close Reading Approach to Gender Narrative Biases in AI-Generated Stories
Sapienza University of Rome(罗马萨皮恩扎大学);Link University of Rome(罗马链接大学)
本文采用细读方法,基于Propp角色分类和Freytag叙事结构设计提示词,分析ChatGPT、Gemini和Claude生成故事中的性别叙事偏见,揭示了隐性偏见的持续存在并强调多层面评估的重要性。
2025-08-13 cs.AI cs.CL cs.CY
Evaluating AI for Finance: Is AI Credible at Assessing Investment Risk?
Walled AI Labs(Walled AI实验室)
本文通过测试 GPT、Claude、Gemini 及 LLaMA、DeepSeek、Mistral 等模型,发现 AI 在评估投资风险时因用户国家和性别等属性变化而产生显著分数偏差,无法满足金融监管要求。
2025-07-05 cs.CL
Mitigating Gender Bias in Machine Learning Data Sets
University College Dublin(都柏林大学学院)
人工智能有能力放大和延续社会偏见,并为社会带来深刻的伦理影响。在招聘广告和招聘工具的背景下,由于依赖于潜在的语言处理和推荐算法,性别偏见已被确定。解决这些问题的尝试涉及测试学习关联,将公平性概念集成到机器学习中,并对训练数据进行更严格的分析。考虑到性别意识形态嵌入语言的复杂方式,在文本数据上训练算法时减轻偏见尤其具有挑战性。本文提出了一个识别机器学习训练数据中性别偏见的框架,利用性别理论和社会语言学,系统地指出文本训练数据和相关神经词嵌入模型中的偏见水平,从而突出了从训练数据中消除偏见并严格评估其影响的途径。
2020-05-18 cs.CL cs.LG
Measuring Implicit Bias in Explicitly Unbiased Large Language Models
Princeton University(普林斯顿大学)
本研究提出两种基于提示的偏见测量方法(LLM隐式偏见与LLM决策偏见),揭示8个价值对齐模型在21个刻板印象中的隐式偏见,并证明其能更好预测下游决策行为。
2024-05-23 cs.CL cs.CY
Assessing Social and Intersectional Biases in Contextualized Word Representations
Yale University(耶鲁大学)
机器学习中的社会偏见已经引起了人们的极大关注,工作范围从在众多应用程序中展示偏见,为不同的上下文策划公平的定义,到开发算法来减轻偏见。在自然语言处理中,性别偏见已经被证明存在于上下文无关的词嵌入中。最近,上下文单词表示在几个下游NLP任务中的表现优于词嵌入。这些单词表示取决于它们在句子中的上下文,也可以用于编码整个句子。在本文中,我们分析了在何种程度上的最先进的模型上下文单词表示,如BERT和GPT-2,编码偏见与性别,种族和交叉身份。为此,我们建议在上下文单词水平上评估偏见。这种新颖的方法捕捉上下文无关的词嵌入中的偏差缺失的上下文效应,但避免了混淆效应,低估了偏见在句子编码水平。我们证明了在语料库水平上的偏见的证据,发现不同的证据嵌入关联测试中的偏见,特别是显示,种族偏见是强烈编码的上下文单词模型,并观察到交叉少数民族的偏见影响加剧超越其组成少数民族的身份。此外,在上下文单词水平上评估偏见效应可以捕获在句子水平上无法捕获的偏见,这证实了我们新方法的必要性。
2019-11-04 cs.AI cs.CL cs.CY
Social Bias in Popular Question-Answering Benchmarks
University of Hamburg(汉堡大学);Leuphana University(莱普哈纳大学);Weizenbaum Institute(魏泽恩鲍姆研究所);Technical University Berlin(柏林技术大学);Fraunhofer FOKUS(弗劳恩霍夫研究所)
研究揭示流行问答和阅读理解基准存在社会偏见,指出其中存在人口统计学和地理偏见,并强调需改进基准创建过程以减少LLM偏见。
2026-01-07 cs.AI cs.CL cs.CY
Controlling Distributional Bias in Multi-Round LLM Generation via KL-Optimized Fine-Tuning
University of Melbourne(墨尔本大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Oracle(甲骨文公司)
本文提出通过KL优化微调结合语义对齐的方法,解决多轮LLM生成中分布控制问题,实验显示其在属性生成任务中表现优异。
2026-04-07 cs.CL
FairBelief -- Assessing Harmful Beliefs in Language Models
University of Pisa(比萨大学);University of Edinburgh(爱丁堡大学);Bocconi University(博科尼大学)
本文提出FairBelief方法,通过提示分析语言模型内嵌的信念,评估其在不同规模、似然性等维度上对特定性别的有害程度,揭示模型虽性能高但存在伤害性偏见。
2024-02-27 cs.AI cs.CL
Investigating Intersectional Bias in Large Language Models using Confidence Disparities in Coreference Resolution
Apple(苹果公司)
本研究扩展单轴公平性评估,通过构建WinoIdentity基准和提出共指置信度差异指标,评估LLMs在交叉身份下的偏见,发现模型在反刻板印象环境中对双重劣势身份置信度差异高达40%,且表明其高性能源于记忆而非推理。
2025-08-09 cs.AI cs.CL
LLMs as mirrors of societal moral standards: reflection of cultural divergence and agreement across ethical topics
Utrecht University(乌得勒支大学)
本研究通过道德分数比较、国家聚类对齐和直接比较提示三种方法评估LLMs是否反映跨文化道德分歧与共识,发现模型表现参差且较弱。
2024-12-01 cs.AI cs.CL cs.SC
Bias in the Ear of the Listener: Assessing Sensitivity in Audio Language Models Across Linguistic, Demographic, and Positional Variations
Department of Computer Science and Information Engineering, National Taiwan University, Taiwan(国家台湾大学计算机科学与信息工程系);Institute of Information Science, Academia Sinica, Taiwan(台湾学术院信息科学研究所);AI Research Center (AINTU), National Taiwan University, Taiwan(国家台湾大学人工智能研究中心(AINTU))
本研究通过BiasInEar数据集评估音频语言模型在语言、人口统计和位置变化中的敏感性,揭示语音放大结构性偏见的机制,并提出统一的公平性与稳健性评估框架。
2026-02-01 cs.CL cs.SD eess.AS
A Unified Framework and Dataset for Assessing Societal Bias in Vision-Language Models
Microsoft Research(微软研究院);Indian Institute of Technology, Bombay(印度理工学院孟买分校)
本文提出覆盖多种推理模态的统一评估框架与合成职业数据集,系统揭示主流 VLM 在性别、种族和年龄偏见上的模态及属性差异。
2024-06-17 cs.CL cs.CV cs.CY
Assessing Multilingual Fairness in Pre-trained Multimodal Representations
University of California, Santa Cruz(加州大学圣克鲁兹分校)
最近预训练的多模态模型,如CLIP,在连接图像和自然语言方面表现出了卓越的能力。英语的文本表征可以被期望地转移到多语言,并支持不同语言的下游多模态任务。然而,多语言公平原则很少被仔细审查:多语言多模态模型是否平等对待语言?他们的表现是否偏向于特定的语言?为了回答这些问题,我们将语言视为公平性的接受者,并为预训练的多模态模型引入了两个新的公平性概念,多语言个体公平性和多语言群体公平性。多语言个体公平性要求不同语言中表达相似语义的文本片段与图像的连接相似,而多语言群体公平性要求跨语言的预测性能均衡。我们描述了预先训练的多语言视觉和语言表示在多大程度上对不同语言都是公平的。然而,大量的实验表明,多语言表示并不能满足群体公平性:(1)存在严重的多语言准确性差异问题;(2)错误表现出跨语言的偏见,影响图像中的人群,包括种族,性别和年龄。
2022-03-16 cs.AI cs.CL cs.LG
Argument from Old Man's View: Assessing Social Bias in Argumentation
Paderborn University(帕德博恩大学)
语言中的社会偏见-对性别,种族,年龄和其他社会群体-对许多NLP应用程序造成了道德影响的问题。最近的研究表明,在相应数据上训练的机器学习模型不仅可以采用,甚至可以放大偏差。然而,到目前为止,很少有人注意到在计算论证的偏见。本文研究了大型英语辩论网站中存在的社会偏见。特别是,我们训练词嵌入模型的门户特定的语料库和系统地评估他们的偏见使用WEAT,现有的度量标准来衡量偏见词嵌入。在一个词的共现分析,我们然后调查偏见的原因。结果表明,所有测试的辩论语料库包含不平衡和偏见的数据,大多有利于男性与欧美人的名字。我们的经验见解有助于理解偏见的争论性数据源。
2020-11-24 cs.CL cs.CY
Bias and Volatility: A Statistical Framework for Evaluating Large Language Model's Stereotypes and the Associated Generation Inconsistency
Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);China University of Petroleum (Beijing)(中国石油大学(北京))
提出偏见-波动性框架(BVF),通过分解偏见风险与波动性风险,量化评估大型语言模型生成中的刻板印象及其不一致性,发现偏见风险主导歧视且RLHF降低偏见但增加波动。
2025-05-26 cs.CL cs.CY
PhDGPT: Introducing a psychometric and linguistic dataset about how large language models perceive graduate students and professors in psychology
University of Trento(特伦托大学)
本研究提出PhDGPT数据集与提示框架,基于GPT-3.5生成756,000个数据点以探究LLM对心理学研究生和教授的心理测量与语言学感知,发现LLM具备先进但不完整的人类心理复现能力,并揭示了其根据心理困扰特征调整语言模式的能力。
2024-11-06 cs.AI cs.CL cs.CY
In the Name of Fairness: Assessing the Bias in Clinical Record De-identification
Massachusetts Institute of Technology(麻省理工学院)
本研究通过大规模实证分析评估临床记录去标识化系统在姓名上的偏差,发现多数方法在不同人口维度上存在显著性能差距,并提出通过临床语境和多样化姓名微调来缓解偏差。
2024-01-03 cs.CL cs.CR cs.CY
Unveiling Biases while Embracing Sustainability: Assessing the Dual Challenges of Automatic Speech Recognition Systems
IDIAP(IDIAP研究所);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Erisha Labs(Erisha实验室);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛里亚实验室);INESC-ID(INESC-ID研究所);IST(里斯本高等技术学院);Universidade de Lisboa(里斯本大学)
本文研究了Whisper和MMS等ASR系统在真实场景中的性别、口音与年龄偏见及其对下游任务的影响,并评估了大型声学模型的碳排放与能耗,揭示了其面临的双重挑战。
2025-03-02 cs.CL cs.SD eess.AS
Developing and Validating the Arabic Version of the Attitudes Toward Large Language Models Scale
The Education University of Hong Kong(香港教育大学);Bournemouth University(伯恩茅斯大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文翻译并验证了阿拉伯语版大语言模型态度量表,通过249名阿拉伯语成人样本确认其可靠性和有效性,支持非西方情境研究。
2025-10-14 cs.AI cs.HC
The Balancing Act: Unmasking and Alleviating ASR Biases in Portuguese
MBZUAI(穆罕默德·本·扎耶德人工智能大学);ADAPT Centre, Trinity College Dublin(都柏林圣三一学院ADAPT中心);University of Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学与应用实验室)
本研究全面评估了Whisper和MMS在葡萄牙语日常对话ASR中的性别、年龄等偏见,引入p值统计分析,并证明过采样技术能有效缓解此类刻板偏见。
2024-02-12 cs.AI cs.CL cs.CY
New Job, New Gender? Measuring the Social Bias in Image Generation Models
The Chinese University of Hong Kong(香港中文大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of California, Los Angeles(加州大学洛杉矶分校)
本文提出BiasPainter框架,通过中性提示编辑种子图像并检测性别、种族和年龄变化,自动评估图像生成模型的社会偏见,在六个模型上实现90.8%的检测准确率。
2024-08-20 cs.AI cs.CL cs.CV
Investigating Markers and Drivers of Gender Bias in Machine Translations
Edinburgh Napier University(爱丁堡龙比亚大学);School of Computing, Engineering, and Built Environment(计算、工程与建筑环境学院)
本文通过DeepL回译56项软件工程任务,比较五种无性别中间语言并提出新的性别变化度量指标,识别主要动词为偏见驱动因素,验证了回译方法用于分析语言模型性别偏见的有效性与可重复性。
2024-04-02 cs.CL cs.CY cs.SE
Fairness in Image Search: A Study of Occupational Stereotyping in Image Retrieval and its Debiasing
University of Washington(华盛顿大学);Information School(信息学院)
该研究聚焦图像搜索中的职业性别刻板印象偏差,通过多种性别识别API评估偏差程度,提出兼顾相关性与性别公平性的重排序算法,实验验证其公平性更优且相关性具竞争力。
2023-08-22 cs.CL cs.CV cs.IR
Are fairness metric scores enough to assess discrimination biases in machine learning?
IRIT(图卢兹计算机科学研究所);Université Paul-Sabatier(保罗·萨巴蒂埃大学);IMT(图卢兹国立应用科学学院)
本文通过在 Bios 数据集上以多种样本规模训练 200 多个职业预测模型,证明常用性别偏见指标在小样本下可能分歧且不可靠,强调方差计算的重要性。
2023-06-08 cs.CL cs.CY cs.LG